《虚拟内窥镜辅助的腔体病灶检查系统.pdf》由会员分享，可在线阅读，更多相关《虚拟内窥镜辅助的腔体病灶检查系统.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)授权公告号 CN 103356155 B (45)授权公告日 2014.12.31 CN 103356155 B (21)申请号 201310254838.9 (22)申请日 2013.06.24 A61B 1/05(2006.01) (73)专利权人 清华大学深圳研究生院 地址 518055 广东省深圳市南山区西丽大学 城清华校区 (72)发明人 段侪杰 任镜洁 梁正荣 (74)专利代理机构 深圳市汇力通专利商标代理 有限公司 44257 代理人 李保明 张慧芳 CN 101322652 A,2008.12.17, CN 102821671 A,2012.12.12, CN 1011。
2、93603 A,2008.06.04, US 2011/0144432 A1,2011.06.16, US 2005/0024724 A1,2005.02.03, JP 特开 2011-24823 A,2011.02.10, EP 2123215 A1,2009.11.25, CN 101375805 A,2009.03.04, (54) 发明名称 虚拟内窥镜辅助的腔体病灶检查系统 (57) 摘要 一种虚拟内窥镜辅助的腔体病灶检查系统， 包括 ： 具有第一成像探头的光学内窥镜系统 ； 与 第一成像探头的相对位置固定且视野重合的第 二成像探头 ； 与第二成像探头及光学内窥镜系统 连接的图像工作站。
3、， 该图像工作站包括 ： 用于重 建三维虚拟器官， 构造目标器官的虚拟内窥镜环 境的第一模块 ； 用于与第二成像探头结合， 获取 光学内窥镜视野内真实腔体壁的三维内表面的第 二模块 ； 用于反向计算第一成像探头的位置和姿 态， 通过腔体壁内表面配准， 在虚拟内窥镜环境中 显示第一成像探头在目标器官中的位置和姿态的 第三模块 ； 将用于诊断的信息配准、 融合到三维 虚拟器官的腔体壁内表面的第四模块。本系统能 够提供内窥镜探头在目标器官腔体内的位置和姿 态。 (51)Int.Cl. (56)对比文件 审查员 杨琼 权利要求书 2 页 说明书 6 页 附图 1 页 (19)中华人民共和国国家知识产权。
4、局 (12)发明专利 权利要求书2页 说明书6页 附图1页 (10)授权公告号 CN 103356155 B CN 103356155 B 1/2 页 2 1. 虚拟内窥镜辅助的腔体病灶检查系统， 包括具有第一成像探头的光学内窥镜系统， 其特征在于， 还包括 ： 第二成像探头， 与第一成像探头的相对位置固定且视野重合 ； 和 图像工作站， 与第二成像探头及光学内窥镜系统连接， 该图像工作站包括 ： 第一模块， 用于重建三维虚拟器官， 构造目标器官的虚拟内窥镜环境 ； 第二模块， 用于与第二成像探头结合， 获取光学内窥镜视野内真实腔体壁的三维内表 面 ； 第三模块， 用于根据第二模块获取的三维内。
5、表面， 反向计算第一成像探头的位置和姿 态， 进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准， 在虚拟 内窥镜环境中显示第一成像探头在目标器官中的位置和姿态 ； 和 第四模块， 用于将用于诊断的信息配准、 融合到三维虚拟器官的腔体壁内表面。 2. 根据权利要求 1 所述的腔体病灶检查系统， 其特征在于， 所述图像工作站进一步还 包括用于基于虚拟内窥镜环境进行病灶初步检查的第五模块， 第五模块中用于检查的特征 包括目标器官腔体壁内表面的形态信息、 以及从原始的断层图像和重建后的三维图形中提 取并处理后获得的定量化影像信息。 3. 根据权利要求 2 所述的腔体病灶检查系统， 其。
6、特征在于， 所述第五模块包括 ： 病灶组织和正常组织的特征统计模型 ； 用于使用特征组合、 以及所述特征统计模型或分类器， 按设定的基本单元， 计算待检查 区域中各单元属于病灶组织或正常组织的概率的子模块 ； 用于将腔体壁内部的点和腔体壁内表面的点建立一一对应关系， 并将腔体壁内部点对 应的特征值映射到内表面的对应点上， 以及将计算得到的概率值沿映射路径积分后进行归 一化， 在腔体壁内表面由伪彩表达并显示的子模块。 4. 根据权利要求 1 所述的腔体病灶检查系统， 其特征在于， 所述第二模块包括 ： 用于基于结构光法获取深度信息的子模块 ； 和 用于基于红外光的立体视觉法获取深度信息的子模块。。
7、 5. 根据权利要求 1 所述的腔体病灶检查系统， 其特征在于， 所述第三模块包括 ： 用于基于几何特征和水平集的分割方法， 从三维虚拟器官的腔体壁内表面分割得到至 少一个特征结构的三维表面的子模块 ； 用于以所述特征结构为基本单元， 对第二模块获取的三维内表面提取特征点的子模 块 ； 用于使用由三维表面得到的几何特征量作为基础特征， 将第二模块获取的真实腔体壁 三维内表面与三维虚拟器官内表面进行粗配准的子模块 ； 和 用于使用形变模型、 共形映射和互距离方法进行精细配准的子模块。 6. 根据权利要求 5 所述的腔体病灶检查系统， 其特征在于， 所述第三模块还包括 ： 采用 基于时域和空域的跟。
8、踪算法对提取的特征点及其表达的特征结构进行实时跟踪的子模块。 7. 根据权利要求 1 所述的腔体病灶检查系统， 其特征在于， 所述的用于诊断的信息包 括检查过程中光学内窥镜获取的二维影像， 所述第四模块包括影像配准及融合子模块， 用 于以虚拟内窥镜中的三维虚拟器官为基础， 将所述二维影像向所述三维虚拟器官腔体壁的 内表面进行映射、 配准和融合。 权 利 要 求 书 CN 103356155 B 2 2/2 页 3 8. 根据权利要求 7 所述的腔体病灶检查系统， 其特征在于， 所述的影像配准及融合子 模块包括 ： 用于将光学内窥镜获取的二维影像中的颜色信息映射到第二模块获取的三维内表面 的子模。
9、块 ； 用于根据第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配准关 系， 将三维内表面的颜色信息映射到所述三维虚拟器官腔体壁的内表面的子模块。 9. 根据权利要求 1 所述的腔体病灶检查系统， 其特征在于， 所述的用于诊断的信息包 括从构建三维虚拟器官的断层医学影像中提取的可以反映病灶信息的特征， 所述第四模块 包括特征配准及融合子模块， 用于将提取的可以反映病灶信息的特征映射在三维虚拟器官 腔体内表面的对应点， 由伪彩表达并显示。 权 利 要 求 书 CN 103356155 B 3 1/6 页 4 虚拟内窥镜辅助的腔体病灶检查系统 技术领域 0001 本发明涉及数字医学图像处。
10、理、 计算机辅助检查和诊断、 空间三维信息获取和手 术导航技术领域， 更具体地说， 涉及虚拟内窥镜辅助的腔体病灶检查系统。 背景技术 0002 近年来随着医疗水平的不断提高， 人们对诊疗过程的安全性及对病人造成的创伤 方面提出了更高的要求， 无创和微创诊疗技术也因此得到了越来越多的研究和应用， 并成 为未来发展的一个大趋势。 内窥镜技术使医生可以以一种微创的方式检查原先无法检查的 器官和区域。在医学影像技术飞速发展的今天， 内窥镜依然因其直观、 获取信息丰富、 可活 检和微创介入手术等优势保持其不可替代的地位。 一方面， 随着内窥镜技术的进一步发展， 更多的检查手段被引入到人体内部， 诸如超声。
11、内窥镜、 共聚焦显微内窥镜、 OCT 内窥镜等， 人 们可以得到其他方法无法获取的体腔内部多分辨率、 多模态的结构和功能信息， 内窥镜技 术成为了多种现有诊断方法安全地进入人体内的载体 ； 另一方面， 伴随着内窥镜技术的发 展， 很多新的治疗技术也应运而生。 例如结肠镜辅助的腹腔镜手术， 可以有效提高结肠手术 目标区域定位的准确性， 降低手术风险。 这些基于内窥镜的新型诊疗技术， 大大提升了内窥 镜在临床上的发展空间。 0003 然而， 目前内窥镜检查和操作依然存在着若干问题， 限制了其在临床上的应用和 发展。首先是安全性问题， 由于内窥镜操作属于微创操作， 视野有限， 因此医生在操作过程 中。
12、无法准确定位内窥镜探头、 经内窥导入的手术器械与周边组织的相对位置关系 ； 对于一 些结构较复杂的器官还会出现无法到达指定部位的情况， 甚至造成器官穿孔、 出血等损伤， 因此检查的安全性和效果严重依赖于医生的经验。其次， 现有的光学内窥镜只能看到腔体 壁内表面信息， 而对于表面以下的组织变化则无法了解， 这也给病灶的发现和疾病的诊断 带来了一定的不确定性。 发明内容 0004 本发明的一个目的是针对现有内窥镜系统在操作中无法确定探头的位置， 使用不 安全的技术缺陷， 提供一种虚拟内窥镜辅助的腔体病灶检查系统。 0005 本发明进一步的目的是解决现有内窥镜检查不到腔体壁表面以下 （即腔体壁内 部。
13、） 组织变化的技术缺陷。 0006 为达到上述的一个目的， 本发明提供的虚拟内窥镜辅助的腔体病灶检查系统包 括 ： 0007 具有第一成像探头 （即内窥镜探头） 的光学内窥镜系统 ； 0008 第二成像探头， 与第一成像探头的相对位置固定且视野重合 ； 和 0009 图像工作站， 与第二成像探头及光学内窥镜系统连接， 该图像工作站包括 ： 0010 第一模块， 用于重建三维虚拟器官， 构造目标器官的虚拟内窥镜环境 ； 0011 第二模块， 用于与第二成像探头结合， 获取光学内窥镜视野内真实腔体壁的三维 说 明 书 CN 103356155 B 4 2/6 页 5 内表面 ； 0012 第三模块。
14、， 用于根据第二模块获取的三维内表面， 反向计算第一成像探头的位置 和姿态， 进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准， 在 虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态 ； 和 0013 第四模块， 用于将用于诊断的信息配准、 融合到三维虚拟器官的腔体壁内表面。 0014 为了达到上述的进一步的目的， 一种方案是 ： 在上述的腔体病灶检查系统中， 所述 图像工作站进一步还包括用于基于虚拟内窥镜环境进行病灶初步检查的第五模块， 第五模 块中用于检查的特征包括目标器官腔体壁内表面的形态信息、 以及从原始的断层图像和重 建后的三维图形中提取并处理后获得的定量化。
15、影像信息。 0015 优选地， 所述第五模块包括 ： 0016 病灶组织和正常组织的特征统计模型 ； 0017 用于使用特征组合、 以及所述特征统计模型或分类器， 按设定的基本单元， 计算待 检查区域中各单元属于病灶组织或正常组织的概率的子模块 ； 0018 用于将腔体壁内部的点和腔体壁内表面的点建立一一对应关系， 并将腔体壁内部 点对应的特征值映射到内表面的对应点上， 以及将计算得到的概率值沿映射路径积分后进 行归一化， 在腔体壁内表面由伪彩表达并显示的子模块。 0019 在上述的腔体病灶检查系统中， 优选地， 所述第二模块包括 ： 0020 用于基于结构光法获取深度信息的子模块 ； 和 0。
16、021 用于基于红外光的立体视觉法获取深度信息的子模块。 0022 在上述的腔体病灶检查系统中， 优选地， 所述第三模块包括 ： 0023 用于基于几何特征的分割方法， 从三维虚拟器官的腔体壁内表面分割得到至少一 个特征结构的三维表面的子模块 ； 0024 用于以所述特征结构为基本单元， 对第二模块获取的三维内表面提取特征点的子 模块 ； 0025 用于使用由三维表面得到的几何特征量作为基础特征， 将第二模块获取的真实腔 体壁三维内表面与三维虚拟器官内表面进行粗配准的子模块 ； 和 0026 用于使用形变模型、 共形映射和互距离等方法进行精细配准的子模块。 0027 在上述的腔体病灶检查系统中。
17、， 优选地， 所述第三模块还包括采用基于时域和空 域的跟踪算法对提取的特征点及其表达的特征结构进行实时跟踪的子模块。 0028 在上述的腔体病灶检查系统中， 优选地， 所述的用于诊断的信息包括检查过程中 光学内窥镜获取的二维影像， 所述第四模块包括影像配准及融合子模块， 用于以虚拟内窥 镜中的三维虚拟器官为基础， 将所述二维影像向所述三维虚拟器官腔体壁的内表面进行映 射、 配准和融合。 0029 在上述的腔体病灶检查系统中， 优选地， 所述的影像配准及融合子模块包括 ： 0030 用于将光学内窥镜获取的二维影像中的颜色信息映射到第二模块获取的三维内 表面的子模块 ； 0031 用于根据第二模块。
18、获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配 准关系， 将三维内表面的颜色信息映射到所述三维虚拟器官腔体壁的内表面的子模块。 0032 为了达到上述的进一步的目的， 另一种方案是 ： 在上述的腔体病灶检查系统中， 所 说 明 书 CN 103356155 B 5 3/6 页 6 述的用于诊断的信息包括从构建三维虚拟器官的断层医学影像中提取的可以反映病灶信 息的特征， 所述第四模块包括特征配准及融合子模块， 用于将提取的可以反映病灶信息的 特征映射在三维虚拟器官腔体内表面的对应点， 由伪彩表达并显示。 0033 本发明腔体病灶检查系统通过第二成像探头及图像工作站， 能够提供内窥镜探头 在。
19、目标器官腔体内的位置和姿态， 从而能够对医生的操作进行精确的导航， 降低对医生经 验的依赖， 提高检查的精准度和安全性。 附图说明 0034 图 1 为一实施例虚拟内窥镜辅助的腔体病灶检查系统的原理框图。 具体实施方式 0035 下面将结合示意性实施例对本发明的实施方式进行说明。为了清楚起见， 在本说 明书中并未描述实际实施的所有特征。当然应该理解的是， 在任何这种实际实施方案的发 展中， 必须做出许多实施方案特定的决定以实现开发者的特定目标， 例如与设计系统和涉 及商业的约束相符， 所述约束将根据实施过程的不同而发生变化。此外， 应该理解的是， 这 种开发工作可能是复杂和费时的， 但对于受益。
20、于本公开内容的本领域普通技术人员来说仍 将是所从事的日常工作。 0036 虽然本发明允许各种修改和替代的形式， 但已经借助附图中的实例显示了本发明 的特定实施方案并在此对其进行详细说明。 然而， 应该理解的是， 此处对特定实施方案的说 明并不意欲将本发明限制为所公开的特定形式， 而是相反， 本发明将覆盖落在如通过所附 的权利要求所定义的本发明精神和范围内的所有修改、 等价内容和替代方案。 0037 参照图 1， 本虚拟内窥镜辅助的腔体病灶检查系统包括光学内窥镜系统 1、 第二成 像探头 2 和图像工作站 3。 0038 光学内窥镜系统 1 用于获取诊断用内窥影像信息， 可以是传统的可见光内窥镜。
21、， 也可以是其他包含诊断信息的影像模态， 比如 OCT 成像内窥镜， 荧光内窥镜等， 光学内窥镜 系统 1 包括第一成像探头 （即内窥镜探头） 。 0039 第二成像探头 2 可以和第一成像探头嵌合成一体， 或者安装在第一成像探头附 近， 要保证第二成像探头 2 与第一成像探头的相对位置固定且视野重合。第二成像探头 2 用于实时获取光学内窥镜视野内真实腔体壁的三维内表面。 0040 图像工作站 3 与光学内窥镜系统 1 连接， 并通过信号采集传输系统 4 与第二成像 探头 2 连接， 该图像工作站包括 ： 0041 第一模块， 用于重建三维虚拟器官， 构造目标器官的虚拟内窥镜环境 ； 0042。
22、 第二模块， 用于与第二成像探头结合， 获取光学内窥镜视野内真实腔体壁的三维 内表面 ； 0043 第三模块， 用于根据第二模块获取的三维内表面， 反向计算第一成像探头的位置 和姿态， 进而通过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准， 在 虚拟内窥镜环境中显示第一成像探头在目标器官中的位置和姿态 ； 和 0044 第四模块， 用于将用于诊断的信息配准、 融合到三维虚拟器官的腔体壁内表面 ； 0045 第五模块， 用于基于虚拟内窥镜环境进行病灶初步检查。 说 明 书 CN 103356155 B 6 4/6 页 7 0046 下面对各模块详细说明。 0047 1、 重建三维虚。
23、拟器官， 构造目标器官的虚拟内窥镜环境。即第一模块的实现。 0048 三维虚拟器官采用断层医学图像重建， 这里的医学图像可以是多种图像模态， 需 要满足以下基本的要求。 1、 图像包含足够的结构信息， 能够还原目标器官的三维形态 ； 2、 图 像要有足够高的分辨率， 保证存在的病灶能够被足够多的图像体素表达， 以被观察者发现 ； 3、 图像应该包含能够对病灶进行区分的特异性病理、 生理、 功能等信息。CT 和 MR 图像是两 种较常用的图像模态。 0049 在获得相应图像的基础上， 根据图像自身的属性和构建虚拟内窥镜的要求， 对图 像原始数据进行去噪、 增强等预处理， 改进图像质量并保留有效图。
24、像信息。 然后对目标器官 的腔体壁进行分割， 可以只分割器官壁的内边界， 用来构造三维虚拟器官 ； 也可以同时分割 器官壁的内外边界， 使用内边界构造三维虚拟器官， 使用内外边界之间的图像信息进行进 一步处理分析， 帮助病灶的检查和诊断。 虚拟内窥镜环境构建包括如下几个要素 ： 1、 三维虚 拟器官， 是虚拟内窥镜检查的对象 ； 2、 检查交互方式的模拟， 使医生通过鼠标和键盘等外接 输入设备的控制， 可以模拟光学内窥镜检查的过程， 控制虚拟内窥镜镜头的运动、 旋转等操 作， 实现对器官腔内部的检查 ； 3、 影像信息的实时提取和显示， 医生从虚拟内窥镜中可以通 过三维虚拟器官壁的内表面形态变。
25、化， 或器官壁内部影像特征的变化来进行病灶的检查和 诊断。通过相应的信息确定病灶在三维虚拟器官上的位置。 0050 2、 基于虚拟内窥镜的病灶初步检查。即第五模块的实现。 0051 医生通过第五模块， 可以使用虚拟内窥镜环境对目标器官进行初步检查， 并确定 病灶的位置。检查的依据 （即第五模块中用于检查的特征） 包括目标器官腔体壁内表面的形 态信息， 以及由计算机处理并获得的定量化影像信息。定量化影像信息是指从原始的断层 图像和重建后的三维图形中提取并获得的特征信息， 涵盖了分割得到的器官腔体壁内表面 的几何信息、 腔体壁内部的图像灰度、 纹理、 以及它们的统计特征等信息。 通过计算机处理， 。
26、这些特征可以定量化表达， 并在正常组织和病灶组织之间体现出差异性。 进一步， 将定量化 特征进行可视化表达， 以达到让医生可以识别的目的。 0052 一个优选方案如下 ： 1） 、 使用带有临床结论的数据， 从病灶组织和正常组织的 影像中提取一系列特征量， 构建两者的混合高斯模型， 并对模型参数进行估计 ； 2） 、 使用 ROC(Receiver Operating Characteristics) 和 fROC(free response ROC) 方法来选择 最优的特征组合 ； 3） 、 使用最优的特征组合及混合高斯模型， 按设定的基本单元 （体素或区 域） ， 计算待检查区域中各单元属。
27、于病灶组织或正常组织的概率 ； 4） 、 使用水平集距离场的 方法将腔体壁内部的点和腔体壁内表面的点建立一一对应关系， 并将腔体壁内部点对应的 特征值映射到内表面的对应点上， 将 3） 中得到的概率值沿映射路径积分后进行归一化， 在 腔体壁内表面由伪彩表达并显示， 供医生进行虚拟内窥镜检查。 0053 3、 光学内窥镜视野内三维信息获取。即第二模块的实现。 0054 在光学内窥镜检查过程中， 第二模块与第二成像探头 2 结合， 实时获取光学内窥 镜视野内的空间三维信息， 并重建出光学内窥镜视野内真实腔体壁的三维内表面。其目的 是为了通过实时获取腔体壁三维信息， 来确定内窥镜探头所处的位置和姿态。
28、。 0055 一个优选方案是 ： 使用结构光法和基于红外光的立体视觉法获取深度信息， 经处 理后重建视野内器官壁内表面的三维形态信息。基于红外光的立体视觉法采用三角测量 说 明 书 CN 103356155 B 7 5/6 页 8 法， 使用两个摄像头中同一点的视距差来计算该点在空间中的三维位置。红外光的引入可 以帮助在整个视图中更容易分割出器官壁的软组织区域。 结构光法采用单色红外光和透射 光栅的方案， 发射具有固定样式的红外图案。 图案从发射面起， 不同的深度具有不同的样式 分布。 在同一位置获得两幅器官壁的内窥视图， 分别施加和取消红外结构光， 通过对两幅图 像进行分析获得当前场景下的红。
29、外结构光图案。 再将实时图案与预先定义的深度图样进行 相关性分析， 则可以获得每一点处的深度信息。立体视觉的方法在获得特殊结构边缘的深 度信息上具有较高的精度和分辨率， 可以将器官壁形变较大的部分以及突起的病灶等结构 作为目标， 获得其表面三维信息。 而结构光法可以获得各个位置的深度信息， 但是测量精度 受到预设图案的限制， 在边缘位置上不如立体视觉的方法精确。 因此， 优选方案使用立体视 觉法和结构光法两者结合的方式， 进行深度信息提取和腔体壁三维面重建。 0056 4、 内窥镜探头在目标器官中位置和姿态的确定及可视化。即第三模块的实现。 0057 第三模块使用实时获取的光学内窥镜视野内真实。
30、腔体壁的三维内表面 （即第二模 块实时获取的三维内表面） ， 反向计算得到第一成像探头在腔体壁内的位置和姿态， 进而通 过对第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面配准， 在虚拟内窥镜环境 中实时绘制并显示第一成像探头在目标器官中的位置和姿态。主要实现如下效果 ： 1、 医生 在虚拟内窥镜环境中通过观察内窥镜探头的位置和姿态， 可以避免内窥镜探头和器官腔体 壁发生碰撞， 同时对后续操作进行规划 ； 2、 可以引导医生操作内窥镜快速、 安全到达目标区 域， 目标区域通常为在虚拟内窥镜检查中初步确定的可疑病灶区域 ； 3、 对内窥镜探头行进 的路径进行计算和显示， 对于诸如直肠镜等比较。
31、复杂的内窥镜操作， 可以让医生了解内窥 镜光纤在体内的状态， 防止出现结襻等问题。 0058 一个优选方案如下 ： 在目标器官腔体壁上寻找比较容易识别的特征结构， 比如 结肠的结肠袋。采用几何特征和水平集的方法， 在虚拟内窥镜环境中三维虚拟器官的腔 体壁内表面分割得到每一个特征结构的三维表面。对光学内窥镜检查过程中获取的真实 腔体壁三维内表面 （即第二模块获取的三维内表面） ， 也以特征结构为基本单元， 提取特征 点。使用由三维表面得到的几何特征量 （如曲率、 形状指数等） 作为基础特征， 结合 SIFT （Scale-invariant feature transform) 特征进行粗配准 。
32、； 并配合使用形变模型、 共形映 射和互距离法实现最终精细配准。特征点提取的过程中， 优选引入特征结构形状的先验知 识作为约束， 以降低误差并提高配准速度。由于内窥镜探头一直在运动， 因此在配准的同 时， 还需要对提取的特征点及其表达的特征结构进行实时跟踪， 采用改进的卡尔曼滤波法 和 CamShift 结合的算法实现， 从时域和空域上对非刚性目标进行快速跟踪。最终， 从三维 虚拟器官的腔体壁上提取若干采样点， 分别获取其在摄像机坐标系和在世界坐标系中的坐 标， 计算两个坐标系的转换关系， 并由此获取镜头在世界坐标系中的位置和姿态， 用于在虚 拟内窥镜环境中显示。 0059 5、 用于诊断的信。
33、息 （包括影像及特征） 的配准、 融合。即第四模块的实现。 0060 这里的影像是指在光学内窥镜检查过程中由内窥镜探头产生的二维影像， 可以是 可见光影像， 也可以是其他模态的影像， 其特点是三维腔体壁内表面在二维探测器上的投 影获得的二维图像， 能反映腔体壁内表面的颜色、 纹理等信息。影像的配准、 融合指以虚拟 内窥镜中的三维虚拟器官为基础， 将光学内窥镜获得的二维影像向虚拟内窥镜中三维虚拟 器官腔体壁 （三维腔体壁） 的内表面进行配准和融合。要保证进行融合的区域来自于目标器 说 明 书 CN 103356155 B 8 6/6 页 9 官的相同位置， 融合后的影像能够在虚拟内窥镜环境中被医。
34、生有效的观察到。 0061 这里的特征指从构建三维虚拟器官的断层医学影像 （如 CT、 MR 等） 中提取的可以 反映病灶信息的特征 （如灰度、 纹理、 以及它们的统计特征等） ， 可以来自于目标器官腔体壁 内部的图像， 也可以来自于重建后三维虚拟器官腔体壁的内表面。 特征的配准、 融合是指将 从构建三维虚拟器官 （或者说构建虚拟内窥镜环境） 的断层医学影像 （如 CT、 MR 等） 中提取 的可以反映病灶信息的特征， 融合在虚拟内窥镜中的三维虚拟器官腔体壁内表面上， 供医 生进行检查。 具体应用中， 需要从断层医学影像或重建后的图形上提取特征， 选择出最佳特 征组合， 定量化处理， 然后向腔。
35、体壁内表面进行映射， 并使用伪彩色等方式在内表面进行表 达， 从而帮助医生通过视觉检查可以发现并定位病灶。 0062 影像配准、 融合的一个优选方案如下 ： 首先， 利用第二成像探头和第一成像探头具 有固定的空间位置关系， 通过坐标转换和投影映射将第一成像探头中二维图像的每一点和 由第二成像探头重建的腔体壁三维内表面上的点相对应， 进一步将光学内窥镜获取的二维 影像中的颜色信息投射到目标器官腔体壁的三维内表面 （即第二模块获取的三维内表面） ； 然后， 根据第二模块获取的三维内表面和三维虚拟器官的腔体壁内表面之间的配准关系， 将三维内表面的颜色信息映射到三维虚拟器官腔体壁的内表面， 并进行显示。
36、。 0063 特征的配准和融合优选按第五模块的方法实现。 0064 6、 采用专用软件实现多视图显示。 0065 主要提供如下几个视图显示功能 ： 1、 单独的虚拟内窥镜视图， 模拟光学内窥镜的 操作， 使医生通过鼠标、 键盘等输入设备， 对三维虚拟器官的内部进行虚拟内窥检查 ； 2、 单 独光学内窥镜检查视图， 对光学内窥镜检查过程中捕获的视频信息进行显示 ； 3、 导航视图， 从外部显示三维虚拟器官的全景图或从内部显示虚拟内窥视图， 视图中包含内窥镜探头相 对于目标器官所处的位置和姿态， 以及进入器官的路径， 达到对医生操作进行导航的目的 ； 4、 融合视图， 以虚拟内窥镜中的三维虚拟器官为框架， 在虚拟器官腔体壁内表面上融合不 同模态的图像以及腔体壁内部的特征， 供医生进行检查。以上四种视图可以单独显示也可 以分屏显示， 由医生人工选择显示视图和显示方式。 说 明 书 CN 103356155 B 9 1/1 页 10 图 1 说 明 书 附 图 CN 103356155 B 10 。