包含结构光三维成像系统的医用内窥镜 【技术领域】
本发明涉及一种医用内窥镜。背景技术 内窥镜成像技术是一种典型的医学成像技术， 在医学诊断和手术导航等方面都发 挥着重要作用。随着人们对诊断和手术导航精度的日益重视， 三维成像技术在医用内窥镜 中的应用也日益增多。 以脑瘤手术为例， 传统的脑瘤治疗方法中， 如颅骨切开术采用切开病 人的头骨或面部骨骼的手术方式， 往往会严重损坏病人的容貌， 而且需要较长的术后恢复 期。最近， 扩张鼻内腔脑外科手术 （EEN,ExpandedEndonasalNeurosurgery） 在脑瘤临床治 疗中得到了极大关注。这种手术方案将微型内窥镜和外科手术设备导入鼻腔， 查找出脑瘤 的精确位置并加以切除。 EEN 手术的顺利实施需要内镜影像导航系统的有效指引， 导航系统 的性能会直接影响到脑瘤的定位准确性和外科手术的灵敏性。 内窥镜影像导航系统一般主 要包括两个子系统 ： （1） 用于实时获取手术部位图像的内窥镜成像系统 ； （2） 用于将手术设
备的位置映射到手术前的 CT 或 MRI 数据上的导航系统。图 1 为一个典型的刚体内窥镜的 结构示意图， 如图 1 所示， 内窥镜在内部工作镜管部分有两个通道 ： 成像通道 0-4 和照明通 道 0-6， 其中成像通道 0-4 用于对器官表面成像， 照明通道 0-6 则用来输出光束。成像通道 0-4 的光学元件 （从末端算起） 包括用于观测较大视野角度的发散镜头 0-5、 用于调焦的物镜 0-3、 用于转换图像的棒状传导部件 0-2 和放大目镜 0-7 ； 照明通道仅包括照明光纤 0-1， 用 于连接到光源处。与成像通道 0-4 相比， 照明通道 0-6 的结构要简单得多。
目前应用于 EEN 手术的内窥镜影像导航系统仍然具有很大的不健全性， 由于不能 从获取的图像或视频中复原三维场景而导致导航出现一定的偏差 （最大偏差可达 2cm 左 右） 。如果缺少手术部位的必要三维场景信息， 医生往往需要尝试接触组织表面以感受深度 距离， 或依靠个人经验做出主观判断。因而精确的三维可视化场景将会显著提高外科医生 手术操作的灵敏性和脑瘤定位的准确性， 具有重大的技术和医学应用价值。
最近几年内， 内窥镜图像的三维建模技术已经得到了一定程度的发展并取得了初 步的研究成果。然而， 由于 EEN 手术中使用的内窥镜必须非常小以便能穿过鼻腔到达头骨 底部区域， 一些常规的立体观测技术如多目立体视觉往往由于空间限制而不能直接应用。 迄今为止， 国内外尚未出现可行的 EEN 三维结构建模技术方面的报道。 发明内容
本发明的目的是解决在扩张鼻内腔脑外科手术中， 由于常规立体观测技术受空间 限制而不能直接应用于医用内窥镜的问题， 提供了一种包含结构光三维成像系统的医用内 窥镜。
包含结构光三维成像系统的医用内窥镜， 它包括工作镜管， 所述工作镜管包括成 像通道和照明通道， 所述照明通道内置照明光纤， 它还包括计算处理模块， 所述计算处理模块的信号输入端连接成像通道的电信号输出端 ； 它还包括结构光通道， 所述结构光通道置于照明通道内， 照明光纤的末端输出的光束 由结构光通道接收， 该光束经过结构光通道后产生结构光， 且所述结构光由结构光通道输 出至照明通道外。
本发明的包含结构光三维成像系统的医用内窥镜， 通过在医用内窥镜的照明通道 中增设结构光通道、 并综合使用基于栅格形变的结构光三维重建方法以及基于几何方法的 散焦三维重建方法来获取医学组织和器官表面的三维形状信息， 且能够应用于扩张鼻内腔 脑外科手术中 ； 本发明的三维图像是通过结构光三维重建方法实现的， 没有占用额外空间。 附图说明 图 1 为典型刚体内窥镜的结构示意图 ； 图 2 为本发明的医用内窥镜的结构示意图 ； 图 3 为本发明的医用内窥镜中的结构光通道的结构示意图 ； 图 4 为本发明的医用内窥镜的 剖面示意图。
具体实施方式
具体实施方式一 ： 结合图 2 和图 3 说明本实施方式， 本实施方式的包含结构光三 维成像系统的医用内窥镜， 它包括工作镜管， 所述工作镜管包括成像通道 1 和照明通道 2， 所述照明通道 2 内置照明光纤 3， 它还包括计算处理模块 4， 所述计算处理模块 4 的信号输 入端连接成像通道 1 的电信号输出端 ； 它还包括结构光通道 5， 所述结构光通道 5 置于照明通道 2 内， 照明光纤 3 的末端输出 的光束由结构光通道 5 接收， 该光束经过结构光通道 5 后产生结构光， 且所述结构光由结构 光通道 5 输出至照明通道 2 外。以上结构可参见图 2。
照明光纤 2 的直径约为 10 微米 (mm)， 使用细光纤束的原因在于其可以近似为一个 点光源。
如图 2 所示的内窥镜， 包括成像通道 1 和照明通道 2。成像通道 1 包括用于观测较 大视野角度的发散镜头、 用于调焦的物镜、 用于转换图像的棒状传导部件和放大目镜 ； 照明 通道 2 内置照明光纤 3， 照明光纤 3 连接到光源处。照明通道 2 内设置结构光通道 5， 用来 生成结构光。其中 Target 为目标。
以扩张鼻内脑外科手术为例， 由于需要将内窥镜从鼻腔插入， 因此内窥镜尺寸必 须尽量小巧。如图 4 所示， 刚体内窥镜的直径大约 4 毫米， 成像通道 1 直径大约 2.8 毫米， 结构光通道 5 直径大约 1 毫米。
参见图 3， 所述结构光通道 5 可由聚焦镜头组 51、 微型栅格屏 52 和投影镜头组 53 组成， 照明光纤 3 的末端输出的光束依次经过聚焦镜头组 51、 微型栅格屏 52 和投影镜头组 53 后， 生成结构光输出。
微型栅格屏 52 是设计的关键元件， 它需要具备以下特点 ： 固体、 非常规则而且分 辨率很高 （以栅格单位的尺寸为标准） ； 在本实施方式中， 所述微型栅格屏 52 的材料可采用 碳聚合材料， 具体可选用碳纳米管 / 环氧树脂复合材料或碳纳米管 / 聚氨酯复合材料。
令 b1 表示微型栅格屏 52 到聚焦镜头组 51 的等效光心的距离， 令 b2 表示微型栅 格屏 52 到投影镜头组 53 等效光心的距离， 则可令 1:3>b1:b2>1:5。所述结构光通道 5 输出的光束即为结构光， 由于内窥镜尺寸和结构限制， 无法产 生复杂的结构光编码模式， 而只能产生单一的栅格模式。
当投影镜头组 53 可以用薄镜头模块近似时， 距离 b2 由两个因素决定， 所述两个因 素分别为投影镜头组 53 的等效光心到目标之间的距离 Z2 以及投影镜头组 53 的放大倍数 R， 即有 b2=Z/R， 其中距离 Z2 可以根据对 EEN 临床特征的统计研究进行估算， 如对鼻内窥镜 成像时 Z2 为 10~20mm， 放大倍数 R 由所采用的光源决定。
所述聚焦镜头组 51 可由第一平凸透镜 511 和第二平凸透镜 512 组成， 且第一平凸 透镜 511 的凸起表面和第二平凸透镜 512 的凸起表面相对放置， 第一平凸透镜 511 的平表 面作为聚焦镜头组 51 的光输入端， 第二平凸透镜 512 的平表面作为聚焦镜头组 51 的光输 出端。
所述第一平凸透镜 511 和第二平凸透镜 512 均可采用消色差双和透镜。
本实施方式中， 内窥镜内部使用氙气或金属卤化物生成的冷光作为光源， 考虑到 光源的宽光谱， 可采用消色差双合透镜作为聚焦镜头， 可使关于光波长的镜头折射率变化 引起的色差失常最小。
令 d1 表示第一平凸透镜 511 的焦距， 令 d2 表示第二平凸透镜 512 的焦距， 则第一 平凸透镜 511 的光心和第二平凸透镜 512 的光心之间的距离可为 d1+d2。 所述投影镜头组 53 可由第三平凸透镜 531 和第四平凸透镜 532 组成， 且第三平凸 透镜 531 的凸起表面和第四平凸透镜 532 的凸起表面相对放置， 第三平凸透镜 531 的平表 面作为聚焦镜头组 51 的光输入端， 第四平凸透镜 532 的平表面作为聚焦镜头组 51 的光输 出端。
令 d3 表示第三平凸透镜 531 的焦距， 令 d4 表示第四平凸透镜 532 的焦距， 则第三 平凸透镜 531 的光心和第四平凸透镜 532 的光心之间的距离可为 d3+d4。
照明光纤 3 的末端和微型栅格屏 52 之间的距离 D 可根据栅格分辨率标准来确定， 所述距离 D 需满足下述约束条件 ：
， 其中 H 表示结构光通道 5 的半径， L 表示光纤照明区域的半径， Z 表示微型栅格屏 52 和 目标之间的距离。
在满足上述约束条件的情况下， 选择较大的 D 值， 能够保证获得较高的栅格分辨 率。
所述计算处理模块 4， 用于对成像通道 1 获得的图像进行三维重建， 获得所述图像 的三维图像。
计算处理模块 4 对成像通道 1 获得的图像进行三维重建的具体过程为 ： 对于目标中清晰区域， 通过提取栅格角点的方法， 并利用基于栅格形变的结构光三维 重建方法重建所述清晰区域的表面三维形状 ； 对于目标中模糊区域， 采用基于几何方法的散焦三维重建方法重建所述模糊区域的表 面三维形状。
所述基于栅格形变的三维重建方法的具体过程可参考下述过程 ： 对于物体上任意一点 P， 它在世界坐标系中的坐标是6, 在照相机参考坐标CN 101836852 A说明书；4/6 页系的坐标是， 在投影镜头参考坐标系的坐标是照相机参考坐标系的原点定义在成像通道 （1） 内照相机的 CCD 透镜镜头的光心， 投影 镜头参考坐标系的原点定义在结构光通道 （5） 内投影镜头组 （53） 的光心， 照相机图像坐标 系 的原点定义在 CCD 的中心 ， 投影镜头图像坐标系 的原点定义在投影镜头组 （53） 的中心 空间点 P 的世界坐标 系：； 是 CCD 透镜的焦距， 是投影镜头组 （53） 的焦距 ； 与照相机参考坐标 存在如下转换关考虑图像的倾斜形变情况。所谓倾斜形变就是指成像时， 图像的 X 轴和 Y 轴不正交， 虽 然大多数情况下 X 轴和 Y 轴是正交的， 但是当光轴和成像平面不完全正交时可能会导致 X 轴和 Y 轴不正交。
假设 X 轴和 Y 轴的倾斜形变角为， 得到 ：其中为 CCD 透镜 U 方向的焦距，为 CCD 透镜 V 方向的焦距 ；于是得 ：将照相机的内部参数矩阵和外部参数矩阵化简， 并令， 得到 ：同理由于投影仪可以看作是照相机的倒置， 所以可以得到 ：消去和， 得到 ：由照相机获得的图像经过解码处理后， 每一个码值都可以映射到投影镜头组 （53） 所投 射的编码图案的相应位置， 即它们之间存在一种对应关系 ： ， 上式的具体形式由所采用的编码方式决定， 不同的编码方式对应着不同的具体形式 ； 对于一个标定过的结构光系统， 照相机及投影仪的内外参数均已知。如果能够实现空 间点在照相机上的像点和投影仪上的投影点的匹配 （Correspondence） ， 即确定对应关系， 则可得到空间点 P 的坐标， 从而实现三维重建。由于内窥镜尺寸和结构限制， 无法产生复杂 的结构光编码模式， 只能产生单一的栅格模式， 通过提取栅格角点并利用三角化方法可以 重建表面的三维形状。
所述基于几何方法的散焦三维重建方法的过程如下 ： 步骤一、 随机产生 T 幅等焦平面图像 r j ， 获取每幅等焦平面图像在物距等于 z 0 处的散 焦图像的光强分布 I 1,j ， 同时获得物距等于 z 1 的每幅等焦平面图像的散焦图像的光强分布I 2,j ； 其中，，，；步骤二、 基于 {(I 1,j ,I 2,j )| 步骤三、 按照均差最小原则， 有 ，} 构建训练样本集， 引入图像对 Ij =(I 1,j ,I 2,j ) ；其中， 表示复原的等焦平面图像， 表示图像的深度信息估计， 对应的线性散焦变换算子 ； 步骤四、 对每个深度级别 S 求解一个对应的线性算子 得每个深度级别 S 对应的线性算子 ； 其中 ， 使得表示深度为 S 时最小， 从而获表示一个深度为 S 的散焦图像对 ； ，利用步骤四得到的 步骤五、 在内窥镜成像时， 调整相机获得两幅图像 I=(I 1,I 2)，根据公式
， 获得图像的深度信息， 进而实现对图像的三维重建。 步骤四所述内容的具体过程为 ： ， 使得 最小， 其中 表示一对每个深度级别 S 求解一个对应的线性算子 个深度为 S 的散焦图像对 ； 构建一个大间隔学习规划问题来学习线性算子： ，令 如果 Ij 对应的深度信息为 S ， 则， ， 否则 ； 其中， 。 ， 为折中参数 ；利用 Stiefel 流形上的梯度下降法， 求解获得线性算子
本发明的工作原理为 ： 内窥镜中的结构光通道发射出特定模式的光， 投射到器官表面后， 由成像通道中的相 机捕获器官表面图像， 然后由计算处理模块通过分析图像中光的形变信息， 利用结构光三 维重建方法来提取器官的三维形状。
本发明的包含结构光三维成像系统的医用内窥镜， 通过在刚性医用内窥镜的照明 通道中增设一个管道， 在管道中设置聚焦透镜组、 微型栅格屏以及投影镜头组， 并结合利用 内窥镜的光纤束实现一个结构光生成系统， 综合使用基于栅格形变的结构光三维重建方法 以及基于几何方法的散焦三维重建方法来获取医学组织和器官表面的三维形状信息。