本发明大体涉及微创手术程序（例如微创冠状动脉旁路移植手术）期 间内窥镜的机器人控制。本发明具体涉及将手术前三维（“3D”）血管树图 像的图形表示到手术中内窥镜血管树图像的图形表示的匹配作为机器人引 导内窥镜的根据。
冠状动脉旁路移植术（“CABG”）是用于阻塞的冠状动脉血管的再形成 的手术程序。美国每年执行大约500000例这种手术。在常规CABG中，患 者的胸骨被打开并且患者的心脏充分暴露给外科医生。尽管心脏暴露，但 是一些动脉可能因为它们上方的脂肪组织层而部分不可见。对于这样的动 脉，外科医生可以摸触心脏表面并感受来自动脉的血液脉动以及动脉的狭 窄部位。不过，这样的数据是不充足的，可能不足以向手术部位转移手术 计划。
在微创CABG中，由于医生不能摸触心脏表面，因而常规CABG的上 述问题更严重。此外，微创CABG中使用的手术器械的长度阻止了来自工 具近端的任何触觉反馈。
用于解决常规CABG的问题的一种已知技术是将手术中的部位与手术 前的3D冠状动脉树配准。具体而言，使用光学跟踪的指示器对打开的心脏 环境中动脉的位置进行数字化，并且利用现有技术中的迭代最近点（“ICP”） 算法将位置数据配准到手术前的树。然而，与匹配数字化动脉和手术前数 据的任何相关方法一样，这种技术对于微创CABG而言是不现实的，因为 小端口访问施加了空间的约束。而且，这种技术要求大多数动脉能被医生 看到或触摸到，在微创CABG中这是不可能的。
用于解决微创CABG的问题的一种已知技术是执行配准方法，其中利 用光学跟踪的内窥镜重建心脏表面并将其匹配到同一表面的手术前计算机 层析成像（“CT”）数据。然而，与建议基于表面的匹配的任何相关方法一 样，如果用于导出表面的内窥镜视野过小，那么这种技术可能会失败。此 外，由于心脏表面相对平滑，没有特定的表面特征，这种技术的算法经常 工作在该算法的不是最理想的局部最大值中。
用于解决微创CABG的问题的另一种已知技术是利用先前标记的病例 数据库和基于图表的匹配来标记从新患者提取的冠状动脉树。然而，仅在 有完整的树且其目标是标记树而非匹配几何结构时，这种技术才有效。
微创CABG的另一问题是一旦达到相对于手术前的3D图像的全局定 位，内窥镜的取向和引导。配准的目标是便于定位接合部位和狭窄部位。 在标准设置中，内窥镜由助理持有，而外科医生持有两个器械。外科医生 向助理发出命令并且助理相应地移动内窥镜。这种设置有碍于外科医生的 手眼协调，因为助理需要直觉地转变外科医生发出的命令，通常从医生的 参照系转变到助理的参照系和内窥镜的参照系。多个坐标系可能导致各种 操作误差，延长手术时间或导致冠状动脉的错误辨识。
被设计为允许外科医生直接经由感测的医生头部运动来控制内窥镜的 手术内窥镜辅助可以通过从控制回路中去除助理来解决那些问题中的一 些，但是外科医生参照系和内窥镜参照系之间的变换的问题仍然存在。
本发明提供的方法用于匹配手术前三维（“3D”）图像（例如CT图像、 锥形射束CT图像、3D X射线图像或MRI图像）中所示出的和手术中内窥 镜图像中所示出的血管树（例如动脉的分叉、毛细血管或静脉）的图形表 示，用于将来自手术前3D图像的血管树叠加到手术中内窥镜图像以及用于 使用叠加图像将持有内窥镜的机器人引导到手术前3D图像中定义的位置。
本发明的一种形式是采用机器人单元和控制单元的机器人引导系统。
一种机器人引导系统采用了机器人单元和控制单元。机器人单元包括 用于生成解剖区域内的血管树的手术中内窥镜图像的内窥镜，以及用于在 解剖区域内移动内窥镜的机器人。所述控制单元包括内窥镜控制器，用于 生成所述解剖区域之内的内窥镜路径，其中，所述内窥镜路径从所述血管 树的手术中内窥镜图像的图形表示到所述血管树的手术前三维图像的图形 表示的匹配导出。控制单元还包括机器人控制器，用于命令所述机器人根 据所述内窥镜路径在所述解剖区域之内移动所述内窥镜。
本发明的第二种形式是一种机器人引导方法，包括生成解剖区域内的 血管树的手术中内窥镜路径以及生成解剖区域内的内窥镜路径，其中，从 所述血管树的手术中内窥镜图像的图形表示到所述血管树的手术前三维图 像的图形表示的匹配导出所述内窥镜路径。机器人引导方法还包括命令机 器人根据所述内窥镜路径在所述解剖区域之内移动内窥镜。
将本文中使用的术语“手术前”宽泛地定义为描述解剖区域内窥镜成 像之前、期间或之后为了采集解剖区域三维图像而执行的任何动作，将本 文中所使用的术语“手术中”宽泛地定义为描述在解剖区域的内窥镜成像 期间由机器人单元和控制单元执行的任何动作。解剖区域的内窥镜成像的 范例包括，但不限于CABG、支气管窥镜检查、结肠窥镜检查、腹腔镜检 查和大脑内窥镜检查。
结合附图阅读本发明各实施例的以下详细描述，本发明的以上形式和 其他形式以及本发明的各种特征和优点将变得更加显而易见。详细描述和 附图仅仅是本发明的例示而非限制，本发明的范围由所附权利要求及其等 价内容定义。
图1图示了根据本发明的机器人引导系统的示范性实施例。
图2图示了表示根据本发明的机器人引导方法的示范性实施例的流程 图。
图3图示了图2中所示的流程图的示范性手术实现。
图4图示了表示根据本发明的图形匹配方法的示范性实施例的流程图。
图5和6图示了根据本发明的血管树主图的示范性排序。
图7图示了根据本发明几何表示在内窥镜图像上的示范性叠加。
图8图示了根据本发明的图7中所示和叠加图像内的示范性机器人路 径。
如图1中所示，机器人引导系统针对包括有一个或多个分叉（即分支） 的血管树的内窥镜成像的任何内窥镜程序采用机器人单元10和控制单元 20。这种内窥镜程序的范例包括，但不限于微创心脏手术（例如，冠状动 脉旁路移植术或二尖瓣置换）。
机器人单元10包括机器人11、刚性附着于机器人11的内窥镜12和附 着于内窥镜12的视频捕捉设备13。
本文中将机器人11宽泛地定义为在结构上配置有一个或多个关节的电 动机控制系统的任何机器人设备，用于如特定的内窥镜程序所期望地操作 末端执行器。在实践中，机器人11可以具有四个（4）自由度，例如，具 有用刚性段串联的关节的串联机器人，具有按并联次序安装的关节和刚性 段（例如，现有技术中的Stewart平台）的并联机器人，或者串联和并联运 动学的任何混合组合。
本文中将内窥镜12宽泛地定义为在结构上配置有从身体内部成像的任 何设备。用于本发明的目的的内窥镜12的范例包括，但不限于任何类型的 柔性的或刚性的观测仪器（例如内窥镜、关节镜、支气管窥镜、胆管镜、 结肠镜、膀胱镜、十二指肠镜、胃窥镜、宫腔镜、腹窥镜、喉镜、神经窥 镜、耳镜、推式肠镜、鼻喉镜、乙状结肠窥镜、鼻窦镜、胸腔窥镜等）和 装备有图像系统的类似于观测仪器的任何设备（例如，具有成像功能的嵌 套插管）。成像是本地的，可以利用光纤、透镜和小型化（例如基于CCD 的）成像系统用光学方式获得表面图像。
在实践中，将内窥镜12安装到机器人11的末端执行器。机器人11的 末端执行器的姿态是机器人11致动器坐标系中的末端执行器的位置和取 向。在内窥镜12安装到机器人11的末端执行器的条件下，解剖区域内的 内窥镜12视场的任何给定姿态对应于机器人坐标系之内机器人11的末端 执行器的不同姿态。因此，可以将内窥镜12生成的血管树的每个个体内窥 镜图像链接到解剖区域之内对应的内窥镜12的姿态。
本文中将视频捕捉设备13宽泛地定义为在结构上配置有将来自内窥镜 12的手术中内窥镜视频信号转换成手术中内窥镜图像（“IOEI”）14的计算 机可读时间序列的能力的任何设备。在实践中，视频捕捉设备13可以采用 任何类型的帧抓取器，用于从手术中内窥镜视频信号捕捉单个数字的静止 帧。
仍然参考图1，控制单元20包括机器人控制器21和内窥镜控制器22。
本文中将机器人控制器21宽泛地定义为在结构上配置为向机器人11 提供一个或多个机器人致动器命令（“RAC”）26的任何控制器，用于根据 内窥镜程序的需要控制机器人11的末端执行器的姿态。更具体而言，机器 人控制器21将来自内窥镜控制器22的内窥镜位置命令（“EPC”）25转换 成机器人致动器命令26。例如，内窥镜位置命令25可以指示通往解剖区域 内的内窥镜12视场中的期望3D位置的内窥镜路径，由此，机器人控制器 21根据需要将命令25转换成包括针对机器人11每个电动机的致动电流的 命令26，以将内窥镜12移动到期望的3D位置。
本文中将内窥镜控制器22宽泛地定义为在结构上配置为实现根据本发 明并且在图2中示范性示出的机器人引导方法的任何控制器。为此，内窥 镜控制器22可以并入图像处理模块（“IPM”）23，本文中将所述图像处理 模块（“IPM”）23宽泛地定义为在结构上配置为执行本发明的解剖对象图 像配准的任何模块。具体而言，如图2示出的由流程图30的阶段S32和S33 示范性地实现的血管树图像配准。内窥镜控制器22还可以并入视觉伺服模 块（“VSM”）24，本文中将所述视觉伺服模块（“VSM”）24宽泛地定义为 在结构上配置为生成内窥镜位置命令25的任何模块，所述内窥镜位置命令 25指示通往解剖区域内的内窥镜12视场中的期望3D位置的内窥镜路径。 具体而言，如图2中示出的流程图30的阶段S34示范性实现那样，从血管 树图像配准导出内窥镜位置命令25。
现在将在此提供流程图30的描述以便进一步理解内窥镜控制器22。
参考图2，流程图30的阶段S31包括从手术前3D图像提取血管树的 几何表示。例如，如图3中所示，操作3D成像设备（例如，CT设备、X 射线设备或MRI设备）以生成患者50胸部区域的手术前3D图像42，该图 像42示出了患者50的左右冠状动脉51和52。之后，操作血管树提取器 43以从图像42提取冠状动脉树的几何表示44，所述图像42可以存储在数 据库45中。在实践中，可以使用Philips销售的Brilliance iCT扫描机来生 成图像42并从图像42提取冠状动脉树的3D数据集。
回来参考图2，流程图30的阶段S32包括：图像处理模块23将血管树 的一个或多个手术中内窥镜图像14（图1）的图形表示匹配到血管树的手 术前3D图像44（图1）的图形表示。例如，如图3中所示，内窥镜12生 成患者50胸部区域的手术中内窥镜视频，该手术中内窥镜视频是由视频捕 捉设备13拍摄的并转换成手术中内窥镜图像14，由此，内窥镜控制器22 的图像处理模块23将冠状动脉树的手术中内窥镜图像14的图形表示匹配 到冠状动脉树的手术前3D图像44的图形表示。在一个示范性实施例中， 图像处理模块23如图4中所示的流程图60示范性表示地那样执行本发明 的血管树图像匹配方法，本文中将在血管树为冠状动脉树的背景中进行描 述。
参考图4，流程图60的阶段S61包括：图像处理模块23根据现有技术 中的任何表示方法从冠状动脉树的几何表示生成冠状动脉树主图。例如， 如阶段S61中所示，将冠状动脉树的几何表示70转换为具有节点还具有节 点之间的分支连接的主图71，节点由冠状动脉树几何表示70的每个分叉（例 如，二分叉点或三分叉点）表示。可以在手术前执行阶段S61（例如，在内 窥镜手术之前几天或在将内窥镜12引入到患者50体内之前的任何时间）， 或利用C型臂血管造影术或其他适当的系统在手术中执行。
流程图60的阶段S62包括：图像处理模块23根据现有技术中的任何 图形表示方法从手术中内窥镜图像14中可见的冠状动脉树的部分生成冠状 动脉树子图。具体而言，将内窥镜12引入患者50体内，由此，图像处理 模块23在手术中内窥镜图像14之内执行冠状动脉结构的检测。在实践中， 一些动脉结构是可见的，而其他动脉结构可能被脂肪组织层隐藏。这样， 图像处理模块23可以通过已知的图像处理操作实现（一个或多个）可见冠 状动脉结构的自动检测（例如，通过（一个或多个）可见冠状动脉结构的 清晰红色进行的阈值检测），或者外科医生可以手动地使用输入设备以在计 算机显示器上勾勒出（一个或多个）可见冠状动脉结构。在检测（一个或 多个）动脉结构时，图像处理模块23以类似于生成冠状动脉树主图的方式 生成冠状动脉树图。例如，如阶段S62中所示，将冠状动脉结构的几何表 示72变换成具有节点，还具有节点之间的分支连接的图73，所述节点表示 冠状动脉树几何表示72的每个分叉（例如，二分叉点或三分叉点）。由于 两个树都来自同一人，因而把从内诊镜检查图像导出的图理解为从3D图像 导出的图的子图。
流程图60的阶段S63包括：图像处理模块23根据任何已知的图匹配 方法（例如最大公共子图或McGregor公共子图）将子图匹配到主图。例如， 如阶段S63所示，将子图73的节点匹配到主图71的节点的子集。
在实践中，子图73可以在手术中内窥镜图像14中仅被部分地检测到， 或者子图73的一些节点/连接可能从手术中内窥镜图像14中缺失。为改善 阶段S62的匹配精确度，可以进行主图71和子图73的额外排序。
在一个实施例中，基于阶段S61的图像扫描期间患者50的已知取向进 行主图71的垂直节点排序。具体而言，可以将主图节点定向链接以保持如 图5通过实线箭头示范性示出的上下次序。对于子图73，患者50相对于内 窥镜12的取向可能不是已知的。然而，已知在冠状动脉树从上到下扩展时 冠状动脉树分支的直径减小，那么手术中内窥镜图像14中动脉分支的变化 的动脉尺寸可以指示取向。
在另一个实施例中，可以基于阶段S61的图像扫描期间患者50的已知 取向实现主图70的水平节点排序。具体而言，可以将主图节点定向链接以 保持如图6通过虚线箭头示范性示出的左右次序。对于子图73，在患者50 相对于内窥镜12的取向还可能未知的情况下，可以由做手术的医生或助理 通过图形用户界面设置子图73的水平节点次序。
尽管使用排序可以减少匹配图的时间并减少可能匹配的数目，但是理 论上讲，通过匹配算法仍然可能获得图之间的多个匹配。在流程图30的阶 段S33期间解决了这样的多个匹配的情况。
再次参考图2，基于图的匹配，流程图的阶段S33包括：在血管树的手 术中内窥镜图像14上叠加血管树的手术前3D图像44（图1）的几何表示。 这是通过与主图唯一性关联的几何表示实现的。于是，可以利用透视图变 换将整个几何结构直接转变成手术中内窥镜图像14。可以利用现有技术中 的匹配算法，例如，单图匹配，从手术中内窥镜图像14和手术前3D图像 44中的节点检测透视图变换。
例如，图7示出了具有节点的冠状动脉树的几何表示80，利用手术中 内窥镜图像90将节点与节点91-95匹配。可以利用节点91-95中每个节点 对之间的距离确定用于几何表示80的缩放因子，由此使得几何表示80能 够如图所示地覆盖手术中内窥镜图像90。
在实践中，如果阶段S32（图2）的图匹配生成多个结果，那么可以向 外科医生显示所有可能的叠加图，由此外科医生可以通过图形用户界面选 择他认为是最可能的匹配的匹配结果。假设外科医生知道内窥镜12相对于 手术中内窥镜图像14中至少一些结构的位置，该选择可以是相对直截了当 的。
回来参考图2，流程图30的阶段S34包括：视觉伺服模块32在血管树 的手术中内窥镜图像14（图1）上的血管树的手术前3D图像44（图1）的 几何表示叠加图像内生成内窥镜路径。基于内窥镜路径，视觉伺服模块32 向机器人控制器21生成内窥镜位置命令25，由此沿着内窥镜路径将内窥镜 12（图1）引导到解剖区域之内的期望位置。具体而言，一旦发现了精确的 叠加，可以命令机器人11将内窥镜12引导到外科医生在手术前3D图像 44上选择的位置。外科医生或助理可以选择血管树的点，机器人11可以沿 着任何适当的路径向该期望位置引导内窥镜12。例如，如图9中所示，机 器人11可以沿着最短路径101将内窥镜12移动到期望位置100或沿着冠 状动脉路径102移动到期望位置100。冠状动脉路径102是优选的实施例， 因为冠状动脉路径102允许外科医生在机器人11移动内窥镜12时观察可 见的动脉。此外，这可能帮助外科医生判断匹配是否成功。可以利用现有 技术中的方法（例如Dijkstra最短路径算法）定义冠状动脉路径102。
在实践中，可以利用具有远程运动中心的未校准的视觉伺服命令机器 人11运动，可以将内窥镜12的视场扩展以能够在匹配阶段S32期间获得 更大的子图。
回来参考图2，也可以一次或周期性地执行阶段S32-S34，直到机器人 11将内窥镜12移动到解剖区域之内的期望位置的这样时间，或者执行由外 科医生指定的很多次。
在实践中，如图所示，可以由内窥镜控制器22之内集成的硬件、软件 和/或固件实现模块23和24（图1）。
从本文中图1-8的描述，本领域普通技术人员将认识到本发明的众多益 处，包括但不限于，将本发明应用于在任何类型的血管中执行的任何类型 的内窥镜手术。
尽管已经参考示范性方面、特征和实现方式描述了本发明，但公开的 系统和方法不限于这样的示范性方面、特征和/或实现方式。相反，本领域 的技术人员从本文中提供的描述容易明了，在不脱离本发明的精神或范围 的情况下易于对公开的系统和方法进行修改、变化和强化。因此，本发明 明确涵盖了其范围之内这样的修改、变化和强化。