用于定位图像中手术器械的基准标记设计和探测 技术领域 本非临时申请要求美国临时专利申请 No.61/204,084(2008 年 12 月 31 日提交 ) 在 35U.S.C§119(e) 下的权益， 其全部内容包括在此以供参考。
本 申 请 涉 及 美 国 非 临 时 专 利 申 请 No.12/428,691( 同 时 提 交 )[ 代 理 人 案 号 No.ISRG 01910/US，名 称 为 “Configuration Marker Design and Detection for Instrument Tracking” ]， 并且涉及美国临时专利申请 No.61/203,975(2008 年 12 月 31 日 提交 )， 两者的全部内容包括在此以供参考。
背景技术
微创手术 (surgical) 技术目的在于降低诊断或手术程序期间损伤的外部组织的 量， 从而减少患者的康复时间、 不适以及有害副作用。 结果， 使用微创手术技术， 能够显著缩 短标准手术的住院时间的平均长度。同样， 通过微创手术技术， 也可减少患者康复时间、 患 者不适、 手术副作用以及患者休假时间。 微创手术的一种普通形式是内窥镜检法 (endoscopy)， 而内窥镜检查法的一种普 通方式是腹腔镜检法， 其为腹腔内的微创检查和手术。 在标准的腹腔镜检法手术中， 向患者 的腹部吹入气体， 而插管套管穿过小切口 ( 大约 1/2 英寸或更小 )， 从而提供腹腔镜检法器 械 (instrument) 的进入端口 (entry port)。
腹 腔 镜 手 术 器 械 通 常 包 括 腹 腔 镜 或 内 窥 镜 ( 用 于 观 察 手 术 地 点 (surgical field)) 以及工作工具。 工作工具类似于传统 ( 开放 ) 手术中使用的工具， 除了每个工具的 工作末端或末端执行器 (end effector) 都通过伸缩管而与其把手分离。在此使用的术语 “末端执行器” 意思是手术器械的实际工作部分， 并且能够包括例如夹钳、 抓紧器、 手术剪、 吻合器 (stapler) 以及持针器 (needle holder)。
为了执行手术程序， 外科医生使这些工作工具或器械穿过插管套管， 到达内部手 术部位 (surgical site)， 并且从腹部外部操作这些工具。 外科医生通过显示源自腹腔镜的 手术部位影像的监控器观察手术过程。类似的内窥镜技术在例如以下领域使用， 即关节镜 检查、 腹腔镜肾脏输尿管切除术、 盆腔镜检查、 肾镜检查、 膀胱镜检查、 膀胱镜术、 鼻窦内窥 镜检查、 子宫镜检查、 尿道镜检查等等。
为了在内部手术部位中工作， 以及为了允许外科医生从远方为患者手术， 所以发 展微创远程手术机器人系统。在远程手术系统中， 通常在控制台向外科医生提供手术部位 的影像。外科医生在观察适当的观察器或者显示器上的手术部位的三维 (3-D) 影像的同 时， 通过操作控制台主输入或控制装置而对患者实施外科手术。每个主输入装置都控制机 械伺服操作的手术器械的运动。 在外科过程期间， 响应主输入装置的操作， 远程手术系统能 够机械致动并控制具有为外科医生执行各种功能的末端执行器的多种手术器械或工具， 所 述功能例如握住或推进手术针、 抓住血管、 解剖组织等等。
然而在手术过程期间， 外科医生可操作工具， 从而在内窥镜的视野外移动其末端 执行器， 或者由于流体或其他干涉物体的阻挡而难以看到末端执行器。 在该情况下， 能够在
工作站的显示屏上向外科医生提供末端执行器的定位和 / 或标识的帮助将有用。能够使用 关于工具的 3-D 姿态 ( 位置和方向 ) 的准确信息， 从而提供该帮助。通常， 工具的 3-D 姿态 的准确信息对于许多影像手术定位和用户界面应用都很重要。
已使用的提供准确工具跟踪的方法包括基于动力学的姿态信息和源自影像的姿 态信息的结合。 该工具跟踪信息的结合能够提供两种数据类型的优点， 而排除关联的缺点。 虽然可以通过非常高的更新率获得运动学接点数据 (kinematics joint data)， 但是由于 在每个接点的误差累积， 而位于远离工具的接点中的误差对于准确度具有更大的影响， 运 动学评估姿态可不是非常准确。 相反， 源自影像的工具姿态评估能够高度准确， 但是可通过 对于许多实时应用有用的较慢更新率运行。 通过使用更准确的源自影像的工具姿态评估修 正较高更新率的运动学姿态评估， 能够获得更准确的较高更新率的工具姿态评估。
许多现有技术对于手术工具跟踪有用。在一种方法中， 使用光学跟踪器跟踪标记 (marker) 组合件的位置， 后者连接患者体外的手术器械上的某一位置。 然而， 光学跟踪器需 要专用立体摄像机以及专用的照明设备， 其占据本已拥挤的手术室空间。 由于有可能碰撞， 该光学跟踪器的配属也降低了机器人臂的运动范围。从 3-D 姿态到手术工具尖端的传播也 能够产生一些水平的误差。另外的问题包括 ： 需要额外的空间、 有限的可见范围、 手术室中 的额外硬件装备以及成本。另外一种方法使用电磁跟踪器， 其具有自身的相关缺点。例如， 大多数手术器械具有能够引起变形的金属部分， 由于连接一个工具尖端的电磁跟踪器和邻 近的手术工具的金属组件之间的距离变化， 该变形能够及时改变。电磁跟踪器也伴随额外 的成本。 计算刚性主体关于摄像机的 3-D 姿态是计算机 / 机器人视像系统中经充分研究的 问题。可通过以下方法解决 3-D 姿态， 即始于物体的已知特征， 并且匹配这些特征与图像中 的其二维 (2-D) 对应。通常使用例如点和线段这样的特征。从单一 2-D 图像确定刚性主体 的 3-D 姿态在计算机视像系统中被称为 “姿态评估” ( 参考 Christophe Doignon， “Scene Reconstruction， Pose Estimation and Tracking” 的引言， 2007 年 )。如果使用基于点的 对应， 则问题称为 “n 点透视” ， 其中 n 是对应的数目。三个非共线点提供四个解。四个或更 多非共线点提供唯一解。
能够使用两种方法实现使用立体摄像机的刚性物体 3-D 姿态确定。首先， 3-D 姿 态的确定能够作为一种最优化问题解决， 其中选择提供这样的投影 (projected)3-D 点之 间的最佳解， 该点具有两个图像中的图像对应。在其他方法中， 能够使用两个视野中的图 像点， 从而使用立体三角测量确定相应的 3-D 点， 而通过求解确定的 3-D 点和相应的模 型点之间的刚体变换而确定相对姿态 ( 参考 A.Lorusso、 D.W.Eggert 和 R.B.Fisher， “A comparison of four algorithms for estimating 3-d rigid transformations” ， 1995 年 )。
然而， 许多因素都能够妨碍获得源自图像的工具姿态评估的能力。 举例来说， 仅当 物体的特征处于成像装置的视野之内时， 才能够获得源自图像的评估并且将其提取。可防 止提取特征的一些因素包括 ： 通过解剖结构或其他器械阻碍该特征， 最快的器械或摄像机 运动引起的图像质量降低 ( 即运动模糊 )， 不利的照明条件 ( 例如当光太强时饱和， 当光太 弱时对比度缺乏， 由于光源、 器械和成像装置的相对外形构造引起的强单向反射性 ) 以及 复杂的背景杂斑。
因此， 为了增加可得到准确的工具姿态评估的比率， 更可靠的源自图像的工具姿 态评估将有益， 其依次可帮助提供更准确的全工具跟踪。 因此， 期望提供改善的源自图像的 工具姿态评估的改进的方法和系统， 特别是哪些对于以下不利条件不敏感的方法和系统， 例如阻碍、 运动模糊以及不利的照明条件。 发明内容
依照实施例， 提供使用来自一个或更多工具定位参考特征的源自图像的数据执行 3-D 工具跟踪的改善系统、 方法和工具。使用一个或更多参考特征能够通过提供一个或更 多能够更可靠地取像并处理的特征而提供改善的源自图像的工具姿态评估。 在微创手术期 间， 有效并且可靠的源自图像的工具姿态评估能够特别有用， 其中准确和可靠的工具跟踪 能够提供许多优点， 例如向外科医生提供对于阻碍或视野外工具的定位的帮助。 然而， 应明 白， 公开的系统、 方法和工具能够用于人体内部和外部的多种应用， 以及非手术工具跟踪应 用。通常， 工具的 3-D 姿态的准确信息对于多种图像引导和用户界面应用都很重要。
因而， 为了提供对本发明的基础理解， 下文提出本发明的有些实施例的简单概要。 本概要不是本发明的完整描述。无意确定本发明的关键 / 决定性元素， 或者描绘本发明的 范围。其唯一目的是通过简单的方式提出本发明的优选实施例， 作为随后提出的更详细说 明的前奏。 依照一个实施例， 提供用于确定被成像工具的工具状态的机器人手术方法。本方 法包括 ： 捕捉工具的第一图像， 其包括多个定义第一标记的特征， 其中第一标记的至少一个 特征包括标识特征 ； 通过处理第一图像而确定第一标记的位置 ； 通过处理第一图像通过使 用至少一个标识特征而确定第一标记的标识 ； 以及通过使用第一标记的位置和标识而确定 工具的工具状态。
确定被成像工具的工具状态的机器人手术方法能够包括许多选项。例如， 第一标 记能够包括定义误差校验数据和 / 或校验和数据的冗余特征， 而本方法能够包括 ： 处理第 一图像， 从而探测冗余特征并且读取误差校验数据和 / 或校验和数据 ； 通过检验第一标记 标识与误差校验数据和 / 或校验和数据一致而确认第一标记的标识。
有些选项包括具有两个或两个以上标记的工具。 每两个或两个以上标记都能够具 有至少一个关联这样的标识的标识特征， 其与工具上的其他标记不同。能够使用处理器实 现图像处理， 该处理器具有用于每个标记的数据指示， 以及标记与手术工具的接点之间的 关联的预定位置关系。确定工具的工具状态能够包括使用第一标记的位置、 第一标记的标 识、 以及第一标记的关联位置关系数据。第一图像能够包括工具的第二标记。有一种方法 能够包括 ： 通过处理第一图像而确定第二标记的位置 ； 以及通过处理第一图像而标识第二 标记 ； 通过使用以下条件而确定工具的工具状态， 即第二标记位置、 第二标记标识、 关联第 二标记的预定位置关系数据。
有些选项包括工具的多个图像。 例如， 方法能够包括这样的步骤， 其能够在第二标 记在第一图像中模糊时使用， 例如 ： 在使用第一标记确定工具状态后移动工具时 ； 捕捉移 动后工具的第二图像， 其中第一标记模糊但第二标记不模糊 ； 通过处理第二图像确定第二 标记的位置 ； 通过处理第二图像确定第二标记的标识 ； 并且使用第二标记位置、 第二标记 标识以及关联第二标记的预定位置关系数据来确定移动后的工具的状态。
一些选项包括工具的立体影像。 能够使用例如立体成像装置， 如立体内窥镜， 从而 捕捉手术工具的第一和第二图像， 其能够被处理从而确定第一标记的 3-D 位置数据。能够 确定三维甚至更多维中的工具状态。
一些选项包括具有多个有特定类型特征的标记的工具。例如， 每个标记都能够具 有至少一个定位器特征， 以及相对于至少一个定位器特征处于已知位置关系的至少一个标 识特征。能够通过使用定位器特征和方向特征确定第一标记的位置。能够通过以下方法确 定第一标记的标识， 即标识第一标记的至少一个定位器特征， 并且根据定位器特征与标识 特征之间的已知位置关系读取标识特征。
一些选项包括 “假设和检验” 方法。例如， 方法能够包括 ： 处理第一图像， 从而标识 该至少一个定位器特征 ； 为第一标记选择候选特性 (candidate identity) ； 使用已标识的 至少一个定位器特征， 产生具有候选特性的标记候选视野 ； 以及比较该候选视野与第一图 像， 从而验证选择的候选特性为第一标记特性。为第一标记选择候选特性能够包括通过以 下方法产生用于手术工具的评估姿态， 即使用源自工具的现有图像的至少一种现有工具状 态或者源自实行工具的运动的机器人致动系统的接点数据。能够选择候选特性， 从而导致 用于手术工具的候选姿态， 其处于手术工具的评估姿态的预定偏离之内。有一种方法能够 包括处理包含多种手术工具的图像， 其中每个手术工具都具有其特性。一种特性能够通过 以下方法关联具有第一标记的被成像工具， 即验证第一标记的候选特性引起这样的候选姿 态， 其处于具有第一标记的手术工具的评估姿态的预定偏离之内。
能够使用多种方法从而确定标记的位置数据。例如， 能够使用最大稳定极值区域 (MSER) 法。而另一个例子能够使用自适应阈值法 (adaptive thresholding)。
依照另一实施例， 提供能够用于确定被成像工具的工具状态的机器人手术系统。 该系统包括 ： 手术工具， 其具有多个定义第一标记的特征， 其中至少一个特征包括标识特 征； 成像装置， 其用于捕捉工具在使用期间的第一图像， 并且根据响应输出第一图像数据 ； 以及处理器， 其耦合成像装置并且适合处理第一图像， 从而 ： 确定第一标记的位置数据 ； 使 用标识特征确定第一标记的标识 ； 以及通过以下方法确定被成像工具的工具状态数据， 即 使用第一标记的位置数据以及第一标记的标识。
确定被成像工具的工具状态的机器人手术系统能够包括可选择的组件和 / 或变 体。例如， 有一种系统能够包括有形介质 (tangible medium)， 其包括可由处理器执行用于 处理被捕捉的图像的机器可读指令。 有一种系统能够包括用于源自支持工具的机器人接点 的非源自内窥镜的工具状态数据的输入， 并且能够配置处理器从而为了跟踪工具的状态， 处理非源自内窥镜的工具状态信息以及源自图像的工具状态信息。 成像装置能够适合与第 一图像基本同时捕捉手术工具的第二图像， 并且响应该捕捉而输出第二图像数据。处理器 能够经配置从而通过处理第一和第二图像数据而确定第一标记的 3-D 位置数据。成像装置 能够包括立体内窥镜。
可选择的组件和 / 或变体能够包括标记特征。例如， 第一标记能够包括定义误差 校验数据的冗余特征。处理器能够经配置从而处理第一图像数据， 从而 ： 探测第一标记冗 余特征 ； 读取误差校验数据 ； 以及通过以下方法确认第一标记的标识， 即证实第一标记标 识与误差校验数据一致。冗余特征也能够定义校验和数据 (check-sum data)， 并且处理 器能够经配置从而处理第一图像数据， 从而读取校验和数据。处理器能够通过以下方法确认第一标记的标识， 即证实第一标记标识与校验和数据一致。标记能够具有各种构造。例 如， 至少一个标记能够包括至少一个与邻近的标记共用的定位器特征。能够以 2-D 图案 (pattern) 布置一个或更多标记的特征。 一个或更多标记能够使用圆圈或角 (corner) 作为 定位器特征。该角能够包括鞍点。一个或更多标记能够包括三个定位器特征。一个或更多 标记能够包括四个定位器特征。一个或更多标记能够包括四个圆圈以及一个条形 (bar) 作 为定位器特征。标记能够包括文字 (text)， 后者能够通过改进从而增加定位数据或判别特 征。
可选择的组件和 / 或变体能够包括多个标记。多个标记能够绕工具分布， 并且处 理器能够包括这样的数据， 其用于每个标记、 用于指示关联的标记标识以及标记和手术工 具接点之间的关联预定位置关系。多个标记能够具有这样的标识特征， 其差别对于处理器 足以确定被包含在第一图像中的标记的标识。
处理器能够使用确定的 3-D 姿态从而以多种方式修改工具的显示图像。例如， 能 够更改显示图像， 以便通过改变相应于参考特征的图像部分， 使得增加的参考特征较不视 觉突出， 或者被完全 “擦除” 。
依照另一实施例， 提供与机器人手术系统一起使用的手术工具。该手术工具包括 成像装置和处理器， 前者用于在手术工具使用期间捕捉手术工具的图像， 后者耦合成像装 置从而处理捕捉的图像， 以便确定手术工具的源自图像的位置信息。手术工具包括多个标 记， 其中每个标记都具有至少一个标识特征。每个标记的标识特征的差别足以使手术系统 基于围绕标记的图像而区别各标记。 依照另外的实施例， 提供机器人手术方法。 该方法包括捕捉手术工具的第一图像， 该手术工具包括定义多个标记的多个特征， 其中每个标记都具有相对于手术工具的预定位 置关系， 第一图像包括标记中的一个 ； 通过处理第一图像， 确定被成像的标记的位置 ； 通过 以下方法产生工具的评估工具状态， 即使用来自工具现有图像的至少一种现有工具状态或 者来自完成工具的运动的机器人致动系统的接点数据 ； 以及通过以下方法确定工具的工具 状态， 即使用被成像标记的位置、 手术工具和被成像标记之间的预定位置关系以及工具的 评估工具状态。
依照另外的实施例， 提供手术机器人工具跟踪方法。 该方法包括 ： 将源自光源的照 明光引导至患者体内的机器人手术工具上， 其中照明光包括可见光谱， 该工具包括在工具 上具有已知位置的多个原始特征 (primitive feature)， 并且其中每个特征都包括球面反 射表面 ； 当该工具在患者体内时捕捉多个原始特征的立体图像， 立体图像由邻近照明光源 的立体影像捕捉装置捕捉， 以便从被成像的原始特征朝着图像捕捉装置反射的照明光基本 与被成像的原始特征的表面的球形中心对齐 ； 以及通过处理立体图像来使用反射光定位被 成像的原始特征的球形中心， 从而确定工具的位置。
手术机器人工具跟踪方法能够包括许多选项。 能够通过处理图像完成工具的位置 确定， 以便通过使用镜射光来标识至少一个原始特征。 能够处理立体图像， 从而为被成像的 原始特征的球形中心确定 3-D 位置数据。能够使用星座算法 (constellation algorithm) 从而标识第一图像中的原始特征图案。 有种方法能够包括通过以下方法产生工具的评估工 具状态， 即使用源自工具的现有图像的至少一种现有工具状态或者源自实现工具运动的机 器人致动系统的至少一种接点数据， 以及在星座算法中使用评估工具状态。有种方法能够
包括 ： 为多个时间点捕捉立体图像 ； 为多个时间点产生评估工具状态 ； 使用稳健估计技术 拒绝任何不相容的图案探测， 该稳健估计技术能够是随机抽样一致算法 (RANSAC) 技术。能 够在图像中的原始特征的标识中使用基于模型的图像标识签章 (signature)。有种方法能 够包括 ： 处理立体图像， 从而标识两幅图像中的工具固有特征 ； 为已标识的固有特征确定 3-D 位置 ； 以及通过以下方法确定源自图像的工具状态， 即与被成像的原始特征的 3-D 位置 数据相结合地使用固有特征的 3-D 位置。有种方法能够包括通过以下方法产生工具的评 估工具状态， 即使用源自工具的现有图像的至少一种现有工具状态以及源自实现工具运动 的机器人致动系统的至少一种接点数据， 并且使用评估的工具状态从而拒绝不相容图案探 测。 原始特征中的至少一种能够包括凸或凹球形反射表面， 其与工具的接点轴线对齐， 并且 该反射表面能够由接点结构限定。
依照另外的实施例， 提供微创机器人手术系统。该系统包括 ： 机器人手术工具， 其 具有多个原始特征， 后者在工具上的具有已知位置， 其中每个特征都包括球形反射表面 ； 光 源， 其被定向成在患者体内发射照明光 ； 立体图形捕捉装置， 其邻近照明光源， 以便从原始 特征朝向图像捕捉装置反射的照明光基本与球形表面的球形中心对齐 ； 以及处理器， 其耦 合图像捕捉装置， 并且经配置用于通过处理立体图像来通过使用反射光定位原始特征的球 形中心从而确定工具的位置。 微创机器人手术系统能够包括许多选项。 例如， 有一种系统能够包括有形介质， 其 包括可由处理器执行、 用于处理立体图像的机器可读指令。该处理器能够经配置， 从而通 过处理立体图像来通过使用镜射光标识多个原始特征中的至少一个从而确定工具的位置。 原始特征能够与工具的接点轴线对齐， 并且能够包括由接点结构限定的反射球形表面。处 理器能够进一步经配置， 从而通过处理立体图像， 确定被成像的原始特征的球形中心的 3-D 位置数据。该成像装置能够包括立体内窥镜。球形反射表面能够包括凸或凹表面。
依照另外的实施例， 提供与机器人手术系统一起使用的手术工具。 该系统包括 ： 立 体成像装置， 其用于在使用期间捕捉手术工具的立体图像 ； 以及处理器， 其耦合成像装置从 而处理捕捉后的立体图像， 以便确定手术工具的源自图像的位置信息。手术工具包括多个 原始特征， 而每个原始特征都包括球形反射表面。
依照另外的实施例， 提供物体跟踪系统。该系统包括 ： 物体， 其具有多个原始特 征， 而每个原始特征都包括球形反射表面 ； 光源， 其被定向成朝着物体发射照明光 ； 立体图 像捕捉装置， 其用于捕捉物体的立体图像， 该图像装置邻近照明光源布置， 以便从多个原始 特征朝着图像捕捉装置反射的照明光基本与球形表面的球形中心对齐， 图像装置为立体图 像输出图像数据 ； 以及处理器， 其耦合图像捕捉装置， 并且经配置从而处理图像数据， 以便 ： 确定被成像的原始特征中三个或三个以上特征的 3-D 位置数据 ； 以及通过处理 3-D 位置数 据而确定工具的位置。
依照另外的实施例， 提供评估这样的手术工具的姿态的方法， 该手术工具具有三 个或三个以上基本无角的原始特征， 其在工具上具有已知位置。 该方法包括 ： 使用立体内窥 镜， 从而捕捉三个或三个以上原始特征的立体图像， 该立体图像包括第一图像和第二图像 ； 从第一图像中提取至少三幅原始特征图像 ； 从第二图像中提取至少三幅原始特征图像 ； 通 过使用图像标识签章确定提取的原始特征图像之间的对应 ； 使用已确定的对应， 从而确定 至少三个原始特征的 3-D 位置 ； 标识提取的原始特征图像的图案， 其相应于工具原始特征
的图案 ； 并且通过使用标识的图案和确定的 3-D 位置而评估手术工具的姿态。
为了更完整地理解本发明的特性和优点， 应参考详细说明和附图。通过以下附图 和详细说明， 本发明的其他方面、 目标和优点将变得明显。 附图说明
图 1 示出依照实施例， 正被使用进行手术的微创机器人手术系统的平面图。
图 2 示出依照实施例， 用于机器人手术系统的外科医生控制台的前视图。
图 3 示出依照实施例， 机器人手术系统显示手推车的前视图。
图 4 概要示出依照实施例， 机器人手术系统图。
图 5A 示出依照实施例， 机器人手术系统的患者侧手推车 ( 手术机器人 ) 的前视 图。
图 5B 和图 5C 示出依照实施例， 8mm 轴机器人手术工具和 5mm 轴机器人手术工具的 各自前视图。
图 6 概要示出依照实施例， 运动学评估工具姿态、 源自图像的评估工具姿态以及 真正的工具姿态之间的相对差别。 图 7 概要示出依照实施例， 未处理的运动学评估工具姿态、 源自图像的评估工具 姿态、 对于真正工具姿态的评估以及真正的工具姿态随着时间的变化。
图 8 示出图解手术器械接近和远离立体成像装置的图。
图 9 示出依照实施例， 使用标记成像的工具跟踪方法的流程图。
图 10 概要示出依照实施例， 用于跟踪具有标记的工具的系统示意图。
图 11 示出依照实施例， 工具跟踪方法的流程图， 该方法用于确定工具状态， 其示 出了如下步骤 ： 用于处理标记的立体图像以及运动学数据， 从而使用源自图像的姿态偏移 而产生修正的运动学评估的工具状态。
图 12A 概要示出依照实施例， 一种标记图案， 其能够用于手术器械， 从而提供额外 的参考点。
图 12B 和图 12C 示出依照实施例， 在微创机器人手术期间， 使用图 12A 所示的标记 图案的手术器械图。
图 13A、 图 13B 和图 13C 示出依照实施例， 2-D 标记的描述图。
图 14A 和图 14B 分别示出依照实施例， 能够用于 8mm 器械轴的 2-D 标记图和具有 标记的 8mm 器械轴。
图 15A 和图 15B 分别示出依照实施例， 能够用于 10mm( 超声波 ) 器械轴的 2-D 标 记图和具有标记的 10mm( 超声波 ) 器械轴。
图 16A 和图 16B 分别示出依照实施例， 能够用于 5mm 器械轴的 2-D 标记图和具有 标记的 5mm 器械轴。
图 17A 和图 17B 分别示出依照实施例， 能够用于超声波变频器的 2-D 标记图和具 有标记的超声波变频器。
图 18 示出依照实施例， 一种用于处理工具跟踪标记的立体图像的方法的流程图。
图 19 示出依照实施例， 一种用于处理 2-D 工具跟踪标记的立体图像的方法的流程 图。
图 20A-20E 示出依照实施例， 处理 2-D 工具跟踪标记的图像的步骤。
图 21A-21B 示出依照实施例， 在多个位置的标记如何能够支持不同的操作范围。
图 22A 概要示出依照实施例， 一维 (1-D) 工具跟踪标记。
图 22B 概要示出依照实施例， 具有多个 1-D 工具跟踪标记的手术工具。
图 22C 和图 22D 概要示出依照实施例， 另外的 1-D 工具跟踪标记。
图 23 示出依照实施例， 用于处理 1-D 工具跟踪标记的立体图像的流程图。
图 24 概要示出依照实施例的原始特征， 每个特征都具有反射凹球形表面， 其被从 三个不同方向照亮 / 成像。
图 25 概要示出依照实施例的原始特征， 每个特征都具有凸球形表面。
图 26A 和图 26B 示出依照实施例， 原型手术工具的内窥镜图像， 该手术工具包含点 构造标记， 后者具有反射球形表面。
图 27 示出依照实施例， 工具跟踪方法的流程图， 该方法使用手术工具的立体图像 的处理， 该工具包含原始特征， 后者具有反射球形表面。
图 28A 和图 28B 示出依照实施例， 可辨别的工具标记。
图 29A、 图 29B、 图 29C、 图 29D、 图 29E、 图 29F、 图 29G 和图 29H 示出依照实施例的 一些例示性方法， 能够使用该方法从而在可辨别的标记中包含位置和 / 或标识信息。
图 30A、 图 30B、 图 30C 和图 30D 示出依照实施例的一些另外的例示性可辨别标记 设计。
图 31 示出依照实施例的工具跟踪方法的流程图， 该方法使用具有可辨别标记的 手术工具的图像的处理。 具体实施方式
依照实施例， 为三维 (3-D) 物体跟踪提供改进的方法和系统， 该物体跟踪使用源 自一个或更多物体定位参考特征的源自图像的数据。 当微创机器人手术期间被用于跟踪手 术工具时， 该方法和系统能够特别有利。
在此使用以下术语。 “特征” 是为概括术语， 其用于指示任何能够从图像中提取的 有用信息。 “原始特征” 用于指示这样的小或简单特征， 其能够从图像中局部提取 ( 例如突 出斑点、 小圆、 点、 条等等 )。原始特征相对 “组合特征” ， 其中使用多个原始特征从而产生组 合特征。 “标记” 为一些可辨别 ( 通常可见 ) 的图案， 其用于定位物体或计算物体的姿态。 标记能够由多个原始特征组成。 “工具状态” 为概括术语， 其用于指示关于工具的任意信息， 例如姿态 ( 位置和方向 )， 以及对于工具或任意机器人或定位系统的任何铰接部分的相关 信息。 例如， 工具状态能够包括工具的姿态、 用于实行工具的运动的机器人致动系统的机器 人接点参数、 铰接末端执行器位置、 工具的速度、 工具的加速度、 工具上的力等等。 “定位器 特征” 为这样的特征， 其能够经处理从而提供该特征的位置信息。 多个原始定位器特征能够 经处理从而提供图案的其余特征的位置和方向 ( 即对齐 ) 信息。 “模型” 为概括术语， 其用 于涉及被跟踪的物理工具的任何现有知识。 其能够包括物理模型、 虚拟模型、 工具上的特征 的定位及其性质等等。
例如， 工具定位参考特征的一个优点在于， 其提供至少一种这样的特征， 其能够被 更容易地在图像内探测。 有些工具使用环境， 例如微创机器人手术， 向源自图像的工具跟踪的使用提出挑战， 例如工具上存在体液和 / 或存在烧灼蒸气 (cauterization vapor)， 其能 够引起工具的部分或全部阻塞。通过配置工具从而包括一个或更多参考特征， 能够降低源 自图像的工具跟踪上的环境影响。
例如， 另外的优点在于， 能够使用多个参考特征从而定义这样的标记， 其包括位置 / 方向信息和 / 或标识信息。通过足够的位置和 / 或方向信息， 能够确定物体 ( 例如工具 ) 的 3-D 姿态 ( 位置和方向 )。 能够在单一标记中包括位置和方向信息， 或者能够在标记的组 合中包括该信息。 能够使用标识信息从而使得被成像的标记关联于用于被成像的标记和物 体的相关位置关系数据。 能够使用该标识， 从而区别各被成像的标记， 其中在物体上使用多 个标记特征。
例如， 另外的优点在于， 能够使用多个标记从而提供冗余。例如， 工具能够包括多 个绕工具分布的标记， 从而提供不考虑工具使用期间的具体方向的参考特征。一批标记中 的任何单个标记都能够包括许多特征， 从而为工具的 3-D 姿态确定提供位置和方向信息。 一批标记中的任何具体标记都能够包括与用于具体标记的标识相关联的标识特征。 由多个 标记提供的冗余能够通过提供多个姿态评估而有助于更准确的姿态评估， 其中能够平均多 个姿态评估， 从而降低可在特征定位期间发生的随机误差。
例如， 另外的优点在于， 能够使用冗余特征， 从而提供误差校验。 例如， 标记能够包 括定义误差校验数据的冗余特征。 为了与标记的标识一致， 能够检查误差校验数据， 从而验 证已确定的标识。另外， 冗余特征能够包括校验和数据， 能够使用该数据， 从而预防由于一 个或更多标记特征的阻碍 ( 或者通常无成像 ) 引起的错误标识。清楚的误差校验机制提供 了对于这种标记的探测的确信， 其通过将源自背景杂斑的、 对于标记的错误探测的可能性 或近旁标记的意外对齐降低至非常低的概率实现。
能够使用确定的 3-D 姿态， 从而通过多种方式改进工具的显示图像。例如， 能够改 进显示图像， 以便增加的参考特征较不视觉突出， 或者通过改变位于参考特征的图像的部 分而完全 “擦除” 。
微创机器人手术
图 1 提供讨论本发明的适当起点。图 1 示出微创机器人手术 (MIRS) 系统 10 的平 面图， 其通常用于对躺在手术台 14 上的患者 12 实施微创诊断或手术过程。该系统能够包 括外科医生控制台 16， 其由外科医生 18 在程序期间使用。一个或更多助手 20 也可参加该 过程。MIRS 系统 10 能够进一步包括患者侧手推车 22( 手术机器人 ) 以及显示手推车 24。 通过患者 12 身体上的微创切口， 患者侧手推车 22 能够操纵至少一个可移动耦合器械或工 具组合件 26( 之后被简单称为 “工具” )， 同时外科医生 18 通过控制台 16 观察手术部位。 能够通过内窥镜 28， 例如立体内窥镜， 获得手术部位的图像， 该内窥镜能够由患者侧手推车 22 操纵以便为内窥镜 28 定向。为了随后通过外科医生控制台 16 向外科医生 18 显示， 能够 使用显示手推车 24 处理手术部位的图像。单次使用的手术工具 26 的数目将通常取决于诊 断或手术过程和手术室中的空间限制以及其他因素。 如果需要改变过程中使用的一个或更 多工具 26， 助手 20 可在不再使用工具 26 时将其从患者侧手推车 22 移除， 并且替换为来自 手术室中托盘 30 的另外的工具 26。 系统 10 的一个例证性例子为美国加利福尼亚州桑尼维 尔市 Intuitive Surgical 公司生产的 da Vinci 手术系统。
图 2 示出外科医生控制台 16 的前视图。外科医生控制台 16 包括左眼显示器 32和右眼显示器 34， 其为外科医生 18 呈现具有深度感知的手术部位的经配位的立体视野。 控 制台 16 进一步包括一个或更多控制装置 36， 其又引起患者侧手推车 22( 如图 1 所示 ) 操纵 一个或更多工具。优选， 控制装置 36 将提供与其关联的工具 26( 如图 1 所示 ) 相同的自由 度， 从而向外科医生提供与工具 26 集成的控制装置 36 的远程呈现或感知， 以便外科医生具 有直接控制工具 26 的强烈感觉。为了该目的， 优选使用位置、 力和触觉反馈传感器 ( 未示 出 )， 从而通过控制装置 36 将来自工具 26 的位置、 力和触觉感觉传回到外科医生的双手。
外科医生控制台 16 通常与患者处于同一房间， 以便外科医生可直接监控过程， 视 需要则实际提出并与助手直接说话， 而非通过电话或其他通信媒介。然而， 应理解， 外科医 生能够位于不同的房间、 不同的建筑或者远离患者的位置， 因而允许远程手术过程。
图 3 示出显示手推车 24 的前视图。显示手推车 24 能够耦合内窥镜 28， 并且能够 包括处理器， 从而处理捕捉的图像以用于随后显示， 例如为了外科医生显示在外科医生控 制台上或本地和 / 或远程的任何其他适当的显示器上。例如， 当使用立体内窥镜时， 显示手 推车 24 能够处理捕捉的图像， 从而为外科医生呈现手术部位的经配位的立体图像。这样的 配位能够包括相对图像之间的对准， 并且能够包括调节内窥镜的立体工作距离。在另外的 例子中， 图像处理能够包括使用预定相机校准参数， 从而补偿图像捕捉装置的成像误差， 例 如光学象差。能够使用的有些可能的图像处理的例示性细节在属于 Intuitive Surgical 公司的许多专利和专利申请中描述， 包括例如美国专利 No.7,277,120(2004 年 3 月 7 日提 交 )， 其全部内容包括在此以供参考。 图 4 示意性图解机器人手术系统 50( 例如图 1 所示的 MIRS 系统 10)， 其示出组件 之间的通信途径。如上所述， 外科医生控制台 52( 例如图 1 所示的外科医生控制台 16) 能 够由外科医生使用， 从而在微创过程中控制患者侧手推车 ( 手术机器人 )54( 例如图 1 所示 的患者侧手推车 22)。 患者侧手推车 54 能够使用成像装置， 例如立体内窥镜， 从而捕捉手术 部位的图像， 并且向显示手推车 56( 例如图 1 所示的显示手推车 24) 输出捕捉的图像。如 上所述， 显示手推车 56 能够在任何随后的显示之前以各种方式处理所捕捉的图像。可替换 地， 患者侧手推车 54 能够输出所捕获的图像， 用于在显示手推车 56 外处理。例如， 患者侧 手推车 54 能够向处理器 58 输出所捕获的图像， 该处理器用于处理所捕捉的图像。也能够 由显示手推车 56 和处理器 58 的组合来处理图像， 两者能够耦合在一起， 从而共同、 相继地 和 / 或结合地处理所捕捉的图像。一个或更多单独的显示器 60 也能够耦合处理器 58 和 / 或显示手推车 56， 用于本地和 / 或远程显示图像， 例如手术部位的图像或者任何其他相关 图像。
机器人手术工具跟踪
图 5A、 图 5B 和图 5C 分别示出患者侧手推车 22、 8mm 轴手术工具 62 和 5mm 轴手术 工具 64。手术工具 62 和 64 为手术工具 26 的两个例子。示出的患者侧手推车 22 提供了对 于三个手术工具 26 和成像装置 28 的操纵， 例如用于捕捉手术部位图像的立体内窥镜。 由具 有许多机器人接点的机器人机构提供操纵。 能够通过患者身体上的切口定位和操纵成像装 置 28 和手术工具 26( 例如末端执行器 66)， 以便运动远程中心 (kinematic remote center) 被保持在切口处， 从而最小化所需的切口大小。当手术工具 26 位于成像装置 28 的视野中 时， 手术部位的图像能够包括其远端的图像。
图 6 概要图解运动学评估手术工具姿态 70、 源自图像的评估手术工具姿态 72 以
及真实的手术工具姿态 74 之间的相对差异。如上所述， 工具的 3-D 姿态的准确信息对于许 多图像引导的手术和用户界面的应用都是重要的。 当使用运动接点传感器数据来评估工具 的 3-D 姿态时， 能够引入大量的误差。虽然存在很多误差源， 例如随机的传感器噪音， 但是 该误差的主要部分能够归因于偏移误差， 其由运动接点的真实位置和通过运动接点传感器 数据指示的运动接点指示位置之间的固定差异产生。 远离工具的远工作端的运动接点中的 偏移误差通常比更接近工具的远工作端的接点时对总偏移误差的影响更大。结果， 运动学 评估姿态 70 能够明显偏离手术工具的真实姿态 74。例如， 在校准良好的系统中， 例示性手 术机器人的运动学评估工具姿态可与工具的真实姿态相差高达 10 至 15mm， 并且如果系统 近期未校准和 / 或未被准确校准时， 该误差甚至更大。结果， 使用基于非运动学的方法从而 获得更准确的工具姿态评估时这能够是有利的， 能够使用该方法从而确定修正运动学评估 中使用到的位置修正。
源自图像的工具姿态评估 72 能够比原始运动学评估工具姿态 70 明显更准确。通 过源自图像的工具姿态 72 与真实工具姿态 74 之间的相对小的位置差异， 图 6 中示意性图 解了该增加的准确度。然而， 相比于原始运动学评估工具姿态 ( 例如以大约 1333Hz 的速率 更新 )， 在明显更低的速率 ( 例如小于或等于大约 30 帧 / 秒 ) 时可用源自图像的工具姿态 72， 其由于许多因素， 例如所需的图像处理时间， 并且在某些时间， 当该工具处于成像装置 的视野外部或由于某些原因而被阻碍， 例如由患者的组织、 患者的体液和 / 或由烧灼等等 引起的不透明或半透明蒸气阻碍时， 源自图像的工具姿态 72 完全不可用。 图 7 概要图解工具的各种评估姿态和真实评估姿态 76 之间随着时间的变化。如 图所示， 工具的姿态的原始运动学评估 78 能够明显偏离真实姿态 76。如上所述， 该偏离的 主要部分可以与固定的偏移误差相关， 后者通过原始运动学评估 78 和真实姿态 76 之间的 基本不变的偏移的方式示出。由于运动传感器数据具有相对高比率的可利用性， 所以能够 在高速率时利用原始运动学评估姿态 78， 例如在 1333 次 / 秒时。相反， 能够在较低速率时 利用源自图像的姿态评估 80， 但是其能够相对准确。 有利地， 能够使用运动学评估姿态和源 自图像的评估姿态的组合， 从而确定真实的姿态评估 82， 其也能相对良好地跟踪真实姿态 76。使用原始运动学评估姿态和源自图像的评估姿态的组合以便确定真实姿态评估 82 的 细节在属于 Intuitive Surgical 公司的许多专利和专利申请中描述， 包括例如美国专利申 请 No.2006/0258938A1(2005 年 5 月 16 日提交 )， 其全部内容包括在此以供参考。
图 8 图解能够在手术器械 84( 例如工具 26) 可以在成像装置 86 的视野内的部分 中出现的变化， 该手术器械例如是立体内窥镜 28。成像装置 86 能够包括两个重叠的视野 88， 其用于捕捉手术部位的图像以及视野 88 内的任何手术器械部分。当器械 84 在远离成 像装置 86 的范围工作时， 在捕捉的图像中能够包括手术器械 84 的更大部分， 但是与全部的 视野相比， 任何被成像的工具特征的相对大小将更小。当器械 84 在接近成像装置 86 的范 围工作时， 在捕捉的图像中能够包括相对更小的部分， 但是与全部的视野相比， 任何被成像 的工具特征的相对大小将更大。
图 9 示出使用依附于工具的一个或更多标记的成像的工具跟踪方法 100 的流程 图。如下将更详细描述， 工具例如工具 26 能够包括一个或更多标记， 从而提供能够被成像 并处理从而提供源自图像的工具姿态评估的特征。在步骤 102 中， 捕捉工具和标记的一个 或更多图像。捕捉的图像能够是简单图像或立体图像， 前者通过使用单眼显示成像装置获
得， 后者通过立体显示成像装置获得， 例如立体内窥镜。在步骤 104 中， 处理捕捉的图像， 从 而确定关联一个或更多标记的位置数据。 位置数据能够包括图像中的一个或更多标记特征 的定位。 至少当一个或更多手术工具中有两个或更多标记具有不同标识时， 能够在步骤 106 处理图像， 从而确定一个或更多标记的标识。 如下将更详细描述， 标记能够包含一个或更多 标识特征， 所述标识特征能够被成像并随后处理， 从而确定标记的标识。在步骤 108 中， 能 够使用位置数据和任何的标识从而确定工具状态数据， 例如工具的 3-D 姿态。能够在工具 状态数据的确定期间使用额外的信息， 例如标记和工具之间的相对位置数据。 例如， 标记的 3-D 姿态和工具的 3-D 姿态之间的相对 3-D 姿态偏移数据 ( 偏移位置和偏移方向 ) 能够提 供相对位置数据。
如果在步骤 108 中确定的工具状态数据不足以与期望的工具状态数据范围一致， 则能够将其拒绝。例如， 通过使用工具的现有图像或源自实现工具的运动的机器人致动系 统的接点数据， 能够产生工具的评估 3-D 姿态。能够比较该评估 3-D 姿态和步骤 108 中确 定的工具状态数据， 从而验证其彼此一致。 能够评估任何不一致， 从而确定是否作为异常值 (outlier) 而拒绝确定的工具状态数据。
图 10 概要图解跟踪具有标记 112 的工具的系统 110。该系统包括具有标记 112 的 至少一个工具， 其类似于工具 26。使用成像装置 114， 例如立体内窥镜 28， 从而捕捉具有标 记 112 的工具的一个或更多图像。成像装置 114 耦合处理器 116， 并且响应具有标记 112 的 工具的成像而向处理器 116 传送图像数据。处理器 116 经配置从而处理接收的图像数据， 从而产生工具状态数据 118， 后者能够包括具有标记 112 的工具的评估 3-D 姿态。
图 11 示出依照实施例用于确定工具状态的工具跟踪方法 120 的流程图， 其示出这 样的步骤， 即用于处理标记的立体图像以及原始运动数据， 从而使用源自图像的 3-D 姿态 偏移而产生修正的运动学评估工具状态。由于与源自图像的评估工具状态相比， 用于从原 始运动学数据 124 产生评估工具状态的接点传感器数据具有更快的更新速率， 所以源自图 像的姿态偏移能够结合来自原始运动的评估工具状态， 从而产生修正的运动学评估工具状 态。这样， 使用结合了来自原始运动学数据 124 的相应一系列评估工具状态的单个姿态偏 移， 能够产生一系列修正的运动学评估工具状态。响应新图像数据 122， 姿态偏移能够随着 时间更新。
在步骤 126 中， 通过以下方式开始姿态偏移的确定， 即获得具有标记的工具的图 像数据以及相应的具有标记的工具的原始运动学数据 124。如图所示， 图像数据 122 能够 包括左图像数据和右图像数据， 但是应理解， 能够处理一个或更多标记特征的单个图像， 从 而产生源自图像的位置信息， 后者在产生姿态偏移时有用。例如， 单个标记特征的图像中 的位置能够与单个标记特征的图像中的期望位置比较， 从而产生用于前一姿态偏移的一维 (1-D) 修正。 当单个图像包含四个非共线特征时， 图像内的四个非共线特征的位置足以确定 工具的源自图像的 3-D 姿态。当立体图像包含三个非共线特征时， 立体图像内的三个非共 线特征的位置足以确定工具的源自图像的 3-D 姿态。原始运动学数据 124 能够给包括基础 传感器数据， 例如运动学接点位置参数， 并 / 或能够包括现有原始源自运动学的工具状态。
在步骤 128 中， 处理左图像和右图像， 从而探测标记特征。 在步骤 130 中， 使用左图 像内的标记特征的位置以及右图像内的标记特征的位置， 从而产生标记特征的 3-D 坐标。 对于立体三角测量的细节， 例如参考 R.Hartley 和 A.Zisserman “Multiple View Geometryin Computer Vision” 第 12 章， Cambridge University Press， 2000。如下将关于某些实 施例更详细描述， 其包括有些具有标识的标记， 标记能够包括至少一个这样的标识特征， 其 能够经处理从而确定标记的标识。
在步骤 132 中， 能够结合任何标记的标识而处理标记标识的 3-D 坐标， 从而确定源 自图像的工具状态。虽然能够使用许多标记的图像， 从而为确定工具的 3-D 姿态提供足够 的姿态信息， 但是单个标记包含用于确定工具的 3-D 姿态的足够数量的特征是有利的。另 外， 工具上的每个标记具有与相邻标记不同的标识是有利的。 通过这样的标记， 能够通过以 下方法确定源自图像的工具状态， 即确定标记的 3-D 姿态、 确定标记的标识、 以及使用关于 经标识的标记如何在工具上定位和定向的数据。应明白， 能够使用该方法的各种变化。例 如， 能够组合来自标记组合的特征， 从而确定标记组合的 3-D 姿态， 后者能够结合这样的数 据， 其关于来自标记组合的特征如何在工具上定位和定向。 在该处理期间， 能够比较经修正 的运动学评估工具状态 ( 来自预定的姿态偏移 ) 和源自图像的评估工具状态， 从而拒绝任 何与经修正的运动学评估工具状态差别太大的源自图像的评估工具状态。
在步骤 134 中， 确定姿态偏移， 以便能组合该姿态偏移与原始运动学数据 124 评估 工具状态， 从而获得经修正的运动学评估工具状态。应明白， 可使用各种方法确定姿态偏 移。例如能够作为以下两者的差异而计算姿态偏移， 即同时在基本相同点的真实工具姿态 的评估 ( 如图 7 所示 ) 和相应的原始运动学数据 124 评估工具状态之间的差异。作为进一 步例子， 能够作为以下两者的差异而计算姿态偏移， 即同时在基本相同点的源自图像的评 估工具状态和相应的原始运动学数据 124 评估工具状态之间的差异。
在步骤 136 中， 确定经修正的基于运动学的工具状态。如上所述， 能够使用单个姿 态偏移从而修正基于一个或更多原始运动学数据 124 的工具状态， 从而当出现以下情况时 补偿， 即相对于源自图像的工具状态， 可以更高速率地利用基于原始运动学数据 124 的工 具状态。然后， 经修正的运动学被反馈至处理的开始 ( 步骤 126)， 其中 “引出” 现有图像和 运动学数据能够包括图像数据、 原始运动学数据以及现有姿态偏移和 / 或经修正的运动学 数据。
标记设计
使用工具标记的目标是提供关于源自图像的工具状态的稳健性和置信水平， 不使 用标记则这是难以实现的， 特别是对于要求较高的应用 (critical application)， 例如图 像引导机器人手术。同样， 在一个实施例中， 标记设计 ： (i) 为工具姿态评估提供充分限制 ； (ii) 在各种现实条件 ( 例如观察点、 照明 ) 以及各种现实背景下可辨识 ； (iii) 对工具的不 同操作范围起作用 ； (iv) 对局部阻碍有弹性和 / 或稳健性 ； (v) 可视觉接受 ； (vi) 易于制 造； (vii) 足够紧凑， 从而允许在提供的空间中使用多个标记 ( 例如足以提供足够水平的冗 余)； 以及 (viii) 能够由图像分析算法提取。
一维 (1-D) 和二维 (2-D) 标记能够提供许多有利方面。该有利方面包括 ： (i) 使 用支持更有效探测和分析的单独定位器以及标识特征 ； (ii) 使用原始特征位置的外部编 码方案 ； (iii) 使用外部误差校验和误差修正 ； (iv) 产生大量不同图案的能力 ； (v) 使用具 有密集信息的紧凑标记 ； 以及 (vi) 使用 “假设和试验” 探测算法框架， 其非常好地调整标记 图案的总数目的比例。
二维标记设计图 12A、 图 12B 和图 12C 分别图解标记设计 140、 使用标记设计 140 远离成像装置 操作的工具 146、 以及使用标记设计 140 靠近成像装置操作的工具。图 12A 的标记设计 140 包括三组标识图案 142， 其能够被绕工具轴以 120 度间隔放置。 每个图案 142 都具有黄色背 景上的 8 行 2 列的 16 个圆。每个图案 142 都能够对齐工具轴的纵向轴线， 以便 16 个圆的 所有中心点都位于一个平面内。相对于每个图案 142 之间的间隔， 两列圆 144 相对间隔更 近。能够使用结合经修正的运动学评估工具状态的该差别间隔， 从而标识图像中的特殊图 案 142。因为三个图案 142 绕工具以 120 度间隔布置， 所以给定经修正的运动学评估工具 状态的准确性的固有水平的情况下， 在总标记 140 的标识图像之间可存在足够的差别， 从 而区分各被成像的图案 142。标记 140 提供这样的例子， 即能够如何布置标记特征， 例如示 出的标识图案 142， 从而呈现能够被成像从而确定工具状态的特征。该标记设计的缺点包 括： (i) 在手术照明下黄色背景非常明亮， 并且出现干扰 ； (ii) 虽然标记 140 覆盖器械轴的 末端， 但是在大多数情况下， 手术期间其不完全可见 ； (iii) 需要依赖这样的假设， 即评估 工具横摇角的最大误差小于 60 度， 从而关联图像观察与三个图案 142 中的一个 ； 以及 (iv) 由于难以区分标记， 所以难以在器械的另外部分上增加更多的标记。
图 13A、 图 13B 和图 13C 图解了 2-D 标记 150、 170、 190 的三个实施例， 其能够用在 工具上以用于跟踪工具状态。2-D 标记包括布置在二维中的原始特征。有些特征能够作为 定位器特征， 而其他特征能够作为标识特征。 定位器特征提供位置或方向信息， 从而确定标 记的姿态 / 对齐， 而标识特征被用于区分不同的标记。标识特征能够遵循某一编码方案， 并 且能够包括用于误差校验和 / 或修正的冗余信息。通过使用紧凑 2-D 标记， 能够以不同的 方式布置多个标记， 从而适合不同工具的几何形状。也能够在工具轴上的不同位置布置标 记， 从而应对不同的操作范围。也能够使用标记从而评估工具或器械的横摇。与堆叠在一 起的多个 1-D 图案相比， 2-D 标记图案可有利地提供更好的信息密度和位置。
已设计这些 2-D 自辨别标记， 从而满足许多考虑。在给定的图像分辨率限制下， 已 尽可能小地选择标记的大小。这些 2-D 标记不依赖特定的颜色， 因为颜色会由于照明和白 平衡的原因而成为不可靠的特征。另外， 有些颜色能够视觉干扰。设计这些 2-D 标记， 从而 包括这样的特征， 即能够在图像中可靠地探测这些特征， 因为有些特征比其他特征更容易 探测。
以上考虑引起包括某些设计特征的这些 2-D 标记的设计。例如， 设计这些 2-D 标 记， 从而包括定位器形状 ( 黑圆圈 152、 154、 156、 158 ； 172、 174、 176、 178 ； 黑条 160 ； 180 ； 以 及鞍点 192) 以及许多信息位 (information bit) 和标识特征 ( 图 13A 中的 9 个灰点 162， 图 13B 中的 13 个灰点 182， 以及图 13C 中的 16 个点 194)。( 图 13A 和图 13B 中的圆圈和点 的数目仅用于参考的方便 )。选择圆圈作为定位器形状是由于其拓扑 ( 黑斑点处于白斑点 中， 或者反之 ) 对于观测点不变， 并且通常不出现在背景中。其他这样的特征包括某些角， 尤其是图 13C 中所示的鞍点 192。虽然标记设计未限制如何使用信息位 162、 182、 194( 标 识特征 )， 但是其能够被分为数据位和误差校验位。能够使用对应于数据位的点的出现或 不出现， 来指定许多独特的编码 ( 或标识 )。能够使用对应于误差校验位的灰点的出现或 不出现， 来验证编码或标识确定。 考虑微创机器人手术的期望工具距离范围， 选择标记图案 150、 170、 190 的大小。 然而， 应明白， 如果器械通常离成像装置更近或更远工作， 就能够相应 地将图案的大小做的更小或更大。虽然图 13A 和图 13B 所示的标记 150 和 170 包括白色背景和黑色特征， 但如随后的附图中可见， 基于视觉经验的临床反馈， 选择具有白色特征的黑 色背景。然而， 应明白， 也能够使用白色背景和黑色特征。
当被放置在某一直径的器械表面上时， 图案的 3-D 几何形状 ( 在局部坐标系中的 所有圆和点的 3-D 坐标 ) 就被固定并已知。如果使用单个图像提供 2-D 坐标， 则四个点的 坐标足以确定标记的姿态 ( 以及因此确定工具的姿态 )。 如果使用立体图像提供 3-D 坐标， 则三个点的坐标足以确定器械的姿态。因此， 这些 2-D 标记 150 和 170 的设计包括四个圆， 从而为任意单个图像或立体图像处理提供足够的数目。点也能够被用于物体姿态评估。同 样， 虽然能够在工具上以任何数目的不同方向来放置标记， 但是目前优选这样放置标记， 即 标记被放置成使得竖直方向对齐器械的轴线方向。
图 13A 和图 13B 中的标记设计 150 和 170 表现两种单独的设计形式， 而图 13B 的设 计形式表现了实验后的改进形式。虽然图案的总体大小未改变， 但是存在许多差异。信息 位 162 和 182( 或者标识特征 ) 的数目从 9 增加至 13， 其有效地增加独特图案的数目。信息 位 162 和 182 的列数从 3 增加至 4， 其提供有限空间的更有效使用。因为观察到以下现象， 即机器人手术的很多典型观察方向会引起图像在轴向方向比横向方向更严重的缩短， 所以 图 13B 中的图案包括在信息位 182 之间的比水平间隔更大的垂直间隔。图 13B 中的信息位 182 的行同样交替， 相对于非交替图案， 其也帮助减轻缩短。也减小信息位 162 和 182( 点 ) 的直径以及圆的厚度， 这是由于如下观察， 即测试显示系统通常扩大亮特征。因此， 将该特 征做的更细从而保持隔离。
能够以多种方式使用这些 2-D 图案中的信息位 162、 182、 194， 例如使用一定数目 用于标识位， 而剩余数目用于误差校验和 / 或修正位。标识位和误差校验和 / 或修正位之 间的比例及其布置是灵活的， 并且能够基于具体的应用需求而确定。如果成像情况的挑战 性较小， 人们可使用更少数目的误差校验和 / 或修正位。 在一种方法中， 图 13B 的标记的 13 个信息位被分成 6 个信息位和其余的 7 个信息位， 前者用于携带标识信息 ( 导致 64 个独特 的编码 )， 而后者用于误差校验和 / 或修正。在 7 个误差校验和 / 或修正位中， 能够将其中 6 个设置为与标识位相反， 而其余的位能够被用作校验和数据。 该方法的基本原理是始终确 保有 6 或 7 个位物理出现在图案中 ( 即其被设为一个 )。其避免了全零 ( 全部空白 ) 图案 作为有效编码， 并且提供这样的可替换特征， 即能够使用该特征从而视需要提供用于姿态 评估的位置信息。应明白， 从编码理论的观点看， 上述编码方案可能不是最佳的。优选在有 用字码 (valid code word) 之间具有更大的汉明距离的编码方案。应明白， 从编码理论的 观点看， 标识位和误差校验位之间可能没有差别。 由以下事实产生冗余， 即有用字码仅占据 编码空间的一部分 ( 即两个有用字码之间的汉明距离大于 1)。
图 14A、 图 14B、 图 15A、 图 15B、 图 16A、 图 16B、 图 17A 和图 17B 自身示出四个不同 的多重标记图案， 并且施加于特定的机器人手术器械。图 14A 和图 14B 分别图解能够用于 8mm( 直径， 与其他器械惯例相同 ) 器械轴的 2-D 标记和具有该标记的 8mm 器械轴。图 15A 和图 15B 分别图解能够用于 10mm 器械轴的 2-D 标记和具有该标记的 10mm 器械轴。图 16A 和图 16B 分别图解能够用于 5mm 器械轴的 2-D 标记和具有该标记的 5mm 器械轴。图 17A 和 图 17B 分别图解能够用于超声变频器的 2-D 标记和具有该标记的超声变频器。在更细的器 械中， 图案的多排能够偏移一半图案， 从而确保有些图案能够在任何角度完全可见。
二维标记提取应明白， 能够使用多种方法从图像中提取标记图像， 并且处理经提取的信息， 从而 确定源自图像的工具姿态评估。例如， 如下所述， 可能的方法包括自顶而下方法、 自底而上 方法、 以及自顶而下 / 自底而上组合方法。
在自顶而下方法中， 2-D 图像能够从给定姿态的器械 3-D 模型转化， 并且能够比较 转化的图像与真实的输入图像， 从而评估其匹配地如何。提供最佳匹配分数的姿态为最优 解。虽然该主意听起来易懂， 但是由于相关费用高而处理时间长， 所以其难以实现。
自底而上方法尝试在图像中寻找有些局部特征， 并且然后计算该解。自底而上方 法能够应用于这样的假定， 其中常常在有些假定下或使用有些试探 (heuristic) 时， 能够 提取突出的局部特征并易于将其分组。由于局部特征更可能具有模糊度， 所以能够增加标 记或背景颜色， 从而确保方法的稳健性。 自底而上方法通常比自顶而下法更有计算效率， 因 为能够局部计算该特征， 并且该方法不包括搜索或迭代优化。
能够使用自顶而下 / 自底而上组合方法， 其结合以上两类方法的共同优点。例如， 能够使用自底而上方法从而报告有限数量的假设， 然后使用自顶而下法试验和检验。这种 类型的方法有时被称为 “假设与试验” 。
图 18 示出处理工具跟踪标记的立体内窥镜图像的方法 200 的流程图。 在步骤 206 中， 处理左图像数据 202 和右图像数据 204， 从而提取原始图像特征。 “原始图像特征” 涉及 能够被局部探测的视觉突出特征， 例如斑点或角。 斑点为小斑纹， 其关于其环境形成足够的 对比。 角为两个边缘的交点。 最大稳定极值区域 (MSER) 法提供可负担成本下的探测斑点的 优异方式。MSER 基于边界对比度的非常小的假定， 并且因此能够探测任何大小和任何形状 的突出区域 ( 斑点 )。 对于 MSER 的细节， 参考 J.Matas， O.Chum， M.Urban 和 T.Pajdla “Robust wide baseline stereo from maximally stable extremal regions” ， In.Proc.BMVC， 2002。我们已发现 MSER 对于探测人造基准标记 (artificial fiducial marker) 是非常有 效的。
可替换的特征 ( 斑点 ) 探测器方法是使用自适应阈值与连通域分析 (adaptive thresholding plus connected component analysis)。 依照其邻近的平均灰度值， 自适应 地计算用于二值化的该阈值。 能够使用矩形窗口内用于快速平均的整体图像而实现计算每 一像素中的平均值的核卷积 (kernel convolution)。自适应阈值的局限性在于， 其用于固 定的比例。对于多个比例， 其必须以不同比例运行数次。也考虑运行自适应阈值与连通域 分析的一种方法是金字塔方式 (pyramid fashion)。
从图像探测角点有许多方法。 广泛使用的角探测方法的例子参考 Chris Harris 和 Mike Stephens“A combined corner and edge detector” ， 147-151 页， In.Proc.British Machine Vision Conference， 1995 ； 以及 Jiambo Shi 和 Carlo Tomasi“Good features to track” ， 593-600 页， In Proc.IEEE Conference on Computer Vision and Pattern Recognition， 1994。 对于更特别的角 ( 例如鞍点 )， 能够在以上普通角探测器的结果上做分 析， 从而寻找期望的特性。
对于点探测， 也可用学习方法 (learning-based approach)， 其考虑点的细微外 观， 从而消除背景点 ( 参考 D.Claus and A.W.Fitzgibbon “Reliable fiducial detection in natural scenes” ， In Proc.European Conf.Computer Vision， 2004)。 这个方法可以用 于比点更加复杂的标记图案。从斑点探测器输出的是来自图像的一列斑点。 分析这些斑点能够比分析所有的图 像像素快很多。我们通过检查其平面度 (flatness)( 协方差矩阵的第一和第二艾根值之 比 ) 而探测 2-D 标记的条。我们通过以下简单的试探而探测圆， 其中亮斑点的形心处于暗 斑点的限位框之内， 而暗斑点的限位框完全由亮斑点的限位框限制。可能有更好的探测条 或圆的方式 ( 例如通过分析其高阶矩 )。 因为我们总体方法容忍更低水平处理中的误差， 所 以我们发现这些方法已足够。
在提取原始图像特征后， 就能够完成方法 200 的其余步骤。在步骤 208 中， 经提取 的特征被分组。分组涉及这样的处理， 即建立经提取的原始特征和正在被成像的物体 ( 例 如具体的标记 ) 之间的对应。该处理也需要考虑到属于背景而非物体的经提取特征。原始 特征分组依赖对于标记构造的了解， 从而将经提取的特征分为属于任何具体标记的几组特 征。在步骤 210 中， 左图像数据 202 的经分组特征匹配右图像数据 204 的相应的经分组特 征。在步骤 212 中， 能够处理立体图像匹配特征， 从而确定特征的 3-D 数据。能够处理特征 的 3-D 数据， 从而标识标记， 并且确定标记 ( 数据 214) 的 3-D 姿态， 然后使用其确定具有该 标记的工具的 3-D 姿态。
图 19 示出能够用于处理工具跟踪标记的立体图像的方法 200 的流程图 ( 在图 13A 和图 13B 中示出其实施例 )。方法 220 遵循 “假设和试验” 框架。在步骤 226 中， 能够处理 左图像数据 222 和右图像数据 224， 从而提取原始特征， 这能够通过使用许多方法， 例如上 述方法来实现。 在步骤 228 中， 处理有些经提取的原始特征， 从而通过标识展示一个或更多标记 定位器特征的一个或更多原始特征， 来产生一个或更多定位器假设 ( 对于一个或更多标 记 )。 有种定位器假设为这样的试验性假定， 即一个或更多经提取的原始特征对应于标记中 的一个或更多定位器特征。 能够使用一个或更多定位器特征从而确定标记的位置以及至少 部分方向。例如， 在图 13A 和图 13B 的 2-D 标记中， 能够使用 4 个圆和 1 个条作为定位器特 征。通过这些 2-D 标记， 能够处理经提取的原始特征 ( 或者通常为图像数据 )， 从而寻找最 小和最大距离之间的这样的两个圆 ( 图 13A 和图 13B 中以 “0” 和 “1” 指定 )， 其中间具有一 个条， 该条对齐于连接两个圆的线。 通过标识该条所处的线的那一侧， 就能够确定图案的部 分方向 ( 即在图像中的线附近 )。应明白， 能够使用一系列不同的标记图案， 并且能够使用 标记图案中的任何特征的各种组合作为一个或更多定位器特征。
在步骤 230 中， 处理经提取的原始特征， 从而产生一个或更多全图案假设。全图案 假设是这样的试验性假定， 即多个原始图案对应于一个或更多标记特征， 能够使用后者从 而确定图像中标记图案的基础位置和方向， 该图像能够由于标记的 3-D 姿态相对于成像装 通过图 13A 和图 13B 的 2-D 标记图案， 能够使用定位器假设 ( 经标 置而歪斜或缩短。例如， 识的圆 “0” 和 “1” ， 其间有条 ) 作为起始点， 从而搜索其余的定位器圆 ( 图 13A 和 13B 中以 “2” 和 “3” 指定 )。该搜索能够在这样的搜索区域内寻找所有符合的定位器 “2” 和 “3” 特 征， 该区域由最小和最大图案歪斜以及最小和最大图案纵横比定义。有利地， “2” 和 “3” 圆 之间没有条， 其能够用于帮助两个圆的标识。 能够结合地使用定位器假设以及经标识的 “2” 和 “3” 定位器圆， 从而产生全图案假设。也能够检查全图案假设， 从而确定其透视图是否小 于最大值， 能够通过其检查歪斜和纵横比的一致性。
在步骤 232 中， 通过处理图像特征来标识标记， 从而验证一个或更多产生的全图
案假设。应明白， 能够使用多种方法处理图像数据， 从而标识标记。例如， 在方法 220 中， 全 图案假设的产生提供关于图像中标记图案的位置和方向的信息。能够使用该信息， 从而定 向候选标记图案或者对齐候选标记图案与经成像的图案。 然后针对一致性而检查经成像的 图案与经对齐的候选标记图案。当存在一致时， 经成像的标记图案能够标识为候选标记图 案。例如， 通过图 13A 和图 13B 的 2-D 标记图案， 全图案假设中的经探测的 2-D 斑点的位置 能够与候选标记图案模型的被设置为 “1” ( 即物理显示 ) 的信息位的位置比较， 其中该候选 标记图案模型已与全图案假设对齐。
能够通过以下方法完成候选标记图案与标记图像的对齐， 即评估标记相对于成像 装置的 3-D 姿态， 并且对齐候选标记与经评估的姿态。通过对于标记的 3-D 几何形状及其 在图像中的 2-D 投影的了解， 姿态评估计算标记的 3-D 姿态。在使用已知方法的姿态评估 处理中使用成像装置校准。对于图 13A 和图 13B 中的 2-D 标记图案， 能够使用 4 个定位器 圆的图像中的位置实现姿态评估。一旦评估标记相对于成像装置的姿态， 就能够使用已知 的成像装置校准， 确定候选标记的特征的 3-D 坐标并将其投影在图像中。能够检查这些图 像位置中的像素， 从而决定在该位置是否有一个点。
也能够通过单应性实现候选标记图案与标记图像的对齐。4 个 2-D 点对应定义平 面透视转化 ( 即单应性 )， 其包含透视转化下的平面的所有可能转化。即使附属于圆柱形 工具轴的标记图案不是平面的， 从各种观点看， 平面近似 (plane approximation) 也能够有 用。 该方法包括这样的近似， 即标记特征位于平面上， 其提供用于对齐候选标记图案与标记 图像的简单化处理。例如， 通过假定图案经平面透视转化附属于平面， 点的图像位置能够 基于 4 个圆的图像位置 ( 参考 R.Hartley 和 A.Zisserman“Multiple View Geometry in Computer Vision” 第 2 章， Cambridge University Press， 2000)。由于偏离平面假定， 所以 “平面” 模型不完全与标记图像点相符。为了补偿该平面假定， 能够使用最邻近的方案确定 模型点的开启 / 关闭状态。当最邻近的方案失败时， 该确认失败。根据经验， 已发现单向性 能够正确探测高达 45 度的斜角 2-D 图案。与姿态评估相比， 使用单向性的对齐是近似的。 然而， 其仍有吸引力之处在于不需要成像装置校准。另外， 不需要已知标记的准确 3-D 几何 外形 ( 例如无所谓标记是否已附加于 5mm、 8mm 或 10mm 工具轴 )， 并且因此允许标记在同一 时间附加于不同的器械几何外形。 在手术器械跟踪应用中， 这些适应性可能不重要， 但是可 能对于其他应用起作用。
标记设计与如何从图像探测标记特征紧密相关。 在此公开的标记设计实施例和在 此公开的特征探测方法已为更好的全系统性能共同发展。 例如， 关于图 13A 和图 13B 的 2-D 标记图案， 如果定位器圆 “0” 和 “1” 之间不存在条， 将需要改进探测方法的具体细节。然 而， 应明白， 能够实践多种标记图案以及相应的标记特征探测方法， 并且其仍处于本发明的 精神和范围内。
图 20A、 图 20B、 图 20C、 图 20D 和图 20E 图解应用于图 13B 的 2-D 标记的图 19 的方 法。在图 20A 中， 探测图像中的亮圆 ( 十字形标注所示 )。在图 20B 中， 使用具有对齐的条 的邻近亮圆形成两个定位器假设。在图 20C 中， 通过相对于关联的定位器假设搜索而指定 亮圆标识从而形成全图案假设。在图 20D 中， 候选标记图案与图像全图案假设对齐， 并且确 定相对于图像的候选标记图案位置。使用经确定的位置从而检查图像， 从而确定是否出现 对应的探测特征。当图案匹配时， 验证候选标记图案 ( 图 20E 图解用于验证后的候选标记图案的例示性图案标识码 )。应明白， 可使用任何现有的姿态评估， 例如原始运动学姿态评 估和修正的运动学姿态评估， 从而限制候选标记图案的数目。 也应明白， 可直接使用经探测 的标记特征， 从而通过直接确定哪些标记图案特征出现而哪些未出现， 来确定标记图案的 标识。
能够为了多种目的以多种方式在工具上布置标记图案。例如， 能够在工具上的多 个位置布置标记， 从而提供多个操作范围。图 21A 和图 21B 图解具有两种标记圆周带的机 器人手术工具， 所述圆周带沿工具轴分隔开一个轴向距离。在图 21A 中， 接近成像装置操作 该工具， 因此将一个标记带置于视野之外。 在图 21B， 远离成像装置操作该工具， 因此将两个 标记带都置于视野之内。如图 21B 所示， 最接近成像装置的标记带中的特征比离成像装置 最远的标记带中的特征更大。与更小、 更远的特征相比， 这些更大的特征可更易于探测， 如 果距离最远的标记特征被例如患者组织或体液所部分或完全闭塞时尤其如此。如图 21A 所 示， 当另一标记带在视野之外时， 最接近手术工具的远端操作末端布置的标记带能够提供 用于成像的清晰特征。
一维标记设计
能够使用一维 (1-D) 标记确定器械姿态。1-D 标记包括一维布置的原始特征。有 些特征能够作为定位器特征， 而其余的特征能够作为标识特征。类似于 2-D 标记， 能够使用 定位器特征提供位置和方向信息， 从而确定标记的姿态 / 对齐， 而能够使用标识特征区别 不同的标记。标识特征能够遵循编码方案， 并且能够包括用于误差校验和 / 或修正的冗余 信息。例如， 图 22A、 图 22B 和图 22C 图解这样的 1-D 标记， 其使用点、 或圆和点的组合。图 22A 图解 1-D 标记 240， 其包括形成直线的点。应明白， 能够使用不同的颜色传达信息， 标记 240 使用出现 ( 即被设为 “1” ) 或不出现 ( 即被设为 “0” ) 的点。标记 240 包括开始图案 242、 结束图案 244 以及具有 12 个数据位的中心部分 246。能够以多种方式使用该 12 个数 据位， 例如通过使用有些数据位作为标识位， 而有些数据位作为误差校正 / 修正位， 该误差 校正 / 修改位能够包括一个或更多校验和数据位。能够通过邻近空白区域 248 界定开始图 案 242 和结束图案 244。
一维图案具有优点和缺点。例如， 使用 1-D 图案的一个优点在于， 其能用于非常细 的器械， 例如 2-D 图案将不能使用的针。1-D 图案的一个缺点在于， 单个 1-D 标记不能给出 物体的完全六维姿态。对于完全六维姿态而言需要至少两个非线性标记。对于非常细的物 体， 轴向滚转通常不可被观察， 所以由单个 1-D 标记提供的五维姿态已是通常能够获得的 最多维姿态。
图 22B 图解具有 1-D 标记 240 的手术工具 250 的图像， 其示出与手术工具轴的轴 线对齐放置的三个这样的标记 240。 当将 1-D 标记附加于圆柱形表面时， 该标记能够与该圆 柱的轴线对齐， 其引起标记沿 3-D 空间中的直线布置。当用在相对小直径的工具轴上时， 该 标记可特别有利， 其中绕该轴， 通常能够布置比相当的 2-D 标记更多的 1-D 标记。然而， 关 于 1-D 标记的一个考量是其在器械轴上所需的长度， 在较近的操作范围时， 其可成为问题， 会引起部分 1-D 标记处于视野外。
图 22C 图解图 22A 中的 1-D 标记的改进形式。标记 260 包括圆圈特征 262， 其能够 作为类似于上述图 13A 和图 13B 中的 2-D 标记的定位器特征的定位器特征使用。有利地， 使用圆圈特征 262 可帮助减小图案的长度， 因此提供更好的较近范围图案。 能够使用点 264用于标记标识和误差校验 / 修正数据。
图 22D 图解图 22C 中的 1-D 标记 260 的可替换形式。标记 265 包含圆圈特征 266 和条特征 268 的组合。圆圈特征 266 能够用作定位器特征， 而条特征 268 能够用于标记标 识和误差校验 / 修正数据。标记 260 的点 264 与标记 265 的条特征 268 之间的差别在于， 标记 265 信息由暗和亮区域之间的转换位置编码， 而标记 260 使用点的中心位置来承载信 息。
一维标记提取
图 23 示出方法 270 的流程图， 其能够用于处理一个或更多 1-D 工具跟踪标记 ( 其 实施例在图 22A、 图 22B 和图 22C 中示出 ) 的立体图像。在步骤 276 中， 能够处理左图像数 据 272 和右图像数据 274， 从而提取 2-D 斑点 ( 即特征 )， 其能够使用上述关于从 2-D 标记 提取 2-D 斑点 ( 参考图 19 及相关讨论 ) 的方法实现。在步骤 278 中， 经抽取的斑点被分组 为线。能够使用随机抽样一致 (RANSAC) 法执行线分组， 其通过从所有的经探测的特征点 提取多个直线实现。( 对于随机抽样一致算法的细节， 参考 M.A.Fischler 和 R.C.Bolles， “Random sample Consensus ： A paradigm for model fitting with applications to image analysis and automated cartography” Comm.of the ACM， 24 ： 381-395， 1981， 其包 括在此以供参考 )。能够使用针对背景杂斑更易分辨的特征， 例如图 22C 中的标记中的圆 圈， 从而形成假设。
在步骤 280 中， 校正一条或更多条线。线校正涉及清除线上的透视效果， 从而存储 信息位 ( 例如点 ) 的公制关系。平行于轴的线的没影点足以校正该线 ( 参考 R.Hartley 和 A Zisserman， “Multiple View Geometry in Computer Vision” ， Cambridge University Press， 2000， 其包括在此以供参考 )。有许多方法获得没影点的位置。例如， 如果轴上有超 过一条可见线性标记， 则没影点就是这些线的交点。 作为另外的例子， 能够使用具有相等或 已知间隔的点图像， 从而计算没影点 ( 例如参考图 22C， 作为具有相等的间隔圆的线性标记 的例子 )。
在步骤 282 中， 标识一个或更多标记。标记标识能够包括以下过程， 即定位开始和 结束图案， 并且然后读取数据位， 从而标识该图案。应明白， 编码方案能够被设计成编码足 够冗余以用于误差校验。 当已使用有些数据位用于误差校验时， 能够读取误差校验位， 从而 验证该标识。如上所述， 误差校验数据位能够包括至少一个用作校验和数据的数据位。
当使用立体摄像机时， 一旦已标识标记 (1-D 或 2-D)， 则步骤 282 的 3-D 重现就变 为简单步骤。在该状态下， 已知左和右图像中的被成像特征之间的对应， 并且仅需三角测 量。然后， 能够结合标记特征相对于工具的已知相对空间布置， 使用作为最终 3-D 标记特征 位置， 从而确定工具的 3-D 姿态。
构造标记
例如手术工具 26 的工具能够经配置， 从而包括构造标记， 以便提供能够在图像内 被探测到的多个原始特征。 单个原始特征通常不足以作为标记， 因为其可能不独特， 并且不 能提供足够的几何外形限制来确定物体姿态。能够使用许多原始特征， 从而形成具有 3-D 空间中独特构造的图案， 其在此称为 “构造标记” 。该图案 ( 即构造 ) 总体上结合每个个别 原始特征的判别力及其几何外形关系， 从而更易于从背景探测。从立体图像提取的三个非 共线特征提供足够的信息， 从而确定工具的姿态。 然而， 具有比最小需要更多的特征能够有助于在探测中获得更大的置信程度以及在姿态确定中具有更佳的精度。 原始特征的形状或 外形能够相同 ( 即相同大小的圆盘 )， 能够包括一些变体， 或者能够为唯一的。 同样， 能够使 用各种原始特征， 例如圆、 点、 条、 角等等。当使用的原始特征包括有些变体水平时， 能够使 用外形中的最终差异， 从而帮助匹配两个立体图像之间的具体特征的图像位置 ( 即在特征 匹配期间使用特征签章 ) 以及匹配图像和模型 ( 即使用不变的或对于观察点和照明变化较 不敏感的特征签章 )。
一个这样的原始特征为反射球面。 反射球面具有良好的特性， 不用考虑观察点， 只 要光源和成像装置沿公共方向对齐， 该反射球面就作为亮点出现， 其为微创机器人手术期 间使用内窥镜成像的通常情况。亮点的中心与球面中心的突出一致。反射球面可为凹或凸 面。 在大多数情况下， 反射球面可产生相对于背景具有充分对比度的亮点， 从而允许在多种 观察点和距离情况下对于图像的探测。 然而， 如果邻近的背景表面垂直于光的方向， 并且全 部区域向成像装置反射大量的光 ( 因而导致图像饱和 )， 则该对比度会降至不良水平。 在该 情况下， 改进的影像加强或高动态范围影像可帮助减轻该问题。
图 24 图解原始特征 300， 其包括凹球面， 并且能够被从三个方向照亮 / 成像。 标记 300 的球面 302 具有中心点 304， 被直接朝着成像装置反射的照明光通过该中心点传播。未 充分通过该中心点传播的照明光背离照亮 / 成像方向被反射。
工具 ( 或者通常为机械装置 ) 上的有些固有特征也可表现为被捕捉的图像中的视 觉突出特征。这些固有特征可提供关于工具的 3-D 姿态的额外的源自图像的信息。对于例 示性手术工具的这种固有特征的例子能够包括 ： 具有近似球面的螺栓的端部， 以及具有反 射凹球面的铰接器械的铰链的端部。 这样的固有特征可在图像中形成类似于那些人工标记 的稳定亮斑点。 然而， 对于很多工具， 这种固有特征本身不可能提供足够数量的特征来形成 足以在杂斑背景下被辨别提取的图案。通过引入结合该自然特征的人工原始特征， 能够实 现足够的区别性。现有固有特征的使用帮助降低添加的人工特征的数目， 并且因此减小对 于将被跟踪的机械装置的改变 ( 例如外观 )。
图 25 图解原始特征 320， 其包括凸球面 322， 并且其被从三个方向照亮 / 成像。类 似于图 24 的原始特征， 球面 322 具有中心点 324， 被直接朝着成像装置反射的照明光通过该 中心点传播。未充分通过该中心点传播的照明光背离照亮 / 成像方向被反射。反射凸球面 比凹反射球面更适合手术应用， 这是因为， 血液 ( 或者通常任何流体或物质 ) 会更容易被截 留在凹进中， 其可引起凹原始特征失去其与工具的邻近区域的对比， 或者取决于被截留的 血液量而变的更暗。相反， 反射凸球面较不可能截留血液。此外， 反射凸球面和组织的相互 作用可帮助保持该表面清洁， 其可有助于甚至在浓血域 (heavy blood field) 产生亮点。
图 26A 和图 26B 示出具有包括反射球面的原始特征的手术工具。不使用任何特别 照明而使用这些工具， 而是使用现有的立体成像系统， 后者在例示性机器人手术系统中由 外科医生使用， 从而观察手术部位。该使用与现有的系统对比在于， 其使用受控激活红外 (IR) 照明， 这确保了视野中只有标记点被照亮， 其明显简化相关的图像处理和评估。然而， 使用现有立体成像系统避免了与受控激活 IR 照明相关的额外的系统复杂性。虽然这些手 术工具具有置于其远端 U 形夹 (clevis) 上的原始特征， 但是应明白， 原始特征能够被置于 其他位置， 例如器械轴和 / 或近端 U 形夹上。选择不倾向于反射图像饱和度的位置可以是 有利的。构造标记探测
图 27 示出工具跟踪方法 340 的流程图， 其使用对于具有构造标记的工具的立体图 像的处理。该方法使用三维空间中的原始特征之间的几何不变性， 因此首先执行立体匹配 /3-D 重现。在步骤 346 中， 能够分别处理左图像数据 342 和右图像数据 344， 从而提取相对 于邻近区域呈现合格对比量 ( 即亮点 ) 的原始特征。
在步骤 348 中， 处理经提取的原始图像特征， 从而标识与使用的原始特征一致的 “图像签章” 。能够为每个原始图像特征提取 “签章” 。当使用的原始特征形状相同时， 其图 像签章可基本类似。当使用的原始特征具有形状或外形变化时， 能够使用外形中的最终差 异， 从而帮助关联具体原始特征与具体原始图像特征， 例如亮点。 能够绕特征点从原始图像 特征 ( 即图像斑纹 ) 提取原始图像特征签章。一种简单的特征签章方法是使用与传统的立 体图像中一样的经提取的原始图像特征 ( 图像斑纹 ) 自身。 最近， 已提出对有些变化或变形 不变 / 不敏感的签章， 其能够比图像斑纹处理更多的照明和观察点变化。 梯度直方图 (HOG) 是个良好的例子。( 参考 D.Lowe， “Distinctive image features from scale-invariant keypoints” ， In.International Journal of Computer Vision， 20 卷， 91-110 页， 2003， 其 包括在此以供参考 )。 在步骤 350 中， 匹配两个立体图像 ( 即左图像和右图像 ) 中的特征。不同的签章 方法可需要不同的匹配方法。 例如， 对图像斑纹签章使用正规化相关 ( 参考 David Forsyth 和 Jean Ponce， “Computer Vision A Modem Approach” ， 240 页， Prentice Hall， 2003)。通 过 HOG 签章， 已提议使用相关的匹配得分作为置信水平标准， 其很有可能为有用的方法。能 够使用极线约束 (Epipolar constraint) 从而仅在直线上约束该匹配 ( 参考 R.Hartley 和 A.Zisserman， “Multiple View Geometry in Computer Vision” ， Cambridge University Press， 2000)。当存在几个良好的匹配时， 能够保留所有的匹配用于在下一步骤处理。使用 经匹配的特征， 从而通过使用立体三角测量产生 3-D 坐标。
在步骤 350 的可选方法中， 可在步骤 354 中使用基于模型的签章。预期在图像和 模型之间匹配特征签章比在左和右立体图像之间匹配特征签章更难， 因为立体图像具有类 似的观察点、 照明和极线约束。 为了匹配图像签章和模型签章， 可需要特征对于观察点和照 明条件不变。如果使用相同的原始特征， 其可能更难以与模型匹配。然而， 能够设计原始图 像， 从而具有几种在较大观察点变化下易于匹配的形状 ( 以及最终外形 )。 有一种方法依赖 对于观察点变化不变的拓扑性质。一个例子为圆圈， 其如上关于 1-D 和 2-D 标记所述。作 为圆圈的一个变化， 原始特征能够使用暗点中的多个亮点。 即使并非所有的点都匹配模型， 或者即使该匹配不独特， 也能够在特征分组中使用局部匹配。
在步骤 352 中， 能够使用经匹配的特征从而执行三维特征分组， 以便建立观察特 征与模型中特征的对应 ( 即获得 3-D 中的经标识标记点， 358)。该处理使用特征的 3-D 位 置， 和可选择地与其模型原始特征匹配和 / 或可选择地器械姿态上的现有了解匹配的匹配 得分。能够通过 “星座运算” 执行步骤 352。执行的星座运算为基于以下条件用于 3-D 分组 的有效贝叶斯方法， 即基于几何形状限制、 外形限制以及物体姿态上的其他现有姿态信息 ( 即现有物体姿态数据 356)。如果几何形状限制不足， 则使用外形限制是一种选择。星座 运算输出的是针对每个观察的特征的标签， 其具有来自于模型原始特征之一或背景杂斑的 值。最后使用随机抽样一致法 (RANSAC) 从而加强刚度限制。
星座运算——问题形成 假定我们具有 n 个已知图案 {C1， ...， Cn}， 其每个都包含 ki 个节点。 我们使用 C0(k0 假定节点被连续标记为 0， ...， t。我＝ 1) 指示不是该图案的部分的任何事物。们使用 p[i] 指代节点标签 i 的图案指数。c1， ...， ct 为有些坐标系中的节点坐标 ( 该方法 可行， 因为每个图案都具有其自身的坐标系 )。有 m 个标有 1， ...， m 并且坐标为 P1， ...， Pm 的输入节点。这些输入节点包含未知数目的图案。能够存在丢失的数据和背景节点。我们 指示 O ＝ [o1， ...， om] 为每个数据节点的所有权 ； oi ∈ [0， t]。我们可能已知每个输入节 点的所有权的现有了解。对所有权的现有了解能够来自局部节点观察 ( 独立其他节点 ) 或 其他来源。qi(l) 指示输入节点 i 对应于模型标签 l 的概率。qi(0) 应被设为小概率。
每个输入节点都能够具有 t 个标签， 因此可能解的总数目为 mt。通过尝试每一种 可能性来求解是指数问题。如果对所有权的现有了解充分， 则该问题就能够通过随机化的 “假设和试验” 方法 ( 即 RANSAC) 解决。然而， 如果没有对所有权的现有了解或这种了解不 足， 则产生的假设就基本为随机的， 并且该执行接近为穷举搜索。
在此， 我们通过考虑配对距离约束来简化该问题。我们在两个之间距离小于最大 距离的输入节点之间添加连接， 该最大距离是两个模型节点之间的距离加允许误差。其产 生一幅图。图中的接点概率因此由配对距离一致以及对所有权的现有了解概率来定义。
其中 ψij(oi， oj) 为每个图案中的配对距离一致函数。∈为由模型中的最大图案 分布定义的相邻半径。
其中 σ 为节点间的距离测量噪音， 且 α 为背景可能性， 其应小于真实匹配的可能性。 能够如下文所述使用对物体姿态的现有了解。能够以现有 q() 表现转化的现有了 解， 因为该了解能够应用于每个个别的节点。能够以配对可能 ψ() 通过两个节点的相对方 向表现转动的现有了解。
星座运算——信任传播解 (Belief Propagation Solution)
联合概率函数 —— 等式 (1) 为局部可能与配对可能的结合的方式。能够使用 信任传播 (BP) 算法有效解决该问题。该算法给出每个节点的边际分布 ( 所有权 ) 作为 输出。在这些特殊情况下， 节点间的互相连接能够形成环。该类方法参考环信任传播
( 参 考 K.Murphy， Y.Weiss 和 M.Jordan， “Loopy-belief propagation for approximate inference ： An empirical study” ， In UAI， 15 卷， 467-475 页， 1999)。 即 使 在 最 优 性 证 据 不 足 时， 其 也 示 出 非 常 良 好 的 经 验 结 果。 对 于 BP 算 法 的 运 算 细 节， 参 考 Judea Pearl， “Probabilistic Reasoning in Intelligent Systems ： Networks of Plausible Inference” ， Morgan Kaufmann， 1988。
星座运算——验证
有些节点可能从 BP 运算的解中获得错误标签， 因为其仅加强局部约束。然而， 期 待大部分节点能够获得正确标签。相对于标签的随机猜测， 其有巨大优势。随后应进行验 证步骤， 从而加强全面的刚性约束。能够对于源自 BP 算法的对应使用 RANSAC 实现该步骤。
可辨别标记
能够使用包括文字和 / 或一个或更多符号的可辨别标记， 用于工具跟踪。这样的 可辨别标记能够包括各种文字和符号。例如， 可辨别标记能够包括公司名称、 公司商标符 号、 产品名称、 产品商标符号、 组件名称和 / 或用户名称。可辨别标记能够使用设置在各种 背景上的各种颜色。 例如， 文字和 / 或符号可为设置在深色背景 ( 例如黑色 ) 上的浅色 ( 例 如白色 )， 反之亦然。图 28A 和图 28B 图解了有些例示性可辨别工具标记。使用人类用户熟 悉的可辨别标记是有利的。熟悉的信息倾向于与场景良好混合， 并且现对于其他具有类似 信息内容的标记， 其可使用户较少分心。
可辨别标记能够包括这样的局部特征， 其能够用于物体姿态评估。能够使用标准 文字作为标记。然而， 有些对于字体的更改能够增加稳定特征 ( 即角点 ) 的数目、 产生与背 景高度区别的 ( 例如 “棋盘” 图案或排列中的角、 或者鞍点 ) 特征、 和 / 或使更有效的探测 方法可行。例如， 有种标记能够包括这样的文字和 / 或符号， 其由许多从矩形 “棋盘” 排列 中选择的矩形元素构造。所选择的元素能够具有一种颜色或一系列颜色， 并且未经选择的 元素能够具有对比颜色或一系列对比颜色。经选择的和 / 或未经选择的元素的局部图案能 够提供局部特征， 其能够经成像和处理从而确定局部特征的位置和 / 或标识信息。该局部 图案能够包括许多图案。例如， 局部图案能把包括其矩形自身的变化 ( 例如大小、 纵横比、 颜色等等 )， 矩形的局部组合的变化 ( 例如角 )、 线的变化、 以及比例的变化 ( 例如多比例标 记或标记中的标记 )。
图 29A、 图 29B、 图 29C、 图 29D、 图 29E、 图 29F、 图 29G 和图 29H 图解有些例示性方 法， 能够使用这些方法从而在可辨别标记中包含位置和 / 或标识信息。图 29A 图解矩形局 部组合的变化， 其能够在文字角位置使用。示出三个例示性角类型， 具体为角类型 1360、 角 类型 2362、 角类型 3364。虽然示出三种类型， 但是能够通过使用四个邻近的网格表示另外 的角类型。另外， 能够使用其他类型的网格组合， 从而表示能够经成像和处理以便标识 ( 例 如通过 3 乘 3 的图案， 通过 3 乘 2 的图案等等 ) 的图案。图 29B 和图 29C 图解这样的可辨 别文字， 其使用从矩形原始特征 2-D 排列 ( 即棋盘排列 ) 中选择的矩形特征构建。图 29D 图解能够如何配置可辨别文字标记， 从而在仍可读的同时具有更多角特征。 图 29E 和图 29F 图解能够如何使用邻近矩形之间的重叠量的变化， 从而改变结果文字的外形 ( 图 29E 不具 有重叠， 而图 29F 具有轻微重叠， 其使 “交叉” 点 / 鞍点看起来象交叉点 )。这样的重叠可有 助于当成像系统扩大白色区域时进行补偿。图 29G 和图 29H 图解具有多种比例的特征的可 辨别文字标记。与图 29G 中所示的标记不同， 图 29H 中所示的标记不包括易于被人类观察者辨别的第二水平， 这可在某些情形下有利。
图 30A、 图 30B、 图 30C 和图 30D 图解有些另外的例示性可辨别标记设计。标记 370 类似于标记 190( 图 13C 中所示 )， 但是信息点 194 由可辨别字母 372 代替。标记 380 类似 于标记 370， 但是已延伸至多行。标记 390 是这样的例子， 其中文字背景 392 与其环境 394 不同， 以便能够使用文字背景的矩形结构来提供对齐。标记 400 类似于标记 390， 但是包括 四个具有鞍点的角 402， 其相对于环境更易于区别。标记 410 图解使用文字的一部分作为 定位器， 例如示出的字母 “V” 412， 而其余文字用于标识和 / 或验证 ( 即误差校验 / 修正 )。 选择作为定位器的部分能够放大， 或者通过更多可见特征改进， 从而确保其能够被从图像 中可靠地探测。标记 420 图解添加的定位器特征的使用， 例如圆圈 422， 其与文字混合。
可辨别标记探测
图 31 示出工具跟踪方法 430 的流程图， 其使用对于具有可辨别标记的工具的图像 的处理。方法 430 产生经匹配的特征点， 能够使用这些点从而使用上述方法评估工具的三 维姿态。
在步骤 434 中 ( 特征探测 )， 通过处理工具图像数据 432 而定位 ( 即探测 ) 对 于观察点变化稳定的特征点 ( 例如角 )。如上所述， 可辨别标记能够经配置从而增加这 种稳定特征的数量， 例如使用矩形字体或通过包括之字形笔画 ( 例如参考图 29D)。能 够使用各种方法进行特征探测。一种这样的方法为使用角探测器。( 参考 C.Harris 和 M.Stephens(1988)， “A combined corner and edge detector” ， Proceedings of the 4th Alvey Vision Conference ： 147-151 页。 ) 另外一种方法是从比例不变的关键点来定位可辨 别图像特征。 ( 参考 D.Lowe(2004)“ ，Distinctive Image Features from Scale-Invariant Keypoints” ， International Journal of Computer Vision， 2004。)
在步骤 436 中 ( 特征描述 )， 确定围绕特征点的邻近的描述。能够使用各种方 法进行特征描述。一种这样的方法为使用自适应阈值从而将灰度色标图像转化为二进 制图像， 并且使用形状内容 (Shape Context) 作为描述符 ( 参考 S.Belongie， J.Malik 和 J.Puzicha， “Shape Matching and Object Recognition Using Shape Contexts” ， IEEE Transaction on Pattern Analysis and Machine Intelligence， 2002，其 包 括 在此以供参考。) 另一种方法是使用方向柱状图作为灰度色标图像上的描述符 ( 参考 D.Lowe(2004)， “Distinctive Image Features from Scale-Invariant Keypoints” ， IntemationalJournal of Computer Vision， 2004， 其包括在此以供参考。)
在步骤 438 中 ( 特征匹配 )， 使用具有描述数据 450 的模型特征， 匹配单个特征点 与来自模型的图像的特征点。能够通过处理模型图像数据 444 将具有描述数据 450 的模型 特征表达为离线 ( 使用 442)， 从而探测 ( 步骤 446) 并产生模型特征的描述 ( 步骤 448)， 能 够使用上述方法实现该过程。能够使用来自各种观察点的模型图像， 从而促进在不同观察 点观察的标记的匹配。
在步骤 440 中 ( 特征分组 )， 分组经匹配的特征， 以便加强经匹配的点之间的几何 约束。能够在分组特征点期间使用姿态评估和稳健评估， 并且能够准备作为异常值拒绝不 一致特征点。能够通过使用上述方法， 将最终匹配特征点数据 452 用于工具姿态评估。
结合另外的约束数据
能够在确定物体的姿态时使用来自多个事件距离的姿态数据。例如， 随时间的不同视频帧能够提供对物体姿态的额外约束， 该物体例如微创手术器械， 其能够有助于与约 束不一致的异常值。
在确定物体的姿态时也能够使用运动学约束。 例如， 在微创手术中， 手术器械通过 体壁上的插入点而插入患者体内。 这些插入点固定， 并且手术工具被限制成穿过这些点。 该 插入点约束意味着手术工具的轴线在不同时间在共同的点插入。因此， 其轴线不通过插入 点的工具姿态能够被归入异常值， 并且因此通过使用稳健评估技术 ( 例如 RANSAC) 排除。
另外， 如上所述， 在确定物体的姿态时也能够使用运动学接点数据。例如， 在关于 机器人手术的情况下， 存在强时序约束， 其通过使用源自图像的姿态和源自运动学的工具 姿态之间的关系被提供。其细节参考共有美国专利申请公开 No.2006/0258938A1。
能够使用用于多个时间距离的多个工具的姿态数据， 从而标识两个或更多工具的 图像中的工具。 例如， 当图像中的两个或更多工具具有相同的标记， 能够将工具之一的源自 图像的姿态与该工具的评估姿态比较。 能够通过使用至少一个来自工具的现有图像的现有 工具状态， 或来自于实现工具运动的机器人致动系统的接点数据， 来产生评估姿态。 当源自 图像的工具姿态处于评估姿态的预定偏离之内时， 能够证实该工具的同一性。
应明白， 在此描述的例子和实施例为例证性目的， 本领域技术人员应理解其各种 改进和改变， 并且其被包括在本申请的精神和范围以及附加权利要求的范围之内。可能有 许多不同的组合， 并且认为该组合为本发明的一部分。