相关申请的交叉引用
本申请是美国专利申请号12/617,937（2009年11月13日提交的， 披露了“Patient-Side Surgeon Interface For a Minimally Invasive Teleoperated Surgical Instrument（用于微创遥控操作的手术器械的病人 侧外科医生界面）”）的部分继续申请，将其通过引用结合在此。
技术领域
本发明的各方面涉及对微创手术系统的控制，并且更具体地涉及使 用外科医生的手运动来控制微创手术系统。
背景技术
用于追踪手的位置和手势的方法和技术是已知的。例如，一些视频 游戏控制器利用了手追踪输入。例如，Nintendo游戏平台支持无线 位置和取向感测远程控件。（Wii是美国华盛顿州雷德蒙市的任天堂美 国分公司（Nintendo of America Inc）的注册商标）手势以及其他物理运 动（像摆动球棒或挥动魔法杖）的使用为这个平台提供了基本的游戏要 素。Sony Playstation Move具有与Nintendo游戏平台相似的特征。 来自CyberGlove Systems的无线运动捕获数据手套包 括十八个数据传感器，其中具有在每个手指上的两个弯曲传感器、四个 外展传感器以及测量拇指交叉、手指拱起、腕部弯曲以及腕部外展的传 感器。（是加拿大圣何塞的CyberGlove Systems公司的注册 商标。）当对于该运动捕获数据手套使用三维追踪系统时， 可获得手的x、y、z、偏航、俯仰、滚动位置以及取向信息。用于该 运动捕获数据手套的运动捕获系统已经用于数字原型评估、 虚拟现实生物力学以及动画制作。
带有四十个传感器的另一个数据手套是Measurand Inc.公司的 ShapeHand数据手套。Measurand Inc.公司的ShapeClaw便携式轻质的手 运动捕获系统包括柔性条带系统，这些柔性条带捕获了食指和拇指运动 以及手和前臂在空间上的位置和取向。
在In-Cheol Kim和Sung-Il Chien“使用基于冲程的复合隐马尔可夫 模型进行3D手轨迹手势的分析（Analysis of 3D Hand Trajectory Gestures Using Stroke-Based Composite Hidden Markov Model）”《应用智能 （Applied Intelligence）》第15卷第2期第131-143页（2001年9月至 10月）中，Kim和Chien探索了将三维轨迹输入用于Polhemus传感器 进行手势辨识。Kim和Chien提出这种输入形式是因为三维轨迹提供了 比二维手势更大的辨别能力，而在基于视频的途径中主要使用二维手 势。对于他们的试验，Kim和Chien利用了附接在Fakespace PinchGlove 背面的一个Polhemus磁性位置追踪传感器。该PinchGlove提供了供使 用者用信号报告一个手势的开始和结束的手段，且同时该Polhemus捕获 使用者的手的三维轨迹。
在Elena Sanchez-Nielsen等人的“用于人机交互的手势辨识（Hand Gesture Recognition for Human-Machine Interaction）”Journal of WSCG 第12卷1-3期ISSN 1213-6972,WSCG′2004（2003年2月2-6日，Plzen Czech Republic）中，提出了一种实时视觉系统用于视觉交互环境中， 其中通过使用通用目的的硬件和低成本传感器（像个人计算机和网络 摄影机）来进行手势辨识。在Pragati Garg等人“基于视觉的手势辨识 （Vision Based Hand Gesture Recognition）”49，世界科学院工程技术 （World Academy of Science,Engineering and Technology），972-977 （2009）中，记载了基于视觉的手势辨识的综述。提出的一个结论是 大多数方法是依赖于可能在受控实验室设定中适合但不能推广至任意 设定的几个基本假设。作者论述到：“用于手势界面的计算机视觉方 法必须在稳健性和速度方面优于现有性能以便实现交互和可用性”。 在医学领域，手势辨识已经被认为是放射学图像的无菌浏览。参见Juan P.Wachs等人的“用于放射学图像的无菌浏览的基于手势的工具（A Gesture-based Tool for Sterile Browsing of Radiology Images）”美国医 学信息学会志（Journal of the American Medical Informatics Association） （2008；15:321-323，DOI 10.1197/jamia.M24）。
发明内容
在一个方面，一种微创手术系统中的手追踪系统追踪一部分人手的 方位。基于人手的这个部分的方位产生微创手术系统的系统控制参数。 使用该系统控制参数来控制该微创手术系统的操作。
在一个方面，追踪了被安装在人手的一个部分上的多个传感器元件 以获得人手的该部分的方位。基于该方位产生了一个控制点的位置和取 向。基于该控制点的位置和取向来控制微创手术系统中的一个装置的遥 控操作。在一个方面，该装置是一个遥控操作的从手术器械/辅助手术器 械。在另一方面，该装置是在手术部位的视频图像中呈现的虚拟代理。 虚拟代理的例子包括虚拟从手术器械、虚拟手以及虚拟的远程图显 （telestration）装置。
在一个另外的方面，除了该控制点的位置和取向之外还产生了一个 抓握闭合参数。基于该抓握闭合参数来控制该遥控操作的从手术器械的 一个末端执行器的抓握。
在另一方面，该系统控制参数是用于遥控操作该从手术器械的一个 控制点的位置和取向。在又一个方面，该系统控制参数由两只手确定。 该系统控制参数是这两只手中一只的一个控制点的位置和取向并且是 这两只手中另一只的一个控制点的位置和取向。这些控制点是用于遥控 操作在微创手术系统中一个内窥镜相机操纵器。
在又一个方面，除了在该人手的一个部分上的这些传感器元件之外 还追踪安装在第二人手的一个部分上的多个传感器元件。基于该第二人 手的一个部分的方位产生第二控制点的位置和取向。在这个方面，所述 控制点和第二控制点均被用于遥控操作的控制中。
在又一个方面，追踪了安装在人手指头上的多个传感器。确定这些 指头之间的运动，并且基于这种运动来控制微创手术系统中的遥控操作 的从手术器械的取向。
当该运动是第一运动时，控制包括使从手术器械腕部的尖端围绕其 指向方向滚动。当该运动是不同于该第一运动的第二运动时，控制包括 该从手术器械腕部的偏航运动。
一种微创手术系统包括手追踪系统以及连接到该手追踪系统的控 制器。该手追踪系统追踪安装在人手的一个部分上的多个传感器元件的 方位。该控制器将这些方位转换成一个控制点的位置和取向。该控制器 基于该控制点发出一个命令来移动该微创手术系统中的一个装置。而且 在一个方面，该装置是一个遥控操作的从手术器械，而在另一方面，该 装置是在手术部位的视频图像中呈现的一个虚拟代理。
在一个方面，该系统还包括一个主要手指追踪装置，该装置包括多 个追踪传感器。该主要手指追踪装置进一步包括一个可压缩本体、固定 到该可压缩本体的第一指环以及固定到该可压缩本体的第二指环。所述 多个追踪传感器中的第一追踪传感器被附接到该第一指环。所述多个追 踪传感器中的第二追踪传感器被附接到该第二指环。
因此在一个方面，微创手术系统包括一个主要手指追踪装置。该主 要手指追踪装置包括一个可压缩本体、固定到该可压缩本体的第一指环 以及固定到该可压缩本体的第二指环。第一追踪传感器被附接到该第一 指环。第二追踪传感器被附接到该第二指环。
该可压缩本体包括第一末端、第二末端以及外部外表面。该外部外 表面包括：在该第一与第二末端之间延伸的第一部分以及与该第一部分 相反并从其去除、在该第一与第二末端之间延伸的第二部分。
该可压缩本体还具有一个长度。这个长度被选择成限制人手的第一 指头与第二指头之间的间隔。
该第一指环在该第一末端附近被固定到该可压缩本体并且围绕该 外部外表面的第一部分延伸。在将该第一指环放置在人手的第一指头上 之后，该外部外表面的第一部分的第一分段接触到该第一指头。
该第二指环在该第二末端附近被固定到该可压缩本体并且围绕该 外部外表面的第一部分延伸。在将该第二指环放置在人手的第二指头上 之后，该外部外表面的第一部分的第二分段接触到该第二指头。在该第 一和第二指头朝彼此移动之后，该可压缩本体被定位在这两个指头之间 以致该可压缩本体提供了对这种移动的阻力。
该可压缩本体的厚度被选择为使得在该第一指头的尖端刚接触到 该第二指头的尖端时，该可压缩本体不被完全压缩。该可压缩本体被配 置为提供与一个遥控操作的从手术器械的末端执行器的抓握力相对应 的触觉反馈。
在一个方面，该第一和第二追踪传感器是无源电磁传感器/被动电磁 传感器。在另一个方面，每个无源电磁追踪传感器具有六个自由度。
使用该主要手指追踪装置的方法包括追踪安装在人手的第一指头 上的传感器的第一方位以及安装在第二指头上的另一个传感器的第二 方位。每个方位均具有N个自由度，其中N是大于零的整数。将该第一 方位和第二方位映射到一个控制点方位。这个控制点方位具有六个自由 度。这六个自由度小于或等于2*N个自由度。该第一方位和第二方位还 被映射到具有单个自由度的一个参数。基于该控制点方位和该参数来控 制一个微创手术系统中的一个从手术器械的遥控操作。
在第一方面，该参数是抓握闭合距离。在第二方面，该参数包括一 个取向。在另一个方面，N是六，而在一个不同的方面，N是五。
在又一个方面，追踪安装在人手的一个部分上的多个传感器元件以 获得该人手部分的多个方位。基于这多个方位来选择来自多个已知手势 中的一个手势。基于这个手势来控制一个微创手术系统的操作。
这个手势可以是手势姿态、手势轨迹或手势姿态与手势轨迹的组合 中的任何一种。当该手势是一种手势姿态并且多个已知手势包括多个已 知的手势姿态时，该微创手术系统的用户界面是基于这个手势姿态来控 制的。
此外在一个方面，当该手势是手势姿态，该手势的选择包括从所追 踪的多个方位中产生一个观测的特征集合。将这个观测的特征集合与所 述多个已知手势姿态的特征集合进行比较。这些已知手势中的一个被选 择成手势姿态。将选定的已知手势姿态映射到一个系统命令，并在该微 创手术系统中触发这个系统命令。
在又一个方面，当该手势包括手势轨迹时，该微创手术系统的用户 界面是基于该手势轨迹来进行控制的。
在具有这些手追踪系统和该控制器的这种微创手术系统中，该控制 器将这些方位转换为一种手势。该控制器基于该手势而发出一个命令来 修改该微创手术系统中的操作模式。
在又一个方面，追踪了安装在人的一个部分上的一个传感器元件以 获得该人手部分的方位。基于这个方位，该方法确定该人手部分的位置 距微创手术系统的一个主要工具夹具的位置是否处于一个距离阈值之 内。基于这种判定的结果来控制该微创手术系统的操作。在一个方面， 基于这种判定的结果来控制连接到该主要工具夹具的一个遥控操作的 从手术器械的遥控操作。在另一个方面，基于这种判定的结果来控制一 个用户界面的显示或一个代理视觉的显示。
在一个方面，该人手部分的位置由一个控制点位置指定。在另一个 方面，该人手部分的位置是食指位置。
一种微创手术系统包括一个手追踪系统。该手追踪系统追踪人手的 一个部分的方位。一个控制器使用这个方位来确定外科医生的手是否足 够靠近一个主要工具夹具以便允许该微创手术系统的具体操作。
一种微创手术系统还包括连接至该手追踪系统的一个控制器。该 控制器将这个方位转换成一个系统控制参数并且基于该系统控制参数 向该微创手术系统中注入一个命令。
附图说明
图1是包括一个手追踪系统的一种遥控操作微创手术系统的高级图 解视图。
图2A至图2G是用来控制图1的遥控操作微创手术系统的遥控操作 从手术器械的一个手追踪主要工具夹具的不同构型的示例。
图3A至图3D是用来控制图1的遥控操作微创手术系统的系统模式 的手势姿态的示例。
图4A至图4C是也用来控制图1的遥控操作微创手术系统的系统模 式的手势轨迹的示例。
图5是用于在基于相机的追踪系统中进行手追踪的基准标记的布局 展示。
图6A和图6B是图1的外科医生控制台的详图，并且包括在手追踪 中由图1的遥控操作微创手术系统使用的坐标系的示例。
图7是对于一种套手式主要工具夹具以及在手追踪中由图1的遥控 操作微创手术系统使用的方位和坐标系的更详细展示。
图8是一个过程的流程图，这个过程用在追踪系统中用于追踪手的 指头并且用于产生数据以用于图1的遥控操作微创手术系统中的从手术 器械的遥控操作。
图9是图8的“将方位数据映射到控制点和抓握参数”过程的更详 细的流程图。
图10是在该追踪系统中用于辨识手势姿态和手势轨迹的一个过程 的流程图。
图11是在该追踪系统中用于手的存在性探测的一个过程的流程图。
图12是一个主要手指追踪装置的一个例子的展示。
图13是呈现在一个显示装置上的视频图像的展示，包括一个代理 视像（在本示例中包括一个虚拟幻影器械）以及一个遥控操作的从手术 器械。
图14是呈现在一个显示装置上的视频图像的展示，包括多个代理 视像（在本示例中包括一双虚拟的手）以及多个遥控操作的从手术器械。
图15是呈现在一个显示装置上的视频图像的展示，包括多个代理 视像（在本示例中包括一个虚拟的远程图显装置和一个虚拟幻影器械） 以及多个遥控操作的从手术器械。
在这些图中，三个数字附图标记中的第一个数字代表具有这个附 图标记的要素初次出现在其中的图的图号，并且四个数字附图标记中 的前两个数字代表具有这个附图标记的要素首次出现在其中的图的图 号。
具体实施方式
如在此使用的，方位代表位置和取向。
如在此使用的，手势（有时也称为姿势）包括手势姿态、手势轨迹、 以及手势姿态与手势轨迹的组合。
本发明的多个方面通过利用手的方位信息来控制微创手术系统从而 强化了微创手术系统（例如由加利福尼亚州森尼维耳市直观外科手术公 司（Intuitive Surgical,Inc.）商售的da遥控操作微创手术系统）的 控制能力。使用手的一个或多个指头的被测方位来确定一个系统控制参 数，进而使用这个参数来触发该手术系统中的一个命令。这些系统命令 取决于其手方位被追踪的这个人的方位，即，这个人是否在外科医生控 制台处。
当被测方位是针对一个不在外科医生控制台处的人的手指头时，这 些系统命令包括基于一只手的两个指头的手取向与相对运动的组合来 改变一个遥控操作从手术器械的一个部分的取向的一个命令，以及移动 一个遥控操作从手术器械的尖端以使得该尖端的运动跟随该手的一个 部分的运动的一个命令。当被测方位是针对在外科医生控制台处的一个 人的手指头时，这些系统命令包括允许或阻止一个从手术器械继续运动 以跟随着一个主要工具夹具的运动的多个命令。当被测方位是针对不在 外科医生控制台处的一个人的手指头或针对在外科医生控制台处的一 个人的手指头时，这些系统命令包括命令该系统或该系统的一个部分基 于一个手势姿态采取行动，并且命令该系统或该系统的一个部分基于一 个手势轨迹采取行动。
图1是包括一个手追踪系统的一种遥控操作微创手术系统100（例 如da手术系统）的高级图解视图。存在与该da手术系统相 关联的其他部件、缆线等等，但这些在图1中没有展示出以避免从披露 内容中减去。关于微创手术系统的进一步信息可以例如在美国专利申请 号11/762,165（2007年6月13日提交，披露了“微创手术系统”）以 及美国专利号6,331,181（于2001年12月18日授权，披露了“Surgical Robotic Tools,Data Architecture,and Use（手术机器人工具、数据结构以 及用途）”）中找到，通过引用将它们两者结合在此。还参见例如美国 专利号7,155,315（2005年12月12日提交，披露了“Camera Referenced Control In A Minimally Invasive Surgical Apparatus（微创手术设备中关于 相机的控制）”）以及7,574,250（2003年2月4日提交，披露了“Image Shifting Apparatus And Method For A Telerobotic System（用于遥机器人 系统的图像偏移设备和方法）”），通过引用将它们两者结合在此。
在这个示例中，系统100包括一个推车110，该推车110带有多个 操纵器。每个操纵器和该操纵器所控制的遥控操作从手术器械能够被连 接到外科医生控制台185上的多个主要工具操纵器上并且能够与其脱离 连接，并且此外它们能够被连接到机械未接地的未通电的主要手指追踪 夹具170（有时称为主要手指追踪夹具170）并且能够与其脱离连接。
安装在操纵器113上的一个立体内窥镜112提供了病人111体内的 手术部位103的图像，这个图像显示在显示器187以及外科医生控制台 185内的显示器上。这个图像包括在立体内窥镜112的视场内的任意从 手术装置的图像。外科医生控制台185上的主要工具操纵器、从手术装 置以及立体内窥镜112之间的交互与公知系统中的相同并且因此是本领 域技术人员已知的。
在一个方面，外科医生181移动该外科医生的手的至少一个指头， 这进而致使主要手指追踪夹具170中的一个传感器改变方位。手追踪发 射器175提供了一个场，使得这个指头的新的位置和取向被该主要手指 追踪夹具170感测到。新的被感测位置和取向被提供给手追踪控制器 130。
在一个方面，如下面更全面地解释的，手追踪控制器130将被感测 的位置和取向映射到外科医生181的眼睛坐标系中的一个控制点位置和 一个控制点取向。手追踪控制器130将这个方位信息发送给系统控制器 140，该系统控制器140进而对连接到主要手指追踪夹具170的遥控操 作从手术器械发送一个系统命令。如下面更全面地解释的，通过使用主 要手指追踪夹具170，外科医生181能够例如控制该遥控操作从手术器 械的一个末端执行器的抓握以及连接至该末端执行器的一个腕部的滚 动和偏航。
在另一方面，对于外科医生181的手的至少一部分或外科医生180 的手的追踪被手追踪控制器130用来确定该外科医生是否做出了一个手 势姿态或者该外科医生是否做出了一种手势姿态与手势轨迹的组合。每 个手势姿态以及每个与手势姿态组合的轨迹被映射到一个不同的系统 命令。这些系统命令控制了例如系统模式的改变并且控制微创手术系统 100的其他方面。
例如，代替使用如已知微创手术系统中所用的脚蹬和开关，使用手 势（手势姿态或手势轨迹）来(i)开始在该主要工具夹具以及相关联的 遥控操作从手术器械的运动之间的跟随；(ii)用于主要抓取激活（这断 开了该从器械的主要件控制）；(iii)用于内窥镜相机的控制（这允许主 要件来控制内窥镜的运动或特征，如焦点或电子变焦）；(iv)用于机器人 臂的交换（使得特定的主要件控制在两个从器械之间进行交换）；并且 (v)用于TILEPROTM交换（这切换了外科医生显示器上的辅助视频窗口 的显示）。（TILEPRO是美国加利福尼亚州森尼维耳市直观外科手术公 司的商标。）
当在系统100中只存在两个主要工具夹具并且外科医生180想要控 制除了连接到这两个主要工具夹具上的两个遥控操作从手术器械之外 的一个从手术器械的运动，则该外科医生可以使用第一手势来将这两个 遥控操作从手术器械之一或二者锁定就位。然后外科医生通过使用一种 不同的手势将这些主要工具夹具之一或二者与其他的操纵器臂所保持 的其他从手术器械相关联，该不同的手势在这个实现方式中提供了该主 要工具夹具与另一个遥控操作从手术器械的交换关联。当在系统100中 只存在两个主要手指追踪夹具时，外科医生181进行一个等同的程序。
在又一个方面，安装在外科医生控制台185中的一个手追踪单元186 追踪外科医生180的手的至少一个部分并将被感测的方位信息发送给手 追踪控制器130。手追踪控制器130确定外科医生的手何时足够接近主 要工具夹具从而允许系统跟随例如该从手术器械跟随该主要工具夹具 的运动。如下面更全面地解释的，在一个方面，手追踪控制器130确定 该外科医生的手的位置以及相应的主要工具夹具的位置。如果这两个位 置之间的差在一个预定距离之内，例如小于一个阈值间隔，则允许跟随， 否则将禁止跟随。因此，使用距离作为该外科医生的手相对于外科医生 控制台185上的主要工具夹具的存在性的一种衡量。在另一方面，当外 科医生的手的位置相对于该主要工具夹具的位置小于该阈值间隔时，禁 止显示器上显示用户界面，例如在显示装置上关闭用户界面的显示。相 反，当外科医生的手的位置相对于该主要工具夹具的位置大于该阈值间 隔时，用户界面被显示在显示装置上，例如被开启。
外科医生的手的存在性探测已经是一个长期存在的问题。已经多次 使用不同的接触感测技术（如电容开关、压力传感器以及机械开关）来 尝试存在性探测。然而，这些方法都存在固有问题，因为外科医生在如 何以及在何处保持该主要工具夹具方面有不同的优先倾向。使用距离作 为存在性的一种衡量是有利的，因为这种类型的存在性探测允许外科医 生轻触该主要工具夹具并接着立刻断开物理接触来调节该主要工具夹 具，但它并不限制外科医生如何用他/她的手指来保持该主要工具夹具。
经由手追踪的手术器械控制
在图2A至图2D中以不同的构型展示了一种机械未接地的未通电的 主要手指追踪夹具270（有时称为主要手指追踪夹具270）的一种示例， 这些构型在下面更全面地进行说明。主要手指追踪夹具270包括安装于 指头的传感器211、212（有时称为安装于手指和拇指的传感器211、212）， 这些传感器独立地追踪食指292B的尖端和拇指292A的尖端中每个的方 位（在一个示例中是位置和取向），即，追踪外科医生的手的两个指头 的方位。因此，与在已知的微创手术系统中追踪主要工具夹具的方位不 同，追踪的是手本身的方位。
在一个方面，这些传感器对于安装了传感器的手的每个指头提供了 六个自由度的追踪（三个平移和三个旋转）。在另一个方面，这些传感 器对于安装了传感器的手的每个指头提供了五个自由度的追踪（三个平 移和两个旋转）。
在又一个方面，这些传感器对于安装了传感器的手的每个指头提供 了三个自由度的追踪（三个平移）。当两个指头各自以三个自由度来追 踪时，总共六个平移自由度足够控制一种不包括腕部机构的从手术器 械。
一个垫塞的泡沫连接件210连接在安装了传感器211、212的手指与 拇指之间。连接件210将拇指292A和食指292B（即手291R的指头） 限制在一个固定距离之内，即，在安装了主要手指追踪夹具270的手 291R的指头之间有一个最大间隔距离。在拇指292A和食指292B从该 最大间隔（图2A）移动至完全闭合构型（图2D）时，这种垫塞提供了 正反馈来帮助外科医生181控制连接到主要手指追踪夹具170上的遥控 操作的从手术器械的一个末端执行器的抓握力。
对于图2A展示的位置（其中拇指292A和食指292B分隔了该主要 手指追踪夹具270所允许的最大距离），该抓握力为最小值。相反，在 图2D展示的位置（其中拇指292A和食指292如连接件210所允许的那 样接近，即分隔了该主要手指追踪夹具270所允许的最小距离），该抓 握力为最大值。图2B和图2C展示了被映射到中间抓握力的位置。
如下面更全面地解释的，图2A至图2D中的拇指292A和食指292B 的方位（位置和取向）被映射到一个抓握闭合参数，例如一个标准化的 抓握闭合值，这个值被用来控制连接到主要手指追踪夹具270上的遥控 操作的从手术器械的抓握。具体而言，拇指292A和食指292B的感测方 位被手追踪控制器130映射到抓握闭合参数。
因此，追踪了外科医生181的手的一个部分的方位。基于所追踪到 的方位，手追踪控制器130产生了微创手术系统100的一个系统控制参 数，即抓握闭合参数，并且该参数被供应至系统控制器140。系统控制 器140使用该抓握闭合参数产生一个系统命令，该系统命令被发送给该 遥控操作的从手术器械。该系统命令指示该遥控操作的手术器械将一个 末端执行器配置为呈现与该抓握闭合参数相对应的一个抓握闭合。因 此，微创手术系统100使用该抓握闭合参数来控制微创手术系统100的 这个遥控操作的从手术器械的操作。
而且，图2A至图2D中的拇指292A和食指292B的方位（位置和 取向）被手追踪控制器130映射到一个控制点位置和一个控制点取向。 该控制点位置和控制点取向被映射到外科医生181的眼睛坐标系中并且 接着通过一个命令信号被提供给系统控制器140。该眼睛坐标系中的控 制点位置和控制点取向被系统控制器140用于连接至主要手指追踪夹具 170上的从手术器械的遥控操作。
此外，追踪了外科医生181的手的一个部分的方位。基于所追踪到 的方位，手追踪控制器130产生了微创手术系统100的另一个系统控制 参数，即控制点位置和取向。手追踪控制器130向系统控制器140发出 一个带有该控制点位置和取向的命令信号。系统控制器140使用该控制 点位置和取向来产生一个系统命令，该系统命令被发送给该遥控操作的 从手术器械。该系统命令指示该遥控操作的手术器械基于该控制点位置 和取向来定位该遥控操作的手术器械。因此，微创手术系统100使用该 控制点位置和取向来控制微创手术系统100的这个遥控操作的从手术器 械的操作。
除了基于传感器211、212的位置来确定抓握闭合之外，使用食指 292B与拇指292A之间的其他相对运动来控制该从手术器械的偏航运动 和滚动运动。将手指292B和拇指292A交叉地一起摩擦，就像旋转纺锤 （由图2E中的箭头表示、围绕一个假想的纺锤293）一样，产生了从手 术器械尖端的滚动，而将食指和拇指沿着彼此来回纵向滑动（由图2F 中的箭头表示，沿着箭头295表示的指向方向上的一个轴线），产生了 沿该从手术器械的X轴的偏航运动。这是通过将食指尖端与拇指尖端位 置之间的向量进行映射以限定控制点取向的X轴线而实现的。该控制点 的位置保持相对静止，因为该手指与拇指各自沿轴线295以对称的方式 滑动。虽然该手指与拇指的运动不是完全对称的运动，但该位置仍然保 持足够静止不变，以致于使用者可以容易地改正可能发生的任何干扰。
此外，追踪了外科医生181的手的一个部分的方位。基于所追踪到 的方位，该手追踪控制器130产生了又一个系统控制参数，即，外科医 生的手291R的两个指头之间的相对运动。
手追踪控制器130将这种相对运动转化为连接到主要手指追踪夹具 170上的遥控操作的从手术器械的取向。手追踪控制器130向系统控制 器140发出一个带有该取向的命令信号。虽然这种取向是一个绝对取向 映射，但在一个方面，系统控制器140以与来自任何其他被动万向节主 要工具夹具的取向输入相同的情况来在遥控操作过程中使用这种具有 棘轮效应的输入。棘轮效应的一个例子描述于共同指定的美国专利申请 号12/495,213（2009年6月30日提交，披露了“Ratcheting For Master Alignment Of A Teleoperated Surgical Instrument（遥控操作的手术器械的 主要对准的棘轮效应）”）中，将其通过引用以其整体结合在此。
系统控制器140使用这个取向来产生一个系统命令，该系统命令被 发送给该遥控操作的从手术器械。该系统命令指示该遥控操作的手术器 械基于这个取向来旋转该遥控操作的手术器械。因此，微创手术系统100 使用这两个指头之间的运动来控制微创手术系统100的这个遥控操作的 从手术器械的操作。
当这种运动是一种第一运动时，例如手指292B和拇指292A交叉摩 擦就像转动一个纺锤，则取向是滚动，并且系统命令导致了从手术器械 腕部沿着其指向方向的尖端滚动。当这种运动是一种不同于该第一运动 的第二运动时，例如食指和拇指沿彼此来回纵向滑动（图2F），则取向 是偏航，并且系统命令导致了该从手术器械的偏航运动。
在又一个方面，当外科医生将系统操作模式改变至手势辨识模式时， 两只手均被追踪并且在一方面基于安装在这两只手上的传感器的被感 测位置和取向而产生了两只手的控制点和取向。例如，如图2G中展示 的，每只手的拇指和食指的尖端碰触在一起从而形成环状形状。手追踪 控制器130将每只手的被感测位置映射到一对控制点位置。这对控制点 随相机控制系统事件被发送至系统控制器140。
因此，在这个方面，追踪了外科医生181的每只手的一个部分的方 位。基于追踪到的方位，手追踪控制器130产生了微创手术系统100的 另一个系统控制参数，即所述一对控制点位置。手追踪控制器130将这 对控制点位置随一个相机控制系统事件发送至系统控制器140。
响应于该相机控制系统事件，系统控制器140基于这对控制点位置 产生了一个相机控制系统命令。该相机控制系统命令被发送给微创手术 系统100中的一个遥控操作的内窥镜相机操纵器。因此，微创手术系统 100使用这对控制点位置来控制微创手术系统100的这个遥控操作的内 窥镜相机操纵器的操作。
经由手势姿态和手势轨迹的系统控制
在这个方面，在被置于手势探测操作模式中之后，手追踪控制器130 探测手势姿态或者手势姿态和手势轨迹。控制器130将手势姿态映射到 某些系统模式控制命令，并且类似地控制器130将手势轨迹映射到其他 的系统模式控制命令。注意姿态与轨迹的映射是独立的，并且因此这与 例如手动信号语言追踪不相同。产生系统命令并使用手势姿态和手势轨 迹代替操纵多个开关、大量脚蹬等（如在已知的微创手术系统中的）来 控制系统100的能力对外科医生使用系统100提供了更大的方便。
当外科医生站立时，使用手势姿态和手势轨迹来控制系统100使得 该外科医生在他想要改变系统模式时不必将他的视线离开病人和/或查 看屏幕并寻找脚蹬或开关。最后，各种开关和脚蹬的省略减小了遥控操 作的微创手术系统所要求的地面空间。
用来控制微创手术系统100的手势姿态和手势轨迹的特定集合不是 关键的，只要每个手势姿态和手势轨迹是清楚的即可。确切地说，一个 手势姿态不应该能被手追踪控制器130解释为姿态集合中的一个或多个 其他的手势姿态，并且一个手势轨迹不应该被解释为轨迹集合中多于一 个的手势轨迹。因此，下面讨论的手势姿态和手势轨迹是示意性的并且 不旨在进行限制。
图3A至图3D分别是手势姿态300A至300D的示例。图4A至图 4C是手势轨迹的示例。注意，例如图2A中的构型似乎与图3A中的类 似，但是在使用这两种构型时微创手术系统100的操作模式是不相同的。
在图2A中，遥控操作的微创从手术器械联接至主要手指追踪夹具 170，并且系统100处于跟随模式，以致该遥控操作的微创从手术器械 的运动跟随外科医生的手的被跟踪运动。在图3A至图3D和图4A至图 4C中，外科医生将系统100置于手势辨识模式、并且然后做出所示手势 姿态或手势轨迹中的一种。手势姿态和手势轨迹被用于控制系统模式并 且不用于操作的跟随模式。例如，这些用手势姿态控制的系统模式将能 够使能、禁用视觉显示以及在视觉显示之间循环，从而抓取视觉显示和 且绘制/擦除远程图示。
在手势姿态300A（图3A）中，拇指292A与食指292之间分隔超 过了主要抓取阈值，例如，手291R的这两个指头之间的跨度大于115 mm。食指292B伸展且拇指292A卷曲的手势姿态300B（图3B）被用 来对手追踪控制器130报告信号，即外科医生正在追踪一个手势轨迹（见 图4A和图4B）。拇指292A向上并且食指292B卷曲的手势姿态300C （图3C）被用来打开一个用户界面并在用户界面的模式之间循环。拇指 292A向下并且食指292B卷曲的手势姿态300D（图3D）被用来关断用 户界面。其他手势姿态可以包括“OK”手势姿态、L形手势姿态等等。
在一个方面，手追踪控制器130使用多维特征向量来辨识并识别一 种手势姿态。最初，规定了多个手势姿态。接着，规定包括多个特征的 一个特征集合。将这个特征集合设计成用于唯一地识别多个姿态中的每 个手势姿态。
使用一个训练数据库（training database）来训练一个手势姿态辨识 过程。这个训练数据库包括每个手势姿态的多个例子。这多个例子包括 大量不同的人所作出的姿态的特征向量。针对该训练数据库中的每个例 子产生一个特征集合。这些特征集合被用于训练一个多维的贝叶斯分类 器，如下面更全面地解释的。
当外科医生180想要进入手势操作模式时，该外科医生启动一个开 关，例如压下一个脚蹬，并且然后用至少一只手做出一个手势姿态。注 意，虽然这个示例需要单个脚蹬，它允许省略已知微创手术系统的脚踏 板中的其他脚蹬并且因此仍具有以上描述的益处。手追踪单元186将代 表外科医生的一只手或两只手的拇指和食指的被感测位置和取向的信 号发送给手追踪控制器130。
使用外科医生的手指头的追踪数据，手追踪控制器130产生了一个 观测的特征集合。然后，手追踪控制器130使用被训练的多维贝叶斯分 类器和一个马哈拉诺比斯距离来确定所观测的特征集合是所述多个姿 态中的一个手势姿态的特征集合的可能性（即，概率）。针对所述多个 手势中的每个手势姿态进行这样的过程。
在所述多个手势中被手追踪控制器130选定为观测的手势姿态的这 个手势姿态是具有最小马哈拉诺比斯距离的一个手势，如果该马哈拉诺 比斯距离小于这个手势姿态的训练数据库中的最大马哈拉诺比斯距离 距离的话。将选定的手势姿态映射到一个系统事件。手追踪控制器130 将这个系统事件注入系统控制器140。
系统控制器140处理该系统事件并发布一个系统命令。例如，如果 探测到手势姿态300C（图3C），则系统控制器140对显示控制器150 发送一个系统命令来打开用户界面。响应于此，显示控制器150在处理 器151上执行用户界面模块155的至少一个部分以便在外科医生控制台 185的显示器上产生一个用户界面。
因此，在这个方面，微创手术系统100追踪一只人手的一部分的方 位。基于追踪到的方位，产生一个系统控制参数，例如，选择一个手势 姿态。该手势姿态被用来控制微创手术系统100的用户界面，例如将该 用户界面显示在外科医生控制台185的显示器上。
用户界面控制仅是示意性的并且不旨在进行限制。能够使用一个手 势来在已知的微创手术系统中进行任意的模式改变，例如，主要件抓取 （master clutch）、相机控制、相机聚焦、操纵器臂的交换等等。
如果该手势姿态辨识过程确定观测到的手势姿态是一个手势轨迹的 手势姿态，则手追踪控制器130并不基于这个姿态的辨识而注入一个系 统事件。而是开始一个手势轨迹辨识过程。
在这个示例中，手势姿态300B（图3B）是用来产生一个手势轨迹 的姿态。图4A和图4B是使用手势姿态300B做出的手势轨迹400A和 400B的二维示例。图4C呈现了可以使用的手势轨迹的其他二维示例。
在一个方面，该手势轨迹辨识过程使用了一种隐马尔可夫模型Λ。 为了产生隐马尔可夫模型Λ的概率分布，需要一个训练数据库。在获得 该训练数据库之前，指定手势轨迹的一个集合。在一个方面，选择图4C 的十六种手势轨迹。
在一个方面，选择多个测试主体来做出这些手势轨迹中的每个。在 一个示例中，每个测试主体将每个轨迹实现了预定的次数。每个主体针 对每个轨迹实现的位置和取向数据被保存在该训练数据库中。在一个方 面，如下面更全面地解释的，该训练数据库被用来用迭代的波氏演算法 （Baum-Welch method）来训练一个离散的左-右隐马尔可夫模型。
当外科医生做出一个轨迹时，则手追踪控制器130将这个数据转换 为一个观测序列O。利用观测序列O和隐马尔可夫模型Λ，手追踪控制 器130确定哪个手势轨迹对应于该观测的符号序列。在一个方面，手追 踪控制器130使用向前递归算法与隐马尔可夫模型Λ来产生该观测的符 号序列的总概率。选择具有最高概率的手势轨迹，如果该概率高于阈值 概率的话。如果该最高概率小于该阈值概率，则不选择手势轨迹，并且 进程结束。
将选定的手势轨迹映射到一个系统事件。手追踪控制器130将这个 系统事件注入系统控制器140。
系统控制器140处理该系统事件并发布一个系统命令。例如，如果 选定的手势轨迹被映射到改变手术部位上的照明水平的一个事件，则系 统控制器140对照明器中的控制器发送一个系统事件来改变照明水平。
经由手追踪的存在性探测
在一个方面，如以上指出的，追踪了外科医生的手291R、291L（图 6A）的位置以便确定是否允许遥控操作微创手术系统100并在某些方面 来确定是否向外科医生显示一个用户界面。此外，手追踪控制器130追 踪外科医生180B的一只手的至少一个部分（图6A）。手追踪控制器130 产生了一个主要工具夹具（例如，图6B的主要工具夹具621，代表了图 6A的主要工具夹具621L、621R）的方位以及这个手的这个部分的方位。 手追踪控制器130将这两个方位映射到一个公共坐标系中并然后确定在 这个公共坐标系中这两个方位之间的距离。这个距离是一个微创手术系 统的、基于外科医生的手的该部分的所追踪方位的一个系统控制参数。
如果这个距离小于一个安全阈值，即，小于手的该部分与主要工具 夹具之间的最大允许间隔，则微创手术系统100的遥控操作被允许，否 则遥控操作被禁止。类似地，在使用存在性探测来控制一个用户界面的 显示的方面，如果这个距离小于安全阈值，即，小于手的该部分与主要 工具夹具之间的最大允许间隔，则在微创手术系统100的显示器上用户 界面的显示被允许，否则用户界面的显示被禁止。
因此，这个距离被用于控制微创手术系统100的遥控操作。确切地 说，手追踪控制器130向系统控制器140发送了一个系统事件以指示是 否允许遥控操作。响应于这个系统事件，系统控制器140将系统100配 置为要么允许要么禁止遥控操作。
手方位的追踪技术
在更详细地考虑以上描述的手追踪的不同方面之前，对一种追踪技 术的一个示例进行说明。这个示例仅是示意性的并且就以下说明而言， 可以使用任何提供必须的手或手指方位信息的追踪技术。
在一个方面，用安装在一只手的两个指头（例如，拇指和食指）上 的传感器来进行脉冲式DC电磁追踪，如图2A至图2D和图7所示。每 个传感器测量六个自由度并且在一个方面具有八毫米乘两毫米乘一点 五毫米（8mm×2mm×1.5mm）的尺寸。该追踪系统具有0.8m的半 球体灵活工作空间以及0.5mm和0.1度的位置感测分辨率。更新速率为 160赫兹并且具有四毫秒的感测延迟时间。当整合到一个系统中时，可 能由于通信和额外的滤波而遭受额外的延迟。已经发现最高达30毫秒 的有效命令延迟时间是可接受的。
在这个方面，一种追踪系统包括一个电磁的手追踪控制器、用于主 要手指追踪夹具中的多个传感器以及一个手追踪发射器。用于本发明的 一个实施方案中的追踪系统可从美国佛蒙特州伯灵顿的Ascension Technology Corporation作为带有Mid-Range Transmitter的3D guidance trakSTARTM系统获得。（trakSTARTM是Ascension Technology Corporation的商标。）该发射器产生了脉冲式DC磁场以用于在中值范 围内进行高精度追踪，该范围被限定为78厘米（31英寸）。这个系统 针对每个传感器提供了240至420次更新/秒的动态追踪。这些小型无源 传感器的输出不受电力线噪声源的影响。不要求该发射器与这些传感器 之间的清晰视线。存在全角度追踪并且没有惯性漂移或光线干扰。有高 的金属抗扰性并且没有来自非磁性金属的扭曲。
虽然在此使用了带有指套的电磁追踪系统，但这仅是示意性的并且 不旨在进行限制。例如，外科医生可以持有一个笔状装置。该笔状装置 是在该装置的外表面上带有三个或更多个非共线的基准标记/框标的指 状物。典型地，为了使至少三个基准标记在任何视点可见，由于自遮挡 的原因而使用更多个基准标记。这些基准标记足以确定该指状物的六个 自由度（三个平移和三个旋转）的运动并因此确定持有该笔状装置的手 的六个自由度（三个平移和三个旋转）的运动。在一个方面，该笔状装 置还感测了抓握作用。
具有已知参数的两个或更多个相机来查看该笔状装置以便以三个维 度来定位这些基准标记并且推断出该指状物的三维姿态。这些基准标记 例如可以实施为1)具有靠近相机的照明的回归反射球；2)具有靠近相 机的照明的凹形或凸形半球；或3)有源标记，如（闪光的）LED。在 一个方面，使用了该指状物的近红外照明，并且使用滤光器来在相机处 阻挡可见光谱以便将来自背景杂波的干扰最小化。
在另一方面，使用了一个数据手套501（图5）或裸手502，并且将 基准标记511附接到外科医生正要戴的手套501的拇指和食指（和/或该 手套的其他指头）上和/或直接附接到手502的皮肤上。此外，可以使用 冗余的标记来包容自遮挡。还可以将基准标记布置在其他手指上以便通 过明确限定的手势来获得更多的用户界面特征。
这些基准标记的三维方位由具有公共视场的多个相机的三角测量来 计算。使用基准标记的三维方位来推断这只手的三维姿态（平移和取向） 以及抓握的尺寸。
这些标记的方位需要在使用前被校准。例如，外科医生可以将处于 不同姿态的具有标记的手显示给相机。然后在校准中使用这些不同的姿 态。
在又一个方面，使用少标记的手追踪。通过使用从一个或多个相机 观察的图像并且通过经由执行计算机软件来处理这些图像从而可以追 踪手的关节运动。执行计算机软件并不需要追踪将使用的手的所有自由 度。执行软件仅需要追踪与一只手的将用于控制如此处说明的手术工具 的这两个指头相关的部分。
在基于相机的追踪中，测量结果的精确度取决于这些标记在图像中 的定位精确度；由于相机几何形状造成的三维重构精确度；以及，例如 多于一个最小数目（例如三个）基准标记、多于一个最小数目（一个或 两个）相机以及临时的平均化和过滤的冗余数据。
这个三维重构精确度很大程度依赖于相机校准的精确度。可以使用 附接在外科医生控制台上的已知方位的一些基准标记来确定多个相机 相对于外科医生控制台的外在参数（旋转和平移）。这个过程可以自动 进行。可以使用有源基准标记来校准基准标记，因为这样的标记仅在校 准过程中并且在这个程序之前被通电。在这个程序过程中，将校准用基 准标记断电以避免与用来定位外科医生的手的基准标记混淆。这些相对 的外在参数也可以通过在这些相机的公共视场中观察一个运动的标记 来计算。
适合使用的其他追踪技术包括但不限于：惯性追踪、深度相机追踪 以及纤维弯曲传感。
如在此使用的，一个传感器元件（有时称为追踪传感器）可以是用 于以上描述的任何手追踪技术的传感器，例如无源电磁传感器、基准标 记或用于任何其他技术的传感器。
坐标系
在进一步详细地考虑以上描述的不同方法之前，考虑外科医生控制 台185B（图6A）的一个示例，并且限定了不同的坐标系来用于以下示 例中。外科医生控制台185B是外科医生控制台185的一个示例。外科 医生控制台185B包括一个三维查看器610（有时称为查看器610）；带 有主要工具夹具621L、621R的主要工具操纵器620L、620R；以及一个 底座630。主要工具夹具621（图6B）是主要工具夹具621L、621R的 更详细图解。
外科医生180B使用食指和拇指来夹持主要工具操纵器620L、620R 的主要工具夹具621L、621R，以致寻靶和抓握涉及直观的指向和捏紧 运动。主要工具操纵器620L、620R和主要工具夹具621L、621R结合 使用来以与已知的遥控操作微创手术系统中的已知主要工具操纵器相 同的方式来控制遥控操作的从手术器械、遥控操作的内窥镜等等。而且， 主要工具操纵器620L、620R和主要工具夹具621L、621R的位置坐标 从控制从手术器械中使用的运动学中已知。
在正常的查看操作模式中，查看器610显示了来自立体内窥镜112 的手术部位103的三维图像。查看器610位于控制台185B（图6B）上 在外科医生的双手附近，以致查看器610中看到的手术部位的图像被取 向成使得外科医生180B感觉他或她实质上正在直接注视着手术部位 103。该图像中的手术器械似乎基本上位于外科医生的双手所在之处并 且被取向成基本上使得外科医生180B基于其双手的位置所期望的那样。 然而，在查看该查看器610中显示的手术部位图像时，外科医生180B 不能看到他的或她的双手、也不能看到主要工具夹具621L、621R的位 置或取向。
在一个方面，主要工具操纵器620L、620R在外科医生180B前面并 且在查看器610下面直接移去，以致它们被定位在底座630上方，并且 因此它们不再位于查看器610下面，即这些主要工具操纵器被放在不挡 手势的道。这在查看器610下面提供了一个不被阻挡的体积，其中外科 医生180B可以做出手势，即手势姿态或手势轨迹之一或二者。
在图6A的方面中，相对于外科医生控制台185B限定了三个坐标系： 一个查看坐标系660、一个世界坐标系/全局坐标系670以及一个追踪器 坐标系650。注意对外科医生181（图1）限定了同样的坐标系，以致下 面更全面描述的映射也可以用于从主要手指追踪夹具170或从主要工具 夹具621L、621R来追踪数据。例如，参见美国专利申请号12/617,937 （2009年11月13日提交，标题为“Patient-Side Surgeon Interface For a Minimally Invasive Teleoperated Surgical Instrument（用于微创遥控操作的 手术器械的病人侧外科医生界面）”），之前已其通过引用结合在此。
在查看坐标系660中，外科医生180B正看向Z轴线Z查看。Y轴线 Y查看在显示器中指向上。X轴线X查看在显示器中指向左。在世界坐标系 670中，Z轴线Z世界是竖直轴线。世界X轴线X世界和世界Y轴线Y世界位于与Z轴线Z世界垂直的平面内。
图6B是主要工具夹具621和主要工具操纵器620的更详细图解。 下面关于图11的方法1100更全面地讨论坐标系680、690。
经由手追踪的手术器械控制的过程
图7是安装在食指292B上的传感器212（在追踪坐标系750中具有 方位713）以及安装在拇指292A上的传感器211（在追踪坐标系750中 具有方位711）的图示。传感器211和212是以上描述的电磁追踪系统 的一部分。拇指292A和食指292B是右手291R的指头的例子。如之前 提到的，人手的一个部分包括这只手的至少一个指头。如本领域技术人 员已知的，这只手的手指（有时称为指头或指骨）为拇指（第一个指头）、 食指（第二个指头、次指）、中指（第三个指头）、无名指（第四个指 头）以及小指（第五个指头）。
在此，以拇指和食指作为人手的两个指头的例子。这仅是示意性的 并且不旨在进行限制。例如，可以用拇指和中指来代替拇指和食指。此 处的说明也可直接应用于中指的使用。而且，使用右手也只是示意性的。 当在左手上戴上类似的传感器时，此处的说明也可直接应用于左手。
缆线741、742将主要手指追踪夹具270的传感器211、212连接到 手追踪控制器130。在一个方面，缆线741、742将来自传感器211、212 的位置和取向信息带给手追踪控制器130。
使用缆线来将所感测的位置和取向数据传送给手追踪控制器130仅 是示意性的并且不旨在限制于这个具体的方面。鉴于本披露，本领域技 术人员可以选择一个机构来将所感测的位置和取向数据从这个或这些 主要手指追踪夹具传送至手追踪控制器130（即，通过使用无线连接）。
缆线741、742没有禁止主要手指追踪夹具270的运动。因为主要手 指追踪夹具270机械未接地，所以每个主要手指追踪夹具对于外科医生 可达到的工作空间和该手追踪发射器的工作空间之内的位置和取向运 动而言均不受限制（例如，笛卡尔坐标系中的左右、上下、内外、滚动、 偏航和俯仰）。
在一个方面，如以上描述的，主要手指追踪夹具270上的每个传感 器211、212感测到三个平移自由度和三个旋转自由度，即，六个自由 度。因此，来自这两个传感器的感测数据代表了十二个自由度。在另一 个方面，主要手指追踪夹具270上的每个传感器211、212感测到三个 平移自由度和两个旋转自由度（偏航和俯仰），即，五个自由度。因此， 来自这两个传感器的感测数据代表了十个自由度。
使用基于所追踪方位的一个控制点位置和控制点取向来控制一个遥 控操作的从手术器械，需要六个自由度（三个平移和三个取向），如下 面更全面地说明的。因此，在每个传感器具有五个或六个自由度的这些 方面，传感器211、212提供了冗余的自由度。如以上说明的以及下面 更全面地说明的，这些冗余的自由度被映射成为多个参数以用于控制该 遥控操作的从手术器械的除位置和取向之外的方面。
在又一个方面，每个传感器211、212仅感测三个平移自由度并且因 此一起表示了六个自由度。这足够控制不包括腕部机构的一个从手术器 械的三个平移自由度、滚动以及抓握闭合。以下说明是用于使用这六个 自由度来产生控制点方位。将控制点取向当做该从手术器械的取向。如 下面说明的，使用控制点方位和控制点取向来确定抓握闭合参数。如上 面说明的使用拇指和食指的相对运动来确定滚动。
在传感器感测六个自由度或传感器感测五个自由度的方面，食指 传感器212产生了一个代表追踪坐标系750中的食指位置p食指和食指取 向R食指的信号。拇指传感器211产生了一个代表追踪坐标系750中的拇 指位置p拇指和拇指取向R拇指的信号。在一个方面，位置p食指和p拇指被看 作是与使用者食指指甲在食指292B上的中心以及使用者拇指指甲在拇 指292A上的中心对齐。
在这个示例中，位置p食指和p拇指各自被表示为追踪坐标系750中的 一个三乘一阶向量。位置p食指和p拇指位于追踪器坐标中。
取向R食指和R拇指各自被表示为追踪坐标系750中的一个三乘三阶矩 阵，即
一个控制点位置pcp居中在食指292B与拇指292A之间。控制点位 置pcp位于控制点坐标系790中，但被指定成追踪器坐标。控制点坐标 系790中的Z轴线在其指向方向上延伸穿过控制点位置pcp，如下面更 全面地说明的。
而且，如下面所解释的，食指292B和拇指292A被映射到从手术器 械的夹爪，但这两个指头比器械夹爪更灵巧。控制点坐标系790的Y轴 线对应于用于器械夹爪闭合的销。因此，控制点坐标系790的Y轴线垂 直于食指292B和拇指292A之间的一个向量，如下面说明的。
控制点位置pcp以追踪坐标系750中的追踪器坐标被表示为一个三 乘一阶向量。控制点取向Rcp以追踪器坐标被表示为一个三乘三阶矩阵， 即
R cp = R cp 11 R cp 12 R cp 13 R cp 21 R cp 22 R cp 23 R cp 31 R cp 31 R cp 33 ]]>
图8是一个流程图，用于将一只手的一部分的方位映射到一个抓握 闭合参数，该参数被用来控制一个从手术器械（例如，图1的遥控操作 的从手术器械之一）的抓握。这种映射还将这个方位的临时改变映射到 一个新的抓握闭合参数以及一个从器械尖端的对应访问和移动至该方 位的速度。
最初，在进入过程800时，“接收手方位数据”过程810接收食指 的位置和取向(p食指,R食指)以及拇指的位置和取向(p拇指,R拇指)，这些在本 示例中被储存为数据811。食指的位置和取向(p食指,R食指)以及拇指的位 置和取向(p拇指,R拇指)是基于来自追踪系统的数据。过程810转至“将方 位数据映射到控制点和抓握参数”过程820。
“将方位数据映射到控制点和抓握参数”过程820使用食指的位置 和取向(p食指,R食指)以及拇指的位置和取向(p拇指,R拇指)产生了一个控制点 位置pcp、一个控制点取向Rcp以及一个抓握闭合参数g抓握。控制点位置 pcp、控制点取向Rcp以及抓握闭合参数g抓握被储存为数据821。
在一个方面，在过程820中进行的控制点映射被限定成对已知的主 要工具操纵器控制点布局的关键特性进行仿真。因此，对拇指和食指运 动的响应对于具有类似于外科医生控制台180B（图6A）的一个外科医 生控制台的已知遥控操作的微创手术系统的使用者而言是熟悉且直观 的。
图9是“将方位数据映射到控制点和抓握参数”过程820的一个方 面的更详细的流程图。首先，在过程820中，“将手位置数据映射到控 制点”过程910由食指位置p食指和拇指位置p拇指产生控制点位置pcp的 一个方位，即
pcp＝0.5*(p拇指+p食指)
控制点位置pcp是食指位置p食指和拇指位置p拇指的平均值。“将手 位置数据映射到控制点”过程910转而进行至“产生控制点取向”过程 920。
如以上指出的，控制点取向的Z轴线对齐于指向方向。在“产生控 制点取向”过程920的这个方面，使用Rodriquez轴线/角度公式来将该 控制点取向的Z轴线指向向量定义为食指指向向量与拇指指向向 量之间的半旋度。根据拇指取向R拇指，拇指指向向量为：
类似地，根据食指取向R食指，食指指向向量为：
向量ω是与食指指向向量和拇指指向向量垂直的一个向量。 向量ω被定义为食指指向向量和拇指指向向量的向量积，即
角度θ是食指指向向量与拇指指向向量之间的角度的幅值。 角度θ被定义为：
已知轴线ω和角度θ，Z轴线指向向量为：
因此，过程910已经产生控制点位置pcp并且过程920的初始部分已 经产生控制点坐标系790中Z轴线的近似指向。可以开始内插食指和拇 指取向向量以便以类似方式产生控制点单位向量轴线和并接着 将它们再次正交以产生一个控制点取向矩阵。
然而，通过使用以下映射可以由所追踪的指头方位来实现更大的遥 控操作灵巧度。这种映射使用食指和拇指的相对位置来有效地使该控制 点滚动和偏航就好像操纵这些手指之间的小的万向节一样。如下进行过 程920的剩余部分以产生正交的控制点单位向量轴线和的 完整集合。
z ^ cp = x ^ cp × y ^ cp ]]>
根据这些向量，控制点取向Rcp为：
R cp = x ^ cp y ^ cp z ^ cp = R cp 11 R cp 12 R cp 13 R cp 21 R cp 22 R cp 23 R cp 31 R cp 31 R cp 33 ]]>
现在关于过程910和920，过程820已经将食指和拇指的位置和取 向(p食指,R食指)、(pt拇指,R拇指)映射到控制点位置和取向(pcp,Rcp)。过程820 必须还产生抓握闭合参数g抓握。因此，“产生控制点取向”过程920转 而进行至“产生抓握闭合参数”过程930。
在过程930中，抓握闭合由食指位置p食指和拇指位置p拇指距控制点 位置pcp和Z轴线方向所限定的中线轴线的距离来决定。这允许抓握 闭合在拇指和食指碰触时对于滑动是不变的。
因此，食指位置p食指和拇指位置p拇指被映射到坐标系790中的Z轴 线上。位置p食指_投影是食指位置p食指在坐标系790的Z轴线上的投影，而 位置p拇指_投影是拇指位置p拇指在坐标系790的Z轴线上的投影。
位置p食指_投影和位置p拇指_投影被用来估计一个估计抓握闭合距离d估， 即
d估＝||p食指-p食指_投影||+||p拇指-p拇指_投影||
在此，这些双平行线是2-范数欧几里德距离的公知表示。估计抓握 闭合距离d估由一个最大距离阈值d最大和一个最小距离阈值d最小界定。 如图7中展示的，传感器211、212之间的垫塞的泡沫连接件210将这 些指头限制在一个固定的间隔之内，即，在一个最大距离阈值d最大和一 个最小距离阈值d最小之间。另外，一个中位距离d0对应于这两个指头刚 碰触时的间隔距离。
对于多个传感器与一个连接件的特定集合，最大距离阈值d最大、最 小距离阈值d最小以及中位距离d0是以经验确定的。在一个方面，对于小 手、平均的手以及大手提供了多个传感器与一个连接件的三种不同组 合。每种组合均具有其自身的最大距离阈值d最大、最小距离阈值d最小以 及中位距离d0，因为连接件210的长度在各组合中是不同的。
过程930将距离d估与最小距离阈值d最小进行比较。如果比较发现距 离d估小于最小距离阈值d最小，则将抓握闭合距离d设定为最小距离阈 值d最小。否则，过程930将距离d估与最大距离阈值d最大进行比较。如 果比较发现距离d估大于最大距离阈值d最大，则将抓握闭合距离d设定 为最大距离阈值d最大。否则，将抓握闭合距离d设定为距离d估。
为确定抓握闭合距离d而对距离d估进行的测试被概述为：
接着在过程930中，产生了抓握闭合参数g抓握：
因此，在最大距离阈值d最大与距离d0之间的抓握闭合距离d被映射 到零与一之间的一个值。在最小距离阈值d最小与距离d0之间的抓握闭合 距离d被映射到负一与零之间的一个值。
在食指292B和拇指292A分隔了连接件210所允许的最大程度时 （图2A）获得抓握闭合参数g抓握为一的这个值。在食指292B的尖端与 拇指292A的尖端刚刚碰触时（图2C）获得抓握闭合参数g抓握为零的这 个值。在零与一的范围内的值控制了一个从手术器械的末端执行器的夹 爪的打开/关闭。在食指292B和拇指292A相碰触并且连接件210被弯 曲压缩在食指292B和拇指292A之间时（图2D）获得抓握闭合参数g 抓握为负一的这个值。在零与负一的范围内的值控制了该末端执行器的闭 合夹爪的夹紧力。连接件210对夹爪的闭合提供了一种被动的触觉提示。
这个将抓握闭合距离d映射到两个范围之一内的一个值的例子仅是 示意性的并且不旨在进行限制。这个示例展示了当抓握闭合距离d大于 中位距离d0时，将抓握闭合距离d映射到在抓握闭合参数g抓握的第一范 围内的一个值，以便控制从手术器械的末端执行器的夹爪的打开/闭合。 在此“打开/闭合”是指这些夹爪的打开和闭合。当抓握闭合距离d小于 中位距离d0时，该抓握闭合距离d被映射到在该抓握闭合参数g抓握的第 二范围内的一个值，以便控制该末端执行器的这些闭合夹爪的夹紧力。
因此，过程820已经将食指位置和取向(p食指,R食指)以及拇指位置和 取向(pt拇指,R拇指)映射到一个控制点位置和取向(pcp,Rcp)以及抓握闭合参 数g抓握，这被储存为数据821。过程820进行至“映射至世界坐标”过 程830（图8）。
“映射至世界坐标”过程830接收数据821并将数据821映射至世 界坐标系。（参见世界坐标系670（图6A）。）确切地说，使用一个四 乘四阶齐次变换矩阵wcTtc将控制点位置和取向(pcp,Rcp)和抓握闭合参 数g抓握映射到世界坐标的控制点位置和取向(pcp_wc,Rcp_wc)，其中该矩阵 将追踪器坐标系750（图7B）中的坐标映射到世界坐标系670中的坐标， 例如
T tc wc = R tc wc t tc wc 0 1 ]]>
其中
wcRtc将追踪器坐标tc的取向映射到世界坐标wc的取向，并 且
wcttc将追踪器坐标tc的位置变换为世界坐标wc的位置。
这种映射不改变抓握闭合参数g抓握。世界坐标wc中的数据被储存 为数据831。过程830进行至“映射至眼睛坐标”过程840。
“映射至眼睛坐标”过程840接收世界坐标wc中的数据831并将 数据831映射至眼睛坐标系（参见眼睛坐标系660（图6A））。确切地 说，使用一个四乘四阶齐次变换矩阵ecTwc将世界坐标的控制点位置和取 向(pcp_ec,Rcp_ec)以及抓握闭合参数g抓握映射到眼睛坐标的控制点位置和 取向(pcp_wc,Rcp_wc)，其中该矩阵将世界坐标系670（图6A）中的坐标映 射到眼睛坐标系660中的坐标，例如
T wc ec = R wc ec t wc ec 0 1 ]]>
其中
ecRwc将世界坐标wc中的取向映射到眼睛坐标ec中的取向，并且
ectwc是世界坐标wc中的位置到眼睛坐标ec中的位置的变换。
同样，这种映射不改变抓握闭合参数g抓握。眼睛坐标中的数据被储 存为数据841。过程840进行至“产生速度”过程850。
在过程800中，仅仅为便于示意，将映射过程830和840描述为两 个不同的过程。在一个方面，映射过程830和840被结合成使得使用一 个四乘四阶齐次变换矩阵ecTtc将追踪器坐标tc中的控制点数据直接映 射到眼睛坐标ec中的数据，其中该矩阵将追踪器坐标系650（图6A） 中的坐标映射到眼睛坐标系660中的坐标，例如
T tc ec = R wc ec R tc wc ( R wc ec t tc wc + t wc ec ) 0 1 ]]>
在这个方面，眼睛坐标中的控制点位置pcp_ec为：
pcp_ec＝ecTtcpcp_tc，
并且，眼睛坐标中的控制点取向Rcp_ec为：
Rcp_ec＝ecRwcwcRtcRcp_tc
在有些方面，可以省去这种世界坐标映射。在此情况下，在不利用 世界坐标系的情况下将控制点数据从追踪坐标系直接映射到眼睛坐标 系中。
对于遥控操作，需要位置、取向和速度。因此，“产生速度”过程 850产生了所需速度。这些速度能以多种方式产生。某些实现方式（如 惯性传感器和陀螺仪传感器）可以直接测量差分信号而产生控制点的线 速度和角速度。如果这些速度不能被直接测量，则在一个方面，过程850 由眼睛坐标系中的方位测量结果来估计这些速度。
可以使用眼睛坐标系中在抽样间隔上的有限差分来估计这些速度。 例如，线速度vcp_ec估算为：
v cp _ ec = p cp _ ec ( t 1 ) - p cp _ ec ( t 0 ) Δt ]]>
且角速度ωcp_ec估算为：
RΔ=Rcp_ec(t0)’＊Rcp_ec(t1)
ω Δ = 0.5 * R Δ 32 - R Δ 23 R Δ 13 - R Δ 31 R Δ 21 - R Δ 12 ]]>
ω cp _ ec = Rcp _ ec ( t 0 ) * ω Δ Δt ]]>
在“产生速度”过程850的另一方面，以追踪器坐标系750（图7） 的追踪器坐标来感测控制点线速度vcp_tc和控制点角速度ωcp_tc。在这个 方面，使用一个旋度ecRtc将直接感测的控制点线速度vcp_tc和直接感测的 控制点角速度ωcp_tc从追踪器坐标系750旋转至眼睛坐标系600。确切地 说，使用如以上定义的旋转映射，
ecRtc＝ecRwcwcRtc
vcp_ec＝ecRtcvcp_tc
ωcp_ec＝ecRtcωcp_tc
“产生速度”过程850进行至“发送控制命令”过程860。过程860 基于作为数据851储存的位置、取向、速度和抓握闭合参数而将一个适 当的系统控制命令发送给从手术器械。
在一个方面，过程810至850是通过手追踪控制器130（图1）实现 的。控制器130在处理器131上执行手指追踪模块135来实现过程810 至850。在这个方面，手指追踪模块135被储存在存储器132中。过程 850向系统控制器140发送一个系统事件，该控制器进而进行过程860。
应了解的是，手追踪控制器130和系统控制器140在实践中可以通 过硬件、处理器上执行的软件以及固件的任何组合来实施，而且，如在 此描述的，这些控制器的功能可以通过一个单元来进行或被分割到不同 部件，这些部件中的每个都进而可以通过硬件、处理器上执行的软件以 及固件的任何组合来实施。当被分割到不同部件时，这些部件可以被集 中在一个方位或者被分布在系统100上以用于分布式处理的目的。
手势姿态和手势轨迹控制的过程
图10是系统100的手势姿态和手势轨迹控制的过程1000的一个流 程图。在以上描述的一个方面，手势姿态辨识过程1050使用了一个多 维的贝叶斯分类器，并且手势轨迹辨识过程1060使用了一个离散的隐 马尔可夫模型Λ。
如以上说明的，图3A至图3D是手势姿态的例子。为了训练该手势 姿态辨识过程1050，指定了多个手势姿态。所使用的这多个手势姿态受 到定义多个可以被辨识过程1050明确识别的唯一手势的能力所限制并 且受到外科医生记住且可靠地再现这些不同的手势姿态中每个的能力 所限制。
除了定义手势姿态之外，定义了包括多个特征fi的一个特征集合， 其中i的范围从1至n。数目n是所使用的特征的数目。特征的数目和 类型被选择成使得许用姿态的集合中的每个手势姿态都可以被准确地 识别出。在一个方面，数目n为六。
以下是具有n个特征的一个特征集合的示例。
f2＝||p拇指-p食指||
特征f1是食指292B的指向方向与拇指292A的指向方向的 点积。特征f2是食指292B与拇指292A之间的距离。特征f3是拇指292A 投影在食指292B的指向方向上的距离。特征f4是拇指292A距离沿 食指292B的指向方向的轴线的距离。特征f5是拇指292A的指向方 向的Z分量。特征fn是拇指292A的拇指法向量与食指292B 的指向方向的点积。
在使用方法1000之前，必须建立手势姿态的一个训练数据库。多个 不同的使用者针对每个手势姿态产生至少一个，并且每个使用者的每个 手势姿态的位置和取向都使用追踪系统被测量。例如，一组人中的每个 人都做出这些许用手势姿态中的每一个。针对这个组中的每个人的每个 手势姿态，均将食指和拇指的位置和取向(p食指，R食指)、(pt拇指，R拇指)保存 在训练数据库中。
使用该训练数据库，针对每个使用者的每个手势姿态都产生一个特 征集合{fi}。然后，每个手势姿态的训练特征向量集合被用来计算一个平 均值和一个协方差∑fi。
因此，使用该训练数据库来针对每个训练的手势获得一个特征向量 平均值和协方差。此外，对于每个手势姿态，针对每个训练员产生一个 马哈拉诺比斯距离d(fi)(参见下面的讨论)，并且将每个手势姿态的最 大马哈拉诺比斯距离d(fi)保存为这个手势姿态的阈值。
还可以使用这种马哈拉诺比斯距离测量来验证所有训练的手势对于 所使用的给定特征集合而言是充分不同的并且清楚的。这可以通过测试 给定手势的特征向量平均值和所有其他许用手势姿态的特征向量平 均值的马哈拉诺比斯距离而完成。这个测试距离应该远大于用于该给定 手势的最大训练距离阈值。
如本领域技术人员已知的，规定一种隐马尔可夫模型要求规定两个 模型参数N、M以及三个概率测度A、B、π。隐马尔可夫模型Λ表示 为：
Λ＝(A，B，π)
模型参数N是该模型中的状态数目，并且模型参数M是每种状态 的观测符号的数目。这三个概率测度是状态转移概率分布A、观测手势 概率分布B以及初始状态分布π。
在离散隐马尔可夫模型的一个方面，转移概率分布A是一个N×N 阶矩阵。观测手势概率分布B是一个N×M阶矩阵，并且初始状态分 布π是一个N×1阶矩阵。
如下面更全面地说明的，在给定了观测序列O和隐马尔可夫模型Λ 的情况下，在过程1000中估算了给定隐马尔可夫模型Λ的观测序列O 的概率，即P(O|Λ)。
要产生隐马尔可夫模型Λ的概率分布，需要一个训练数据库。在获 得该训练数据库之前，指定手势轨迹的一个集合。
多个测试对象j被选择来做出这些手势轨迹中的每个。虽然在图4C 中，以二维投影形式呈现了十六个手势轨迹，但在进行各种手势轨迹时， 测试对象不受限制，这允许出现一些三维的变化。在一个方面，每个对 象将每个手势轨迹进行k次，这样就针对每个手势轨迹产生了j*k个训 练序列。
在一个方面，使用一种离散的左-右隐马尔可夫模型。隐马尔可夫模 型Λ被选择成使得使用迭代的波氏演算法使概率P(O|Λ)局部最大化。例 如参见Lawrence R.Rabiner“A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition（隐马尔可夫模型及其在语音 识别中的选择性应用的教程）”，Proceedings of the IEEE（电气与电子 工程师协会会报），第77卷第2期第257-286页（1989年2月），将 其通过引用结合在此，作为对这些模型的技术人员的隐马尔可夫模型的 知识展示。在一个方面，当针对三个依次迭代，该模型收敛在百分之0.1 内则停止该迭代法。
对初始状态概率π进行设定，使得该模型总是以状态一开始。使用 随机入口来初始化转移概率矩阵A，这些随机入口在逐行基础上按降序 储存。为了强制获得这种从左到右的结构，将转移概率矩阵A的下部对 角区内的所有入口设定为零。此外，通过将入口设定为零（其中所有行 i和列j为(i–j)>2）而不允许大于两个状态的转移。在结束时在逐行 基础上来标准化转移概率矩阵A。
对所观测的概率矩阵B的初始化基于所希望的状态数目均匀地划分 该观测序列。因此，每种状态可以基于局部频率计数而初始地以一个概 率观测一个或多个符号。这个矩阵也在逐行基础上被标准化。参见例如 N.Liu,R.I.A.Davis,B.C.Lovell,P.J.Kootsookos，“Effect of Initial HMM Choices in Multiple Sequence Training for Gesture Recognition（初始HMM 选择在手势辨识的多序列训练中的作用）”，International Conference on Information Technology（信息技术国际会议），5-7，拉斯韦加斯，第 608-613页（2004年4月），通过引用结合在此，作为对本领域技术人 员已知的隐马尔可夫模型的初始化程序的展示。对各个手势轨迹建立了 一个隐马尔可夫模型。
回到方法1000，“手势模式被使能”检查过程1001确定外科医生 是否使能系统100的手势辨识操作模式。在一个方面，为了使能手势辨 识模式，外科医生将外科医生控制台185上的脚蹬压下（图1A）。如 果使能手势辨识模式，检查过程1001转向“接收手方位数据”过程1010， 否则就通过“返回”1002而返回。
“接收手方位数据”过程1010接收了外科医生正在做出的手势的食 指位置和取向(p食指,R食指)以及拇指位置和取向(p拇指,R拇指)。如以上指出 的，食指位置和取向(p食指,R食指)以及拇指位置和取向(p拇指,R拇指)是基 于来自该追踪系统的数据。过程1010转至“产生特征过程”1011。
在“产生特征”过程1011中，食指位置和取向(p食指,R食指)以及拇指 位置和取向(p拇指,R拇指)被用来产生在观测的特征向量fi_o中的每个特征 f1_o至fn_o。“产生特征”过程1011转至“将特征与已知姿态进行比较” 过程1012。
“将特征与已知姿态进行比较”过程1012针对每个姿态将所观测的 特征向量fi_o与训练的特征集合{fi}进行比较。这个过程确定了对于具体 的手势姿态而言，观测的特征向量被包括在一个训练数据库特征集合{fi} 中（即，对应于训练数据集合）的可能性。这可以表示为
P(fi_o|Ω)
其中训练数据集合特征集合{fi}是来自对象类别Ω。
在这个示例中，概率P(fi_o|Ω)为：
P ( f i _ o | Ω ) = exp [ - 1 2 ( f i _ o - f ‾ i ) T Σ fi - 1 ( f i _ o - f ‾ i ) ] ( 2 π ) N / 2 | Σ fi | 1 / 2 ]]>
其中N是该特征向量的维数，例如以上示例中的n。
用来表征这种可能性的统计量是马哈拉诺比斯距离d(fi_o)，其被定义 为：
d ( f i _ o ) = f ~ i _ o T Σ fi - 1 f ~ i _ o ]]>
其中马哈拉诺比斯距离是本领域技术人员已知的。参 见例如，Moghadam,Babackh和Pentland,Alex,“Probabilistic Visual Learning for Object Representation（用于目标表示的概率视觉学习）”， IEEE Transactions On Pattern Analysis and Machine Intelligence（IEEE模 式分析与机器智能汇刊），第19卷第7期第696至710页（1997年7 月），将其通过引用结合在此。
通过使用协方差Σfi的本征向量Φ和本征值Λ，以对角形式使用 这样马哈拉诺比斯距离d(fi_o)为：
d ( f i _ o ) = f ~ i _ o T [ Φ Λ - 1 Φ T ] f ~ i _ o ]]>
= y T Λ - 1 y ]]>
其中这种对角形式允许将马哈拉诺比斯距离d(fi_o)表 示为和的形式：
d ( f i _ o ) = Σ j = 1 N y j 2 λ j ]]>
在这个示例中，这是为了确定马哈拉诺比斯距离d(fi_o)而估计的一 种表示。因此，过程1011产生了马哈拉诺比斯距离d(fi_o)。完成之后， 过程1012转向“选择姿态”过程1013。
在“选择姿态”过程1013中，选择具有最小马哈拉诺比斯距离d(fi_o) 的手势姿态，如果马哈拉诺比斯距离d(fi_o)小于训练数据库中该手势姿 态的最大马哈拉诺比斯距离的话。如果马哈拉诺比斯距离d(fi_o)大于训 练数据库中该手势姿态的最大马哈拉诺比斯距离，则不选择手势姿态。 “选择姿态”过程1012转向“临时过滤过程”1014。
“临时过滤”过程1014确定过程1013的结果是否已经将同样的结 果连续地提供了预定的次数。如果过程1013已经将同样的结果连续地 提供了预定的次数，则“临时过滤”过程1014转向“手势姿态”检查 过程1015，否则返回。这个预定次数被选择成使得“临时过滤”过程 1014阻止在手势姿态之间切换时的振荡或瞬时探测。
“手势姿态”检查过程1015确定所选择的手势姿态是否是在手势轨 迹中使用的手势姿态。如果所选择的手势姿态是在手势轨迹中使用的手 势姿态，则“手势姿态”检查过程1015转而进行至“产生速度序列” 过程1020，否则的话就转而进行至“姿态改变”检查过程1016。
“姿态改变”检查过程1016确定该手势姿态是否在上次经过方法 1000时改变。如果所选择的手势姿态与前一个临时过滤的手势姿态结果 相同，则“姿态改变”检查过程1016经“返回”1003返回，否则就转 向“映射到系统事件”过程1030。
“映射到系统事件”过程1030将所选择的手势姿态映射到一个系统 事件，例如查找被指定给该手势姿态的系统事件。在找到系统事件之后， “映射到系统事件”过程1030转而进行至“注入系统事件”过程1031。
在一个方面，“注入系统事件”过程1031将该系统事件发送给系统 控制器140中的一个事件处理程序/事件处理器（图1）。响应于这个系 统事件，系统控制器140对系统100中的多个控制器和/或其他设备发送 一个适当的系统命令。例如，如果该手势姿态被指定给一个接通用户界 面的事件，则系统控制器140对显示控制器150发送一个命令来接通用 户界面。显示控制器150在处理器150上执行为接通该用户界面所需的 用户界面模块155的一部分。
当该手势姿态是在做出轨迹时使用的手势姿态时，方法1000中的处 理从“手势姿态”检查过程1015转向“产生速度序列”过程1020。在 一个方面，用于手势轨迹辨识的主要特征是一个单位速度向量。这个单 位速度向量对于手势的起始位置是无变化的。此外，一个标准化的速度 向量考虑了手势的尺寸或速度的改变。因此，在过程1020中，这些控 制点样品被转换为标准化的控制点速度序列，即转换为单位速度向量的 序列。
vcp_ec(t)＝xcp_ec(t)-xcp_ec(t-1)＝[Δxcp_ec,Δycp_ec,Δzcp_ec]′
对于t=1,2,...,N-1
在完成“产生速度序列”过程1020之后，过程1020转而进行至“将 速度序列转换为符号序列”过程1021。如以上指出的，离散隐马尔可夫 模型Λ要求离散符号的一个序列作为输入。在过程1021中，这些离散 符号是由这些标准化的控制点速度序列通过向量量化而产生的。
在一个方面，向量量化是使用修改过的K-均值聚类算法进行的，且 条件为当聚类分配值停止改变时这个过程停止。在使用K-均值聚类算法 时，这个过程利用了这些特征都为单位向量这个事实。在此情况下，在 方向上类似的向量被聚类。这是通过使用每个单位特征向量与标准化的 聚类中心向量之间的点积作为相似度度量而进行的。
这种聚类通过将向量随机分配给三十二个类而初始化并且整个过程 被迭代多次，其中基于最大的总的类“之内”成本度量来选择最好的聚类 结果。注意在此情况下，类“之内”成本是基于对相似度的测量。对所 得的每个类指派了一个唯一索引，其用作隐马尔可夫模型的符号。然而 一个输入向量被映射到其最接近的聚类平均值并且使用这个类的对应 索引作为符号。以此方式，单位速度向量的一个序列可以转换为索引或 符号的一个序列。
在一个方面，基于一种固定的八向二维的向量量化编码法，给这些 被聚类的向量指派一个符号。因此，过程1020产生了一个观测的符号 序列并且转向“产生手势概率”过程1023。
在一个方面，为了确定该手势是否对应于所感测的符号序列，“产 生手势概率”过程1023对隐马尔可夫模型使用向前递归算法来找到每 个手势与观测的符号序列匹配的概率。向前递归算法在Rainer的“A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition（隐马尔可夫模型及其在语音识别中的选择性应用的教程）” 中进行了描述，之前已通过引用结合在此。完成“产生手势概率”过程 1023之后，进程转向了“选择轨迹”过程1024。
在“选择轨迹”过程1024，具有最高概率的手势轨迹在这些许用隐 马尔可夫模型轨迹手势模式之中。这个概率还必须大于要接受的给定阈 值。如果该最高概率不大于该阈值概率，则不选择手势轨迹。应该对这 个阈值进行调谐以最大化辨识准确度并同时避免错误的辨识。
完成之后，“选择轨迹”过程1024转而进行至“轨迹被发现”检查 过程1025。如果“选择轨迹”过程1024选择了一个手势轨迹，“轨迹 被发现”检查过程1025转而进行至“映射到系统事件”过程1030，否 则通过“返回”1004返回。
“映射到系统事件”过程1030将选定的手势轨迹映射到一个系统事 件，例如查找指定给该手势轨迹的系统事件。在找到该系统事件之后， “映射到系统事件”过程1030转而进行至“注入系统事件”过程1031。
在一个方面，“注入系统事件”过程1031将该系统事件发送给系统 控制器140中的一个事件处理器（图1）。响应于这个系统事件，系统 控制器140对这个或这些适当的控制器或设备发送一个适当的系统命 令。例如，如果该系统事件被指派到用户界面中的一个动作，则系统控 制器140向显示控制器150发送一个命令来进行用户界面中的这个动 作，例如改变手术部位的查看模式。
存在性探测的过程
在又一个方面，如以上说明的，外科医生180B的手的至少一个部 分的追踪到的位置被用来判断这只手是否存在于一个主操纵器末端执 行器621上。图11是在一个方面由系统100中的手追踪控制器130进 行的存在性探测的过程1100的一个方面的流程图。在一个方面，过程 1100对于外科医生的每只手单独进行。
在“获得接合角度”过程1110中，测量了主要工具操纵器620的接 合角度（图6B）。“获得接合角度”过程1110转而进行至“产生前向 运动学”过程1111。
因为主要工具操纵器620中各种连接件的长度是已知的并且主要工 具操纵器620的底座629的位置是已知的，所以使用几何关系来产生主 要工具夹具621在主要工作空间坐标系680中的方位。因此，“产生前 向运动学”过程1111使用来自过程1110的角度产生了主要工具夹具621 在主要工作空间坐标系680中的位置pmtm。“产生前向运动学”过程1111 转而进行至“映射到世界坐标”过程1112。
“映射到世界坐标”过程1112将主要工作空间坐标系680中的位置 pmtm映射到世界坐标系670中的位置pmtm_wc（图6A）。确切地说，
pmtm_wc=wcTws*pmtm
其中wcTws是一个四乘四阶的齐次刚性变换矩阵，该矩阵将工作空间 坐标系680中的坐标映射到世界坐标系670中的坐标。
完成后，“映射到世界坐标”过程1112转而进行至“产生手至末端 执行器的间隔”过程1130。
返回“接收手方位数据”过程1120，“接收手方位数据”过程1120 接收（重新获得）食指的位置和取向(p食指,R食指)以及拇指的位置和取向 (p拇指,R拇指)。食指的位置和取向(p食指,R食指)以及拇指的位置和取向(p拇指, R拇指)是基于来自该追踪系统的数据。“接收手方位数据”过程1120转 而进行至“产生手位置”过程1121。
“产生手位置”过程1121将食指的位置和取向(p食指,R食指)以及拇指 的位置和取向(p拇指,R拇指)映射到追踪坐标系中的一个控制点的位置和取 向，如以上说明的并且这个说明通过引用结合在此。位置P手是以追踪 坐标表示的控制点的位置。“产生手位置”过程1121转而进行至“映射 到世界坐标”过程1122。
在存在性探测中使用控制点位置仅是示意性的并且不旨在进行限 制。鉴于本披露，存在性探测可以例如使用食指尖端的位置并且使用拇 指尖端的位置，或者使用这些位置中的仅仅一个来进行。下面描述的过 程对于与一只人手的一个部分相关联的这些不同位置中的每个都是相 同的。
“映射到世界坐标”过程1122将以追踪坐标表示的位置p手映射到 世界坐标系670中的位置p手_wc（图6A）。确切地说，
P手_wc=wcTtc*p手
其中wcTtc是一个四乘四阶的齐次刚性变换矩阵，该矩阵将追踪坐标 系650中的坐标映射到世界坐标系670中的坐标。
完成后，“映射到世界坐标”过程1122转而进行至“产生手至末端 执行器的间隔”过程1130。
“产生手至末端执行器的间隔”过程1130产生了世界坐标系670中的 位置pmtm_wc与世界坐标系670中的位置p手_wc之间的一个间隔距离dsep。 在一个方面，间隔距离dsep为：
dsep＝||pmtm_wc-p手_wc||
完成后，“产生手至末端执行器的间隔”过程1130转而进行至“距 离安全性”检查过程1131。
“距离安全”检查过程1131将间隔距离dsep与一个安全距离阈值进 行比较。这个阈值应该足够小到是保守的/稳健的（conservative）同时仍 允许外科医生改变抓握或操纵该末端执行器的最远端。如果间隔距离 dsep小于该安全距离阈值，则“距离安全”检查过程1131转向“手存在” 过程1140。相反，如果间隔距离dsep大于该安全距离阈值，则检查过程 1131转向“手不存在”过程1150。
“手存在”过程1140确定系统100是否处于遥控操作中。如果系统 100是处于遥控操作中，则不要求任何动作并且允许遥控操作继续，并 且因此过程1140转向开始过程1100。如果系统100不是处于遥控操作 中，则“手存在”过程1140向“注入系统事件”过程发送一个手存在 事件，该过程进而将该手存在事件发送给系统控制器140。
“手不存在”过程1150确定系统100是否处于遥控操作中。如果系 统100不是处于遥控操作中，则不要求任何动作并且因此过程1150转 向重头开始过程1100。如果系统100是处于遥控操作中，则“手不存在” 过程1150向“注入系统事件”过程1160发送一个手不存在事件，该过 程进而将该手存在事件发送给系统控制器140。
系统控制器140确定该手存在事件或手不存在事件是否要求对系统 操作模式的任何改变并且发出一个适当的命令。在一个方面，系统控制 器140响应于一个手存在事件而使能遥控操作，例如允许遥控操作，并 且响应于一个手不存在事件而禁用遥控操作，即使一个遥控操作的微创 手术器械联接至主要工具夹具。如本领域技术人员已知的，一个遥控操 作的微创手术器械可联接至一个主要工具夹具以及可与之断开联接。
在其他方面，系统控制器140将该手存在事件和手不存在事件与其 他事件结合使用以判断是否允许遥控操作。例如，可以将对于外科医生 的头的存在性探测与对外科医生的一只手或双手的存在性探测结合起 来用于判断是否允许遥控操作。
类似地，如以上说明的，系统控制器140使用该手存在事件和手不 存在事件来控制一个用户界面在微创手术系统的显示器上的显示。当系 统控制器140接收到手不存在事件时，如果用户界面没有接通，则系统 控制器140向显示控制器150发送一个命令来接通该用户界面。显示控 制器150在处理器150上执行为接通该用户界面所需的用户界面模块 155的一个部分。当系统控制器140接收到该手存在事件时，如果用户 界面被接通，则系统控制器140对显示控制器150发送一个命令来切断 该用户界面。显示控制器150在处理器150上执行为切断该用户界面所 需的用户界面模块155的一个部分。
系统控制器140可以将该手存在事件和手不存在事件与其他事件结 合使用以判断是否显示用户界面。因此，用户界面显示控制和遥控操作 控制是使用存在性探测进行系统模式控制的例子并且不旨在限制于这 两种具体的系统控制模式。
例如，存在性探测可以用于控制一个代理视像，如下面更全面地说 明的。而且，这些不同模式（例如遥控操作与直观显示）的组合可以由 系统控制器140基于该手存在事件和手不存在事件来进行控制。
而且，手的存在性探测可用于省去主要工具夹具621L、621R的两 用性，例如按下一个脚蹬并接着使用主要工具夹具621L、621R来控制 在外科医生控制台185B中显示的用户界面。当这些主要工具夹具被两 用，例如被用于控制手术器械和用户界面二者时，外科医生通常必须压 下脚蹬来切换为用户界面操作模式。如果出于某种原因，外科医生不能 压下脚蹬，但认为系统已经切换为用户界面操作模式，则主要工具夹具 的移动会导致手术器械的不希望的运动。使用存在性探测过程1100来 防止这个问题并省去主要工具夹具的两用性。
关于存在性探测过程1100，在一个示例中，当系统控制器140接收 到手不存在事件时，系统控制器140发送一个系统命令来将主要工具操 纵器620L、620R（图6A）锁定就位，并且向显示控制器150发送一个 系统命令来将用户界面呈现在外科医生控制台185B的显示器上。外科 医生的手的运动被追踪并且被用于控制用户界面中的要素，例如移动一 个滑动开关、改变显示等等。如以上指出的，控制点被映射到眼睛坐标 系中并因此可以与用户界面中的一个要素的方位相关联。该控制点的运 动被用来操纵这个要素。这可以在外科医生不必启动脚蹬的情况下完成 并且使得外科医生不会意外地移动手术器械。因此，这消除了与使用主 要工具夹具来控制手术器械和用户界面二者有关的问题。
在以上示例中，世界坐标系是一种公共坐标系的例子。使用世界坐 标系作为公共坐标系仅是展示性的并且不旨在进行限制。
主要手指追踪夹具
图12是一个主要手指追踪夹具1270的一个例子的展示。主要手指 追踪夹具1270是主要手指追踪夹具170、270的一个例子。
主要手指追踪夹具1270包括一个可压缩本体1210以及两个指环 1220、1230。可压缩本体1210具有第一末端1213和第二末端1214。一 个本体区段1215在第一末端1213与第二末端1214之间延伸。
可压缩本体1210具有外部外表面。该外部外表面包括第一部分1216 和第二部分1217。第一部分1216（例如上部部分）在第一末端1213与 第二末端1214之间延伸。第二部分1217（例如底部部分）在第一末端 1213与第二末端1214之间延伸。第二部分1217与第一部分1216相反 并且被从第一部分1216去除。
在一个方面，该外部外表面是一个织物外壳的表面。该织物适合用 于手术室中。该织物外壳包绕了可压缩泡沫。该泡沫被选择成提供抵抗 压缩以及压缩被释放时的膨胀。在一个方面，在该织物外壳中包括若干 个泡沫条带。该泡沫还必须能够弯折，使得在第一指头的尖端朝第二指 头的尖端移动时第一部分1216被定位在一只人手的第一和第二指头之 间。
本体区段1215具有在指环1220与指环1230之间的一个长度L。如 以上解释的，长度L被选择成限制环1220中的第一指头与环1230中的 第二指头之间的间隔（参见图2A）。
在一个方面，本体区段1215具有一个厚度T。如图2C中所示，厚 度T被选择成使得当主要手指追踪夹具1270被配置为使得外部外表面 的第二部分1217上与末端1214相邻的区域1236以及第二部分1217上 与末端1213相邻的区域1226刚碰触时，第二部分1217沿长度L不与 自身完全接触。
第一指环1220在第一末端1213附近被固定到可压缩本体1210。环 1220围绕可压缩本体1210的外部外表面的第一部分1216的一个区域 1225延伸。在将该第一指环1220放置在人手的第一指头上之后，区域 1225接触到该第一指头，例如该外部外表面的第一部分1216的第一分 段接触到拇指。
在这个例子中，指环1220具有两个末端：第一织物末端1221A和 第二织物末端1221B。末端1221A和末端1221B是固定在本体1210内 的一个织物条带的两端。一个环形织物件1222B附接到末端1221B的内 表面，而一个环形织物件1222A附接到末端1221A的外表面。钩状织物 和环形织物的例子是由两个尼龙织物条带组成的一种尼龙紧固带，其中 一个条带具有很少的钩状螺纹而另一个具有粗糙表面。这两个条带在压 到一起时形成一种强力的结合。可商购的紧固带的一个例子是 紧固带。（是维克洛工业公司（Velcro Industries B. V.）的注册商标）。
第二指环1230在第二末端1214附近被固定到可压缩本体1210。环 1230围绕可压缩本体1210的外部外表面的第一部分1216的一个区域 1235延伸。在将该第二指环1230放置在人手的第二指头上之后，区域 1235接触到该第二指头，例如该外部外表面的第一部分1216的第二分 段接触到食指。第一部分的第二分段1235与第一部分的第一分段1225 相反并且被从第一部分的第一分段1225去除。
在这个例子中，指环1230也具有两个末端：第一织物末端1231A 和第二织物末端1231B。末端1231A和末端1231B是固定到本体1210 的一个织物条带的两端。环形织物件1232B附接到末端1231B的内表面， 而环形织物件1232A附接到末端1231A的外表面。
第一方位追踪传感器1211被附接到该第一指环1220。第二方位追 踪传感器1212被附接到该第二指环1230。这些方位追踪传感器可以是 以上说明的传感器元件中的任何一个。在一个例子中，方位追踪传感器 1211、1212是无源电磁传感器。
代理视像系统
在一个方面，使用手追踪控制系统来控制外科医生可用来代理另一 个外科医生的多个代理视像中的任何一个。例如，当外科医生181使用 主要手指追踪夹具170来代理/监导（proctor）外科医生180（图1A）时， 外科医生181使用主要手指追踪夹具170来控制一个手术器械的代理视 像，而外科医生180使用该主要工具夹具来控制一个遥控操作的从手术 器械。
替代的，外科医生181可以在显示器中远程图显或可以控制在显示 器中的一只虚拟的手。而且，外科医生181可以通过操纵主要工具夹具 621被呈现在显示器上的虚像从而在外科医生控制台上演示如何操纵该 主要工具夹具。代理视像的这些例子仅是示意性的并且不旨在进行限 制。
此外，不在外科医生控制台旁使用主要手指追踪夹具170仅是示意 性的并且不旨在进行限制。例如，利用以上说明的存在性探测系统，在 外科医生控制台旁的外科医生可以从一个主要工具夹具移开一只手，并 且接着这只手被手追踪系统追踪时使用这只手来代理另一个外科医生。
为了协助代理，在一个方面将一个代理视像模块（未显示）被处理 为一个视觉处理子系统的一个部分。在这个方面，执行模块接收了代理 的手的控制点的位置和取向并且生成立体图像，这些图像与内窥镜橡机 图像进行实时复合并且显示在外科医生控制台185、辅助显示器以及病 人侧外科医生界面显示器187的任何组合上。
当外科医生181开始通过采取一个预定的动作（例如一个手势姿态） 而进行代理时，启动了一个代理视像系统回路，例如，在一个处理器模 块上执行代理视像模块。这个用作预定动作的具体动作（例如手势姿态） 不是关键的，只要系统控制器140（图1）被配置为辨识出这个动作即 可。
在一个方面，代理视像是由主要手指追踪夹具170控制的一个虚拟 的幻影器械1311（图13），而遥控操作的从手术器械1310由外科医生 控制台185的这些主要工具操纵器之一来控制。外科医生181在显示装 置187中看见了器械1310和1311二者，而外科医生180在外科医生控 制台185的立体显示器中看见了器械1310和1311二者。使用虚拟的幻 影器械1311作为代理视像仅是示意性的并且不旨在限制于这个具体的 图像。鉴于本披露，针对代理视像可以使用其他图像，这有助于在代表 代理视像的图像与该遥控操作的从手术器械的实际末端执行器的图像 之间进行区分。
虚拟的幻影器械1311似乎与实际器械1310类似，除了虚拟的幻影 器械1311的显示方式清楚地将虚拟的幻影器械1311与实际器械1310 区分开（例如，透明的或半透明的幻影状图像、颜色清楚的图像等等）。 虚拟的幻影器械1311的控制和操作与以上对于实际的遥控操作的手术 器械所描述的相同。因此，外科医生181可以使用主要手指追踪夹具170 来操纵虚拟的幻影器械1311从而演示遥控操作的从手术器械1310的正 确使用。外科医生180可以用器械1310来模仿虚拟的幻影器械1311的 运动。
虚拟的幻影器械更全面地描述于共同指定的美国专利申请公开号 US 2009/0192523 A1（2009年3月31日提交，披露了“Synthetic Representation of a Surgical Instrument（手术器械的综合表现）”）中，将 其通过引用以其整体结合在此。还参见美国专利申请号12/485,503（2009 年6月16日提交，披露了“Virtural Measurement Tool for Minimally Invasive Surgery（用于微创手术的虚拟测量工具）”）；美国专利申请号 12/485,545（2009年6月16日提交，披露了“Virtual Measurement Tool for Minimally Invasive Surgery（用于微创手术的虚拟测量工具）”）；美国 专利申请公开号US 2009/0036902A1（2008年8月11日提交，披露了 “Interactive User Interfaces for Robotic Minimally Invasive Surgical Systems （用于机器人微创手术系统的交互式用户界面）”）；美国专利申请公开 号US 2007/0167702 A1（2005年12月30日提交，披露了“Medical Robotic System Providing Three-Dimensional Telestration（提供三维远程图显的医 用机器人系统）”）；美国专利申请公开号US 2007/0156017 A1（2005 年12月30日提交，披露了“Stereo Telestration for Robotic Surgery（用于 机器人手术的立体远程图显）”）以及美国专利申请公开号US 2010/0164950 A1（2009年5月13日提交，披露了“Efficient 3-D Telestration for Local Robotic Proctoring（用于现场机器人代理的有效3D 远程图显）”），各自通过引用以其全文结合在此。
在另一个方面，代理视像是由主要手指追踪夹具170及第二主要手 指追踪夹具（在图1中不可见）控制的一双虚拟的手1410、1411（图 14）。遥控操作的从手术器械1420、1421由外科医生控制台185的主 要工具操纵器控制。外科医生181在显示装置187中看见了视频图像 1400，而外科医生180也在外科医生控制台185的立体显示器中看见了 视频图像1400。虚拟的手1410、1411的显示方式清楚地将它们与视频 图像1400中的其他物体区分开。
使用抓握闭合参数g抓握来控制一只虚拟的手的拇指和食指的打开和 闭合（如以上描述的）。这只虚拟的手的位置和取向由控制点的位置和 取向来控制（如以上描述的），它们被映射到眼睛坐标空间中，这也是 以上描述过的。
因此，随着外科医生181在三维上移动外科医生的右手，虚拟的手 1411在视频图像1400中跟随这种移动。外科医生181可以滚动虚拟的 手1411来指示外科医生180去滚动该遥控操作的从手术器械1421。外 科医生181可以将虚拟的手1410移动到一个特定方位并接着用拇指和 食指的移动来指示外科医生180将遥控操作的从手术器械1420移动至 这个方位并抓握组织。当外科医生180用器械1420抓握组织时，外科 医生181可以使用虚拟的手1410告诉外科医生180如何移动该组织。 这全都实时发生并且虚拟的手1410、1411在立体内窥镜图像中是重叠 的。然而，这些代理视像也可以用于单像系统中。
在另一方面，外科医生181使用一个手势姿态来改变显示模式，使 得代理视像是一个虚拟的幻影器械1510和一个虚拟的远程图显装置 1511，这些被呈现在视频图像1500中（图15）。远程图显装置1511由 主要手指追踪夹具170控制，而第二主要手指追踪夹具（在图1中不可 见）控制虚拟的幻影器械1511。
遥控操作的从手术器械1520、1521由外科医生控制台185的主要工 具操纵器控制。外科医生181在显示装置187中看见了视频图像1500， 而外科医生180也在外科医生控制台185的立体显示器中看见了视频图 像1500。虚拟的远程图显装置1511和虚拟的幻影器械1411的显示方式 清楚地将它们与视频图像1500中的其他物体区分开。
为了用虚拟的远程图显装置1511进行远程图显，外科医生181将拇 指和食指放置为就好像抓握一个假想的钢笔或铅笔并且接着以这个位 置的拇指和食指来移动右手以便在显示的视频图像中进行远程图显。在 视频图像1500中，外科医生181如此放置拇指和食指并且做出标记 1512，以展示使用手术器械1521来切割哪里的组织。在做出标记1512 之后，外科医生1810分开拇指和食指并将虚拟的远程图显装置1511移 动至视频图像1500中显示的位置。
使用抓握闭合参数g抓握来控制虚拟的远程图显装置1511的做标记能 力（这是以上说明过的）。如以上指出的，当拇指和食指刚好碰触时， 抓握闭合参数g抓握被映射到在第二范围内的一个初始值，并且因此当抓 握闭合参数g抓握位于该第二范围内时，针对远程图显装置1511使能/激 活远程图显。控制点的位置和取向在被映射到眼睛坐标系中之后被用来 控制虚拟的远程图显装置1511的运动。
以上这些展示了本发明的多个发明和实施方案的说明和附图不应被 认为是限制性的，权利要求书限定了受保护的发明。可以进行各种机械 的、组成的、结构的、电气的以及操作的改变，而不偏离被说明书和权 利要求书的精神和范围。在一些情况下，为了避免使本发明不清楚，没 有对熟知的电路、结构以及技术进行详细地显示或说明。
另外，本说明的术语不旨在限制本发明。例如，空间相关术语，例 如“之下”、“以下”、“下部”、“之上”、“上面”、“近侧”、“远 侧”等，可以用于描述如在这些图中展示的一个元件或特征与另一个元 件或特征的关系。这些空间相关术语旨在包括除了图中所示的位置和取 向之外，使用或操作中设备的不同位置（即，方位）以及取向（即，旋 转布局）。例如，如果这些图中一个设备被翻转，描述为在其他元件或 特征“以下”或“之下”的元件则应当在这些其他元件或特征以上或之 上。因此，示例性术语“之下”可以包括之上和之下的位置和取向两者。 另外地一个设备可以被其他方式定向（旋转90度或以其他方向）并且 因此用在此使用的空间相关描述语进行解释。类似地，沿着并且环绕各 个轴线移动的说明包括各种特定的设备位置和取向。
单数形式“一”、“一个”和“该”也旨在包括复数形式，除非在 上下文中另外地指出。术语“包括”、“包括了”、“包含”等限定了 所述特征、步骤、操作、元件和/或部件的存在但不排除一种或多种其他 特征、步骤、操作、元件、部件和/或组的存在或加入。描述为联接的部 件可以是电性地或机械地直接联接，或它们可以是通过一个或多个中间 部件的间接联接。
存储器是指易失性存储器、非易失存储器或这两者的任何组合。一 个处理器连接在一个含有该处理器所执行的指令的存储器上。这可以在 一个计算机系统内或者替代地通过调制解调器和模拟线而连接到另一 个计算机上或者通过数字接口以及数字进位线来实现连接。
在此，一个计算机程序产品包括如下介质：被配置来储存这些关于 手追踪而描述的过程的任何一种或任何组合所需要的计算机可读代码 或者在其中储存了这些关于手追踪而描述的过程的任何一种或任何组 合所需要的计算机可读代码。计算机程序产品的一些例子有CD-ROM磁 盘、DVD磁盘、闪存、ROM卡、软盘、磁带、计算机硬盘驱动器、网 络上的服务器以及网络上发送的代表计算机可读程序代码的信号。一个 非瞬时的实体计算机程序产品包括如下的非瞬时的实体介质：被配置来 储存这些关于不同控制器而描述的过程的任何一种或任何组合所需要 的计算机可读代码或者在其中储存了这些关于不同控制器而描述的过 程的任何一种或任何组合所需要的计算机可读代码。非瞬时的实体计算 机程序产品有CD-ROM磁盘、DVD磁盘、闪存、ROM卡、软盘、磁 带、计算机硬盘驱动器以及其他非瞬时的实体储存介质。
鉴于本披露，在关于手追踪而描述的过程的任何一种或任何组合中 使用的指令可以在多种多样的计算机系统配置中使用一个使用者感兴 趣的操作系统和计算机程序语言来实施。
图1中不同存储器和处理器的使用仅是展示性的并且不旨在进行限 制。在一些方面，可以使用单个硬件处理器并且在其他方面可以使用多 个处理器。
而且，对于每个图示，这些不同的过程分布在一个手追踪控制器与 一个系统控制器之间。这也仅是展示性的并且不旨在进行限制。这些不 同的过程可以分布在多个控制器上或结合在一个控制器中而不改变该 手追踪过程的操作原理。
所有例子和展示的参考文献都是非限制性的并且不应该被用来将 权利要求限制为在此说明的具体的实现方式和实施方案以及它们的等 效物。这些标题仅用于格式化并且不应该被用来以任何方式限制其主 题，因为一个标题下的文本可以交叉引用或应用于一个或多个标题下 的文本。最后，鉴于本披露，关于一个方面或实施方案所说明的具体 特征可以应用于本发明的其他披露的方面或实施方案，即使它们并未 在附图中明确显示出或以文本形式进行说明。