技术领域
本发明涉及机械臂手术技术领域,具体涉及对机械臂手术导航的柔性无创定位装置及其在术中手术路径规划的应用及系统。
背景技术
在机器人手术时,需要对手术机器人进行手术导航和定位,但是患者的病变部位,如关节等容易发生位移、角度等状态改变,为了对这些病变部位进行精确定位,传统的定位方法是:在病变部位进行切口,为曝露目标部位,定位标记通过夹具夹持、钉入或其他方式刚性固定在该切口处,通过对定位标记进行实时空间定位,以实现对病变部位的位置进行更新,从而实现导航或手术机器人导航的目的。
由以上导航或机器人手术导航、定位方法可知,上述的方法存在如下缺点:
1)为有创的导航、定位,该有创的导航、定位及定位标记通过夹持、钉入等刚性固定方式会给患者带来二次伤害;
2)通过定位标记寻找的是一个定位点,无法对大区域进行整体的位置更新;
3)刚性连接中缺少柔性因素,无法考量术中病变部位的变形超过一定量时对手术造成的影响。
除了上述导航之外,也有采用如下方法进行手术导航:
如,电磁导航和光学导航,其中,光学导航是主流的手术导航方法。光学导航利用三目或双目立体视觉原理,使用可见光或近红外光成像系统实现空间定位。现有手术导航临床操作流程如下:(1)术前在患者脑部粘贴头皮定位标记物,进行CT或MR I扫描,将影像数据输入计算机工作站,进行人体三维模型重建,从而规划手术路径,制定合理准确的手术方案。(2)架设红外定位仪及参考架并开始采集图像,将手术器械点击头皮定位标记物进行注册,完成手术空间坐标系和影像空间坐标系之间的配准,使手术器械能够精确呈现在影像中。(3)在导航指导下对病灶进行手术,导航系统会实时显示当前手术器械工作点(尖端探针)的位置及其周围的图像。
上述手术导航丰要应用在神经外科手术中,如颅骨、脊髓等手术。手术导航应用于神经外科手术时,由于病人的头部是固定不动的,可认为是刚体,因此可以利用贴在头部的定位标记物有效地建立坐标系,完成坐标系配准。但是当手术导航应用于呼吸运动病灶区时,如果仍使用上述方法,在病人胸腹处贴上定位标记物,病人自身的呼吸运动会导致定位标记物不断移动,从而不能建立准确的坐标系,影响手术空间坐标系和影像坐标系之间的配准,无法实现精确的手术导航。
发明内容
在机械臂对空间姿态易变化的病变部位进行手术时,术中的机械臂手术路径如何根据病变部位的姿态变化而动态规划,本申请从以下几个方面给出了该问题的解决方案。
根据第一方面,一种实施例中提供一种柔性无创定位装置,包括:
柔性片,为一任意规则或不规则形状,所述柔性片设有规则或不规则的手术窗口;
若干个被光学设备识别的定位标记物,围绕所述手术窗口非对称、均匀地分布所述柔性片上;
将所述柔性片通过所述手术窗口围绕患者的病变部位固定于患者的体表,术中,实时或间隔采集定位标记物的空间位置数据,并将当前时刻采集的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻采集的若干个定位标记物的空间位置数据记为第二组点云,所述第一组点云的空间位置相对于第二组点云的空间位置变化反映了所述柔性片在当前时刻的空间位姿变化,所述柔性片在术中的空间姿态变化反映了所述病变部位在术中的空间位姿变化。
一种实施例中,所述定位标记物为塑料球,所述塑料球包括塑料球核,所述塑料球核的外表面涂覆有反光涂层,所述光学设备为识别所述塑料球的红外设备。
一种实施例中,所述定位标记物为金属反光球,所述金属反光球包括金属球核和塑料球壳,所述塑料球壳包覆于所述金属球核的外表面,所述塑料球壳的外表面涂覆有反光涂层,所述光学设备为识别所述金属反光球的X光设备或C臂机。
一种实施例中,所述定位标记物为反光贴片,所述光学设备为识别所述反光贴片的红外设备。
一种实施例中,所述定位标记物为二维码,所述光学设备为识别所述二维码的光学相机。
一种实施例中,所述定位标记物为LED灯珠,还包括控制器,所述控制器嵌入安装于所述柔性片上,与若干个LED灯珠线路连接,控制各个LED灯珠发光的强度、频率、颜色和发光顺序。
根据第二方面,一种实施例中提供一种将上述的柔性无创定位装置在术中手术路径规划的应用,包括步骤:
将上述的柔性无创定位装置通过手术窗口围绕患者的病变部位固定于患者的体表,其中,将所述柔性片上的若干个定位标记物中的至少三个定位标记物标定为基准定位标记物,剩余的定位标记物标定为冗余定位标记物;
在术中,实时或间隔采集定位标记物的空间位置数据,并将当前时刻采集的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻采集的若干个定位标记物的空间位置数据记为第二组点云,所述第一组点云的空间位置相对于第二组点云的空间位置变化反映了所述柔性片在当前时刻的空间位姿变化;
通过基准定位标记物建立第一组点云的第一局部坐标系和第二组点云的第二局部坐标系;
将第一组点云与第二组点云中的各个点进行点对点匹配,通过寻找点和点配对,以优化最小化第一组点云和第二组点云的差异距离之和,并通过所匹配的点对计算所述柔性片的形变量化值;
在世界坐标系下将第一组点云和第二组点云进行整体匹配,得出所述柔性片的六自由度的位移旋转参数;
根据所述柔性片的形变量化值及六自由度的位移旋转参数更新导航定位或机械臂导航定位中的空间路径规划。
一种实施例中,所述将第一组点云与第二组点云中的各个点进行点对点匹配,具体包括:
在第一局部坐标系中求得第一组点云的各个点在第一局部坐标系中的坐标值;
在第二局部坐标系中求得第二组点云的各个点在第二局部坐标系中的坐标值;
计算第一组点云的各个点的坐标值分别到第二组点云中一点的坐标值的距离,将第一组点云的点坐标值与第二组点云中该点的坐标值距离最小的一对称为第一组点云的该点与第二组点云中的该点匹配,依次类推,将第一组点云的各个点与第二组点云的各个点完成点对点匹配。
一种实施例中,所述柔性片的形变量化值为所匹配的点对的距离。
一种实施例中,根据所述柔性片的形变量化值及六自由度的位移旋转参数更新导航定位或机械臂导航定位中的空间路径规划,具体为:
判断所匹配的所有点对的距离是否大于阀值,若所匹配的所有点对的距离均小于所述阀值,则,更新导航定位或机械臂导航定位中的空间路径规划;
若所匹配的所有点对的距离中存在一组点对距离大于所述阀值,则重新规划导航定位或机械臂导航定位中的空间路径。
一种实施例中,更新空间路径规划或重新规划空间路径之前,还包括通过所匹配的对应点对估计所述柔性片发生形变所对应的最优位姿变换矩阵。
根据第三方面,一种实施例中提供一种将上述的柔性无创定位装置在术中手术路径规划应用的系统,包括:
上述的柔性无创定位装置,所述柔性无创定位装置通过手术窗口围绕患者的病变部位固定于患者的体表,其中,将所述柔性片上的若干个定位标记物中的至少三个定位标记物标定为基准定位标记物,剩余的定位标记物标定为冗余定位标记物;
光学设备,实时或间隔采集定位标记物的空间位置数据;
辅助确定导航定位或机械臂导航定位中的手术部位位置移动的控制装置,所述控制装置与所述光学设备和机械臂的控制端分别信号连接,所述控制装置接收所述光学设备反馈的数据,并对该数据执行以下处理,根据处理结果辅助确定导航定位或机械臂导航定位中的手术部位位置移动:
将当前时刻接收的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻接收的若干个定位标记物的空间位置数据记为第二组点云,所述第一组点云的空间位置相对于第二组点云的空间位置变化反映了所述柔性片在当前时刻的空间位姿变化;
通过基准定位标记物建立第一组点云的第一局部坐标系和第二组点云的第二局部坐标系;
将第一组点云与第二组点云中的各个点进行点对点匹配,通过所匹配的点对计算所述柔性片的形变量化值;
在世界坐标系下将第一组点云和第二组点云进行整体匹配,得出所述柔性片的六自由度的位移旋转参数;
根据所述柔性片的形变量化值及六自由度的位移旋转参数更新导航定位或机械臂导航定位中的空间路径规划,根据更新的空间路径辅助确定导航定位或机械臂导航定位中的手术部位位置移动。
依据上述实施例的柔性无创定位装置,其具有以下效果:
在机械臂术中,根据患者的病变部位选择合适的柔性无创定位装置并通过手术窗口围绕患者的病变部位将其固定于患者的体表,通过光学设备实时或间隔读取定位标记物的空间位置数据,并将当前时刻的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻的若干个定位标记物的空间位置数据记为第二组点云,第一组点云的空间位置相对于第二组点云的空间位置变化反映了柔性片在当前时刻的空间位姿变化,柔性片在术中的空间姿态变化反映了病变部位在术中的空间姿态变化,从而达到在术中对病变部位空间位姿变化追踪的目的,进一步,解决了现有因定位标记物不断移动无法实现精确手术导航的问题。
当将上述的柔性无创定位装置应用到术中手术路径规划时,可以通过该柔性无创定位装置上的若干个定位标记物对柔性片的形变进行判断,根据柔性片的形变对病变部位的姿态变化进行追踪,并根据追踪的结果更新导航定位或机械臂导航定位中的空间路径规划,以实现根据病变部位的姿态变化辅助确定导航定位或机械臂导航定位中的手术部位位置移动。
附图说明
图1为柔性无创定位装置结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
在本发明实施例中,通过设计柔性无创定位装置,通过在该柔性无创定位装置上设置若干个定位标记物,当该柔性无创定位装置贴于位置姿态易变化的病变部位时,通过对定位标记物空间位置数据进行采集,并通过对位姿前后变化的定位标记物的位置数据进行处理,实现对病变部位的姿态变化进行追踪,并根据追踪的结果更新导航定位或机械臂导航定位中的空间路径规划,达到根据病变部位的姿态变化辅助确定导航定位或机械臂导航定位中的手术部位位置移动的目的。
实施例一:
本例提供一种柔性无创定位装置,包括柔性片1,柔性片1设有手术窗口11,及围绕该手术窗口11设有若干个被光学设备识别的定位标记物2,将柔性片1通过手术窗口11围绕患者的病变部位固定于患者的体表,术中,实时或间隔采集定位标记物2的空间位置数据,并将当前时刻采集的若干个定位标记物2的空间位置数据记为第一组点云,将前一时刻采集的若干个定位标记物2的空间位置数据记为第二组点云,第一组点云的空间位置相对于第二组点云的空间位置变化反映了柔性片1在当前时刻的空间位姿变化,柔性片1在术中的空间姿态变化反映了病变部位在术中的空间位姿变化。
为了能实现柔性片1能真实地反映病变部位的空间位姿变化,柔性片1不仅具有一定的柔性,还能随病变部位的位姿变化发生相应变化的形变,本例的柔性片1的材质也不作具体限定,如,柔性片1可以是橡胶、布料等,相应的,柔性片1固定于人体体表的方式也有很多种形式,如,柔性片1可以是一种柔性贴,直接粘贴于人体的体表,柔性片还可以具有束缚带,通过束缚带束缚于人体的体表;为了适应不同病变部位的追踪应用,本例的柔性片1可以是任意规则形状或任意不规则形状,相应的,柔性片1上设置的手术窗口11也是根据病变部位的实际形状确定的,也即是,手术窗口11也可以是规则形状或不规则形状。
由于定位标记物2的空间位置变化体现了柔性片1的形变,为了通过定位标记物2能更好的追踪柔性片1的形变,本例的定位标记物2围绕手术窗口非对称、均匀地分布在柔性片1上,也即是,若干个定位标记物2中任一定位标记物2分别与剩余定位标记物2的距离均不等。假如柔性片1上分布有N个定位标记物2,其中N大于3,则,其中任一个定位标记物2分别与剩余N-1个定位标记物2的距离均不等。
另外,在柔性片1的空间大小一定的情况下,在一定的空间内,定位标记物2的数量越多越能精确地反应柔性片1的空间姿态变化,进一步精确地反应病变部位的姿态变化,因此,定位标记物2的体积设计非常重要,若体积太大,则一定空间内排布的定位标记物2的数量会减小,若体积太小,则小体积的定位标记物2不易被光学设备识别,针对这种情况,本例的定位标记物2的直径为3mm-12mm,其中,直径为3mm的定位标记物2为体积最小的球,直径为12mm的定位标记物2为体积最大的球,本领域技术人员可以根据本申请所公开的定位标记物2直径范围制作其他直径的定位标记物2。
本例的光学设备与定位标记物2是配对使用的,本领域技术人员在本发明的构思下可以选用多种类型的定位标记物2及与其配套使用的光学设备。
根据不同的应用场景,本例提供以下几种类型的定位标记物2及与其配套使用的光学设备:
1、主动型的定位标记物2
所谓的主动型的定位标记物2指的是定位标记物2可以主动发光,优选方案中,该类型的定位标记物2为LED灯珠,进一步,与LED灯珠配合使用的还有控制器,控制器嵌入安装于柔性片1上,与若干个定位标记物线路连接,控制各个定位标记物发光的强度、频率、颜色和发光顺序,该类型的定位标记物,可以通过控制器调节各定位标记物的强度、频率、颜色和发光顺序,也可以直接对某一个特定的定位标记物2进行特殊的控制。
当LED灯珠为红外发光二极管时,则与其配套使用的是红外设备,如,双目红外镜头,只要控制LED灯珠发光,红外设备就能识别LED灯珠的空间位置,进而获取LED灯珠在柔性片1上的空间姿态变化。
2、被动型的定位标记物2
被动型的定位标记物2通过反光涂层反射外部设备发射的光,进而被外部设备识别,这种类型的定位标记物2根据应用场景具有以下种类:
1)定位标记物2为塑料球,塑料球包括塑料球核,塑料球核的外表面涂覆有反光涂层;则与其配套使用的光学设备为红外设备;
2)定位标记物2为金属反光球,金属反光球包括金属球核和塑料球壳,塑料球壳包覆于金属球核的外表面,塑料球壳的外表面涂覆有反光涂层;这种金属反光球能在X射线下显影且被X光设备或C臂机识别,因此,具有金属反光球的柔性无创定位装置适用于X光下的机械臂的手术导航。
3)定位标记物为柔性的反光贴片,与反光的球相比,该反光贴片的反光部为平面结构,则与其配套使用的光学设备也为红外设备。
本例中提及的红外设备是一种发射红外线和接收红外线的设备,也即是,该红外设备是一种红外收发设备,该红外设备向定位标记物2发射红外光,该红外光经定位标记物2的反光涂层后被反射回来,定位标记物2反射的红外光被该红外设备接收,以此达到红外设备实时读取定位标记物2的空间位置数据,如,红外设备可以是NDI红外双目镜头。
另外,不论是何种类型的定位标记物,该定位标记物可以是球形结构,也可以是半球形结构、平面结构,以嵌入的方式安装于柔性片1上,因球形结构可以实现360度反射,使光学设备能在各个角度识别到定位标记物2的空间姿态变化,因此,定位标记物以球形结构为最佳,具体结构可根据实际应用确定,本例不作限定。
定位标记物2除了上述类型之外,本例还提供另外一种类型的定位标记物2,该定位标记物2为二维码,则与其配套使用的光学设备为识别二维码的光学相机,即通过识别二维码进一步获取定位标记物2的空间位置信息及相应的空间姿态变化。
本例提供的柔性无创定位装置通过定位标记物的位置变化对病变部位的位姿实时追踪,以实现术中根据病变部位的姿态变化辅助确定导航定位或机械臂导航定位中的手术部位位置移动。
实施例二:
基于实施例一,本例提供一种柔性无创定位装置在术中手术路径规划的应用,具体包括以下步骤。
S1:将实施例一的柔性无创定位装置通过手术窗口围绕患者的病变部位固定于患者的体表。
其中,为了通过定位标记物计算柔性片的形变,本例将柔性片上的若干个定位标记物中的至少三个定位标记物标定为基准定位标记物(本例以三个定位标记物为基准定位标记物为例),剩余的定位标记物标定为冗余定位标记物。
S2:在术中,实时或间隔采集定位标记物的空间位置数据,并将当前时刻采集的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻采集的若干个定位标记物的空间位置数据记为第二组点云。
由于病变部位前后变化后,柔性片会发生变形,相应的,柔性片上的定位标记物的空间位置也会发生变化,因此,第一组点云的空间位置相对于第二组点云的空间位置变化反映了柔性片在当前时刻的空间位姿变化。
S3:通过基准定位标记物建立第一组点云的第一局部坐标系和第二组点云的第二局部坐标系。
需要明确的是,选取的三个定位标记物作为基准定位标记物,该三个定位标记物在柔性片上的空间位置不能紧邻,三者之间要有一定的间隔,以通过基准定位标记物建立的局部坐标系能反映柔性片的空间结构,由于病变部位前后变化后,相应的基准定位标记物的空间位置也会发生变化,因此,在第一组点云中通过基准定位标记物建立的第一局部坐标系与在第二组点云中通过基准定位标记物建立的第二局部坐标系不同。
S4:将第一组点云与第二组点云中的各个点进行点对点匹配,通过寻找点和点配对,以优化最小化第一组点云和第二组点云的差异距离之和,并通过所匹配的点对计算柔性片的形变量化值。
本步骤中,将第一组点云与第二组点云中的各个点进行点对点匹配的具体过程是:
在第一局部坐标系中求得第一组点云的各个点在第一局部坐标系中的坐标值;
在第二局部坐标系中求得第二组点云的各个点在第二局部坐标系中的坐标值;
计算第一组点云的各个点的坐标值分别到第二组点云中一点的坐标值的距离,将第一组点云的点坐标值与第二组点云中该点的坐标值距离最小的一对称为第一组点云的该点与第二组点云中的该点匹配,依次类推,将第一组点云的各个点与第二组点云的各个点完成点对点匹配。
为了局部坐标系中点对点匹配作进一步了解,以下举例说明点对点匹配的加深理解:
1)设柔性片上有一定位标记物为A;柔性装置位姿变化前,定位标记物在第二局部坐标系中的坐标值为A1;柔性装置位姿变化后,定位标记物在第一局部坐标系中的坐标值为A2;
2)如果柔性片位姿变化前后没有形变,则,A1=A2;
3)如果柔性片位姿变化前后有微小变形,定位标记物A在第一局部坐标系中的位置会有微小变动;
4)A2应该在A1附近,在位姿变化后的第一组点云中搜索,离A1最近的点为A2点,A1与A2即为一组对应点对,这样就完成了两组点云中单个点的配对。将两组点云中的所有点按照同样的方式进行配对,即完成了局部坐标系中的点云匹配。
在局部坐标系中完成点云匹配后,通过所匹配的点对的距离计算柔性片的形变量化值。
S5:在世界坐标系下将第一组点云和第二组点云进行整体匹配,得出柔性片的六自由度的位移旋转参数。
通过该步骤获取柔性片整体的位置姿态变化,如,获取柔性片的旋转自由度参数,位移自由度参数。
需要说明的是,在计算柔性片的形变和计算柔性片整体结构的位置变化并没有先后执行顺序的要求,如,可以先执行步骤S5,然后再执行步骤S3-S4,本申请的重点是根据柔性片的形变和位置变化追踪病变部位的位姿变化。
S6:根据柔性片的形变量化值及六自由度的位移旋转参数更新导航定位或机械臂导航定位中的空间路径规划。
在执行本步骤时,需要先判断柔性片的形变是否在允许形变的范围内,若在允许形变的范围内,则只需要根据柔性片的形变和位置变化自动更新导航定位或机械臂导航定位中的空间路径规划,若超出允许形变的范围,侧需要根据柔性片的形变和位置变化重新规划导航定位或机械臂导航定位中的空间路径,具体的,判断所匹配的所有点对的距离是否大于阀值(该阀值即是允许形变的最大值),若所匹配的所有点对的距离均小于该阀值,则,自动更新导航定位或机械臂导航定位中的空间路径规划;若所匹配的所有点对的距离中存在一组点对距离大于该阀值,则重新规划导航定位或机械臂导航定位中的空间路径。
进一步,为了实现精确导航控制,在更新空间路径规划或重新规划空间路径之前,还包括通过所匹配的对应点对估计柔性片发生形变所对应的最优位姿变换矩阵,通过最优位姿变换矩阵精确更新空间路径规划或重新规划空间路径。
本例中,使用所匹配点对中的三组对应点获得变换矩阵,然后通过冗余的对应点并利用最小二乘法求解获得最优位姿变换矩阵。
通过将柔性无创定位装置应用在术中手术路径规划中,可以通过计算柔性片的形变和位置变化追踪病变部位的位姿变化,进而,根据柔性片的形变和位置变化更新导航定位或机械臂导航定位中的空间路径规划,解决病变部位术中姿态变化时不能精确导航定位或不能精确控制机械臂导航定位中的手术部位位置移动的问题。
结合柔性无创定位装置在术中手术路径规划的应用,本例还提供了与其相对应的系统,即,本例还提供了柔性无创定位装置在术中手术路径规划应用的系统,包括:
柔性无创定位装置,柔性无创定位装置通过手术窗口围绕患者的病变部位固定于患者的体表,其中,将柔性片上的若干个定位标记物中的至少三个定位标记物标定为基准定位标记物,剩余的定位标记物标定为冗余定位标记物;本例的柔性无创定位装置的详细描述请参考实施例一,此处不作赘述。
光学设备,实时或间隔采集定位标记物的空间位置数据;该光学设备优选为NDI红外双目镜头。
辅助确定导航定位或机械臂导航定位中的手术部位位置移动的控制装置,控制装置与光学设备和机械臂的控制端分别信号连接,控制装置接收光学设备反馈的数据,并对该数据执行以下处理,根据处理结果辅助确定导航定位或机械臂导航定位中的手术部位位置移动:
将当前时刻接收的若干个定位标记物的空间位置数据记为第一组点云,将前一时刻接收的若干个定位标记物的空间位置数据记为第二组点云,所述第一组点云的空间位置相对于第二组点云的空间位置变化反映了所述柔性片在当前时刻的空间位姿变化;
通过基准定位标记物建立第一组点云的第一局部坐标系和第二组点云的第二局部坐标系;
将第一组点云与第二组点云中的各个点进行点对点匹配,通过所匹配的点对计算所述柔性片的形变量化值;
在世界坐标系下将第一组点云和第二组点云进行整体匹配,得出柔性片的六自由度的位移旋转参数;
根据柔性片的形变量化值及六自由度的位移旋转参数更新导航定位或机械臂导航定位中的空间路径规划,根据更新的空间路径辅助确定导航定位或机械臂导航定位中的手术部位位置移动。
本例中控制装置对接收的定位标记物的空间位置数据的具体处理过程请参考上述步骤的S2-S6,此处不作赘述。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。