一种基于增强现实的力反馈手术机器人控制系统.pdf

本发明涉及一种基于增强现实的力反馈手术机器人控制系统，属于人机交互控制技术领域。该系统包括操作端、3D显示器、运动控制器、反馈单元、增强现实处理单元、虚拟环境单元、执行端以及3D内窥镜；操作端发送坐标信息至运动控制器；运动控制器发送运动控制命令至执行端；执行端发送位移信息至虚拟环境单元；虚拟环境单元发送图像信息至增强现实处理单元，发送触觉信息至力反馈单元；力反馈单元发送触觉反馈至操作端；3D内窥镜发送手术现场的影像视频至增强现实处理单元；增强现实处理单元将增强现实视频发送至3D显示器。本发明提供的一种基于增强现实的力反馈手术机器人控制系统，能够有效提高手术机器人的操作精度、安全性以及可靠性。

权利要求书
1.  一种基于增强现实的力反馈手术机器人控制系统，其特征在于：该系统包括操作端(1)、3D显示器(2)、运动控制器(3)、增强现实处理单元(5)、虚拟环境单元(6)、执行端(7)以及3D内窥镜(8)；
所述操作端(1)发送坐标信息至运动控制器(3)；所述运动控制器(3)发送运动控制命令至执行端(7)；执行端(7)将位移信息发送至虚拟环境单元(6)；所述虚拟环境单元(6)发送图像信息至增强现实处理单元(5)；所述3D内窥镜(8)发送手术现场的影像视频至增强现实处理单元(5)；所述增强现实处理单元(5)将增强现实视频发送至3D显示器(2)。

2.  根据权利要求1所述的一种基于增强现实的力反馈手术机器人控制系统，其特征在于：所述系统还包括力反馈单元(4)，所述虚拟环境单元(6)发送触觉信息至力反馈单元(4)，所述力反馈单元(4)发送触觉反馈至操作端(1)。

3.  根据权利要求1所述的一种基于增强现实的力反馈手术机器人控制系统，其特征在于：所述增强现实处理单元(5)用于接收图像信息及手术现场的影像视频，通过图像处理算法完成三维虚拟环境器官与手术部位标定、配准和跟踪叠加，提示病变组织，然后将增强现实视频发送至3D显示器。

4.  根据权利要求2所述的一种基于增强现实的力反馈手术机器人控制系统，其特征在于：所述虚拟现实单元(6)用于将病人的影像资料转换成为三维虚拟模型，根据执行端(7)发送的位移信息判断手术器械与虚拟环境中病变组织与正常组织的相对坐标关系，并生成触觉信息和图像信息，将触觉信息发送至力反馈单元(4)，将虚拟环境中的图像信息传递给增强现实处理单元(5)；
所述触觉信息为根据解剖学模型生成最优手术路径以及力反馈引导信息；力反馈引导信息包括正常组织的力反馈信息和病变组织的力反馈信息以及在设定手术路径中操作时的触觉交互信息；所述图像信息包括虚拟组织形变模拟信息。

5.  根据权利要求2所述的一种基于增强现实的力反馈手术机器人控制系统，其特征在于：所述力反馈单元(4)用于根据虚拟环境单元构建的三维虚拟环境判断手术器械与虚拟环境中病变组织以及正常组织的相对坐标关系，按照手术路径和力反馈引导信息通过操作端完成力反馈引导。

说明书一种基于增强现实的力反馈手术机器人控制系统
技术领域
本发明属于人机交互控制技术领域，涉及一种基于增强现实的力反馈手术机器人控制系统。
背景技术
微创手术机器人由医生操作端与机器执行端构成：医生通过内窥镜观测手术区域的图像信息，并通过操作端发送手术操作指令，执行端接受手术操作执行并利用安装在执行端的手术器械进行操作。遥操作微创手术机器人通过精密机械控制系统以及三维立体成像技术显著提高医生手术操作的稳定性与精度。医生完成机器人手术时，仅依靠内窥镜观察器官组织，对比CT,MRI二维数据判断病灶位置，无法直观的获得病变组织的三维定位与精确触感定位，从而增加潜在风险。同时，与传统手术相比较，手术机器人可以消除医生操作中的震颤，但同时触觉力反馈的缺失也对医生造成了巨大影像，包括手术器械的力反馈，组织的软硬度，以及特殊切割和缝合等特别依赖触觉反馈的操作。针对以上问题，基于影像的增强现实与力反馈引导技术提供了一种可靠的辅助定位与操作判别机制，能够有效提高机器人手术的操作精度与安全性。
发明内容
有鉴于此，本发明的目的在于提供一种基于增强现实的力反馈手术机器人控制系统，通过增强现实与力反馈引导完成组织的精确定位，让医生在实施机器人手术时获得精确视觉与触觉力辅助信息，提高机器人手术精度以及可靠性。
为达到上述目的，本发明提供如下技术方案：
一种基于增强现实的力反馈手术机器人控制系统，该系统包括操作端、3D显示器、运动控制器、增强现实处理单元、虚拟环境单元、执行端以及3D内窥镜；
所述操作端发送坐标信息至运动控制器；所述运动控制器发送运动控制命令至执行端；执行端将位移信息发送至虚拟环境单元；所述虚拟环境单元发送图像信息至增强现实处理单元；所述3D内窥镜发送手术现场的影像视频至增强现实处理单元；所述增强现实处理单元将增强现实视频发送至3D显示器。
进一步，所述系统还包括力反馈单元，所述虚拟环境单元发送触觉信息至力反馈单元，所述力反馈单元发送触觉反馈至操作端。
进一步，所述增强现实处理单元用于接收图像信息及手术现场的影像视频，通过图像处理算法完成三维虚拟环境器官与手术部位标定、配准和跟踪叠加，提示病变组织，然后将增强现实视频发送至3D显示器。
进一步，所述虚拟现实单元用于将病人的影像资料转换成为三维虚拟模型，并根据执行端发送的位移信息判断手术器械与虚拟环境中病变组织与正常组织的相对坐标关系，并生成触觉信息和图像信息，将触觉信息发送至力反馈单元，将虚拟环境中的图像信息传递给增强现实处理单元；
所述触觉信息为根据解剖学模型生成最优手术路径以及力反馈引导信息；力反馈引导信息包括正常组织的力反馈信息和病变组织的力反馈信息以及在设定手术路径中操作时的触觉交互信息；所述图像信息包括虚拟组织形变模拟信息。
进一步，所述力反馈单元用于根据虚拟环境单元构建的三维虚拟环境判断手术器械与手术操作区虚拟环境中病变组织以及正常组织的相对坐标关系，按照手术路径和力反馈引导信息通过操作端完成力反馈引导。
本发明的有益效果在于：本发明提供的一种基于增强现实的力反馈手术机器人控制系统，基于医学影像技术与计算机图像处理技术，利用三维重建技术构建病变组织虚拟模型，通过虚拟模型与患者手术部位实时标定、配准和跟踪叠加，完成病变组织的形变模拟并三维复合成像，同时精确计算手术目标与手术器械间距，自动规划手术操作路径，通过力反馈设备实现手术操作触觉引导与正常组织力学提示，结合视觉与触觉辅助医生完成特定手术操作，有效提高手术机器人的操作精度、安全性以及可靠性。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明所述的基于增强现实的力反馈手术机器人控制系统框图；
图2为增强现实力反馈系统示意图；
其中，1为操作端、2为3D显示器、3为运动控制器、4为力反馈单元、5为增强现实处理单元、6为虚拟环境单元、7为执行端、8为3D内窥镜、6-1为虚拟环境中病变组织、6-2为正常组织、6-3为手术路径、7-1和7-2为手术器械。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明提供的一种基于增强现实的力反馈手术机器人控制系统，如图1所示，该系统主要包括力反馈交互系统以及手术机器人执行端的运动控制系统；该系统具体包括操作端1、3D显示器2、运动控制器3、增强现实处理单元5、虚拟环境单元6、执行端7以及3D内窥镜8；
所述操作端1发送坐标信息至运动控制器3；所述运动控制器3发送运动控制命令至执行端7；执行端7将位移信息发送至虚拟环境单元6；所述虚拟环境单元6发送图像信息至增强现实处理单元5；所述3D内窥镜8发送手术现场的影像视频至增强现实处理单元5；所述增强现实处理单元5将增强现实视频发送至3D显示器2。
系统还包括力反馈单元4，所述虚拟环境单元6发送触觉信息至力反馈单元4，所述力反馈单元4发送触觉反馈至操作端1。
运动控制器3用于接收操作端1的运动控制命令并发送给执行端7。
增强现实处理单元5用于接收虚拟现实单元6和3D内窥镜8传递的图像信息和影像视频信息，通过三维虚拟环境与病人身体的实时图像标定、配准和跟踪叠加，提示病变组织，然后将增强现实图像信息传输给3D显示器2。
增强现实力反馈系统示意图，如图2所示，虚拟现实单元6用于将病人的影像(CT,MRI等)资料转换成为三维虚拟模型，根据执行端位置信息判断手术器械(7-1,7-2)与虚拟环境中病变组织6-1与正常组织6-2的相对坐标关系，并生成触觉信息和图像信息，将触觉信息发送至力反馈单元4，将虚拟环境中的图像信息传递给增强现实处理单元5；所述触觉信息为根据解剖学模型生成最优手术路径以及力反馈引导信息；力反馈引导信息包括正常组织的力反馈信息和病变组织的力反馈信息以及在设定手术路径中操作时的触觉交互信息；所述图像信息包括虚拟组织形变模拟信息。
力反馈单元4用于根据虚拟环境单元6构建的三维虚拟环境判断手术器械(7-1,7-2)与手术操作区虚拟环境中病变组织6-1以及的正常组织6-2的相对坐标关系，从而按照手术路径和力反馈引导信息通过操作端1完成力反馈引导。
医生在完成机器人手术过程中，通常无法直接获取触觉反馈信息，因此增加了手术操作的难度，通过本发明提出的增强现实力反馈手术机器人系统，运用可视化触觉反馈，协助医生完成器官及组织精确定位，有效提高手术机器人的安全性和可靠性。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。