《一种基于RGB‑D传感器的机器人辅助超声扫描系统.pdf》由会员分享，可在线阅读，更多相关《一种基于RGB‑D传感器的机器人辅助超声扫描系统.pdf（6页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利 (10)授权公告号 (45)授权公告日 (21)申请号 201510226888.5 (22)申请日 2015.05.07 (65)同一申请的已公布的文献号 申请公布号 CN 104856720 A (43)申请公布日 2015.08.26 (73)专利权人 东北电力大学 地址 132012 吉林省吉林市船营区长春路 169号 (72)发明人 孟勃 (74)专利代理机构 吉林市达利专利事务所 22102 代理人 陈传林 (51)Int.Cl. A61B 8/00(2006.01) A61B 34/30(2016.01) (56)对比文件 。
2、CN 104013424 A,2014.09.03, CN 103440662 A,2013.12.11, CN 102743188 A,2012.10.24, CN 202920235 U,2013.05.08, CN 104224233 A,2014.12.24, US 8880151 B1,2014.11.04, JP 4427536 B2,2010.03.10, 审查员 侯倩 (54)发明名称 一种基于RGB-D传感器的机器人辅助超声扫 描系统 (57)摘要 一种基于RGB-D传感器的机器人辅助超声扫 描系统， 包括Kinect传感器、 机器人、 超声探头、 标示物和主机， 其特征是：。
3、 以Kinect传感器作为 机器人的视觉伺服系统， 在机器人机械臂上夹持 超声探头， 在超声探头上固定标示物， 采用机器 人的视觉伺服系统同时进行RGB彩色图像和深度 图像的采集， 并将图像传给主机， 由主机完成图 像拼接、 图像三维重构等处理， 根据视觉伺服系 统采集的图像对， 由主机对固定在超声探头的标 示物进行识别和定位， 根据识别定位结果计算超 声探头位姿， 再由主机发出对机器人的控制指 令,控制机器人的机械臂到达指定位置进行超声 扫描操作。 具有结构合理,性能可靠,自动化程度 高,检测效率高， 成本低等优点。 权利要求书1页 说明书3页 附图1页 CN 104856720 B 201。
4、7.08.08 CN 104856720 B 1.一种基于RGB-D传感器的机器人辅助超声扫描系统， 它包括Kinect传感器、 机器人、 超声探头、 标示物和主机， 以所述的Kinect传感器作为机器人的视觉伺服系统， 在所述的机 器人机械臂上夹持所述的超声探头， 在所述的超声探头上固定标示物， 根据视觉伺服系统 采集的图像对， 由主机对固定在超声探头的标示物进行实时识别和定位， 根据识别定位结 果计算超声探头位姿， 再通过Kinect坐标系与机器人坐标系的配准， 获得机器人的空间位 置信息， 最后由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位 置进行超声扫描操作， 其特。
5、征在于： 采用标示物的方法实时计算超声探头的3D形貌和位姿， 其具体步骤为： 首先， 从采集的RGB彩色图像中， 提取出标示物的特征， 生成彩色图像的特征 集合； 其次， 为了实现特征点云数据的自动提取， 对点云图像进行深度分割， 提取目标区域 的点云数据， 采用最小二乘拟合方法将目标区域点云投影到深度图像平面上， 在深度图像 模板中提取深度图像中目标的特征点； 然后， 将深度图像中的特征点映射到目标区域的点 云中， 形成特征点云； 最后， 将特征点云与彩色图像的特征点集合进行特征配准， 实现图像 拼接及重构操作， 并得到标示物的3D空间坐标， 并根据几帧图像间的标识物的空间坐标值， 计算出标。
6、示物的位姿转换矩阵， 根据矩阵求得超声探头的当前位姿。 权 利 要 求 书 1/1 页 2 CN 104856720 B 2 一种基于RGB-D传感器的机器人辅助超声扫描系统 技术领域 0001 本发明涉及光电技术领域， 是一种集计算机视觉技术、 计算机辅助医疗技术、 机器 人控制理论于一体的基于RGB-D传感器的机器人辅助超声扫描系统。 能够实现机器人辅助 的超声扫描操作， 用于辅助医疗器械研发、 血液循环、 医疗影像研究及培训医生。 背景技术 0002 机器人辅助诊断和治疗一直是国际上医疗领域内的研究热点， 很多研究机构一直 致力于利用机器人技术的高准确度、 高灵敏度、 可规划性及可操作性。
7、， 为患者提供微创和精 细的诊断和治疗。 目前已经有daVinci、 RoboDoc等多套机器人系统应用于临床中， 还有各种 解决不同临床问题的机器人处于在研发之中。 超声扫描机器人(RUS， Robots Ultrasound) 是利用机器人或者机械臂、 视觉伺服系统、 空间定位设备及工作站进行机器人辅助超声扫 描的系统， 通过视觉伺服系统的定位， 引导机械臂到达指定的位置执行超声扫描操作。 0003 视觉伺服系统在机器人辅助超声扫描系统中占据着非常重要的地位。 在机器人辅 助医疗领域， 如何正确定位机器人手臂的位置和动作、 并回馈位置信息进行机器人控制及 规划机器人路径， 是实现机器人辅助。
8、外科手术的关键。 基于图像的视觉伺服采用误差信号 定义在图像特征空间的方式， 通过图像采集、 特征提取等一系列图像处理方法对机械臂进 行定位、 导航， 进而实现机器人控制。 0004 目前， 很多超声图像的采集仍然由医生全程手工操作， 为了准确评估病患罹患疾 病的风险和发展情况， 超声医师需要连续工作数小时以上才能完成对患者的超声扫描检 查， 无法满足我国巨大的患者基数的需求。 由于全面扫描的工作量比较繁重， 所以超声医师 往往仅根据经验选择扫描几个关键位置来完成超声图像的采集及诊断工作。 这种以点带面 的做法直接导致严重的漏检风险， 阻碍了疾病的早期诊断。 采用机器人来辅助超声扫描主 要目的。
9、是希望通过机器人的精准操作把医生从繁重的劳动中解放出来， 把注意力集中到更 高层次的决策方面。 0005 目前常用的超声机器人定位导航系统主要是基于光学的跟踪系统， 主要有NDI公 司的Polaris系统、 Optotrack系统和双目视觉系统等， 目前的定位导航系统在医疗机器人 导航领域已经得到广泛应用。 光学跟踪系统的优势是精度高、 定位迅速和稳定， 但是跟踪器 与标识物之间的光学可视路径易受术中物体的遮挡， 也无法跟踪靶目标的形貌， 而且价格 昂贵。 0006 针对以上问题， 本发明采用一种用户级别的3D测量仪微软公司开发的Kinect 传感器作为视觉伺服系统， 采用图像拼接及图像重构等。
10、技术， 实时计算超声探头的3D 形貌和位姿， 并将当前探头位姿信息及解算出的控制指令发给机器人， 以控制及引导机器 人夹持超声探头到达指定位置， 实现机器人辅助超声扫描的目的。 本发明是针对超声检测 特殊且紧迫的临床需求， 对人机协同操作方式的全新探索， 有望大大提高病患的检出率， 提 升检测效率， 降低劳动强度， 减少系统成本， 为国民的健康护航， 造福百万患者群体。 说 明 书 1/3 页 3 CN 104856720 B 3 发明内容 0007 针对目前超声检测时间长、 劳动繁重等问题， 提出了一种基于RGB-D传感器的机器 人辅助超声扫描系统， 集合计算机视觉技术、 计算机辅助医疗技术。
11、和机器人控制理论， 采用 图像拼接及图像重构等技术， 实时计算超声探头的3D形貌和位姿， 并将当前探头位姿信息 及解算出的控制指令发给机器人， 以控制及引导机器人夹持超声探头到达指定位置， 实现 机器人辅助超声扫描的目的。 0008 本发明的目的是依据以下技术方案实现的： 一种基于RGB-D传感器的机器人辅助 超声扫描系统， 它包括Kinect传感器、 机器人、 超声探头、 标示物和主机， 其特征在于： 以所 述的Kinect传感器作为机器人的视觉伺服系统， 在所述的机器人机械臂上夹持所述的超声 探头， 在所述的超声探头上固定标示物， 采用机器人的视觉伺服系统同时进行RGB彩色图像 和点云深度。
12、图像的采集， 并将RGB彩色图像和深度图像传给主机， 由主机完成图像的3D拼 接、 3D重构处理， 获得物体的3D位置信息， 根据视觉伺服系统采集的图像对， 由主机对固定 在超声探头的标示物进行识别和定位， 根据识别定位结果计算超声探头位姿， 由主机发出 对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。 0009 所述的基于RGB-D传感器的机器人辅助超声扫描系统， 其特征在于： 所述的超声探 头采用二维线性超声探头。 0010 本发明提出的基于RGB-D的机器人辅助超声扫描系统， 采用图像3D拼接及图像重 构等技术， 实时计算超声探头的3D形貌和位姿， 并将当前探。
13、头位姿信息及解算出的控制指 令发给机器人， 以控制及引导机器人夹持超声探头到达指定位置， 实现机器人辅助超声扫 描的目的。 具有结构合理,性能可靠,自动化程度高,检测效率高， 成本低等优点。 附图说明 0011 图1为基于RGB-D视觉伺服的机器人辅助超声扫描系统的组成框图； 0012 图2为基于RGB-D视觉伺服的机器人辅助超声扫描系统的工作流程图； 0013 图3为图像拼接及三维重构处理流程图。 具体实施方式 0014 下面利用附图和实施例对本发明作进一步说明。 0015 参考图1， 本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统， 包括 Kinect传感器11、 机器人12、 。
14、超声探头13、 标识物14和主机15。 采用Kinect传感器11进行超 声探头13和标识物14的RGB彩色图像和深度图像的采集， 并将图像信息传给主机15， 由主机 15进行诸如图像3D拼接及图像重构等处理， 并实时计算的超声探头13的3D形貌和位姿， 处 理结束后， 将当前探头14位姿信息及解算出的控制指令发给机器人12， 以控制及引导机器 人12夹持超声探头13到达指定位置， 实现机器人辅助超声扫描的目的。 0016 参考图2， 本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统， 整个工作 过程分为术前规划和术中操作两部分。 术前规划主要是采用Kinect传感器将实时获取的 RG。
15、B图像和深度图像经过相机标定、 图像预处理、 图像分割和标识物提取等图像处理后， 将 医生事先规划好的预扫描3D位置传给机器人， 并结合机器人轨迹规划确定机器人的扫描路 说 明 书 2/3 页 4 CN 104856720 B 4 径； 术中操作过程需要对Kinect传感器的坐标系与机器人坐标系进行实时的坐标配准， 并 实时计算超声探头的3D位姿， 以便对机械臂进行导航、 引导， 机械臂夹持超声探头沿着术前 规划好的路径进行超声扫描， Kinect传感器对机器人的运动位置进行视觉反馈， 控制机器 人从初始位置运动到扫描点处， 由视觉系统计算出的探头与患者下肢表面的距离来控制超 声探头的挤压深度。
16、， 并保证超声图像的质量及操作的安全性。 0017 参考图3， 本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统， 从Kinect 传感器进行超声探头和标识物的RGB图像和深度图像的采集， 并将图像信息传给主机， 由主 机进行诸如图像拼接及图像重构等处理， 并实时计算的超声探头的3D形貌和位姿， 其中涉 及的图像拼接及三维重构处理流程为： 首先， 从采集的RGB彩色图像中， 提取出标识物的特 征， 生成彩色图像的特征集合； 其次， 为了实现特征点云数据的自动提取， 对点云图像进行 深度分割， 提取目标区域的点云数据， 采用最小二乘拟合方法将目标区域点云投影到深度 图像平面上， 在深度图。
17、像模板中提取深度图像中的目标的特征点； 然后， 将深度图像中的特 征点映射到目标区域的点云中， 形成特征点云； 最后， 将特征点云与彩色图像的特征点集合 进行特征配准， 实现图像拼接及重构操作， 并得到标识物的3D空间坐标， 并根据几帧图像间 的标识物的空间坐标值， 计算出标识物的位姿转换矩阵， 根据矩阵求得超声探头的当前位 姿。 0018 参考图1-图3， 本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统， 在计 算出标识物14和超声探头13在Kinect传感器11坐标系中的空间坐标及位姿， 需要进行坐标 系配准， 将3D位置转换到机器人12坐标系， 才能得到机器人的空间位置信息， 。
18、从而实现对机 器人12位置的控制及机器人12定位导航。 0019 定义R,K,P， Q,M分别表示机器人坐标系、 Kinect坐标系、 超声探头坐标 顶端、 超声探头底端及标示物坐标系。 TPM代表探头与标示物坐标系之间的转换矩阵， TPQ表 示超声探头顶端与底端之间的转换矩阵， TRK表示Kinect坐标系到机器人坐标系的转换矩 阵， TPK表示Kinect坐标系到超声探头坐标系的转换矩阵， TMK表示Kinect坐标系到标示物坐 标系的转换矩阵， TKQ表示Kinect坐标系到超声探头底端的转换矩阵， TRP表示超声探头坐标 系到机器人坐标系的转换矩阵。 由于超声探头是固定在机械臂上， 标。
19、识物也是唯一固定的， 因此， TPM、 TPQ和TRP已知的， 而且是唯一确定的， TMK在设计标识物的过程中通过设计得到， 因 此可以公式(1)来计算TRK: 0020 0021 根据转换矩阵TRK， 可以将从Kinect获取到的扫描点通过转换矩阵， 转换的机器人 坐标系中的坐标点， 实现对机器人运动的控制。 0022 本发明基于RGB-D传感器的机器人辅助超声扫描系统和图像处理算法中的各种控 制指令和拼接、 重构跟踪算法及程序均依据具体应用场合的需要、 根据信号控制理论和数 字图像处理技术设计和编制。 0023 本发明的一种基于RGB-D传感器的机器人辅助超声扫描系统， 对于本领域技术人 员来说， 根据本发明实施例获得的启示， 不经过创造性劳动就能够想到其它实质上等同的 替代， 均在本发明保护范围内。 说 明 书 3/3 页 5 CN 104856720 B 5 图1 图2 图3 说 明 书 附 图 1/1 页 6 CN 104856720 B 6 。