《一种基于人体器官3D模型的VR手术模拟系统及方法.pdf》由会员分享，可在线阅读，更多相关《一种基于人体器官3D模型的VR手术模拟系统及方法.pdf（9页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201611039517.7 (22)申请日 2016.11.21 (71)申请人 厦门强本宇康科技有限公司 地址 361005 福建省厦门市火炬高新区软 件园华讯楼A区3F-E1 (72)发明人 王博亮 (51)Int.Cl. A61B 34/10(2016.01) (54)发明名称 一种基于人体器官3D模型的VR手术模拟系 统及方法 (57)摘要 本发明公开了一种基于人体器官3D模型的 VR手术模拟系统， 包括CT数据导入单元、 CT图像 分割单元、 三维建模单元及VR手术模。
2、拟单元， 所 述CT数据导入单元用于导入CT数据， 所述CT图像 分割单元用于在CT图像上分割出软组织器官、 肿 瘤、 血管及硬组织， 并根据血管对软组织器官进 行分段， 所述三维建模单元用于建立各段软组织 器官、 肿瘤、 血管及硬组织的三维模型， 并融合成 人体器官3D模型， 所述VR手术模拟单元包括VR手 术模拟切除模块、 切除结果分析模块、 手术模拟 测量模块、 手术模拟风险评估模块。 本发明还公 开了一种基于人体器官3D模型的VR手术模拟方 法。 本发明能够直观获得肿瘤所在器官的段， 对 肿瘤的定位更加精准， 进而降低了手术难度和风 险， 实现了术前的模拟切除和手术风险评估， 采 用虚。
3、拟现实技术进行手术模拟， 增加模拟仿真的 真实性和模拟结果的准确性。 权利要求书2页 说明书5页 附图1页 CN 106806021 A 2017.06.09 CN 106806021 A 1.一种基于人体器官3D模型的VR手术模拟系统， 其特征在于， 包括CT数据导入单元、 CT 图像分割单元、 三维建模单元及VR手术模拟单元， 其中： 所述CT数据导入单元用于导入CT数据， 所述CT数据包含CT图像、 病人信息、 医院信息、 CT机型号信息及CT片精度信息； 所述CT图像分割单元用于在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 其包括 软组织器官分割模块、 肿瘤分割模块、 血管分。
4、割模块、 硬组织分割模块及软组织器官分段模 块， 所述软组织器官分段模块用于根据血管对软组织器官进行分段； 所述三维建模单元用于建立各段软组织器官、 肿瘤、 血管及硬组织的三维模型， 并融合 成人体器官3D模型； 所述VR手术模拟单元包括VR手术模拟切除模块、 切除结果分析模块、 手术模拟测量模 块、 手术模拟风险评估模块， 所述VR手术模拟切除模块用于针对人体器官3D模型进行虚拟 现实模拟肿瘤切除操作， 其包括显示单元、 输入单元及运算单元， 所述显示单元用于显示人 体器官3D模型并产生三维视觉成像效果， 所述输入单元用于接收操作者针对显示单元显示 的影像而输入的进刀信息， 并将进刀信息反馈。
5、给显示单元， 所述运算单元用于根据进刀信 息计算切除结果， 并将切除结果反馈给显示单元， 所述切除结果分析模块用于计算切除肿 瘤的体积、 剩余器官的体积以及判断血管是否损失、 计算损失血管的体积， 并生成报告， 所 述手术模拟测量模块用于对切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测量， 所述 手术模拟风险评估模块用于生成手术风险评估报告。 2.如权利要求1所述的一种基于人体器官3D模型的VR手术模拟系统， 其特征在于： 所述 CT数据导入单元具有CT数据预览模块及CT图像预处理模块， 所述CT数据预览模块用于查看 CT数据的相关内容， 所述CT图像预处理模块用于判断CT图像是否出现倒。
6、置， 并将倒置的CT 图像调整到正确方向。 3.如权利要求1所述的一种基于人体器官3D模型的VR手术模拟系统， 其特征在于： 所述 显示单元采用裸眼3D显示器。 4.一种基于人体器官3D模型的VR手术模拟方法， 基于权利要求1-3任一项所述的基于 人体器官3D模型的VR手术模拟系统实现， 其特征在于， 该方法包括以下步骤： S1、 利用CT数据导入单元导入CT数据； S2、 利用CT图像分割单元在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 并根据 血管对软组织器官进行分段； S3、 利用三维建模单元对各段软组织器官分别进行三维建模， 对肿瘤、 血管及硬组织进 行三维建模， 最终融合成。
7、人体器官3D模型； S4、 利用VR手术模拟单元对人体器官3D模型进行虚拟现实手术模拟。 5.如权利要求4所述的一种基于人体器官3D模型的VR手术模拟方法， 其特征在于， 所述 步骤S2具体包括以下分步骤： S21、 软组织器官分割， 通过人机交互在CT图像上选定软组织器官的位置， 自动分割出 软组织器官； S22、 肿瘤分割， 通过人机交互在CT图像上选定肿瘤的位置， 自动分割出肿瘤； S23、 血管分割， 通过人机交互在CT图像上选定血管的位置， 利用CT图像的灰度值， 进行 阈值分割， 自动分割出血管； 权 利 要 求 书 1/2 页 2 CN 106806021 A 2 S24、 硬组。
8、织分割， 通过人机交互在CT图像上选定硬组织的位置， 利用CT图像的灰度值， 进行阈值分割， 自动分割出硬组织； S25、 软组织器官分段， 根据血管对软组织器官进行分段。 6.如权利要求5所述的一种基于人体器官3D模型的VR手术模拟方法， 其特征在于， 所述 步骤S4具体包括以下分步骤： S41、 确定肿瘤生长位置对应软组织器官的段， 并基于虚拟现实对该段软组织器官进行 肿瘤模拟切除； S42、 肿瘤模拟切除完成后， 计算切除肿瘤的体积、 剩余器官的体积， 判断血管是否损失 并计算损失血管的体积， 并生成报告； S43、 通过人机交互对切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测量。。
9、 7.如权利要求6所述的一种基于人体器官3D模型的VR手术模拟方法， 其特征在于， 所述 步骤S41具体包括以下子步骤： S411、 确定肿瘤生长位置对应软组织器官的段； S412、 显示单元显示人体器官3D模型并产生三维视觉成像效果； S413、 操作者针对显示单元显示的影像进行模拟手术进刀动作， 输入单元接收操作者 输入的进刀信息， 并反馈给显示单元， 显示单元显示模拟进刀动作； S414、 运算单元接收操作者输入的进刀信息， 根据进刀信息计算切除结果， 并将切除结 果反馈给显示单元， 显示单元显示肿瘤切除结果。 8.如权利要求6所述的一种基于人体器官3D模型的VR手术模拟方法， 其特征在。
10、于， 所述 步骤S4还包括以下分步骤： S44、 生成手术风险评估报告。 权 利 要 求 书 2/2 页 3 CN 106806021 A 3 一种基于人体器官3D模型的VR手术模拟系统及方法 技术领域 0001 本发明涉及医学图像处理技术领域， 特别涉及一种基于人体器官3D模型的VR手术 模拟系统及方法。 背景技术 0002 随着科学技术发展， 人类在医学上取得了很多进步， 但在临床医学中， 仍有部分疾 病存在手术成功率低、 风险大的问题。 0003 目前， 针对肝、 肺等软组织器官的手术， 由于肿瘤通常是在器官的内部， 手术时仍 然需要医生根据经验去寻找肿瘤的位置， 这样存在的主要问题是，。
11、 医生寻找肿瘤位置具有 一定难度， 同时也增加了手术的风险。 众所周知， 人体的有些器官是分段性器官， 如肝脏可 以通过动脉血管分为五叶八段， 肺通过动脉血管分为五叶二十段， 如果在手术前就知道肿 瘤处在器官的哪个段里面， 情况就会不一样了， 对于医生来说找器官的分段， 相比找肿瘤来 会简单的多， 找出肿瘤所在的段， 在手术时只需要将这个段切除， 肿瘤也会跟着被切除了。 0004 医学图像三维可视化是将二维断层医学图像转变为3D图像， 展现人体器官的三维 结构和形态， 能够辅助医生在术前进行病变器官进行观察和分析， 可以提高医学诊断的准 确性和科学性， 降低手术风险。 但对于目前的医学图像三维。
12、可视化技术而言， 并不能实现器 官的分段， 医生难以从3D图像中直观的看出肿瘤处于哪个段中。 另外目前的医学图像三维 可视化技术仅提供三维查看功能， 而不能实现术前模拟切除及手术风险评估。 发明内容 0005 本发明的目的在于提供一种基于人体器官3D模型的VR手术模拟系统， 其能够直观 获得肿瘤所在器官的段， 对肿瘤的定位更加精准， 进而降低了手术难度和风险， 实现了术前 的模拟切除和手术风险评估； 本发明同时提供了一种基于人体器官3D模型的VR手术模拟方 法。 0006 为实现上述目的， 本发明采用以下技术方案： 0007 一种基于人体器官3D模型的VR手术模拟系统， 包括CT数据导入单元、。
13、 CT图像分割 单元、 三维建模单元及VR手术模拟单元， 其中： 0008 所述CT数据导入单元用于导入CT数据， 所述CT数据包含CT图像、 病人信息、 医院信 息、 CT机型号信息及CT片精度信息； 0009 所述CT图像分割单元用于在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 其 包括软组织器官分割模块、 肿瘤分割模块、 血管分割模块、 硬组织分割模块及软组织器官分 段模块， 所述软组织器官分段模块用于根据血管对软组织器官进行分段； 0010 所述三维建模单元用于建立各段软组织器官、 肿瘤、 血管及硬组织的三维模型， 并 融合成人体器官3D模型； 0011 所述VR手术模拟单元。
14、包括VR手术模拟切除模块、 切除结果分析模块、 手术模拟测 量模块、 手术模拟风险评估模块， 所述VR手术模拟切除模块用于针对人体器官3D模型进行 说 明 书 1/5 页 4 CN 106806021 A 4 虚拟现实模拟肿瘤切除操作， 其包括显示单元、 输入单元及运算单元， 所述显示单元用于显 示人体器官3D模型并产生三维视觉成像效果， 所述输入单元用于接收操作者针对显示单元 显示的影像而输入的进刀信息， 并将进刀信息反馈给显示单元， 所述运算单元用于根据进 刀信息计算切除结果， 并将切除结果反馈给显示单元， 所述切除结果分析模块用于计算切 除肿瘤的体积、 剩余器官的体积以及判断血管是否损失。
15、、 计算损失血管的体积， 并生成报 告， 所述手术模拟测量模块用于对切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测 量， 所述手术模拟风险评估模块用于生成手术风险评估报告。 0012 优选地， 所述CT数据导入单元具有CT数据预览模块及CT图像预处理模块， 所述CT 数据预览模块用于查看CT数据的相关内容， 所述CT图像预处理模块用于判断CT图像是否出 现倒置， 并将倒置的CT图像调整到正确方向。 0013 优选地， 所述显示单元采用裸眼3D显示器。 0014 一种基于人体器官3D模型的VR手术模拟方法， 基于上述的基于人体器官3D模型的 VR手术模拟系统实现， 该方法包括以下步骤： 0。
16、015 S1、 利用CT数据导入单元导入CT数据； 0016 S2、 利用CT图像分割单元在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 并 根据血管对软组织器官进行分段； 0017 S3、 利用三维建模单元对各段软组织器官分别进行三维建模， 对肿瘤、 血管及硬组 织进行三维建模， 最终融合成人体器官3D模型； 0018 S4、 利用VR手术模拟单元对人体器官3D模型进行虚拟现实手术模拟。 0019 优选地， 所述步骤S2具体包括以下分步骤： 0020 S21、 软组织器官分割， 通过人机交互在CT图像上选定软组织器官的位置， 自动分 割出软组织器官； 0021 S22、 肿瘤分割， 。
17、通过人机交互在CT图像上选定肿瘤的位置， 自动分割出肿瘤； 0022 S23、 血管分割， 通过人机交互在CT图像上选定血管的位置， 利用CT图像的灰度值， 进行阈值分割， 自动分割出血管； 0023 S24、 硬组织分割， 通过人机交互在CT图像上选定硬组织的位置， 利用CT图像的灰 度值， 进行阈值分割， 自动分割出硬组织； 0024 S25、 软组织器官分段， 根据血管对软组织器官进行分段。 0025 优选地， 所述步骤S4具体包括以下分步骤： 0026 S41、 确定肿瘤生长位置对应软组织器官的段， 并基于虚拟现实对该段软组织器官 进行肿瘤模拟切除； 0027 S42、 肿瘤模拟切除完。
18、成后， 计算切除肿瘤的体积、 剩余器官的体积， 判断血管是否 损失并计算损失血管的体积， 并生成报告； 0028 S43、 通过人机交互对切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测量。 0029 优选地， 所述步骤S41具体包括以下子步骤： 0030 S411、 确定肿瘤生长位置对应软组织器官的段； 0031 S412、 显示单元显示人体器官3D模型并产生三维视觉成像效果； 0032 S413、 操作者针对显示单元显示的影像进行模拟手术进刀动作， 输入单元接收操 作者输入的进刀信息， 并反馈给显示单元， 显示单元显示模拟进刀动作； 说 明 书 2/5 页 5 CN 106806021。
19、 A 5 0033 S414、 运算单元接收操作者输入的进刀信息， 根据进刀信息计算切除结果， 并将切 除结果反馈给显示单元， 显示单元显示肿瘤切除结果。 0034 优选地， 所述步骤S4还包括以下分步骤： S44、 生成手术风险评估报告。 0035 采用上述技术方案后， 本发明与背景技术相比， 具有如下优点： 0036 1、 本发明能够通过对软组织器官进行分段， 能够在人体器官3D模型中直观获得肿 瘤所在器官的段， 对肿瘤的定位更加精准， 在手术时直接将软组织器官的生长有肿瘤的段 切除， 肿瘤随之被取出。 由于医生找软组织器官的分段， 相比找肿瘤要简单的多， 这样可以 降低手术的难度， 进而。
20、降低手术风险。 0037 2、 本发明还实现了术前的模拟切除和手术风险评估， 进一步降低了手术风险。 0038 3、 本发明采用虚拟现实技术进行手术模拟切除， 增加模拟仿真的真实性和模拟结 果的准确性， 通过反复手术模拟， 可提高用户的手术技能和熟练度。 附图说明 0039 图1为本发明的结构示意图。 具体实施方式 0040 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。 0041 实施例一 0042 参考图1所示， 本发明公开了一种基于人体器官3D模型的。
21、VR手术模拟系统， 包括CT 数据导入单元10、 CT图像分割单元20、 三维建模单元30及VR手术模拟单元40， 其中： 0043 CT数据导入单元10用于导入CT数据， CT数据包含CT图像、 病人信息、 医院信息、 CT 机型号信息及CT片精度信息。 CT数据导入单元10具有CT数据预览模块及CT图像预处理模 块， CT数据预览模块用于查看CT数据的相关内容， CT图像预处理模块用于判断CT图像是否 出现倒置， 并将倒置的CT图像调整到正确方向。 0044 CT图像分割单元20用于在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 其包 括软组织器官分割模块、 肿瘤分割模块、 血管分。
22、割模块、 硬组织分割模块及软组织器官分段 模块， 软组织器官分段模块用于根据血管对软组织器官进行分段。 0045 三维建模单元30用于建立各段软组织器官、 肿瘤、 血管及硬组织的三维模型， 并融 合成人体器官3D模型。 0046 VR手术模拟单元40包括VR手术模拟切除模块、 切除结果分析模块、 手术模拟测量 模块、 手术模拟风险评估模块， VR手术模拟切除模块用于针对人体器官3D模型进行虚拟现 实模拟肿瘤切除操作， 其包括显示单元、 输入单元及运算单元， 显示单元用于显示人体器官 3D模型并产生三维视觉成像效果， 输入单元用于接收操作者针对显示单元显示的影像而输 入的进刀信息， 并将进刀信息。
23、反馈给显示单元， 运算单元用于根据进刀信息计算切除结果， 并将切除结果反馈给显示单元， 切除结果分析模块用于计算切除肿瘤的体积、 剩余器官的 体积以及判断血管是否损失、 计算损失血管的体积， 并生成报告， 手术模拟测量模块用于对 切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测量， 手术模拟风险评估模块用于生成 说 明 书 3/5 页 6 CN 106806021 A 6 手术风险评估报告。 在本实施例中， 显示单元采用裸眼3D显示器。 0047 实施例二 0048 本发明公开了一种基于人体器官3D模型的VR手术模拟方法， 基于实施例一的VR手 术模拟系统实现， 该方法包括以下步骤： 00。
24、49 S1、 利用CT数据导入单元10导入CT数据。 0050 S2、 利用CT图像分割单元20在CT图像上分割出软组织器官、 肿瘤、 血管及硬组织， 并根据血管对软组织器官进行分段。 该步骤通过以下分步骤实现： 0051 S21、 软组织器官分割， 通过人机交互在CT图像上选定软组织器官的位置， 自动分 割出软组织器官。 通过人机交互下种子点来选定软组织器官在CT图像上的位置， 计算机自 动分割出软组织器官， 对于体积大的软组织器官， 通过下多个种子的来选定软组织器官的 位置。 对于边界不清楚的软组织器官， 通过手动勾画轮廓来提取软组织器官。 还提供自动寻 找边界的魔棒功能， 来自动寻找肝脏。
25、或是肺的边界。 0052 S22、 肿瘤分割， 通过人机交互在CT图像上选定肿瘤的位置， 自动分割出肿瘤。 通过 人机交互下种子点来选定肿瘤在CT图像上的位置， 自动分割出肿瘤。 由于肿瘤的密度往往 是不均匀的， 所以提供二次融合的功能， 只需要第二次下个种子点， 告诉计算机第二肿瘤位 置， 计算机就可以将第二肿瘤提取， 并与第一肿瘤融合。 对于边界模糊的肿瘤， 比如说 “毛玻 璃” 肿瘤， 可利用人工交互手动勾画肿瘤轮廓， 来提取肿瘤。 0053 S23、 血管分割， 通过人机交互在CT图像上选定血管的位置， 利用CT图像的灰度值， 进行阈值分割， 自动分割出血管。 血管分为静脉动脉。 而这。
26、两种血管的区别就是灰度值不一 样， 但是往往一样在做CT的时候会做影像增强(CTA)的动作， 所以动脉期的CT动脉显得亮， 静脉期的CT静脉显得亮， 这样我们一般处理血管， 医院会提供两套以上的数据。 进行阈值分 割时， 也需要先下一个种子点来选定血管在CT图像上的位置， 就可以自动分割出血管。 阈值 可以调节， 以达到最佳血管分割效果。 对于误提取的血管(并不是我们需要的血管)， 提供修 剪功能， 将误提取的血管删除。 0054 S24、 硬组织分割， 通过人机交互在CT图像上选定硬组织的位置， 利用CT图像的灰 度值， 进行阈值分割， 自动分割出硬组织。 0055 S25、 软组织器官分段。
27、， 根据血管对软组织器官进行分段。 通过对肝、 肺等软组织器 官按照血管的分布进行分段， 使得对肿瘤的定位更加精准， 这样在手术时直接将软组织器 官的生长有肿瘤的段切除， 而不是单独取出肿瘤。 由于医生找软组织器官的分段， 相比找肿 瘤要简单的多， 这样可以降低手术的难度， 进而降低手术风险。 0056 S3、 利用三维建模单元30对各段软组织器官分别进行三维建模， 对肿瘤、 血管及硬 组织进行三维建模， 最终融合成人体器官3D模型。 三维建模是通过对各层CT图像的分割结 果叠加实现。 0057 S4、 利用VR手术模拟单元40对人体器官3D模型进行虚拟现实手术模拟。 该步骤通 过以下分步骤实。
28、现： 0058 S41、 确定肿瘤生长位置对应软组织器官的段， 并基于虚拟现实对该段软组织器官 进行肿瘤模拟切除。 0059 S411、 确定肿瘤生长位置对应软组织器官的段。 0060 S412、 显示单元显示人体器官3D模型并产生三维视觉成像效果。 说 明 书 4/5 页 7 CN 106806021 A 7 0061 S413、 操作者针对显示单元显示的影像进行模拟手术进刀动作， 输入单元接收操 作者输入的进刀信息， 并反馈给显示单元， 显示单元显示模拟进刀动作。 0062 S414、 运算单元接收操作者输入的进刀信息， 根据进刀信息计算切除结果， 并将切 除结果反馈给显示单元， 显示单元。
29、显示肿瘤切除结果。 0063 S42、 肿瘤模拟切除完成后， 计算切除肿瘤的体积、 剩余器官的体积， 判断血管是否 损失并计算损失血管的体积， 并生成报告。 0064 S43、 通过人机交互对切除肿瘤、 剩余器官进行角度测量、 直线测量及空间测量。 0065 S44、 生成手术风险评估报告。 综合步骤S42的报告结果、 步骤S43的测量结果进行 手术风险分析， 并生成手术风险评估报告。 0066 以上所述， 仅为本发明较佳的具体实施方式， 但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 可轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。 因此， 本发明的保护范围应该以权利要求的保护范围 为准。 说 明 书 5/5 页 8 CN 106806021 A 8 图1 说 明 书 附 图 1/1 页 9 CN 106806021 A 9 。