医学手术导航方法.pdf

1、(10)申请公布号 CN 104274247 A (43)申请公布日 2015.01.14 C N 1 0 4 2 7 4 2 4 7 A (21)申请号 201410557658.2 (22)申请日 2014.10.20 A61B 19/00(2006.01) A61B 6/00(2006.01) A61B 8/00(2006.01) (71)申请人上海电机学院 地址 200240 上海市闵行区江川路690号 (72)发明人赵孟德 王佳欣 (74)专利代理机构上海思微知识产权代理事务 所(普通合伙) 31237 代理人郑玮 (54) 发明名称 医学手术导航方法 (57) 摘要 本发明提供了一

2、种医学手术导航方法，包括： 第一步骤，用于对医学图像进行三维重建以得到 虚拟模型；以及第二步骤，用于通过增强现实技 术将所述虚拟模型与病人身体部位融合，以便在 融合状态下实现对医学手术的导航作用。根据本 发明的医学手术导航方法使得外科医生能够获取 更加准确且直观的病人身体信息。 (51)Int.Cl. 权利要求书1页 说明书14页 附图1页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书14页 附图1页 (10)申请公布号 CN 104274247 A CN 104274247 A 1/1页 2 1.一种医学手术导航方法，其特征在于包括： 第一步骤，用于对医

3、学图像进行三维重建以得到虚拟模型；以及 第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合 状态下实现对医学手术的导航作用。 2.根据权利要求1所述的医学手术导航方法，其特征在于，所述医学图像为医疗手术 中X射线拍摄到的实时图像。 3.根据权利要求2所述的医学手术导航方法，其特征在于，所述第一步骤包括：将医疗 手术中X射线拍摄到的实时图像进行三维重建以得到虚拟模型。 4.根据权利要求3所述的医学手术导航方法，其特征在于，第二步骤包括：将虚拟模型 与已拍摄好的B超图像显示在一个界面上，并通过利用opencv库函数将B超图像转换为 ARToolKit中的黑色形状标记，从而将

4、表示病人身体部位的B超图像作为用于在虚拟模型 中进行跟踪的黑色形状标记，由此将所述虚拟模型与病人身体部位融合。 权 利 要 求 书CN 104274247 A 1/14页 3 医学手术导航方法 技术领域 0001 本发明涉及计算机应用中的多媒体技术领域，更具体地说，本发明涉及一种医学 手术导航方法。 背景技术 0002 医学成像的发展史已经过去了半个世纪，从显微镜的发明到现在的X射线计算机 断层成像(CT)、核磁共振(MRI)等技术，使得医学诊断和医疗技术取得了很大的进展。 0003 传统的医学导航方法中，医生通过CT或MRI图像根据诊断经验在自己脑海中想象 出病灶的三维位置，因此在手术前无法

5、对病灶位置进行准确的定位。而且，在手术中，对于 如何避开重要的功能区、神经及血管，找到一条通往病灶的捷径，并深入病灶也是十分困难 的。 0004 在这种情况下，已经提出了一种新的医学图像方法，使得医生在术前及术中对病 人各部位解剖、血管及功能有一个更直观、更准确的认知。近来出现的计算机辅助外科手术 系统(CAS)以及基于图像的外科手术导航(IGS)等就是在信息科学高速发展并应用于医学 的成果。计算机辅助外科手术，指计算机直接参与的各种外科手术方法，它包括术前诊断、 远程手术、虚拟现实等。基于图像的外科手术导航相较于计算机辅助外科手术系统更确切 的指基于医学图像的导航技术，指利用医学图像信息为手

6、术机械导航，目的在于最大可能 的为医生提供病灶部位信息。利用这项技术，医生可以在在术前获得手术部位的三维(3D) 信息，更明确的制定手术计划。基于图像的手术导航技术是融合了计算机、影像、医学的技 术。它是基于3D重建的，使得整体图像数据与病人匹配而不是单个点匹配。 0005 虽然基于图像的手术导航技术的应用给外科手术带来了极大的便利，但是医生无 法在手术中一边看人体组织的3D显示，一边将3D显示与病人真实的解剖部位进行对应。 发明内容 0006 本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种使得外科 医生能够获取更加准确且直观的病人身体信息的医学手术导航方法。 0007 为了实

7、现上述技术目的，根据本发明，提供了一种医学手术导航方法，其包括：第 一步骤，用于对医学图像进行三维重建以得到虚拟模型；以及第二步骤，用于通过增强现 实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作 用。 0008 优选地，所述医学图像为医疗手术中X射线拍摄到的实时图像。 0009 优选地，所述第一步骤包括：将医疗手术中X射线拍摄到的实时图像进行三维重 建以得到虚拟模型。 0010 优选地，第二步骤包括：将虚拟模型与已拍摄好的B超图像显示在一个界面上，并 通过利用opencv库函数将B超图像转换为ARToolKit中的黑色形状标记，从而将表示病人 身体部位的B超图像

8、作为用于在虚拟模型中进行跟踪的黑色形状标记，由此将所述虚拟模 说 明 书CN 104274247 A 2/14页 4 型与病人身体部位融合。 附图说明 0011 结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解 并且更容易地理解其伴随的优点和特征，其中： 0012 图1示意性地示出了根据本发明优选实施例的医学手术导航方法的示意流程图。 0013 需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可 能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。 具体实施方式 0014 为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附

9、图对本发明的内 容进行详细描述。 0015 增强现实(AR:AugmentedReality)是一种图形学领域的新技术,它将计算机绘制 的虚拟模型融合到使用者所看到的真实世界景象中。使用者可从计算机描绘的虚拟模型中 获得额外的信息,从而对真实环境进行增强。它具有三大特点：虚实结合、实时交互、三维 匹配。 0016 增强现实技术的出现与发展得益于图形学领域的虚拟现实技术(VR：Virtual Reality)，可以说增强现实技术是虚拟现实技术的进一步发展，两者之间既存在不可分割 的密切关系，又有着显著的差别。虚拟现实系统强调用户在虚拟环境中的视觉，触觉，听 觉等器官完全浸没，强调将用户的感官与现

10、实世界无关，沉浸在由计算机控制的信息空间 (Cyberspace)内。而增强现实系统不仅不切断用户与现实世界的联系，反而更加强调用户 在现实世界中的存在，并竟可能维持各感官的正常运作。 0017 增强现实系统的最终目标是将计算机生成的虚拟环境和用户所处的真实环境有 机的结合，使它们看起来像一个整体，通过软硬件合作，使得用户可以更自然的将真实环境 和虚拟物体进行三维转换。增强现实技术将虚拟现实与真实世界连接起来，在各个领域都 有广阔的应用前景，如军事、医学、机械、设计、娱乐等。 0018 图1示意性地示出了根据本发明优选实施例的医学手术导航方法的示意流程图。 0019 具体地，如图1所示，根据本

11、发明优选实施例的医学手术导航方法包括： 0020 第一步骤S1：对医学图像(例如，CT医学图像或MRI医学图像)进行三维重建以 得到虚拟模型； 0021 第二步骤S2：通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融 合状态下实现对医学手术的导航作用。 0022 根据本发明优选实施例的医学手术导航方法使得外科医生能够获取更加准确且 直观的病人身体信息。 0023 下面将描述本发明的具体实施例。 0024 本发明的具体实施例采用了ARToolKit。具体地，ARToolKit它是一个C/C+语 言编写的库，通过它可以让我们很容易的编写增强现实应用程序。对于开发一个AR程序来 说，最困难

12、的部分在于实时的将虚拟图像覆盖到用户视口，并且和真实世界中的对象精确 对齐。ARToolKit使用电脑图像技术计算摄像机和标记卡之间的相对位置，从而使程序员能 说 明 书CN 104274247 A 3/14页 5 够将他们的虚拟对象覆盖到标记卡上面。 0025 基于ARToolKit的应用程序可以在实时视频中显示有景深的虚拟影像(透视投 影)，其中包括用于跟踪的黑色形状标记(Marker)。 0026 由此，所述第一步骤S1可以包括：例如利用计算机，将医疗手术中X射线拍摄到的 实时图像进行三维重建以得到虚拟模型(在这种情况下，前面提到的医学图像为医疗手术 中X射线拍摄到的实时图像)； 002

13、7 相应地，第二步骤S2可包括：将虚拟模型与已拍摄好的B超图像显示在一个界面 上，并通过利用opencv库函数将B超图像转换为ARToolKit中的黑色形状标记(Marker)， 从而将表示病人身体部位的B超图像作为用于在虚拟模型中进行跟踪的黑色形状标记 (Marker)，由此将所述虚拟模型与病人身体部位融合。 0028 其中，可以实现上述功能的函数的示例如下： 0029 0030 说 明 书CN 104274247 A 4/14页 6 0031 说 明 书CN 104274247 A 5/14页 7 0032 说 明 书CN 104274247 A 6/14页 8 0033 为了清楚描述本发

14、明的具体实现示例，下面将描述ARToolkit的一些技术细节。 ARToolkit中主要的算法包括： 0034 1.marker的识别； 0035 2.投影。 0036 其中ARToolkit中实现的投影关系是最复杂的。ARToolkit巧妙的利用近小远大 及投影关系来计算卡片相对摄像机远近，以及旋转(X轴/Y轴/Z轴)的相对位置。具体算 法由线性代数计算并实现。 0037 程序执行或实现过程包括： 0038 初始化：1、初始化视频捕捉设备并读取标识板文件和摄像头参数 init() 0039 主循环：2、捕获图像输入架构中 arvideogetimage() 0040 3、侦测标识板和识别样式

15、 ardetectmarker() 0041 4、计算摄像头和侦测到的图像间的关系 argettransmat() 0042 5、在侦测到的图样上显示虚拟物体 0043 argDrawMode2D() 0044 argDrawMode3D() 0045 关闭：6、关掉视频捕捉窗口 cleanup() 说 明 书CN 104274247 A 7/14页 9 0046 以下为实现程序中用到的几个主程序： 0047 0048 说 明 书CN 104274247 A 8/14页 10 0049 说 明 书CN 104274247 A 10 9/14页 11 0050 说 明 书CN 104274247

16、 A 11 10/14页 12 0051 说 明 书CN 104274247 A 12 11/14页 13 0052 说 明 书CN 104274247 A 13 12/14页 14 0053 说 明 书CN 104274247 A 14 13/14页 15 0054 说 明 书CN 104274247 A 15 14/14页 16 0055 可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以 限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下， 都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等 同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对 以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围 内。 说 明 书CN 104274247 A 16 1/1页 17 图1 说 明 书 附 图CN 104274247 A 17