《端到端眼科手术定位导航方法及设备.pdf》由会员分享，可在线阅读，更多相关《端到端眼科手术定位导航方法及设备.pdf（18页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310577883.1(22)申请日 2023.05.22(71)申请人 电子科技大学地址 611731 四川省成都市高新区（西区）西源大道2006号 申请人 山西致远慧图科技有限公司(72)发明人 王钊翟雨轩纪淳升王雅琦张炜(74)专利代理机构 电子科技大学专利中心 51203专利代理师 余涛(51)Int.Cl.A61B 34/20(2016.01)A61B 34/10(2016.01)A61B 90/20(2016.01)A61B 90/00(2016.01)G02B 21/36(20。
2、06.01)G02B 21/18(2006.01)G02B 21/00(2006.01)G06V 10/82(2022.01)G06V 10/26(2022.01)G06T 7/33(2017.01)G06N 3/045(2023.01)G06N 3/0464(2023.01)G06N 3/08(2023.01)(54)发明名称一种端到端眼科手术定位导航方法及设备(57)摘要本发明涉及医疗图像处理领域，尤其涉及一种端到端眼科手术定位导航方法及设备。先采用编解码网络提取出眼球特征，根据眼球特征构建的多类分割层进行语义分割，以确定出眼球的中心位置，以此构建极坐标采样器，使实时采集的术中图像直接投影。
3、至极坐标下，同时将眼球特征图、语义分割结果图和术前图像转换到极坐标系下。在极坐标系下，对当前图像与目标图像进行配准，完成眼球旋转追踪。配准过程中，将孪生网络与相关滤波器结合，通过定义高斯模板来定义追踪目标位置、数目、感受野大小，提高了计算效率，将帧间配准结果和长时配准结果的加权和作为最终旋转量，消除累积误差、提高眼球旋转持续配准的稳定性和配准精度。权利要求书3页 说明书9页 附图5页CN 116602764 A2023.08.18CN 116602764 A1.一种端到端眼科手术定位导航方法，其特征在于，包括以下步骤：步骤1、获取患者眼睛的术前图像；步骤2、构建编解码网络，编解码网络为基于UN。
4、et结构的神经网络，其中编码网络输入患者眼球图像，输出为提取出的图像深层和浅层特征图；图像深层特征代表全局信息，浅层特征代表局部信息；解码网络输入为图像深层和浅层特征图，输出为融合深层和浅层特征的眼球特征图；其中编码器采用TransUNet或EfficientNet的编码器；步骤3、构建多类分割层以用于对眼球虹膜、巩膜和角膜区域进行语义分割；多类分割层由多个卷积核尺寸为1的卷积层构成，其输入为眼球特征图，输出为语义分割结果即虹膜、巩膜和角膜的分割预测图；步骤4、根据语义分割结果计算虹膜区域的中心，并将其作为眼球中心位置；以眼球中心位置为极点构建极坐标采样器；步骤5、利用步骤4构建的极坐标采样器。
5、实时采集术中图像并将其转换至极坐标系下，将术前图像、语义分割结果和眼球特征图输入极坐标采样器转换为极坐标图像；步骤6、在极坐标系下，对当前图像与目标图像进行配准，得到眼球的旋转信息，从而完成眼球的旋转导航；步骤6.1、构建并训练孪生网络，以提取极坐标系下的搜索图像和目标图像的巩膜毛细血管特征；所述搜索图像为实时图像中的当前帧图像，目标图像包括术前图像和前一帧图像，其中前一帧图像为帧间配准的目标图像，术前图像作为长时配准的目标图像；步骤6.2、定义多点位高斯模板，高斯模板为图像灰度值以高斯函数分布的图像，灰度值峰值位置为目标位置，高斯模板中高斯分布的位置为目标图像希望配准的位置；利用高斯模板和目。
6、标图像在线训练相关滤波器，计算该相关滤波器与搜索图像互相关性，获得相关性响应图；步骤6.3、以相关性响应图为输入构建置信度网络，得到目标位置区域预测图；将目标位置区域预测图与相关性响应图相乘，乘积作为配准结果输出；配准结果中的峰值位置即为目标位置，该位置相关性响应值为配准结果的置信度，峰值位置相较高斯模板在极坐标系下角度坐标轴上的位移量，为该点位的旋转量；步骤6.4、计算搜索图像中多个目标位置在高斯模板中的位移量平均值，将其作为搜素图像相较于目标图像的旋转量，即帧间配准结果和长时配准结果；计算帧间配准结果和长时配准结果的加权和作为当前帧图像眼球的最终旋转量，帧间配准和长时配准的加权和的权重在手。
7、术过程中根据配准结果动态调整；根据最终旋转量计算出当前帧图像的虹膜区域，对当前图像与目标图像的配准，完成眼球中心定位和眼球旋转追踪。2.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于，所述端到端眼科手术定位导航方法还包括：步骤7、对已配准图像进行数据增强，其过程为：在配准位置处叠加来自其他眼部手术视频的随机位置的毛细血管特征信息，每一对已配准的图像在配准位置处叠加的毛细血管特征相同，不同对配准图像叠加的毛细血管特征不同。3.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于：所述步骤6.2定义的高斯模板有多个，根据多个高斯模板建立稠密配准点位集，进行目标图像与搜索图。
8、像的非刚性配准。权利要求书1/3 页2CN 116602764 A24.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于：所述孪生网络包括第一神经网络和第二神经网络，第一神经网络由依次连接的卷积层和形变网络组成；第二神经网络与第一神经网络结构相同，且权重共享；第一神经网络和第二神经网络的卷积层都连接极坐标采样器，接收极坐标系下的术前图像或实时术中图像数据，并提取出为毛细血管特征图输出；形变网络接收极坐标系下语义分割结果和毛细血管特征图，根据极坐标系下语义分割结果中的角膜缘边缘，对极坐标系下的毛细血管特征图进行形变补偿，得到消除形变的虹膜边界毛细血管特征图。5.根据权利要求1所述的。
9、一种端到端眼科手术定位导航方法，其特征在于：所述步骤6.4在进行眼球中心定位和旋转追踪过程中，还包括平移量的计算，平移量的计算方法为：步骤6.4.1、构建孪生网络的分割分支，分割分支由一个卷积层和一个分类层组成；卷积层接收孪生网络提取的虹膜边界毛细血管特征图和从直角坐标系变幻过来的眼球特征图，并进行融合后通过分类层进行虹膜区域分割，该虹膜区域在直角坐标系下的质心为最终眼球中心；步骤6.4.2、计算步骤6.4.1得到的眼球中心相较于手术初始眼球中心的位移量，该位移量为眼球的平移量。6.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于：所述步骤6.4中帧间配准与长时配准结果的加权和计。
10、算方法为卡尔曼滤波算法；其详细计算过程为：对帧间配准结果的协方差与长时配准的协方差进行求和；根据协方差求和结果计算权重m：mP/(P+Q)其中P表示帧间配准的协方差，Q表示长时配准的协方差。7.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于：所述步骤3之前还包括：在编解码网络后设置一个全连接层，全连接层接收解码器输出的眼球特征图并判断当前图像状态，排除异常状态图像。8.根据权利要求1所述的一种端到端眼科手术定位导航方法，其特征在于：所述编码器中设置CNN和Token Mixing两个分支；其中CNN分支用于获取局部信息，该分支通过n个卷积层处理手术图像，n为大于1的自然数；基于。
11、Token Mixing的分支用于获取全局信息，将图像分割为S个互不重叠的图像块作为Token Mixing分支的输入，所有图像块都被线性映射到隐藏层，并对映射后的特征增加位置嵌入，以保存每个图像块的相对位置；使用MLP网络对特征的每个通道维度进行操作后输出包含特征相互作用的结果；对CNN分支获取的局部信息和Token Mixing分支获取的全局信息使用注意力门融合；所述解码器部分采用与Attention UNet相同的结构，并使用注意力门加强编码部分的特征。9.一种眼科手术显微镜设备，包括物镜系统、目镜系统、分光镜系统、摄录像组件、手术导航模块及投影和显示模块；所述物镜系统将光束聚焦于病患眼。
12、睛实现清晰成像；所述目镜系统将像平面投射于医生眼睛中，使显微镜图像以及手术导航模块生成的投影图案可被医生直接观察；所述分光镜系统将光束分为两路或多路，其中一路通向目镜系统，另一路通向摄录像权利要求书2/3 页3CN 116602764 A3组件；所述摄录像组件将图像或视频传入手术导航模块；所述手术导航模块连接投影与显示模块，用于执行权利要求17任一项所述的端到端眼科手术定位导航方法，得到眼球分割的导航信息；所述投影与显示模块将接收的导航信息通过分光镜系统和目镜系统投影至显微镜视野内，或通过外接显示器融合摄录像组件采集的实时视频显示于显示端，以辅助医生进行手术。10.根据权利要求8所述的一种眼科。
13、手术显微镜设备，其特征在于：所述眼科手术显微镜设备为双目立体视觉眼科手术显微镜，该显微镜中具有左右目两组摄录像组件、其投影与显示模块为三维投影和显示模块；所述物镜系统分出两束光分别投射至左右目镜，左目镜的光路通过分光镜分出一束通入左目摄录像组件，右目镜的光路通过分光镜分出一束通入右目摄录像组件；手术导航模块接收左目摄录像组件和右目摄录像组件获取到的图像，并对左右目镜的内外参数进行标定，根据标定结果建立双目立体视觉系统，获取左右目镜图像中眼体的深度信息；然后分别执行如权利要求17任一项所述的端到端眼科手术定位导航方法，得到左眼球分割的导航信息和右眼分割的导航信息，并转至三维空间后取平均位置；三维。
14、投影和显示模块将取平均位置后的导航信息通过分光镜系统和目镜系统投影至显微镜视野内，或者通过外接显示器融合摄录像组件采集的实时视频显示于显示端，以辅助医生进行手术。权利要求书3/3 页4CN 116602764 A4一种端到端眼科手术定位导航方法及设备技术领域0001本发明涉及医疗图像处理领域，尤其涉及一种端到端眼科手术定位导航方法及设备。背景技术0002眼科手术当中，通常有眼球定位与旋转配准的需求，以白内障手术为例，手术过程中撕囊的位置、尺寸以及人工晶状体的植入角度，都对患者术后的视力恢复有着至关重要的影响。传统手术中，医生采用裂隙灯标注法对眼球进行介入式的着色标注，以此确定位置、尺寸以及人工。
15、晶状体的植入角度。这种方式安全性低、精准度差、易引起患者不适。近年来，随着计算机导航辅助眼科手术的发展，眼科医生具备了眼球精确定位的能力，有效提高了手术的安全性和效率，且患者手术恢复效果更好。0003如CN111616800A公开的一种与手术显微镜集成的眼科手术导航系统，包括手术显微镜、摄录像系统、眼球定位导航模块及目镜投影模块。利用眼科手术导航系统完成眼球虹膜边界分割和巩膜多位置毛细血管旋转追踪，并通过与参考图像配准来消除累积误差。由于采用的旋转追踪方式为在虹膜边界处选择若干方框，采用多个单目标追踪器追踪，使得其应对大幅度旋转的能力较弱。0004又如CN112043383B公开的一种眼科手术。
16、导航系统及电子设备，通过配准OCT三维图像和二维手术显微镜图像的方式，丰富术中信息反馈，并在此过程中利用3D显示器呈现手术画面，以此提高手术的安全性和精准性。但其OCT三维图像与二维手术图像的配准方法与病灶分割方法介绍较为模糊。此外，高分辨率图像的三维配准计算量较大，较难实现术中实时导航。0005现有技术公开的眼科手术导航系统均存在一定的缺陷，因此研究一种配准精度更高的眼科手术导航方法具有积极意义。发明内容0006本发明的目的在于提出一种端到端眼科手术定位导航方法及设备，以提升眼科手术导航的工作效率和配准精确度。0007为实现上述目的，本发明采用如下技术方案：0008一种端到端眼科手术导航定位。
17、方法，包括以下步骤：0009步骤1、获取患者眼睛的术前图像；0010步骤2、构建编解码网络，编解码网络为基于UNet结构的神经网络，其中编码网络输入患者眼球图像，输出为提取出的图像深层和浅层特征图；图像深层特征代表全局信息，浅层特征代表局部信息；解码网络输入为图像深层和浅层特征图，输出为融合深层和浅层特征的眼球特征图；其中编码器采用TransUNet或采用EfficientNet的编码器；0011步骤3、构建多类分割层以用于对眼球虹膜、巩膜和角膜区域进行语义分割；多类分割层由多个卷积核尺寸为1的卷积层构成，其输入为眼球特征图，输出为语义分割结果即说明书1/9 页5CN 116602764 A5。
18、虹膜、巩膜和角膜的分割预测图；0012步骤4、根据语义分割结果计算虹膜区域的中心，并将其作为眼球中心位置；以眼球中心位置为极点构建极坐标采样器；0013步骤5、利用步骤4构建的极坐标采样器实时采集术中图像并将其转换至极坐标系下，将术前图像、语义分割结果和眼球特征图输入极坐标采样器转换为极坐标图像；0014步骤6、在极坐标系下，对当前图像与目标图像进行配准，得到眼球的旋转信息，从而完成眼球的旋转导航；0015步骤6.1、构建并训练孪生网络，以提取极坐标系下的搜索图像和目标图像的巩膜毛细血管特征；所述搜索图像为实时图像中的当前帧图像，目标图像包括术前图像和前一帧图像，其中前一帧图像为帧间配准的目标。
19、图像，术前图像作为长时配准的目标图像；0016步骤6.2、定义多点位高斯模板，高斯模板为图像灰度值以高斯函数分布的图像，灰度值峰值位置为目标位置，高斯模板中高斯分布的位置为目标图像希望配准的位置；利用高斯模板和目标图像在线训练相关滤波器，计算该相关滤波器与搜索图像互相关性，获得相关性响应图；0017步骤6.3、以相关性响应图为输入构建置信度网络，得到目标位置区域预测图；将目标位置区域预测图与相关性响应图相乘，乘积作为配准结果输出；配准结果中的峰值位置即为目标位置，该位置相关性响应值为配准结果的置信度，峰值位置相较高斯模板在极坐标系下角度坐标轴上的位移量，为该点位的旋转量；0018步骤6.4、计。
20、算搜索图像中多个目标位置在高斯模板中的位移量平均值，将其作为搜素图像相较于目标图像的旋转量，即帧间配准结果和长时配准结果；计算帧间配准结果和长时配准结果的加权和作为当前帧图像眼球的最终旋转量；根据最终旋转量计算出当前帧图像的虹膜区域，对当前图像与目标图像的配准，完成眼球中心定位和眼球旋转追踪。0019进一步的，上述端到端眼科手术定位导航方法还包括：0020步骤7、对已配准图像进行数据增强，其过程为：0021在配准位置处叠加来自其他眼部手术视频的随机位置的毛细血管特征信息，每一对已配准的图像在配准位置处叠加的毛细血管特征相同，不同对配准图像叠加的毛细血管特征不同。0022进一步的，所述步骤6.2。
21、定义的高斯模板有多个，根据多个高斯模板建立稠密配准点位集，进行目标图像与搜索图像的非刚性配准。0023进一步的，所述孪生网络包括第一神经网络和第二神经网络，第一神经网络由依次连接的卷积层和形变或组成；第二神经网络与第一神经网络结构相同，且权重共享；第一神经网络和第二神经网络的卷积层都连接极坐标采样器，接收极坐标系下的术前图像或实时术中图像数据，并提取出为毛细血管特征图输出；形变网络接收极坐标系下语义分割结果和毛细血管特征图，根据转换到极坐标系下的语义分割结果中的角膜缘边缘，对极坐标系下的毛细血管特征图进行形变补偿，得到消除形变的虹膜边界毛细血管特征图。0024进一步的所述步骤6.4在进行眼球中。
22、心定位和旋转追踪的过程中，还包括平移量的计算，平移量的计算方法为：0025步骤6.4.1、构建孪生网络的分割分支，分割分支由一个卷积层和一个分类层组成；卷积层接收孪生网络提取的虹膜边界毛细血管特征图和从直角坐标系变幻过来的眼球说明书2/9 页6CN 116602764 A6特征图，并进行融合后通过分类层进行虹膜区域分割，该虹膜区域在直角坐标系下的质心为最终眼球中心；0026步骤6.4.2、计算步骤6.4.1得到的眼球中心相较于手术初始眼球中心的位移量，该位移量为眼球的平移量。0027进一步的，所述步骤6.4中帧间配准与长时配准结果的加权和计算方法为卡尔曼滤波算法；其详细计算过程为：0028对帧。
23、间配准结果的协方差与长时配准的协方差进行求和；根据协方差求和结果计算权重m：0029mP/(P+Q)0030其中P表示帧间配准的协方差，Q表示长时配准的协方差。0031进一步的，所述步骤3还包括：在编解码网络后设置一个全连接层，全连接层的输入接解码器输出的眼球特征图，用于判断当前图像状态，以排除异常状态图像。0032进一步的，所述步骤2的编码器中设置CNN和Token Mixing两个分支；其中CNN分支用于获取局部信息，该分支通过n个卷积层处理手术图像，n为大于1的自然数；基于Token Mixing的分支用于获取全局信息，将图像分割为S个互不重叠的图像块作为Token Mixing分支的输。
24、入，所有图像块都被线性映射到隐藏层，并对映射后的特征增加位置嵌入，以保存每个图像块的相对位置；使用MLP网络对特征的每个通道维度进行操作后输出包含特征相互作用的结果；对CNN分支获取的局部信息和Token Mixing分支获取的全局信息使用注意力门融合；0033所述解码器部分采用与Attention UNet相同的结构，并使用注意力门加强编码部分的特征。0034一种眼科手术显微镜设备，包括物镜系统、目镜系统、分光镜系统、摄录像组件、手术导航模块及投影和显示模块；0035所述物镜系统将光束聚焦于病患眼睛实现清晰成像；0036所述目镜系统将像平面投射于医生眼睛中，使显微镜图像以及手术导航模块生成的。
25、投影图案可被医生直接观察；0037所述分光镜系统将光束分为两路或多路，其中一路通向目镜系统，另一路通向摄录像组件；0038所述摄录像组件将图像或视频传入手术导航模块；0039所述手术导航模块连接投影与显示模块，用于执行如权利要求17任一项所述的端到端眼科手术定位导航方法，得到眼球分割的导航信息；所述投影与显示模块将接收的导航信息通过分光镜系统和目镜系统投影至显微镜视野内，或者通过外接显示器融合摄录像组件采集的实时视频显示于显示端，以辅助医生进行手术。0040更进一步的，所述眼科手术显微镜设备为双目立体视觉眼科手术显微镜，该显微镜中具有左右目两组摄录像组件、其投影与显示模块为三维投影和显示模块；。
26、0041所述物镜系统分出两束光分别投射至左右目镜，左目镜的光路通过分光镜分出一束通入左目摄录像组件，右目镜的光路通过分光镜分出一束通入右目摄录像组件；0042手术导航模块接收左目摄录像组件和右目摄录像组件获取到的图像，并对左右目镜的内外参数进行标定，根据标定结果建立双目立体视觉系统，获取左右目镜图像中眼体说明书3/9 页7CN 116602764 A7的深度信息；然后分别执行权利要求17任一项所述的端到端眼科手术定位导航方法，得到左眼球分割的导航信息和右眼分割的导航信息，并转至三维空间后取平均位置；0043三维投影和显示模块将取平均位置后的导航信息，通过分光镜系统和目镜系统投影至显微镜视野内，。
27、或通过外接显示器融合摄录像组件采集的实时视频显示于显示端，以辅助医生进行手术。0044本发明提供的一种端到端眼科手术定位导航方法，先采用编解码网络提取出眼球特征，根据眼球特征构建的多类分割层进行语义分割，以确定出眼球的中心位置，将其作为眼球中心构建极坐标采样器。该坐标采样器一方面可以使实时采集的术中图像直接投影至极坐标下，另一方面可以将眼球特征图、语义分割结果图和术前图像转换到极坐标系下，在极坐标系下，对当前图像与目标图像进行配准，完成眼球中心定位和虹膜边界分割。配准过程中，将孪生网络与相关滤波器结合，通过定义高斯模板来定义追踪目标位置、数目、感受野大小，避免了anchor设置对尺寸、比例和数。
28、量等先验参数的依赖，提高了计算效率，且对于血管追踪这样没有明确边界的目标而言更加合理和精准。将帧间配准和长时配准的结果的加权和作为最终旋转量，消除了累积误差、提高眼球旋转持续配准的稳定性，削弱错误配准结果对旋转配准的干扰。通过多个定义的高斯模板建立稠密配准点位集，进行目标图像与搜索图像的非刚性配准，同时实现帧间配准和长期配准；配准目标数目的增加仅通过增加高斯模板增加即可实现，无需多次特征提取。相较于采用多个单目标追踪器，其具有更高效率。此外，整个配准过程都是在极坐标下完成，通过极坐标将目标的旋转变成目标的平移，旋转量变成平移量后，计算过程更加简单，计算效率更高。0045将上述一种端到端眼科手术。
29、定位导航方法作为导航模块，应用于眼科手术显微成像系统中，有利于辅助医生高效，准确，安全地完成手术任务，为患者术后恢复打下良好基础。附图说明0046图1是实施例的端到端眼科手术定位导航方法应用于眼科手术与设备中的工作流程图；0047图2是本发明的端到端眼科手术定定位位导航方法流程图；0048图3是本发明中孪生网络部分的结构图；0049图4是本发明网络训练集配准标签数据增强的方法图；0050图5是本发明中高斯模板设定和配准响应，与目标区域预测图；0051图6是本发明处理双目立体视觉显微镜图像的示意图；0052图7是本发明的一种眼科手术显微镜设备；0053图8是本发明的双目立体视觉手术显微镜。具体实。
30、施方式0054下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。0055本实施例提供的一种端到端眼科手术定位导航方法，如图2所示，包括以下步骤：0056步骤1、获取患者眼睛的术前图像，该图像需画面清晰,无拖影，包含虹膜和部分巩膜，且瞳孔位置居中。说明书4/9 页8CN 116602764 A80057步骤2、构建编解码网络，编解码网络为基于UNet结构的神经网络，包括编码器201和解码器202，编码器201与解码器202相连；其中编码网络输入患者眼球图像，输出为提取出的图像深层和浅层特征图；图像深层特征代表全局信息，浅层特征代表局部信息。解码网络输入为图像深层和浅层特征图，输出为融。
31、合深层和浅层特征的眼球特征图。本实施例的编解码网络中，其编码器201可以采用TransUNet也可以采用EfficientNet的编码器。0058此外，由于Transformer网络的参数量往往较大，计算开销大，且CNN卷积感受野有限，在实际应用中，还可以使用CNN和Token Mixing结合的方式获取图像局部和全局信息。即在编码器中设置CNN和Token Mixing两个分支，其中CNN分支用于获取局部信息，该分支通过n个卷积层处理手术图像，n为2,3,4,5等大于1的自然数。基于Token Mixing的分支用于获取全局信息，设原始图像为H*W，该分支图像分割为S个互不重叠的图像块(pa。
32、tch)作为输入，每个图像块大小为P*P，则SH*W/P2。所有图像块都被线性映射到隐藏层，和Transformer类似，对映射后的特征加了position embedding，用于保存每个图像块的相对位置。为了获取全局信息，使用MLP对特征的每个channel维度进行操作，输出结果即包含特征相互作用的结果。最后，使用注意力门(Attention Gate)融合局部和全局信息。解码器部分采用和Attention UNet同样的结构，使用注意力门加强编码部分的特征，使算法更加鲁棒。0059使用CNN和Token Mixing结合的方式，充分利用了局部和全局信息，能够同时获取低层次的空间信息和高层。
33、次的语义信息；同时Token Mixing的方式是基于MLP的，参数量相较于Transformer很小，适合实时系统的部署。0060步骤3、构建多类分割层204以用于对眼球虹膜、巩膜和角膜区域进行语义分割。多类分割层204由多个卷积核尺寸为1的卷积层构成，其输入为眼球特征图，输出为语义分割结果即虹膜、巩膜和角膜的分割预测图。0061步骤4、根据语义分割结果计算虹膜区域的中心，并将其作为眼球中心位置Xcenter,Ycenter；以眼球中心位置作为极点构建极坐标采样器。0062步骤5、利用步骤4构建的极坐标采样器实时采集术中图像，并将其转换至极坐标系下；将术前图像、特征图和语义分割结果输入极坐标。
34、采样器转换为极坐标图像。在极坐标采样器下，直角坐标与极坐标的转换方法为：0063建立极坐标图像像素点网格矩阵r与，Rij、Aij分别为r、的元素，以眼球中心(Xcenter,Ycenter)为原点建立极坐标系与直角坐标系的坐标映射关系:0064rRhw,Rijj0065 Ahw,Aiji*2/h100660067其中w,h为极坐标图像的宽与高，r与 矩阵尺寸为hw，Seye为虹膜与瞳孔区域面积，b为常数，f为极坐标图像缩放比例，根据虹膜半径变化而变化，t为极坐标变换的初始角度，其中，r与 的相乘为点乘，其他矩阵相乘为叉乘，x,y为极坐标图像在直角坐标系下的映射位置，利用该坐标映射对直角坐标系下。
35、的图像进行采样209，则可以将图像投影至极坐标系下210。说明书5/9 页9CN 116602764 A90068步骤6、在极坐标系下，对当前图像与目标图像进行配准，得到眼球旋转的导航信息，从而完成眼球中心定位和旋转追踪。本实施例在极坐标系统进行眼球配准，是通过配准目标图像和搜索图像上多点位的毛细血管特征予以实现。连续的帧间图像配准可以保证眼球旋转配准有良好的连续性，但在长期的配准中存在累积误差，以参考图像为目标图像进行当前帧图像与参考图像的配准(即长时配准)可以避免误差的累积，但对于手术过程中眼球复杂的移动，遮挡和形变难以保持稳定性和连续性。本发明的端到端方法同时对两类目标进行配准，使网络具。
36、有良好的准确性，稳定性和持续性。其详细过程如下：0069步骤6.1、构建并训练孪生网络，孪生网络的输入为极坐标系下的术前图像和实时术中图像数据，用于提取极坐标系下的搜索图像和目标图像的巩膜毛细血管特征。所述搜索图像为实时图像中的当前帧图像，目标图像包括术前图像和前一帧图像，其中前一帧图像为帧间配准的目标图像，术前图像作为长时配准的目标图像。0070配准过程中，血管特征的形变是主要困难之一。因此，本实施例的孪生网络中设置形变网络，以用于解决血管特征形变问题，使提取到的特征更具鲁棒性。本实施例孪生网络的结构包括第一神经网络和第二神经网络，第一神经网络由依次连接的卷积层213和形变网络214组成；第。
37、二神经网络与第一神经网络结构相同，且权重共享；第一神经网络和第二神经网络的卷积层都连接极坐标采样器209，形变网络214连接卷积层209。0071由于眼球在手术过程中并非一个规则的形态，常常因为介入器械的挤压和拖拽带来形变，与参考图像相差较大，造成长期配准的成功率降低。形变网络的设置能够根据步骤3得到的分类预测图中的角膜边缘，对极坐标系下的图像进行角膜缘形变还原，根据边缘的形变伸缩始终将眼球边缘还原为圆形，消除眼球形变带来的配准困难，提高长期配准的稳定性。本实施例以角膜缘分割结果在极坐标系下的投影v为例，说明形变消除的过程。0072如图3所示，设v中目标位置灰度值为1、背景位置灰度值为0，在极。
38、坐标采样器中，建立极坐标系与直角坐标系的坐标映射关系：0073dRhw,00740075式中，x,y为v中的点，尺寸矩阵为hw的d为角膜缘分割v结果在y方向上的和与图像中轴线位置的差，即极坐标图像中每一行的形变量，x,y 为形变消除特征图在原极坐标特征图中的映射位置，利用该坐标映射对极坐标下的特征图进行采样投影301，则可以将图像的形变消除，使提取到的特征更具鲁棒性。0076步骤6.2、定义多点位高斯模板402，利用高斯模板和目标图像在线训练相关滤波器，计算该相关滤波器与搜索图像互相关性，获得相关性响应图。具体的：0077本实施例的高斯模板为图像灰度值以高斯函数分布的图像，灰度值峰值位置为目标。
39、位置，高斯模板中高斯分布的位置为目标图像希望配准的位置。高斯模板有多个，根据多个高斯模板建立稠密配准点位集，进行目标图像与搜索图像的非刚性配准。帧间配准高斯模板的更新策略可以为，根据前一帧位置预测结果逐帧更新，对同一目标持续追踪；也可以仅随巩膜区域变换而更新，均匀分布在巩膜边界处的巩膜区域内，仅对帧间形变进行配准。相关滤波器随目标图像和高斯模板的更新而更新。说明书6/9 页10CN 116602764 A100078本实施例采用相关滤波计算该相关滤波器与搜索图像互相关性，其工作机制为相关滤波器对手术图像进行判别回归215，生成在目标位置到达峰值的高斯分布响应。即通过指定位置的高斯标签G 216。
40、和目标图像T 211学习相关滤波器，实现逐帧图像的多血管特征目标追踪。相关滤波器w可以通过计算相关响应计算wi*Ti与高斯标签G的线性岭回归来在线学习：00790080其中，为正则化参数,防止过拟合。0081相关滤波器w通过循环矩阵在搜索图像S 210进行逐位相关性计算，为提高计算效率，将目标图像T 211与搜索图像S 210通过离散傅里叶变换F 218转至频域进行计算，提高计算效率，频域的相乘对应时域的卷积。00820083其中，F*(S)是F(S)的复共轭,为Hadamard积。0084responseF1(F*(w)F(S)0085相关滤波器w与搜素图像210相乘，获得频域下的响应图，将。
41、该响应图通过离散傅里叶逆变换219转回至频域得到时域响应图response 220，响应图的数值代表该位置与目标的相关性大小。0086步骤6.3、以相关性响应图为输入构建置信度网络221，对配准目标在当前帧图像中的位置区域进行预测，得到目标位置区域预测图405。置信度网络221由k层卷积归一化激活层的卷积层和一层卷积核为1的卷积层组成，k为大于等于2的整数，常取2，3，4。目标位置区域预测图405与响应图404相乘，作为配准结果222输出，配准结果222中的峰值位置为目标在当前帧的位置，该位置相关性响应值为配准结果的置信度，响应图峰值位置404相较高斯模板402的极坐标角度轴偏移量，为该点位的。
42、旋转量。如果追踪异常，则分类结果405为空，即不输出追踪位置，分类分支的作用是对响应图404进行分类，剔除非目标区域的干扰，提高配准的鲁棒性。0087步骤6.4、定义多点位的高斯模板402，计算搜索图像中多个目标位置在高斯模板中的位移量平均值，将其作为搜索图像相较于目标图像的旋转量，从而得到帧间配准结果C和长时配准结果L。如图4，与术前图像配准的长时配准可以均匀地分布高斯函数的中心位置，也可以在医生关注的指定位置设定高斯模板。帧间配准中，可以每一帧选择中心位置在巩膜区域内均匀分布的高斯模板，即对固定位置配准；也可以以前一帧的配准到的目标位置作为中心设立高斯模板，即对同一特征持续追踪。0088为。
43、消除累积误差、提高眼球旋转持续配准的稳定性、以及削弱错误配准结果对旋转配准的干扰，本实施例采用帧间配准结果和长时配准结果的加权和作为最终旋转量226：0089ZC+m(CL)0090m为帧间配准结果和长时配准结果加权和的权重，Z为最终旋转量。0091本实施例帧间配准结果与长时配准结果的加权和计算采用了卡尔曼滤波算法，卡尔曼滤波是一种融合多种观测信息进行最优状态估计的优化算法，可以抑制系统结果中噪说明书7/9 页11CN 116602764 A11声的干扰。E为眼球真实旋转量,帧间配准和长时配准的结果C,L分别可以看作含有噪声和 的系统：0092CE+0093LE+0094卡尔曼滤波方法中，权重。
44、m即为卡尔曼增益。0095mP/(P+Q)0096P与Q分别为帧间配准和长时配准的协方差。帧间配准和长时配准的结果加权和的权重在手术工程中根据配准结果动态变化。0097根据最终旋转量计算出当前帧图像的虹膜区域，对当前图像与目标图像的配准，完成眼球中心定位和虹膜边界分割。0098本实施例在进行眼球中心定位和虹膜边界分割过程中，还包含有平移量的计算，平移量的计算方法为：0099构建孪生网络的分割分支，分割分支由一个卷积层和一个分类层组成；卷积层接收孪生网络提取的虹膜边界毛细血管特征图和从直角坐标系变幻过来的眼球特征图，并进行融合后通过分类层进行虹膜区域分割，该虹膜区域在直角坐标系下的质心为最终眼球。
45、中心；该的眼球中心相较于手术初始眼球中心的位移量，该位移量为眼球的平移量。0100本实施例步骤3中还包括：在编解码网络后设置一个全连接层，全连接层的输入接解码器输出的眼球特征图，根据该特征图判断当前图像状态，以排除异常状态图像。在实际使用时，针对对已配准图像进行数据增强，数据增强的方法为：在配准位置处叠加来自其他眼部手术视频的随机位置的毛细血管特征信息，每一对已配准的图像在配准位置处叠加的毛细血管特征相同，不同对配准图像叠加的毛细血管特征不同。0101本实施例构建网络构建和训练过程，其数据对应的标签，采用了计算机辅助的方法进行标注。在进行语义分割的过程中，先采用人工进行小数据量标注，虹膜边界区。
46、域和巩膜区域进行像素级标注，图像异常状态进行二值标签标注，图像异常为0，正常为1。采用已有标签训练网络，对大量数据进行预测。人工筛选预测正确的标签，并通过调节网络参数，提高正确预测的覆盖率，对于难以预测正确的样本，采用人工修改计算机标注结果，或由人工进行标注。0102对于追踪问题，选取大量手术视频标注追踪标签。如图5，人工在初始帧图像501上选择位于虹膜边界506的巩膜血管特征点502，作为追踪点位，采用单目标追踪器，如基于相关滤波的KCF或基于孪生网络的SiamFc+，对血管特征点位进行追踪，人工对追踪结果进行筛选，保留正确结果，作为血管特征配准标签，并修改错误结果。每个视频选择分散的u个血。
47、管特征点位502、503、504、505进行标注，u为大于2的整数。在训练端到端网络时，对数据进行增强，对图像进行仿射变换，高斯模糊处理，亮度不均匀变化处理，增强网络对于手术中眼球的形变，图像模糊问题，画面光线不均的适应能力。网络需要两幅存在同一血管特征的标签509，510的图像507，508为一组作为标签训练配准分支，我们对标签的血管特征进行增强，对于每一组标签，额外随机取一张已完成巩膜分割的手术图像511，提取其含有血管信息的巩膜区域，进行缩放，旋转的仿射变换512后，与训练图像按照眼球中心位置叠加513，514，仿射变化的约束条件是在同一组训练图像的标注位置处叠加相同血管特征,得到一种新。
48、标签515,516,从而增强已标注的血管特征的多样性，提高网络泛化能力。说明书8/9 页12CN 116602764 A120103本实施例还提供了上述端到端眼科手术定位导航方法在眼科手术导航系统中的应用。图1是实施例的手术导航方法与设备在手术中工作流程图。如图1所示，手术医师115通过眼科手术显微镜112观察患者眼体113，使用多种介入器械114进行手术操作，眼部手术图像103通过图像采集系统101采集至计算机并输入处理模块108，处理模块108利用上述端到端眼科手术定位导航方法依次进行眼球关键信息的分割即语义分割104、极坐标转换105和眼球旋转配准，其中眼球旋转追踪包含对帧间目标的帧间配。
49、准106和长时配准107，得到导航信息109输出，并在投影系统116中呈现。参考图像111为术前医生采集的术前图像，用于长时配准107。如果图像来自双目立体视觉显微成像系统，还会对输出的导航信息109进行深度计算的点云处理110。0104图6是实施例处理双目立体视觉显微镜图像的示意图，如图6所示，如果图像采集系统601捕获的图像信息603来自双目立体视觉眼科手术系统602，网络604分双通道处理左右目镜图像，输出左右目镜图像导航信息605将通过点云处理606计算出深度信息。深度计算的一种具体实例为，将左右目镜图像眼球虹膜边界点集Piris 607，以及旋转轴与虹膜边界的交点608根据双目显微立。
50、体视觉系统的标定参数转换至三维空间609，虹膜边界点集在三维空间中的质心610，作为眼球中心，左右目镜图像旋转轴与虹膜边界焦点的平均位置611作为三维空间中眼球旋转的标识，三维导航信息可以在3d投影系统612中显示，或者通过分光镜613将导航信息显示于目镜视野内。0105如图7所示，眼部手术显微镜由物镜701，分光镜703，目镜704以及CMOS组件702构成，手术图像通过物镜701投射至目镜704，手术医生通过目镜观察手术图像，分光镜将光束通入CMOS组件，CMOS组件将图像传入计算机，手术导航模块处理手术图像，计算导航信息。图8所示为双目立体视觉手术显微镜，物镜系统分出两束光，投射至左右目。