基于深度学习的细胞成像方法及装置.pdf

上传人:小** 文档编号:14330717 上传时间:2024-02-08 格式:PDF 页数:20 大小:2.14MB
返回 下载 相关 举报
基于深度学习的细胞成像方法及装置.pdf_第1页
第1页 / 共20页
基于深度学习的细胞成像方法及装置.pdf_第2页
第2页 / 共20页
基于深度学习的细胞成像方法及装置.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《基于深度学习的细胞成像方法及装置.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的细胞成像方法及装置.pdf(20页珍藏版)》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202310587611.X(22)申请日 2023.05.23(71)申请人 广东唯仁医疗科技有限公司地址 528051 广东省佛山市禅城区古新路70号佛山高新区科技产业园中的四座(自编C座)六层的601-609 申请人 唯仁医疗(佛山)有限公司唯智医疗科技(佛山)有限公司(72)发明人 区初斌安林秦嘉(74)专利代理机构 宁波奇铭知识产权代理事务所(普通合伙)33473专利代理师 李铭(51)Int.Cl.G06T 11/00(2006.01)G06T 3/40(2006.01)G06T 3/。

2、00(2006.01)G06T 5/00(2006.01)G06T 5/50(2006.01)G06T 7/00(2017.01)G06T 7/33(2017.01)G06V 10/764(2022.01)G06V 10/77(2022.01)G06V 10/80(2022.01)G06V 10/82(2022.01)G06N 3/045(2023.01)G06N 3/0464(2023.01)G06N 3/0475(2023.01)G06N 3/09(2023.01)(54)发明名称基于深度学习的细胞成像方法及装置(57)摘要本发明涉及深度学习领域,揭露一种基于深度学习的细胞成像方法及装置,。

3、所述方法包括:利用训练好的前置神经网络模型对眼底图像进行图像重建,得到眼底图像的重建图像;对重建图像与细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合配准重建图像与配准细胞成像图,得到融合图像;将重建图像作为预训练的后置神经网络模型的输入数据,并将细胞成像图与融合图像作为预训练的后置神经网络模型的目标数据,以通过输入数据与目标数据对预训练的后置神经网络模型进行模型训练;利用训练好的前置神经网络模型与训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。本发明可以通过细胞成像来满足临床需求。权利要求书3页 说明书13页 附图3页CN 116612203 A20。

4、23.08.18CN 116612203 A1.一种基于深度学习的细胞成像方法,其特征在于,所述方法包括:采集历史患者的眼底图像,并采集所述眼底图像对应的眼部的细胞成像图;利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像;对所述重建图像与所述细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合所述配准重建图像与所述配准细胞成像图,得到融合图像;将所述重建图像作为预训练的后置神经网络模型的输入数据,并将所述细胞成像图与所述融合图像作为所述预训练的后置神经网络模型的目标数据,以通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到。

5、训练好的后置神经网络模型;利用所述训练好的前置神经网络模型与所述训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。2.根据权利要求1所述的方法,其特征在于,所述利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像之前,还包括:获取训练眼底图像,利用预训练的前置神经网络模型中的生成网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像;在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,并构建所述伪高分辨率图像对应的真高分辨率图像的特征图,得到真特征图;基于所述伪特征图与所述真特征图,利用下述公式计。

6、算所述生成网络的损失值,得到生成网络损失:其中,H(p,q)表示生成网络损失,p(xi)表示所述真特征图,q(xi)表示所述伪特征图,i表示特征图中特征的序号,xi表示特征图中的特征;基于所述伪特征图与所述真特征图,利用下述公式计算所述判别网络的损失值,得到判别网络损失:loss yf|+H(p,q)其中,loss表示所述判别网络损失,H(p,q)表示生成网络损失,y表示表示所述真特征图,f表示所述伪特征图;在所述生成网络损失与所述判别网络损失均大于预设损失时,对所述预训练的前置神经网络模型进行网络权重更新,得到更新网络权重之后的前置神经网络模型;在所述更新网络权重之后的前置神经网络模型的生成。

7、网络损失与判别网络损失均不大于所述预设损失时,得到所述训练好的前置神经网络模型。3.根据权利要求2所述的方法,其特征在于,所述利用预训练的前置神经网络模型中的生成网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像,包括:利用所述生成网络中的第一卷积层提取所述训练眼底图像的浅层特征,得到浅层特征图;利用所述生成网络中的残差层对所述浅层特征图进行参数校正,得到校正特征图;权利要求书1/3 页2CN 116612203 A2利用所述生成网络中的残差块提取所述校正特征图的深层特征,得到深层特征图;利用所述生成网络中的第二卷积层对所述深层特征图进行特征卷积处理,得到第二卷积图;叠加所述校正特征图与。

8、所述第二卷积图,得到叠加特征图;对所述叠加特征图进行分辨率重建,得到所述伪高分辨率图像。4.根据权利要求2所述的方法,其特征在于,所述在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,包括:对所述伪高分辨率图像进行特征提取,得到高分辨率特征图;对所述高分辨率特征图进行维度调整,得到维度调整特征图;对所述维度调整特征图进行线性映射,得到线性映射特征图;计算所述线性映射特征图的分类概率,将由所述分类概率构成的图像作为所述伪特征图。5.根据权利要求1所述的方法,其特征在于,所述融合所述配准重建图像与所述配准细胞成像图,得到融合图像,包括:对所述配准细胞成像图。

9、中的多个配准细胞成像图之间进行图像配准,得到二次配准细胞成像图;对所述二次配准细胞成像图中的多个二次配准细胞成像图进行图像融合,得到融合细胞成像图;融合所述融合细胞成像图与所述配准重建图像,得到所述融合图像。6.根据权利要求5所述的方法,其特征在于,所述融合所述融合细胞成像图与所述配准重建图像,得到所述融合图像,包括:分别对所述融合细胞成像图与所述配准重建图像进行多尺度小波分解,得到所述融合细胞成像图的低频分量和高频分量、所述配准重建图像的低频分量和高频分量;对所述融合细胞成像图的低频分量与所述配准重建图像的低频分量进行分量融合,得到低频融合图像;对所述融合细胞成像图的高频分量与所述配准重建图。

10、像的高频分量进行分量融合,得到高频融合图像;融合所述低频融合图像与所述高频融合图像,得到所述融合图像。7.根据权利要求1所述的方法,其特征在于,所述通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型,包括:构建所述目标数据的扩散步数及其高斯噪声图像;基于所述扩散步数,对所述目标数据进行前向扩散,得到前向扩散图;叠合所述输入数据与所述前向扩散图,得到输入扩散叠合图;基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像;利用下述公式计算所述降噪图像与所述高斯噪声图像之间的平均平方损失:其中,MSE表示平均平方损失,yj表示所述高斯。

11、噪声图像,表示所述降噪图像,j表示权利要求书2/3 页3CN 116612203 A3图像中像素点的序号,N表示图像中像素点的总数;利用所述平均平方损失对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型。8.根据权利要求7所述的方法,其特征在于,所述构建所述目标数据的扩散步数及其高斯噪声图像,包括:在预设的训练次数中选取所述扩散步数;将所述扩散步数转换为特征向量;构建所述特征向量的高斯噪声图像。9.根据权利要求7所述的方法,其特征在于,所述基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像,包括:获取所述扩散步数对应的特征向量、预训练的后置神经网络模型;。

12、将所述特征向量与所述输入扩散叠合图中的输入数据作为所述预训练的后置神经网络模型的监督向量;基于所述监督向量,利用所述预训练的后置神经网络模型对所述输入扩散叠合图进行图像降噪处理,得到所述降噪图像。10.一种基于深度学习的细胞成像装置,其特征在于,所述装置包括:图像采集模块,用于采集历史患者的眼底图像,并采集所述眼底图像对应的眼部的细胞成像图;图像重建模块,用于利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像;图像融合模块,用于对所述重建图像与所述细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合所述配准重建图像与所述配准细胞成像图,得到融合图像;模。

13、型训练模块,用于将所述重建图像作为预训练的后置神经网络模型的输入数据,并将所述细胞成像图与所述融合图像作为所述预训练的后置神经网络模型的目标数据,以通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型;细胞成像模块,用于利用所述训练好的前置神经网络模型与所述训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。权利要求书3/3 页4CN 116612203 A4基于深度学习的细胞成像方法及装置技术领域0001本发明涉及深度学习领域,尤其涉及一种基于深度学习的细胞成像方法及装置。背景技术0002在青光眼的发展过程中,神经节细。

14、胞每年都会丢失,即使在没有眼部疾病的受试者中,这些细胞的一小部分每年都会作为正常衰老的一部分死亡(0.190.72/年),因此,临床上有必要尽早区分疾病导致的神经节细胞损失和衰老导致的神经节细胞损失,并通过适当的治疗进行干预,以尽量减少细胞死亡。0003视网膜神经节细胞(GCs)的细胞水平定量特征是一种重要的生物标志物,可以改善神经退行性疾病如青光眼、帕金森病和阿尔茨海默病的诊断和治疗监测,然而,由于分辨率有限,单个GCs不能被常用的眼科成像系统可视化,即使如光学相干断层扫描技术(OCT),单个GCs的评估也仅限于总层厚度分析,自适应光学OCT(AOOCT)可以对单个视网膜GCs进行体内成像,。

15、但其采集区域小,耗时久,难以临床应用。因此,亟待一种细胞成像方案可以满足临床需求。发明内容0004为了解决上述问题,本发明提供了一种基于深度学习的细胞成像方法及装置,可以通过细胞成像来满足临床需求。0005第一方面,本发明提供了一种基于深度学习的细胞成像方法,包括:0006采集历史患者的眼底图像,并采集所述眼底图像对应的眼部的细胞成像图;0007利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像;0008对所述重建图像与所述细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合所述配准重建图像与所述配准细胞成像图,得到融合图像;0009将所述重建图像作为。

16、预训练的后置神经网络模型的输入数据,并将所述细胞成像图与所述融合图像作为所述预训练的后置神经网络模型的目标数据,以通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型;0010利用所述训练好的前置神经网络模型与所述训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。0011在第一方面的一种可能实现方式中,所述利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像之前,还包括:0012获取训练眼底图像,利用预训练的前置神经网络模型中的生成网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像;。

17、0013在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,并构建所述伪高分辨率图像对应的真高分辨率图像的特征图,得到说明书1/13 页5CN 116612203 A5真特征图;0014基于所述伪特征图与所述真特征图,利用下述公式计算所述生成网络的损失值,得到生成网络损失:00150016其中,H(p,q)表示生成网络损失,p(xi)表示所述真特征图,q(xi)表示所述伪特征图,i表示特征图中特征的序号,xi表示特征图中的特征;0017基于所述伪特征图与所述真特征图,利用下述公式计算所述判别网络的损失值,得到判别网络损失:0018loss yf|+H(p。

18、,q)0019其中,loss表示所述判别网络损失,H(p,q)表示生成网络损失,y表示表示所述真特征图,f表示所述伪特征图;0020在所述生成网络损失与所述判别网络损失均大于预设损失时,对所述预训练的前置神经网络模型进行网络权重更新,得到更新网络权重之后的前置神经网络模型;0021在所述更新网络权重之后的前置神经网络模型的生成网络损失与判别网络损失均不大于所述预设损失时,得到所述训练好的前置神经网络模型。0022在第一方面的一种可能实现方式中,所述利用预训练的前置神经网络模型中的生成网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像,包括:0023利用所述生成网络中的第一卷积层提取所述训。

19、练眼底图像的浅层特征,得到浅层特征图;0024利用所述生成网络中的残差层对所述浅层特征图进行参数校正,得到校正特征图;0025利用所述生成网络中的残差块提取所述校正特征图的深层特征,得到深层特征图;0026利用所述生成网络中的第二卷积层对所述深层特征图进行特征卷积处理,得到第二卷积图;0027叠加所述校正特征图与所述第二卷积图,得到叠加特征图;0028对所述叠加特征图进行分辨率重建,得到所述伪高分辨率图像。0029在第一方面的一种可能实现方式中,所述在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,包括:0030对所述伪高分辨率图像进行特征提取,得到高。

20、分辨率特征图;0031对所述高分辨率特征图进行维度调整,得到维度调整特征图;0032对所述维度调整特征图进行线性映射,得到线性映射特征图;0033计算所述线性映射特征图的分类概率,将由所述分类概率构成的图像作为所述伪特征图。0034在第一方面的一种可能实现方式中,所述融合所述配准重建图像与所述配准细胞成像图,得到融合图像,包括:0035对所述配准细胞成像图中的多个配准细胞成像图之间进行图像配准,得到二次配准细胞成像图;0036对所述二次配准细胞成像图中的多个二次配准细胞成像图进行图像融合,得到融说明书2/13 页6CN 116612203 A6合细胞成像图;0037融合所述融合细胞成像图与所述。

21、配准重建图像,得到所述融合图像。0038在第一方面的一种可能实现方式中,所述融合所述融合细胞成像图与所述配准重建图像,得到所述融合图像,包括:0039分别对所述融合细胞成像图与所述配准重建图像进行多尺度小波分解,得到所述融合细胞成像图的低频分量和高频分量、所述配准重建图像的低频分量和高频分量;0040对所述融合细胞成像图的低频分量与所述配准重建图像的低频分量进行分量融合,得到低频融合图像;0041对所述融合细胞成像图的高频分量与所述配准重建图像的高频分量进行分量融合,得到高频融合图像;0042融合所述低频融合图像与所述高频融合图像,得到所述融合图像。0043在第一方面的一种可能实现方式中,所述。

22、通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型,包括:0044构建所述目标数据的扩散步数及其高斯噪声图像;0045基于所述扩散步数,对所述目标数据进行前向扩散,得到前向扩散图;0046叠合所述输入数据与所述前向扩散图,得到输入扩散叠合图;0047基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像;0048利用下述公式计算所述降噪图像与所述高斯噪声图像之间的平均平方损失:00490050其中,MSE表示平均平方损失,yj表示所述高斯噪声图像,表示所述降噪图像,j表示图像中像素点的序号,N表示图像中像素点的总数;0051利用。

23、所述平均平方损失对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型。0052在第一方面的一种可能实现方式中,所述构建所述目标数据的扩散步数及其高斯噪声图像,包括:0053在预设的训练次数中选取所述扩散步数;0054将所述扩散步数转换为特征向量;构建所述特征向量的高斯噪声图像。0055在第一方面的一种可能实现方式中,所述基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像,包括:0056获取所述扩散步数对应的特征向量、预训练的后置神经网络模型;0057将所述特征向量与所述输入扩散叠合图中的输入数据作为所述预训练的后置神经网络模型的监督向量;0058基于所述监。

24、督向量,利用所述预训练的后置神经网络模型对所述输入扩散叠合图进行图像降噪处理,得到所述降噪图像。0059第二方面,本发明提供了一种基于深度学习的细胞成像装置,所述装置包括:0060图像采集模块,用于采集历史患者的眼底图像,并采集所述眼底图像对应的眼部的细胞成像图;说明书3/13 页7CN 116612203 A70061图像重建模块,用于利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像;0062图像融合模块,用于对所述重建图像与所述细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合所述配准重建图像与所述配准细胞成像图,得到融合图像;0063模型训练。

25、模块,用于将所述重建图像作为预训练的后置神经网络模型的输入数据,并将所述细胞成像图与所述融合图像作为所述预训练的后置神经网络模型的目标数据,以通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型;0064细胞成像模块,用于利用所述训练好的前置神经网络模型与所述训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。0065与现有技术相比,本方案的技术原理及有益效果在于:0066本发明实施例首先通过采集历史患者的眼底图像,以用于利用所生成的所述眼底图像对应的包含细胞的眼底图来训练神经网络模型,使得神经网络模型可以满足临床需求,。

26、进一步地,本发明实施例通过采集所述眼底图像对应的眼部的细胞成像图,以用于将所述细胞成像图作为所述眼底图像在神经网络模型中对应的输出数据,进一步地,本发明实施例通过利用训练好的前置神经网络模型对所述眼底图像进行图像重建,以用于将低分辨率的眼底图像重建为与细胞成像图的高分辨率一致的图像,进一步地,本发明实施例通过融合所述配准重建图像与所述配准细胞成像图,以用于将所述融合图像作为所述重建图像在神经网络模型中的期望输出数据,通过训练神经网络模型,能够使得神经网络模型能够基于所输入的重建图像,输出对应的附加有细胞结构的OCT图像,进一步地,本发明实施例通过对所述预训练的后置神经网络模型进行模型训练,以用。

27、于使得所述后置神经网络模型能够基于所输入的眼底图像输出对应的细胞成像图与附加有细胞结构的OCT图像,从而应用于临床医学。因此,本发明实施例提出的一种基于深度学习的细胞成像方法及装置,可以通过细胞成像来满足临床需求。附图说明0067此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。0068为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。0069图1为本发明一实施例提供的一。

28、种基于深度学习的细胞成像方法的流程示意图;0070图2为本发明一实施例中图1提供的一种基于深度学习的细胞成像方法的生成网络的结构示意图;0071图3为本发明一实施例中图1提供的一种基于深度学习的细胞成像方法的判别网络的结构示意图;0072图4为本发明一实施例提供的一种基于深度学习的细胞成像装置的模块示意图;0073图5为本发明一实施例提供的实现基于深度学习的细胞成像方法的电子设备的内说明书4/13 页8CN 116612203 A8部结构示意图。具体实施方式0074应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。0075本发明实施例提供一种基于深度学习的细胞成像方法,。

29、所述基于深度学习的细胞成像方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述基于深度学习的细胞成像方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。0076参阅图1。

30、所示,是本发明一实施例提供的基于深度学习的细胞成像方法的流程示意图。其中,图1中描述的基于深度学习的细胞成像方法包括:0077S1、采集历史患者的眼底图像,并采集所述眼底图像对应的眼部的细胞成像图。0078本发明实施例通过采集历史患者的眼底图像,以用于利用所生成的所述眼底图像对应的包含细胞的眼底图来训练神经网络模型,使得神经网络模型可以满足临床需求。0079其中,所述眼底图像是指通过光学相干断层扫描技术(OCT)采集的OCT眼底图像。0080进一步地,本发明实施例通过采集所述眼底图像对应的眼部的细胞成像图,以用于将所述细胞成像图作为所述眼底图像在神经网络模型中对应的输出数据。0081其中,所述。

31、细胞成像图是指利用AOOCT采集与所述眼底图像对应的区域的细胞成像图;所述AOOCT是指自适应光学OCT技术(AOOCT)。0082S2、利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像。0083本发明实施例通过利用训练好的前置神经网络模型对所述眼底图像进行图像重建,以用于将低分辨率的眼底图像重建为与细胞成像图的高分辨率一致的图像。0084其中,所述重建图像是指高分辨率的眼底图像。0085本发明的一实施例中,所述利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像之前,还包括:获取训练眼底图像,利用预训练的前置神经网络模型中的生成。

32、网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像;在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,并构建所述伪高分辨率图像对应的真高分辨率图像的特征图,得到真特征图;基于所述伪特征图与所述真特征图,利用下述公式计算所述生成网络的损失值,得到生成网络损失:00860087其中,H(p,q)表示生成网络损失,p(xi)表示所述真特征图,q(xi)表示所述伪特征图,i表示特征图中特征的序号,xi表示特征图中的特征;0088基于所述伪特征图与所述真特征图,利用下述公式计算所述判别网络的损失值,说明书5/13 页9CN 116612203 A9得到判别。

33、网络损失:0089loss yf|+H(p,q)0090其中,loss表示所述判别网络损失,H(p,q)表示生成网络损失,y表示表示所述真特征图,f表示所述伪特征图;0091在所述生成网络损失与所述判别网络损失均大于预设损失时,对所述预训练的前置神经网络模型进行网络权重更新,得到更新网络权重之后的前置神经网络模型;在所述更新网络权重之后的前置神经网络模型的生成网络损失与判别网络损失均不大于所述预设损失时,得到所述训练好的前置神经网络模型。0092其中,交叉熵损失函数具有“误差大的时候,权重更新快;误差小的时候,权重更新慢”的良好性质;绝对值损失函数用于不太受异常值影响的数据集。0093本发明的。

34、又一实施例中,所述利用预训练的前置神经网络模型中的生成网络对所述训练眼底图像进行分辨率重建,得到伪高分辨率图像,包括:利用所述生成网络中的第一卷积层提取所述训练眼底图像的浅层特征,得到浅层特征图;利用所述生成网络中的残差层对所述浅层特征图进行参数校正,得到校正特征图;利用所述生成网络中的残差块提取所述校正特征图的深层特征,得到深层特征图;利用所述生成网络中的第二卷积层对所述深层特征图进行特征卷积处理,得到第二卷积图;叠加所述校正特征图与所述第二卷积图,得到叠加特征图;对所述叠加特征图进行分辨率重建,得到所述伪高分辨率图像。0094其中,所述第一卷积层是指具有64个通道,99个核大小的一个卷积层。

35、;所述残差层是指用于参数校正的线性单元(PReLU);所述残差块包括8个残差块,每个残差块包括两层卷积层、两层卷积层中间夹杂着的残差层及最后一层的和符号;所述第二卷积层是指具有64个通道和3个33内核大小的卷积层。0095可选地,所述利用所述生成网络中的残差块提取所述校正特征图的深层特征,得到深层特征图的过程为:在所述残差块中的每个残差块中,特征图经过两层卷积层及两层卷积层中间夹杂着的残差层输出之后,所输出的特征图需与输入至此残差块的输入特征图进行叠加,叠加结果再继续作为下一层的残差块输入特征图。0096可选地,所述对所述叠加特征图进行分辨率重建,得到所述伪高分辨率图像的过程通过第三卷积层实现。

36、,所述第三卷积层是指具有1通道和99核大小的卷积层。0097参阅图2所示,为本发明一实施例中图1提供的一种基于深度学习的细胞成像方法的生成网络的结构示意图。在图2中,G网络表示生成网络。0098本发明的又一实施例中,所述在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图,包括:对所述伪高分辨率图像进行特征提取,得到高分辨率特征图;对所述高分辨率特征图进行维度调整,得到维度调整特征图;对所述维度调整特征图进行线性映射,得到线性映射特征图;计算所述线性映射特征图的分类概率,将由所述分类概率构成的图像作为所述伪特征图。0099可选地,所述对所述伪高分辨率图像进。

37、行特征提取,得到高分辨率特征图的过程为:利用所述判别网络中的卷积层、残差层、归一化层对所述伪高分辨率图像进行特征提取。0100可选地,所述对所述高分辨率特征图进行维度调整,得到维度调整特征图的过程为:通过所述判别网络中的密集层(dense)对所述高分辨率特征图进行维度调整。说明书6/13 页10CN 116612203 A100101可选地,所述对所述维度调整特征图进行线性映射,得到线性映射特征图的过程为:利用所述判别网络中的残差层(LeakyRelu)对所述维度调整特征图进行线性映射。0102可选地,所述计算所述线性映射特征图的分类概率的过程通过所述判别网络中的激活函数(sigmond)实现。

38、。0103参阅图3所示,为本发明一实施例中图1提供的一种基于深度学习的细胞成像方法的判别网络的结构示意图。在图3中,D网络表示判别网络。0104本发明的又一实施例中,所述构建所述伪高分辨率图像对应的真高分辨率图像的特征图,得到真特征图的原理与上述在所述预训练的前置神经网络模型中的判别网络中,构建所述伪高分辨率图像的特征图,得到伪特征图的原理类似,在此不做进一步地赘述。0105可选地,所述在所述生成网络损失与所述判别网络损失均大于预设损失时,对所述预训练的前置神经网络模型进行网络权重更新,得到更新网络权重之后的前置神经网络模型的过程为:在训练的过程中,需要固定生成网络与判别网络中的一方,更新另一。

39、方的网络状态,如此交替进行,在整个训练的过程中,双方都极力优化自己的网络,从而形成竞争对抗,直到双方达到一个动态的平衡,此时生成网络训练出来的数据与真实数据的分布几乎相同,判别网络也无法再判断出真伪,其中,迭代训练次数在100010000次范围内容。0106可选地,所述利用训练好的前置神经网络模型对所述眼底图像进行图像重建,得到所述眼底图像的重建图像的过程为:利用所述训练好的前置神经网络模型中的生成网络实现。0107S3、对所述重建图像与所述细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图,融合所述配准重建图像与所述配准细胞成像图,得到融合图像。0108可选地,所述对所述重建图像与所述。

40、细胞成像图进行图像配准,得到配准重建图像与配准细胞成像图的过程为:分别提取所述重建图像与所述细胞成像图的特征域,基于所述重建图像的特征域与所述细胞成像图的特征域之间的特征点距离,在所述重建图像的特征域中找到与所述细胞成像图的特征域相匹配的特征点,得到互相匹配的特征点对,利用单应性变换将所述重建图像的特征域进行旋转、平移等操作,使得所述重建图像的特征域的坐标系能够与所述细胞成像图的特征域的坐标系保持一致。0109进一步地,本发明实施例通过融合所述配准重建图像与所述配准细胞成像图,以用于将所述融合图像作为所述重建图像在神经网络模型中的期望输出数据,通过训练神经网络模型,能够使得神经网络模型能够基于。

41、所输入的重建图像,输出对应的附加有细胞结构的OCT图像。0110其中,所述融合图像是指具有细胞成像的OCT眼底图。0111本发明的一实施例中,所述融合所述配准重建图像与所述配准细胞成像图,得到融合图像,包括:对所述配准细胞成像图中的多个配准细胞成像图之间进行图像配准,得到二次配准细胞成像图;对所述二次配准细胞成像图中的多个二次配准细胞成像图进行图像融合,得到融合细胞成像图;融合所述融合细胞成像图与所述配准重建图像,得到所述融合图像。0112可选地,所述对所述配准细胞成像图中的多个配准细胞成像图之间进行图像配准,得到二次配准细胞成像图的过程为:选择其中一张配准细胞成像图作为参考帧,其他图像进行图。

42、像配准,配准的方法可以为刚性或非刚性方法,例如模板匹配、Phase Cross说明书7/13 页11CN 116612203 A11Correlation、Affine、BSpline等配准方法。0113可选地,所述对所述二次配准细胞成像图中的多个二次配准细胞成像图进行图像融合,得到融合细胞成像图的过程为:对配准后图像进行多帧图像融合,可通过直接平均或双边权重的方式进行融合。0114本发明的又一实施例中,所述融合所述融合细胞成像图与所述配准重建图像,得到所述融合图像,包括:分别对所述融合细胞成像图与所述配准重建图像进行多尺度小波分解,得到所述融合细胞成像图的低频分量和高频分量、所述配准重建图像。

43、的低频分量和高频分量;对所述融合细胞成像图的低频分量与所述配准重建图像的低频分量进行分量融合,得到低频融合图像;对所述融合细胞成像图的高频分量与所述配准重建图像的高频分量进行分量融合,得到高频融合图像;融合所述低频融合图像与所述高频融合图像,得到所述融合图像。0115可选地,所述对所述融合细胞成像图的低频分量与所述配准重建图像的低频分量进行分量融合,得到低频融合图像的过程通过低频融合权重实现;所述对所述融合细胞成像图的高频分量与所述配准重建图像的高频分量进行分量融合,得到高频融合图像的过程通过高频融合权重实现。0116S4、将所述重建图像作为预训练的后置神经网络模型的输入数据,并将所述细胞成像。

44、图与所述融合图像作为所述预训练的后置神经网络模型的目标数据,以通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型。0117本发明实施例通过对所述预训练的后置神经网络模型进行模型训练,以用于使得所述后置神经网络模型能够基于所输入的眼底图像输出对应的细胞成像图与附加有细胞结构的OCT图像,从而应用于临床医学。0118本发明的一实施例中,所述通过所述输入数据与所述目标数据对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型,包括:构建所述目标数据的扩散步数及其高斯噪声图像;基于所述扩散步数,对所述目标数据进行前向扩散,得到前向扩。

45、散图;叠合所述输入数据与所述前向扩散图,得到输入扩散叠合图;基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像;利用下述公式计算所述降噪图像与所述高斯噪声图像之间的平均平方损失:01190120其中,MSE表示平均平方损失,yj表示所述高斯噪声图像,表示所述降噪图像,j表示图像中像素点的序号,N表示图像中像素点的总数;0121利用所述平均平方损失对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型。0122其中,所述平均平方损失是指平均平方误差。0123本发明的又一实施例中,所述构建所述目标数据的扩散步数及其高斯噪声图像,包括:在预设的训练次数中选取所述扩。

46、散步数;将所述扩散步数转换为特征向量;构建所述特征向量的高斯噪声图像。说明书8/13 页12CN 116612203 A120124可选地,所述在预设的训练次数中选取所述扩散步数的过程为:在训练的时候,从1T(T为100以上)中随机抽取步数n,表示需要迭代训练n步;所述将所述扩散步数转换为特征向量的过程为:通过线性层将扩散步数n转化为t特征向量;所述构建所述特征向量的高斯噪声图像的过程为:随机生成一个t特征向量的高斯噪声图像e。0125本发明的又一实施例中,所述基于所述扩散步数,对所述输入扩散叠合图进行图像降噪处理,得到降噪图像,包括:获取所述扩散步数对应的特征向量、预训练的后置神经网络模型;。

47、将所述特征向量与所述输入扩散叠合图中的输入数据作为所述预训练的后置神经网络模型的监督向量;基于所述监督向量,利用所述预训练的后置神经网络模型对所述输入扩散叠合图进行图像降噪处理,得到所述降噪图像。0126可选地,将t特征向量与所述输入扩散叠合图中的输入数据作为所述后置神经网络模型中编码器的每一层的监督向量加入到编码器网络中,并利用所述后置神经网络模型的编码器解码器结构对所述输入扩散叠合图进行图像降噪处理,得到降噪图像。0127可选地,所述利用所述平均平方损失对所述预训练的后置神经网络模型进行模型训练,得到训练好的后置神经网络模型的过程为:通过后向梯度传播,更新后置网络的权重。0128S5、利用。

48、所述训练好的前置神经网络模型与所述训练好的后置神经网络模型对当前患者的眼底图像进行细胞成像,得到细胞成像结果。0129其中,所述细胞成像结果包括所述当前患者的眼底图像对应的AOOCT细胞成像图和附加有细胞结构的OCT图像。0130可以看出,本发明实施例首先通过采集历史患者的眼底图像,以用于利用所生成的所述眼底图像对应的包含细胞的眼底图来训练神经网络模型,使得神经网络模型可以满足临床需求,进一步地,本发明实施例通过采集所述眼底图像对应的眼部的细胞成像图,以用于将所述细胞成像图作为所述眼底图像在神经网络模型中对应的输出数据,进一步地,本发明实施例通过利用训练好的前置神经网络模型对所述眼底图像进行图。

49、像重建,以用于将低分辨率的眼底图像重建为与细胞成像图的高分辨率一致的图像,进一步地,本发明实施例通过融合所述配准重建图像与所述配准细胞成像图,以用于将所述融合图像作为所述重建图像在神经网络模型中的期望输出数据,通过训练神经网络模型,能够使得神经网络模型能够基于所输入的重建图像,输出对应的附加有细胞结构的OCT图像,进一步地,本发明实施例通过对所述预训练的后置神经网络模型进行模型训练,以用于使得所述后置神经网络模型能够基于所输入的眼底图像输出对应的细胞成像图与附加有细胞结构的OCT图像,从而应用于临床医学。因此,本发明实施例提出的一种基于深度学习的细胞成像方法可以通过细胞成像来满足临床需求。01。

50、31如图4所示,是本发明基于深度学习的细胞成像装置功能模块图。0132本发明所述基于深度学习的细胞成像装置400可以安装于电子设备中。根据实现的功能,所述基于深度学习的细胞成像装置可以包括图像采集模块401、图像重建模块402、图像融合模块403、模型训练模块404以及细胞成像模块405。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。0133在本发明实施例中,关于各模块/单元的功能如下:说明书9/13 页13CN 116612203 A130134所述图像采集模块401,用于采集历史患者的眼底图像,并采。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1