《基于高光谱图像的良恶性肿瘤识别系统.pdf》由会员分享，可在线阅读，更多相关《基于高光谱图像的良恶性肿瘤识别系统.pdf（9页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202211455674.1 (22)申请日 2022.11.21 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 李玮张振磊雷晟暄赵晗竹 张延冰安皓源赵宇航田崇轩 宋峻林 (74)专利代理机构 济南圣达知识产权代理有限 公司 37221 专利代理师 李圣梅 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06T 5/00(2023.01) G06V 10/44(2022.01) G0。
2、6V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/0464(2006.01) (54)发明名称 一种基于高光谱图像的良恶性肿瘤识别系 统 (57)摘要 本发明提供一种基于高光谱图像的良恶性 肿瘤识别系统， 涉及医学图像处理技术领域， 该 系统包括： 特征提取模块， 用于对获取的高光谱 图像进行锐化处理， 提取经锐化处理后高光谱图 像的边缘特征图； 特征融合模块， 用于利用拉普 拉斯金字塔图像融合算法对高光谱图像和边缘 特征图进行不同频带特征的融合， 得到肿瘤高光 谱特征增强图； 识别模块， 用于将肿瘤高光谱特 征增强图输入至预先训练的良恶性肿瘤识别模 。
3、型中， 输出得到肿瘤边界特征， 根据肿瘤边界特 征确定高光谱图像的肿瘤类别。 通过该系统能够 提取出更加丰富的肿瘤边缘信息， 加强对于恶性 肿瘤不明显情况下的肿瘤识别性能， 从而提高良 恶性肿瘤识别的准确率。 权利要求书1页 说明书5页 附图2页 CN 115719340 A 2023.02.28 CN 115719340 A 1.一种基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 包括： 特征提取模块， 用于对获取的高光谱图像进行锐化处理， 提取经锐化处理后高光谱图 像的边缘特征图； 特征融合模块， 用于利用拉普拉斯金字塔图像融合算法对所述高光谱图像和边缘特征 图进行不同频带特征的融合，。
4、 得到肿瘤高光谱特征增强图； 识别模块， 用于将所述肿瘤高光谱特征增强图输入至预先训练的良恶性肿瘤识别模型 中， 输出得到肿瘤边界特征， 根据所述肿瘤边界特征确定高光谱图像的肿瘤类别， 所述肿瘤 类别包括恶性肿瘤和良性肿瘤。 2.如权利要求1所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 所述特征 提取模块具体用于： 利用高通滤波器提取出所述高光谱图像的高频部分特征， 根据所述高 频部分特征生成边缘特征图； 所述高频部分特征包括肿瘤的边缘特征和形态特征。 3.如权利要求2所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 采用二阶 巴特沃斯高通滤波器对所述高光谱图像进行锐化处理。
5、。 4.如权利要求1所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 所述特征 融合模块具体用于： 分别构建高光谱图像和边缘特征图的拉普拉斯金字塔， 所述拉普拉斯金字塔具有预设 的层数， 每一层的图像是前一层图像经过高斯模糊下采样的图像； 针对所述拉普拉斯金字塔的每一层， 采用预设的融合公式对高光谱图像和边缘特征图 像进行融合； 利用融合后的拉普拉斯金字塔重建输出肿瘤高光谱特征增强图。 5.如权利要求4所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 所述融合 公式包括取大运算、 取小运算、 求取平均值、 区域加权。 6.如权利要求4所述的基于高光谱图像的良恶性肿瘤识别系统， 。
6、其特征在于， 对融合后 的拉普拉斯金字塔， 从其顶层开始逐层从上至下使用内插的方法进行图像重建， 输出得到 肿瘤高光谱特征增强图。 7.如权利要求1所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 基于残差 注意力网络构建所述良恶性肿瘤识别模型； 其中， 所述残差注意力网络由多层注意力模块堆叠而成， 每个注意力模块包括： 掩膜分 支和主干分支； 主干分支进行特征处理， 得到特征图； 掩膜分支使用自下而上、 自上而下注 意力相结合的方式， 学习得到一个与主干输出大小相同的掩膜， 用于选择特征图的特征。 8.如权利要求5所述的基于高光谱图像的良恶性肿瘤识别系统， 其特征在于， 利用带有 标。
7、签的肿瘤高光谱特征增强图样本对所构建的良恶性肿瘤识别模型进行训练， 调整掩膜分 支和主干分支的相关参数， 得到训练好的良恶性肿瘤识别模型。 权利要求书 1/1 页 2 CN 115719340 A 2 一种基于高光谱图像的良恶性肿瘤识别系统 技术领域 0001 本发明属于医学图像处理技术领域， 尤其涉及一种基于高光谱图像的良恶性肿瘤 识别系统。 背景技术 0002 本部分的陈述仅仅是提供了与本发明相关的背景技术信息， 不必然构成已经成为 本领域一般技术人员所公知的现有技术。 0003 肿瘤的良恶性检测的金标准是病理检查， 通过显微镜下观察或使用免疫组织化学 染色检查切除的小块肿瘤组织。 通常情。
8、况下， 恶性肿瘤、 良性肿瘤与人体正常细胞之间的边 缘特征和形态特征是判断肿瘤良恶性的关键。 首先根据肿瘤的形态， 一般有毛刺， 表面不平 的恶性程度较高， 良性肿瘤都呈现出了圆形、 椭圆形状态； 其次是与周围组织的关系， 良性 肿瘤表面有包膜分布， 所以其和周围组织的边界相当清晰， 恶性肿瘤却不同， 由于癌细胞增 殖速度非常快， 在体内肆意增长， 其表面又没有包膜分布， 所以恶性肿瘤的形态多不规则、 与周围边界不清晰； 最后看肿瘤是否发生转移和并发症状， 良性肿瘤因为有包膜不易发生 浸润转移。 0004 肿瘤良恶性检测的病理活检通常需要三天时间才能出结果， 时间较长， 而现有基 于肿瘤边缘的。
9、良恶性识别方法， 在边缘提取的过程中容易发生特征丢失的问题， 因而只能 识别出表现明显时的恶性肿瘤， 当肿瘤的生存情况介于良恶性之间时， 其识别的准确率相 对较低。 发明内容 0005 为了解决上述问题， 本发明提供一种基于高光谱图像的良恶性肿瘤识别系统， 通 过对高光图像进行锐化， 以及不同频带特征的融合处理， 以提取出更加丰富的肿瘤边缘信 息， 加强对于恶性肿瘤不明显情况下的肿瘤识别性能。 0006 为了实现上述目的， 本发明主要包括以下内容： 0007 本发明实施例提供了一种基于高光谱图像的良恶性肿瘤识别系统， 包括： 0008 特征提取模块， 用于对获取的高光谱图像进行锐化处理， 提取。
10、经锐化处理后高光 谱图像的边缘特征图； 0009 特征融合模块， 用于利用拉普拉斯金字塔图像融合算法对所述高光谱图像和边缘 特征图进行不同频带特征的融合， 得到肿瘤高光谱特征增强图； 0010 识别模块， 用于将所述肿瘤高光谱特征增强图输入至预先训练的良恶性肿瘤识别 模型中， 输出得到肿瘤边界特征， 根据所述肿瘤边界特征确定高光谱图像的肿瘤类别， 所述 肿瘤类别包括恶性肿瘤和良性肿瘤。 0011 在一种可能的实施方式中， 所述特征提取模块具体用于： 利用高通滤波器提取出 所述高光谱图像的高频部分特征， 根据所述高频部分特征生成边缘特征图； 所述高频部分 特征包括肿瘤的边缘特征和形态特征。 说明。
11、书 1/5 页 3 CN 115719340 A 3 0012 在一种可能的实施方式中， 采用二阶巴特沃斯高通滤波器对所述高光谱图像进行 锐化处理。 0013 在一种可能的实施方式中， 所述特征融合模块具体用于： 0014 分别构建高光谱图像和边缘特征图的拉普拉斯金字塔， 所述拉普拉斯金字塔具有 预设的层数， 每一层的图像是前一层图像经过高斯模糊下采样的图像； 0015 针对所述拉普拉斯金字塔的每一层， 采用预设的融合公式对高光谱图像和边缘特 征图像进行融合； 0016 利用融合后的拉普拉斯金字塔重建输出肿瘤高光谱特征增强图。 0017 在一种可能的实施方式中， 所述融合公式包括取大运算、 取。
12、小运算、 求取平均值、 区域加权。 0018 在一种可能的实施方式中， 对融合后的拉普拉斯金字塔， 从其顶层开始逐层从上 至下使用内插的方法进行图像重建， 输出得到肿瘤高光谱特征增强图。 0019 在一种可能的实施方式中， 基于残差注意力网络构建所述良恶性肿瘤识别模型； 0020 其中， 残差注意力网络由多层注意力模块堆叠而成， 每个注意力模块包括： 掩膜分 支和主干分支； 主干分支进行特征处理， 得到特征图； 掩膜分支使用自下而上、 自上而下注 意力相结合的方式， 学习得到一个与主干输出大小相同的的掩膜， 用于选择特征图的特征。 0021 在一种可能的实施方式中， 利用带有标签的肿瘤高光谱特。
13、征增强图样本对所构建 的良恶性肿瘤识别模型进行训练， 调整掩膜分支和主干分支的相关参数， 得到训练好的良 恶性肿瘤识别模型。 0022 以上一个或多个技术方案存在以下有益效果： 0023 (1)本发明提供了一种基于高光谱图像的良恶性肿瘤识别系统， 包括特征提取模 块、 特征融合模块和识别模块， 通过对高光谱图像进行锐化处理得到边缘特征图， 并对边缘 特征图和高光谱图像的不同频带特征进行融合， 可以避免特征提取过程中特征丢失的问 题， 提取出更加丰富的肿瘤边缘信息。 进而， 根据融合后的肿瘤高光谱特征增强图识别肿瘤 类别， 能够加强对于恶性肿瘤不明显情况下的肿瘤识别性能， 提高良恶性肿瘤识别的准。
14、确 率。 0024 (2)相较于传统的肿瘤良恶性鉴别金标准病理检测方法， 该系统的识别速度快， 并 且在识别过程中不需要相关的化学反应物， 在一定程度上能够节约成本， 提高良恶性肿瘤 的识别效率。 附图说明 0025 构成本发明的一部分的说明书附图用来提供对本发明的进一步理解， 本发明的示 意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定。 0026 图1是本发明实施例所提供的基于高光谱图像的良恶性肿瘤识别系统的结构示意 图之一； 0027 图2是本发明实施例所提供的构建拉普拉斯金字塔的流程示意图； 0028 图3是本发明实施例所提供的基于高光谱图像的良恶性肿瘤识别系统的结构示意。
15、 图之二。 说明书 2/5 页 4 CN 115719340 A 4 具体实施方式 0029 下面结合附图与实施例对本发明作进一步说明。 0030 应该指出， 以下详细说明都是示例性的， 旨在对本发明提供进一步的说明。 除非另 有指明， 本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常 理解的相同含义。 0031 需要注意的是， 这里所使用的术语仅是为了描述具体实施方式， 而非意图限制根 据本发明的示例性实施方式。 如在这里所使用的， 除非上下文另外明确指出， 否则单数形式 也意图包括复数形式， 此外， 还应当理解的是， 当在本说明书中使用术语 “包含” 和/或 “包 括。
16、” 时， 其指明存在特征、 步骤、 操作、 器件、 组件和/或它们的组合。 0032 如图1所示， 本发明实施例提供一种基于高光谱图像的良恶性肿瘤识别系统， 该系 统包括： 0033 特征提取模块110， 用于对获取的高光谱图像进行锐化处理， 提取经锐化处理后高 光谱图像的边缘特征图； 0034 特征融合模块120， 用于利用拉普拉斯金字塔图像融合算法对所述高光谱图像和 边缘特征图进行不同频带特征的融合， 得到肿瘤高光谱特征增强图； 0035 识别模块130， 用于将所述肿瘤高光谱特征增强图输入至预先训练的良恶性肿瘤 识别模型中， 输出得到肿瘤边界特征， 根据所述肿瘤边界特征确定高光谱图像的肿。
17、瘤类别， 所述肿瘤类别包括恶性肿瘤和良性肿瘤。 0036 在具体实施中， 图像锐化处理的目的是为了使图像的边缘、 轮廓线以及图像的细 节变得清晰， 图像边缘信息主要集中在图像高频部分， 所以先对扫描形成的肿瘤高光谱图 像进行锐化处理， 提取经锐化处理后高光谱图像的边缘特征图。 0037 作为一可选实施方式， 所述特征提取模块具体用于： 利用高通滤波器提取出所述 高光谱图像的高频部分特征， 根据所述高频部分特征生成边缘特征图； 所述高频部分特征 包括肿瘤的边缘特征和形态特征。 在实际应用中， 可以选用二阶巴特沃斯高通滤波器对高 光谱图像进行特征提取， 其通频带内外都有平稳的幅频特性， 可以生成以。
18、边缘特征和形态 特征为主的特征提取图。 这样， 可以加强肿瘤边界和形态特征， 为了良恶性肿瘤识别模型能 够更好的学习肿瘤特征。 0038 边缘特征图实现了图像的锐化、 突出图像的边缘细节功能， 但是图像的低频部分 会有所丢失， 这可能会丢失相关的必要的信息。 因此， 利用拉普拉斯金字塔图像融合算法对 所述高光谱图像和边缘特征图进行不同频带特征的融合， 用以补充原图像中所携带的相关 特征。 边缘特征信息的完整可以保证良恶性肿瘤识别模型对于相关特征的学习率。 0039 具体地， 所述特征融合模块具体用于： 分别构建高光谱图像和边缘特征图的拉普 拉斯金字塔， 所述拉普拉斯金字塔具有预设的层数， 每一。
19、层的图像是前一层图像经过高斯 模糊下采样的图像； 针对所述拉普拉斯金字塔的每一层， 采用预设的融合公式对高光谱图 像和边缘特征图像进行融合； 利用融合后的拉普拉斯金字塔重建输出肿瘤高光谱特征增强 图。 0040 在具体实施中， 首先， 对于要融合的高光谱图像和边缘特征图像， 构建拉普拉斯金 字塔， 如图2所示， G0是原始图像， Gn是上一层Gn1层图像高斯模糊下采样的图像。 在构建拉普 拉斯金字塔时， 最顶层LPn就是高斯金字塔的最顶层Gn。 其他层图像LPn1是Gn1图像减去Gn插 说明书 3/5 页 5 CN 115719340 A 5 值后的图像， 插值后图像大小与Gn1相同。 004。
20、1 因为边缘特征图与高光谱图像的大小相同， 所以融合区域选择高光谱图像的全部 区域。 针对拉普拉斯金字塔的每一层， 采用预设的融合公式对高光谱图像和边缘特征图像 进行融合； 可选的， 融合公式包括取大运算、 取小运算、 求取平均值、 区域加权等。 对融合后 的拉普拉斯金字塔， 从其顶层开始逐层从上至下进行高斯卷积滤波， 并将得到的每一层图 像对与拉普拉斯金字塔存放的残差图进行对应相加， 从而恢复其对应的高斯金字塔， 并最 终可得到原始图像G0， 也即从最高层开始使用内插的方法进行图像重建。 0042 本发明实施例通过拉普拉斯金字塔图像融合算法对边缘特征图和原始的肿瘤高 光谱图像进行融合， 因为。
21、拉普拉斯金字塔图像融合算法先将图像分别分解到不同的空间频 带上， 之后的融合过程是在各空间频率层上分别进行的， 结合各个维度的特征， 增强特征表 达力， 这种融合方法更好的保留了融合图像的各频带特征， 最终形成肿瘤高光谱特征增强 图。 0043 作为一可选实施方式， 在识别模块中， 基于残差注意力网络构建所述良恶性肿瘤 识别模型； 其中， 残差注意力网络由多层注意力模块堆叠而成， 每个注意力模块包括： 掩膜 分支和主干分支； 主干分支进行特征处理， 得到特征图； 掩膜分支使用自下而上、 自上而下 注意力相结合的方式， 学习得到一个与主干输出大小相同的的掩膜， 用于选择特征图的特 征。 0044。
22、 在具体实施中， 叠加后每个注意力模块会生成注意力感知功能， 注意力感知功能 会自适应地变化， 其自下而上、 自上而下的前馈结构用于将前馈展开， 并将反馈注意过程反 馈到单个前馈过程中， 可延伸数百层， 使此网络结构可以提取深度特征。 0045 每个注意力模块分为两部分： 掩膜(mask)分支和主干(trunk)分支。 0046 主干分支进行特征处理， 在本发明实施例中， 主干分支的基本单元为预激活的残 差学习单元、 生成对抗网络(Generative Adversarial Networks)和inception模块。 0047 定义trunk分支的输入为x， 输出为T(x)， mask分支。
23、使用自下而上、 自上而下的结构 来学习与主干输出大小相同的mask， 记为M(x)， 这是对T(x)的软权重(soft weight)。 自下 而上、 自上而下的结构模仿了快速前馈和反馈注意力的过程。 输出的mask被用来控制trunk 分支的控制门， 这和Highway Network有些类似， 该注意力模块的输出特征图H为： 0048 Hi， c(x)Mi， c(x)*Ti， c(x) 0049 其中， i是空间位置， c是通道的下标， 整个架构端到端训练。 最终基于肿瘤高光谱 特征增强图对良恶性肿瘤识别模型进行预训练,得到预训练相关结果。 注意力模块能够以 端到端的训练方式与最新的深度网。
24、络结构相结合， 其网络深度可以轻松扩展到数百层， 可 利用其特性进一步提取肿瘤边界特征。 0050 作为一可选实施方式， 利用带有标签的肿瘤高光谱特征增强图样本对所构建的良 恶性肿瘤识别模型进行训练， 调整掩膜分支和主干分支的相关参数， 得到训练好的良恶性 肿瘤识别模型。 0051 在具体实施中， 良恶性肿瘤识别模型的训练过程首先是数据准备， 设置合理的标 签体系， 标注全面、 均衡的数据， 其次为整理数据集， 并对样本进行划分， 生成训练集和测试 集， 最后生成相应格式并验证。 0052 通过预训练的过程及得到的结果对良恶性肿瘤识别模型中的参数进行调整， 设置 说明书 4/5 页 6 CN 。
25、115719340 A 6 合理的初始化权重w和偏置b， 并逐步优化学习率， 如图3所示， 识别模块可以分为肿瘤高光 谱图像良恶性鉴别预训练模块和肿瘤高光谱图像良恶性鉴别参数调整模块， 模型参数调整 模块采用上述步骤中基于肿瘤高光谱特征增强图的预训练模型， 同时通过预训练模型结果 对模型mask分支的参数、 trunk分支的参数等相关参数进行调整， 以提高模型性能、 抗噪性， 得到更为准确的预测结果， 加强对于恶性肿瘤不明显情况的判定， 最后， 根据肿瘤边界特征 确定高光谱图像的肿瘤类别， 所述肿瘤类别包括恶性肿瘤和良性肿瘤。 0053 以上所述仅为本发明的优选实施例而已， 并不用于限制本发明， 对于本领域的技 术人员来说， 本发明可以有各种更改和变化。 凡在本发明的精神和原则之内， 所作的任何修 改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 说明书 5/5 页 7 CN 115719340 A 7 图1 图2 说明书附图 1/2 页 8 CN 115719340 A 8 图3 说明书附图 2/2 页 9 CN 115719340 A 9 。