医用图像处理装置及医用图像处理方法 技术领域 本发明涉及一种通过图像识别对医用图像的剖面信息和组织动态的种类进行分 类的医用图像处理装置及其方法。
背景技术 在医用图像诊断装置的图像诊断中, 为了使检查者 ( 操作者 ) 通过图像诊断有效 地发现疾病, 而按照医用图像的剖面信息和组织动态的种类对医用图像进行分类。
由于剖面信息和组织动态在其图像的形状上具有特点, 所以此分类的手法是一种 使用图像识别技术对医用图像进行分类的方法。如果检查者解释分类后的结果的图像, 则 与逐一进行分类的情形比较, 就会有效。
例如, 在超声波诊断装置中, 在心脏检测中, 通过利用了静止图像的亮度值的特征 量的图像识别技术来获取心脏的剖面的种类和组织的位置信息进行分类。并且, 在此心脏 检测中, 进行生物体组织的动态解析, 对其解析结果进行画面显示, 可由检查者订正错误分
类的医用图像 ( 例如专利文献 1)。
专利文献 1 : JP 特开 2002-140689 号公报 发明内容 但是, 专利文献 1 的公开仅停留在进行上述生物体组织的动态解析, 对其解析结 果进行画面显示, 由检查者订正错误分类的医用图像。
因此, 专利文献 1 中, 一点都没有考虑包含运动的生物体组织在内的医用图像的 分类精度的提高。
本发明的目的在于, 提供一种可提高包含运动的生物体组织在内的医用图像的分 类精度的医用图像处理装置及医用图像处理方法。
为了实现上述目的, 本发明的医用图像处理装置, 其特征在于, 包括 : 图像信息获 取部, 其获取多个对被测体的生物体组织进行拍摄后得到的医用图像 ; 和图像识别运算部, 其从上述获取到的多个医用图像的时间相位互不相同的像素值中获取上述生物体组织的 运动信息, 并基于上述运动信息将上述医用图像按规定的每一种类进行分类。
上述图像信息获取部获取多个对被测体的生物体组织进行拍摄后得到的医用图 像, 上述图像识别运算部从上述获取到的多个医用图像的时间相位互不相同的像素值中获 取上述生物体组织的运动信息, 并基于上述运动信息将上述医用图像按规定的每一种类进 行分类, 由此可提高医用图像的图像识别精度。
此外, 本发明的医用图像处理方法, 其特征在于, 包括 : 获取多个由图像信息获取 部对被测体的生物体组织进行拍摄后得到的医用图像的步骤 ; 和通过图像识别运算部从上 述获取到的多个医用图像的时间相位互不相同的像素值中获取上述生物体组织的运动信 息, 并基于上述运动信息将上述医用图像按规定的每一种类进行分类的步骤。
上述医用图像获取步骤通过图像信息获取部获取多个对被测体的生物体组织进
行拍摄后得到的医用图像, 接着, 医用图像分类步骤通过图像识别运算部从上述获取到的 多个医用图像的时间相位互不相同的像素值中获取上述生物体组织的运动信息, 并基于上 述运动信息将上述医用图像按规定的每一种类进行分类, 由此, 提高医用图像的图像识别 的精度。
发明效果
根据本发明, 可提供一种可提高包含运动的生物体组织在内的医用图像的分类精 度的医用图像处理装置及医用图像处理方法。 附图说明 图 1 是表示本发明的实施例 1 的医用图像处理装置的概况的方框图。
图 2 是表示提取由心回波图检查获取的基本剖面、 图像的亮度值和组织的动态向 量的例子的图。
图 3 是表示本发明的实施例 2 的医用图像处理装置的工作的概况的流程图。
图 4 是表示心肌区域的分割的原理的图。
图 5 是表示本发明的实施例 3 的医用图像处理装置的工作的概况的流程图。
图 6 是表示本发明的实施例 4 的医用图像处理装置的概况的方框图。
图 7 是表示本发明的实施例 5 的医用图像处理装置的概况的方框图。
图 8 是表示本发明的实施例 5 的医用图像处理装置的概况的方框图。
图 9 是表示本发明的实施例 5 的医用图像处理装置的工作的概况的流程图。
图 10 是表示用于说明本发明的实施例 6 的应力回波检查的显示例的图。
图 11 是表示本发明的实施例 7 的医用图像处理装置的图像检索的工作的概况的 流程图。
图 12 是表示显示与来自医用图像生成部的图像近似度最高的图像时的显示例的 图。
图 13 是表示存在多个与来自医用图像生成部的图像近似的图像时的显示例的 图。
图 14 是表示与图 2、 图 5 不同的动态向量运算方法的例子的图。
符号说明
1 图像信息获取部, 3 图像识别运算部
具体实施方式
下面, 根据附图详细地说明本发明的实施方式。
设医用图像为由超声波诊断装置得到的超声波图像。此外, 设运动的生物体组织 的图像的对象为心脏图像。
在此, 在上述超声波诊断装置中可变地设定心脏的运动的提取期间, 在上述可变 设定的心脏的运动的提取期间中按规定的每一种类对超声波图像进行分类, 说明这样的例 子。
实施例 1
图 1 是表示本发明的实施例 1 中的医用图像处理装置的概况的方框图。如图 1 所示, 医用图像处理装置包括 : 超声波图像生成部 1、 按照能与超声波图像 生成部 1 传递信号的方式进行连接的图像识别运算部 3、 和按照能与图像识别运算装置 3 传 递信号的方式进行连接的图像显示部 5。在本申请的说明书中, “能传递信号” 定义为能通 过电磁性、 光等所有手段使被连接体和连接体传递信号。
超声波图像生成部 1 由超声波诊断装置生成超声波图像。在超声波图像中存在 B 模式像 ( 断层像 )、 M 模式像、 3D 模式像等。
具体地, 图像识别运算部 3 识别超声波图像的种类, 输入从超声波图像生成装置 1 输出的图像, 提取输入图像整体的动态的特征量, 进行对剖面的种类进行分类的处理。此 外, 图像识别运算部 3 具有 : 按照能与超声波图像生成部 1 传递信号的方式进行连接, 提取 生物体组织的运动的运动提取运算部 31 ; 按照能与超声波图像生成部 1 传递信号的方式进 行连接, 提取生物体组织的亮度的亮度提取运算部 32 ; 按照能分别与运动提取运算部 31 及 亮度提取运算部 32 传递信号的方式进行连接, 计算上述提取出的运动的各提取量, 并在未 图示的自身所保有的存储器中进行存储的特征提取运算部 33 ; 以及按照能与特征提取运 算部 33 传递信号的方式进行连接, 基于上述特征量来识别输入的超声波图像的种类的识 别运算部 36。 在由心回波图检查获取的剖面中, 有 5 种基本剖面。图 2 是表示由心回波图检查 获取的基本剖面的图。在此所说的基本剖面, 如图 2 所示, 是 (a) 胸骨旁长轴像、 (b) 胸骨 旁短轴像、 (c) 心尖部 2 腔像、 (d) 心尖部长轴像、 (e) 心尖部 4 腔像。
上述各图像的分类, 如果不是检查者手动而通过图像识别技术就能进行的话, 就 会在图像检测之时有助于检查者的诊断的工时的负担减轻。
心脏的运动, 在运动提取运算部 31 中, 通过提取区域中的运动提取运算, 例如用 加法平均值等来计算作为各点的动态向量的集合的动态。例如, 可使用采用了块匹配法或 梯度法的运动计算法。
首先, 基于块匹配法的动态检测, 最初, 在成为对象的连续两个帧的一帧中, 将包 含想要对动态进行检测的图像在内的小区域作为块进行存储。 接着, 在另一帧中, 在与前一 块相同大小的区域中计算图像的近似度。并且, 对帧的整体区域进行近似度运算。由于其 中近似度最大的区域是想要进行动态检测的物体的图像所移动的区域, 所以根据该区域的 坐标、 和前面存储的块的坐标来计算移动距离和移动方向, 之后结束。块匹配法, 由于可在 帧整体的区域中求出与对象块的近似度, 所以虽然处理量变得庞大, 但能高精度地对动态 进行检测。
此外, 梯度法是如下的解析方法 : 即, 利用时间空间中的各像素的亮度梯度的约束 进行对应点的搜索, 基于图像的浓淡图形相对运动保持不变这样的假设, 并以将图像中的 浓淡分布的空间的梯度与时间的梯度建立关系的式子为基础。 虽然计算量变少并可进行高 速的处理, 但存在在求出动态的大的物体的流动 (flow) 中噪声变多的趋势。
对心脏的运动进行计算的期间, 由于被测者的心率存在个体差异, 所以检查者的 操作设定必须是可任意设定的。此计算期间, 例如也可以提取从心脏扩张末期到收缩末期 这样的动态量最大的期间。如果存在下一图像数据, 也同样提取亮度值的动态。
此外, 图 2 示出从扩张末期到收缩末期的图像整体的动态向量 ( 第一动态向量 ) 的例子。在此, 动态向量是指在亮度值 Aj 不同的时间相位间进行了何种程度的移动。动态
向量可分别由附图的水平方向 (X 方向 ) 的移动成分 xj、 附图的垂直方向 (Y 方向 ) 的移动 成分 yj 来表示。
在各剖面中亮度值的特征量和动态的特征量可通过该动态向量的运算来获得。
在此, 设第 j 个图像中的向量为向量 Aj, 设剖面的种类为 Vj。动态向量 Aj 被分解 成附图的 x 方向、 y 方向, 设为 xj、 yj。如果不是直角坐标系而是极坐标的话, 则可设为直径 rj、 角度 θj。由此, 将从图像 j 得到的信息 Ij 作为向量如式 1 这样表示。
Ij = (xj|yj)… ( 式 1)
在同时使用亮度的情况下, 使用亮度提取运算部 32 的输出, 如式 2 这样表示。例 如, 亮度提取运算部 32 的输出以上述超声波信号的振幅值作为上述生物体组织的形态信 息。
Ij = (Aj|xj|yj)… ( 式 2)
如果同时使用运动和亮度, 则可期待心回波图检查中的任意的基本剖面的识别精 度的提高。
特征提取运算部 33 提取相对上述图像整体的信息 Ij 作为图像而描绘出的各剖面 V 的特征量。例如, 应用平均和方差等基本统计量的计算、 基于超声波图像的整体的各像素 中的动态向量 Aj 的主成分分析和独立成分分析的方法, 提取作为图像而描绘出的各剖面 Vj 的特征量。 主成分分析等的对象, 在动态向量 Aj 用 xy 坐标表示的情况下, 是超声波图像 的整体的各像素的 xj、 yj, 在动态向量 Aj 用极坐标表示的情况下, 是超声波图像的整体的 各像素的 rj、 θj。 识别运算部 36 从上述存储器中读出上述各剖面 V 的特征量, 使用该读出的特征量 来识别输入的超声波图像的种类。 具体地, 识别运算部 36, 如图 2(c) 的例子所示, 基于上述 特征量将超声波图像的种类识别为心尖部 2 腔像。
图像显示部 5 按种类对识别了上述种类的超声波图像进行画面显示。具体地, 图 像显示部 5 显示识别了上述种类的心尖部 2 腔像。
图 3 是表示本发明的实施例 1 的医用图像处理装置的工作的概况的流程图。
医用图像生成部 1 获取 1 帧的规定时间相位的超声波图像 ( 步骤 S31)。
图像识别运算部 3 在未图示的自身所保有的存储部中存储上述超声波图像 ( 步骤 S32)。
医用图像生成部 1 获取 1 帧的与上述规定的时间相位不同的时间相位 ( 例如上述 规定的时间相位的下一时间相位 ) 的超声波图像 ( 步骤 S33)。
图像识别运算部 3 用上述的方法从上述不同的时间相位的超声波图像和上述存 储的超声波图像中获取动态向量。图像识别运算部 3 的运动提取运算部 31 进行获取到的 动态向量的方向成分的解析处理 ( 步骤 S34)。
图像识别运算部 3 的特征提取运算部 33, 对上述信息 Ij, 应用例如平均和方差等 基本统计量的计算、 基于主成分分析和独立成分分析的方法, 提取各剖面 V 的特征量。识别 运算部 36 基于上述特征量来识别是心回波图检查中的哪一种基本剖面, 生成将上述基本 剖面信息和上述超声波图像相关联的显示格式 ( 步骤 S35)。
图像显示部 5 按照上述显示格式, 并列显示上述基本剖面信息和上述超声波图 像。再有, 该显示步骤不是不进行显示就对超声波图像进行分类并在存储部中存储时所必
需的步骤 ( 步骤 S36)。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。 此外, 本实施例的特有效果是所需最小限度的构成要素, 由于用于超声波图像处理所 通过的路线是最短的, 所以能按实际时间分类处理上述不同的时间相位的超声波图像。
实施例 2
图 4 是表示本发明的实施例 2 的医用图像处理装置的概况的方框图。
如图 4 所示, 医用图像处理装置, 还包括作为在图 1 中追加的结构的按照能与超声 波图像生成部 1 传递信号的方式进行连接的运动信息获取部 2。
运动信息获取部 2 通过计算机执行程序, 在超声波图像上分割心脏的心肌区域。 计算机具有 : 存储来自超声波图像生成部 1 的超声波图像等的数据的存储部 ( 省略图示 ) ; 和执行上述计算机程序, 处理数据, 并向图像识别运算部 3 进行输出的 CPU( 省略图示 )。
图像识别运算部 3 输入从运动信息获取部 2 输出的按每一分画面分割的局部的图 像, 并输出分类后的信息。
在此, 检查者能设定 ( 选择 ) 图像整体和图像的局部区域。作为具体例, 在检查者 对脏器整体的动态进行诊断的时候, 选择图像整体, 在对心肌的一部分的石灰化和缺血信 息进行诊断的时候, 选择图像的局部区域。 图 5 是表示心肌区域的分割的原理图。所谓心肌区域的分割, 如图 5 所示, 是将心 肌分割为 ASE(AMerican Society of Echocardiography) 所推荐的 16 分画面或 17 分画 面。该分割的方法, 通过检查者的手动操作或以图像的形状作为特征量的图像识别处理来 进行。
在此, 示出图像局部的动态向量 ( 第二动态向量 ) 的例子。该动态向量表示亮度 值 Aj 在不同的时间相位间进行何种程度的移动, 可分别由附图的水平方向 (X 方向 ) 的移 动成分 xj、 附图的垂直方向 (Y 方向 ) 的移动成分 yj 表示, 这种情况与第一动态向量相同。 与第一动态向量的不同点在于, 相对于第一动态向量是来自图像整体的动态分析信息, 第 二动态向量仅仅是 (c) 心尖部 2 腔像的第 13 分图像 ( 局部 ) 的动态分析信息。
在此, 在第 j 个图像的第 k 个分画面中, 设按任意的提取位置顺序对亮度值进行排 列的向量为 Ajk。
从心脏的扩张末期到收缩末期的图像整体的动态向量可在各剖面中不同。在此, 在图像的第 j 个像素中, 设按任意的提取位置顺序对亮度值进行排列的向量为 Aj。 此外, 设 剖面的种类为 Vj。正交地分解动态向量, 设为 xj、 yj。如果是极坐标, 也可设为直径 rj、 角 度 θj。由此, 将从图像 j 得到的信息 Ij 作为向量如前面的式 2 那样表示。
在仅使用亮度的情况下, 可以为
Ij = (Aj)… ( 式 3),
在仅使用动态的情况下, 可以为前面的式 1。
正交地分解动态向量, 设为 xjk、 yjk。动态向量如果还用极坐标表示, 则可以设为 直径 rjk、 角度 θjk。由此, 将从图像 j 的分画面 k 得到的信息 Ijk 作为向量如式 4 这样表 示。
Ijk = (Ajk|xjk|yjk)… ( 式 4)
在仅使用亮度的情况下可以为式 5, 在仅使用动态的情况下, 可以为式 6。
Ijk = (Ajk)… ( 式 5)
Ijk = (xjk|yjk)… ( 式 6)
可以说, 第一动态向量是以扇区 (sector : セクタ ) 图像整体为对象的宏观的动态 解析。具有希望进一步提高宏观的分类中的精度的要求。因此, 第二动态向量可以通过采 用以扇区图像分割图像作为对象的微观的动态解析来进行补充的形式, 对第一动态向量和 第二动态向量进行组合。
除本实施例的 S32、 S34 执行下面的程序外, 与实施例 1 相同。
运动信息获取部 2 在自身所保有的存储部中存储上述超声波图像 ( 步骤 S32)。
运动信息获取部 2 用上述说明的方法从上述不同的时间相位的超声波图像和上 述存储的超声波图像中获取动态向量。图像识别运算部 3 的运动提取运算部 31 进行获取 到的动态向量的方向成分的解析处理 ( 步骤 S34)。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。此外, 本实施例的特有效果是附加运动信息获取部 2, 可解析脏器的局部区域的运动 的异常。
实施例 3
如图 6 所示, 医用图像处理装置在实施例 2 的结构中进一步包括按照能与运动信 息获取部 2 传递信号的方式进行连接的外部运动检测部 4。
外部运动检测部 4 包括心电检测装置、 心磁检测装置、 血管脉动检测装置、 呼吸运 动检测装置, 外部运动检测部 4 是一种通过电磁来获得上述生物体组织的运动检测值的装 置。
除本实施例的步骤 S34 执行下面的程序外, 与实施例 1 相同。
运动信息获取部 2 从上述不同的时间相位的超声波图像、 上述存储的超声波图 像、 和通过心电检测装置等外部运动检测部 4 检测出的检测值中, 获取上述说明的图 4 中的 动态向量。由于与图像检测同步获得基于心电的心肌的收缩 / 扩张的信号, 所以上述检测 值可加在动态向量的计算中。 即, 由于心电波形能检测心率的变早或变迟, 所以如果应当获 取的计时是 R 波, 则即使规定的时间相位和上述不同的时间相位不是周期运动, 使用与通 过外部运动检测部 4 检测出的 R 波同步的图像数据, 也能计算动态向量。运动提取运算部 31 进行获取到的动态向量的方向成分的解析处理 ( 步骤 S34)。
根据本实施例, 具有提高包含运动的生物体组织在内的医用图像的分类精度的效 果。 此外, 本实施例的特有效果是, 即使上述规定的时间相位和上述不同的时间相位为不定 周期, 也能计算动态向量。
实施例 4
如图 7 所示, 医用图像处理装置在实施例 1 的结构中进一步包括按照能与图像识 别运算部 3 传递信号的方式进行连接的病变种类推定部 6。
病变种类推定部 6 对于上述医用图像中的包含病变部的医用图像, 通过图像诊断 预先附加诊断信息, 使该诊断信息和包含该病变部的医用图像相对应, 并进行存储。
除本实施例的步骤 S35、 S36 执行如下的程序外, 与实施例 1 相同。
图像识别运算部 3 的特征提取运算部 33 针对上述信息 Ij, 采用例如平均和方差 等基本统计量的计算、 和基于主成分分析和独立成分分析的方法, 提取各剖面 V 的特征量。识别运算部 36 基于上述特征量利用心回波图检查来识别是哪种基本剖面, 向病变种类推 定部 6 输出将上述基本剖面信息和上述超声波图像相关联的数据。例如, 病变种类推定部 6 计算例如公知的称为室壁运动记分指数 (wall Motion csore index) 的指标。该指标被 用于推测冠状动脉疾病中的处于冠状动脉支配区域中的心肌是否罹患心肌梗塞。 病变种类 推定部 6 生成在超声波图像上附加了利用这种指标而得到的疾病信息后的显示格式 ( 步骤 S35)。
图像显示部 5 按照上述显示格式, 并列显示上述指标和上述超声波图像。再有, 该 显示步骤不是不进行显示就对超声波图像进行分类并在存储部中进行存储时所必需的步 骤 ( 步骤 S36)。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。此外, 本实施例的特有效果是能向检查者提示上述疾病的分类。
实施例 5
如图 8 所示, 医用图像处理装置在实施例 1 的结构中进一步包括 : 在图像识别运算 部 3 内按照能与特征量提取部 33 传递信号的方式进行连接的学习运算部 34、 和按照能与学 习运算部 34 及识别运算部 36 传递信号的方式进行连接的学习数据存储部 35。 学习运算部 34 具有神经网络 (neural network) 等公知的学习算法, 输入从特征 提取运算部 33 输出的特征量, 进行学习运算。
学习数据存储部 35 是保存由学习运算部 34 运算的学习数据的存储装置, 是硬盘 或存储器等。
识别运算部 36 基于预先存储在学习数据存储部 35 中的学习数据, 识别从重新输 入的图像中提取出的特征。
图 9 是表示本发明的实施例 5 的医用图像处理装置的工作的概况的流程图。
本发明假设具有教师信号的学习算法, 分为使用多个图像进行学习的部分、 和基 于学习数据来识别输入图像的部分。
在学习处理中, 首先, 亮度提取运算部 32 提取图像的生物体组织部分的亮度, 运 动提取运算部 31 提取图像的生物体组织部分的运动向量 ( 步骤 S91)。
例如, 考虑在扇区图像中提取亮度的情形。虽然可以计算图像整体的亮度和 动态, 但由于计算量多, 所以也可以例如按取样的栅格状设置间隔进行计算。此外, 亮 度, 在亮度提取运算部 32 中, 既可以原封不动地提取图像的亮度值, 也可以取某一程度 附近的平均值。图像的时间相位可自由地选择, 通常可以使用最容易检测时间相位的 ECG(electrocardiograM) 的 R 波时间相位的图像。此外, 由于检查者仅在心肌等亮度值高 的部分设定提取位置, 所以能减少提取点数, 并缩短计算时间。心脏的运动, 在运动提取运 算部 31 中, 通过提取位置的运动提取运算来计算。例如可使用采用了块匹配法或梯度法的 动态计算法。运动的计算期间为了与被测者的个体差异对应, 而可任意地进行设定。例如 运动的计算期间, 可以是从扩张末期到收缩末期这样的动态量最大的期间。如果存在下一 图像数据, 则同样进行亮度值和动态的提取 ( 步骤 S92)。
特征提取运算部 33 针对从图像 j 获取的信息 Ij 进行特征提取运算 ( 步骤 S93)。
例如, 特征提取运算部 33 采用平均和方差等基本统计量的计算、 和基于主成分分 析和独立成分分析的方法, 提取各剖面 V 的特征。学习运算部 34 对提取出的特征进行学习
运算。学习过的数据被保存在学习数据存储部 35 中, 结束学习处理 ( 步骤 S94)。
在识别处理中, 对于从医用图像生成部 1 输入的医用图像, 与学习时相同, 首先亮 度提取运算部 32 提取图像的生物体组织部分的亮度, 运动提取运算部 31 提取图像的生物 体组织部分的运动向量 ( 步骤 S95)。
与学习时相同, 特征提取运算部 33, 通过亮度和运动进行特征提取 ( 步骤 S96)。
识别运算部 36 将输入图像的特征与学习数据进行对照, 按最近似的剖面对医用 图像进行分类 ( 步骤 S97)。
图像显示部 5 将上述分类过的剖面的种类与超声波图像一起显示, 结束识别处理 ( 步骤 S98)。
并且, 能够使剖面种类与图像数据相对应加以存储。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。此外, 本实施例的特有效果是, 通过应用以亮度和动态作为特征量的学习算法, 与仅 亮度的识别相比, 还可提高识别率。此外, 由于还能对运动的好坏进行分类, 所以在心脏动 态的分类中也是有用的。
实施例 6 实施例 6 的医用图像处理装置用与实施例 5 相同的硬件结构来实施。
在实施例 6 中, 不是对图像整体, 而是对心肌的各个局部进行识别处理的方法。
图 10 是表示用于说明本发明的实施例 6 的应力回波检查的显示例的图。
例如, 在应力回波检查中, 如图 10 所示, 在画面 90 中将心肌分割为 16 分画面, 检 查者目视确认心肌的动态, 对其好坏进行点数化, 在用 91、 92 表示的区域中显示并记录。 点 数, 设 为 不 可 评 价 ( 无 点 数 )、 norMal(1 点 )、 hypokinetic(2 点 )、 akinetic(3 点 )、 dyskinetic(4 点 )。将用可视化了的分画面数除这些点数的合计后得到的值作为 wall Motion score index, 进行壁运动的综合评价。该操作, 由于一面切换剖面、 且一面按每一 分画面以目视进行检查, 所以操作者要承受非常繁杂的操作。在实施例 6 中, 尽管检查者进 行探针操作, 但通过利用运算处理来进行剖面的种类的识别和点数附加, 试图减少操作者 的操作工时。
除本实施例的步骤 S91 及 S95 执行如下的程序外, 与实施例 5 相同。
在学习处理中, 首先, 特征提取运算部 33 根据由亮度提取运算部 32 运算出的图像 的亮度、 由运动提取运算部 31 运算出的心脏的运动, 识别剖面的种类。
接着, 通过已有的自动轮廓提取处理或手动按每一分画面分割由运动信息获取部 2 划分为各个区间的心肌。
接着, 亮度提取运算部 32 及运动提取运算部 31 在各分画面内配置检测点, 与实施 例 4 相同地计算亮度和运动。即, 亮度提取运算部 32 提取图像的生物体组织部分的亮度, 运动提取运算部 31 提取图像的生物体组织部分的运动向量 ( 步骤 S91)。
此外, 在识别处理的最初的步骤 S95 中也附加上述步骤 91 的即以前的处理。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。 此外, 本实施例的特有效果是通过对心肌的各个分画面进行动态的识别, 就能自动定 量化静止图像中困难的局部心肌的运动异常。 此外, 通过使用动态和亮度双方的信息, 就能 提高定量化的精度。
实施例 7
实施例 7 的医用图像处理装置在图像识别运算部 3 中追加了图像检索功能。除该 追加功能以外, 由与实施例 5 相同的硬件结构来实施。
实施例 7 的图像检索功能, 进行检查时的图像检索和使用了缩略图 (thumbnail) 检索画面的图像检索。图像检索的方法根据公知的图像识别技术。
图 11 是表示本发明的实施例 7 的医用图像处理装置的图像检索的工作的概况的 流程图, 分别地, 图 12 是表示显示与来自医用图像生成部的图像近似度最高的图像的时候 的显示例的图, 图 13 是表示存在多个与来自医用图像生成部的图像近似的图像的时候的 显示例的图。
图像识别运算部 3 一旦开始图像检索, 就在某一特定的范围 ( 例如同一患者、 同一 检查日、 同一剖面 ) 中, 检索在检索项目 122 或 136 中设定的图像, 检索是否存在检索对象 图像。通过用定点设备 (pointing device) 来操作画面上的软开关或下拉菜单, 检查者就 能任意地设定检索项目 122 或 136( 步骤 S111)。
如果在检索范围中存在图像, 则图像显示部 5, 为了确认设定的检索项目是否附加 在图像数据中, 而进行显示 ( 步骤 S112)。 在未附加上述检索项目的情况下, 图像识别运算部 3 按照实施例 1 ~ 4 进行有关 检索项目的识别处理 ( 步骤 S113)。
图像识别运算部 3 将分类过的种类与图像数据一体进行存储 ( 步骤 S104)。
图像识别运算部 3 将一体存储了分类后的种类的图像数据与设定的检索项目 122 或 136 进行对照 ( 步骤 S115)。
图像识别运算部 3 将与检索项目 122 或 136 一致的内容作为检索出的结果进行存 储。图像显示部 5 显示附加有设定的检索项目的图像数据 ( 步骤 S116)。
根据本实施例, 具有可提高包含运动的生物体组织在内的医用图像的分类精度的 效果。此外, 本实施例的特有效果如下所述, 在每一显示例中进行说明。
在图 12 的显示例中, 是 B 模式像检查时的图形用户界面 (GUI)120。例如, 在检查 规定的被测者的情形中, 通过指定左侧检索项目 A122 为心尖部 2 腔像, 指定右侧检索项目 B122 为心尖部 4 腔像进行检索, 就能进行调出过去获取到的各设定项目的图像, 进行显示 的 2 画面间的比较。此外, 如果检索项目为动态异常的分类, 就还能够在近似病变的检索中 使用。由此, 检查者可减少从大量图像数据和诊断信息中以目视来选择图像的工时。
此外, 在图 13 的显示例中, 是用缩略图图像进行检索的画面 133。例如, 设左上的 图像 134 为规定的被测者的参考原始图像。如果在检索项目 136 中指定检索项目, 就会有 关参考原始图像 134 的检索项目, 在候补画面 135 中显示更近似的候补的图像组。例如, 如 果设检索项目为 wall Motion score index, 则在候补画面 135 中显示具有与参考原始图像 的上述 index 接近的值的图像。由此, 由于与病变和动态近似的图像的比较变得容易, 所以 在提高检查的质量的同时, 还能减轻检查者的负担。
如上所述, 特征量的提取, 虽然以超声波图像的整体像素为对象, 但也可以是设为 心壁的取样点的如下方法。
作为具体例之一, 考虑由扇区图像来计算图 14 的心尖部 2 腔像的特征量的情形。 图 14 示出了与图 2、 图 5 不同的动态向量运算方法的例子。首先, 在扇区图像整体中, 存在
以栅格状设置间隔的提取位置 (x 标记 )( 设提取位置间的距离为 d)。然后, 对来自与扇区 图像中的心壁或心腔等重合或位于其附近的提取位置的 A ~ F 第一动态向量进行定义。第 一动态向量可关于心率的收缩期和扩大期来计算各个移动距离和移动方向。 例如, A~F第 一动态向量的移动距离和移动方向之间的关系如下。
第一向量 A 移动距离 : d/2、 移动方向 : 3 点的方向
第一向量 B 移动距离 : d/2、 移动方向 : 3 点的方向
第一向量 C 移动距离 : d/2、 移动方向 : 11 点的方向
第一向量 D 移动距离 : d/2、 移动方向 : 1 点的方向
第一向量 E 移动距离 : d/2、 移动方向 : 9 点的方向
第一向量 F 移动距离 : d/2、 移动方向 : 9 点的方向
如果按这些类型检测出的扇区图像 6 个全都一致, 则将该扇区图像分类为心尖部 2 腔像。即使扇区图像 5 个一致也将该扇区图像分类为心尖部 2 腔像的候补。由于 4 个一 致以下除心尖部 2 腔像以外还有其它的可能性, 所以在 (a) 胸骨旁长轴像、 (b) 胸骨旁短轴 像、 (d) 心尖部长轴像、 (e) 心尖部 4 腔像中, 与 (c) 心尖部 2 腔像同样地进行来自提取位置 的向量解析, 判定扇区图像被分类为哪个图像。
此外, 虽然说明了图像处理的对象是心脏的情形, 但在图像处理的对象不是心脏 的时候, 会设定适于其不同的生物体组织的运动的提取期间。
此外, 虽然以适用于超声波的断层像 (B 模式像 ) 为例说明了各实施例, 但也可 以是直接适用于对弹性映像图像、 X 射线像、 X 射线 CT 像、 MRI 像进行拍摄的各种医用图 像诊断装置的技术, 或应用在实时多影像融合介入导航系统 (RVS : Real-time Virtual Sonography) 像的参照图像中的技术。
此外, 虽然参照添加附图, 说明了本发明的医用图像处理装置等优选的几个实施 例, 但本发明并不限于此。如果是本领域技术人员, 则应该明确了解, 在本申请公开的技术 思想的范畴内可想到各种变化例或修改例, 对于这些内容而言, 当然属于本发明的技术范 围。