图像处理装置、图像处理方法以及图像处理程序.pdf

《图像处理装置、图像处理方法以及图像处理程序.pdf》由会员分享，可在线阅读，更多相关《图像处理装置、图像处理方法以及图像处理程序.pdf（20页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 (43)申请公布日 (21)申请号 201380033788.X (22)申请日 2013.06.10 2012-145857 2012.06.28 JP A61B 1/04(2006.01) (71)申请人 奥林巴斯株式会社 地址 日本东京都 (72)发明人 弘田昌士 神田大和 (74)专利代理机构 北京三友知识产权代理有限 公司 11127 代理人 李辉 朱丽娟 (54) 发明名称 图像处理装置、 图像处理方法以及图像处理 程序 (57) 摘要 提供能够在由面依次式的内窥镜取得的多个 分光频带图像间执行精度良好的位置对准的图像 处理装置等。图像处理装置执行通过利用波段 。

2、相互不同的多个光拍摄管腔内而取得的多个分 光频带图像间的位置对准， 图像处理装置 (1) 具 有 ： 分光频带图像取得部 (110)， 其取得多个分光 频带图像 ； 空间频率成分提取部 (120)， 其从多个 分光频带图像中的至少 1 个分光频带图像内的各 像素中， 提取每个空间频带的特征量 ； 权重计算 部 (130)， 其根据从各像素中提取出的每个空间 频带的特征量， 计算赋予给上述至少 1 个分光频 带图像的每个空间频带的权重 ； 以及位置对准部 (140)， 其根据该权重进行多个分光频带图像间的 位置对准。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.12.25。

3、 (86)PCT国际申请的申请数据 PCT/JP2013/065969 2013.06.10 (87)PCT国际申请的公布数据 WO2014/002744 JA 2014.01.03 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书10页 附图7页 (10)申请公布号 CN 104411229 A (43)申请公布日 2015.03.11 CN 104411229 A 1/2 页 2 1. 一种图像处理装置， 其执行多个分光频带图像间的位置对准， 所述多个分光频带图 像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的， 所述图像处理。

4、装置的特征 在于， 具有 ： 分光频带图像取得单元， 其取得所述多个分光频带图像 ； 空间频率成分提取单元， 其从所述多个分光频带图像中的至少 1 个分光频带图像内的 各像素中， 提取每个空间频带的特征量 ； 权重计算单元， 其根据从所述各像素中提取出的所述每个空间频带的特征量， 计算赋 予给所述至少 1 个分光频带图像的每个空间频带的权重 ； 以及 位置对准单元， 其根据所述每个空间频带的权重， 进行所述多个分光频带图像间的位 置对准。 2. 根据权利要求 1 所述的图像处理装置， 其特征在于， 所述权重计算单元具有 ： 局部区域提取单元， 其从所述至少 1 个分光频带图像中提取多个局部区域。

5、 ； 局部频率特征量计算单元， 其根据从所述至少 1 个分光频带图像内的所述各像素中提 取出的所述每个空间频带的特征量， 计算所述多个局部区域各自的每个空间频带的特征量 即局部频率特征量 ； 以及 局部权重计算单元， 其根据所述局部频率特征量， 计算赋予给所述多个局部区域中的 各个局部区域的每个空间频带的权重作为局部权重。 3. 根据权利要求 2 所述的图像处理装置， 其特征在于， 所述局部权重计算单元除了根据所述局部频率特征量以外， 还根据所述至少 1 个分光 频带图像的波段计算所述局部权重。 4. 根据权利要求 3 所述的图像处理装置， 其特征在于， 所述局部权重计算单元强调或抑制根据所述。

6、局部频率特征量计算出的所述局部权重 中的、 根据所述波段所选择的空间频带的局部权重。 5. 根据权利要求 4 所述的图像处理装置， 其特征在于， 所述局部权重计算单元具有 ： 阈值处理单元， 其对根据所述波段所选择的空间频带的所述局部频率特征量进行阈值 处理 ； 以及 临时权重强调单元， 其在由所述阈值处理单元判别为所述局部频率特征量为规定的阈 值以上的空间频带中， 对根据所述局部频率特征量计算出的权重乘以规定的系数。 6. 根据权利要求 2 所述的图像处理装置， 其特征在于， 所述局部频率特征量计算单元具有 ： 负区域提取单元， 其从所述至少 1 个分光频带图像中， 提取空间频率成分的振幅为。

7、负 的像素区域即负区域 ； 以及 平均振幅计算单元， 其针对所述多个局部区域的各个局部区域， 按照所述每个空间频 带计算所述负区域中的振幅的绝对值的平均值， 将按照所述每个空间频带计算出的所述平均值设为该局部区域中的所述局部频率特 征量。 7. 根据权利要求 2 所述的图像处理装置， 其特征在于， 权 利 要 求 书 CN 104411229 A 2 2/2 页 3 所述局部权重计算单元具有 ： 阈值处理单元， 其提取所述局部频率特征量为规定的阈值以上的空间频带 ； 最小频带提取单元， 其提取由所述阈值处理单元提取出的所述空间频带中的、 所述局 部频率特征量最小的空间频带 ； 以及 比率计算单。

8、元， 其计算由所述阈值处理单元提取出的空间频带的所述局部频率特征量 相对于由所述最小频带提取单元提取出的空间频带的所述局部频率特征量的比率。 8. 根据权利要求 1 所述的图像处理装置， 其特征在于， 所述位置对准单元通过使用所述每个空间频带的权重强调所述至少 1 个分光频带图 像内的各像素的像素值来生成模板， 并使用该模板进行所述多个分光频带图像间的位置对 准。 9. 一种图像处理方法， 其执行多个分光频带图像间的位置对准， 所述多个分光频带图 像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的， 所述图像处理方法的特征 在于， 包含 ： 分光频带图像取得步骤， 取得所述多个分光频带图像。

9、 ； 空间频率成分提取步骤， 从所述多个分光频带图像中的至少 1 个分光频带图像内的各 像素中， 提取每个空间频带的特征量 ； 权重计算步骤， 根据从所述各像素中提取出的所述每个空间频带的特征量， 计算赋予 给所述至少 1 个分光频带图像的每个空间频带的权重 ； 以及 位置对准步骤， 根据所述每个空间频带的权重， 进行所述多个分光频带图像间的位置 对准。 10. 一种图像处理程序， 其使计算机执行图像处理， 在所述图像处理中， 执行多个分光 频带图像间的位置对准， 所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管 腔内而分别取得的， 所述图像处理程序的特征在于， 所述图像处理包含以下步。

10、骤 ： 分光频带图像取得步骤， 取得所述多个分光频带图像 ； 空间频率成分提取步骤， 从所述多个分光频带图像中的至少 1 个分光频带图像内的各 像素中， 提取每个空间频带的特征量 ； 权重计算步骤， 根据从所述各像素中提取出的所述每个空间频带的特征量， 计算赋予 给所述至少 1 个分光频带图像的每个空间频带的权重 ； 以及 位置对准步骤， 根据所述每个空间频带的权重， 进行所述多个分光频带图像间的位置 对准。 权 利 要 求 书 CN 104411229 A 3 1/10 页 4 图像处理装置、 图像处理方法以及图像处理程序 技术领域 0001 本发明涉及进行多个分光频带图像间的位置对准的图像。

11、处理装置、 图像处理方法 以及图像处理程序， 这多个分光频带图像是通过使用波段相互不同的光拍摄管腔内而得到 的。 背景技术 0002 近年来， 内窥镜作为能非侵害地观察患者的管腔内的医用观察装置得到广泛普 及。作为内窥镜的拍摄方法， 根据照明方法的不同， 公知有面依次式和同时式。面依次式是 将波段相互不同的光依次照射到被摄体 ( 管腔内 ) 进行拍摄、 从而取得多个分光频带图像 的方法。 0003 在面依次式中， 各分光频带图像的拍摄时机不同， 因而由于管腔的收缩运动等的 影响， 在分光频带图像间产生位置偏差(称为颜色偏差)。 该颜色偏差可能对管腔内的观察 等产生影响， 因而有时进行分光频带图。

12、像间的位置对准。 0004 作为与分光频带图像间的位置对准相关联的技术， 在专利文献 1 中公开了一种根 据各分光频带图像中的血管信息进行位置对准的技术。更详细地说， 利用两种空间滤波器 来强调粗细相互不同的血管， 将所强调的血管分别看作是表层的血管和中层的血管。 然后， 使用表层血管的位置信息进行短波长的分光频带图像和中波长的分光频带图像的位置对 准， 使用中层血管的位置信息进行中波长的分光频带图像和长波长的分光频带图像的位置 对准。 0005 现有技术文献 0006 专利文献 0007 专利文献 1 ： 日本特开 2011 194151 号公报 发明内容 0008 发明所要解决的问题 00。

13、09 然而， 在上述专利文献 1 中， 由于仅强调特定粗细的血管来进行位置对准， 因而未 考虑如中波长或长波长的分光频带图像中的表层血管或细微构造那样、 对精度良好的位置 对准有用的其它信息。因此， 难以进行精度良好的位置对准。 0010 本发明是鉴于上述情况而完成的， 其目的在于提供一种能够在由面依次式的内窥 镜取得的多个分光频带图像间执行精度良好的位置对准的图像处理装置、 图像处理方法以 及图像处理程序。 0011 用于解决问题的手段 0012 为了解决上述问题并达到目的， 本发明的图像处理装置执行多个分光频带图像间 的位置对准， 所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管腔。

14、内而分别 取得的， 所述图像处理装置的特征在于， 具有 ： 分光频带图像取得单元， 其取得所述多个分 光频带图像 ； 空间频率成分提取单元， 其从所述多个分光频带图像中的至少 1 个分光频带 说 明 书 CN 104411229 A 4 2/10 页 5 图像内的各像素中， 提取每个空间频带的特征量 ； 权重计算单元， 其根据从所述各像素中提 取出的所述每个空间频带的特征量， 计算赋予给所述至少 1 个分光频带图像的每个空间频 带的权重 ； 以及位置对准单元， 其根据所述每个空间频带的权重， 进行所述多个分光频带图 像间的位置对准。 0013 本发明的图像处理方法执行多个分光频带图像间的位置对。

15、准， 所述多个分光频带 图像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的， 所述图像处理方法的特 征在于， 包含 ： 分光频带图像取得步骤， 取得所述多个分光频带图像 ； 空间频率成分提取步 骤， 从所述多个分光频带图像中的至少 1 个分光频带图像内的各像素中， 提取每个空间频 带的特征量 ； 权重计算步骤， 根据从所述各像素中提取出的所述每个空间频带的特征量， 计 算赋予给所述至少 1 个分光频带图像的每个空间频带的权重 ； 以及位置对准步骤， 根据所 述每个空间频带的权重， 进行所述多个分光频带图像间的位置对准。 0014 本发明的图像处理程序使计算机执行图像处理， 在所述图像处理。

16、中， 执行多个分 光频带图像间的位置对准， 所述多个分光频带图像是通过使用波段相互不同的多个光拍摄 管腔内而分别取得的， 所述图像处理程序的特征在于， 所述图像处理包含以下步骤 ： 分光频 带图像取得步骤， 取得所述多个分光频带图像 ； 空间频率成分提取步骤， 从所述多个分光频 带图像中的至少 1 个分光频带图像内的各像素中， 提取每个空间频带的特征量 ； 权重计算 步骤， 根据从所述各像素中提取出的所述每个空间频带的特征量， 计算赋予给所述至少 1 个分光频带图像的每个空间频带的权重 ； 以及位置对准步骤， 根据所述每个空间频带的权 重， 进行所述多个分光频带图像间的位置对准。 0015 发。

17、明的效果 0016 根据本发明， 根据从至少 1 个分光频带图像内的各像素中提取出的每个空间频带 的特征量， 计算赋予给该分光频带图像的每个空间频带的权重， 因而通过使用该权重， 能够 进行利用了难以受到分光频带图像的波长影响的空间频带的特征的位置对准。因此， 能够 在多个分光频带图像间执行精度良好的位置对准。 附图说明 0017 图 1 是示出本发明实施方式 1 的图像处理装置的结构的框图。 0018 图 2 是示出图 1 所示的图像处理装置的动作的流程图。 0019 图 3 是示出根据模板用图像生成的按各空间频带的图像的示意图。 0020 图 4 是示出图 1 所示的权重计算部执行的处理的。

18、流程图。 0021 图 5 是示出像素值的轮廓为凹形的区域的例子的曲线图。 0022 图 6 是示出图 1 所示的位置对准部执行的流程图。 0023 图 7 是示出本发明实施方式 2 的图像处理装置的结构的框图。 0024 图 8 是示出图 7 所示的权重计算部执行的处理的流程图。 具体实施方式 0025 以下， 参照附图说明本发明实施方式的图像处理装置、 图像处理方法和图像处理 程序。另外， 本发明不限于这些实施方式。此外， 在各附图的记载中， 对相同部分标注相同 标号来表示。 说 明 书 CN 104411229 A 5 3/10 页 6 0026 ( 实施方式 1) 0027 图 1 是。

19、示出本发明实施方式 1 的图像处理装置的框图。本实施方式 1 的图像处理 装置 1 是执行通过由面依次式的内窥镜拍摄管腔内而取得的多个分光频带图像间的位置 对准的装置。在面依次式中， 通常依次取得红色、 绿色、 蓝色的各分光频带图像。另外， 作为 分光频带图像， 不限于上述红色、 绿色、 蓝色这 3 种， 也可以取得 4 个以上的分光频带图像。 作为一例， 可以从红色频带中提取两个窄带 ( 以下， 表示为红色 (1)、 红色 (2)， 取得红色 (1)、 红色 (2)、 绿色、 蓝色这 4 个分光频带图像。并且， 作为另一例， 还可以从蓝色频带中提 取两个窄带 ( 以下， 表示为蓝色 (1)、。

20、 蓝色 (2)， 取得红色 (1)、 红色 (2)、 绿色、 蓝色 (1)、 蓝 色 (2) 这 5 个分光频带图像。 0028 并且， 在本实施方式 1 中， 选择依次取得的红色、 绿色、 蓝色的各分光频带图像内 的 1 方作为模板用图像， 对其它分光频带图像分别进行位置对准。另外， 选择为模板用图像 的分光频带图像不限于 1 个， 可以是两个以上。在该情况下， 例如， 也可以进行这样的处理 ： 使用由红色的分光频带图像生成的模板进行绿色的分光频带图像的位置对准， 使用由绿色 的分光频带图像生成的模板进行蓝色的分光频带图像的位置对准。 并且， 如上所述， 由于分 光频带图像还能够设为 4 个。

21、以上， 因而作为选择为模板用图像的分光频带图像和位置对准 对象的分光频带图像， 可列举各种组合。 0029 如图 1 所示， 图像处理装置 1 具有 ： 控制该图像处理装置 1 整体的动作的控制部 10、 取得与由内窥镜拍摄的图像对应的图像数据的图像取得部 20、 受理从外部输入的输入 信号的输入部30、 进行各种显示的显示部40、 存储由图像取得部20取得的图像数据和各种 程序的记录部 50、 以及对图像数据执行规定的图像处理的运算部 100。 0030 控制部 10 通过 CPU 等硬件实现， 通过读入记录在记录部 50 内的各种程序， 依照从 图像取得部 20 输入的图像数据和从输入部 。

22、30 输入的操作信号等， 进行向构成图像处理装 置 1 的各部件的指示和数据传输等， 统一控制图像处理装置 1 整体的动作。 0031 图像取得部 20 是根据包含内窥镜的系统的形态而适当构成的。例如， 在与胶囊型 内窥镜之间的图像数据交换中使用可移动型记录介质的情况下， 图像取得部 20 由以拆装 自如的方式安装该记录介质、 并读出所记录的图像的图像数据的读出装置构成。 并且， 在设 置预先保存由内窥镜拍摄的图像的图像数据的服务器的情况下， 图像取得部 20 由与服务 器连接的通信装置等构成， 与服务器进行数据通信来取得图像数据。或者， 图像取得部 20 还可以由从内窥镜经由缆线输入图像信号。

23、的接口装置等构成。 0032 输入部 30 例如由键盘、 鼠标、 触摸面板以及各种开关等输入器件实现， 将所受理 的输入信号输出到控制部 10。 0033 显示部 40 由 LCD 或 EL 显示器等显示装置实现， 在控制部 10 的控制下， 显示包含 管腔内图像在内的各种画面。 0034 记录部 50 由可更新记录的闪存等 ROM 或 RAM 这样的各种 IC 存储器、 内置或通过 数据通信端子连接的硬盘、 或者CDROM等信息记录装置及其读取装置等实现。 记录部50 除了存储由图像取得部20取得的图像数据之外， 还存储用于使图像处理装置1进行动作并 且使图像处理装置 1 执行各种功能的程序。

24、、 以及在该程序的执行中使用的数据等。具体地 说， 记录部50存储使该图像处理装置1执行由面依次式的内窥镜取得的多个分光频带图像 间的位置对准的图像处理程序 51、 以及在该程序的执行中使用的各种信息等。 说 明 书 CN 104411229 A 6 4/10 页 7 0035 运算部 100 通过 CPU 等硬件实现， 通过读入图像处理程序 51 来实施对管腔内图像 的图像处理， 并执行由面依次式的内窥镜取得的多个分光频带图像间的位置对准。 0036 下面， 对运算部 100 的结构进行说明。如图 1 所示， 运算部 100 具有 ： 分光频带图 像取得部 110， 其取得多个分光频带图像 。

25、； 空间频率成分提取部 120， 其从该多个分光频带 图像中的至少 1 个分光频带图像的各像素中提取每个空间频带的特征量 ； 权重计算部 130， 其根据该特征量， 计算赋予给上述至少 1 个分光频带图像的每个空间频带的权重 ； 以及位 置对准部 140， 其根据该权重进行多个分光频带图像间的位置对准。 0037 分光频带图像取得部110通过从记录部50读入图像数据， 取得按照面依次式被依 次拍摄的红色、 绿色、 蓝色这 3 个分光频带图像、 或者其中连续的两个分光频带图像作为处 理对象的分光频带图像。 0038 空间频率成分提取部120将多个分光频带图像中的至少1个设为用于生成在位置 对准中。

26、使用的模板的图像 ( 以下称为模板用图像 )， 并从该模板用图像内的各像素中提取 每个空间频带的特征量。 0039 权重计算部 130 具有 ： 区域提取部 131， 其从模板用图像中提取多个局部区域 ； 局 部频率特征量计算部 132， 其根据模板用图像内的各像素的空间频率成分， 计算各局部区域 中的每个空间频带的特征量(以下， 称为局部频率特征量) ； 以及局部权重计算部133， 其根 据该局部频率特征量， 计算赋予给各局部区域的每个空间频带的权重 ( 以下， 称为局部权 重 )。 0040 其中， 局部频率特征量计算部 132 具有 ： 负区域提取部 132a， 其从模板图像中提取 空间。

27、频率成分的振幅为负的像素区域 ( 以下， 称为负区域 ) ； 以及平均振幅计算部 132b， 其 针对各局部区域， 按照每个空间频带， 计算负区域中的振幅的绝对值的平均值， 局部频率特 征量计算部 132 将按照每个空间频带计算出的平均值设为该局部区域中的局部频率特征 量。 0041 并且， 局部权重计算部 133 具有 ： 阈值处理部 133a， 其提取局部频率特征量为规定 的阈值以上的空间频带 ； 最小频带提取部 133b， 其提取由该阈值处理部 133a 提取出的空间 频带中的、 局部频率特征量最小的空间频带 ； 以及比率计算部 133c， 其计算由阈值处理部 133a 提取出的空间频带。

28、的局部频率特征量相对于由该最小频带提取部 133b 提取出的空间 频带的局部频率特征量的比率， 局部权重计算部 133 将该比率作为局部权重进行输出。 0042 下面， 说明图像处理装置 1 的动作。图 2 是示出图像处理装置 1 的动作的流程图。 0043 首先， 在步骤 S10 中， 分光频带图像取得部 110 读入记录在记录部 50 内的图像数 据， 取得设为处理对象的多个分光频带图像。 0044 在接下来的步骤 S11 中， 空间频率成分提取部 120 选择在步骤 S10 中取得的图像 中的 1 个作为模板用图像， 并从该模板用图像内的各像素中， 提取每个空间频带的像素值 的振幅信息 。

29、( 以下称为空间频率成分 ) 作为每个空间频带的特征量。 0045 在本实施方式 1 中， 通过对模板用图像实施 DOG(Difference of Gaussian， 高斯 差分 )， 提取各像素的空间频率成分。这里， DOG 是计算对原图像实施比例尺 (scale) 相互 不同的高斯滤波处理而得到的图像间的差分的处理 ( 参考 ： 株式会社， “最先端 2” ， 第 8 页 )， 相当于对图像的带通滤波处理。如图 3 所示， 通过针对模板用图像 M1 的 DOG 而计算出的各差分图像 m(fn)(n 1、 2、 ) 相当于 说 明 书 CN 104411229 A 7 5/10 页 8 各。

30、空间频带的图像， 各差分图像 m(fn) 内的坐标 (x， y) 处的像素的像素值 Y(x， y， fn) 相当 于空间频带 fn中的空间频率成分。以下， 将差分图像 m(fn) 称为频带图像。 0046 另外， 在该步骤 S11 中， 只要能够从模板用图像内的各像素中提取空间频率成分， 则能够执行通常公知的带通滤波处理等其它处理。 0047 在接下来的步骤S12中， 权重计算部130根据各像素的空间频率成分， 计算每个空 间频带的权重。图 4 是示出在步骤 S12 中权重计算部 130 执行的处理的详情的流程图。 0048 在步骤 S121 中， 如图 3 的虚线所示， 区域提取部 131 。

31、将模板用图像 M1 分割成多个 矩形区域 rk。另外， 标号 k(k 1、 2、) 表示矩形区域 rk的排列顺序。各矩形区域 rk的 尺寸被决定为相比与各空间频带 fn对应的波长足够大。另外， 在图 3 中， 用矩形区域 r(k， fn) 表示与各矩形区域 rk对应的频带图像 m(fn) 内的区域。 0049 接下来， 权重计算部 130 对各矩形区域 rk执行循环 A 的处理。 0050 首先， 在步骤S122中， 局部频率特征量计算部132按照每个空间频带fn， 计算负区 域中的空间频率成分的绝对值 |Y(x， y， fn)| 的平均值。这里， 如图 5 所示， 空间频带 fn中 的负区域。

32、相当于像素值的轮廓相对于周围区域以 1/fn左右的间隔变为凹形的区域。 0051 更详细地说， 负区域提取部 132a 在处理对象的矩形区域 r(k， fn) 内依次搜索， 提 取空间频率成分 Y(x， y， fn) 为负的像素。每当提取出负像素时， 平均振幅计算部 132b 将提 取出的像素的空间频率成分 Y(x， y， fn) 相加。然后， 在矩形区域 r(k， fn) 内的全部像素的 搜索后， 将空间频率成分 Y(x， y， fn) 的合计值的绝对值除以提取出的像素数。以下， 将这样 计算出的平均值设为矩形区域 rk中的空间频带 fn的局部频率特征量 c(k， fn)。 0052 在步骤。

33、 S123 中， 阈值处理部 133a 对在步骤 S122 中计算出的每个空间频带 fn的 局部频率特征量 c(k， fn) 实施阈值处理， 提取局部频率特征量 c(k， fn) 为规定的阈值以上 的空间频带 fn。 0053 在步骤S124中， 最小频带提取部133b提取在步骤S122中提取出的空间频带fn中 的、 局部频率特征量 c(k， fn) 最小的空间频带 ( 以下， 称为最小频带 )f(min)。 0054 然后， 在步骤 S125 中， 比率计算部 133c 计算在步骤 S123 中提取出的各空间频带 fn的局部频率特征量 c(k， fn) 相对于最小频带 f(min)的局部频率。

34、特征量 c(k， f(min) 的比率 c(k， fn)/c(k， f(min)。局部权重计算部 133 将这样计算出的比率 c(k， fn)/c(k， f(min) 设定 为每个空间频带 fn的权重 w(k， fn)。另外， 在步骤 S123 中未被提取的空间频带 fn的权重被 设定为 1。 0055 通过以上的处理， 针对各矩形区域 rk， 设定强调如下空间频带的权重， 该空间频带 示出与周围相比像素值轮廓为凹形的特征。在针对全部矩形区域 rk结束了循环 A 的处理 后， 处理回到主例程。 0056 另外， 在本实施方式 1 中， 针对分割模板用图像而得到的多个矩形区域 rk的各个 矩形区。

35、域 rk， 计算出了以最小频带 f(min)的局部频率特征量 c(k， fn) 为基准的权重， 然而只 要能够针对各矩形区域 rk， 计算出强调如下的空间频带 fn那样的权重， 则也可以使用其它 方法计算权重， 该空间频带 fn示出与周围相比像素值轮廓为凹形的特征。 0057 在接着步骤 S12 的步骤 S13 中， 位置对准部 140 根据计算出的权重， 进行分光频带 图像间的位置对准。 图6是示出在步骤S13中位置对准部140执行的处理的详情的流程图。 0058 在步骤 S131 中， 位置对准部 140 针对模板用图像 M1 内的各矩形区域 rk， 将在步骤 说 明 书 CN 10441。

36、1229 A 8 6/10 页 9 S12 中计算出的权重 w(k， fn) 与各像素的对应的空间频率成分相乘。 0059 在步骤 S132 中， 位置对准部 140 按照每个像素， 使乘以权重后的空间频率成分相 加。由此， 生成根据权重强调了空间频率成分的图像。即， 生成进一步强调了与周围相比像 素值轮廓为凹形的区域的图像。 0060 在步骤 S133 中， 位置对准部 140 使用在步骤 S132 中生成的图像作为模板， 进行模 板与其它分光频带图像的位置对准。作为位置对准的方法， 例如使用 LK(Lucas Kanade) 法等公知的方法。这里， LK 法是这样的方法 ： 设表示两个图像。

37、间的像素坐标变化的参数矢 量为 P(p1， p2) 时， 求出在这些图像间像素值的差分平方和为最小的参数矢量 P。通过这样 的处理， 在选择为模板用图像的分光频带图像与其它分光频带图像之间， 进行对应的像素 彼此的坐标信息的关联。 0061 在接着步骤S13的步骤S14中， 运算部100输出位置对准结果， 并存储到记录部50 中。并且此时， 运算部 100 可以根据位置对准结果生成使红色、 绿色、 蓝色的分光频带图像 重合后的合成图像， 并使合成图像显示在显示部 40 上。 0062 如以上说明那样， 在实施方式 1 中， 提取包含与周围相比像素值的轮廓为凹形的 信息的空间频带， 计算强调该空。

38、间频带的振幅信息的权重。具体地说， 根据这些权重， 强调 表示如表层血管或粘膜的细微构造那样、 不论波长如何都容易吸收照射光的区域的频率成 分。 这样， 由于生成强调了难以受到分光频带图像的波长影响的信息的模板， 因而能够提高 位置对准的精度。 0063 在上述实施方式 1 中， 针对分割模板用图像而得到的多个矩形区域的各个矩形区 域计算出了局部频率特征量， 但也可以在不进行区域分割的情况下， 针对各像素计算局部 频率特征量。在该情况下， 能够省略图 4 所示的步骤 S121 和步骤 S122。并且， 在步骤 S123 中， 针对各像素， 只要提取空间频率成分为负的空间频带中的、 空间频率成分。

39、的绝对值为规 定的阈值以上的空间频带即可。 0064 并且， 在上述实施方式 1 中， 在针对将图像分割成多个区域而得到的各区域计算 出了每个空间频带的权重之后， 以图像为单位进行了位置对准， 然而也可以按照分割而得 的每个区域进行位置对准。这里， 本实施方式 1 中的拍摄对象例如是管腔内 ( 粘膜 )， 由于 是非刚性的， 因而还考虑了位置偏差的方向按照每个区域而不同的情况。 具体地说， 可能会 存在这样的状况 ： 在某个区域中朝上方产生位置偏差， 在另一区域中朝右方产生位置偏差。 在这样的情况下， 通过按照每个区域进行位置对准， 能够提高图像整体中的位置对准的精 度。 0065 或者， 可。

40、以替代按照每个区域进行位置对准， 而以像素为单位进行位置对准。 具体 地说， 按照每个像素设定在计算空间频率成分时的周围区域， 并对各像素执行图 4 的步骤 S122 S125， 由此计算对象像素的周围区域中的每个空间频带的权重。然后， 使用计算出 的权重， 在周围区域和其它分光频带图像之间进行位置对准。将由此得到的结果设为各像 素中的位置对准结果 ( 变形参数 )。 0066 并且， 在上述实施方式1中， 将红色、 绿色、 蓝色的各分光频带图像中的1个图像设 为了模板用图像， 然而也可以将两个以上的分光频带图像设为模板用图像。 例如， 可以使用 由红色的分光频带图像生成的模板， 进行与在下一。

41、时机取得的绿色的分光频带图像的位置 对准， 使用由绿色的分光频带图像生成的模板， 进行与在下一时机取得的蓝色的分光频带 说 明 书 CN 104411229 A 9 7/10 页 10 图像的位置对准， 使用由蓝色的分光频带图像生成的模板， 进行与在下一时机取得的红色 的分光频带图像的位置对准等。或者， 如上所述， 可以取得 4 个以上的分光频带图像， 利用 其中的两个以上的分光频带图像生成模板， 由此使模板和位置对准对象的分光频带图像进 行各种组合来进行位置对准。 0067 并且， 在上述实施方式 1 中， 没有特别提及针对位置对准对象的分光频带图像的 处理， 然而也可以对位置对准对象的分光。

42、频带图像实施规定的处理。 例如， 针对位置对准对 象的分光频带图像， 如果在与模板同样地使用权重强调了空间频率之后， 使用模板进行位 置对准， 则能够进一步提高位置对准精度。 0068 ( 实施方式 2) 0069 下面， 对本发明的实施方式 2 进行说明。 0070 图 7 是示出本发明实施方式 2 的图像处理装置的结构的框图。如图 7 所示， 实施 方式 2 的图像处理装置 2 具有运算部 200， 运算部 210 具有权重计算部210 来替代图 1 所示 的权重计算部130。 权重计算部210以外的运算部200内的各部件的结构和动作、 以及图像 处理装置 2 的各部件的结构和动作与实施方。

43、式 1 相同。 0071 如图 7 所示， 权重计算部 210 具有临时权重计算部 211 和临时权重控制部 212。临 时权重计算部 211 与实施方式 1 中的权重计算部 130 同样， 具有区域提取部 131、 局部频率 特征量计算部132以及局部权重计算部133， 临时权重计算部211输出根据局部频率特征量 计算的每个空间频带的权重作为临时权重。 0072 临时权重控制部212通过强调或抑制由临时权重计算部211计算出的临时权重中 的、 根据模板用图像的波段选择的空间频带内的临时权重， 计算局部权重。更详细地说， 临 时权重控制部 212 具有 ： 空间频带选择部 212a， 其根据模。

44、板用图像的波段选择规定的空间 频带 ； 阈值处理部 212b， 其对所选择的空间频带的局部频率特征量进行阈值处理 ； 以及临 时权重强调部 212c， 其强调局部频率特征量被判别为规定的阈值以上的空间频带的临时权 重。 0073 下面， 对图像处理装置 2 的动作进行说明。图像处理装置 2 的动作在整体上与图 2 所示的动作相同， 在步骤 S12 中由权重计算部 210 执行的详细处理与实施方式 1 不同。 0074 图 8 是示出在步骤 S12 中由权重计算部 210 执行的处理的流程图。另外， 图 8 所 示的步骤 S221 S224 对应于图 4 所示的步骤 S121 S124。 007。

45、5 在接着步骤 S224 的步骤 S225 中， 局部权重计算部 133 计算在步骤 S223 中提取出 的空间频带 fn的局部频率特征量 c(k， fn) 相对于最小频带 f(min)中的局部频率特征量 c(k， f(min) 的比率 c(k， fn)/c(k， f(min)， 将该比率 c(k， fn)/c(k， f(min) 设定为空间频带 fn的临时 权重 w (k， fn)。另外， 在步骤 S223 中未被提取的空间频带 fn的临时权重被设定为 1。 0076 在接下来的步骤 S226 S228 中， 临时权重控制部 212 根据模板用的分光频带图 像的波段控制临时权重。 0077 。

46、这里， 在分光频带图像中显现为高频成分的信息对应于粘膜面的细微构造或粘膜 表层的细微血管。 其中， 粘膜面的细微构造不论波段如何， 都显现在分光频带图像内。 此外， 如果在血管中的吸光度低的长波长的分光频带图像 ( 例如， 红色的分光频带图像 ) 内还显 现细微血管， 则在其它分光频带图像内也显现同样的细微血管的可能性高。 即， 在长波长的 分光频带图像中的高频成分的强度强的情况下， 在其它分光频带图像中也存在高频成分变 说 明 书 CN 104411229 A 10 8/10 页 11 强的趋势， 高频成分在位置对准中是重要的信息。 因此， 如果模板用图像是长波长的分光频 带图像、 而且该分。

47、光频带图像中的高频成分的强度强， 则以使高频成分的权重进一步增大 的方式强调临时权重。 0078 因此， 在步骤 S226 中， 空间频带选择部 212a 根据模板用图像的波段， 选择要强调 权重的空间频带。 具体地说， 在模板用图像是红色的分光频带图像的情况下， 选择空间频率 成分的强度(或者， 振幅的绝对值)为规定的阈值以上、 而且空间频带为规定的频带以上的 高频带。 0079 接下来， 临时权重控制部 212 对所选择的各空间频带执行循环 C 的处理。即， 在步 骤 S227 中， 阈值处理部 212b 判定在步骤 S222 中计算出的平均值 ( 局部频率特征量 ) 是否 为规定的阈值以。

48、上。另外， 步骤 S227 中的阈值设定了比步骤 S223 中的阈值大的值。 0080 在局部频率特征量为阈值以上的情况下 ( 步骤 S227 ： 是 )， 临时权重强调部 212c 通过对处理对象的空间频带内的临时权重 ( 参照步骤 S225) 乘以规定的系数 ( 1) 来强 调该临时权重 ( 步骤 S228)。另一方面， 在局部频率特征量小于阈值的情况下 ( 步骤 S227 ： 否 )， 直接结束对该空间频带的处理。 0081 在对步骤S226中选择的全部空间频带结束了循环C的处理、 而且对全部矩形区域 结束了循环 B 的处理后， 处理回到主例程。 0082 如以上说明那样， 根据实施方式。

49、 2， 针对根据局部频率特征量计算出的临时权重， 强调根据模板用图像的波段而选择的空间频带内的权重。 因此， 通过使用这样的权重， 能够 进一步提高分光频带图像间的位置对准的精度。 0083 ( 变形例 1) 0084 下面， 针对上述实施方式 2， 对模板用图像是波长非常短的分光频带图像的情况进 行说明。在将波长非常短的分光频带图像设为模板用图像的情况下， 当提取出了比在其它 分光频带图像中可提取的高频成分更高频率的空间频率成分时， 可以抑制这样的空间频率 成分。这是因为， 这样的频率成分难以显现在其它分光频带图像内， 难以用于位置对准。 0085 作为具体的处理， 在步骤S226中， 空间频带选择部212a在模板用图像是波长非常 短的分光频带图像的情况下， 选择空间频带为规定的频带以上的高频带。 并且， 在步骤S228 中， 临。