图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf

上传人:n****g 文档编号:8028190 上传时间:2019-12-16 格式:PDF 页数:29 大小:1.84MB
返回 下载 相关 举报
摘要
申请专利号:

CN201580075786.6

申请日:

20150210

公开号:

CN107205618A

公开日:

20170926

当前法律状态:

有效性:

审查中

法律详情:

IPC分类号:

A61B1/00

主分类号:

A61B1/00

申请人:

奥林巴斯株式会社

发明人:

井冈健,吉崎和德,菊地直,小宫康宏,福永康弘

地址:

日本东京都

优先权:

JP2015053687W

专利代理机构:

北京三友知识产权代理有限公司

代理人:

李辉;孙明浩

PDF下载: PDF下载
内容摘要

提供能够以高分辨率分别得到通常图像和窄带图像的图像处理装置、内窥镜系统以及摄像装置。图像处理装置(4)具有:分离部(401a),其根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与分别透过了多个窄带滤光器的窄带光对应的多个窄带图像信号分离;去马赛克部(401b),其根据分离部(401a)分离出的多个窄带图像信号,进行对多个宽带图像信号中的任意一个进行插值的去马赛克处理;以及图像生成部(401c),其使用去马赛克部(401b)通过去马赛克处理进行插值得到的宽带图像信号来生成宽带图像,并且使用窄带图像信号来生成窄带图像。

权利要求书

1.一种图像处理装置,其特征在于,该图像处理装置具有:分离部,其根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克部,其进行如下的去马赛克处理:根据所述分离部分离出的所述窄带图像信号,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及图像生成部,其使用所述去马赛克部通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。 2.根据权利要求1所述的图像处理装置,其特征在于,所述窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述多种宽带滤光器中的任意一种的透射光谱的半值宽度之间,所述去马赛克部通过所述去马赛克处理,对所述多个宽带图像信号中的、与在所述半值宽度之间包含所述最大值的所述宽带滤光器对应的宽带图像信号进行插值。 3.根据权利要求2所述的图像处理装置,其特征在于,所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器,所述窄带滤光器具有第一窄带滤光器,该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间,所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号进行所述去马赛克处理,从而对与所述蓝色滤光器对应的宽带图像信号进行插值,所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。 4.根据权利要求3所述的图像处理装置,其特征在于,所述窄带滤光器具有第二窄带滤光器,该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间,使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号进行所述去马赛克处理,从而对与所述绿色滤光器对应的宽带图像信号进行插值。 5.根据权利要求3或4所述的图像处理装置,其特征在于,所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下,在对与所述蓝色滤光器对应的宽带图像信号进行插值时使用所述第一窄带图像信号进行所述去马赛克处理。 6.一种内窥镜系统,其特征在于,该内窥镜系统具有:权利要求1~4中的任意一项的图像处理装置;摄像装置,其具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号,该滤色器使用窄带滤光器和多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光,所述滤色器以与所述多个像素对应的方式配置;以及插入部,其在前端设置有所述摄像装置,该插入部被插入到被检体内。 7.一种摄像装置,其特征在于,该摄像装置具有:摄像元件,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号;以及以与所述多个像素对应的方式配置的滤色器,其使用窄带滤光器和多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光。 8.一种图像处理方法,其特征在于,该图像处理方法具有以下步骤:分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。 9.一种程序,其中,该程序使图像处理装置执行以下步骤:分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

说明书

技术领域

本发明涉及对从具有滤色器的摄像元件输出的图像数据进行图像处理的图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序,其中,该滤色器是将透射宽带的光的多个宽带滤光器和透射窄带的光的多个窄带滤光器呈二维矩阵状配置而成的。

背景技术

近年来,在内窥镜的领域,公知有如下的技术:在摄像元件的受光面上设置滤色器,该滤色器是将透射可见区域的宽带的光的多个宽带滤光器和透射窄带的光的多个窄带滤光器呈二维矩阵状配置而成的,由此同时取得通常的宽带图像和能够同时观察粘膜表层的毛细血管和粘膜细微样式的窄带图像(参照专利文献1)。

现有技术文献

专利文献

专利文献1:日本特开2007-20880号公报

发明内容

发明要解决的课题

然而,在上述的专利文献1中,窄带滤光器的数量和宽带滤光器的数量比通常的仅有宽带滤光器的情况少,因此存在窄带图像和宽带图像各自的分辨率低这样的问题。

本发明是鉴于上述情况而完成的,其目的在于,提供能够以高分辨率分别得到窄带图像和通常的宽带图像的图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序。

用于解决课题的手段

为了解决上述的课题、达成目的,本发明的图像处理装置的特征在于,该图像处理装置具有:分离部,其根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克部,其进行如下的去马赛克处理:根据所述分离部分离出的所述窄带图像信号,对所述多个宽带图像信号中的至少一个宽带图像信号进行插值;以及图像生成部,其使用所述去马赛克部通过所述去马赛克处理进行插值得到的至少一个所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

并且,本发明的图像处理装置在上述发明的基础上,特征在于,所述窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述多种宽带滤光器中的任意一种的透射光谱的半值宽度之间,所述去马赛克部通过所述去马赛克处理,对所述多个宽带图像信号中的、与在所述半值宽度之间包含所述最大值的所述宽带滤光器对应的宽带图像信号进行插值。

并且,本发明的图像处理装置在上述发明的基础上,特征在于,所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器,所述窄带滤光器具有第一窄带滤光器,该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间,所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号进行所述去马赛克处理,从而对与所述蓝色滤光器对应的宽带图像信号进行插值,所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。

并且,本发明的图像处理装置在上述发明的基础上,特征在于,所述窄带滤光器具有第二窄带滤光器,该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间,使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号进行所述去马赛克处理,从而对与所述绿色滤光器对应的宽带图像信号进行插值。

并且,本发明的图像处理装置在上述发明的基础上,特征在于,所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下,在对与所述蓝色滤光器对应的宽带图像信号进行插值时使用所述第一窄带图像信号进行所述去马赛克处理。

并且,本发明的内窥镜系统的特征在于,该内窥镜系统具有:上述图像处理装置;摄像装置,其具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号,该滤色器使用窄带滤光器和多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光,所述滤色器以与所述多个像素对应的方式配置;以及插入部,其在前端设置有所述摄像装置,该插入部被插入到被检体内。

并且,本发明的摄像装置的特征在于,该摄像装置具有:摄像元件,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号;以及以与所述多个像素对应的方式配置的滤色器,其使用窄带滤光器和多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光。

并且,本发明的图像处理方法的特征在于,该图像处理方法包含以下步骤:分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

并且,本发明的程序使图像处理装置执行以下步骤:分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

发明效果

根据本发明,实现了能够以高分辨率分别得到宽带图像和窄带图像这样的效果。

附图说明

图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。

图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。

图3是示意性地示出本发明的实施方式1的滤色器的结构的图。

图4是示出构成本发明的实施方式1的滤色器的各滤光器的透射率的特性的图。

图5是示意性地对本发明的实施方式1的图像处理部执行的图像处理的概要进行说明的图。

图6是示意性地示出本发明的实施方式1的变形例的滤色器的结构的图。

图7是示意性地示出本发明的实施方式2的滤色器的结构的图。

图8是示出构成本发明的实施方式2的滤色器的各滤光器的透射率的特性的图。

图9是示意性地对本发明的实施方式2的图像处理部执行的图像处理的概要进行说明的图。

图10是示意性地示出本发明的实施方式3的滤色器的结构的图。

图11是示出构成本发明的实施方式3的滤色器的各滤光器的透射率的特性的图。

图12是示意性地对本发明的实施方式3的图像处理部执行的图像处理的概要进行说明的图。

具体实施方式

以下,对用于实施本发明的方式(以下,称为“实施方式”)进行说明。在本实施方式中,作为图像处理装置,以对患者等被检体的体腔内的图像进行拍摄并显示的医疗用的内窥镜系统为例进行说明。并且,本发明不限于以下的实施方式。而且,在图面的记载中对相同部分标注相同的标号进行说明。

(实施方式1)

(内窥镜系统的结构)

图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。

图1和图2所示的内窥镜系统1具有:内窥镜2,其通过前端部插入到被检体的体腔内而对被检体的体内图像进行拍摄;光源装置3,其产生从内窥镜2的前端射出的照明光;处理装置4(处理器),其对内窥镜2拍摄的图像信号实施规定的图像处理而生成图像,并且统一地对内窥镜系统1整体的动作进行控制;以及显示装置5,其对处理装置4实施图像处理而生成的图像进行显示。

(内窥镜的结构)

首先,对内窥镜2的结构进行说明。内窥镜2具有:具有挠性的呈细长形状的插入部21;操作部22,其与插入部21的基端侧连接,接受各种操作信号的输入;以及通用缆线23,其从操作部22向与插入部21延伸的方向不同的方向延伸,内设有与光源装置3和处理装置4连接的各种缆线。

插入部21具有:前端部24,其内设有摄像元件244(摄像装置),在该摄像元件244中像素呈二维状排列,该像素接受光并进行光电转换从而生成信号;弯曲自如的弯曲部25,其由多个弯曲块构成;以及具有挠性的长条状的挠性管部26,其与弯曲部25的基端侧连接。

前端部24具有光导241、照明透镜242、光学系统243、滤色器245、摄像元件244、模拟前端部246(以下,称为“AFE部246”)、定时产生器部247(以下,称为“TG部247”)以及摄像控制部248。

光导241使用玻璃纤维等构成,形成光源装置3射出的光的导光路。照明透镜242设置于光导241的前端,使光导241引导的光朝向被摄体发散。

光学系统243使用一个或多个透镜和棱镜等构成,具有改变视场角的光学变焦功能和改变焦点的对焦功能。

摄像元件244接受透过了光学系统243和滤色器245的光,通过进行光电转换而生成电信号,并将该电信号作为图像信号输出。摄像元件244使用CCD(Charge Coupled Device:电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等摄像传感器构成,在该摄像传感器上接受来自光学系统243的光的多个像素呈二维矩阵状排列。摄像元件244在摄像控制部248的控制下,根据从TG部247输入的信号和从处理装置4输入的时钟信号而生成图像信号。

滤色器245以层叠的方式设置在摄像元件244的受光面上。在滤色器245中以与多个像素对应的方式配置滤光器单元,该滤光器单元使用窄带滤光器和多种宽带滤光器构成,窄带滤光器的滤光器数量为多个宽带滤光器中的任意一种的滤光器数量以上,其中,该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,该窄带滤光器透射如下的窄带光,该窄带光具有比多种宽带滤光器各自透射宽带光的波段窄的波段,并且包含于宽带光的波段的一部分。

图3是示意性地示出滤色器245的结构的图。图3所示的滤色器245例如是根据摄像元件244的像素的配置而将滤光器单元T1呈矩阵状排列配置而成的,其中,在该滤光器单元T1中,作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。设置有滤光器的像素接受滤光器所透射的波段的光。例如,设置有透射绿色波段的光的宽带滤光器G的像素接受绿色波段的光。以下,将接受绿色波段的光的像素称为G像素。同样地,将接受蓝色波段的光的像素称为B像素,将接受红色波段的光的像素称为R像素,并且将接受窄带光的像素称为X像素。

在图3所示的滤光器单元T1中,将两个透射红色波段(620nm~750nm)的光的宽带滤光器R、八个透射绿色波段(495nm~570nm)的光的宽带滤光器G、两个透射蓝色波段(450nm~495nm)的光的宽带滤光器B以及四个窄带滤光器X作为一个样式进行重复,其中,该窄带滤光器X透射蓝色波段的一部分中的光,并且透射具有比各宽带滤光器所透射的波段窄的波段的窄带光。并且,在滤光器单元T1中,窄带滤光器X的滤光器数量为宽带滤光器B的滤光器数量以上(4>2)。在滤光器单元T1中,为了保证白色图像的分辨率,与拜耳排列同样地将宽带滤光器G的数量设为八个,为了提高窄带图像的分辨率,将窄带滤光器X的数量设为四个。并且,在滤光器单元T1中,由于宽带滤光器B与窄带滤光器X彼此的相关性较高,因此将宽带滤光器B的数量设为两个,由于在大肠内红色较少,因此将宽带滤光器R的数量设为两个。

图4是示出构成滤色器245的各滤光器的透射率的特性的图。在图4中,横轴表示波长,纵轴表示透射率。并且,在图4中,曲线LB表示宽带滤光器B的透射率的特性,曲线LG表示宽带滤光器G的透射率的特性,曲线LR表示宽带滤光器R的透射率的特性,曲线LX表示窄带滤光器X的透射率的特性。而且,在图4中,将窄带滤光器X的峰值波长设为415nm±30nm进行说明。

如图4的曲线LX所示,窄带滤光器X具有透射窄带光的透射光谱,该窄带光具有比宽带滤光器B所透射的宽带光的波段窄的波段,并且包含于宽带滤光器B所透射的波段的一部分。而且,如图4的曲线LX所示,透过宽带滤光器B的光的波段与透过窄带滤光器X的光的波段彼此的相关性较高。具体而言,如曲线LX和曲线LB所示,窄带滤光器X的透射光谱的最大值Pmax1包含在下限值P1与上限值P2的半值宽度之间,该下限值P1和上限值P2取宽带滤光器B的透射光谱的最大值的一半的值。并且,如线LG和曲线LR所示,宽带滤光器G和宽带滤光器R各自的分光光谱彼此重叠,因此相关性高。

返回到图1和图2,继续进行内窥镜2的结构的说明。

AFE部246进行CDS(Correlated Double Sampling:相关双采样)处理和A/D转换处理等并将处理后的信号输出给处理装置4,其中,该CDS处理是指降低从摄像元件244输入的图像信号所包含的噪声成分并且调节图像信号的放大率以维持一定的输出电平,该A/D转换处理是指对图像信号进行A/D转换。

TG部247产生用于对摄像元件244和摄像控制部248分别进行驱动的各种信号处理的脉冲。TG部247将脉冲信号输出给摄像元件244和摄像控制部248。

摄像控制部248对摄像元件244的摄像进行控制。摄像控制部248使用CPU(Central Processing Unit:中央处理单元)和记录各种程序的寄存器等构成。

操作部22具有:弯曲旋钮221,其使弯曲部25在上下方向上和左右方向上弯曲;处置器具插入部222,其供活体鉗子、电手术刀以及检查探针等处置器具向被检体的体腔内插入;以及作为操作输入部的多个开关223,其输入处理装置4、光源装置3以及送气构件、送水构件、画面显示控制等周边设备的操作指示信号。从处置器具插入部222被插入的处置器具经由前端部24的处置器具通道(未图示)从开口部(未图示)露出。

通用缆线23至少内设有光导241以及一条或多条信号线。通用缆线23至少包含用于传送从后述的处理装置4输出的时钟信号和同步信号的信号、用于传送图像信号的信号。

(光源装置的结构)

接下来,对光源装置3的结构进行说明。光源装置3具有照明部31和照明控制部32。

照明部31在照明控制部32的控制下,依次切换并向被摄体(被检体)射出波段彼此不同的多个照明光。照明部31具有光源部311和光源驱动器312。

光源部311使用氙气灯或白色LED(Light Emitting Diode:发光二极管)等光源以及一个或多个透镜等构成,根据光源驱动器312的控制而射出白色光。另外,也可以由红色LED、绿色LED以及蓝色LED构成光源部311,通过从红色LED、绿色LED以及蓝色LED同时射出光而向被摄体照射白色光。

光源驱动器312在照明控制部32的控制下向光源部311提供电流,由此使光源部311射出白色光。

照明控制部32在处理装置4的控制下以规定的周期使光源部311射出白色光。

(处理装置的结构)

接下来,对处理装置4的结构进行说明。处理装置4具有图像处理部401、明亮度检测部402、调光部403、输入部404、记录部405、基准时钟生成部406、同步信号生成部407以及控制部408。

图像处理部401根据从内窥镜2输入的图像信号,生成使显示装置5显示的体内图像并输出给显示装置5。图像处理部401对图像信号实施规定的图像处理而生成体内图像。

这里,对图像处理部401的详细的结构进行说明。图像处理部401至少具有分离部401a、去马赛克部401b以及图像生成部401c。

分离部401a根据从内窥镜2输入的图像信号,对与分别透过了多个宽带滤光器的宽带光对应的多个宽带图像信号和与分别透过了多个窄带滤光器的窄带光对应的多个窄带图像信号进行分离。具体而言,分离部401a将从内窥镜2输入的图像信号(RAW数据)分离成与透过了宽带滤光器R的宽带光对应的宽带图像信号、与透过了宽带滤光器G的宽带光对应的宽带图像信号、与透过了宽带滤光器B的宽带光对应的宽带图像信号以及与透过了窄带滤光器X的窄带光对应的窄带图像信号。

去马赛克部401b根据分离部401a分离出的窄带图像信号来执行对多个宽带图像信号中的任意一个进行插值的去马赛克处理。具体而言,去马赛克部401b根据分离部401a分离出的窄带图像信号,执行对与透过了宽带滤光器B的宽带光对应的宽带图像信号进行插值的去马赛克处理。并且,去马赛克部401b使用G像素的图像信号来执行对R像素的图像信号进行插值的去马赛克处理。

图像生成部401c使用如下的宽带图像信号来生成宽带图像,并且使用窄带图像信号来生成窄带图像,其中,该宽带图像信号是去马赛克部401b通过去马赛克处理进行插值而得到的。具体而言,图像生成部401c根据去马赛克部401b进行拜耳排列得到的RGB图像信号来生成彩色的通常图像。并且,图像生成部401c根据X像素的图像信号,通过进行去马赛克处理而对缺失的像素的图像信号进行插值,由此生成窄带图像。

明亮度检测部402根据从图像处理部401输入的图像信号所包含的RGB图像信息,对与各图像对应的明亮度电平进行检测,将该检测到的明亮度电平记录到内部所设置的存储器中并且输出给控制部408。

调光部403在控制部408的控制下,根据明亮度检测部402检测到的明亮度电平而对光源装置3产生的光量和发光时机等发光条件进行设定,将包含该设定的发光条件在内的调光信号输出给光源装置3。

输入部404接受对内窥镜系统1的动作进行指示的动作指示信号等各种信号的输入。输入部404使用开关等构成。

记录部405记录用于使内窥镜系统1动作的各种程序和包含内窥镜系统1的动作所需的各种参数等在内的数据。并且,记录部405记录处理装置4的识别信息。这里,在识别信息中包含有处理装置4的固有信息(ID)、年代型号、规格信息、传送方法以及传送速率等。

基准时钟生成部406生成时钟信号并向内窥镜系统1的各结构部提供时钟信号,该时钟信号作为内窥镜系统1的各结构部的动作的基准。另外,在本实施方式1中,基准时钟生成部406作为时钟信号生成部发挥功能。

同步信号生成部407根据从基准时钟生成部406输入的时钟信号而生成同步信号,将该同步信号输出给内窥镜2的TG部247并且输出给图像处理部401。

控制部408进行包含摄像元件244和光源装置3在内的各结构部的驱动控制和针对各结构部的信息的输入输出控制等。控制部408使用CPU构成。

(显示装置的结构)

接下来,对显示装置5进行说明。显示装置5对与经由影像缆线从处理装置4输入的图像信号对应的体内图像进行显示。显示装置5使用液晶或有机EL(Electro Luminescence:电致发光)等构成。

(图像处理部的处理)

接下来,对图像处理部401执行的图像处理进行说明。图5是示意性地对图像处理部401执行的图像处理的概要进行说明的图。

如图5所示,首先,分离部401a将从内窥镜2的摄像元件244输入的RAW数据F1分离成各像素的图像信号。具体而言,分离部401a从RAW数据F1中将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG1、将与R像素对应的宽带图像信号分离成图像数据FR1、将与B像素对应的宽带图像信号分离成图像数据FB1并且将与X像素对应的窄带图像信号分离成图像数据FX1。

如图5所示,在图像数据FR1中,来自与宽带滤光器R对应的R像素的宽带图像信号比拜耳排列少。因此,由于宽带滤光器G与宽带滤光器R的透射光谱(分光特性)彼此重叠、相关性较高(参照图4),因此去马赛克部401b根据图像数据FG1的宽带图像信号,通过进行去马赛克处理而对缺失的R像素的宽带图像信号进行插值,由此生成拜耳排列的图像数据FR2。

并且,在图像数据FB1中,来自与宽带滤光器B对应的B像素的宽带图像信号比拜耳排列少。而且,由于图像数据FB1是宽带,因此虽然对深层和表层血管分别进行了拍摄,但由于边缘信息模糊而导致分辨率降低。因此,由于宽带滤光器B的分光特性包含窄带滤光器X的分光特性并且宽带滤光器G与窄带滤光器X的透射光谱彼此重叠、相关性高(参照图4),因此去马赛克部401b根据图像数据FG1的宽带图像信号和图像数据FX1的窄带图像信号,通过去马赛克处理对缺失的B图像的宽带图像信号进行插值,由此生成拜耳排列的图像数据FB2。在该情况下,针对缺失的B像素,在具有图像数据FG1的宽带图像信号和图像数据FX1的窄带图像信号时,由于在窄带图像信号中包含更多更细微的边缘信息,因此为了更清晰地捕捉消化器粘膜的表层血管,去马赛克部401b优先使用图像数据FX1的窄带图像信号,从而通过去马赛克处理对缺失的B像素的宽带图像信号进行插值。由此,能够得到以往的拜耳排列的RAW数据FRGB并且能够以高分辨率得到图像数据FB1。

接着,去马赛克部401b根据拜耳排列的RAW数据FRGB,通过进行拜耳的去马赛克处理而生成RGB各自的图像数据FR3、图像数据FG3以及图像数据FB3。

然后,图像生成部401c根据去马赛克部401b生成的RGB各自的图像数据FR3、图像数据FG3以及图像数据FB3,生成彩色的通常图像数据FW(白色图像)并输出给显示装置5。

并且,图像生成部401c根据图像数据FX1的图像信号,通过进行去马赛克处理而对缺失的X像素进行插值,由此生成窄带图像数据FX2并输出给显示装置5。

根据上述进行了说明的本发明的实施方式1,去马赛克部401b根据与透过了窄带滤光器X的窄带光对应的窄带图像信号来进行对与宽带滤光器B对应的宽带图像信号进行插值的去马赛克处理。由此,能够以高分辨率分别得到宽带图像和窄带图像。

(实施方式1的变形例)

接下来,对本发明的实施方式1的变形例进行说明。本实施方式1的变形例的内窥镜系统与上述的实施方式1的内窥镜系统1的滤色器245的结构不同。因此,以下,仅对本实施方式1的变形例的滤色器的结构进行说明。另外,对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号并省略说明。

图6是示意性地示出本发明的实施方式1的变形例的滤色器的结构的图。

图6所示的滤色器245a以层叠的方式设置在摄像元件244的受光面上。滤色器245a例如是根据摄像元件244的像素的配置而将滤光器单元T2呈矩阵状排列配置而成的,其中,在该滤光器单元T2中,作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245a中以与多个像素对应的方式配置滤光器单元T2,该滤光器单元T2使用窄带滤光器和多种宽带滤光器构成,窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上,其中,该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,该窄带滤光器透射如下的窄带光,该窄带光具有比多种宽带滤光器各自透射宽带光的波段窄的波段,并且包含于宽带光的波段的一部分。

在图6所示的滤光器单元T2中,将两个透射红色成分的宽带滤光器R、八个透射绿色成分的宽带滤光器G、两个透射蓝色成分的宽带滤光器B以及四个透射窄带光的窄带滤光器X作为一个样式进行重复,其中,该窄带光具有比宽带滤光器B所透射的光的波段窄的波段,并包含于宽带滤光器B所透射的波段的一部分。在滤光器单元T2中,为了保证白色图像的分辨率而与拜耳排列同样地将宽带滤光器G的数量设为八个,为了提高窄带图像的分辨率而将窄带滤光器X的数量设为四个,由于宽带滤光器B与窄带滤光器X彼此的相关性较高,因此将宽带滤光器B的数量设为两个,由于在大肠内红色较少,因此将宽带滤光器R的数量设为两个。

根据以上进行了说明的本实施方式1的变形例,实现与上述的实施方式1相同的效果。

(实施方式2)

接下来,对本发明的实施方式2进行说明。本实施方式2的内窥镜系统的滤色器的结构和图像处理部的处理与上述的实施方式1的内窥镜系统1不同。因此,以下,对本实施方式2的滤色器的结构进行说明,然后对本实施方式2的图像处理部执行的处理进行说明。另外,对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号。

(滤色器的结构)

图7是示意性地示出本实施方式2的滤色器的结构的图。图7所示的滤色器245b例如是根据摄像元件244的像素的配置而将滤光器单元T3呈矩阵状排列配置而成的,其中,在该滤光器单元T3中,作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245b中,滤色器245a,以与多个像素对应的方式配置滤光器单元T3,该滤光器单元T3使用窄带滤光器和多种宽带滤光器和构成,窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上,其中,该多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,窄带滤光器透射如下的窄带光,该窄带光具有比多个宽带滤光器各自透射宽带光的波段窄的波段,并且包含于宽带光的波段的一部分。

具体而言,如图7所示,在滤光器单元T3中,将两个透射红色波段的光的宽带滤光器R、四个透射绿色波段的光的宽带滤光器G、两个透射蓝色波段的光的宽带滤光器B以及八个透射窄带光的窄带滤光器X作为一个样式进行重复,其中,该窄带光具有比透过宽带滤光器的光的波段窄的波段,并且包含于宽带滤光器所透射的波段的一部分。

图8是示出构成滤色器245b的各滤光器的透射率的特性的图。在图8中,横轴表示波长,纵轴表示透射率。并且,在图8中,曲线LB1表示宽带滤光器B的透射率的特性,曲线LG1表示宽带滤光器G的透射率的特性,曲线LR1表示宽带滤光器R的透射率的特性,曲线LX1表示窄带滤光器X的透射率的特性。而且,在图8中,将窄带滤光器X的峰值波长设为415nm±30nm进行说明。

如图8的曲线LX1和曲线LB1所示,窄带滤光器X具有透射窄带光的透射光谱,该窄带光具有比宽带滤光器B所透射的波段窄的波段,并且包含于宽带滤光器B所透射的波段的一部分。而且,宽带滤光器B所透射的波段与窄带滤光器X所透射的波段彼此的相关性高。而且,窄带滤光器X的透射光的透射光谱的最大值Pmax2取透过宽带滤光器B的光的透射光谱的下限值与上限值P2之间的半值宽度。并且,如曲线LG1和曲线LR1所示,宽带滤光器G与宽带滤光器R各自的透射光谱彼此重叠,因此相关性高。

(图像处理部的处理)

接下来,对图像处理部401执行的处理进行说明。图9是示意性地对图像处理部401执行的图像处理的概要进行说明的图。

如图9所示,首先,分离部401a将从内窥镜2的摄像元件244输入的RAW数据F2分离成各像素的图像信号。具体而言,分离部401a从RAW数据F2中将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG10,将与R像素对应的宽带图像信号分离成图像数据FR10,将与B像素对应的宽带图像信号分离成图像数据FB10并且将与X像素对应的窄带图像信号分离成图像数据FX10。

接着,图像生成部401c根据图像数据FX10的窄带图像信号,针对缺失的X像素,通过进行去马赛克处理而对窄带图像信号进行插值,由此生成窄带图像数据FX20并输出给显示装置5。

在窄带图像数据FX20的窄带图像信号中包含有毛细血管的细微的边缘信息。因此,去马赛克部401b根据窄带图像数据FX20的窄带图像信号,通过进行去马赛克处理而对图像数据FB10所缺失的B像素的宽带图像信号进行插值,由此生成宽带图像数据FB20。在窄带图像数据FX20的窄带图像信号中包含有毛细血管的细微的边缘信息。

然后,去马赛克部401b根据宽带图像数据FB20和窄带图像数据FX20的窄带图像信号所包含的边缘信息,通过进行去马赛克处理而对图像数据FG10所缺失的G像素的宽带图像信号进行插值,由此生成宽带图像数据FG20。

接着,去马赛克部401b根据宽带图像数据FG20的宽带图像信号,通过进行去马赛克处理而对图像数据FR10所缺失的R像素的宽带图像信号进行插值,从而生成宽带图像数据FR20。

然后,图像生成部401c根据去马赛克部401生成的RGB各自的宽带图像数据FR20、宽带图像数据FG20以及宽带图像数据FB20而生成彩色的通常图像数据FW10(白色图像)并输出给显示装置5。

根据以上进行了说明的本发明的实施方式2,去马赛克部401b使用由X像素输出的窄带图像信号,通过去马赛克处理对B像素的宽带图像信号进行插值。由此,能够以高分辨率分别得到通常图像和窄带图像。

(实施方式3)

接下来,对本发明的实施方式3进行说明。本实施方式3的内窥镜系统的滤色器的结构和图像处理部的处理与上述的实施方式1的内窥镜系统1不同。具体而言,本实施方式3的滤色器具有彼此透射光谱不同的两种窄带滤光器。因此,以下,对本实施方式3的滤色器的结构进行说明,然后对本实施方式3的图像处理部执行的处理进行说明。另外,对与上述的实施方式1的内窥镜系统1相同的结构标注相同的标号并省略说明。

(滤色器的结构)

图10是示意性地示出本实施方式3的滤色器的结构的图。图10所示的滤色器245c例如是根据摄像元件244的像素的配置而将滤光器单元T4呈矩阵状排列配置而成的,其中,在该滤光器单元T4中,作为一个样式而重复呈4×4(16)的矩阵状排列的滤光器。在滤色器245c中,滤色器245a,以与多个像素对应的方式配置滤光器单元T4,该滤光器单元T4使用窄带滤光器和多种宽带滤光器,窄带滤光器的滤光器数量为多种宽带滤光器中的任意一种的滤光器数量以上,其中,该多个宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,该窄带滤光器透射如下的窄带光,该窄带光具有比多个宽带滤光器各自透射宽带光的波段窄的波段,并且包含于宽带光的波段的一部分。

在图10所示的滤光器单元T4中,将两个透射红色波段的光的宽带滤光器R、四个透射绿色波段的光的宽带滤光器G、两个透射蓝色波段的光的宽带滤光器B、四个透射具有比透过宽带滤光器B的光的波段窄的波段且包含于宽带滤光器B所透射的波段的一部分中的窄带光的窄带滤光器X1、四个透射具有比透过宽带滤光器G的光的波段窄的波段且包含于宽带滤光器G所透射的波段的一部分中的窄带光的窄带滤光器X2作为一个样式进行重复。

图11是示出构成滤色器245c的各滤光器的透射率的特性的图。在图11中,横轴表示波长,纵轴表示透射率。并且,在图11中,曲线LB10表示宽带滤光器B的透射率的特性,曲线LG10表示宽带滤光器G的透射率的特性,曲线LR10表示宽带滤光器R的透射率的特性,曲线LX10表示窄带滤光器X1的透射率的特性。曲线LX20表示窄带滤光器X2的透射率的特性。而且,在图11中,将窄带滤光器X1的峰值波长设为415nm±30nm、将窄带滤光器X2的峰值波长设为540nm±30nm进行说明。

如图11的曲线LX10和曲线LB10所示,窄带滤光器X1具有透射窄带光透射的光谱,该窄带光具有比宽带滤光器B所透射的波段窄的波段并且包含于宽带滤光器B所透射的波段的一部分。而且,如曲线LX10和曲线LB10所示,宽带滤光器B所透射的透射光谱与窄带滤光器X1所透射的透射光谱彼此的相关性高。而且,如曲线LX10和曲线LB10所示,窄带滤光器X1的透射光的透射光谱的最大值Pmax3为透过宽带滤光器B的光的透射光谱的下限值P31与上限值P32之间的半值宽度。

并且,如图11的曲线LX20和曲线LG10所示,窄带滤光器X2具有透射窄带光的透射光谱,该窄带光具有比宽带滤光器G透射光的波段窄的波段,并且包含于宽带滤光器G透射光的波段的一部分。而且,如曲线LX200和曲线LG10所示,宽带滤光器G所透射的透射光谱与窄带滤光器X2所透射的透射光谱彼此的相关性高。而且,如曲线LX20和曲线LG10所示,窄带滤光器X2的透射光的透射光谱的最大值Pmax4为透过宽带滤光器G的光的透射光谱的下限值P41与上限值P42之间的半值宽度。

(图像处理部的处理)

接下来,对图像处理部401执行的处理进行说明。图12是示意性地对图像处理部401执行的图像处理的概要进行说明的图。

如图12所示,首先,分离部401a将从内窥镜2的摄像元件244输入的RAW数据F3分离成各像素的图像信号。具体而言,分离部401a从RAW数据F3中将与R像素对应的宽带图像信号分离成图像数据FR30,将与B像素对应的宽带图像信号分离成图像数据FB30,将与X1像素对应的窄带图像信号分离成图像数据FX30,将与G像素对应的宽带图像信号分离成拜耳排列的图像数据FG30并且将与X2像素对应的窄带图像信号分离成图像数据FX50。

接着,去马赛克部401b根据图像数据FX30,针对缺失的X1像素,通过进行去马赛克处理而对X1像素的窄带图像信号进行插值,由此生成窄带图像数据FX40。并且,去马赛克部401b根据图像数据FX50,针对缺失的X2像素,通过进行去马赛克处理而对X2像素的窄带图像信号进行插值,由此生成窄带图像数据FX60。

由于图像数据FG30是宽带的,因此无法鲜明地对深层血管进行拍摄。宽带滤光器G的分光特性包含窄带滤光器X2的分光特性,并且宽带滤光器G与窄带滤光器X2的透射光谱彼此重叠、相关性高(参照图11),在X2像素的窄带图像信号中包含有深层血管的边缘信息。因此,去马赛克部401b根据窄带图像数据FX60的窄带图像信号,通过进行去马赛克处理而对图像数据FG30所缺失的G像素的宽带图像信号进行插值,由此生成宽带图像数据FG40。

并且,由于图像数据FB30是宽带的,因此无法鲜明地对表层血管进行拍摄。宽带滤光器B的分光特性包含窄带滤光器X1的分光特性,并且宽带滤光器B与窄带滤光器X1的透射光谱彼此重叠、相关性高(参照图11),在X1像素的窄带图像信号中包含有表层血管的边缘信息。因此,去马赛克部401b根据图像数据FX30、窄带图像数据FX40以及宽带图像数据FG40,通过进行去马赛克处理而对图像数据FB30所缺失的B像素的图像信号进行插值,由此生成宽带图像数据FB40。在该情况下,当在要插值的B像素中具有窄带图像数据FX40的窄带图像信号和宽带图像数据FG40的宽带图像信号时,去马赛克部401b优先使用窄带图像数据FX40的窄带图像信号,从而通过去马赛克处理对缺失的B图像的宽带图像信号进行插值。

然后,去马赛克部401b根据图像数据FR30和宽带图像数据FG40,通过进行去马赛克处理而对图像数据FR30所缺失的R图像的宽带图像信号进行插值,由此生成宽带图像数据FR40。

接着,图像生成部401c根据宽带图像数据FR40、宽带图像数据FB40以及宽带图像数据FG40而生成白色图像数据FW30并输出给显示装置5。并且,图像生成部401c根据窄带图像数据FX40和窄带图像数据FX60而生成NBI(Narrow Band Imaging:窄带成像)图像数据FX100并输出给显示装置5。

根据以上进行了说明的本发明的实施方式3,在活体摄影中,根据比起G像素而在X像素和B像素中清晰的毛细血管那样的细微的边缘信息,进行去马赛克处理,由此能够提高表层的血管的分辨率。

(其他实施方式)

在本发明中,滤色器由原色滤光器构成,但也可以使用例如透射具有补色的波长成分的光的补色滤光器(Cy、Mg、Ye)。还可以使用由原色滤光器和透射具有橘色和青色的波长成分的光的滤光器(Or、Cy)构成的滤色器(R、G、B、Or、Cy)作为滤色器。还可以使用由原色滤光器和透射具有白色的波长成分的光的滤光器(W)构成的滤色器(R、G、B、W)。

并且,在本发明中,以具有图像处理装置的内窥镜系统为例进行了说明,但例如在胶囊型的框体内设置有本实施方式的图像处理装置和摄像元件、通过被检体口服而对被检体的体腔内进行拍摄的胶囊型内窥镜也能够应用。

标号说明

1:内窥镜系统;2:内窥镜;3:光源装置;4:处理装置;5:显示装置;21:插入部;22:操作部;23:通用缆线;24:前端部;25:弯曲部;26:挠性管部;31:照明部;32:照明控制部;221:弯曲旋钮;222:处置器具插入部;223:开关;241:光导;242:照明透镜;243:光学系统;244:摄像元件;245、245a、245b、245c:滤色器;246:AFE部;247:TG部;248:摄像控制部;250:集合缆线;311:光源部;312:光源驱动器;401:图像处理部;401a:分离部;401b:去马赛克部;401c:图像生成部;402:明亮度检测部;403:调光部;404:输入部;405:记录部;406:基准时钟生成部;407:同步信号生成部;408控制部;B、G、R:宽带滤光器;T1、T2、T3、T4:滤光器单元;X、X1、X2:窄带滤光器。

权利要求书(按照条约第19条的修改)

1.(修改后)一种图像处理装置,其特征在于,该图像处理装置具有:

分离部,其根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;

去马赛克部,其进行如下的去马赛克处理:根据所述分离部分离出的所述窄带图像信号中包含的边缘信息,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及

图像生成部,其使用所述去马赛克部通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

2.(修改后)根据权利要求1所述的图像处理装置,其特征在于,

所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器,

所述窄带滤光器具有第一窄带滤光器,该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间,

所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理,从而对与所述蓝色滤光器对应的宽带图像信号进行插值,

所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。

3.(修改后)根据权利要求2所述的图像处理装置,其特征在于,

所述窄带滤光器具有第二窄带滤光器,该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间,

所述去马赛克部使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号中包含的边缘信息进行所述去马赛克处理,从而对与所述绿色滤光器对应的宽带图像信号进行插值。

4.(修改后)根据权利要求2所述的图像处理装置,其特征在于,

所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息、和已经进行所述去马赛克处理而完成插值的与所述蓝色滤光器对应的宽带图像信号进行所述去马赛克处理,从而对与所述绿色滤光器对应的宽带图像信号进行插值。

5.(修改后)根据权利要求2或3所述的图像处理装置,其特征在于,

所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下,在对与所述蓝色滤光器对应的宽带图像信号进行插值时,使用所述第一窄带图像信号中包含的边缘信息和与所述绿色滤光器对应的宽带图像信号进行所述去马赛克处理。

6.(修改后)根据权利要求1所述的图像处理装置,其特征在于,

所述多种宽带滤光器包含透射蓝色波段的光的蓝色滤光器、透射绿色波段的光的绿色滤光器以及透射红色波段的光的红色滤光器,

所述窄带滤光器具有第一窄带滤光器,该第一窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间,

所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号中包含的边缘信息进行所述去马赛克处理,从而对与所述绿色滤光器对应的宽带图像信号进行插值。

7.(修改后)根据权利要求6所述的图像处理装置,其特征在于,

所述去马赛克部使用所述第一窄带图像信号中包含的边缘信息进行所述去马赛克处理,从而对与所述蓝色滤光器对应的宽带图像信号进行插值。

8.(修改后)一种内窥镜系统,其特征在于,该内窥镜系统具有:

权利要求1~7中的任意一项的图像处理装置;

摄像装置,其具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号,该滤色器使用窄带滤光器和多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的窄带光,所述滤色器以与所述多个像素对应的方式配置;以及

插入部,其在前端设置有所述摄像装置,该插入部被插入到被检体内。

9.(修改后)一种图像处理方法,其特征在于,该图像处理方法具有以下步骤:

分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;

去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及

图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

10.(追加)一种程序,其中,

该程序使图像处理装置执行以下步骤:

分离步骤,根据从摄像装置输入的图像信号,将与分别透过了多种宽带滤光器的宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离,所述摄像装置具有摄像元件和滤色器,在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成所述图像信号,该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成,所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上,所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光,所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的一部分中的所述窄带光,所述滤色器以与所述多个像素对应的方式配置;

去马赛克步骤,进行如下的去马赛克处理:根据在所述分离步骤中分离出的所述窄带图像信号中包含的边缘信息,对所述多个宽带图像信号中的一个宽带图像信号进行插值;以及

图像生成步骤,使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像,并且使用所述窄带图像信号来生成窄带图像。

说明或声明(按照条约第19条的修改)

在权利要求1中,根据申请时的说明书第10页倒数第3段~第11页第2段以及图5等进行了修改。

权利要求2对应于申请时的权利要求3,并且根据申请时的说明书第10页倒数第3段~第11页第2段、第13页倒数第1段~第14页第3段、第16页第5段~第17页第3段以及图5、图9、图12等进行了修改。

在权利要求3中,根据申请时的说明书第16页第5段~第17页第3段以及图12等进行了修改。

在权利要求4中,根据申请时的说明书第13页倒数第1段~第14页第3段以及图9等进行了修改。

在权利要求5中,根据申请时的说明书第10页倒数第3段~第11页第2段、第16页第5段~第17页第3段以及图12等进行了修改。

在权利要求6中,根据申请时的说明书第13页倒数第1段~第14页第3段以及图9等进行了修改。

在权利要求7中,根据申请时的说明书第13页倒数第1段~第14页第3段以及图9等进行了修改。

权利要求8对应于申请时的权利要求6,并且进行了与权利要求1对应的修改。

权利要求9对应于申请时的权利要求8,并且根据申请时的说明书第10页倒数第3段~第11页第2段、以及图5等进行了修改。

权利要求10对应于申请时的权利要求9,并且根据申请时的说明书第10页倒数第3段~第11页第2段、以及图5等进行了修改。

图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf_第1页
第1页 / 共29页
图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf_第2页
第2页 / 共29页
图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf_第3页
第3页 / 共29页
点击查看更多>>
资源描述

《图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf》由会员分享,可在线阅读,更多相关《图像处理装置、内窥镜系统、摄像装置、图像处理方法以及程序.pdf(29页珍藏版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201580075786.6 (22)申请日 2015.02.10 (85)PCT国际申请进入国家阶段日 2017.08.09 (86)PCT国际申请的申请数据 PCT/JP2015/053687 2015.02.10 (87)PCT国际申请的公布数据 WO2016/129062 JA 2016.08.18 (71)申请人 奥林巴斯株式会社 地址 日本东京都 (72)发明人 井冈健 吉崎和德 菊地直 小宫康宏 福永康弘 (74)专利代理机构 北京三友知识产权代理有限 公司 111。

2、27 代理人 李辉 孙明浩 (51)Int.Cl. A61B 1/00(2006.01) (54)发明名称 图像处理装置、 内窥镜系统、 摄像装置、 图像 处理方法以及程序 (57)摘要 提供能够以高分辨率分别得到通常图像和 窄带图像的图像处理装置、 内窥镜系统以及摄像 装置。 图像处理装置(4)具有: 分离部(401a), 其 根据从摄像装置输入的图像信号, 将与分别透过 了多种宽带滤光器的宽带光对应的多个宽带图 像信号和与分别透过了多个窄带滤光器的窄带 光对应的多个窄带图像信号分离; 去马赛克部 (401b), 其根据分离部(401a)分离出的多个窄带 图像信号, 进行对多个宽带图像信号中。

3、的任意一 个进行插值的去马赛克处理; 以及图像生成部 (401c), 其使用去马赛克部(401b)通过去马赛克 处理进行插值得到的宽带图像信号来生成宽带 图像, 并且使用窄带图像信号来生成窄带图像。 权利要求书3页 说明书12页 附图9页 按照条约第19条修改的权利要求书3页 按照条约第19条修改的声明或说明1页 CN 107205618 A 2017.09.26 CN 107205618 A 1.一种图像处理装置, 其特征在于, 该图像处理装置具有: 分离部, 其根据从摄像装置输入的图像信号, 将与分别透过了多种宽带滤光器的宽带 光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带。

4、图像信号分离, 所 述摄像装置具有摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素分别对 所接受的光进行光电转换而生成所述图像信号, 该滤色器使用所述窄带滤光器和所述多种 宽带滤光器构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤 光器数量以上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光, 所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波 段且包含于所述宽带光的波段的一部分中的所述窄带光, 所述滤色器以与所述多个像素对 应的方式配置; 去马赛克部, 其进行如下的去马赛克处理: 根据所述分离部分离出的所述窄带图像。

5、信 号, 对所述多个宽带图像信号中的一个宽带图像信号进行插值; 以及 图像生成部, 其使用所述去马赛克部通过所述去马赛克处理进行插值得到的所述宽带 图像信号来生成宽带图像, 并且使用所述窄带图像信号来生成窄带图像。 2.根据权利要求1所述的图像处理装置, 其特征在于, 所述窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述多种宽带滤光器 中的任意一种的透射光谱的半值宽度之间, 所述去马赛克部通过所述去马赛克处理, 对所述多个宽带图像信号中的、 与在所述半 值宽度之间包含所述最大值的所述宽带滤光器对应的宽带图像信号进行插值。 3.根据权利要求2所述的图像处理装置, 其特征在于, 所述多种宽带。

6、滤光器包含透射蓝色波段的光的蓝色滤光器、 透射绿色波段的光的绿色 滤光器以及透射红色波段的光的红色滤光器, 所述窄带滤光器具有第一窄带滤光器, 该第一窄带滤光器的透射所述窄带光的透射光 谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间, 所述去马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图 像信号进行所述去马赛克处理, 从而对与所述蓝色滤光器对应的宽带图像信号进行插值, 所述第一窄带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。 4.根据权利要求3所述的图像处理装置, 其特征在于, 所述窄带滤光器具有第二窄带滤光器, 该第二窄带滤光器的透射所述窄带光的透射光 谱。

7、的最大值包含在所述绿色滤光器的透射光谱的半值宽度之间, 使用与透过了所述第二窄带滤光器的所述窄带光对应的第二窄带图像信号进行所述 去马赛克处理, 从而对与所述绿色滤光器对应的宽带图像信号进行插值。 5.根据权利要求3或4所述的图像处理装置, 其特征在于, 所述去马赛克部在具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一 窄带滤光器的所述窄带光对应的第一窄带图像信号的情况下, 在对与所述蓝色滤光器对应 的宽带图像信号进行插值时使用所述第一窄带图像信号进行所述去马赛克处理。 6.一种内窥镜系统, 其特征在于, 该内窥镜系统具有: 权利要求14中的任意一项的图像处理装置; 摄像装置, 其具有。

8、摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素 权 利 要 求 书 1/3 页 2 CN 107205618 A 2 分别对所接受的光进行光电转换而生成图像信号, 该滤色器使用窄带滤光器和多种宽带滤 光器构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数 量以上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光, 所述窄带滤 光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于 所述宽带光的波段的一部分中的窄带光, 所述滤色器以与所述多个像素对应的方式配置; 以及 插入部, 其在前端设置有所述摄像装置, 该插入部被插入。

9、到被检体内。 7.一种摄像装置, 其特征在于, 该摄像装置具有: 摄像元件, 在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电 转换而生成图像信号; 以及 以与所述多个像素对应的方式配置的滤色器, 其使用窄带滤光器和多种宽带滤光器构 成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以 上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光, 所述窄带滤光器 透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述 宽带光的波段的一部分中的窄带光。 8.一种图像处理方法, 其特征在于, 该图像处理方法具有以下步骤: 分离步。

10、骤, 根据从摄像装置输入的图像信号, 将与分别透过了多种宽带滤光器的宽带 光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离, 所 述摄像装置具有摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素分别对 所接受的光进行光电转换而生成所述图像信号, 该滤色器使用所述窄带滤光器和所述多种 宽带滤光器构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤 光器数量以上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光, 所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波 段且包含于所述宽带光的波段的一部分中的。

11、所述窄带光, 所述滤色器以与所述多个像素对 应的方式配置; 去马赛克步骤, 进行如下的去马赛克处理: 根据在所述分离步骤中分离出的所述窄带 图像信号, 对所述多个宽带图像信号中的一个宽带图像信号进行插值; 以及 图像生成步骤, 使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所 述宽带图像信号来生成宽带图像, 并且使用所述窄带图像信号来生成窄带图像。 9.一种程序, 其中, 该程序使图像处理装置执行以下步骤: 分离步骤, 根据从摄像装置输入的图像信号, 将与分别透过了多种宽带滤光器的宽带 光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离, 所 述摄像装置具有。

12、摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素分别对 所接受的光进行光电转换而生成所述图像信号, 该滤色器使用所述窄带滤光器和所述多种 宽带滤光器构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤 光器数量以上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光, 所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波 段且包含于所述宽带光的波段的一部分中的所述窄带光, 所述滤色器以与所述多个像素对 权 利 要 求 书 2/3 页 3 CN 107205618 A 3 应的方式配置; 去马赛克步骤, 进行如下的去马赛克处理:。

13、 根据在所述分离步骤中分离出的所述窄带 图像信号, 对所述多个宽带图像信号中的一个宽带图像信号进行插值; 以及 图像生成步骤, 使用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所 述宽带图像信号来生成宽带图像, 并且使用所述窄带图像信号来生成窄带图像。 权 利 要 求 书 3/3 页 4 CN 107205618 A 4 图像处理装置、 内窥镜系统、 摄像装置、 图像处理方法以及 程序 技术领域 0001 本发明涉及对从具有滤色器的摄像元件输出的图像数据进行图像处理的图像处 理装置、 内窥镜系统、 摄像装置、 图像处理方法以及程序, 其中, 该滤色器是将透射宽带的光 的多个宽带滤光器。

14、和透射窄带的光的多个窄带滤光器呈二维矩阵状配置而成的。 背景技术 0002 近年来, 在内窥镜的领域, 公知有如下的技术: 在摄像元件的受光面上设置滤色 器, 该滤色器是将透射可见区域的宽带的光的多个宽带滤光器和透射窄带的光的多个窄带 滤光器呈二维矩阵状配置而成的, 由此同时取得通常的宽带图像和能够同时观察粘膜表层 的毛细血管和粘膜细微样式的窄带图像(参照专利文献1)。 0003 现有技术文献 0004 专利文献 0005 专利文献1: 日本特开2007-20880号公报 发明内容 0006 发明要解决的课题 0007 然而, 在上述的专利文献1中, 窄带滤光器的数量和宽带滤光器的数量比通常的。

15、仅 有宽带滤光器的情况少, 因此存在窄带图像和宽带图像各自的分辨率低这样的问题。 0008 本发明是鉴于上述情况而完成的, 其目的在于, 提供能够以高分辨率分别得到窄 带图像和通常的宽带图像的图像处理装置、 内窥镜系统、 摄像装置、 图像处理方法以及程 序。 0009 用于解决课题的手段 0010 为了解决上述的课题、 达成目的, 本发明的图像处理装置的特征在于, 该图像处理 装置具有: 分离部, 其根据从摄像装置输入的图像信号, 将与分别透过了多种宽带滤光器的 宽带光对应的多个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分 离, 所述摄像装置具有摄像元件和滤色器, 在该摄像元件。

16、中呈二维格子状配置的多个像素 分别对所接受的光进行光电转换而生成所述图像信号, 该滤色器使用所述窄带滤光器和所 述多种宽带滤光器构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一 种的滤光器数量以上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽 带光, 所述窄带滤光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄 的波段且包含于所述宽带光的波段的一部分中的所述窄带光, 所述滤色器以与所述多个像 素对应的方式配置; 去马赛克部, 其进行如下的去马赛克处理: 根据所述分离部分离出的所 述窄带图像信号, 对所述多个宽带图像信号中的至少一个宽带图像信号进行插值。

17、; 以及图 像生成部, 其使用所述去马赛克部通过所述去马赛克处理进行插值得到的至少一个所述宽 带图像信号来生成宽带图像, 并且使用所述窄带图像信号来生成窄带图像。 说 明 书 1/12 页 5 CN 107205618 A 5 0011 并且, 本发明的图像处理装置在上述发明的基础上, 特征在于, 所述窄带滤光器的 透射所述窄带光的透射光谱的最大值包含在所述多种宽带滤光器中的任意一种的透射光 谱的半值宽度之间, 所述去马赛克部通过所述去马赛克处理, 对所述多个宽带图像信号中 的、 与在所述半值宽度之间包含所述最大值的所述宽带滤光器对应的宽带图像信号进行插 值。 0012 并且, 本发明的图像处。

18、理装置在上述发明的基础上, 特征在于, 所述多种宽带滤光 器包含透射蓝色波段的光的蓝色滤光器、 透射绿色波段的光的绿色滤光器以及透射红色波 段的光的红色滤光器, 所述窄带滤光器具有第一窄带滤光器, 该第一窄带滤光器的透射所 述窄带光的透射光谱的最大值包含在所述蓝色滤光器的透射光谱的半值宽度之间, 所述去 马赛克部使用与透过了所述第一窄带滤光器的所述窄带光对应的第一窄带图像信号进行 所述去马赛克处理, 从而对与所述蓝色滤光器对应的宽带图像信号进行插值, 所述第一窄 带滤光器的滤光器数量为所述蓝色滤光器的滤光器数量以上。 0013 并且, 本发明的图像处理装置在上述发明的基础上, 特征在于, 所述。

19、窄带滤光器具 有第二窄带滤光器, 该第二窄带滤光器的透射所述窄带光的透射光谱的最大值包含在所述 绿色滤光器的透射光谱的半值宽度之间, 使用与透过了所述第二窄带滤光器的所述窄带光 对应的第二窄带图像信号进行所述去马赛克处理, 从而对与所述绿色滤光器对应的宽带图 像信号进行插值。 0014 并且, 本发明的图像处理装置在上述发明的基础上, 特征在于, 所述去马赛克部在 具有与所述绿色滤光器对应的宽带图像信号和与透过了所述第一窄带滤光器的所述窄带 光对应的第一窄带图像信号的情况下, 在对与所述蓝色滤光器对应的宽带图像信号进行插 值时使用所述第一窄带图像信号进行所述去马赛克处理。 0015 并且, 本。

20、发明的内窥镜系统的特征在于, 该内窥镜系统具有: 上述图像处理装置; 摄像装置, 其具有摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素分别 对所接受的光进行光电转换而生成图像信号, 该滤色器使用窄带滤光器和多种宽带滤光器 构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以 上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光, 所述窄带滤光器 透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述 宽带光的波段的一部分中的窄带光, 所述滤色器以与所述多个像素对应的方式配置; 以及 插入部, 其在前端设置有所述摄像装置。

21、, 该插入部被插入到被检体内。 0016 并且, 本发明的摄像装置的特征在于, 该摄像装置具有: 摄像元件, 在该摄像元件 中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成图像信号; 以及以 与所述多个像素对应的方式配置的滤色器, 其使用窄带滤光器和多种宽带滤光器构成, 所 述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上, 所述 多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光, 所述窄带滤光器透射具有 比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的 波段的一部分中的窄带光。 0017 并且, 本发明的图像处理方法的特。

22、征在于, 该图像处理方法包含以下步骤: 分离步 骤, 根据从摄像装置输入的图像信号, 将与分别透过了多种宽带滤光器的宽带光对应的多 个宽带图像信号和与透过了窄带滤光器的窄带光对应的窄带图像信号分离, 所述摄像装置 说 明 书 2/12 页 6 CN 107205618 A 6 具有摄像元件和滤色器, 在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光 进行光电转换而生成所述图像信号, 该滤色器使用所述窄带滤光器和所述多种宽带滤光器 构成, 所述窄带滤光器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以 上, 所述多种宽带滤光器透射包含彼此不同的原色的波段在内的所述宽带光, 所述。

23、窄带滤 光器透射具有比所述多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于 所述宽带光的波段的一部分中的所述窄带光, 所述滤色器以与所述多个像素对应的方式配 置; 去马赛克步骤, 进行如下的去马赛克处理: 根据在所述分离步骤中分离出的所述窄带图 像信号, 对所述多个宽带图像信号中的一个宽带图像信号进行插值; 以及图像生成步骤, 使 用在所述去马赛克步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生 成宽带图像, 并且使用所述窄带图像信号来生成窄带图像。 0018 并且, 本发明的程序使图像处理装置执行以下步骤: 分离步骤, 根据从摄像装置输 入的图像信号, 将与分别透过了多。

24、种宽带滤光器的宽带光对应的多个宽带图像信号和与透 过了窄带滤光器的窄带光对应的窄带图像信号分离, 所述摄像装置具有摄像元件和滤色 器, 在该摄像元件中呈二维格子状配置的多个像素分别对所接受的光进行光电转换而生成 所述图像信号, 该滤色器使用所述窄带滤光器和所述多种宽带滤光器构成, 所述窄带滤光 器的滤光器数量为所述多种宽带滤光器中的任意一种的滤光器数量以上, 所述多种宽带滤 光器透射包含彼此不同的原色的波段在内的所述宽带光, 所述窄带滤光器透射具有比所述 多种宽带滤光器各自所透射的所述宽带光的波段窄的波段且包含于所述宽带光的波段的 一部分中的所述窄带光, 所述滤色器以与所述多个像素对应的方式配。

25、置; 去马赛克步骤, 进 行如下的去马赛克处理: 根据在所述分离步骤中分离出的所述窄带图像信号, 对所述多个 宽带图像信号中的一个宽带图像信号进行插值; 以及图像生成步骤, 使用在所述去马赛克 步骤中通过所述去马赛克处理进行插值得到的所述宽带图像信号来生成宽带图像, 并且使 用所述窄带图像信号来生成窄带图像。 0019 发明效果 0020 根据本发明, 实现了能够以高分辨率分别得到宽带图像和窄带图像这样的效果。 附图说明 0021 图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。 0022 图2是示出本发明的实施方式1的内窥镜系统的主要部分的功能结构的框图。 0023 图3是示意性地示。

26、出本发明的实施方式1的滤色器的结构的图。 0024 图4是示出构成本发明的实施方式1的滤色器的各滤光器的透射率的特性的图。 0025 图5是示意性地对本发明的实施方式1的图像处理部执行的图像处理的概要进行 说明的图。 0026 图6是示意性地示出本发明的实施方式1的变形例的滤色器的结构的图。 0027 图7是示意性地示出本发明的实施方式2的滤色器的结构的图。 0028 图8是示出构成本发明的实施方式2的滤色器的各滤光器的透射率的特性的图。 0029 图9是示意性地对本发明的实施方式2的图像处理部执行的图像处理的概要进行 说明的图。 0030 图10是示意性地示出本发明的实施方式3的滤色器的结构。

27、的图。 说 明 书 3/12 页 7 CN 107205618 A 7 0031 图11是示出构成本发明的实施方式3的滤色器的各滤光器的透射率的特性的图。 0032 图12是示意性地对本发明的实施方式3的图像处理部执行的图像处理的概要进行 说明的图。 具体实施方式 0033 以下, 对用于实施本发明的方式(以下, 称为 “实施方式” )进行说明。 在本实施方式 中, 作为图像处理装置, 以对患者等被检体的体腔内的图像进行拍摄并显示的医疗用的内 窥镜系统为例进行说明。 并且, 本发明不限于以下的实施方式。 而且, 在图面的记载中对相 同部分标注相同的标号进行说明。 0034 (实施方式1) 00。

28、35 (内窥镜系统的结构) 0036 图1是示出本发明的实施方式1的内窥镜系统的概略结构的图。 图2是示出本发明 的实施方式1的内窥镜系统的主要部分的功能结构的框图。 0037 图1和图2所示的内窥镜系统1具有: 内窥镜2, 其通过前端部插入到被检体的体腔 内而对被检体的体内图像进行拍摄; 光源装置3, 其产生从内窥镜2的前端射出的照明光; 处 理装置4(处理器), 其对内窥镜2拍摄的图像信号实施规定的图像处理而生成图像, 并且统 一地对内窥镜系统1整体的动作进行控制; 以及显示装置5, 其对处理装置4实施图像处理而 生成的图像进行显示。 0038 (内窥镜的结构) 0039 首先, 对内窥镜。

29、2的结构进行说明。 内窥镜2具有: 具有挠性的呈细长形状的插入部 21; 操作部22, 其与插入部21的基端侧连接, 接受各种操作信号的输入; 以及通用缆线23, 其 从操作部22向与插入部21延伸的方向不同的方向延伸, 内设有与光源装置3和处理装置4连 接的各种缆线。 0040 插入部21具有: 前端部24, 其内设有摄像元件244(摄像装置), 在该摄像元件244中 像素呈二维状排列, 该像素接受光并进行光电转换从而生成信号; 弯曲自如的弯曲部25, 其 由多个弯曲块构成; 以及具有挠性的长条状的挠性管部26, 其与弯曲部25的基端侧连接。 0041 前端部24具有光导241、 照明透镜2。

30、42、 光学系统243、 滤色器245、 摄像元件244、 模 拟前端部246(以下, 称为 “AFE部246” )、 定时产生器部247(以下, 称为 “TG部247” )以及摄像 控制部248。 0042 光导241使用玻璃纤维等构成, 形成光源装置3射出的光的导光路。 照明透镜242设 置于光导241的前端, 使光导241引导的光朝向被摄体发散。 0043 光学系统243使用一个或多个透镜和棱镜等构成, 具有改变视场角的光学变焦功 能和改变焦点的对焦功能。 0044 摄像元件244接受透过了光学系统243和滤色器245的光, 通过进行光电转换而生 成电信号, 并将该电信号作为图像信号输出。

31、。 摄像元件244使用CCD(Charge Coupled Device: 电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor: 互补金属氧 化物半导体)等摄像传感器构成, 在该摄像传感器上接受来自光学系统243的光的多个像素 呈二维矩阵状排列。 摄像元件244在摄像控制部248的控制下, 根据从TG部247输入的信号和 从处理装置4输入的时钟信号而生成图像信号。 说 明 书 4/12 页 8 CN 107205618 A 8 0045 滤色器245以层叠的方式设置在摄像元件244的受光面上。 在滤色器245中以与多 个像素对应的方式配置滤。

32、光器单元, 该滤光器单元使用窄带滤光器和多种宽带滤光器构 成, 窄带滤光器的滤光器数量为多个宽带滤光器中的任意一种的滤光器数量以上, 其中, 该 多种宽带滤光器透射包含彼此不同的原色的波段在内的宽带光, 该窄带滤光器透射如下的 窄带光, 该窄带光具有比多种宽带滤光器各自透射宽带光的波段窄的波段, 并且包含于宽 带光的波段的一部分。 0046 图3是示意性地示出滤色器245的结构的图。 图3所示的滤色器245例如是根据摄像 元件244的像素的配置而将滤光器单元T1呈矩阵状排列配置而成的, 其中, 在该滤光器单元 T1中, 作为一个样式而重复呈44(16)的矩阵状排列的滤光器。 设置有滤光器的像素。

33、接受 滤光器所透射的波段的光。 例如, 设置有透射绿色波段的光的宽带滤光器G的像素接受绿色 波段的光。 以下, 将接受绿色波段的光的像素称为G像素。 同样地, 将接受蓝色波段的光的像 素称为B像素, 将接受红色波段的光的像素称为R像素, 并且将接受窄带光的像素称为X像 素。 0047 在图3所示的滤光器单元T1中, 将两个透射红色波段(620nm750nm)的光的宽带 滤光器R、 八个透射绿色波段(495nm570nm)的光的宽带滤光器G、 两个透射蓝色波段 (450nm495nm)的光的宽带滤光器B以及四个窄带滤光器X作为一个样式进行重复, 其中, 该窄带滤光器X透射蓝色波段的一部分中的光,。

34、 并且透射具有比各宽带滤光器所透射的波 段窄的波段的窄带光。 并且, 在滤光器单元T1中, 窄带滤光器X的滤光器数量为宽带滤光器B 的滤光器数量以上(42)。 在滤光器单元T1中, 为了保证白色图像的分辨率, 与拜耳排列同 样地将宽带滤光器G的数量设为八个, 为了提高窄带图像的分辨率, 将窄带滤光器X的数量 设为四个。 并且, 在滤光器单元T1中, 由于宽带滤光器B与窄带滤光器X彼此的相关性较高, 因此将宽带滤光器B的数量设为两个, 由于在大肠内红色较少, 因此将宽带滤光器R的数量 设为两个。 0048 图4是示出构成滤色器245的各滤光器的透射率的特性的图。 在图4中, 横轴表示波 长, 纵。

35、轴表示透射率。 并且, 在图4中, 曲线LB表示宽带滤光器B的透射率的特性, 曲线LG表示 宽带滤光器G的透射率的特性, 曲线LR表示宽带滤光器R的透射率的特性, 曲线LX表示窄带滤 光器X的透射率的特性。 而且, 在图4中, 将窄带滤光器X的峰值波长设为415nm30nm进行说 明。 0049 如图4的曲线LX所示, 窄带滤光器X具有透射窄带光的透射光谱, 该窄带光具有比 宽带滤光器B所透射的宽带光的波段窄的波段, 并且包含于宽带滤光器B所透射的波段的一 部分。 而且, 如图4的曲线LX所示, 透过宽带滤光器B的光的波段与透过窄带滤光器X的光的 波段彼此的相关性较高。 具体而言, 如曲线LX。

36、和曲线LB所示, 窄带滤光器X的透射光谱的最大 值Pmax1包含在下限值P1与上限值P2的半值宽度之间, 该下限值P1和上限值P2取宽带滤光器B 的透射光谱的最大值的一半的值。 并且, 如线LG和曲线LR所示, 宽带滤光器G和宽带滤光器R 各自的分光光谱彼此重叠, 因此相关性高。 0050 返回到图1和图2, 继续进行内窥镜2的结构的说明。 0051 AFE部246进行CDS(Correlated Double Sampling: 相关双采样)处理和A/D转换处 理等并将处理后的信号输出给处理装置4, 其中, 该CDS处理是指降低从摄像元件244输入的 图像信号所包含的噪声成分并且调节图像信号。

37、的放大率以维持一定的输出电平, 该A/D转 说 明 书 5/12 页 9 CN 107205618 A 9 换处理是指对图像信号进行A/D转换。 0052 TG部247产生用于对摄像元件244和摄像控制部248分别进行驱动的各种信号处理 的脉冲。 TG部247将脉冲信号输出给摄像元件244和摄像控制部248。 0053 摄像控制部248对摄像元件244的摄像进行控制。 摄像控制部248使用CPU(Central Processing Unit: 中央处理单元)和记录各种程序的寄存器等构成。 0054 操作部22具有: 弯曲旋钮221, 其使弯曲部25在上下方向上和左右方向上弯曲; 处 置器具插。

38、入部222, 其供活体鉗子、 电手术刀以及检查探针等处置器具向被检体的体腔内插 入; 以及作为操作输入部的多个开关223, 其输入处理装置4、 光源装置3以及送气构件、 送水 构件、 画面显示控制等周边设备的操作指示信号。 从处置器具插入部222被插入的处置器具 经由前端部24的处置器具通道(未图示)从开口部(未图示)露出。 0055 通用缆线23至少内设有光导241以及一条或多条信号线。 通用缆线23至少包含用 于传送从后述的处理装置4输出的时钟信号和同步信号的信号、 用于传送图像信号的信号。 0056 (光源装置的结构) 0057 接下来, 对光源装置3的结构进行说明。 光源装置3具有照明。

39、部31和照明控制部32。 0058 照明部31在照明控制部32的控制下, 依次切换并向被摄体(被检体)射出波段彼此 不同的多个照明光。 照明部31具有光源部311和光源驱动器312。 0059 光源部311使用氙气灯或白色LED(Light Emitting Diode: 发光二极管)等光源以 及一个或多个透镜等构成, 根据光源驱动器312的控制而射出白色光。 另外, 也可以由红色 LED、 绿色LED以及蓝色LED构成光源部311, 通过从红色LED、 绿色LED以及蓝色LED同时射出 光而向被摄体照射白色光。 0060 光源驱动器312在照明控制部32的控制下向光源部311提供电流, 由此。

40、使光源部 311射出白色光。 0061 照明控制部32在处理装置4的控制下以规定的周期使光源部311射出白色光。 0062 (处理装置的结构) 0063 接下来, 对处理装置4的结构进行说明。 处理装置4具有图像处理部401、 明亮度检 测部402、 调光部403、 输入部404、 记录部405、 基准时钟生成部406、 同步信号生成部407以及 控制部408。 0064 图像处理部401根据从内窥镜2输入的图像信号, 生成使显示装置5显示的体内图 像并输出给显示装置5。 图像处理部401对图像信号实施规定的图像处理而生成体内图像。 0065 这里, 对图像处理部401的详细的结构进行说明。 。

41、图像处理部401至少具有分离部 401a、 去马赛克部401b以及图像生成部401c。 0066 分离部401a根据从内窥镜2输入的图像信号, 对与分别透过了多个宽带滤光器的 宽带光对应的多个宽带图像信号和与分别透过了多个窄带滤光器的窄带光对应的多个窄 带图像信号进行分离。 具体而言, 分离部401a将从内窥镜2输入的图像信号(RAW数据)分离 成与透过了宽带滤光器R的宽带光对应的宽带图像信号、 与透过了宽带滤光器G的宽带光对 应的宽带图像信号、 与透过了宽带滤光器B的宽带光对应的宽带图像信号以及与透过了窄 带滤光器X的窄带光对应的窄带图像信号。 0067 去马赛克部401b根据分离部401a。

42、分离出的窄带图像信号来执行对多个宽带图像 信号中的任意一个进行插值的去马赛克处理。 具体而言, 去马赛克部401b根据分离部401a 说 明 书 6/12 页 10 CN 107205618 A 10 分离出的窄带图像信号, 执行对与透过了宽带滤光器B的宽带光对应的宽带图像信号进行 插值的去马赛克处理。 并且, 去马赛克部401b使用G像素的图像信号来执行对R像素的图像 信号进行插值的去马赛克处理。 0068 图像生成部401c使用如下的宽带图像信号来生成宽带图像, 并且使用窄带图像信 号来生成窄带图像, 其中, 该宽带图像信号是去马赛克部401b通过去马赛克处理进行插值 而得到的。 具体而言。

43、, 图像生成部401c根据去马赛克部401b进行拜耳排列得到的RGB图像信 号来生成彩色的通常图像。 并且, 图像生成部401c根据X像素的图像信号, 通过进行去马赛 克处理而对缺失的像素的图像信号进行插值, 由此生成窄带图像。 0069 明亮度检测部402根据从图像处理部401输入的图像信号所包含的RGB图像信息, 对与各图像对应的明亮度电平进行检测, 将该检测到的明亮度电平记录到内部所设置的存 储器中并且输出给控制部408。 0070 调光部403在控制部408的控制下, 根据明亮度检测部402检测到的明亮度电平而 对光源装置3产生的光量和发光时机等发光条件进行设定, 将包含该设定的发光条。

44、件在内 的调光信号输出给光源装置3。 0071 输入部404接受对内窥镜系统1的动作进行指示的动作指示信号等各种信号的输 入。 输入部404使用开关等构成。 0072 记录部405记录用于使内窥镜系统1动作的各种程序和包含内窥镜系统1的动作所 需的各种参数等在内的数据。 并且, 记录部405记录处理装置4的识别信息。 这里, 在识别信 息中包含有处理装置4的固有信息(ID)、 年代型号、 规格信息、 传送方法以及传送速率等。 0073 基准时钟生成部406生成时钟信号并向内窥镜系统1的各结构部提供时钟信号, 该 时钟信号作为内窥镜系统1的各结构部的动作的基准。 另外, 在本实施方式1中, 基准。

45、时钟生 成部406作为时钟信号生成部发挥功能。 0074 同步信号生成部407根据从基准时钟生成部406输入的时钟信号而生成同步信号, 将该同步信号输出给内窥镜2的TG部247并且输出给图像处理部401。 0075 控制部408进行包含摄像元件244和光源装置3在内的各结构部的驱动控制和针对 各结构部的信息的输入输出控制等。 控制部408使用CPU构成。 0076 (显示装置的结构) 0077 接下来, 对显示装置5进行说明。 显示装置5对与经由影像缆线从处理装置4输入的 图 像信号对应的 体内图 像进行显示。 显示装置5使 用液晶或有机EL (Electro Luminescence: 电致。

46、发光)等构成。 0078 (图像处理部的处理) 0079 接下来, 对图像处理部401执行的图像处理进行说明。 图5是示意性地对图像处理 部401执行的图像处理的概要进行说明的图。 0080 如图5所示, 首先, 分离部401a将从内窥镜2的摄像元件244输入的RAW数据F1分离 成各像素的图像信号。 具体而言, 分离部401a从RAW数据F1中将与G像素对应的宽带图像信 号分离成拜耳排列的图像数据FG1、 将与R像素对应的宽带图像信号分离成图像数据FR1、 将 与B像素对应的宽带图像信号分离成图像数据FB1并且将与X像素对应的窄带图像信号分离 成图像数据FX1。 0081 如图5所示, 在图。

47、像数据FR1中, 来自与宽带滤光器R对应的R像素的宽带图像信号比 说 明 书 7/12 页 11 CN 107205618 A 11 拜耳排列少。 因此, 由于宽带滤光器G与宽带滤光器R的透射光谱(分光特性)彼此重叠、 相关 性较高(参照图4), 因此去马赛克部401b根据图像数据FG1的宽带图像信号, 通过进行去马赛 克处理而对缺失的R像素的宽带图像信号进行插值, 由此生成拜耳排列的图像数据FR2。 0082 并且, 在图像数据FB1中, 来自与宽带滤光器B对应的B像素的宽带图像信号比拜耳 排列少。 而且, 由于图像数据FB1是宽带, 因此虽然对深层和表层血管分别进行了拍摄, 但由 于边缘信。

48、息模糊而导致分辨率降低。 因此, 由于宽带滤光器B的分光特性包含窄带滤光器X 的分光特性并且宽带滤光器G与窄带滤光器X的透射光谱彼此重叠、 相关性高(参照图4), 因 此去马赛克部401b根据图像数据FG1的宽带图像信号和图像数据FX1的窄带图像信号, 通过 去马赛克处理对缺失的B图像的宽带图像信号进行插值, 由此生成拜耳排列的图像数据FB2。 在该情况下, 针对缺失的B像素, 在具有图像数据FG1的宽带图像信号和图像数据FX1的窄带 图像信号时, 由于在窄带图像信号中包含更多更细微的边缘信息, 因此为了更清晰地捕捉 消化器粘膜的表层血管, 去马赛克部401b优先使用图像数据FX1的窄带图像信。

49、号, 从而通过 去马赛克处理对缺失的B像素的宽带图像信号进行插值。 由此, 能够得到以往的拜耳排列的 RAW数据FRGB并且能够以高分辨率得到图像数据FB1。 0083 接着, 去马赛克部401b根据拜耳排列的RAW数据FRGB, 通过进行拜耳的去马赛克处 理而生成RGB各自的图像数据FR3、 图像数据FG3以及图像数据FB3。 0084 然后, 图像生成部401c根据去马赛克部401b生成的RGB各自的图像数据FR3、 图像数 据FG3以及图像数据FB3, 生成彩色的通常图像数据FW(白色图像)并输出给显示装置5。 0085 并且, 图像生成部401c根据图像数据FX1的图像信号, 通过进行去马赛克处理而对 缺失的X像素进行插值, 由此生成窄带图像数据FX2并输出给显示装置5。 0086 根据上述进行了说明的本发明的实施方式1, 去马赛克部401b根据与透过了窄带 滤光器X的窄带光对应的窄带图像信号来进行对。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 人类生活必需 > 医学或兽医学;卫生学


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1