图像处理装置以及图像处理方法技术领域
本发明涉及对拍摄被检者活体内而得到的活体内图像进行处理的图像处理装置
以及图像处理方法。
背景技术
以往作为导入患者等被检者体内,观察管腔内部的医用观察装置,内窥镜得到广
泛普及。近些年来还开发出了吞入型内窥镜(胶囊型内窥镜),其在胶囊型壳体内部
收纳摄像装置和通信装置等,将由摄像装置拍摄的图像数据无线发送到体外。由这种
医用观察装置所拍摄的一系列活体内图像(消化道内图像)呈现出庞大的数量(几万
张以上),而且为对各消化道内图像进行观察和诊断需要较多的经验。因此希望有辅
助医师诊断的医疗诊断辅助功能。作为实现这种功能的图像识别技术之一,提出了根
据消化道内图像自动检测病变等异常部分,示出应重点诊断的图像的技术。
然而在消化道内图像中,除了在诊断中作为观察对象的粘膜区域之外,有时还会
拍摄到残渣那样的观察中不需要的内容物。作为判别这种粘膜区域与内容物区域(即
区域的类别)的技术,例如在日本特开2010-115413号公报中公开了如下的图像处理
方法:从一系列消化道内图像中选择多个图像,计算出所选择的多个图像的每个像素
或每个小区域的颜色特征量,根据这些颜色特征量判别构成一系列消化道内图像的各
图像内的粘膜区域。
另外,作为判别图像中拍摄到的彼此不同的区域的技术,还已知有基于使用灰度
共生矩阵的纹理特征量的方法(例如奥富正敏等人所著《ディジタル画像処理》、
CG-ARTS协会、参见第194~195页)。灰度共生矩阵指的是设像素i与距离像素i
偏移了一定的相对位置δ=(d,θ)(d是距离、θ是角度)的像素j的像素值为别为
Li、Lj的情况下,以产生像素值的对(Li,Lj)的概率Pδ(Li,Lj)作为要素的矩阵。
通过使用该矩阵,能求出表示像素值的均匀性、方向性以及对比度等性质的特征量。
然而,当使用颜色特征量判别在活体内图像中拍摄的各区域的类别的情况下,有
时会受到摄像条件(照明条件等)的影响。另外,在应用使用了灰度共生矩阵的纹理
特征量的情况下,必须使用考虑到对象物的参数,因而难以制作出处理时间较快的算
法。因此,当对消化道内图像那样的图像数量非常多的活体内图像来判别区域的情况
下,处理时间会变长。
发明内容
本发明就是鉴于上述情况而完成的,其目的在于提供一种能够在不受到摄像条件
影响的情况下,通过比现有技术更快的算法恰当判别活体内图像中包含的各区域的类
别的图像处理装置以及图像处理方法。
本发明一个方面涉及的图像处理装置具有:评价区域设定部,其在活体内图像中
设定作为类别判别对象的评价区域;纹理分量取得部,其从上述评价区域内的活体内
图像获得纹理分量;评价值计算部,其计算表示上述纹理分量的均质性的评价值;以
及判别部,其根据上述评价值判别上述评价区域的类别。
本发明的另一方面涉及的图像处理方法包括:评价区域设定步骤,在活体内图像
中设定作为类别判别对象的评价区域;纹理分量取得步骤,从上述评价区域内的活体
内图像获得纹理分量;评价值计算步骤,计算表示上述纹理分量的均质性的评价值;
以及判别步骤,根据上述评价值判别上述评价区域的类别。
对照附图并阅读以下的本发明详细说明,能够进一步理解上述内容以及本发明的
其他目的、特征、优点及技术和产业方面的意义。
附图说明
图1是表示本发明第1实施方式涉及的图像处理装置的构成的框图。
图2是说明基于形态学的开处理的纹理分量取得方法的图。
图3是表示对于以粘膜区域为主的评价区域的纹理分量的取得处理的模拟结果
的图。
图4是表示对于以残渣区域为主的评价区域的纹理分量的取得处理的模拟结果
的图。
图5是表示图1所示图像处理装置的动作的流程图。
图6是表示在图1的图像处理装置中进行处理的消化道内图像的一例的示意图。
图7是表示在消化道内图像上设定的评价区域的一例的示意图。
图8是示出表示纹理分量的评价值的计算处理的流程图。
图9是表示本发明第2实施方式涉及的图像处理装置的构成的框图。
图10是表示图9所示的图像处理装置的动作的流程图。
图11是说明根据粘膜区域的连续分布的纹理分量生成离散分布数据的方法的
图。
图12是说明根据残渣区域中的连续分布的纹理分量生成离散分布数据的方法的
图。
图13是通过最邻近距离法算出平均最邻近距离的方法的图。
图14是表示评价区域中的离散点的偏离与评价值的关系的图。
图15是说明基于K-函数法的评价值的计算方法的图。
图16是说明基于x2检定的评价值的计算方法的图。
图17是表示本发明第3实施方式涉及的图像处理装置的构成的框图。
图18是表示粘膜分量的纹理分量和直方图的一例的图。
图19是表示残渣分量的纹理分量和直方图的一例的图。
图20是表示本发明第3实施方式涉及的图像处理装置的构成的框图。
图21是表示将第1~第3实施方式涉及的图像处理装置应用于计算机系统的例
子的系统构成图。
图22是表示图21所示的主体部的构成的框图。
具体实施方式
下面参照附图说明本发明实施方式涉及的图像处理装置。并且,本发明不限于这
些实施方式。而且在各附图的描述中,对相同部分赋予相同标号进行表示。
以下说明的实施方式涉及的图像处理装置例如对通过内窥镜或胶囊型内窥镜等
医用观察装置拍摄的被检者的活体内图像(消化道内图像)进行处理,具体进行判别
在消化道内图像中拍摄到的区域的类别(即识别在诊断中作为观察对象的粘膜区域和
观察所不需要的残渣区域)的处理。另外,在以下实施方式中,由医用观察装置所拍
摄的消化道内图像例如为各像素具有对于R(红)、G(绿)、B(蓝)的各颜色分量
的像素水平(像素值)的彩色图像。
第1实施方式
图1是表示本发明第1实施方式涉及的图像处理装置的构成的框图。如图1所示,
图像处理装置1具有图像取得部11、输入部12、显示部13、记录部14、运算部15、
控制图像处理装置11整体动作的控制部10。
图像取得部11获得由医用观察装置所拍摄的消化道内图像的图像数据。图像取
得部11可按照包含医用观察装置在内的系统的规格而适当构成。例如医用观察装置
是胶囊型内窥镜,当将可移动型记录介质用于与医用观察装置之间的图像数据的收发
时,图像取得部11通过以可自由拆装的方式安装该记录介质,读出所保存的消化道
内图像的图像数据的读取器装置来实现。另外,当设置预先保存由医用观察装置拍摄
的消化道内图像的图像数据的服务器的情况下,图像取得部11通过与服务器连接的
通信装置等实现,与服务器之间进行数据通信,获得消化道内图像的图像数据。或者
还可以通过经由电缆从内窥镜等医用观察装置输入图像信号的接口装置等构成图像
取得部11。
输入部12例如通过键盘、鼠标、触摸面板、各种开关等输入设备实现,将通过
用户操作这些输入设备而输入的输入信号输出给控制部10。
显示部13通过LCD或EL显示器等显示装置实现,在控制部10的控制之下显
示包含消化道内图像在内的各种画面。
记录部14通过能更新记录的闪速存储器等ROM或RAM这样的IC存储器、内
置或通过数据通信端子连接的硬盘或CD-ROM等信息记录介质及其读取装置等实
现。记录部14除了储存由图像取得部11获得的消化道内图像的图像数据之外,还储
存用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序
的执行中所用的数据等。具体而言,记录部14储存用于判别消化道内图像中所包含
的粘膜区域与残渣区域的图像处理程序141。
运算部15通过CPU等硬件和读取到该硬件中的图像处理程序141来实现,对消
化道内图像的图像数据进行处理,进行用于判别粘膜区域与残渣区域的各种运算处
理。运算部15具有评价区域设定部16、纹理分量取得部17、计算表示评价区域中的
纹理分量的均质性的评价值的作为评价值计算单元的偏斜评价值计算部18、判别部
19。
评价区域设定部16根据消化道内图像设定作为判别粘膜区域与残渣区域的对象
的评价区域。
纹理分量取得部17从评价区域内的消化道内图像中去除结构分量,从而获得纹
理分量。作为纹理分量的取得方法,例如可使用形态学(形态)的开处理(小畑秀文
著、「モルフォロジ一」、コロナ社、参见第82~85页)。
图2是说明通过形态学的开处理获得纹理分量的方法的图。在形态学的开处理
中,首先使被称作结构要素的基准图形GE相对于将构成2维图像的xy平面上的各像
素的像素值视作高度(z轴)的3维空间中的图像G(图2(a)),从图像G的像素值
小的位置处起一边外切一边移动,获得基准图形GE的外周的最大值所通过的轨迹SC
(图2(b))。该轨迹SC相当于原图像G所包含的结构分量。进而,通过从图像G
减去轨迹(结构分量)SC,从而能获得纹理分量TC(图2(c))。
图3表示从粘膜区域获得纹理分量的模拟结果。如图3所示,从粘膜区域的图像
GM(图3(a))减去通过开处理获得的结构分量SCM(图3(b)),从而获得粘膜区
域的纹理分量TCM(图3(c))。如图3(c)所示,粘膜区域的纹理分量TCM为较为
均质的性状。
另一方面,图4表示从残渣区域中获得纹理分量的模拟结果。如图4所示,从粘
膜区域的图像GR(图4(a))中减去通过开处理获得的结构分量SCR(图4(b)),
从而获得残渣区域的纹理分量TCR(图4(c))。如图4(c)所示,残渣区域的纹理
分量TCR为较多凹凸的非均质性状。
并且,作为纹理分量的取得方法,除了上述说明之外还能使用已知的各种方法。
例如对消化道内图像实施傅利叶变换,进行高通滤波处理以截止低频分量。也可以对
如上获得的图像实施逆傅利叶变换,获得纹理分量。
偏斜评价值计算部18计算表示坐标空间上的纹理分量的均质性的评价值。具体
而言,偏斜评价值计算部18具有坐标重心距离计算部181。坐标重心距离计算部181
将在评价区域的内部坐标重心与通过纹理分量的像素值(亮度)加权后的坐标重心之
间的距离作为表示均质性的评价值计算出来。
判别部19根据由偏斜评价值计算部18计算出的评价值,判别评价区域的类别。
具体而言,当评价值表示纹理分量的均质性的情况下,判别部19判别为评价区域是
粘膜区域(参见图3(c))。另一方面,当评价值未表示纹理分量的均质性的情况下,
判别部19判别为评价区域是残渣区域(参见图4(c))。评价值是否表示纹理分量的
均质性是根据该评价值是否包含于预定范围内来判定的。
控制部10通过CPU等硬件实现,读入储存于记录部14中的各种程序,从而按
照由图像取得部11输入的图像数据和由输入部12输入的操作信号等,进行对于构成
图像处理装置1的各部分的指示和数据传送等,统一控制图像处理装置1的动作。
接着参照图5说明图像处理装置1的动作。图5是表示图像处理装置1判别粘膜
区域与残渣区域的图像处理的动作的流程图。而且在以下内容中以对图6所示的消化
道内图像的图像处理为例进行说明。如图6所示,在包含消化道内图像100在内的一
系列消化道内图像组中以粘膜区域101为主,时而出现残渣区域102、病变区域103
等。
当取入到图像处理装置1的消化道内图像组的图像数据被储存到记录部14中时,
运算部15从记录部14读取出处理对象的消化道内图像100(步骤S1)。
在步骤S2中,评价区域设定部16对消化道内图像100设定评价区域。具体而言,
评价区域设定部16如图7所示将消化道内图像100分割为多个矩形区域,将各区域
依次设定为评价区域105。并且在图7中,将消化道内图像100分割为16个区域,
而分割数和各区域的大小和形状不限于此,可按照希望设定。例如既可以将1个或多
个像素组成的区域设定为1个评价区域,也可以将消化道内图像100整体(即不进行
分割)设定为1个评价区域。
在步骤S3中,纹理分量取得部17接受表示消化道内图像100和评价区域105
的信息(例如坐标信息),从评价区域105内的消化道内图像去除结构分量106,从
而获得纹理分量。
在步骤S4中,坐标重心距离计算部181计算评价区域105内部的坐标重心与通
过纹理分量的像素值对评价区域105内部进行加权后的坐标重心之间的距离即坐标
重心距离,作为表示评价区域105的纹理分量的均质性的评价值(以下简称为“评价
值”)。
图8是表示示出纹理分量的均质性的评价值的计算处理的流程图。首先在步骤
S11中,坐标重心距离计算部181从评价区域设定部16获得表示评价区域105的信
息(例如坐标信息),并且从纹理分量取得部17获得评价区域105的纹理分量。
步骤S12中,坐标重心距离计算部181使用式(1)计算评价区域105内所包含
的像素的坐标重心(gx,gy)。
g x = Σ i ( x , y ) N Xi N g y = Σ i ( x , y ) N Yi N - - - ( 1 ) ]]>
在式(1)中,Xi是位于评价区域105内的第i个像素i(x,y)的x坐标,Yi
是位于评价区域105内的第i个像素i(x,y)的y坐标。另外,N是评价区域105
中所包含的像素总数。
在步骤S13中,坐标重心距离计算部181使用式(2)计算出通过纹理分量的像
素值对评价区域105内包含的像素进行加权后的坐标重心(Gx,Gy)。
G x = Σ i ( x , y ) N XiTi Σ i ( x , y ) N Ti G y = Σ i ( x , y ) N YiTi Σ i ( x , y ) N Ti - - - ( 2 ) ]]>
在式(2)中,Ti(x,y)是位于评价区域105内的第i个像素的纹理分量的像
素值。
进而,在步骤S14中,使用步骤S12和S13的计算结果以及式(3),计算坐标
重心距离DG-g。
D G - g = ( G x - g x ) 2 + ( G y - g y ) 2 - - - ( 3 ) ]]>
此后动作返回主流程。
其中,当纹理分量为均质的情况下,进行了加权后的坐标重心(Gx,Gy)与坐
标重心(gx,gy)大致一致,因而坐标重心距离DG-g的值变小。而当纹理分量并非均
质的情况下,进行了加权后的坐标重心(Gx,Gy)离开坐标重心(gx,gy),因此坐
标重心距离DG-g的值会变大。
坐标重心距离计算部181将通过上述步骤S11~S14的处理计算出的坐标重心距
离DG-g作为表示纹理分量的均质性的评价值输出给判别部19。
在步骤S5中,判别部19将由坐标重心距离计算部181计算出的坐标重心距离
DG-g作为评价值,判别评价区域105的类别。具体而言,判别部19首先将评价值与
预先设定的预定阈值进行比较。而当该评价值小于预定阈值的情况下,判别为纹理分
量为均质,评价区域105是粘膜区域。另一方面,当评价值在预定阈值以上的情况下,
判别部19判别为纹理分量为非均质,评价区域105是残渣区域。进而,判别部19
输出评价区域105的判别结果并使显示部13显示该判别结果,而且使记录部14记录
该判别结果(步骤S6)。
当残留有还未结束类别的判别的评价区域105的情况下(步骤S7:No),动作转
移到步骤S2。而当对所有评价区域105执行了判别处理时(步骤S7:Yes),结束对
消化道内图像100的图像处理的动作。
如上所述,根据第1实施方式,着眼于评价区域的纹理分量的均质性,判别评价
区域是粘膜区域还是残渣区域。因此能够在不被摄影条件影响的情况下,以处理时间
快的算法对能采取各种大小和形状的判别对象区域(评价区域)恰当地判别类别。另
外,根据第1实施方式,计算坐标重心距离作为表示纹理分量的均质性的评价值,因
此能通过简单的运算处理判定纹理分量的均质性。
变形例1-1
关于评价区域的设定(步骤S2),除了上述方法之外还可通过各种方法进行。例
如可以按照每个颜色特征量分割消化道内图像(参见日本特开2010-115413号公报),
将分割后的各区域作为评价区域。或者也可以将通过动态轮廓法(snakes法)提取出
的闭合曲线的内部作为1个评价区域。动态轮廓法指的是使作为初始值被提供的闭合
曲线的形状变形,并且提取出闭合曲线的连续性和平滑度以及基于闭合曲线上的边缘
强度的能量和最为稳定的闭合曲线(参考:CG-ARTS协会、ディジタル画像処理、
第197~199页)。
变形例1-2
在计算通过纹理分量的像素值进行了加权后的坐标重心时(步骤S13),可以不
通过像素值对所有像素进行加权,而是仅对满足预定条件的像素进行加权。具体而言,
对相对于评价区域内的像素值的最大值具有预定比例(例如50%)以上的像素值的像
素进行加权。或者也可以仅对纹理分量的连续分布中像素值为峰值的像素(即一次微
分为零且二次微分为负的像素)进行加权。由此当纹理分量为非均质的情况下,通常
的坐标重心(gx,gy)与加权后的坐标重心(Gx,Gy)的背离更为显著,因此更便于
判别粘膜区域与残渣区域。
第2实施方式
下面说明本发明第2实施方式涉及的图像处理装置。
图9是表示第2实施方式涉及的图像处理装置的构成的框图。图9所示的图像处
理装置2具有运算部20。运算部20具有作为评价值计算单元的偏斜评价值计算部21、
根据偏斜评价值计算部21的计算结果判别评价区域的类别的判别部22。本第2实施
方式的运算部20将评价区域的纹理分量从连续分布转换为离散分布,根据该离散分
布计算出表示纹理分量的均质性的评价值。其它构成都与图1所示内容相同。
偏斜评价值计算部21具有离散分布计算部211和均质性评价值计算部212。离
散分布计算部211根据由连续分布来表现的纹理分量而生成由多个离散点构成的离
散分布数据。均质性评价值计算部212根据该离散分布数据计算表示纹理分量的均质
性的评价值。判别部22根据该评价值判定纹理分量的均质性,还根据该判定结果进
行评价区域是粘膜区域还是残渣区域的判定。
接着参照图10~图12说明图像处理装置2的动作。图10是表示图像处理装置2
的动作的流程图。并且,步骤S1~S3、S6和S7的动作与第1实施方式中所说明的
内容相同。
在步骤S21中,离散分布计算部211根据由连续分布来表现的纹理分量而生成离
散分布数据。图11是说明生成表现粘膜区域的纹理分量的离散分布数据的处理的图。
图12是说明生成表现残渣区域的纹理分量的离散分布数据的处理的图。具体而言,
离散分布计算部211从评价区域设定部16收取表示评价区域的信息(坐标信息),并
且从纹理分量取得部17收取由连续分布来表现的纹理分量,获得评价区域内的像素
值的最大值(图11(a)、图12(a))。
接着,离散分布计算部211获得相对于像素值的最大值的预定比例的值(以下称
之为取样值)。在图11(a)和图12(a)中,作为一例将取样值设为最大值的50%。
进而,离散分布计算部211提取出具有与取样值相同像素值的像素(坐标),将这些
像素作为构成离散分布的点(离散点P)生成离散分布数据(图11(b)、图12(b))。
在步骤S22中,均质性评价值计算部212根据由离散分布计算部211生成的离散
分布数据,计算表示纹理分量的均质性的评价值。此时,均质性评价值计算部212
使用所谓的空间解析法。空间解析法是将离散分布数据分类为“分散型”或“集中型”
的方法。在第2实施方式中,作为空间解析法的一例,说明使用根据离散点P之间的
距离解析离散点P的分布的最邻近距离法的方法。
首先,如图13所示,求出从构成离散分布数据的各离散点Pi(i=1~n)到最近
的另一离散点的距离di。然后使用式(4)计算出作为这些距离di的平均值的平均最
邻近距离W。
W = 1 n Σ i = 1 n d i - - - ( 4 ) ]]>
在式(4)中,n为离散分布数据中所包含的离散点Pi的总数。如上那样计算出
的平均最邻近距离W可用作表示纹理分量的均质性的评价值。
图14是表示评价区域A1的离散点P的偏差(分散或集中)与此时的平均最邻
近距离W的关系的图。当离散点P集中于评价区域A1的大致1个部位的情况下(图
14(a)),平均最邻近距离W取较小的值(W=W1)。而当离散点P的集中部位增加
时(图14(b)),平均最邻近距离W变得大些(W=W2>W1)。例如在图14(b)中,
离散点P集中于评价区域A1的2个部位。这些情况下的平均最邻近距离的值W1、
W2例如图12(b)所示,表示出纹理分量的分布不均匀。另一方面,当离散点P遍
及评价区域A1整体的情况下(图14(c)),平均最邻近距离W变大(W=W3>W2)。
这些情况下的平均最邻近距离的值W3例如图11(b)所示,表示出纹理分量均匀。
在接下来的步骤S23中,判别部22根据由均质性评价值计算部212计算出的评
价值(平均最邻近距离W),判别纹理分量的均质性和评价区域的类别。具体而言,
判别部22将通过式(5)计算出的期待值E[W]作为阈值来判别评价值的均质性。式
(5)所示的期待值E[W]是假定在离散分布数据中离散点P呈随机性分布的情况下的
期待值。
E [ W ] = k 2 n S - - - ( 5 ) ]]>
在式(5)中,k是通过实验测得的系数(常数),S是评价区域A1的面积。
由此如下判定纹理分量的均质性。
W<E[W]:均质
W≥E[W]:非均质
进而,判别部22在纹理分量为均质的情况下,判别为评价区域是粘膜区域。而
当纹理分量并非均质的情况下,判别为评价区域是残渣区域。
如上所述,根据第2实施方式,基于表示纹理分量的离散分布数据,判别纹理分
量的均质性和评价区域的类别,因此能降低总体的运算量,能在更短时间内获得判别
结果。
并且,关于基于离散分布数据的评价值的计算(步骤S22),除去上述方法之外
还能通过各种方法进行。下面作为变形例2-1~2-3说明基于离散分布数据的评价值
的其他计算方法的例子。
变形例2-1基于K-函数法的评价值的计算
K-函数法是用于识别根据最邻近距离法难以判别的分布而开发出的方法。基于
K-函数法的评价值K(h)可通过式(6)计算出来。
K ( h ) = 1 n Σ i = 1 n K i ( h ) λ - - - ( 6 ) ]]>
在式(6)中,ki(h)表示在从离散分布数据的各离散点Pi距离为h的范围内所
存在的其他离散点的数量。例如在图15的评价区域A2所示的某个离散点Pi的情况
下,ki(h)=4。另外,λ是评价区域A2中的离散点P的密度(λ=n/S)。
使用这种评价值K(h)的情况下,如下那样进行纹理分布的均质性判定和评价
区域的类别的判别。
首先通过式(7)计算K-函数的期待值E[K(h)]。
E[K(h)]=πh2 (7)
其中π是圆周率。
纹理分布的均质性可通过以该期待值E[K(h)]为阈值按如下所述来判定。
K(h)<E[K(h)]:均质
K(h)≥E[K(h)]:非均质
由此当纹理分量为均质的情况下,判别为评价区域是粘膜区域。而当纹理分量并
非均质的情况下,判别为评价区域是残渣区域。
变形例2-2基于x2检定的评价值的计算
对图16所示的评价区域A3进行评价的情况下,首先设想将评价区域A3分割为
形状和面积相等的多个区域(例如矩形区域)B。当假设离散点P在评价区域A3均
等分布时,则各区域B内所包含的离散点P的共生概率是一定的。例如在图16(a)
中,在各区域B中1个离散点P以相等概率存在。而如图16(b)所示,当离散点P
的分布存在偏斜的情况下,各区域B的离散点P的共生概率变得不同。因此若求出
了假设离散点P均等的情况下的离散点P的共生概率与实际的离散点P的共生概率
的背离程度,则能将该背离程度用作表示纹理分量的均质性的评价值。
x2检定是设离散点P进入到第j个区域Bj的概率为PRj的情况下,检定基于该概
率的理论值与n个离散点P的实际分布是否一致的方法。当使用x2检定判定纹理分
量的均质性时,将所有区域B的共生概率PR作为PR=1/M(M为矩形区域C的数量),
通过式(8)计算出x2。
χ 2 Σ j = 1 M ( C j - n ( 1 M ) ) 2 n ( 1 M ) - - - ( 8 ) ]]>
在式(8)中,Cj是第j个区域Bj所包含的离散点P的个数。另外,n是评价区
域A3所包含的离散点P的总数。
通过上式(8)计算出的x2可用作表示纹理分布的均质性的评价值。即,当x2
小于预定阈值的情况下(即上述背离程度小时),判定为纹理分布均匀。此时,判别
为评价区域是粘膜区域。而当x2在预定阈值以上的情况下(即上述背离程度大时),
判定为纹理分布不均匀。此时判别为评价区域是残渣区域。
变形例2-3基于多样度指数的评价值的计算
如图16(a)所示,当离散点P均等分布于评价区域A3的情况下,包含离散点
P的区域B的数量变多。而如图16(b)所示,当离散点P的分布存在偏斜的情况下,
不包含离散点P的区域B增加。因此若求出离散点P在多个区域B的分布程度,则
能将该程度用作表示纹理分量的均质性的评价值。
作为计算离散点P在多个区域B的分布程度的手段,例如可使用多样度指数。
多样度指数是评价群集(N)中包含的种类(M)达到了何种丰富程度的指标。具体
而言,使用区域B的个数作为种类(M),使用式(9)计算辛普森(Simpson)的多
样度指数D。
D = 1 - Σ j = 1 M ( C j n ) 2 - - - ( 9 ) ]]>
在式(9)中,Cj是第j个区域Bj所包含的离散点P的个数。另外,n是评价区
域A3所包含的离散点P的总数。
使用这种多样度指数D的情况下,如下那样进行纹理分布的均质性判定和评价
区域的类别的判别。即,当多样度指数D大于预定阈值的情况下(即离散点P的分
布多样的情况下),纹理分布均匀,判别为评价区域是粘膜区域。而当多样度指数D
在预定阈值以下的情况下(即离散点P的分布偏斜的情况下),纹理分布不均匀,判
别为评价区域是残渣区域。
或者也可以计算式(10)的香农(Shannon)指数H’,作为离散点P在多个区域
B的分布程度。
H ′ = - Σ j = 1 M ( C j n ) ln ( C j n ) - - - ( 10 ) ]]>
这种情况下,当香农指数H’大于预定阈值的情况下,纹理分布均匀,判别为评
价区域是粘膜区域。而当香农指数H’小于预定阈值的情况下,纹理分量的分布不均
匀,判别为评价区域是残渣区域。
第3实施方式
接着说明本发明第3实施方式涉及的图像处理装置。
图17是表示第3实施方式涉及的图像处理装置的构成的框图。图17所示的图像
处理装置3具有运算部30。运算部30具有作为评价值计算单元的变形评价值计算部
31、根据变形评价值计算部31的计算结果判别评价区域的类别的判别部32。其它构
成都与图1所示内容相同。
变形评价值计算部31对评价区域的纹理分量求出像素值(强度)的频度分布,
根据该频度分布的形状的变形,计算表示纹理分量的均质性的评价值。判别部32根
据该评价值判定纹理分量的均质性,然后根据该判定结果,进行评价区域是粘膜区域
还是残渣区域的判别。
此处参照图18和图19说明第3实施方式的类别判别原理。在图18(a)和图19
(a)中,横轴表示评价区域所包含的像素的x坐标,纵轴表示像素值I与评价区域
的像素值的平均值μ之差I’。另外,在图18(b)和图19(b)中,横轴表示像素值
I与平均值μ之差I’,纵轴表示差I’的频度。
图18(a)表示粘膜区域的纹理分量的特性。在粘膜区域中,纹理分量的像素值
较为均匀。对这种纹理分量制作直方图的情况下,直方图成为以平均值(I’=0)为中
心左右对称的变形较少的形状(图18(b))。而图19(a)表示残渣区域的纹理分量
的特性。在残渣区域中,在纹理分量的像素值中可见较大的偏差。对这种纹理分量制
作直方图的情况下,会在直方图中产生变形(图19(b))。于是对纹理分量的像素值
的直方图求出对称性(变形),从而能判断纹理分量的均质性,能根据该均匀性判别
评价区域是粘膜区域还是残渣区域。
下面说明图像处理装置3的动作。图20是表示图像处理装置3的动作的流程图。
并且,步骤S1~S3、S6和S7的动作与在第1实施方式中说明的内容相同。
首先在步骤S31中,变形评价值计算部31从纹理分量取得部17获得纹理分量,
计算像素值的频度分布。
在接下来的步骤S32中,变形评价值计算部31使用式(11)计算出变形度
(Skewness)Sk,作为表示在步骤S31求出的频度分布的对称性的评价值。
Sk = Σ i ( I i - μ ) 3 n σ 3 - - - ( 11 ) ]]>
在式(11)中,Ii是第i个像素的像素值,μ是像素值的平均值,σ是像素值的
标准偏差,n是像素值的频度的总和(即像素数)。
变形度Sk是表示数据(像素值Ii)相对于平均值(平均值μ)非对称分布的程
度的值。当频度分布不存在变形的情况下(即正态分布),变形度Sk为零,变形越大
则变形度Sk越远离零。并且当频度分布偏向I’<0侧时(例如图19(a)所示情况),
Sk<0。而当频度分布偏向I’>0侧时,Sk>0。
在步骤S33中,判别部32根据由变形评价值计算部31计算出的评价值(变形度),
判别纹理分量的均质性和评价区域的类别。具体而言,判别部32将通过式(11)计
算出的变形度Sk与预先获得的预定阈值Thresh1和Thresh2进行比较,从而如下判定
纹理分量的均质性。
Thresh1<Sk<Thresh2:均质
Thresh1≥Sk或Thresh2≤Sk:非均质
进而,当纹理分量为均质的情况下,判别部32判别为评价区域是粘膜区域。而
当纹理分量为非均质的情况下,判别部32判别为评价区域是残渣区域。
如上所述,根据第3实施方式,基于像素值的频度分布,判别纹理分量的均质性
和评价区域的类别,因此能通过处理时间较快的算法获得判别结果。
在上述第1~第3实施方式中分别说明的图像处理装置1~3可以通过由个人计
算机或工作站等计算机系统执行预先准备好的程序来实现。下面说明具有与图像处理
装置1~3相同的功能,执行储存于记录部14中的图像处理程序141的计算机系统。
图21是表示计算机系统4的系统构成图。另外,图22是表示图21所示主体部
41的构成的框图。如图21所示,计算机系统4具有主体部41、用于通过来自主体部
41的指示在显示画面421上显示图像等信息的显示器42、用于对该计算机系统4输
入各种信息的键盘43、用于指定显示器42的显示画面421上的任意位置的鼠标44。
主体部41具有CPU41、RAM412、ROM413、硬盘驱动器(HDD)414、接受
CD-ROM46的CD-ROM驱动器415、以可拆装的方式连接USB存储器47的USB端
口416、连接显示器42、键盘43和鼠标44的I/O接口417、用于与局域网或广域网
(LAN/WAN)N1连接的LAN接口418。
进而,计算机系统4上连接有用于与因特网等公众线路N3连接的调制解调器45,
而且经由LAN接口418和局域网或广域网N1,连接有作为其他计算机系统的个人计
算机(PC)5、服务器6、打印机7等。
计算机系统4读取记录于记录介质中的图像处理程序(例如图1所示的图像处理
程序141)并执行,从而实现第1~第3实施方式中说明的图像处理装置1~3。其中,
记录介质除了CD-ROM46和USB存储器47之外,还包括MO盘、DVD盘、软盘(FD)、
光磁盘、IC卡等“可搬运物理介质”、设置于计算机系统4的内外的HDD414和
RAM412、ROM413等“固定用物理介质”等、记录能由计算机系统4读取的图像处
理程序的所有记录介质。基于这种含义,如经由调制解调器45连接的公众线路N3、
连接有作为其他计算机系统的PC5和服务器6的局域网或广域网N1等在发送程序时
短期存储程序的“通信介质”也属于记录介质。并且,图像处理程序不限于通过计算
机系统4来执行,本发明同样可应用于由作为其他计算机系统的PC5或服务器6执
行图像处理程序的情况以及上述装置协作执行图像处理程序的情况。
并且,本发明不限于第1~第3实施方式及各变形例,通过适当组合在各实施方
式和变形例中公开的多个构成要素,能形成各种发明。例如既可以从各实施方式和变
形例所示的所有构成要素中去除某几个构成要素,也可以适当组合不同实施方式和变
形例所示的构成要素来形成。
根据本发明的一个方面,根据评价区域内部的活体内图像的纹理分量的均匀性判
别该评价区域的类别,因此能够在不受到摄像条件影响的情况下,以处理时间快的算
法获得恰当的判别结果。