图像处理装置以及图像处理方法 【技术领域】
本发明涉及对通过在消化道内移动的摄像机所拍摄的一系列消化道内图像进行处理的图像处理装置以及图像处理方法。
背景技术
近些年来，为进行消化道内的检查，开发出了胶囊内窥镜等可拍摄一系列消化道内图像的消化道内通过型摄像机。胶囊内窥镜从口中被吞咽之后，通过蠕动运动等在消化道内进行输送，同时以既定的摄像速率依次拍摄图像并向体外接收机发送，最终被排出体外。所拍摄的一系列消化道内图像的张数大概可以通过摄像速率(约2～4frame/sec)×胶囊内窥镜的体内停留时间(约8hours＝8×60×60sec)来表示，该张数为数万张以上。医生为通过诊断用工作站等确认这些记录在体外接收机中的大量图像而需要耗费很多时间。因此，极希望出现一种用于提高医生对图像的确认作业效率的技术。
例如在日本特开2006-122502号公报中公开了一种这样的方法：为了从胶囊内窥镜所拍摄的大量消化道内图像中去除几乎没有显现出粘膜的无需观察的图像等，判断图像内的粘膜区域和显现出排泄物等内容物的区域。具体而言，将图像内的各像素映射在基于该颜色信息的特征空间(arctan(g/r)，arctan(b/r)等)上。而且，通过比较预先求得的属于粘膜区域和内容物区域中的像素(教师数据)在特征空间内的分布范围，判定图像内的各像素是属于哪个区域范围的像素，进而判断粘膜区域等。
在日本特开2006-122502号公报之中，使用事先准备好的教师数据的颜色信息来判断粘膜区域。然而，如消化道内图像那样，在摄像对象为活体的情况下，由于被检者的个体差异会导致对象的颜色信息发生较大变动。例如粘膜和内容物的颜色分别取决于血液和胆汁的吸光特性，粘膜相比内容物呈红色系的颜色，内容物相比粘膜为黄色系的颜色，而对根据被检者不同，用于判断两者的界线具有较大不同。另外，当摄像机存在制造上的偏差等时，这种颜色变动就会变得更显著。因此，在使用事先准备好的教师数据的基准进行粘膜区域判断这样的现有方法之中，存在难以根据多样的被检者的消化道内图像稳定判断粘膜区域的问题。
【发明内容】
本发明一个方式涉及的图像处理装置对通过在消化道内移动的摄像机拍摄到的一系列图像进行处理，其特征在于，具有：特征量计算部，其计算上述一系列图像中的至少一部分图像的每个像素或每个区域的颜色特征量；颜色特征量组估计部，其根据上述每个像素或每个区域的颜色特征量的数据分布，估计表示粘膜的颜色特征量的数据组和表示内容物的颜色特征量的数据组；以及判断界线设定部，其根据上述所估计的颜色特征量的数据组，设定粘膜与内容物在颜色特征量上的判断界线。
本发明一个方式涉及的图像处理方法对通过在消化道内移动的摄像机拍摄到的一系列图像进行处理，其特征在于，计算上述一系列图像中的至少一部分图像的每个像素或每个区域的颜色特征量；根据上述每个像素或每个区域的颜色特征量的数据分布，估计表示粘膜的颜色特征量的数据组和表示内容物的颜色特征量的数据组，根据上述所估计地颜色特征量的数据组，设定粘膜与内容物的颜色特征量的判断界线。
一并参照附图来阅读如下的本发明的详细说明，可进一步对如上所述内容以及本发明的其他目的、特征、优点和技术上及产业上的意义加深理解。
【附图说明】
图1是表示包含图像处理装置的图像处理系统的整体构成的概要示意图。
图2是表示消化道内图像的一个例子的示意图。
图3是说明图像处理装置的功能构成的框图。
图4是表示图像处理装置进行的处理步骤的整体流程图。
图5是表示直方图的计算例子的图。
图6是说明组群分类的原理的说明图。
图7是表示针对图5所示的直方图进行聚类的结果的图。
图8是表示判定为双峰性较低的直方图的一个例子的图。
图9是表示粘膜区域判断处理的详细处理步骤的流程图。
【具体实施方式】
下面，参照附图说明本发明的优选实施方式。本实施方式中说明如下图像处理装置：其使用在消化道内移动的胶囊内窥镜作为摄像机的一个例子，该图像处理装置对该胶囊内窥镜在被检者的消化道内移动的同时连续拍摄的一系列消化道内图像进行处理。并且，本发明不限于该实施方式。另外，在各附图的描述中对相同部分赋予同一符号表示。
图1是表示包含本实施方式的图像处理装置的图像处理系统的整体构成的概要示意图。如图1所示，图像处理系统通过胶囊内窥镜3、接收装置5、图像处理装置10等构成。胶囊内窥镜3对被检者1内部的图像(消化道内图像)进行拍摄。接收装置5接收从胶囊内窥镜3无线发送的消化道内图像。图像处理装置10根据通过接收装置5接收的消化道内图像，对通过胶囊内窥镜3拍摄到的消化道内图像进行处理并显示。对于接收装置5与图像处理装置10之间的图像数据传递，例如可使用移动式的记录介质(可移动记录介质)7。
胶囊内窥镜3具备摄像功能和无线功能等，从被检者1口中被吞入而导入到被检者1内部，在消化道内一边移动一边依次拍摄消化道内图像。然后，将拍摄到的消化道内图像无线发送到体外。
接收装置5具有分散配置在与被检者1内的胶囊内窥镜3的通过路径对应的体表上的位置上的接收用天线A1～An。而且，接收装置5接收经由各接收用天线A1～An从胶囊内窥镜3无线发送来的图像数据。该接收装置5构成为能自由拆装可移动记录介质7，将接收到的图像数据依次保存在可移动记录介质7内。这样，由胶囊内窥镜3对被检者1内部进行拍摄的一系列消化道内图像就会通过接收装置5按照时间序列的顺序蓄积在可移动记录介质7内进行保存。
图像处理装置10用于由医生观察、诊断通过胶囊内窥镜3拍摄的一系列消化道内图像，通过工作站或个人计算机等通用计算机来实现。该图像处理装置10构成为能自由拆装可移动记录介质7，对保存在可移动记录介质7内的一系列消化道内图像进行处理，例如按照时间序列的顺序依次在LCD或EL显示器等显示器上显示。
图2是表示通过胶囊内窥镜3拍摄的、通过图像处理装置10处理的1张消化道内图像的一个例子的示意图。在构成一系列的消化道内图像的各图像中，以粘膜31为主，偶尔显现出了内容物33和泡35、病变37等。实施方式中的图像处理装置10对一系列的消化道图像进行处理，判断各图像内的显现出粘膜的区域(以下称之为“粘膜区域”)。并且，通过胶囊内窥镜3拍摄的消化道内图像是通常在各像素位置上具有针对R(红)、G(绿)、B(蓝)各颜色分量的像素水平(像素值)的彩色图像。
图3是说明实施方式的图像处理装置10的功能构成的框图。本实施方式中，图像处理装置10具有图像取得部11、输入部12、显示部13、存储部14、运算部15、以及控制装置各部分的控制部21。
图像取得部11获得通过胶囊内窥镜3拍摄且通过接收装置5保存在可移动记录介质7中的一系列消化道内图像。具体而言，例如以能自由拆装的方式安装可移动记录介质7，读出并获得蓄积在所安装的可移动记录介质7内的消化道内图像的图像数据。该图像取得部11例如可通过与可移动记录介质7的种类对应的读写装置来实现。并且，关于通过胶囊内窥镜3拍摄的一系列消化道内图像的获得并不限于使用可移动记录介质7的构成。例如既可以构成为具备硬盘以代替图像取得部11，也可以构成为预先将通过胶囊内窥镜3拍摄的一系列消化道内图像保存在硬盘内。或者还可以构成为另外设置服务器以代替可移动记录介质7，预先将一系列消化道内图像保存在该服务器内。这种情况下，通过用于与服务器连接的通信装置等来构成图像取得部11，经由该图像取得部11与服务器连接，从服务器获得消化道内图像。
输入部12例如可通过键盘、鼠标、触摸面板、各种开关等实现，将与操作输入对应的操作信号输出到控制部21。显示部13可通过LCD、EL显示器等显示装置来实现，通过控制部21的控制来显示包含消化道内图像的显示画面在内的各种画面。
存储部14通过能更新存储的闪速存储器等ROM或RAM各种IC存储器、内置的或通过数据通信端子来连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现。该存储部14存储有程序以及在该程序执行中所使用的数据等，该程序用于使图像处理装置10进行动作、实现该图像处理装置10具备的各种功能。另外，还存储有图像处理程序141，其用于判断构成一系列消化道内图像的各图像内的粘膜区域。
运算部15可通过CPU等硬件来实现，对通过图像取得部11获得的一系列消化道内图像进行处理，进行用于判断各图像内的粘膜区域的各种运算处理。该运算部15具有特征量计算部16、图像选择部17、作为颜色特征量组估计部的数据组估计部18、判断界线设定部19、粘膜区域判断部20。
特征量计算部16对一系列的消化道内图像计算各图像内的像素或小区域的颜色特征量。该特征量计算部16具有区域分割部161。区域分割部161将各图像内部分割为小区域。图像选择部17从构成一系列消化道内图像的各图像中选择多个图像。数据组估计部18根据由图像选择部17选择的图像内的像素或小区域的颜色特征量数据分布，估计表示粘膜(本实施方式中为肠粘膜)和内容物的数据组。该数据组估计部18具有聚类部181。聚类部181对颜色特征量的数据分布进行聚类。判断界线设定部19根据由数据组估计部18所估计的数据组，设定粘膜与内容物之间的颜色特征量的判断界线。该判断界线设定部19具有双峰性判定部191。双峰性判定部191判定数据组估计部18所估计的数据组在颜色特征空间中的直方图的双峰性。粘膜区域判断部20根据由判断界线设定部19所设定的判断界线，判断构成一系列消化道内图像的各图像内的粘膜区域。
控制部21可通过CPU等硬件来实现。该控制部21根据从图像取得部11输入的图像数据和从输入部12输入的操作信号、存储在存储部14中的程序和数据等，对构成图像处理装置10的各部分进行指示和数据转送等，统一控制图像处理装置10整体的动作。
图4是表示实施方式的图像处理装置10所进行的处理步骤的整体流程图。此处所说明的处理是通过由运算部15执行存储在存储部14中的图像处理程序141来实现的。
如图4所示，首先由运算部15取得一系列消化道内图像(步骤s1)。通过该处理，运算部15经由控制部21取得由图像取得部11从可移动记录介质7读出并获得的构成一系列消化道内图像的各图像的图像数据。另外，所取得的各图像的图像数据与表示其时序顺序的图像编号一起被存储在存储部14中，由此，处于能读入任意图像编号的图像数据的状态。
接着，图像选择部17从一系列消化道内图像的各图像中的、在从胃的平均通过时间到小肠的平均通过时间为止的期间内所拍摄的图像中选择多个图像(选择图像)(步骤s3)。在一系列消化道内图像的各图像中，按顺序显现出胶囊内窥镜3被吞咽后所通过的口腔、食道、胃、小肠、大肠的图像。其中，由于在口腔、食道中迅速通过，因而图像张数较少。因此，胃、小肠、大肠的图像占据大半，一般情况下作为最长的脏器的小肠的图像最多。其中，有时胶囊内窥镜3会不通过胃与小肠之间的幽门而持续滞留在胃中，导致胃粘膜的图像增多，或者与内容物(食物残渣)一起缓慢地在大肠内通过，而导致大肠内的内容物图像增多。在后述处理中，会估计消化道内的肠粘膜的颜色特征量数据，而在该估计中需要更多显现出肠粘膜的图像。即，最好胃粘膜图像和大肠内的内容物图像较少。于是，为了选择更多显现出肠粘膜的图像，从胶囊内窥镜3被吞咽后在从通过胃的平均通过时间(约40分钟)到通过小肠的平均通过时间(约5小时)为止的期间内所拍摄的图像中，按照既定间隔(例如每隔500张)选择图像。
并且如上所述，由于在一系列消化道内图像中基本上显现最多的是小肠，因此也可以不限定区间地按照既定间隔从一系列消化道内图像的整个区间中选择图像。另外，还可以例如按照既定间隔从胶囊内窥镜3通过胃的平均通过时间之后所拍摄的图像中选择图像。或者还可以按照既定间隔从胶囊内窥镜3通过小肠的平均通过时间以前所拍摄的图像中选择图像。另外，还可以获得患者的胃摘除信息和胶囊内窥镜3的体内滞留时间等作为事先信息，根据这些信息来限定和选择区间。例如在摘除了胃的情况下，限定并选择为错开了胃的平均通过时间的区间，或限定并选择为胶囊内窥镜3的体内滞留时间的X％～Y％的区间等，可采用适当的方法来选择图像。
接着，区域分割部161根据边缘将在步骤s3中所选择的多个各选择图像内部分割为小区域(步骤s5)。具体而言，对各选择图像进行如下所示的针对1张选择图像的处理，将所有的选择图像分割为小区域。
作为针对1张选择图像的处理步骤，首先生成由选择图像的G分量构成的G分量图像。此处，使用G分量的理由在于：由于接近于血液的吸光范围，因而能够更好地表现粘膜的结构和内容物的界线等消化道内图像的结构信息。并且，还可以使用其他颜色分量或利用已公知的转换处理2次计算出的例如亮度和色差(YCbCr转换)、色调、饱和度、明亮度(HIS转换)、色比等。而且，利用已公知的1次微分滤波器(Prewitt filter(普鲁伊特滤波器)、Sobel filter(索贝尔滤波器)等)和2次微分滤波器(Laplacian filter(拉普拉斯滤波器)、LOG(Laplacian of Gaussian(高斯-拉普拉斯))filter等)对该G分量图像进行空间滤波，获得边缘提取图像(参考：CG-ARTS协会，デイジタル画像処理，114P，エツジ抽出(数字图像处理，第114页，边缘提取))。
接着，根据边缘提取图像将图像分割为小区域，而作为基于边缘提取图像的图像分割方法，例如可以使用国际公报WO2006/080239号中公开的方法。简单说明其步骤，首先针对边缘提取图像，根据需要进行以去除噪声为目的的平滑处理。此后，求出边缘提取图像的各像素中的像素值的倾斜方向。此时，倾斜方向成为附近像素之间的像素值之差为最小(负值则为最大)的方向。然后，求出上述各像素沿着像素值的倾斜方向到达的极值像素，以到达相邻的极值像素的各像素处于相同区域的方式分割图像。综上，能够根据边缘将图像内部分割为小区域。
并且，作为其他分割方法，也可以使用分水岭(watershed)算法(参考：Luc Vincent and Pierre Soille，Watershed in digital spaces；An efficientalgorithm based on immersion simulations，Transactions on Pattern Analysisand Machine Intelligence，Vol.13，否.6，pp.583-598，June 1991.)。分水岭算法是这样的方法：在将图像的像素值信息看作是高度的地形中注满水时分割图像，使得在贮存于不同水坑中的水之间形成界线。因此，在对边缘提取图像进行了适当的平滑之后执行分水岭算法，能获得与国际公报WO2006/080239号所公开的方法同等的图像分割结果。
并且，在此出于减轻孤立的像素噪声所导致的影响的目的和利用沿着粘膜和内容物之间的界线的区域分割以在后面阶段获得高精度的数据的目的等，示出基于边缘分割为小区域的方法；但也可以使用将图像分割为既定尺寸的矩形小区域的方法。这种情况下，不需要边缘提取和基于边缘的区域分割，可以缩短处理时间。另外，还可以完全不进行区域分割，以像素单位进行后面的特征量计算部16的处理。此时不需要区域分割部161，可以简化装置构成。
接着，如图4所示，特征量计算部16计算各小区域的色调平均值(步骤s7)。在该步骤中，根据小区域内的各像素的R、G、B值计算小区域内的R、G、B平均值。然后，根据这些R、G、B平均值，通过已公知的HIS转换(参考：CG-ARTS协会，デイジタル画像処理，64P，HIS变换と逆变换(数字图像处理，第64页，HIS转换和逆转换))计算小区域的色调平均值。这里，计算色调平均值的理由在于：粘膜和内容物中的成分即血液和胆汁等的吸光特性不同，因而可根据色调等颜色特征量在某种程度上加以判断。基本而言，从红色系的色调到黄色系的色调就是胃粘膜、肠粘膜、内容物的顺序。对小区域进行的色调平均值的计算要对所有选择图像的各小区域进行。
并且，这里示出了根据小区域的R、G、B平均值进行HIS转换，计算小区域的色调平均值的方法，也可以根据小区域内的各像素的R、G、B值进行HIS转换，计算出各像素的色调之后，根据这些值计算小区域内的色调平均值。还可以计算色调以外的颜色特征量例如色差、色比等的平均值。
接下来，聚类部181对步骤s7中分别按照各选择图像内的各小区域计算出的色调平均值的数据分布进行聚类(步骤s9)。聚类是根据数据间的类似性将特征空间内的数据分布划分为被称作组群的块的方法，例如可使用层级法或k-means法等已公知的方法(参考：CG-ARTS协会，デイジタル画像処理，231P，クラスタリング(数字图像处理，第231页，聚类))来实现。并且，此处所说的特征空间是指色调的1维空间。如上所述，聚类存在多种方法，而此处，在后面阶段的处理中进行使用色调空间的数据直方图的处理，因此示出基于数据直方图的聚类的步骤。并且，聚类不限于以下所说明的方法，也可以使用其他方法。
作为基于直方图的聚类步骤，首先在横轴上取色调的层级区间，在纵轴上取相当于层级区间的具有色调平均值的小区域的度数，由此计算直方图。这里，通过按照事先设定的既定间隔对充分包含了消化道内图像的色调分布范围的从黄色系到红色系的色调范围进行分割，由此来设定层级区间。图5是表示直方图的计算例子的图。并且，图5被归一为度数总和为1。
计算出直方图之后，接下来以直方图的谷底作为界线将数据分布分成组群(cluster)。图6是说明此处进行的聚类的原理的说明图。图6所示的度数数据G4是用折线简单示出了直方图的度数变化的数据。另外，度数数据G4下面的坐标是简便地将直方图的层级区间作为坐标而示出的部分。倾斜方向是根据关注坐标的度数以及与该关注坐标相邻的坐标的度数之差求出的方向，度数的值表示增加最多的方向。并且“eX”所示的坐标是度数高于相邻的任一坐标的极值坐标。
在划分组群时，首先求出倾斜方向。例如，在将关注坐标设为坐标“3”的情况下，如度数数据G4所示，在对关注坐标“3”增加度数最多的方向上相邻的坐标为坐标“4”。因此，图6中用向右的箭头所示方向(→)被设定为关注坐标“3”的倾斜方向。
在这样求出了各坐标的倾斜方向后，则分别以各坐标为起点，沿着倾斜方向检索极值坐标。图6中，将检索该极值坐标时的检索坐标的变化表示为“沿着倾斜方向的极值坐标的检索步骤”。例如说明一下以坐标“1”为起点的检索步骤。由于在坐标“1”的部位上倾斜方向为右方向，因此在第1次检索步骤(n＝1)中获得右边相邻的坐标“2”(参照号码41)。接着，在获得的坐标“2”的部位上倾斜方向也是右方向，在第2次检索步骤(n＝2)中获得坐标“2”的右边相邻的坐标“3”(参照号码43)。此后依次沿着倾斜方向继续检索，则最终到达(n＝4)、坐标“5”的极值坐标(参照号码45)。同样地，如果以坐标“2”为起点进行检索，则最终到达(n＝3)坐标“5”的极值坐标(参照号码47)。如果以所有坐标为起点进行同样的检索，则坐标“1”～“9”到达极值坐标“5”，坐标“10”～“15”到达极值坐标“12”。根据该结果，可以将坐标“1”～“9”分类为第1组群C1，将坐标“10”～“15”分类为第2组群C2，能够以直方图的谷底(图6中为坐标“9”所示的层级与坐标“10”所示的层级之间)为界线来划分组群。
图7是表示通过上述方法对图5所示的直方图进行聚类的结果的图。图7中，以直方图的谷底为界线，能够确认到3个组群C11、C13、C15。
并且，为了限制聚类时的组群数量，也可以变更直方图的层级区间的宽度，或对直方图进行平滑处理。
接下来，如图4所示，数据组估计部18求出数据数量最多的组群和在黄色系的色调方向上与该组群相邻的组群，将属于各组群的数据估计为表示肠粘膜和内容物的数据组(步骤s11)。在选择图像内，肠粘膜显现得最多。因此，计算属于各组群的数据数量，将数据数量最多的组群估计为由显现出肠粘膜的小区域的色调平均值数据构成的组群(以下称之为“肠粘膜组群”)。图7中，组群C13相当于数据数量最多的组群，被估计为肠粘膜组群。另一方面，由于胆汁与血液的吸光特性的差异，内容物相比粘膜显现出黄色系的颜色。于是，将在黄色系的色调方向上与肠粘膜组群相邻的组群估计为由显现出内容物的小区域的色调平均值数据构成的组群(以下称之为“内容物组群”)。图7中，由于在色调轴(横轴)上越往左去越呈黄色系的色调，因此与组群C13的左侧相邻的组群C11相当于此，被估计为内容物组群。在不存在相比被估计为肠粘膜组群的组群更呈黄色系色调的组群的情况下，将属于肠粘膜组群的数据估计为表示肠粘膜和内容物的数据组。并且，能够将组群C15估计为由显现出相比肠粘膜呈红色系色调即胃粘膜的小区域的色调平均值数据构成的组群。在估计出肠粘膜组群和内容物组群之后，将属于各组群的数据估计为表示肠粘膜和内容物的数据组。
并且，此处说明了使用色调空间来估计表示肠粘膜和内容物的数据组的方法，但也可以使用其他颜色特征量进行同等的处理，估计表示肠粘膜和内容物的数据组。即，可以使用其他的颜色特征量将数据数量最多的组群估计为肠粘膜组群，将存在于相对于该肠粘膜组群为黄色系的方向上的颜色特征量范围内的组群估计为内容物组群。
接着，如图4所示，双峰性判定部191判定在步骤s11中估计出的数据组的色调空间内的直方图的双峰性是否较高(步骤s13)。这里，关于直方图的双峰性判定，说明这样的方法：将直方图分为2级、即将直方图分割为2个分布，根据用整体的方差σt除以2个分布的级间方差σb而得到的双峰性判定指标E来进行判定。
首先，按照下式(1)计算级间方差σb。w1表示级1的数据比例，m1表示级2的数据平均值，w2表示级2的数据比例，m2表示级2的数据平均值。mt表示整体的数据平均值。
σb＝w1×(m1-mt)2+w2×(m2-mt)2 (1)
例如将属于由数据组估计部18估计出的内容物组群的数据作为级1的数据，将属于肠粘膜组群的数据作为级2的数据，计算级间方差σb。当不存在内容物组群的情况下，判定为直方图的双峰性较低。
并且也可以采用如下方法：在改变色调阈值的同时，多次进行利用任意的色调阈值将估计出的数据组的色调空间中的直方图分割为2部分，将属于一侧直方图的数据作为级1的数据、将属于另一侧直方图的数据作为级2的数据来计算σb这样的作业，求出最高的σb。
接着，按照下式(2)计算整体的方差σt。N表示整体的数据数量(估计出的数据组的数据数量)，hi表示各数据的值。
σt=1NΣi=1N(hi-mt)2---(2)]]>
然后，按照下式(3)计算双峰性判定指标E。
E=σbσt---(3)]]>
当计算出的双峰性判定指标E的值大于等于事先设定的阈值的情况下，判定为直方图的双峰性较高。另一方面，当不足阈值的情况下，判定为直方图的双峰性较低。
然后，判断界线设定部19进行与所判定出的直方图的双峰性对应的设定处理，设定粘膜与内容物的颜色特征量的判断界线。即，如图4所示，当步骤s13中判定为双峰性较高的情况下(Yes)，判断界线设定部19将直方图的谷底设定为判断界线(步骤s15)。本实施方式中，在上述步骤S9、S11的处理中，聚类部181以直方图的谷底为界线对数据分布划分组群，数据组估计部18估计肠粘膜组群和内容物组群。因此，肠粘膜组群和内容物组群的界线就相当于直方图的谷底。因此，将该界线设定为粘膜与内容物的颜色特征量的判断界线。例如在图7的例子中，判定为直方图的双峰性较高，设定有图7中用单点划线表示的判断界线B11。
并且，还可以通过检索计算出上述式(1)所示的级间方差σb为最大的色调阈值，将其作为判断界线。
另一方面，如图4所示，当在步骤s13中判定为双峰性较低的情况下(否)，判断界线设定部19根据直方图的最高频率值和数据相对于最高频率值的偏差信息，设定判断界线(步骤s17)。图8是表示被判定为双峰性较低的直方图的一个例子的图。图8中，属于组群C21和组群C23的数据被估计为表示肠粘膜和内容物的数据组，而内容物的数据分布少于肠粘膜的数据分布，抑或彼此的分布相近。由此，可以在图4的步骤s13中判定出直方图的双峰性较低。这种情况下首先计算直方图的最高频率值m0。这可以通过针对度数最高的层级求出色调值来计算该最高频率值m0。接着，使用相比最高频率值m0分布于红色系的色调范围中的估计数据组hj(j＝1～N’，N’是数据数量)，按照下式(4)计算偏差信息σh。
σh=1N′Σj=1N′(hj-m0)2---(4)]]>
此时使用最高频率值的理由在于：在肠粘膜与内容物的混合分布中，获得更接近于实际的肠粘膜分布中心的色调。其中，不限于使用最高频率值的情况，例如也可以使用中央值和平均值等其他代表值。另外，使用分布于相比最高频率值位于红色系色调范围的数据的理由在于：在不受内容物分布的影响的情况下获得肠粘膜色调分布的偏差信息。分布于相比肠粘膜为红色系色调中的胃粘膜的分布大多在数据组估计部18的处理中被去除，即便有残留的情况，也很少会影响偏差信息的计算。
然后，求出最高频率值m0和偏差信息σh之后，将从最高频率值m0向黄色系色调侧离开K×σh的色调设定为粘膜与内容物的颜色特征量的判断界线。这里，K是事先设定的既定系数。例如在图8的例子中，根据最高频率值D21，设定了图8中用单点划线表示的判断界线B21。
接着，如图4所示，粘膜区域判断部20进行粘膜区域判断处理，判断一系列消化道内图像的各图像内的粘膜区域(步骤s19)。图9是表示粘膜区域判断处理的详细处理步骤的流程图。
在粘膜区域判断处理中，粘膜区域判断部20首先将要判断粘膜区域的判断对象的图像的图像编号I设定为构成一系列消化道内图像的图像的最前头的图像编号I_start(步骤s191)。接着，粘膜区域判断部20根据边缘将图像编号I的图像内部分割为小区域(步骤s192)。此时的区域分割是与图4的步骤s5中对选择图像进行的处理同样地进行的。接下来，粘膜区域判断部20计算各小区域的色调平均值(步骤s193)。此时的色调平均值的计算是与图4的步骤s7中的处理同样地进行的。
然后，粘膜区域判断部20根据各小区域的色调平均值和判断界线，判断各小区域是否为粘膜区域(步骤s194)。此时，通过比较各小区域的色调平均值与判断界线设定部19设定的判断界线的色调，来判断各小区域是否为粘膜区域。对图像编号I的图像内的全部小区域进行了是否为粘膜区域的判断之后，接下来粘膜区域判断部20判定图像编号I是否在一系列消化道内图像的末尾图像编号I_end以下(步骤s195)。判定结果为Yes的情况下，视为存在未处理的图像，设I＝I+1(步骤s196)，对其他判断对象的图像进行步骤s192～s195的处理。另一方面，当步骤s195中的判定结果为否的情况下，视为对一系列消化道内图像都进行了处理，结束粘膜区域判断处理，返回图4的步骤s19。此后转移到步骤s21。
在该图4的步骤s21中，运算部15输出对一系列消化道内图像判断粘膜区域的结果，结束图像处理装置10的运算部15中的处理。例如运算部15使构成一系列消化道内图像的各图像内的粘膜区域的判断结果显示为图像等，通过控制部18在显示部13上进行显示输出。
如上所述，根据本实施方式，获得在被检者的消化道内拍摄到的一系列消化道内图像，根据从获得的一系列消化道内图像中选择出的多个选择图像内的每个小区域的颜色特征量的数据分布，能够估计表示肠粘膜和内容物的数据组。而且，根据所估计出的数据组，按照被检者来适当设定粘膜与内容物之间的颜色特征量的判断界线，使用该判断界线，能够判断构成此次获得的一系列消化道内图像的各图像内的粘膜区域。因此，能够稳定地对拍摄了各种被检者的消化道内的一系列消化道内图像判断粘膜区域。
根据本发明，计算通过在消化道内移动的摄像机拍摄到的一系列图像之中的至少一部分图像内的每个像素或每个区域的颜色特征量，根据颜色特征量的数据分布，能够估计出表示粘膜的颜色特征量的数据和表示内容物的颜色特征量的数据。而且，能够根据颜色特征量数据来设定粘膜与内容物之间的颜色特征量的判断界线。因此，能稳定地对拍摄了各种被检者的消化道内的一系列图像判断粘膜区域。