图像处理装置、图像处理方法和图像处理系统.pdf

要降低受目标细胞的试样差异和成像条件等差异的影响的趋势。一种图像处理装置（10）：取得通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；基于针对对应于核候选的像素要具有的颜色和亮度中的至少一个规定的第一条件，从拍摄图像中包括的像素中提取对应于核候选的像素；基于针对对应于目标细胞候选的连接像素组要具有的大小和形状规定的第二条件，进一步从通过连接与提取的像素相邻的像素而得到的连接像素组中提取对应于目标细胞候选的连接像素组；在拍摄图像中建立具有预定大小且以提取的连接像素组中包括的像素为中心的矩形区域；基于从建立的矩形区域得到的图像特征量是否满足基于目标细胞的正例和负例的试样图像而机器学习的图像特征量条件，判定矩形区域中是否包括目标细胞。

权利要求书
1.  一种图像处理装置，其特征在于，所述图像处理装置包括：
取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和
判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。

2.  根据权利要求1所述的图像处理装置，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。

3.  根据权利要求1和2中的一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。

4.  根据权利要求1至3中的任一项所述的图像处理装置，其特征在于，
所述图像特征量是HOG特征量。

5.  根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
图像特征量取得单元，其适于旋转所述矩形区域中包括的所述拍摄图像、使得连接所述设置单元所设置的所述矩形区域的中心和所述矩形区域中包括的所述连接像 素组的质心位置的向量指向预定方向，然后从经旋转的所述拍摄图像得到所述图像特征量，
并且其特征在于，所述判定单元基于所述图像特征量取得单元所得到的所述图像特征量是否满足所述图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。

6.  根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
插值单元，其适于在所述设置单元所设置的所述矩形区域中包括所述拍摄图像的一端的情况下，通过将从在所述矩形区域中包括的所述连接像素组中设置的中心线起比关于所述中心线与所述端对称的区域位于更靠外侧的图像结合到所述矩形区域中包括的图像中的所述端侧，来执行插值。

7.  根据权利要求1至6中的任一项所述的图像处理装置，其特征在于，
在显示装置上显示与被所述判定单元判定为包括所述目标细胞的所述矩形区域对应的所述拍摄图像的坐标区域。

8.  一种图像处理方法，其特征在于，所述图像处理方法包括：
取得步骤，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取步骤，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取步骤，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取步骤所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置步骤，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取步骤所提取的连接像素组中包括的像素为中心的矩形区域；和
判定步骤，其适于基于从所述设置步骤所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。

9.  根据权利要求8所述的图像处理方法，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。

10.  根据权利要求8和9中的一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
计算步骤，其适于通过将所述设置步骤所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。

11.  根据权利要求8至10中的任一项所述的图像处理方法，其特征在于，
所述图像特征量是HOG特征量。

12.  一种图像处理系统，其特征在于，所述图像处理系统包括：
图像处理装置、用于与所述图像处理装置连接的光学显微镜和用于与所述图像处理装置连接的显示装置，其特征在于，
所述图像处理装置包括：
取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和
判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。

13.  根据权利要求12所述的图像处理装置，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。

14.  根据权利要求12和13中的一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区 域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。

15.  根据权利要求12至14中的任一项所述的图像处理装置，其特征在于，
所述图像特征量是HOG特征量。

说明书图像处理装置、图像处理方法和图像处理系统
技术领域
本发明涉及图像处理装置、图像处理方法和图像处理系统。
背景技术
在对胎儿执行产前诊断的情况下，执行检测并利用源自胎儿的并且在子宫血中包括极微量的有核红细胞（NRBC，下文中被称为目标细胞）。由于母胎血中存在的NRBC的数量极少，因此NRBC的目视检测施加了很大的负担。因此，如以下的专利文献1中描述的，提出了一种通过在对象图像中搜索满足条件（诸如，NRBC的颜色、形状、位置关系或面积比）的细胞而用机械方式检测NRBC的技术。
现有技术文献
专利文献
专利文献1：日本专利No.4,346,923
发明内容
发明要解决的技术问题
本发明的目的在于提供一种图像处理装置、图像处理方法和图像处理系统，它们都能够使得在使用图像处理在通过将具有核的目标细胞成像而得到的拍摄图像中搜索目标细胞的情况下，难以受目标细胞的样本之间的差异和成像条件等差异的影响。
解决问题的技术手段
为了实现上述目的，根据权利要求1的本发明是一种图像处理装置，其特征在于包括：取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像 素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
另外，根据权利要求2的本发明是根据权利要求1所述的图像处理装置，其特征在于，基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
另外，根据权利要求3的本发明是根据权利要求1和2中的一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。
另外，根据权利要求4的本发明是根据权利要求1至3中的任一项所述的图像处理装置，其特征在于，所述图像特征量是HOG特征量。
另外，根据权利要求5的本发明是根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：图像特征量取得单元，其适于旋转所述矩形区域中包括的拍摄图像、使得连接所述设置单元所设置的所述矩形区域的中心和所述矩形区域中包括的连接像素组的质心位置的向量指向预定方向，然后从经旋转的拍摄图像得到所述图像特征量，并且其特征在于，所述判定单元基于所述图像特征量取得单元所得到的所述图像特征量是否满足所述图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
另外，根据权利要求6的本发明是根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：插值单元，其适于在所述设置单元所设置的所述矩形区域中包括所述拍摄图像的一端的情况下，通过将从在所述矩形区域中包括的所述连接像素组中设置的中心线起比关于所述中心线与所述端对称的区域位于更靠外侧的图像结合到所述矩形区域中包括的图像中的所述端侧，来执行插值。
另外，根据权利要求7的本发明是根据权利要求1至6中的任一项所述的图像处理装置，其特征在于，在显示装置上显示与被所述判定单元判定为包括所述目标细胞 的所述矩形区域对应的所述拍摄图像的坐标区域。
另外，根据权利要求8的本发明是一种图像处理方法，其特征在于，所述图像处理方法包括：取得步骤，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；第一提取步骤，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；第二提取步骤，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取步骤所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；设置步骤，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取步骤所提取的连接像素组中包括的像素为中心的矩形区域；和判定步骤，其适于基于从所述设置步骤所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
另外，根据权利要求9的本发明是根据权利要求8所述的图像处理方法，其特征在于，基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
另外，根据权利要求10的本发明是根据权利要求8和9中的一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：计算步骤，其适于通过将所述设置步骤所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的所述图像特征量。
另外，根据权利要求11的本发明是根据权利要求8至10中的任一项所述的图像处理方法，其特征在于，所述图像特征量是HOG特征量。
另外，根据权利要求12的本发明是一种图像处理系统，其特征在于，所述图像处理系统包括图像处理装置、用于与所述图像处理装置连接的光学显微镜和用于与所述图像处理装置连接的显示装置，其特征在于，所述图像处理装置包括：取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像素中的相邻像素而 得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
另外，根据权利要求13的本发明是根据权利要求12所述的图像处理系统，其特征在于，基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
另外，根据权利要求14的本发明是根据权利要求12和13中的一项所述的图像处理系统，其特征在于，所述图像处理系统还包括：计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的所述图像特征量。
另外，根据权利要求15的本发明是根据权利要求12至14中的任一项所述的图像处理系统，其特征在于，所述图像特征量是HOG特征量。
发明效果
根据权利要求1、8和12中的任一项所述的本发明，相比于没有本构造的情况，可以使得在使用图像处理在通过将具有核的目标细胞成像而得到的拍摄图像中搜索目标细胞的情况下，难以受目标细胞的试样之间的差异和成像条件等差异的影响。
根据权利要求2、9和13中的任一项所述的本发明，可以基于目标细胞的正例和负例的试样图像，与没有学习图像特征量的条件的情况相比准确地判定拍摄图像中是否包括目标细胞。
根据权利要求3、10和14中的任一项所述的本发明，相比于没有本构造的情况，目标细胞的样本之间的差异和成像条件等的差异对从矩形区域得到的图像特征量的影响减小。
根据权利要求4、11和15中的任一项所述的本发明，相比于没有使用HOG特征量作为图像特征量的情况，目标细胞的样本之间的差异和成像条件等差异对从矩形区域得到的图像特征量的影响减小。
根据权利要求5所述的本发明，通过使用在将矩形区域中的图像定向到特定方向 之后得到的图像特征量，相比于没有本构造的情况，可以准确地判定矩形区域中的图像是否是目标细胞。
根据权利要求6所述的本发明，相比于没有本构造的情况，即使根据在拍摄图像的端中设置的矩形区域，也可以准确地判定矩形区域的图像是否是目标细胞。
根据权利要求7所述的本发明，在通过将具有核的目标细胞成像而得到的拍摄图像中，可以显示包括目标细胞的图像区域。
附图说明
[图1]是根据本实施方式的图像处理系统的系统构造图。
[图2]是图像处理装置的功能框图。
[图3]是示出通过用光学显微镜将试样（母胎血）成像而得到的拍摄图像的示例的示图。
[图4]是示出核候选的像素的示例的示图。
[图5]是示出被提取作为目标细胞的候选的像素组的示例的示图。
[图6]是示出拍摄图像中设置的判定对象区域的示例的示图。
[图7]是用于说明归一化部进行的处理的流的示图。
[图8]是用于说明图像插值部进行的处理的流的示图。
[图9]是用于说明HOG特征量的示图。
[图10]是基于目标细胞的正例和负例执行的图像特征量的学习处理的流程图。
[图11A]是在用光学显微镜拍摄的试样（母胎血）的拍摄图像中搜索目标细胞的处理的流程图。
[图11B]是在用光学显微镜拍摄的试样（母胎血）的拍摄图像中搜索目标细胞的处理的流程图。
[图12]是图像插值处理的流程图。
具体实施方式
下文中，将参照附图说明用于实施本发明的实现方式（下文中被称为实施方式）的配置。
图1示出根据本实施方式的图像处理系统1的系统构造图。如图1中所示，图像 处理系统1包括光学显微镜2、图像处理装置10和显示装置6，其中，图像处理装置10连接到光学显微镜2和显示装置6中的每个，以能够彼此执行数据通信。
光学显微镜2使用CCD相机5经由诸如物镜4的光学系统拍摄设置在试样台上的载玻片3上的试样的图像。在本实施方式中，将通过在载玻片3上涂布母胎血然后应用梅-吉染色法（May-Giemsa stain）而得到的用作试样。因此，母胎血中的源自胎儿的有核红细胞（NRBC）被染色成具有蓝紫色。下文中，NRBC被称为目标细胞。
图像处理装置10得到光学显微镜2所拍摄的拍摄图像，同时在由此得到的拍摄图像中搜索目标细胞。稍后将描述在图像处理装置10中执行的目标细胞的搜索处理的细节。
显示装置6基于图像处理装置10的处理结果显示图像。例如，在显示装置6上，显示光学显微镜2所拍摄的拍摄图像、图像处理装置10对目标细胞的搜索结果等等。
图2示出图像处理装置10的功能框图。如图2中所示，图像处理装置10设置有拍摄图像取得部12、预处理部14、核候选区域提取部16、目标细胞候选区域提取部18、判定对象区域设置部20、归一化部22、图像插值部24、特征量计算部26、学习数据取得部28、学习部30、判定部32、目标细胞区域存储部34和结果输出部36。
可以通过设置有诸如CPU的控制单元、诸如存储器的存储单元、用于与外部装置之间进行发送/接收数据的输入/输出单元等的计算机读取存储在计算机可读信息存储介质中的程序然后执行，来实现设置在图像处理装置10中的上述各个部的功能。应该注意，可以通过诸如光盘、磁盘、磁带、磁光盘或闪速存储器的信息存储介质将程序供应到作为计算机的图像处理装置10，或者可以经由诸如互联网的数据通信网络将程序供应到图像处理装置10。
拍摄图像取得部12从光学显微镜2得到拍摄图像，拍摄图像是通过用设置于光学显微镜2的CCD相机5将试样成像来得到的。
图3示出拍摄图像取得部12得到的通过用光学显微镜2将试样（母胎血）成像而得到的拍摄图像的示例。在图3中示出的拍摄图像中，具有深色核的细胞是目标细胞。应该注意，目标细胞（NRBC）均具有以下四个特征（参见“从大量显微镜图像自动提取有核红细胞”，日本的图像电子工程师协会期刊，第37卷，第5期，2008年9月）。NRBC的第一个特征是在各NRBC中存在单个核、核的形状几乎是真圆并且密度高这点。第二个特征是NRBC的核被梅-吉染色法染成比其它细胞的核略深这 点。第三个特征是各NRBC的面积和核的面积以及面积之比均落入特定范围内这点。另外，第四个特征是NRBC的核和细胞质之间的浓度差比其它细胞略大这点。
预处理部14对拍摄图像取得部12所得到的拍摄图像执行诸如直方图规定化、通过主成分分析的配色、均值滤波或中值滤波的图像处理，从而执行所拍摄图像的色彩归一化和噪声去除。
核候选区域提取部16针对被预处理部14去除了噪声的所拍摄图像，提取预定范围中包括的具有颜色或浓度的像素作为核的候选区域。例如，核候选区域提取部16可以使用颜色（或浓度）的预定阈值将所拍摄图像中的像素二值化，具体地，可以提取颜色（或浓度）比阈值深（高）（或等于或高于阈值）的像素作为黑色像素。
图4示出核候选区域提取部16针对图3中示出的拍摄图像提取的核候选的像素的示例。如图4中所示，由于核候选区域提取部16的处理，导致从所拍摄图像中提取将成为核候选的区域（像素）。
目标细胞候选区域提取部18从均通过连接将成为核候选从而被核候选区域提取部16提取的像素之中的彼此相邻的像素而得到的多个连接像素组中、提取均具有满足预定条件的大小和形状的连接像素组，作为将成为目标细胞候选的像素组（目标细胞候选区域）。例如，目标细胞候选区域提取部18标记均通过连接核候选区域提取部16所提取的核候选的像素（黑色像素）而得到的连接像素组（连接像素组1至n），然后为连接像素组i（i=1～n）中的每个设置外切矩形。另外，目标细胞候选区域提取部18提取均具有均包括在预先针对各值确定的范围中的外切矩形的垂直长度、水平长度、垂直长度与水平长度之比、以及外切矩形中的黑色像素密度的连接像素组，作为目标细胞的候选。
图5示出从图4中示出的核候选的像素中提取的作为目标细胞候选的像素组的示例。如图5中所示，由于目标细胞候选区域提取部18的处理，导致从核候选中进一步提取均具有目标细胞中的核的可能性的图像区域。
判定对象区域设置部20向拍摄图像设置以向目标细胞候选区域提取部18所提取的连接像素组设置的矩形区域（候选矩形区域）的像素为中心的、具有预定大小（例如，N×M个像素）的矩形区域（判定对象矩形区域）。例如，判定对象区域设置部20从候选矩形区域中选择一个像素，然后基于由此选择的一个像素的位置坐标来识别拍摄图像中的对应像素，然后设置以由此识别的对应像素为中心的具有预定大小的 判定对象矩形区域。应该注意，判定对象区域设置部20可以顺序地从候选矩形区域中选择一个像素，然后针对每个选择的像素设置判定对象区域。
图6示出判定对象区域设置部20在拍摄图像中设置的判定对象区域的示例。如图6中所示，判定对象区域被设置成以候选矩形区域中的一个像素为中心。
归一化部22执行旋转判定对象区域设置部20所设置的判定对象区域中的图像、使得图像的方向与预定方向一致的处理。例如，归一化部22得到判定对象区域中的二值化图像的质心位置，然后计算连接判定对象区域的中心位置和如上所述得到的质心位置的方向向量指向预定方向（例如，向上方向）必需的旋转角度。然后，归一化部22以如上所述计算出的旋转角度旋转判定对象区域中的图像（拍摄图像的部分图像）。应该注意，不一定要求执行归一化部22的处理。
图7示出用于说明归一化部22进行的处理的流的示图。图7(A)是拍摄图像中设置的判定对象区域，图7(B)是判定对象区域中的二值化图像。另外，图7(C)是通过以图7(B)的方向向量指向向上方向必需的旋转角度θ旋转图7(A)中示出的拍摄图像然后用判定对象区域切割拍摄图像而得到的图像。
在拍摄图像的一端被包括在判定对象区域设置部20所设置的判定对象区域中的情况下，图像插值部24对判定对象区域中的图像进行插值。例如，图像插值部24扩大判定对象区域以具有预定大小（2M×2M），然后将由此扩大的判定对象区域中包括的二值化图像中与拍摄图像的该端平行的线段的最长部分设置成中心线。然后，图像插值部24得到从由此设置的中心线到拍摄图像的该端的距离L，然后在由此扩大的区域中从相对于中心线与拍摄图像的该端相对的端将由垂直于中心线的（M-L）个像素和平行于中心线的2M个像素构成的部分区域移动至关于中心线线对称的位置，从而对判定对象区域中的图像进行插值。
图8示出用于说明图像插值部24进行的处理的流的示图。图8(A)是判定对象区域设置部20所设置的判定对象区域的示例，如图8(A)中所示，判定对象区域包括拍摄图像的一端。在这种情形下，如图8(B)中所示，图像插值部24扩大判定对象区域以具有2M×2M的大小，然后将判定对象区域中的二值化图像的与拍摄图像的该端平行且最长的线段的位置设置为中心线。然后，图像插值部24得到（参见图8(C)）中心线和拍摄图像的该端之间的长度L，然后在由此在扩大的判定对象区域中从相对于中心线与拍摄图像的该端相对的端将由垂直于中心线的（M-L）个像素和平行于中 心线的2M个像素构成的部分区域移动至关于中心线线对称的位置，并且将该部分区域结合到该位置，这在图8(D)中示出。应该注意，要被结合的部分区域可以关于中心线反转。
特征量计算部26计算针对判定对象区域设置部20所设置的判定对象区域中的图像（该图像优选地被归一化部归一化，但是也可以采用没有被执行归一化处理的图像）的图像特征量。例如，HOG特征量可以用于图像特征量。
图9示出用于说明特征量计算部26计算出的HOG特征量的示图。如图9(A)中所示，通过以下步骤计算HOG特征量：将判定对象区域划分成预定数量（例如，4×4）个部分区域，计算各部分区域中的各像素中的亮度梯度方向，计算针对各部分区域的由此计算出的亮度梯度方向的直方图，并且将各个部分区域的直方图彼此连接。如图9(B)中所示，亮度梯度方向可以是例如8个方向（上、右上、右下、右、下、左下、左、左上）。
学习数据取得部28得到目标细胞的正例和负例的试样图像，然后得到针对由此得到的正例和负例的试样图像中的每个的图像特征量。例如，可以用特征量计算部26针对试样图像计算HOG特征量，并且学习数据取得部28可以得到结果。
学习部30基于学习数据取得部28所得到的正例和负例中的每个的图像特征量，学习用于将目标细胞与其它细胞区分的图像特征量的条件（标准）。应该注意，可以使用诸如支持向量机（Support Vector Machine）或AdaBoost的学习算法执行学习。例如，在使用支持向量机进行学习的情况下，由用于将与目标细胞一致的图像特征量和不与目标细胞一致的图像特征量彼此分离的超平面表示要学习的图像特征量的条件。
判定部32基于特征量计算部26针对判定对象区域设置部20所设置的判定对象区域中的图像计算出的图像特征量是否满足用于将学习部30所学习的目标细胞与其它细胞区分开的图像特征量的条件，判定上述判定对象区域中的图像是否表示目标细胞。
目标细胞区域存储部34存储与被判定部32判定为包括目标细胞的判定对象区域对应的拍摄图像中的坐标范围。应该注意，还可以设置为目标细胞区域存储部34存储其中被判定为包括目标细胞的多个判定对象区域彼此重叠的部分作为目标细胞的存在区域。
结果输出部36基于存储在目标细胞区域存储部34中的拍摄图像的坐标范围，输出结果。例如，结果输出部36可以执行以下处理：使显示装置6显示用于显示目标细胞区域存储部34中存储的拍摄图像的坐标范围的图像，或者将光学显微镜2的成像位置移至坐标范围。
然后，将参照图10、图11A、图11B和图12中示出的流程图说明在图像处理装置10中执行的处理的流的示例。
图10示出基于目标细胞的正例和负例执行的图像特征量的学习处理的流程图。
图像处理装置10得到（S101）目标细胞的正例图像，然后从由此得到的正例图像计算图像特征量（HOG特征量），从而生成（S102）正例的学习数据。
然后，图像处理装置10得到（S103）目标细胞的负例图像，然后从由此得到的负例图像计算图像特征量（HOG特征量），从而生成（S104）负例的学习数据。
图像处理装置10基于正例的学习数据和负例的学习数据学习（S105）用于识别目标细胞的图像特征量的识别器的状态（模型参数），然后存储（S106）由此学习的模型参数，然后终止学习处理。
然后，将参照图11A、图11B中示出的流程图说明在用光学显微镜2拍摄的试样（母胎血）的拍摄图像中搜索目标细胞的处理。
如图11A中所示，图像处理装置10得到（S201）通过用光学显微镜2将母胎血成像而得到的拍摄图像，然后对由此得到的拍摄图像执行（S202）诸如中值滤波的预处理。另外，图像处理装置10针对已经被执行预处理的拍摄图像生成（S203）二值化图像，在二值化图像中，均具有预定范围内的颜色（例如，RGB值）的像素被设置为1（黑色像素）而其它像素被设置为0（白色像素）。这里，二值化图像中的黑色像素表示核的候选区域。
图像处理装置10连接二值化图像中的黑色像素之中彼此相邻的像素，从而生成连接像素组，然后执行（S204）连接像素组的标记。
图像处理装置10选择（S205，这里选择的连接像素组用Li表示，并且i的初始值是1）由此标记的连接像素组中的一个，然后判定（S206）针对Li设置的外切矩形的大小和形状是否满足目标细胞候选应该满足的条件。在步骤S206中判定满足了条件的情况下（S206：是），Li被设置（S207）为目标细胞的搜索对象区域。在步骤S206中判定没有满足条件的情况下（S206：否），Li不被设置（S208）为目标细胞的 搜索对象区域。在残留任何未选择的连接像素组的情况下（S209：是），图像处理装置10将i加1（S210），然后返回到S206。在不残留未选择的连接像素组的情况下（S209：否），图像处理装置10前进至S211。
如图11B中所示，图像处理装置10选择（S211，这里选择的搜索对象区域用Aj表示，并且j的初始值是1）如上所述设置的搜索对象区域（A1至Am）中的一个，并且进一步选择（S212）Aj的外切矩形中的像素中未选择的一个像素。然后，图像处理装置10向拍摄图像设置（S213）以如上所述选择的像素为中心并具有预定大小的矩形区域（判定对象区域：大小S，S的初始值等于Smin），然后归一化（S214）由此设置的判定对象区域的图像的方向，在从判定对象区域的中心到拍摄图像的端的距离比阈值短的情况（即，在拍摄图像的端处切割判定对象区域的情况）下进一步执行（S215）图像插值处理。稍后将描述图像插值处理的流的细节。
在上述处理之后，图像处理装置10计算（S216）如上所述设置的判定对象区域中包括的图像的图像特征量，基于由此计算出的图像特征量和预先学习的用于识别目标细胞的图像特征量的识别器的模型参数，判定（S217）判定对象区域中是否包括目标细胞，并且在判定包括目标细胞的情况下（S217：是），存储（S218）与判定对象区域对应的拍摄图像的坐标范围。在S218之后，或者在S217中判定不包括目标细胞的情况下（S217：否），在Aj的外切矩形内的像素中残留任何未处理的像素的情况下（S219：是），图像处理装置10返回到S212，或者在不残留未处理的像素的情况下（S219：否），图像处理装置10判定（S220）判定对象区域的大小S是否已达到Smax（>Smin）。这里，在判定对象区域的大小S还没有达到Smax的情况下（S220：否），图像处理装置10将S增加（S221）ΔS，然后返回到S213，或者在判定对象区域的大小S已达到Smax的情况下（S220：是），前进至S222。
在并非所有搜索对象区域都经过处理的情况下（S222：否），图像处理装置10将Aj的j加1（S223），然后返回到S212。在所有搜索对象区域都经过处理的情况下（S222：是），图像处理装置10显示（S224）已判定为包括目标细胞的拍摄图像的坐标范围，然后终止处理。
然后，将参照图12中示出的流程图说明S215中示出的图像插值处理的流。
在从判定对象区域的中心到拍摄图像一端的距离（d）比阈值（M）短的情况下（S301：否），图像处理装置10基于拍摄图像的该端扩大（S302）区域使得各边的长 度变成M×M个像素，然后将由此扩大的区域中包括的二值化图像中与拍摄图像的该端平行的线段的最长部分设置（S303）成中心线。
图像处理装置10得到（S304）从由此设置的中心线到拍摄图像的该端的距离L，然后在由此扩大的区域中从相对于中心线与拍摄图像的该端相对的端将由垂直于中心线的（M-L）个像素和平行于中心线的2M个像素构成的部分区域移动至关于中心线线对称的位置，从而对判定对象区域中的图像进行插值（S305）。在S305之后，或者在从判定对象区域的中心到拍摄图像的该端的距离（d）等于或长于阈值的情况下（S301：是），图像处理装置10返回。
根据与上文说明的本实施方式相关的图像处理系统1，由于设置为用颜色或浓度对母胎血中包括的NRBC（目标细胞）的候选执行第一精选、然后基于用NRBC的大小和形状对通过第一精选得到的候选进一步执行的第二精选的结果设置判定对象区域、然后通过将从判定对象区域得到的图像特征量与基于NRBC的正例和负例进行学习而得到的标准彼此比较来判定判定对象区域中是否包括NRBC，因此相比于对细胞的每个候选执行模式匹配的情况，变得难以受母胎血的样本之间的差异和成像条件等差异的影响，同时减轻了用于检测母胎血中包括的NRBC的处理的负担。
本发明不限于上述实施方式。例如，尽管在上述实施方式中描述了其中从光学显微镜2顺序输入试样的拍摄图像的图像处理系统1的示例，但还可以设置为图像处理装置10经由通信网络从信息处理装置接收在拍摄图像中搜索目标细胞的请求，然后将搜索结果返回到信息处理装置。
权利要求书(按照条约第19条的修改)
1.一种图像处理装置，其特征在于，所述图像处理装置包括：
取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和
判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
2.根据权利要求1所述的图像处理装置，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
3.根据权利要求1和2中的一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。
4.根据权利要求1至3中的任一项所述的图像处理装置，其特征在于，
所述图像特征量是HOG特征量。
5.根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
图像特征量取得单元，其适于旋转所述矩形区域中包括的所述拍摄图像、使得连接所述设置单元所设置的所述矩形区域的中心和所述矩形区域中包括的所述连接像素组的质心位置的向量指向预定方向，然后从经旋转的所述拍摄图像得到所述图像特征量，
并且其特征在于，所述判定单元基于所述图像特征量取得单元所得到的所述图像特征量是否满足所述图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
6.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：
插值单元，其适于在所述设置单元所设置的所述矩形区域中包括所述拍摄图像的一端的情况下，通过将从在所述矩形区域中包括的所述连接像素组中设置的中心线起比关于所述中心线与所述端对称的区域位于更靠外侧的图像结合到所述矩形区域中包括的图像中的所述端侧，来执行插值。
7.根据权利要求1至6中的任一项所述的图像处理装置，其特征在于，
在显示装置上显示与被所述判定单元判定为包括所述目标细胞的所述矩形区域对应的所述拍摄图像的坐标区域。
8.一种图像处理方法，其特征在于，所述图像处理方法包括：
取得步骤，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取步骤，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取步骤，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取步骤所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置步骤，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取步骤所提取的连接像素组中包括的像素为中心的矩形区域；和
判定步骤，其适于基于从所述设置步骤所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
9.根据权利要求8所述的图像处理方法，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
10.根据权利要求8和9中的一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
计算步骤，其适于通过将所述设置步骤所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。
11.根据权利要求8至10中的任一项所述的图像处理方法，其特征在于，
所述图像特征量是HOG特征量。
12.一种图像处理系统，其特征在于，所述图像处理系统包括：
图像处理装置、用于与所述图像处理装置连接的光学显微镜和用于与所述图像处理装置连接的显示装置，其特征在于，
所述图像处理装置包括：
取得单元，其适于得到通过将包括具有核的目标细胞的试样成像而得到的拍摄图像；
第一提取单元，其适于基于针对将成为核候选的像素需要具有的颜色和亮度中的至少一个预先确定的第一条件，从所述拍摄图像中包括的像素中提取将成为所述核候选的像素；
第二提取单元，其适于基于针对将成为目标细胞候选的连接像素组需要具有的大小和形状预先确定的第二条件，从均通过连接所述第一提取单元所提取的像素中的相邻像素而得到的连接像素组中提取将成为所述目标细胞候选的连接像素组；
设置单元，其适于向所述拍摄图像设置具有预定大小并且以所述第二提取单元所提取的连接像素组中包括的像素为中心的矩形区域；和
判定单元，其适于基于从所述设置单元所设置的所述矩形区域得到的图像特征量是否满足图像特征量的条件，判定所述矩形区域中是否包括所述目标细胞。
13.根据权利要求12所述的图像处理系统，其特征在于，
基于所述目标细胞的正例和负例的试样图像，机器学习所述图像特征量的条件。
14.根据权利要求12和13中的一项所述的图像处理系统，其特征在于，所述图像处理系统还包括：
计算单元，其适于通过将所述设置单元所设置的所述矩形区域划分成预定部分区域、计算各部分区域中的各像素中的亮度梯度方向、计算针对各部分区域计算出的亮度梯度方向的直方图、并且连接各个部分区域的直方图，来计算从所述矩形区域得到的图像特征量。
15.根据权利要求12至14中的任一项所述的图像处理系统，其特征在于，
所述图像特征量是HOG特征量。