白眼修正方法及实施该方法的装置 【技术领域】
本发明涉及一种更漂亮地修正图象数据中的白眼的白眼修正方法、白眼修正程序及实施该方法的图象处理装置。
背景技术
近几年来，随着数码相机的普及，以及将照相胶卷的摄影图象数字化的胶卷扫描器等的普及，将照片的图象数据数字化处理的业务日益增多。其结果，以前只能依靠专业处理的照片的修正，也能通过使用安装着被称作“微型印象室”的廉价的照片打印机后得到实现。
例如，以人物及动物等为被拍摄对象进行闪光灯摄影时，闪光灯光地一部分光线被眼球内的血管等反射后返回照相机侧，从而往往在摄影图象中产生所谓“红眼现象”，即瞳仁的中央成为红色乃至与实际根本不同的颜色。用数字图象处理技术解决这个红眼问题的方案已经有许多问世，例如在专利文献1中，公布了下述技术：根据指定的眼睛区域，将色调、色度、明亮度这些特征量为一定的内容作为红眼区域特定，将特定的红眼区域用最接近瞳仁颜色的黑色涂抹，或者降低用RGB表示的图象数据的象素值的R的值(降低明亮度)等方法进行处理。
[专利文献1]特开2002-247596号公报(段落号0041-0046、0071-0075)
可是，最近，对红眼修正以外的修正的要求与日俱增。特别是在脸部显示较大的证件照片等上，眼睛给人留下印象的影响程度较大，对将眼睛修正成更加美丽的白眼等，使它能产生良好印象的期待在增大。但是这种修正方法及实施这种方法的装置还没有问世。
【发明内容】
本发明就是鉴于上述课题而研制的，其目的在于提供抽出白眼部分的象素，将白眼部分修正成适宜的颜色的方法及实施该方法的装置。
为了达到这一目的，本发明涉及的白眼修正方法的特征结构由下述步骤构成：根据所定的检出条件，从分离出眼睛区域的图象数据中检出白眼象素候补的步骤；根据所定的认定条件，将该白眼象素候补认定为白眼象素的步骤；变更该认定的白眼象素的光亮度，进行白眼修正的步骤。
采用这种特征结构后，不是对根据所定的检出条件，对从分离出的图象数据中检出所有的象素进行修正，而是只对根据所定的认定条件认定的象素进行白眼修正，所以可以不会错误地修正眼睛周围的皮肤等，能够进行良好的白眼修正。
另外，在本发明涉及的白眼修正方法中，具有从所述图象数据中检出瞳仁的步骤；认定为所述白眼象素的步骤，可以将从与被检出的瞳仁邻接的区域检出的所述白眼象素候补，认定为所述白眼象素。
这样，检出瞳仁后，将根据所定的检出条件从与该瞳仁邻接的区域检出的象素，认定为白眼象素，所以白眼象素的认定准确度增大，不会错误地修正眼睛周围的皮肤等，能够进行良好的白眼修正。另外，还能救济虽然位于与该瞳仁邻接的区域但却因杂波等而超出所定的检出条件的象素，将其作为白眼象素认定。
另外，在上述特征结构中，进行所述白眼修正的步骤，最好在变更所述白眼象素的光亮度之前，变更所述白眼象素的色度，从而进行白眼修正。
采用这种特征结构后，由于在变更光亮度之前变更色度，所以例如可以将白眼部分的色调向接近无彩色的方向修正，在该无彩色的一侧变更光亮度，从而能够更加有效地通过变更光亮度进行白眼的黑白方向的修正。
进而，在上述特征结构中，进行所述白眼修正的步骤，最好变更所述白眼象素的色调，从而进行白眼修正。
采用这种特征结构后，由于能够将白眼修正成给人以美感的色调，所以能够更加有效地进行白眼修正。
另外，在本发明涉及的白眼修正方法中，进行所述白眼修正的步骤，可以用按照所定的目标象素值和各白眼象素的象素值的差分决定的比例，进行白眼修正。
采用这种特征结构后，由于能够维持各白眼象素的象素值的差异产生的所谓层次等地进行白眼修正，所以不会使人产生人为的印象，而是以自然的印象实施白眼修正。
另外，在本发明涉及的白眼修正方法中，检出所述白眼象素候补的步骤，可以根据按照所述图象数据的光亮度分布决定的检出条件，检出所述白眼象素候补。
采用这种特征结构后，由于能够用按照图象数据的光亮度分布决定的检出条件，检出白眼象素候补，所以与用统一的临界值检出白眼象素候补时相比，可以用更适合图象数据的条件检出白眼象素候补。例如，图象数据明亮时，光亮度分布也在侧分布，所以可以在比通常明亮的一侧设定检出条件——所定的明亮度。反之，暗淡时，则可以在比通常暗的一侧设定检出条件——所定的明亮度。这样，因为能够按照图象数据，变更白眼象素候补的检出条件，所以能够进行良好的白眼修正。
另外，还可以作为使计算机实施上述白眼修正方法的程序，该程序还可以是被媒体记录的内容。就是说，为了达到上述目的，本发明涉及的白眼修正程序的特征结构由下述功能构成：根据所定的检出条件，从分离出眼睛区域的图象数据中检出白眼象素候补的功能；根据所定的认定条件，将该白眼象素候补认定为白眼象素的功能；变更该认定的白眼象素的光亮度，进行白眼修正的功能。
另外，还可以用图象处理装置实施上述白眼修正方法。这种图象处理装置，具有：根据所定的检出条件，从分离出眼睛区域的图象数据中检出白眼象素候补的白眼象素候补检出部；根据所定的认定条件，将该白眼象素候补认定为白眼象素的白眼象素认定部；变更该认定的白眼象素的光亮度，进行白眼修正的白眼修正部。
这些程序及图象处理装置，当然也可以获得上述白眼修正方法中的作用效果。
【附图说明】
图1是采用本发明的白眼修正技术的照片打印装置的外形图。
图2是图1的照片打印装置的印刷台结构的示意图。
图3是讲述图1的照片打印装置的控制器内各部件的功能要素的功能方框图。
图4是表示图3的白眼修正处理单元的功能构成的功能方框图。
图5是表示用本发明涉及的白眼修正方法修正的对象图象的一个示例的图形。
图6是表示用本发明涉及的白眼修正方法修正的眼睛区域数据D的一个示例的图形。
图7是表示认定用本发明涉及的白眼修正方法修正的白眼象素的方法的一个示例的图形。
图8是表示决定检出用本发明涉及的白眼修正方法修正的白眼象素候补的光亮度的条件的方法的一个示例的图形。
图9是讲述采用本发明涉及的白眼修正方法通过变更光亮度进行修正的一个示例的图形。
图10是讲述采用本发明涉及的白眼修正方法通过变更色度进行修正的一个示例的图形。
图11是讲述采用本发明涉及的白眼修正方法通过变更色调进行修正的一个示例的图形。
图12是讲述采用本发明涉及的白眼修正方法通过变更象素值进行修正的一个示例的图形。
【具体实施方式】
下面，根据附图讲述本发明的实施方式。
图1是表示采用本发明的白眼修正方法的相片打印装置的外形图。该相片打印装置，由作为对感光纸P进行曝光处理和显影处理的相片打印机的印刷台1B，和对从显影后的底片2a及数码相机的存储卡2b等图象输入介质中取得的摄影图象进行处理，生成、传输在印刷台1B中使用的打印数据的操作台1A构成。
该相片打印装置，也被称作“数字微型印像室”，由图2可知：印刷台1B在拉出存放在2个感光纸盒11中的滚筒状的感光纸P后，用片式切断刀12将其切成打印尺寸，与此同时还用背后打印机部13，将颜色修正信息及每格图象的编号等打印处理信息打印在该被切断的感光纸P的背面，并且用打印曝光部14，对感光纸P的表面进行摄影图象曝光，将该曝光后的感光纸P送入具有多个显影处理槽的处理槽组件15中进行显影处理。在干燥之后，由装置上部的横向进给输送带16输送到分类器17的感光纸P即相片打印件P，在该分类器17的多个托盘上，以用户单位分开的状态存放(参阅图1)。
为了用与上述的对感光纸P进行的各种处理一致的输送速度输送感光纸P，敷设着感光纸输送机构18。感光纸输送机构18由包含对感光纸输送方向而言，配置在打印曝光部14的前后的夹取式感光纸输送组件18a在内的多个夹持输送滚轮对构成。
在打印曝光部14中，设置着对向副扫描方向输送的感光纸P，根据来自操作台1A的打印数据沿主扫描方向照射R(红)、G(绿)、B(蓝)3原色的激光光线的线曝光头。处理槽组件15包括：贮存成色显影处理液的成色显影槽15a、贮存漂白定影处理液的漂白定影槽15b和贮存稳定处理液的稳定槽15c。
在所述操作台1A的台状托架的上部位置，配置着从相片底片2a的一格摄影图象中取得摄影图象数据(以下简称“图象数据”)的胶片扫描器20。从数码相机等安装的作为摄影图象记录媒体2b使用的各种半导体存储器及CD-R等中取得图象数据的介质阅读器21，组装在作为该相片打印装置的控制器3而发挥作用的通用计算机中。该通用计算机进而还与显示各种信息的监视器23、作为在进行各种设定及调整之际使用的输入操作部而利用的操作输入器件——键盘24及鼠标25连接。
该相片打印装置的控制器3，以CPU为核心部件，用硬件或软件或它们两者构成旨在进行相片打印装置的各种动作的功能部。作为与本发明特别相关的功能部，可以列举如图3所示的那些器件。即：调出由胶片扫描器20及介质阅读器21读取的图象数据，为下面的处理而进行必要的预处理的图象输入部31；构成编制包含各种窗口及各种操作按钮等在内的图形操作画面及用户通过这种图形操作画面的用户操作输入(利用键盘24及鼠标25等)生成控制指令的图形用户接口(以下简称“GUI”)的GUI部33；根据GUI部33发送来的控制指令及直接由键盘24等输入的操作指令，为了生成所需的打印数据，对由图象输入部31传输给存储器30的摄影图象进行图象处理的打印管理部32；在颜色修正等的预先判断打印作业时，生成旨在使监视器23显示作为打印源图象及预想精修图象的模拟图象进而由GUI部33发送来的图形数据的摄象信号的摄象控制部35；根据图象处理结束后处理过的图象数据，生成适合于安装在印刷台1B上的打印曝光部14的打印数据的打印数据生成部36；按照顾客的需要，将原始的图象数据及图象处理结束后处理过的图象数据等转换成旨在写入CD-R的形式格式化的格式部37等。
图象输入部31，在摄影图象记录媒体是底片2a时，将预扫描方式和正式扫描方式的扫描数据分别发送给存储器30，进行符合各自目的的前处理。另外，摄影图象记录媒体是存储卡2b时，调出的摄影图象如果包含简略图象数据(低析象度数据)，就与旨在用监视器23一览显示等而使用的摄影图象的正式数据(高析象度数据)分别发送给存储器30。但假如不包含简略图象数据时，则根据正式数据制作缩小的图象，作为简略图象数据发送给存储器30。另外，该图象输入部31还与被称作“相片打印受理装置”的采用自助方式受理相片打印的装置连接，从该相片打印受理装置接收记录着打印尺寸及打印张数的打印定货数据、记录着摄影条件等的图象属性数据和图象数据后，将图象数据传输给存储器30；将打印定货数据及图象属性数据传输给打印管理部32。在通常的相片打印定货时，打印尺寸及打印张数的打印定货数据以及按照需要给予的被拍摄对象的信息、照相机种类等的属性数据，由操作人员通过键盘24的操作输入，给予打印管理部32。
打印管理部32包括：管理打印尺寸及打印张数等的打印定货处理组件60，对存储器30中展开的图象数据实施颜色修正及过滤(淡化及锐化等)之类的照片修描处理的图象处理组件70。
在上述的图象处理组件70中，包含采用本发明涉及的白眼修正方法的白眼修正处理单元90。该白眼修正处理单元90，如图4所示，由下列部件构成：白眼象素候补检出部91，白眼象素定认部92，白眼修正部93，白眼认定条件计算部94和直方图分析部95。白眼象素候补检出部91，是进行根据所定的检出条件，从分离出的眼睛区域的图象数据(以下称作“眼睛区域数据”)中检出白眼象素候补的步骤的处理部；白眼象素定认部92，是进行根据所定的认定条件，将该白眼象素候补认定为白眼象素的步骤的处理部；白眼修正部93，是用光亮度修正部93b变更该认定的白眼象素的光亮度，进行白眼修正的步骤的处理部。另外，白眼修正部93(进行白眼修正的步骤)，不仅具有变更上述光亮度的光亮度修正部93b，还如图4所示，具有在变更白眼象素的光亮度之前变更所述白眼象素的色度的色度修正部93a，和变更白眼象素的色调进行白眼修正的色调修正部93c。
白眼认定条件计算部94，是计算将白眼象素候补认定为白眼象素的条件的计算部。例如，白眼认定条件计算部94具有从眼睛区域数据中检出瞳仁的步骤，白眼象素定认部92(认定为白眼象素的步骤)，将根据所定的检出条件检出的白眼象素候补内与该检出的瞳仁邻接的区域存在的象素认定为白眼象素。直方图分析部95，分析图象数据的光亮度分布，根据分析结果，白眼象素候补检出部91(检出白眼象素候补的步骤)根据按照图象数据的光亮度分布决定的检出条件检出白眼象素候补。
接着，详细讲述上述各处理部(各步骤、各功能)中的处理。图5是表示用本发明涉及的白眼修正方法修正的对象图象的一个示例的图形。首先，由图象处理组件70，从存储器30中读出例如一格的整幅照片的图象数据A中相当于脸的部分的图象数据B，将图象数据B从图象数据A中分离出来。接着，通过使用脸检出算法等的图象处理，从脸的图象数据B中检出眼的部分C，得到分离出的眼睛的区域的眼睛区域数据D。另外，还可以在监视器23上显示这张脸的图象数据B，由操作人员通过操作键盘24及鼠标25，从而得到眼睛区域数据。这样得到的眼睛区域数据D，用白眼修正处理单元90处理。
此外，在本例中使用了图象的分离这种说法，但它并不意味着将该图象数据(例如眼睛区域数据D)全部拿到暂时存储部等的工作区。例如，该图象数据还可以是被存放到存储器30及其它存储部的状态，在分离的处理部中只有与该图象数据对应的地址数据，每逢图象处理时，从存储器30及其它存储部等中取出对应的象素后使用。
图6是表示用本发明涉及的白眼修正方法修正的眼睛区域数据D的一个示例的图形。如图6所示，眼睛区域数据D具有：白眼区域a(a1、a2)、瞳仁区域b、瞳孔区域c、皮肤区域d。根据所定的检出条件，从该眼睛区域数据D中，检出白眼象素候补。在这里，所谓所定的检出条件，例如，可以着眼于象素的光亮度，规定所定的明亮度以上的数据。毫无疑问，还可以包含色调及色度的条件，这些条件可以是指定所定的范围的数据。就是说，可以将光亮度、色度、色调在所定范围内的象素作为白眼象素候补，从眼睛区域数据D中检出。例如，设处理对象象素(以下称作“注目象素”)的R、G、B象素值分别为Rn、Gn、Bn后，如下所示，使用窗口比较仪，该检出条件可以成为：
R成分下限临界值≤Rn≤R成分上限临界值、且
G成分下限临界值≤Gn≤G成分上限临界值、且
B成分下限临界值≤Bn≤B成分上限临界值
此外，如果不使用上下两个临界值，而将上限临界值设定成最大值等，则该窗口比较仪还可以用于将所定的亮度以上的象素，作为白眼象素候补检出的情况。
这样，根据注目象素的象素值检出的白眼象素候补，未必局限于属于白眼区域a。在瞳孔区域c耀眼发白时，或皮肤区域d发白等时，应该属于这些区域的象素，就被作为白眼象素候补检出。因此，在白眼象素定认部92中，认定检出的白眼象素候补是否是属于白眼区域的象素。这例如可以根据检出的白眼象素候补的集合状况进行判断。因为在属于皮肤区域d的象素中，作为白眼象素候补检出的象素是零散的，而与白眼区域a相比，瞳孔区域c是狭窄的区域，所以如果将白眼象素候补以某种程度集聚存在作为条件，就能够只将属于白眼区域a的象素，作为白眼象素认定。
另外，还可以采用下述方法认定。在白眼认定条件计算部94中检出瞳仁区域b。在检出瞳仁区域b时，使用众所周知的检出方法。然后，求出图7所示的瞳仁区域b的边界b1、b2。同时还作为边界e求出眼睑的轮廓。再沿着图7的箭头直到边界e为止，将与该边界b1、b2邻接的象素认定为白眼象素。这时，对于虽然在白眼区域a中但却是杂波成分等未被作为白眼象素候补检出的象素，也可以作为白眼象素救济。此时，救济的象素的象素值，可以修正成检出白眼象素候补的临界值即检出的限界值。另外，从修正杂波成分的观点上说，还可以作为周围象素的象素值的平均值进行修正。此外，在检出瞳仁之际，还可以采用对于分离出的眼睛区域的图象数据D，实施轮廓强调处理，求出瞳仁、眼睑等的边界座标的方法。
以上讲述的为了检出白眼象素候补而使用的临界值，还可以预先确定。但也可以按照眼睛区域数据D的光亮度分布决定。由于摄影时周围的明亮度及脸的朝向等不同，眼睛区域数据D的明亮度也不同，有可能不能正确检出白眼象素候补。因此，用直方图分析部95分析眼睛区域数据D的光亮度分布，将根据分析结果决定的临界值信息向白眼象素候补检出部91传递，检出所定的明亮度以上的(所定范围内)的白眼象素候补。这种分析，采用图8所示的方法进行。图8是表示决定检出用本发明涉及的白眼修正方法修正的光亮度的条件的方法的一个示例的图形，图8(a)表示眼睛区域数据D整体明亮时的示例，图8(b)表示眼睛区域数据D整体暗淡时的示例。在这里，各象素的象素值，暗方向是0，亮方向是255(是8比特值FF)。然后，例如，最暗的象素值的集团是瞳仁区域b，中间的象素值的集团是皮肤区域d，最亮的象素值的集团是白眼区域a。为了良好地检出白眼象素候补，将临界值设定在皮肤区域d和白眼区域a之间是适当的。
此外，在本例中，在白眼修正处理单元90的内部，设置直方图分析部95，但并不限于此，也可以不在白眼修正的处理中，而在打印管理部32及图象处理组件70的内部分析光亮度分布，只将分布结果及由分布结果得到的临界值信息向白眼修正处理单元90传递。进而，这时分析光亮度分布的对象象素，可以不是高析象度数据——摄影图象的正式数据，而是低析象度数据的简缩数据。在分析光亮度分布之际，不需要详细的象素数据，通过使用简缩数据，可以缩短处理时间。毫无疑问，在白眼修正处理单元90的直方图分析部95中进行处理时，也与此相同。
这样检出、认定的白眼象素，用白眼修正部93进行修正。最简洁的方法是，用白眼修正部93变更该认定的白眼象素的光亮度，从而进行白眼修正。这时，只进行白眼修正部93的光亮度修正部93b的处理。所谓“通过变更光亮度进行修正”，是指下述过程，使用图9的讲述采用本发明涉及的白眼修正方法通过变更光亮度进行修正的一个示例的图形，进行讲述。如图9所示，将各象素的象素值，朝着相同的方向增减。图9的示例，是将光亮度向大(亮)的方向变更。将R、G、B所有的象素的象素值向大的方向变更后，光亮度就增大。通过这种变更(修正)，白眼象素的光亮度就上升、变亮，可以使白眼区域a更亮(白)。
为了更适当地进行白眼修正，还可以在光亮度修正部93b变更白眼象素的光亮度之前，用色度修正部93a变更白眼象素的色度，从而进行白眼修正。这样一来，例如，除了多余的色调外，还可以将色度向接近无色度的方向修正。然后，在无色度一侧变更光亮度，从而能够通过变更光亮度对白眼适当地进行黑白方向的修正。所谓“通过变更色度进行修正”，是指下述过程，使用图10的讲述采用本发明涉及的白眼修正方法通过变更色度进行修正的一个示例的图形，进行讲述。通过变更色度进行修正，如图10所示，使各象素的象素值接近它们的平均值。图10的Ave，是R、G、B的平均值。R、G、B的各象素的象素值是相同的值后，由这些象素表现的象素的颜色，按照光亮度，成为黑色或白色和它们之间的灰色。就是说，成为无彩色。在色度修正部93a中进行的色度变更，不是强制性地使其无彩色，而是如图10所示，使各自的象素接近平均值Ave，使色度相对性地下降，从而进行修正。
进而，还可以在色调修正部93c中变更白眼象素的色调进行白眼修正。为了将白眼修正得更像白眼，可以使其稍带蓝色。因此，在色调修正部93c中进行色调的修正。所谓“通过变更色调进行修正”，是指下述过程，使用图11的讲述采用本发明涉及的白眼修正方法通过变更色调进行修正的一个示例的图形，进行讲述。例如，为了使注目象素稍带蓝色，可以降低R的象素值，或者提高B的象素值。毫无疑问，也可以如图11所示，将进行两者同时。
在本例中，关于在白眼修正部93中进行的白眼修正，讲述了色度修正部93a、光亮度修正部93b、色调修正部93c的三种修正方法。这些修正方法未必需要全部进行，可以进行其中的一种或二种。三种方法全部进行，效果就更好。这时，如图4所示，按照色度修正部93a、光亮度修正部93b、色调修正部93c的顺序进行修正，更为合适。就是说，先在色度修正部93a中，向接近无彩色的方向修正，即去掉多余的色调，然后在光亮度修正部93b中变更象素值，增加白色，最后在色调修正部93c中，对去掉多余的色调后的象素稍微添加蓝色后，就能够恰到好处。先去掉多余的色调后，容易获得光亮度修正得到的提高白色程度的效果。再提高白色程度在之后，将色调修正成稍带蓝色，所以容易得到所谓添色的效果。
下面，使用图12的讲述采用本发明涉及的白眼修正方法变更象素值的方法的一个示例的图形，讲述以上讲过的各种修正时的变更象素值的方法。白眼修正(进行白眼修正的步骤)，按照所定的目标象素值和各白眼象素的象素值的差决定的比例进行。就是说，试举一例，如图12所示，对白眼象素值与目标象素值之间的差，按照预先决定的比例，接近目标象素值。这样，不会因过度修正后给人不自然的感觉。另外，还能够保持原来的图象的层次等，进行修正。对该差的比例，可以通过各修正处理分别确定。例如，可以使在色度修正部93a中的修正为10％、在光亮度修正部93b中的修正为20％、在色调修正部93c中的修正为10％等。
关于该修正的比例，还可以不必固定地采用，而是按照图象数据(一格的摄影图象)单独设定。这既可以由操作人员用用户操作单元(键盘24及鼠标25等)输入，也可以和白眼修正的处理不同，在打印管理部32及图象处理组件70的内部进行运算后求出。毫无疑问，还可以在图4所示的表示单元的功能结构的功能方框图中设置修正比例计算部。在该修正比例计算部、打印管理部32及图象处理组件70的内部进行运算时，还可以不是使用高析象度数据——摄影图象的正式数据，而是使用低析象度数据的简缩数据。在计算修正比例之际，不需要详细的象素数据，通过使用简缩数据，可以缩短处理时间。
此外，在本例中，作为表现图象数据的颜色空间，使用RGB进行了讲述。但并不局限于此，使用CMYK或L*a*b*及XYZ等其它颜色空间，也同样能进行白眼修正。
对所有的白眼象素进行以上的白眼修正后，将修正的白眼象素反写入存储器30，与原来的图象数据合成。这例如也可以是置换存放在存储器30内及其它存储部的相应的象素处理。然后，以适当的程度实施白眼修正处理的图象数据，在实施必要的图象处理后，变换成打印数据，传输给打印曝光部14。打印曝光部14根据打印数据，对最终成为照片打印件的感光纸P进行曝光处理。
在上述实施实施方式中，印刷台1B采用了所谓银盐照片打印方式，即：对感光纸P，用具有曝光机的打印曝光部14进行摄影图象的曝光，对该曝光后的感光纸P进行多个显影处理。但是，毫无疑问，本发明的印刷台1B，并不限于这种方式。例如：可以采用向胶片及纸上喷出墨水形成图象的喷墨打印方式及使用感热复制片的热复制方式等各种照片打印方式。
本发明可以作为装入需要从摄影图象数据中检出白眼象素后进行白眼修正的图象处理装置的技术，得到广泛利用。例如，可以应用于数码相机、数码录象机、带照相功能的手机、打印机及它们的驱动软件、公用软件等。