化妆辅助装置、化妆辅助方法以及化妆辅助程序.pdf

化妆辅助装置(100)具有：图像取得单元(220)，其取得作为拍摄了面部的图像的面部图像；阈值决定单元(240)，其根据面部图像中的作为包含眉头以及眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值；眉区域提取单元(250)，其使用阈值，从面部图像中提取眉的区域；除眉单元(260)，其进行除眉处理，所述除眉处理是优先使用眉的区域的周边区域的颜色中的眉头侧的颜色针对面部图像来涂满眉的区域的处理；以及显示单元(300)，其对进行了除眉处理之后的面部图像进行显示。

权利要求书
1.  一种化妆辅助装置，具有：
图像取得单元，其取得作为拍摄了面部的图像的面部图像；
阈值决定单元，其根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值；
眉区域提取单元，其使用所述阈值，从所述面部图像中提取眉的区域；
除眉单元，其进行除眉处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色，对所述面部图像来涂满所述眉的区域的处理；以及
显示单元，其对进行了所述除眉处理之后的所述面部图像进行显示。

2.  根据权利要求1所述的化妆辅助装置，
还具有化妆提示单元，所述化妆提示单元生成在进行了所述除眉处理之后的所述面部图像上重叠表示对所述面部适用了眉的化妆时的所述眉的化妆的状态的图像而得到的模拟图像，
所述显示单元显示所述模拟图像。

3.  根据权利要求1所述的化妆辅助装置，
所述部分图像是以所述眉头的位置为基准的预定的大小以及形状的区域的图像。

4.  根据权利要求1所述的化妆辅助装置，
所述除眉处理是针对从所述面部图像中删除了所述眉的区域的图像而得到的图像按从所述眉头侧向所述眉尾侧的方向依次对颜色进行插值的处理。

5.  根据权利要求1所述的化妆辅助装置，
所述除眉处理包括：第1处理，针对从所述面部图像中删除了所述眉的区域的图像而得到的图像，按从所述眉的上侧向所述眉的下侧的方向，依次对颜色进行插值；第2处理，针对所述图像，按从所述眉的下侧向所述眉的上侧的方向，依次对颜色进行插值；和第3处理，将通过所述第1 处理得到的第1图像与通过所述第2处理得到的第2图像进行合成，
所述第3处理以与相对于所述眉的区域的位置相应的合成比，将所述第1图像与所述第2图像进行合成。

6.  根据权利要求1所述的化妆辅助装置，
还具有从所述面部图像中提取眉的特征点以及眼的特征点的面部器官取得单元，
所述眉区域提取单元在所述面部图像的区域中，从含眉区域中排除了含眼区域之外的眉附近区域，提取所述眉的区域，所述含眉区域是以所述眉的特征点的位置为基准的小区域的集合，所述含眼区域是以所述眼的特征点的位置为基准的小区域的集合。

7.  根据权利要求5所述的化妆辅助装置，
所述除眉单元针对所述面部图像中的包含所述眉的区域的矩形区域的图像整体进行所述除眉处理，将进行了所述除眉处理之后的所述矩形区域的图像中的所述眉的区域的图像贴附于所述面部图像的对应的区域。

8.  根据权利要求1所述的化妆辅助装置，
所述眉区域提取单元将使由所述阈值规定的眉的区域扩展后的区域提取为所述眉的区域。

9.  根据权利要求1所述的化妆辅助装置，
还具有拍摄所述面部的影像的拍摄单元，
所述图像取得单元取得构成所述影像的图像，
所述显示单元随着所述影像依次显示所述模拟图像。

10.  一种化妆辅助方法，包括：
取得作为拍摄了面部的图像的面部图像的步骤；
根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的步骤；
使用所述阈值，从所述面部图像中提取眉的区域的步骤；
进行除眉处理的步骤，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色针对所述面部图像来涂满所述眉的区域 的处理；以及
对进行了所述除眉处理之后的所述面部图像进行显示的步骤。

11.  一种化妆辅助程序，使计算机执行：
取得作为拍摄了面部的图像的面部图像的处理；
根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的处理；
使用所述阈值，从所述面部图像中提取眉的区域的处理；
进行除眉处理的处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色针对所述面部图像来涂满所述眉的区域的处理；以及
对进行了所述除眉处理之后的所述面部图像进行显示的处理。

说明书化妆辅助装置、化妆辅助方法以及化妆辅助程序
技术领域
本公开涉及辅助面部化妆的化妆辅助装置、化妆辅助方法以及化妆辅助程序。
背景技术
近年来，面部化妆的方法(以下，简称为“化妆”)越来越多样化。从无数个选择项中选择适当的化妆，特别是对于没有足够化妆知识的人而言是很困难的。这是因为实际尝试所有的化妆来进行判断和比较需要花费大量时间和工夫。
因此，例如在专利文献1以及专利文献2中记载了生成适用了化妆时的面部的模拟图像并进行提示的技术。在专利文献1以及专利文献2所记载的技术中，取得对成为化妆对象的面部(以下，简称为“面部”)进行了拍摄而得到的图像(以下，称为“面部图像”)。而且，在专利文献1以及专利文献2所记载的技术中，在面部图像上重叠表示对面部适用了化妆时的状态的图像，生成模拟图像并进行显示。
根据上述技术，不实际进行化妆而能够判断化妆的优劣。即，能够以较少的时间和工夫来选择适当的化妆。
然而，在实际的化妆中，通常是在进行了眉毛的处理之后再描眉。在生成这种化妆的模拟图像的情况下，优选准备无眉状态的面部图像。
因此，例如在专利文献3以及专利文献4中记载了从面部图像中除去眉的技术。在专利文献3所记载的技术中，受理用户对面部图像中的眉的区域的指定，对包含眉区域的稍大的区域涂抹与面部图像中的头的区域相同的颜色。在专利文献4所记载的技术中，在面部图像中寻找眉的轮廓， 以眉的轮廓周围的颜色涂满包含被眉的轮廓包围的区域的稍大的区域。
根据这些技术，不实际处理眉毛而能够获得无眉的面部图像。
现有技术文献
专利文献
专利文献1：日本特开2001-346627号公报
专利文献2：日本特开2007-175384号公报
专利文献3：日本特开2007-257165号公报
专利文献4：国际公开第2009/022631号
专利文献5：日本特开2003-44837号公报
非专利文献
非专利文献1：大津展之，“基于判别和最小二乘准则的自动阈值选定法(判別および最小2乗規準に基づく自動しきい値選定法)”，电子信息通信学会论文志D(電子情報通信学会論文誌D)，Vol.J63-D，No.4，pp.349-356，1989年4月
发明内容
然而，在专利文献3以及专利文献4所记载的以往技术中，有可能会生成与实际进行了眉毛处理的情况下的面部图像有很大不同的、不自然的面部图像。
理由如下。眉附近的肤色很多情况下都不同于头区域的肤色。因此，在专利文献3所记载的技术中，有可能仅眉的区域的颜色与周围不同。另外，在眉的附近特别是在眉尾一侧很多情况下都落有头发。因此，在专利文献4所记载的技术中，眉的区域的颜色有可能会被混有头发颜色的肤色涂满。而且，无论在何种技术中，由于错误的区域被决定或检测为眉的区域，都有可能导致眉的颜色局部残留、或者眼睛区域被涂满。
在进行了除去眉的处理之后的面部图像(以下称为“除去了眉的图像”)不自然的情况下，模拟图像也会变得不自然，用户难以准确地判断化妆的 优劣。因此，希望获得与实际进行了眉毛处理的状态尽可能接近的图像。
本公开的目的在于提供一种能够获得与实际进行了眉毛处理的状态更接近的图像的化妆辅助装置、化妆辅助方法以及化妆辅助程序。
本公开的一个技术方案的化妆辅助装置具有：图像取得单元，其取得作为拍摄了面部的图像的面部图像；阈值决定单元，其根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值；眉区域提取单元，其使用所述阈值，从所述面部图像中提取眉的区域；除眉单元，其进行除眉处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色，对所述面部图像来涂满所述眉的区域的处理；以及显示单元，其对进行了所述除眉处理之后的所述面部图像进行显示。
本公开的一个技术方案的化妆辅助方法，包括：取得作为拍摄了面部的图像的面部图像的步骤；根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的步骤；使用所述阈值，从所述面部图像中提取眉的区域的步骤；进行除眉处理的步骤，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色，对所述面部图像来涂满所述眉的区域的处理；以及对进行了所述除眉处理之后的所述面部图像进行显示的步骤。
本公开的一个技术方案的化妆辅助程序，使计算机执行：取得作为拍摄了面部的图像的面部图像的处理；根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的处理；使用所述阈值，从所述面部图像中提取眉的区域的处理；进行除眉处理的处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色，对所述面部图像来涂满所述眉的区域的处理；以及对进行了所述除眉处理之后的所述面部图像进行显示的处理。
根据本公开，能够获得与实际进行了眉毛处理的情况下的面部图像更接近的图像。
此外，包括性或具体的技术方案可以通过系统、集成电路、计算机程 序或计算机可读取的CD-ROM等的记录介质来实现。另外，包括性或具体的技术方案也可以通过系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。
附图说明
图1是表示本公开的实施方式1的化妆辅助装置的构成的一例的框图。
图2是表示本公开的实施方式2的化妆辅助装置的构成的一例的框图。
图3是表示实施方式2中的部分图像的提取方法的第1例的图。
图4是表示实施方式2中的部分图像的提取方法的第2例的图。
图5是表示实施方式2中的二值化图像的一例的图。
图6是表示实施方式2中的含眉区域的一例的图。
图7是表示实施方式2中的含眼区域的一例的图。
图8是表示实施方式2中的提取眉的区域的方法的一例的图。
图9是表示实施方式2中的插值框的一例的图。
图10是表示实施方式2中的眉掩模的一例的图。
图11是表示实施方式2中的插值框的移动模式的图。
图12是表示实施方式2中的眉的区域的插值所使用的α值的一例的图。
图13是表示实施方式2中的化妆表的内容的一例的图。
图14是表示实施方式2中的化妆信息表的内容的一例的图。
图15是表示实施方式2的化妆辅助装置的动作的一例的流程图。
图16是表示在实施方式2中取得的拍摄图像的一例的图。
图17是表示在实施方式2中生成的面部器官信息的一例的图。
图18是表示在实施方式2中生成的除眉面部图像的一例的图。
图19是表示在实施方式2中生成的模拟图像的一例的图。
具体实施方式
以下，参照附图对本公开的各实施方式进行详细说明。
(实施方式1)
本公开的实施方式1是本公开的基本技术方案的一例。
图1是表示本实施方式的化妆辅助装置的构成的一例的框图。
在图1中，化妆辅助装置100具有图像取得单元220、阈值决定单元240、眉区域提取单元250、除眉单元260以及显示单元300。
图像取得单元220取得作为拍摄了面部的图像的面部图像。所拍摄的面部例如是成为进行化妆的对象的面部。
阈值决定单元240根据由图像取得单元220取得的面部图像中的、作为包含眉头及其周边且不包含眉尾的区域的图像的部分图像，决定用于对眉的区域进行判定的像素值的阈值。
眉区域提取单元250使用由阈值决定单元240决定的阈值，从由图像取得单元220取得的面部图像中提取眉的区域。
除眉单元260进行除眉处理，该除眉处理是优先使用由眉区域提取单元250提取的眉的区域的周边区域的颜色中的眉头侧的颜色，针对面部图像来涂满眉的区域的处理。
显示单元300对由除眉单元260进行了除眉处理之后的面部图像进行显示。
虽然未图示，但化妆辅助装置100例如具有CPU(Central Processing Unit：中央处理单元)、存储有控制程序的ROM(Read Only Memory：只读存储器)等存储介质、以及RAM(Random Access Memory：随机存取存储器)等作业用存储器。该情况下，上述的各单元的功能通过CPU执行控制程序来实现。
这种化妆辅助装置100能够基于作为更接近眉且不落有头发的可能性更高的区域的眉头侧的区域的图像信息，进行眉的区域的提取以及涂满。因此，化妆辅助装置100能够更高精度地提取眉的区域，并且能够用更适当的颜色涂满所述眉的区域。由此，化妆辅助装置100能够获得与实际进行了眉毛处理的情况下的面部图像更接近的除去了眉的图像。
(实施方式2)
本公开的实施方式2是本公开的具体技术方案的一例。本实施方式是将本公开应用于具备数码摄像机以及带触摸面板显示器的装置的例子。
<用语的说明>
首先，对在本实施方式中使用的用语进行说明。
“面部器官”是指眼、眉、鼻、颊骨、唇、轮廓等构成面部的部分。
“面部器官ID”是指面部器官的识别信息。
“面部器官的区域”是指在图像上或者实际空间上面部器官所在的区域，包含眉头、眉尾、大眼角以及眼梢等面部器官的特征点的位置。
“化妆”表示眉妆、眼影等对面部器官的特征性印象进行修正来实现审美性提高的化妆的方法(种类)，至少包括色素的颜色、涂抹浓度以及涂抹范围。
“化妆信息”是表示化妆内容的信息，至少包括为了从面部图像生成对面部实施了化妆时的图像所需要的信息(表示与面部颜色的差的信息)。
“化妆类别”是指“粉底”、“眉妆”、“眼影”、“口红”以及“颊妆”等至少通过与面部器官的位置关系而区别的化妆的种类。
“化妆ID”是指化妆的识别信息。
“化妆图像”是表示对面部适用了化妆时的化妆的状态的图像。
<化妆辅助装置的构成>
接着，对本实施方式的化妆辅助装置的构成进行说明。
图2是表示本实施方式的化妆辅助装置的构成的一例的框图。
在图2中，化妆辅助装置100具有拍摄单元210、图像取得单元220、面部器官取得单元230、阈值决定单元240、眉区域提取单元250、除眉单元260、化妆信息存储单元270、化妆选择单元280、化妆提示单元290以及显示单元300。
拍摄单元210例如是数码摄像机，拍摄成为化妆模拟的对象的面部的影像。并且，拍摄单元210将所拍摄的影像输出给图像取得单元220。影像由时间序列的多个图像(帧图像)构成。此外，在本实施方式中，成为化妆模拟的对象的面部为化妆辅助装置100的用户的面部。
图像取得单元220从所输入的影像中依次取得构成影像的图像。并且，图像取得单元220将所取得的图像(以下称为“拍摄图像”)输出给面部器官取得单元230。此外，图像取得单元220为了给用户提供一种一边照镜子一边进行化妆的感觉，优选对拍摄图像进行使其左右反转的图像处理。另外，拍摄图像包括成为化妆模拟的对象的面部的图像的部分(以下称为“面部图像”)。
面部器官取得单元230从所输入的图像中取得面部的面部器官的区域。面部器官的区域的取得例如通过图像的各部分区域与预先准备的各面部器官的模板的匹配来进行(例如，参照专利文献5)。此外，对于该面部器官的区域的取得，包括将眉的特征点以及眼的特征点包含在内的各面部器官的特征点(以下称为“面部特征点”)的提取。并且，面部器官取得单元230将面部器官信息与拍摄图像一起输出给阈值决定单元240。在此，面部器官信息是指表示所取得的面部器官的识别信息以及区域(包含面部特征点的识别信息以及位置)的信息。
阈值决定单元240从面部图像中提取阈值决定用的图像。阈值决定用的图像是用于决定后述的二值化阈值的区域。在本实施方式中，阈值决定用的图像是面部图像中的包含眉头及其周边且不包含眉尾的区域的图像，且是以眉头的位置为基准的预定的大小以及形状的区域的图像。
并且，阈值决定单元240在所提取的阈值决定用的图像中仅包含皮肤区域和眉的区域的前提下，根据所述图像来决定二值化阈值。在此，二值化阈值是指用于判定眉的区域的像素值的阈值。并且，阈值决定单元240将所决定的二值化阈值与拍摄图像以及面部器官信息一起输出给眉区域提取单元250。阈值决定用的图像的提取方法以及二值化阈值的决定方法的详细内容稍后叙述。
眉区域提取单元250使用面部器官信息来推定拍摄图像中的中间区域。在此，中间区域是指眉所在的大概区域。另外，眉区域提取单元250使用二值化阈值对拍摄图像进行二值化。并且，眉区域提取单元250基于所推定出的中间区域所包含的二值图像的边缘，推定拍摄图像中的眉的区 域。以下，所推定出的眉的区域(即，由二值化阈值规定的眉的区域)称为“二值眉区域”。
进而，眉区域提取单元250将使二值眉区域扩展后的区域提取为最终的眉的区域。作为最终的眉的区域而提取的区域以下简称为“眉的区域”。并且，眉区域提取单元250将表示眉的区域的信息(以下称为“眉区域信息”)与拍摄图像以及面部器官信息一起输出给除眉单元260。中间区域的推定方法以及眉的区域的提取方法的详细内容稍后叙述。
除眉单元260基于拍摄图像、面部器官信息以及眉区域信息，进行针对面部图像来涂满眉的区域的除眉处理。在本实施方式中，除眉处理是优先使用眉的区域的周边区域的颜色中的眉头侧的颜色针对面部图像来涂满眉的区域的处理。更具体而言，除眉处理例如是针对从面部图像中删除眉的区域的图像而得到的图像，按从眉头侧向眉尾侧的方向依次对颜色进行插值的处理。并且，除眉单元260将进行了除眉处理之后的拍摄图像(以下称为“除去了眉的图像)与面部器官信息一起输出给化妆提示单元290。除眉处理的详细内容稍后叙述。
化妆信息存储单元270存储有化妆表以及化妆信息表。化妆表对作为面部整体的化妆模式的多个化妆模式进行定义。化妆信息表按构成化妆模式的化妆类别而记述化妆信息。化妆信息是对化妆的内容与面部器官的区域(面部特征点的位置)进行关联而记述的信息。化妆表以及化妆信息表的详细内容稍后叙述。
化妆选择单元280受理用户从化妆信息表所记述的多个化妆模式中选择一个的选择操作。所述选择操作例如经由上述的带触摸面板显示器来进行。并且，化妆选择单元280将与所选择的化妆模式对应的化妆信息从化妆信息表中取得而输出给化妆提示单元290。
化妆提示单元290基于化妆信息来生成模拟图像。该模拟图像是在除去了眉的图像上重叠化妆图像而得到的图像。在成为模拟图像的生成的对象的化妆中，例如包括眉的化妆。并且，化妆提示单元290将所生成的模拟图像输出给显示单元300。模拟图像的生成方法的详细内容稍后叙述。
显示单元300例如包括上述的带触摸面板显示器的显示器部分。显示单元300基于所输入的模拟图像的图像数据，显示模拟图像。更具体而言，显示单元300随着所拍摄的影像，依次显示模拟图像。
此外，虽然未图示，但化妆辅助装置100例如具有CPU、存储有控制程序的ROM等存储介质、以及RAM等作业用存储器。该情况下，上述的各单元的功能通过CPU执行控制程序来实现。
这种化妆辅助装置100能够基于作为更接近眉且不落有头发的可能性更高的区域的眉头侧的区域的图像信息，进行眉的区域的提取以及涂满。
接着，依次对部分图像的提取方法、二值化阈值的决定方法、中间区域的推定方法、眉的区域的提取方法、除眉处理、化妆表的内容以及化妆信息表的内容进行详细说明。
<阈值决定用的图像的提取方法>
图3是表示阈值决定用的图像的提取方法的第1例的图。
如图3所示，设为从面部图像(仅图示一部分)411中提取了多个面部特征点412(图中，由圈中带十字的标记来表示)。面部特征点包括与左右的眉峰对应的面部特征点412L1、412R1以及与左右的眉头对应的面部特征点412L2、412R2。
如图3所示，阈值决定单元240设定例如以与左右的眉峰对应的面部特征点412L1、412R1为上侧的左右顶点并经过与左右的眉头对应的面部特征点412L2、412R2的矩形区域413。并且，阈值决定单元240将面部图像411中的与所设定的矩形区域413对应的区域的图像提取为用于决定二值化阈值的阈值决定用的图像。
图4是表示阈值决定用的图像的提取方法的第2例的图，是与图3对应的图。对与图3相同的部分标注相同的附图标记，省略对其的说明。
如图4所示，阈值决定单元240设定以与左眉头对应的面部特征点412L2为下侧顶点而经过与左眉峰对应的面部特征点412L1、并且以面部特征点412L2、412L1的左右方向的距离为一边长度的正方形区域413a。并且，阈值决定单元240将面部图像411中的与所设定的正方形区域413a对应的 区域的图像提取为阈值决定用的图像。
如此提取的阈值决定用的图像包含眼和/或刘海儿的可能性低，因此，具有仅包括皮肤区域和眉的区域的可能性高这一特征。另外，设定以眉头的位置为基准的预定的大小以及形状的区域很容易。因此，阈值决定单元240能够简单地将仅包括皮肤区域以及眉的区域的可能性高的区域设定为用于决定二值化阈值的区域。
此外，对于通过图3所示的方法提取的阈值决定用的图像而言，特别是在面部面向正面时，能够高精度地决定后述的二值化阈值。另外，对于通过图4所示的方法提取的阈值决定用的图像而言，特别是在面部面向侧面时，能够高精度地决定后述的二值化阈值。另外，在尽管面部面向正面但一边的眉被头发等盖住的情况下，通过针对另一边的眉适用图4所示的方法，能够高精度地决定后述的二值化阈值。
<二值化阈值的决定方法>
阈值决定单元240例如使用被称为大津的二值化的方法(也称为“大津的方法”或者“判别分析法”)，根据所提取的阈值决定用的图像，求出作为适于判定眉的区域的阈值的二值化阈值。大津的二值化是指对将某值的集合分为两类的情况下的适当的阈值进行决定的方法(例如，参照非专利文献1)。如此，通过不使用固定值而使用根据图像选定的适当的值作为二值化阈值，能够不取决于肤色或眉的颜色而高精度地提取眉。
当通过这种方法决定了二值化阈值时，在后面的眉区域提取单元250中，能得到眉与皮肤的边界成为边缘(edge)的二值化图像。
<中间区域的推定方法>
图5是表示二值化图像中的左眉周边的部分的一例的图。
如图5所示，二值化图像421包括通过二值化阈值而分类为眉的区域(图中，由黑色表示。以下称为“眉判定区域”)422和通过二值化阈值而不分类为眉的区域(图中，由白色表示。以下称为“非眉判定区域”)423。但是，二值化图像421中的眉判定区域422，实际上可能会包含眼区域等眉以外的区域。
因此，眉区域提取单元250基于含眉区域以及含眼区域，推定中间区域。在此，含眉区域是指根据眉的面部特征点的位置而推定的包含整个眉的区域。另外，含眼区域是指根据眼的面部特征点的位置而推定的包含整个眼的区域。
图6是表示含眉区域的一例的图。另外，图7是表示含眼区域的一例的图。
如图6所示，含眉区域431(由斜线阴影表示的区域)是以眉的面部特征点(参照图4)的位置为基准的小区域432的集合。另外，如图7所示，含眼区域441(由竖线阴影表示的区域)是以眼的面部特征点(参照图4)的位置为基准的小区域442的集合。
眉区域提取单元250将图5所示的二值化图像421中的、从图6所示的含眉区域431中除去图7所示的含眼区域441之外的区域设为中间区域。
此外，眉的小区域432的直径例如设为与眉峰对应的面部特征点和眉下侧的眉头侧的面部特征点的距离、或者眉上侧的两个面部特征点之间的距离等相邻的面部特征点间的距离中的最大值即可。但是，头发等接近而位于眉尾周围的可能性高。另外，与眉中的眉头以及眉尾接近的部分的宽度通常比其他部分的宽度窄。因此，优选仅使针对眉尾(以及眉头)的面部特征点的小区域432的直径较小(例如，设为二分之一的直径)。由此，能够使眉的小区域432不包含头发等眉以外的部分。
另外，眼的小区域442的直径例如设为与眼上侧的中心对应的面部特征点和与眼下侧的中心对应的面部特征点之间的距离即可。
通过将各小区域432、442设为如此大小，能够使中间区域更切实地包含眉区域并且更切实地不包含眼区域。
此外，各小区域432、442的中心点的位置可以未必与面部特征点一致，只要是根据与直径的关系而分别包含眉区域以及眼区域的位置即可。例如，眉的小区域432的中心点的位置也可以沿着基于眉特征点而推定的眉的中心线来配置。该情况下，例如，眉的小区域432的数量设为7个，眉的小区域432的配置设为在眉的中心线上等间隔的配置。并且，眉的小区域432 的直径设为眉上侧的两个面部特征点之间的距离的三分之二。此外，在该情况下，也优选使针对眉尾(以及眉头)的面部特征点的小区域432的直径较小(例如，二分之一的直径)。
通过如此的方法，眉区域提取单元250能够以较少的处理负荷将更切实地包含眉区域且更切实地不包含眼区域的区域设定为中间区域。并且，眉区域提取单元250通过在二值化图像中的这样的中间区域内搜索眉的边缘，能够高精度地提取眉的区域。
然而，由于实际的眉与皮肤的边界很多情况下都模糊不清，所以二值化图像的眉的边缘有时比实际的眉的外边缘更靠内侧。
因此，眉区域提取单元250基于从二值化图像中推定的二值眉区域，将更切实地包含实际的眉的外边缘的区域提取为眉的区域。
<眉的区域的提取方法>
图8是表示基于从二值化图像中推定的二值眉区域来提取眉的区域的方法的一例的图。
从二值化图像中推定例如图8(A)所示的二值眉区域451。图8(B)是将图8(A)所示的二值眉区域451的一部分放大后的图。
眉区域提取单元250使图8(A)所示的二值眉区域451扩展以使其更切实地包含实际的眉的外边缘。图8(C)以及图8(D)表示针对图8(A)以及图8(B)所示的二值眉区域451通过在纵横各自的方向上偏移两个像素使区域扩大而扩展时的眉的区域。此外，在图8(D)中，灰色区域表示通过扩展而扩大的区域。
此外，扩展的量(幅度、行数、或者像素数)既可以是固定值，也可以是可变值。眉区域提取单元250例如可以与左右的眉头之间的距离相应地使扩展的量变化。但是，扩展的量优选为不包含眼区域和/或头发区域的范围。
通过如此方法，眉区域提取单元250能够将更切实地包含实际的眉区域的区域提取为眉的区域。
<除眉处理>
除眉单元260首先针对拍摄图像，通过使眉的区域的像素值初始化，从拍摄图像中删除眉的区域。然后，除眉单元260使2w+1(w为1以上的整数，例如为2)像素×2w+1像素的框在拍摄图像上移动。然后，除眉单元260在该框(以下称为“插值框”)的中心像素为眉的区域的像素的情况下，用位于插值框内的眉的区域以外的区域(以下称为“非眉区域”)的像素值(颜色)，对该中心像素的像素值(颜色)进行插值。
图9是表示插值框的一例的图。
在图9中，示出了w＝2时的插值框461。以下，拍摄图像中的像素位置由xy坐标系的坐标值来表示。并且，位于坐标(x，y)的像素的像素值(颜色)如图9所示由f(x，y)来表示。
除眉单元260为了从拍摄图像中删除眉的区域，生成眉掩模。
图10是局部表示眉掩模的一例的图。在此，为了参考而一并图示了插值框461。
如图10所示，眉掩模471例如由按各个像素设定的眉掩模值m(x，y)的集合构成。对非眉区域的各像素设定m＝1，对眉的区域的各像素设定眉掩模值m＝0。
在图10所示的例子中，对于插值框461，中心像素的眉掩模值m(x，y)为“0”，左上侧的14个像素的眉掩模值m为“1”。该情况下，中心像素的像素值g(x，y)使用左上侧的14个像素的像素值进行插值。
具体而言，除眉单元260使用以下的式(1)来算出插值框461的中心像素(x，y)的像素值g(x，y)。
g(x,y)=Σi=-wwΣj=-wwf(x+i,y+j)m(x+i,y+j)h(x+i,y+j)...(1)]]>
在此，h是插值系数。将插值框461内的非眉区域的像素值的平均值用于插值的情况下的插值系数h成为插值系数havg(x，y)，由以下的式(2)表示。
havg(x,y)=1Σi=-wwΣj=-wwm(x+i,y+j)...(2)]]>
并且，眉掩模471在每次对眉的区域的像素进行插值时，将眉掩模471的该像素的掩模值m改写为“1”。该像素的插值结果能够用于其他的眉的区域的像素值的插值。
除眉单元260一边使插值框461从眉头侧向眉尾侧移动，一边对眉的区域的像素进行插值而进行除眉处理。
图11是表示插值框461的移动模式的图。
除眉单元260针对包含眉的区域452的矩形区域481的图像整体，在第1模式482以及第2模式483下，一边使插值框461移动，一边对眉的区域的像素进行插值。
第1模式482是使移动插值框461的行从眉的上侧向下侧移动的移动模式，主要基于眉上侧的肤色进行插值。即，使用第1模式482对眉的区域的像素进行插值的处理，是针对从面部图像中删除眉的区域452的图像而得到的图像，按从眉的上侧向眉的下侧的方向依次对颜色进行插值的处理(第1处理)。
第2模式483是使移动插值框461的行从眉的下侧向上侧移动的移动模式，主要基于眉下侧的肤色进行插值。即，使用第2模式483对眉的区域的像素进行插值的处理，是针对从面部图像中删除眉的区域452的图像而得到的图像，按从眉的下侧向眉的上侧的方向依次对颜色进行插值的处理(第2处理)。
此外，在以下的说明中，从矩形区域481的上端到眉的区域452的上端的距离设为d1，从矩形区域481的上端到眉的区域452的下端的距离设为d2。
除眉单元260通过第1模式482和第2模式483这两方独立地进行眉的区域的插值，将两个模式下得到的两个结果进行合成。即，除眉单元260将通过第1模式482(第1处理)得到的第1图像与通过第2模式(第2 处理)得到的第2图像进行合成。
更具体而言，除眉单元260例如使用以下的Alpha(α)Blend的式(3)，算出最终的插值后的眉的区域的像素值G(x，y)。在此，g1(x，y)是通过第1模式482下的矩形区域481的移动而进行了插值的像素值(颜色)。并且，g2(x，y)是通过第2模式483下的矩形区域481的移动而进行了插值的像素值(颜色)。
G(x，y)＝α(x，y)g1(x，y)+{1-α(x，y)}g2(x，y)…(3)
α值是决定将像素值g1(x，y)与像素值g2(x，y)进行合成时的比率的值，相当于像素值g1(x，y)的权重。α值例如是与像素位置相应的可变值。
图12是表示眉的区域的插值所使用的α值的一例的图。图中，横轴表示与从矩形区域481的上端起的距离，纵轴表示α值。
在图12中由线段491所示，α值在眉的区域452的上端(d1)为“1”，随着向矩形区域481的下方而直线性地减小，在眉的区域452的下端(d2)成为“0”。
此外，α值例如由以下的式(4)来表示。
α(y)=d2-yd2-d1...(4)]]>
除眉单元260通过设定如此的α值，即使肤色在眉的区域的上侧和下侧不同的情况下，也能够对眉的区域的各像素进行插值以使颜色在眉的区域的上侧和下侧之间连续地变化。即，除眉单元260能够针对各像素通过与实际进行了除去眉毛的处理时的眉的区域的肤色更接近的颜色来决定像素值。其结果，除眉单元260能够实现更自然的除去眉。
此外，眉的区域452的上端(d1)与眉的区域452的下端(d2)也可以设为具有相同x坐标值的眉的区域452的像素群的上端和下端。即，除眉单元260也可以将眉的区域452在纵向上进行细分，按分开的区域，以 该区域中的眉的区域452的上端和下端为基准来决定α值。这相当于按与相对于眉的区域452的位置相应的合成比将通过第1模式482(第1处理)得到的第1图像与通过第2模式(第2处理)得到的第2图像进行合成。在如此的情况下，除眉单元260能够更高精度地将与眉的区域接近的非眉区域部分排除在AlphaBlend处理的对象之外。
除眉单元260仅将作为合成结果而得到的图像中的眉的区域452的图像部分贴附于原来的拍摄图像的对应部分。即，除眉单元将进行了除眉处理之后的矩形区域481的图像中的眉的区域452的图像贴附于拍摄图像的对应的区域。
<化妆表以及化妆信息表的内容>
图13是表示化妆信息存储单元270存储的化妆表的内容的一例的图。
如图13所示，化妆表500将化妆模式501与化妆ID502进行关联而记述。化妆模式501在此进行了简化图示，具体而言，例如包括“可爱”、“酷”等表示与化妆相关的形象(image)的文本信息。
此外，化妆选择单元280例如通过将化妆模式501的“可爱”、“酷”等文本信息作为选择项来显示，从用户受理上述的化妆的选择操作。
图14是表示化妆信息存储单元270存储的化妆信息表的内容的一例的图。
如图14所示，化妆信息表510例如将化妆ID511、化妆类别512、颜色513、浓度514以及范围515进行关联而记述。
化妆ID511与化妆表500的化妆ID502(参照图13)对应。化妆类别512在此进行了简化图示，具体是指“眉妆”、“粉底”、“眼影”、“口红”以及“颊状”等。颜色513在此进行了简化图示，具体是指RGB值以及光泽度等。浓度514在此进行了简化图示，具体是指在面部图像上进行重叠时的透过度以及色调(gradation)的方式等。范围515在此进行了简化图示，具体是指相对于面部特征点的相对坐标群、相对于面部特征点的中心点的相对位置和半径的组等。
颜色513、浓度514以及范围515的组至少包括为了使实施了化妆的 状态图像化所需的信息。即，在本实施方式中，化妆信息至少包括为了从面部图像生成对该面部实施了化妆时的图像所需的信息(表示与面部颜色的差的信息)。
此外，化妆流行的变化很快，应该提示的化妆的变化也很快。因此，化妆表500以及化妆信息表510优选例如经由化妆辅助装置100所具备的通信电路(未图示)定期地从因特网上的服务器进行更新。另外，图13所示的化妆表500以及图14所示的化妆信息表510也可以综合到一个表中。
<模拟图像的生成方法>
化妆提示单元290在除去了眉的图像上重叠所选择的化妆的化妆图像而生成模拟图像。化妆图像例如基于面部器官信息和化妆信息而生成。
此外，模拟图像中的图像的重叠例如通过Alpha(α)Blend处理等公知的图像合成处理来进行。该情况下的α值设定为与化妆的浓度相应的值。AlphaBlend处理例如由以下的式(5)～(7)来表示。在此，r1、g1、b1是除去了眉的图像的任意区域的RGB值。另外，r2、g2、b2是化妆图像的任意区域的RGB值。并且，R、G、B是模拟图像的对应区域的RGB值。
R＝r2×α+r1×(1-α)…(5)
G＝g2×α+g1×(1-α)…(6)
B＝b2×α+b1×(1-α)…(7)
另外，对各个化妆分别设定重叠于面部进行涂抹时的顺序(以下称为“涂抹顺序”)，并且，化妆图像是与浓度相应的密度的阴影线图像。涂抹顺序例如规定为脸颊的涂抹应该在粉底的涂抹之后。该情况下，化妆提示单元290也可以通过针对除去了眉的图像按照与涂抹顺序相应的顺序将各化妆图像进行最上层涂抹处理，从而进行图像的重叠。
<化妆辅助装置的动作>
接着，对化妆辅助装置100的动作进行说明。
图15是表示化妆辅助装置100的动作的一例的流程图。
首先，在步骤S1100中，拍摄单元210开始拍摄用户的面部的影像，图像取得单元220开始取得构成所拍摄的影像的图像。此时，优选用户抬起刘海儿。另外，面部器官取得单元230开始取得图像所包含的面部的面部器官。
此时，面部器官取得单元230例如通过对图像进行解析来从图像中取得面部特征点。然后，面部器官取得单元230将由构成同一面部器官的面部特征点形成的区域提取为面部器官的区域。然后，面部器官取得单元230根据所取得的面部器官的区域，生成面部器官信息。
图16是表示在图15的步骤S1100中取得的拍摄图像的一例的图。
如图16所示，拍摄图像610包含用户的面部图像611。用户为没有化妆且没有对眉612进行处理的状态。从图像610中，提取例如图3以及图4所示的面部特征点，生成面部器官信息。
图17是表示在图15的步骤S1100中生成的面部器官信息的一例的图。
如图17所示，面部器官信息620例如按面部器官ID621而记述区域622以及人ID623。面部器官ID621是左眼、上唇等面部器官的识别信息。区域622是表示图像中的面部器官的区域的范围的信息，例如是多个面部特征点的位置的集合。面部特征点的位置例如使用以面部为基准而确定的面部坐标系来定义。人ID623是人的识别信息。人ID623例如在每次开始拍摄时，设定为经由对带触摸面板显示器的操作等由用户指定的值。
然后，在图15的步骤S1200中，化妆选择单元280选择化妆，将化妆信息输出给化妆提示单元290。
然后，在步骤S1300中，阈值决定单元240基于眉的面部特征点，从面部图像中提取眉头侧的阈值决定用的图像(例如，图3以及图4的被矩形区域413包围的区域)。
然后，在步骤S1400中，阈值决定单元240根据在步骤S1300中提取的阈值决定用的图像，决定二值化阈值。
然后，在步骤S1500中，眉区域提取单元250基于所决定的二值化阈值，生成二值化图像(例如，图5的二值化图像421)。然后，眉区域提取 单元250将从含眉区域(例如，图6的含眉区域431)中除去含眼区域(例如，图7的含眼区域441)之外的区域设为中间区域。
然后，在步骤S1600中，眉区域提取单元250从二值化图像以及中间区域中提取眉的区域。此时，眉区域提取单元250如上所述，使二值眉区域(例如，图8的二值眉区域451)扩展而得到眉的区域(例如，图8的眉的区域452)。
然后，在步骤S1700中，除眉单元260进行除眉处理(参照图9～图11)，生成除去了眉的图像。
图18是表示在步骤S1700中生成的除去了眉的图像的一例的图。
如图18所示，在除去了眉的图像610a中，成为进行了插值的眉的区域的图像631a贴附于面部图像611a的对应区域的状态。
然后，在图15的步骤S1800中，化妆提示单元290在除去了眉的图像上重叠与所决定的化妆对应的化妆信息的图像，生成模拟图像。然后，显示单元300显示所生成的模拟图像。
图19是表示在图15的步骤S1800中生成的模拟图像的一例的图。
如图19所示，模拟图像640成为在进行了除眉处理的面部图像611a上重叠眉妆、眼影、眼线、颊妆以及口红的图像这种化妆图像641～645而得到的图像。
眉妆641的区域与原来的眉612(参照图16)的区域有很大不同。但是，由于眉612被干净地除去，因此避免了存在两层眉的状态。另外，由于使用了与实际进行了眉612的处理的情况下的面部图像更接近的除去了眉的图像，所以能得到更自然的模拟图像640。
然后，在图15的步骤S1900中，图像取得单元220判断影像是否继续输入。图像取得单元220在影像继续输入的情况下(S1900：是)，使处理返回到步骤S1300，向接下来的拍摄图像转移处理。另外，图像取得单元220在影像结束输入的情况下(S1900：否)，结束一系列的处理。
此外，化妆辅助装置100也可以将暂时获得的眉的区域以及眉的区域的插值结果挪用于后续的图像。该情况下，除眉单元260例如对眉的区域 的相对于面部特征点的相对位置进行存储。然后，除眉单元260针对另外的面部图像，根据该面部图像上的面部特征点的位置，基于所存储的相对位置使眉的区域的图像移动或者变形。
该情况下，在获得了眉的区域以及眉的区域的插值结果之后，能够省略图15的步骤S1300～S1700的处理。
<本实施方式的效果>
如上所述，本实施方式的化妆辅助装置100基于作为更接近眉且不落有头发的可能性更高的区域的眉头侧的区域的图像信息，进行眉的区域的提取以及涂满。由此，化妆辅助装置100能够高精度地提取眉的区域，并且能够用更适当的颜色涂满该眉的区域。由此，化妆辅助装置100能够获得与实际进行了眉毛处理的情况下的面部图像更接近的除去了眉的图像。
另外，本实施方式的化妆辅助装置100使用与实际进行了眉的处理的情况下的面部图像更接近的除去了眉的图像来显示化妆的模拟图像。由此，化妆辅助装置100能够让用户更准确地判断化妆的优劣。
<化妆的其他选择方法>
此外，化妆的选择方法不限定于上述的例子。例如，化妆选择单元280也可以自动选择适于面部特征的化妆，还可以自动选择流行的化妆。
<其他构成的变形例>
另外，上述的各种表也可以不一定存储于化妆辅助装置100。例如，在化妆辅助装置100能够与网络连接的情况下，化妆辅助装置100访问存储有上述表的网络上的服务器来选择化妆即可。
另外，化妆辅助装置100例如也可以是将图2所示的功能单元中的仅拍摄单元210以及显示单元300配置于用户所持的终端而将其他的装置单元配置于网络上的服务器上等的分散配置型的系统。
另外，化妆辅助装置100也可以对外部光进行检测，在减轻了外部光的影响的状态下从图像中进行面部特征点的取得和/或眉的区域的检测。
另外，化妆辅助装置100也可以不一定生成化妆的模拟图像。
另外，化妆辅助装置100也可以将化妆所需的化妆品的信息与模拟图 像一起提示给用户。
本公开的化妆辅助装置具有：图像取得单元，其取得作为拍摄了面部的图像的面部图像；阈值决定单元，其根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值；眉区域提取单元，其使用所述阈值，从所述面部图像中提取眉的区域；除眉单元，其进行除眉处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色针对所述面部图像来涂满所述眉的区域的处理；以及显示单元，其对进行了所述除眉处理之后的所述面部图像进行显示。
此外，上述化妆辅助装置还可以具有化妆提示单元，所述化妆提示单元生成在进行了所述除眉处理之后的所述面部图像上重叠表示对所述面部适用了眉的化妆时的所述眉的化妆的状态的图像而得到的模拟图像，所述显示单元可以显示所述模拟图像。
另外，在上述化妆辅助装置中，所述部分图像可以是以所述眉头的位置为基准的预定的大小以及形状的区域的图像。
另外，在上述化妆辅助装置中，所述除眉处理可以是针对从所述面部图像中删除了所述眉的区域的图像而得到的图像按从所述眉头侧向所述眉尾侧的方向依次对颜色进行插值的处理。
另外，在上述化妆辅助装置中，所述除眉处理可以包括：第1处理，针对从所述面部图像中删除了所述眉的区域的图像而得到的图像，按从所述眉的上侧向所述眉的下侧的方向，依次对颜色进行插值；第2处理，针对所述图像，按从所述眉的下侧向所述眉的上侧的方向，依次对颜色进行插值；和第3处理，将通过所述第1处理得到的第1图像与通过所述第2处理得到的第2图像进行合成，所述第3处理可以以与相对于所述眉的区域的位置相应的合成比，将所述第1图像与所述第2图像进行合成。
另外，上述化妆辅助装置还可以具有从所述面部图像中提取眉的特征点以及眼的特征点的面部器官取得单元，所述眉区域提取单元可以在所述面部图像的区域中，从含眉区域中排除了含眼区域之外的眉附近区域，提 取所述眉的区域，所述含眉区域是以所述眉的特征点的位置为基准的小区域的集合，所述含眼区域是以所述眼的特征点的位置为基准的小区域的集合。
另外，在上述化妆辅助装置中，所述除眉单元可以针对所述面部图像中的包含所述眉的区域的矩形区域的图像整体进行所述除眉处理，将进行了所述除眉处理之后的所述矩形区域的图像中的所述眉的区域的图像贴附于所述面部图像的对应的区域。
另外，在上述化妆辅助装置中，所述眉区域提取单元可以将使由所述阈值规定的眉的区域扩展后的区域提取为所述眉的区域。
另外，上述化妆辅助装置还可以具有拍摄所述面部的影像的拍摄单元，所述图像取得单元可以取得构成所述影像的图像，所述显示单元可以随着所述影像依次显示所述模拟图像。
本公开的化妆辅助方法包括：取得作为拍摄了面部的图像的面部图像的步骤；根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的步骤；使用所述阈值，从所述面部图像中提取眉的区域的步骤；进行除眉处理的步骤，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色针对所述面部图像来涂满所述眉的区域的处理；以及对进行了所述除眉处理之后的所述面部图像进行显示的步骤。
本公开的化妆辅助程序使计算机执行：取得作为拍摄了面部的图像的面部图像的处理；根据所述面部图像中的作为包含眉头以及所述眉头的周边且不包含眉尾的区域的图像的部分图像，决定像素值的阈值的处理；使用所述阈值，从所述面部图像中提取眉的区域的处理；进行除眉处理的处理，所述除眉处理是优先使用所述眉的区域的周边区域的颜色中的所述眉头侧的颜色针对所述面部图像来涂满所述眉的区域的处理；以及对进行了所述除眉处理之后的所述面部图像进行显示的处理。
产业上的可利用性
本公开作为能够获得与实际进行了眉毛的处理的状态更接近的除去了 眉的图像的化妆辅助装置、化妆辅助方法、以及化妆辅助程序而有用。
附图标记说明
100 化妆辅助装置
210 拍摄单元
220 图像取得单元
230 面部器官取得单元
240 阈值决定单元
250 眉区域提取单元
260 除眉单元
270 化妆信息存储单元
280 化妆选择单元
290 化妆提示单元
300 显示单元