化妆辅助装置、化妆辅助方法、以及化妆辅助程序.pdf

本发明的化妆辅助装置能够适当地进行包括了提高化妆技术的化妆辅助。化妆辅助装置(100)包括：图像获得单元(120)，其获得对实施了化妆的脸部进行拍摄所得到的图像；实施妆获得单元(170)，其从图像获得化妆的方式即实施妆；妆评价单元(180)，其比较进行了化妆的用户要参考的参考妆和实施妆，而对实施妆进行评价；以及评价提示单元(190)，其向用户提示评价的结果。

权利要求书
1.  化妆辅助装置，包括：
图像获得单元，其获得对实施了化妆的脸部进行拍摄所得到的图像；
实施妆获得单元，其从所述图像获得所述化妆的方式即实施妆；
妆评价单元，其比较进行了所述化妆的用户应参考的参考妆和所述实施妆，而对所述实施妆进行评价；以及
评价提示单元，其向所述用户提示所述评价的结果。

2.  如权利要求1所述的化妆辅助装置，
所述实施妆和所述参考妆分别由一个规定的参数的值或多个规定的参数的值的组合来定义，
所述妆评价单元基于所述实施妆和所述参考妆之间的每个所述规定的参数的值的差值，进行所述评价。

3.  如权利要求2所述的化妆辅助装置，
所述妆评价单元基于所述值的差值，计算表示所述实施妆和所述参考妆之间的近似程度的评价值，
所述评价提示单元向所述用户提示所述评价值。

4.  如权利要求1所述的化妆辅助装置，还包括：
参考妆存储单元，其对于每个所述脸部器官，存储与该脸部器官对应的所述参考妆；以及
脸部器官获得单元，其从所述图像获得所述脸部的脸部器官的区域，
所述实施妆获得单元对每个所述脸部器官，基于所述脸部器官的所述区域，获得所述实施妆，
所述妆评价单元对每个所述脸部器官，比较所述实施妆和所述参考妆。

5.  如权利要求2所述的化妆辅助装置，
所述实施妆以及所述参考妆至少还包括皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围，
还包括妆提示单元，该妆提示单元将所述参考妆与对应的所述脸部器官的区域相关联地向用户提示。

6.  化妆辅助方法，包括以下步骤：
获得对实施了化妆的脸部进行拍摄所得到的图像的步骤；
从所述图像获得所述化妆的方式即实施妆的步骤；
比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价的步骤；以及
向所述用户提示所述评价结果的步骤。

7.  化妆辅助程序，其使计算机执行以下处理：
获得对实施了化妆的脸部进行拍摄所得到的图像的处理；
从所述图像获得所述化妆的方式即实施妆的处理；
比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价的处理；以及
向所述用户提示所述评价的结果的处理。

说明书化妆辅助装置、化妆辅助方法、以及化妆辅助程序
技术领域
本发明涉及辅助脸部的化妆(makeup)的化妆辅助装置、化妆辅助方法以及化妆辅助程序。
背景技术
近年来，脸部化妆方式(以下简称为“妆”)不断多样化。从无数的选择项中选择适当的妆，特别地，对于妆没有足够知识的人来说是尤其困难的。这是因为，实际地尝试所有的妆来进行判断和比较需要大量的时间和工夫。
因此，例如在专利文献1以及专利文献2中记载了如下的技术：选择与脸部的特征适合的妆，生成适用了所选择的妆时的脸部的仿真图像并进行提示。专利文献1以及专利文献2中记载的技术(以下，称为“现有技术”)中，获得对作为化妆的对象的脸部(以下简称为“脸部”)进行拍摄所得到的图像，提取脸部的特征，基于预先确定的选择基准，选择与脸部的特征适合的妆。而且，现有技术中，在获得的图像上重叠表示将选择出的妆适用于脸部时的妆的状态的图像，来生成仿真图像并进行显示。
在这样的现有技术中，能够不用实际地进行化妆而将仿真图像生成对象缩选到与脸部的特征适合的妆，并判断妆的好坏。即，现有技术中，能够以更少的时间和工夫选择适当的妆。
现有技术文献
专利文献
专利文献1：日本特开2001-346627号公报
专利文献2：日本特开2007-175384号公报
专利文献3：日本特开2003-44837号公报
专利文献4：日本特开2007-257165号公报
发明内容
发明要解决的问题
然而，妆的实施技术不足的用户，即使提示了妆的仿真图像，也难以将该妆再现，所以需要提高妆的实施技术。另外，正在学习化妆的人通常希望自己进行判断脸部特征的作业和判断适当的妆的作业来提高妆的选择技术。
然而，上述的现有技术中，未考虑辅助提高这样的妆的技术。
本发明的目的在于提供能够适当地进行包括了提高化妆技术的化妆辅助的化妆辅助装置、化妆辅助方法、以及化妆辅助程序。
解决问题的方案
本发明的化妆辅助装置包括：图像获得单元，其获得对实施了化妆的脸部进行拍摄所得到的图像；实施妆获得单元，其从所述图像获得所述化妆的方式即实施妆；妆评价单元，其比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价；以及评价提示单元，其向所述用户提示所述评价的结果。
本发明的化妆辅助方法包括以下步骤：获得对实施了化妆的脸部进行拍摄所得到的图像的步骤；从所述图像获得所述化妆的方式即实施妆的步骤；比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价的步骤；以及向所述用户提示所述评价的结果的步骤。
本发明的化妆辅助程序使计算机执行以下处理：获得对实施了化妆的脸部进行拍摄所得到的图像的处理；从所述图像获得所述化妆的方式即实施妆的处理；对进行了所述化妆的用户应该参考的参考妆和所述实施妆进行比较，而评价对所述实施妆进行评价的处理；以及向所述用户提示所述评价的结果的处理。
发明效果
根据本发明能够适当地进行包括了提高化妆技术的化妆辅助。
附图说明
图1是表示一例本发明实施方式1的化妆辅助装置的结构的方框图。
图2是表示一例本发明实施方式2的化妆辅助装置的结构的方框图。
图3是表示一例实施方式2中的参考妆信息的图。
图4是表示一例实施方式2中的化妆品信息的图。
图5是表示一例实施方式2中的妆位置表的图。
图6是表示一例实施方式2的化妆辅助装置的动作的流程图。
图7是表示一例实施方式2中的未化妆图像的图。
图8是表示一例实施方式2中的脸部特征点的配置的图。
图9是表示一例实施方式2中的未化妆脸部器官信息的图。
图10是表示一例实施方式2中的仿真图像的图。
图11是表示一例实施方式2中的妆图像的图。
图12是表示一例实施方式2中的实施妆信息的图。
图13是表示一例实施方式2中的评价结果图像的图。
具体实施方式
下面，使用附图详细地说明本发明的各实施方式。
(实施方式1)
本发明实施方式1是本发明的基本方式的一例。
图1是表示一例本实施方式的化妆辅助装置的结构的方框图。
图1中，化妆辅助装置100具有图像获得单元120、实施妆获得单元170、妆评价单元180、以及评价提示单元190。
图像获得单元120获得对实施了化妆的脸部进行拍摄所得到的图像。
实施妆获得单元170从获得的图像获得上述化妆方式即实施妆。
妆评价单元180比较进行了上述化妆的用户要参考的参考妆和实施妆，而对实施妆进行评价。
评价提示单元190向用户提示评价结果。
虽然未图示，但例如化妆辅助装置100具有CPU(Central Processing Unit，中央处理单元)、存储控制程序的ROM(Read Only Memory，只读存储器)等存储介质、以及RAM(Random Access Memory，随机存取存储器)等工作用存储器。在这种情况下，通过CPU执行控制程序来实现上述的各单元的功能。
这样的化妆辅助装置100能够基于参考妆来评价用户实施的实施妆，并向用户提示评价结果。由此，化妆辅助装置100能够向用户提示对用户实施的妆的客观评价，因此能够适当地进行包括了提高化妆技术的化妆辅助。
(实施方式2)
本发明的实施方式2是本发明的具体方式的一例。本实施方式是将本发明适用于具备数码照相机以及带触摸面板的显示器的装置的例子。
<术语说明>
首先对本实施方式中使用的术语进行说明。
所谓“脸部器官”是指眼睛、眉毛、鼻子、颧骨、嘴唇、脸形等给脸部的印象赋予特征的部分。
所谓“脸部器官ID”是脸部器官的识别信息。
所谓“脸部器官的区域”是指在图像上或实际空间上脸部器官所占的区域，包括眼梢等脸部器官的特征点的位置。
所谓“妆”，表示化妆方式(种类)，至少包括皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围。
所谓“参考妆”是接受化妆辅助的用户要参考的妆。
所谓“参考妆信息”是表示参考妆的信息，由一个规定的参数的值或多个规定的参数的值的组合来定义参考妆。
所谓“实施妆”是接受化妆辅助的用户实际实施了的妆。
所谓“实施妆信息”是表示实施妆的信息，由与定义参考妆信息的参数相同的参数的值，来定义实施妆。即，能够对每个参数比较实施妆信息的值和参考妆信息的值。
所谓“化妆品信息”是与适用妆所需要的皮肤用化妆品有关的信息。
所谓“妆类别”，是至少利用与脸部器官之间的位置关系区别的妆的种类，例如为“粉底”、“眼影”、“口红”、以及“腮红(胭脂)”等。
所谓“化妆品ID”是皮肤用化妆品的识别信息，是能够确定化妆品信息的信息。
<化妆辅助装置的结构>
下面，说明本实施方式的化妆辅助装置的结构。
图2是表示一例本实施方式的化妆辅助装置的结构的方框图。
在图2中，化妆辅助装置100具有拍摄单元110、图像获得单元120、脸部器官获得单元130、参考妆存储单元140、妆提示单元150、妆位置表存储单元160、实施妆获得单元170、妆评价单元180、评价提示单元190、以及显示单元200。
拍摄单元110进行图像的拍摄。例如是数字照相机。
图像获得单元120使用拍摄单元110获得拍摄未化妆的脸部(以下，称为“未化妆脸部”)所得到的图像(以下，称为“未化妆图像”)，并输出到脸部器官获得单元130以及妆提示单元150。另外，图像获得单元120使用拍摄 单元110获得对上述的脸部实施了化妆的脸部(以下，称为“妆脸部”)进行拍摄所得到的图像(以下，称为“妆图像”)，并输出到脸部器官获得单元130、实施妆获得单元170、以及评价提示单元190。
图像获得单元120例如在显示器上显示“请在未化妆的状态下拍摄作为化妆的对象的脸部”这样的消息等，向用户提醒拍摄未化妆脸部，从而进行未化妆图像的拍摄。另外，图像获得单元120例如在显示器上显示“请拍摄化妆后的脸部”这样的消息等，向用户提醒拍摄妆脸部，从而进行妆图像的拍摄。此外，在本实施方式中，设为未化妆图像以及妆图像是从正面拍摄脸部所得到的图像。
脸部器官获得单元130分别从输入的未化妆图像以及妆图像获得脸部的脸部器官的区域。例如通过将图像的各部分区域和预先准备的各脸部器官的模板图像之间匹配(例如，参照专利文献3)来获得脸部器官的区域。而且，脸部器官获得单元130将从未化妆图像获得的脸部器官的识别信息以及表示区域的信息(以下，称为“未化妆脸部器官信息”)输出到妆提示单元150。另外，脸部器官获得单元130将从妆图像获得的脸部器官的识别信息以及表示区域的信息(以下，称为“妆脸部器官信息”)输出到实施妆获得单元170。
参考妆存储单元140预先存储参考妆信息、以及该参考妆信息表示的参考妆的化妆品信息。能够从妆提示单元150以及妆评价单元180参照参考妆信息。能够从妆提示单元150参照化妆品信息。
此外，对脸部整体的妆的模式(以下，称为“妆模式”)存在无数种。本实施方式中，设为在参考妆存储单元140中只存储有对预先选择出的一个妆模式的参考妆信息。
作为参考妆信息表示的妆模式，例如可以采用以下的妆模式。
第一个妆模式是由用户选择出的妆模式。第二个妆模式是基于多个人作为化妆中的实施对象而选择过的多个妆模式中的、选择次数较多的妆模式优先被选择那样的选择基准，从该多个妆中选择出的妆模式。第三个妆模式是基于多个人作为化妆中的实施对象而选择过的多个妆模式中的、被选择的时间平均较新的妆模式优先被选择那样的选择基准，从该多个妆中选择出的妆模式。第四个妆模式是基于多个人作为化妆中的实施对象而选择过的多个妆模式中的、选择次数的增加速度较高的妆模式优先被选择那样的选择基准，从多个妆中选择出的该妆模式。
多数情况下，流行的妆是在较多的很多人中实际地实施的妆。因此，在是第二个妆模式～第四个妆模式的情况下，流行的妆成为参考妆，化妆辅助装置100能够进行以流行的妆为基准的妆评价。
图3是表示一例参考妆存储单元140所存储的参考妆信息的图。
如图3所示，参考妆信息510中例如使妆ID511、妆类别512、颜色513、浓度514、范围515、以及化妆品ID516对应地进行了记载。
妆类别512在此简化进行图示，但具体而言是“粉底”、“眼影”、“口红”、以及“腮红”等。颜色513在这里简化地图示，但是，具体地是RGB值以及光泽度等。浓度514在这里简化地图示，但是，具体地是在脸部的图像上进行重叠时的透射度以及浓淡方式等。范围515在这里简化地图示，但是，具体地是距特征点的相对坐标组、中心点相对于特征点的相对位置和半径的组等。即，颜色513、浓度514、以及范围515的组至少包含图像化所需要的信息。即，在本实施方式中，设为参考妆信息510至少包含根据脸部的图像生成对该脸部实施了化妆时的图像所需要的信息。
此外，参考妆信息510也可以还记载皮肤用化妆品的涂敷模式。所谓皮肤用化妆品的涂抹模式例如在是眼影的情况下，是眼窝、眼线、眼下方等表示相对于脸部器官的相对范围的信息。
图4是表示一例参考妆存储单元140所存储的化妆品信息的图。
如图4所示，化妆品信息520中，将化妆品ID521、公司ID522、以及产品编号523相关联地记载。
化妆品ID521与参考妆信息510的化妆品ID516对应。公司ID522是皮肤用化妆品的制造或者销售公司的名称或者标识。产品编号523是皮肤用化妆品的产品编号。
此外，也可以将图3及图4所示的参考妆信息510以及化妆品信息520合并为一个表。
图2的妆提示单元150将参考妆信息所表示的妆与对应的未化妆脸部的脸部器官的区域相关联地向用户提示。
更具体地，妆提示单元150基于输入的未化妆图像以及参考妆信息生成仿真图像，将生成的仿真图像输出到显示单元200。这里，仿真图像是在输入(拍摄)的未化妆图像上重叠实施了参考妆信息表示的参考妆的化妆时的图像所得到的图像。
此外，例如通过阿尔法(α)混合处理等公知的图像合成处理进行图像的重叠。这种情况下，将阿尔法值(α)设定为与妆的浓度对应的值。例如利用以下的式(1)～(3)表示阿尔法混合处理。其中，r1、g1、b1是拍摄到的图像的任意区域的RGB值，r2、g2、b2是妆的RGB值。而且，R、G、B是仿真图像的对应区域的RGB值。
R＝r2×α+r1×(1-α)···(1)
G＝g2×α+g1×(1-α)···(2)
B＝b2×α+b1×(1-α)···(3)
另外，对每个妆，设定了在脸部重叠进行涂敷时的顺序(以下，称为“涂敷顺序”)，并且，实施了化妆时的图像是具有与浓度相应的密度的挂网图像。涂敷顺序例如规定了应该在涂敷粉底后涂敷腮红。这种情况下，也可以对于拍摄到的图像，将各妆的图像按照与涂敷顺序相应的顺序进行重叠涂敷处理，从而进行图像的重叠。
另外，妆提示单元150还提示化妆品信息。更具体地，妆提示单元150在上述仿真图像上重叠或追加表示化妆品信息的图像或者文本。
妆位置表存储单元160对每个妆类别预先存储规定妆的涂敷范围与脸部器官的区域之间的位置关系的妆位置表。换言之，这样的位置关系是后述的实施妆获得单元170从妆图像提取实施妆时的实施妆提取基准。能够从实施妆获得单元170参照妆位置表。
图5是表示一例妆位置表的图。
如图5所示，妆位置表530中，与脸部器官ID531和区域532的组合相关联地记载了妆类别533。
例如，对于“P2”这样的脸部器官ID531和“R2”这样的区域532的组合，相关联了“T2”这样的妆类别533。这表示对“P2”这样的脸部器官ID531的区域对“R2”这样的区域532适用的妆是“T2”这样的妆类别533。
例如，设为“P2”表示右眼，“R2”表示与脸部器官的区域的上端相邻，且以脸部的长度的百分之一以下的宽度按皮肤颜色以外的同一颜色连续的区域。而且，设为与这些对应的“T2”表示眼线。这种情况表示如下状况，即：在存在与右眼的区域的上端相邻，以脸部的长度的百分之一以下的宽度按皮肤颜色以外的同一颜色连续的区域时，该区域是眼线的区域。
图2的实施妆获得单元170从妆图像中对每个脸部器官，基于妆脸部器 官信息表示的脸部器官的区域，获得在妆脸部实施的实施妆。
更具体地，实施妆获得单元170对每个脸部器官，基于妆位置表530(参照图5)所规定的提取基准，检测有无实施了化妆的区域。而且，实施妆获得单元170在存在实施了化妆的区域的情况下，获得该区域，作为妆的涂敷范围。并且，实施妆获得单元170从妆图像获得在该区域实施的化妆的颜色以及涂敷浓度。而且，实施妆获得单元170将表示获得的实施妆的实施妆信息输出到妆评价单元180。关于妆获得的细节，将在后面叙述。
妆评价单元180比较在参考妆存储单元140中存储的参考妆和输入的实施妆，而对实施妆进行评价(以下，称为“妆评价”)。
更具体地，妆评价单元180基于实施妆和参考妆之间的每个上述参数的值的差值，求表示实施妆和参考妆之间的近似程度的评价值，由此进行妆评价。而且，妆评价单元180将求得的评价值输出到评价提示单元190。关于妆评价的细节，将在后面叙述。
评价提示单元190向用户提示妆评价的结果即评价值。
更具体地，评价提示单元190基于输入的妆图像以及评价值，生成表示评价结果的评价结果图像，将生成的评价结果图像输出到显示单元200。在此，评价结果图像是显示所输入(拍摄)的妆图像、和表示包含了评价值的评价结果的信息(以下，称为“评价结果信息”)的图像。
显示单元200例如是显示器，向化妆辅助装置100的用户显示(提示)输入的仿真图像以及化妆品信息。另外，显示单元200向化妆辅助装置100的用户显示(提示)输入的评价结果图像。
此外，虽然未图示，但是化妆辅助装置100例如具有CPU、存储控制程序的ROM等存储介质、以及RAM等工作用存储器。在这种情况下，通过CPU执行控制程序来实现上述的各单元的功能。
<妆的获得>
作为从图像获得妆的方法，例如可以采用以下的方法。
实施妆获得单元170首先根据脸部器官的区域的配置，确定耳朵或脖子等表现了与妆脸部的皮肤颜色近似的颜色的区域。实施妆获得单元170基于确定的区域的颜色、根据脸部器官的配置所估计的阴影的分布、根据脸部器官的类别(嘴唇等)所估计的每个脸部器官的颜色的分布等，估计皮肤的颜色分布。实施妆获得单元170对将脸部区域细致分割后的每个分割区域，计算所 估计的皮肤颜色和图像中的实际颜色之间的差。而且，实施妆获得单元170将计算出的差为规定的阈值以上的分割区域判定为实施了化妆的区域(以下，称为“涂敷分割区域”)。
实施妆获得单元170在判定出的涂敷分割区域中存在连续且颜色近似的多个涂敷分割区域时，提取该多个涂敷分割区域，作为实施了同一类别的化妆后的一个区域(以下，称为“连续涂敷区域”)。实施妆获得单元170对提取的每个连续涂敷区域，判定与妆位置表530(参照图5)规定的提取基准的哪一个一致。而且，实施妆获得单元170获得与提取基准一致的连续涂敷区域，作为妆的涂敷范围，从该区域的图像中的颜色和对于对应的区域所估计的皮肤的颜色，获得妆的颜色以及涂敷浓度。
例如，通过进行与上述的阿尔法混合处理相反的处理，获得妆的颜色以及涂敷浓度。即，将上述的RGB值设为图像的颜色，将r1、g1、b1设为皮肤的颜色，使用式(1)～(3)计算与妆的颜色相当的r2、g2、b2以及与妆的浓度相当的α。但是，变量为四个而式中为三个，因此需要假定这四个变量的任意一个变量，或对多个图像位置进行运算，来求最准确的值的组。
<妆评价>
作为妆评价的方法，例如可以采用以下的方法。
妆评价单元180对于上述的多个参数，在对每个参数的参考妆信息和实施妆信息之间的值的差的平方和，进行与参数的类别相应的加权后，进行计算。
即，妆评价单元180对每个妆类别，使用以下的式(4)～(6)，计算部分误差(距离)v。
v0={(rr-r)2+(gr-g)2+(br-b)2}&CenterDot;w1+{(x1r-x1)2+(y1r-y1)2...+(xnr-xn)2+(ynr-yn)2}&CenterDot;w2+{(dr-d)2}&CenterDot;w3...(4)]]>
vr=(rr2+gr2+br2)&CenterDot;w1+(x1r2+y1r2...+xnr2+ynr2)&CenterDot;w2...(5)+dr2&CenterDot;w3]]>
v＝v0/vr                     ...(6)
其中，rr、gr、br是参考妆的RGB值，r、g、b是实施妆的RGB值。这些RGB值例如是妆的涂敷范围中的颜色的平均。
另外，x1r、y1r、…xnr、ynr是表示参考妆的涂敷范围的坐标值组，x1、y1、…xn、yn是表示实施妆的涂敷范围的坐标值组。这些坐标值组例如是以脸部器官的特征点和脸部器官的区域的朝向以及大小为基准，对每个妆类别设定的坐标系中的值。坐标值的个数n也可以对每个妆类别而不同。
另外，dr是参考妆的涂敷浓度，d是实施妆的涂敷浓度。这些涂敷浓度例如是妆的涂敷范围中的涂敷浓度的平均。
另外，权重w1、w2、w3是与颜色、涂敷范围、以及涂敷浓度的差异会对评价值带来的影响的程度相应而确定的值。例如，在要重视颜色的差异的情况下，将权重w1的值设定为大的值。权重w1、w2、w3也可以对每个类别而不同。
而且，妆评价单元180根据对每个妆类别计算出的部分误差v例如使用以下的式(7)计算整体误差V，作为表示有关脸部整体的实施妆相对参考妆的误差(距离)的级别(level)的值。在此，示例了参考妆由眼影、腮红、以及口红这三个妆类别的妆构成的情况。veye是眼影的部分误差，vcheek是腮红的部分误差，vlip是口红的部分误差。
V＝veye+vcheek+vlip   ···(7)
此外，妆评价单元180也可以对各部分误差v也适用如下的权重，即：与对应的妆类别的妆的差异会给评价值带来的影响的程度相应而确定的权重。
而且，妆评价单元180比较计算出的整体误差V和例如与6等级的评价值对应而预先确定的五个阈值，来获得与整体误差V对应的评价值。6等级的评价值例如是按实施妆与参考妆较近似的顺序的分数的100分、80分、60分、40分、20分、以及0分。
此外，妆评价单元180也可以与进行化妆的人(目标)的级别相匹配，准备多个模式的上述阈值。由此，化妆辅助装置100可以提示适于目标的级别的评价值，能够调整得到较高分数时的难易度。
具有这样的结构的化妆辅助装置100，能够基于参考妆评价用户实施了的实施妆，并向用户提示评价结果。
<化妆辅助装置的动作>
下面，说明化妆辅助装置100的动作。
图6是表示一例化妆辅助装置100的动作的流程图。
化妆辅助装置100例如依次通过带触摸面板的显示器，从用户接受开始参考妆提示模式(mode)或者实施妆评价模式下的动作的指示。参考妆提示模式是用于显示对未化妆脸部的参考妆的仿真图像的模式。实施妆评价模式是用于对于妆图像基于参考妆进行评价，并显示评价结果的模式。
例如，用户首先在参考妆提示模式下确认了参考妆的仿真图像后，以该参考妆为参考实施化妆，指定实施妆评价模式。
首先，在步骤S1100中，图像获得单元120通过用户操作等判断是否指示了开始参考妆模式。
在指示了开始参考妆模式的情况下(S1100：“是”)，流程进入步骤S1200。另外，在未指示开始参考妆模式的情况下(S1100：“否”)，流程进入后述的步骤S1500。
在步骤S1200中，图像获得单元120在拍摄单元110中拍摄未化妆脸部，获得未化妆图像。
图7是表示一例在图6的步骤S1100中获得的未化妆图像的图。
如图7所示，未化妆图像610包括未化妆脸部的图像(以下，称为“未化妆脸部图像”)611。
而且，在图6的步骤S1300中，脸部器官获得单元130从未化妆图像610获得未化妆脸部的脸部器官。这时，脸部器官获得单元130例如对未化妆图像610进行解析，由此从未化妆图像610提取脸部的(脸部器官的)特征点。而且，脸部器官获得单元130获得由构成同一脸部器官的特征点形成的区域，作为脸部器官的区域。而且，脸部器官获得单元130从获得的脸部器官的区域，生成未化妆脸部器官信息。
图8是表示一例在图6的步骤S1300中提取的脸部的特征点的配置的图。
如图8所示，从未化妆脸部图像611提取多个特征点(用记号“●”表示)。例如，第1特征点621～第4特征点624构成右眼。因此，脸部器官获得单元130获得由第1特征点621～第4特征点624包围的区域625，作为右眼区域。
图9是表示一例在图6的步骤S1300中生成的未化妆脸部器官信息的图。
如图9所示，未化妆脸部器官信息630例如对每个脸部器官ID631记载 了区域632以及人ID633。区域632是表示图像中的脸部器官的区域的范围的信息，例如，是图像上设定的坐标系的坐标值列表。将人ID633例如设定为对每次开始拍摄时，由用户通过对带触摸面板的显示器操作等所指定的值。
而且，在图6的步骤S1400中，妆提示单元150基于未化妆图像以及参考妆信息，生成仿真图像，并使显示单元200显示。这时，妆提示单元150还使显示单元200显示化妆品信息。
图10是表示一例在图6的步骤S1400中显示的仿真图像的图。
如图10所示，仿真图像640是在未化妆脸部图像611上重叠了眉毛、眼影、眼线、腮红、以及口红之类的脸部用妆的图像641～645后的图像。
另外，在仿真图像640中追加了表示化妆品信息的信息显示区域646。即，在仿真图像640中，还显示为了适用参考妆信息所表示的妆而需要的皮肤用化妆品的化妆品信息。用户可以在满意了所显示的仿真图像640表示的妆的情况下，基于显示的化妆品信息得到需要的皮肤用化妆品，能够容易地进行实际的化妆。
而且，在步骤S1500中，图像获得单元120判断是否通过用户操作等指示了开始实施妆评价模式。
在指示了开始实施妆评价模式的情况下(S1500：“是”)，流程进入步骤S1600。另外，在未指示开始实施妆评价模式的情况下(S1500：“否”)，流程进入后述的步骤S2100。
在步骤S1600中，图像获得单元120在拍摄单元110拍摄妆脸部，获得妆图像。
图11是表示一例在图6的步骤S1600中获得的妆图像的图。
如图11所示，例如，妆图像650中包含的妆脸部的图像(以下，称为“妆脸部图像”)651中的实施妆652～656与图10的仿真图像640表示的参考妆不同。例如，眉毛652的宽度比参考妆的眉毛的图像641宽，腮红655位于比参考妆的腮红的图像644靠下的位置，口红656的颜色比参考妆的口红的图像645浓。
而且，在图6的步骤S1700中，脸部器官获得单元130从妆图像650获得妆脸部的脸部器官(包括脸部的特征点)，并获得脸部器官的区域。而且，脸部器官获得单元130从获得的脸部器官的区域，生成妆脸部器官信息。这些处理与在步骤S1300中说明过的处理是同样的。另外，妆脸部器官信息的结 构与未化妆脸部器官信息的结构是同样的。
而且，在步骤S1800中，实施妆获得单元170从妆图像获得实施妆。具体地，实施妆获得单元170参照存储在妆位置表存储单元160中的妆位置表530(参照图5)，从妆图像以及妆脸部器官信息，对每个脸部器官获得妆。而且，实施妆获得单元170将表示获得的妆的实施妆信息输出到妆评价单元180。
图12是表示在图6的步骤S1800中输出的实施妆信息的图。
如图12所示，实施妆信息660中例如与妆类别661相关联地记载了颜色662、浓度663、以及范围664。妆类别661与参考妆信息510(参照图3)的妆类别512相关联。另外，颜色662、浓度663、以及范围664在这里简化地图示，但是，具体地，对每个妆类别661，根据与参考妆信息510(参照图3)相同的参数来定义。
例如，在实施妆信息660中，与“T1”这样的妆类别661对应的范围664为“A8”。该“A8”这样的范围664与在参考妆信息510中“T1”这样的妆类别512对应的“A1”这样的范围515不同。这表示，例如，在参考妆和实施妆中，相对左眼区域的眉毛的相对涂敷范围不同。
而且，在图6的步骤S1900中，妆评价单元180将实施妆信息和参考妆信息进行比较，评价实施妆。具体地，妆评价单元180例如使用上述的式(4)～(7)确定评价值，并将评价结果信息输出到评价提示单元190。
而且，在步骤S2000中，评价提示单元190基于评价结果信息以及妆图像，生成评价结果图像，并使显示单元200显示。
图13是表示一例在图6的步骤S2000中显示的评价结果图像的图。
如图13所示，评价结果图像670包括妆脸部图像651和表示评价结果信息的结果显示区域671。在结果显示区域671中例如显示“您的妆是60分！”这样的包含上述评价值的文本。
而且，在步骤S2100中，图像获得单元120判断是否通过用户操作等指示了结束处理。
在未指示结束处理的情况下(S2100：“否”)，流程进入步骤S1100。另外，在指示了结束处理的情况下(S2100：“是”)，结束一连串的处理。
通过这样的动作，化妆辅助装置100能够在参考妆提示模式时，向用户提示参考妆的仿真图像，在实施妆评价模式时，向用户提示对用户实际实施 了的妆的评价。
<本实施方式的效果>
如以上那样，本实施方式的化妆辅助装置100能够基于参考妆来评价用户实施了的实施妆，并向用户提示评价结果。由此，化妆辅助装置100能够向用户提示对用户实施了的妆的客观评价，因此，能够适当地进行包括了提高化妆技术的化妆辅助。
<其他妆获得方法>
此外，实施妆的获得方法不限定于上述的例。例如，实施妆获得单元170也可以获得利用化妆辅助装置100以外的装置拍摄到的图像，作为未化妆图像或者妆图像。在这种情况下，例如，在化妆辅助装置100中设置用于与互联网等公众网连接的通信电路，图像获得单元120通过这样的通信电路获得需要的图像即可。
另外，实施妆获得单元170也可以从妆图像中的实际的颜色以外获得妆中的颜色。例如，实施妆获得单元170也可以通过带触摸面板的显示器由用户接受在妆中使用的化妆品的化妆品ID的输入，从预先准备的表获得与所接受的化妆品ID对应的颜色。
另外，实施妆获得单元170也可以基于未化妆脸部的图像和妆脸部的图像的差，获得实施妆。
<脸部图像和妆的映射>
另外，在本实施方式中，将未化妆图像以及妆图像都设为从正面拍摄脸部所得到的图像，但是，不限于此。例如，图像获得单元120也可以在获得了从斜方向拍摄脸部所得到的图像的情况下，适用公知的图像映射技术，将脸部图像映射为脸部的立体形状，生成从正面观察脸部时的图像。此外，在映射中使用的脸部的立体形状也可以使用标准的脸部的立体形状，还可以使用基于立体图像从该立体图像获得的立体形状等。
另外，化妆辅助装置100也可以显示从正面以外的方向拍摄脸部所得到的图像。例如，脸部器官获得单元130以脸部的特征点为基准，进行图像中的二维坐标系、和脸部的立体形状的三维坐标系之间的相关联。而且，妆提示单元150以及实施妆获得单元170基于上述相关联进行参考妆的图像化或者获得实施妆。
另外，化妆辅助装置100也可以获得加入了z轴上的差值后的三维差值， 作为参考妆与实施妆之间的涂敷范围的差值，将这样的差值使用于妆评价。
<妆的除去>
另外，本实施方式中，设为在参考妆提示模式下，输入拍摄未化妆脸部所得到的图像，但是不限于此。例如，图像获得单元120也可以当在参考妆提示模式下输入的脸部为化妆脸部时，使用公知的图像处理技术(例如，参照专利文献4)，从妆图像生成未化妆图像。
<参考妆的选择>
另外，本实施方式中，设为，在参考妆存储单元140只存储了有关预先选择的一个妆模式的参考妆信息，但是不限于此。
例如，也可以对多个妆样式(pattern)，预先准备表示各妆样式的妆信息，妆提示单元150或者妆评价单元180基于规定的选择条件将一个妆样式确定为参考妆。作为该规定的选择条件，例如，可以采用与上述的选择基准适合这一条件。
另外，例如，在多个妆模式与脸部特征量的组相关联时，可以作为上述选择条件，采用是与距未化妆脸部或者妆脸部的脸部特征量的距离最近的组对应的妆样式这样的条件等。在此，所谓脸部特征量，是表示脸部的特征的规定的参数的值，例如，是脸部的长度相对脸部的宽度之比、鼻子的长度相对两眼间隔之比、以及眼睛的宽度相对脸部的宽度之比等由多个值构成的多变量数据。
例如，如以下那样进行脸部特征量的分组。首先，对于实施了妆的不确定多数的脸部的脸部特征量的样本进行主成分分析。而且，对于主成分分析结果，通过以主成分值是否为1σ以上等为判定基准的公知的主成分分层法，来对该主成分分析结果进行分组。
另外，例如，多个妆样式也可以与地域、妆样式的分类(成熟的妆、看起来可爱的妆等)、年龄、其他信息相对应。在这种情况下，化妆辅助装置100也可以通过带触摸面板的显示器等从用户接受输入等，获得这样的信息，缩选到对应的妆样式，由此确定为参考妆。
<他的提示内容>
另外，化妆辅助装置100也可以在参考妆提示模式下，生成并显示化妆过程中的脸部的仿真图像，而不是进行了全部的化妆后的脸部的仿真图像。另外，如上述那样，化妆辅助装置100在对各妆设定了涂敷顺序的情况下， 也可以按照该涂敷顺序，依次生成并显示化妆过程中的脸部的仿真图像。由此，化妆辅助装置100能够对用户提示适当的化妆顺序。
另外，化妆辅助装置100也可以通过文本提示与参考妆的区域之间的相关联、以及参考妆的颜色和浓度。该文本例如是“请在以两颧骨的最高位置为中心的直径大约4cm的范围，偏浓地涂敷B1公司的产品编号b55的腮红。”这样的内容。即使只是根据文本信息，用户也能够想象出进行了参考妆的化妆后的脸部。对于这样的用户，即使通过这样的提示方法也能够充分地辅助化妆。
另外，化妆辅助装置100也可以对每个妆类别、或者颜色、涂敷浓度、涂敷范围等每个其他属性进行妆评价以及妆评价的提示。化妆辅助装置100也可以在评价结果图像中突出显示妆中的评价较高的部分和评价较低的部分。
另外，化妆辅助装置100也可以提示表示怎样修正妆可以成为与参考妆更接近的妆的建议信息。例如，化妆辅助装置100显示为“眉毛过宽。口红的颜色过浓。”。
另外，化妆辅助装置100也可以与妆图像重叠地提示评价结果和建议信息。在这种情况下，优选使用箭头记号等与作为评价或者建议的对象的妆类别对应地提示各信息。
另外，化妆辅助装置100也可以不必对每个妆类别获得实施妆。例如，化妆辅助装置100也可以只对脸部整体的色调进行评价，并将其评价结果进行提示。这样的评价例如在对妆的整体的色调(冷色系、暖色系等)进行评价的情况或对以只涂敷了粉底为前提的妆进行评价的情况等是适当的。
<其他结构的变形例>
另外，参考妆信息的提示对象也可以不必是以仿真图像的脸部为主。
另外，也可以不必在化妆辅助装置100中存储参考妆信息、化妆品信息、以及妆位置表。例如，在化妆辅助装置100可与网络连接的情况下，化妆辅助装置100访问存储有上述信息的网络上的服务器来获得参考妆信息、化妆品信息、以及实施妆即可。
另外，化妆辅助装置100例如也可以是只将图2所示的功能单元中的拍摄单元110以及显示单元200配置在用户持有的终端，将其他装置单元配置在网络上的服务器上等分散配置型系统。
另外，也可以构成为，实施妆获得单元170检测户外光，在减轻了户外光的影响的状态下，从图像获得妆。
另外，对于妆的具体内容，不限定于上述例子。例如，作为评价对象的脸部用妆，包括睫毛膏、唇膏等。
本发明的化妆辅助装置包括：图像获得单元，其获得对实施了化妆的脸部进行拍摄所得到的图像；实施妆获得单元，其从所述图像获得所述化妆的方式即实施妆；妆评价单元，其比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价；以及评价提示单元，其向所述用户提示所述评价的结果。
此外，在上述化妆辅助装置中，也可以是，分别由一个规定的参数的值或多个规定的参数的值的组合来定义所述实施妆和所述参考妆，所述妆评价单元基于所述实施妆和所述参考妆之间的每个所述规定的参数的值的差值进行所述评价。
另外，上述化妆辅助装置中，也可以是，所述妆评价单元基于所述值的差值计算表示所述实施妆和所述参考妆之间的近似程度的评价值，所述评价提示单元向所述用户提示所述评价值。
另外，上述化妆辅助装置中，也可以还包括：参考妆存储单元，其对于每个所述脸部器官，存储与该脸部器官对应的所述参考妆；以及脸部器官获得单元，其从所述图像获得所述脸部的脸部器官的区域，所述实施妆获得单元对每个所述脸部器官，基于所述脸部器官的所述区域获得所述实施妆，所述妆评价单元对每个所述脸部器官，比较所述实施妆和所述参考妆。
另外，上述化妆辅助装置中，也可以是，所述实施妆和所述参考妆至少包括皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围，还包括妆提示单元，该妆提示单元将所述参考妆与对应的所述脸部器官的区域相关联地向用户提示。
本发明的化妆辅助方法包括以下步骤：获得对实施了化妆的脸部进行拍摄所得到的图像的步骤；从所述图像获得所述化妆的方式即实施妆的步骤；比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价的步骤；以及向所述用户提示所述评价的结果的步骤。
本发明的化妆辅助程序使计算机执行以下处理：获得对实施了化妆的脸部进行拍摄所得到的图像的处理；从所述图像获得所述化妆的方式即实施妆 的处理；比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆进行评价的处理；以及向所述用户提示所述评价的结果的处理。
在2013年2月1曰提交的日本专利申请特愿2013-018276号包含的说明书、附图以及摘要的公开内容全部引用于本申请。
工业实用性
本发明作为能够适当地进行包括了提高化妆技术的化妆辅助的化妆辅助装置、化妆辅助方法、以及化妆辅助程序是有用的。
标号说明
100 化妆辅助装置
110 拍摄单元
120 图像获得单元
130 脸部器官获得单元
140 参考妆存储单元
150 妆提示单元
160 妆位置表存储单元
170 实施妆获得单元
180 妆评价单元
190 评价提示单元
200 显示单元
权利要求书(按照条约第19条的修改)
1.化妆辅助装置，包括：
图像获得单元，其获得对实施了化妆的脸部进行拍摄所得到的图像；
实施妆获得单元，其从所述图像获得所述化妆的方式即实施妆；
妆评价单元，其比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆的每个部分评价所述实施妆；以及
评价提示单元，其向所述用户提示所述图像和所述评价的结果，在所述图像中突出显示所述实施妆中的所述评价较高的部分以及所述评价较低的部分中的至少一者。
2.如权利要求1所述的化妆辅助装置，
所述实施妆以及所述参考妆分别由一个规定的参数的值或多个规定的参数的值的组合来定义，
所述妆评价单元基于所述实施妆和所述参考妆之间的每个所述规定的参数的值的差值，进行所述评价。
3.如权利要求2所述的化妆辅助装置，
所述妆评价单元基于所述值的差值，计算表示所述实施妆和所述参考妆之间的近似程度的评价值，
所述评价提示单元向所述用户提示所述评价值。
4.如权利要求1所述的化妆辅助装置，还包括：
参考妆存储单元，其对每个所述脸部器官，存储与该脸部器官对应的所述参考妆；以及
脸部器官获得单元，其从所述图像获得所述脸部的脸部器官的区域，
所述实施妆获得单元对每个所述脸部器官，基于所述脸部器官的所述区域，获得所述实施妆，
所述妆评价单元对每个所述脸部器官，比较所述实施妆和所述参考妆。
5.如权利要求2所述的化妆辅助装置，
所述实施妆以及所述参考妆至少还包括皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围，
还包括妆提示单元，该妆提示单元将所述参考妆与对应的所述脸部器官的区域相关联而向用户提示。
6.化妆辅助方法，包括以下步骤：
获得对实施了化妆的脸部进行拍摄所得到的图像的步骤；
从所述图像获得所述化妆的方式即实施妆的步骤；
比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆的每个部分评价所述实施妆的步骤；以及
向所述用户提示所述图像以及所述评价的结果，在所述图像中突出显示所述实施妆中的所述评价较高的部分以及所述评价较低的部分中的至少一者的步骤。
7.化妆辅助程序，其使计算机执行以下处理：
获得对实施了化妆的脸部进行拍摄所得到的图像的处理；
从所述图像获得所述化妆的方式即实施妆的处理；
比较进行了所述化妆的用户要参考的参考妆和所述实施妆，而对所述实施妆的每个部分评价所述实施妆的处理；以及
向所述用户提示所述图像以及所述评价的结果，在所述图像中突出显示所述实施妆中的所述评价较高的部分以及所述评价较低的部分中的至少一者的处理。