化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序.pdf

化妆辅助装置(100)具有：化妆提示单元(270)，其生成在拍摄了面部的图像上重叠表示对面部适用了化妆时的状态的图像而得到的模拟图像；化妆修正单元(290)，其受理用户对所生成的模拟图像所包含的化妆图像的修正；修正信息记录单元(300)，其对使用相对于面部特征点的相对位置表示修正后的化妆图像的区域的修正信息进行记录。

权利要求书
1.  一种化妆辅助装置，具有：
化妆提示单元，其在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像，生成模拟图像；
化妆修正单元，其受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正；以及
修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录。

2.  根据权利要求1所述的化妆辅助装置，还具有：
图像取得单元，其取得所述图像；
特征点取得单元，其从所取得的所述图像中取得面部特征点；以及
显示单元，其对所生成的所述模拟图像进行显示。

3.  根据权利要求2所述的化妆辅助装置，
所述修正记录单元将所述修正信息保存于所述化妆辅助装置以外的装置的用户能够利用的存储介质。

4.  根据权利要求3所述的化妆辅助装置，
还具有化妆信息存储单元，所述化妆信息存储单元对使用相对于所述面部特征点的相对位置表示修正前的所述化妆图像的区域的化妆信息进行存储，
所述修正信息包括表示修正前的所述化妆图像的区域的信息和表示修正后的所述化妆图像的区域相对于修正前的所述化妆图像的区域的差的信息。

5.  根据权利要求4所述的化妆辅助装置，
所述修正包括所述化妆图像的平行移动、旋转、放大、缩小和变形中的至少一方，
所述化妆信息包括表示修正前的所述化妆图像的区域相对于所述面部特征点的所述相对位置的信息，
所述修正信息包括使用基于所述面部特征点的配置的面部坐标系表示修正后的所述化妆图像的区域相对于修正前的所述化妆图像的区域的差的信息。

6.  根据权利要求5所述的化妆辅助装置，
所述化妆信息包括表示对所述化妆图像的区域设定的成为向设定于所述图像的面部参照点进行对准的对象的化妆参照点的位置的信息，
所述化妆辅助装置还具有参照点设定单元，所述参照点设定单元将所取得的所述面部特征点作为基准而对所述图像设定面部参照点，
所述化妆提示单元通过将所述化妆图像的所述化妆参照点的位置对准于所设定的面部参照点的位置，决定对于所述图像的所述化妆图像的区域，
所述修正信息包括使用所述面部坐标系表示修正后的所述化妆图像的区域的所述化妆参照点的位置相对于所述面部参照点的默认位置的差的信息。

7.  根据权利要求6所述的化妆辅助装置，
还具有拍摄所述面部的影像的拍摄单元，
所述图像取得单元取得构成所述影像的图像，
所述显示单元随着所述影像依次显示所述模拟图像，
所述参照点设定单元在所述修正被设定之后，按照所述修正信息来设定所述面部参照点的位置。

8.  一种化妆辅助系统，其包括第1化妆辅助装置和第2化妆辅助装置，
所述第1化妆辅助装置具有：第1化妆提示单元，其在拍摄了第1面部的第1图像上重叠表示对所述第1面部适用了化妆时的状态的化妆图像而生成第1模拟图像；化妆修正单元，其受理用户对所生成的所述第1模拟图像所包含的所述化妆图像的修正；和修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录，
所述第2化妆辅助装置具有：修正取得单元，其取得所记录的所述修正信息；和第2化妆提示单元，其生成基于所取得的所述修正信息在拍摄 了第2面部的第2图像上重叠修正后的所述化妆图像而得到的第2模拟图像。

9.  一种化妆辅助方法，包括：
生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像的步骤；
受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的步骤；以及
对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的步骤。

10.  一种化妆辅助程序，其使计算机执行：
在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而生成模拟图像的处理；
受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的处理；以及
对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的处理。

说明书化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序
技术领域
本公开涉及辅助面部的化妆(make up)的化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序。
背景技术
近年来，面部化妆的方法(以下，简称为“化妆”)越来越多样化。从无数个选择项中选择适当的化妆，特别是对于没有足够化妆知识的人而言是很困难的。这是因为实际尝试所有的化妆来进行判断和比较需要花费大量时间和工夫。
因此，例如在专利文献1以及专利文献2中记载了生成适用了化妆时的面部的模拟图像并进行提示的技术。在专利文献1以及专利文献2所记载的技术中，取得对成为化妆对象的面部(以下，简称为“面部”)进行拍摄而得到的图像(以下称为“面部图像”)。而且，在专利文献1以及专利文献2所记载的技术中，在面部图像上重叠表示对面部适用了化妆时的化妆的状态的图像(以下称为“化妆图像”)，生成模拟图像并进行显示。以下，模拟图像的生成以及显示称为“化妆模拟”。
另外，在专利文献1所记载的技术中，能够受理用户对所显示的模拟图像所包含的化妆图像的修正的设定。
根据专利文献1以及专利文献2所记载的技术(以下称为“以往技术”)，不实际进行化妆而能够判断化妆的优劣。即，能够以较少的时间和工夫来选择适当的化妆。另外，根据以往技术，关于对作为化妆模拟的对象而默认准备的化妆进行了修正后的化妆(以下称为“修正化妆”)，用户也能够简单地进行化妆模拟。
可是，在修正化妆中，可能会存在其他用户希望要尝试的修正化妆。 例如，存在由著名化妆师创作的修正化妆、被很多用户使用而正在流行的修正化妆。
现有技术文献
专利文献1：日本特开2001-346627号公报
专利文献2：日本特开2007-175384号公报
专利文献3：日本特开2003-44837号公报
专利文献4：日本特开2007-257165号公报
发明内容
然而，在以往技术中，将由某个用户创作的修正化妆适用于其他用户是很困难的。这是因为：面部器官的大小、形状以及配置因人而异，如何将修正化妆的化妆图像贴附于其他用户的面部图像成为问题。
本公开的目的在于，提供一种能够将由某个用户创作的修正化妆也简单适用于其他用户的化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序。
本公开的一个技术方案的化妆辅助装置具有：化妆提示单元，其生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像；化妆修正单元，其受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正；以及修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录。
本公开的一个技术方案的化妆辅助系统是包括第1化妆辅助装置和第2化妆辅助装置的化妆辅助系统，所述第1化妆辅助装置具有：第1化妆提示单元，其生成在拍摄了第1面部的第1图像上重叠表示对所述第1面部适用了化妆时的状态的化妆图像而得到的第1模拟图像；化妆修正单元，其受理用户对所生成的所述第1模拟图像所包含的所述化妆图像的修正；和修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录，所述第2化妆辅助装置具有：修 正取得单元，其取得所记录的所述修正信息；和第2化妆提示单元，其生成基于所取得的所述修正信息在拍摄了第2面部的第2图像上重叠修正后的所述化妆图像而得到的第2模拟图像。
本公开的一个技术方案的化妆辅助方法包括：生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像的步骤；受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的步骤；以及对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的步骤。
本公开的一个技术方案的化妆辅助程序，使计算机执行：生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像的处理；受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的处理；以及对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的处理。
根据本公开，能够将由某个用户创作的修正化妆也简单适用于其他用户。
此外，包括性或具体的技术方案可以通过系统、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现。另外，包括性或具体的技术方案也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
附图说明
图1是表示本公开的实施方式1的化妆辅助装置的构成的一例的框图。
图2是表示本公开的实施方式2的化妆辅助装置的构成的一例的框图。
图3是表示实施方式2中的面部特征点的一例的图。
图4是表示实施方式2中的面部坐标系的一例的图。
图5是表示实施方式2中的化妆表的内容的一例的图。
图6是表示实施方式2中的化妆信息表的内容的一例的图。
图7是表示实施方式2中的化妆的范围的具体内容的一例的图。
图8是表示实施方式2中的模拟图像的生成方法的一例的图。
图9是表示实施方式2中的平行移动时的面部参照点的移动情形的一例的图。
图10是表示实施方式2中的旋转时的面部参照点的移动情形的一例的图。
图11是表示实施方式2中的放大缩小时的面部参照点的移动情形的一例的图。
图12是表示实施方式2中的变形时的面部参照点的移动情形的一例的图。
图13是表示实施方式2的化妆辅助装置的动作的一例的流程图。
图14是表示在实施方式2中取得的拍摄图像的一例的图。
图15是表示在实施方式2中生成的面部特征点信息的一例的图。
图16是表示在实施方式2中生成的面部参照点信息的一例的图。
图17是表示在实施方式2中生成的模拟图像的一例的图。
图18是表示在实施方式2中生成的修正后的模拟图像的一例的图。
图19是表示在实施方式2中记录的修正信息的一例的图。
图20是表示实施方式2中的其他用户的面部的模拟图像的一例的图。
具体实施方式
以下，参照附图对本公开的各实施方式进行详细说明。
(实施方式1)
本公开的实施方式1是本公开的基本技术方案的一例。
图1是表示本实施方式的化妆辅助装置的构成的一例的框图。
在图1中，化妆辅助装置100具有化妆提示单元270、化妆修正单元290以及修正信息记录单元300。
化妆提示单元270生成在拍摄了面部的图像上重叠表示对面部适用了化妆时的化妆的状态的化妆图像而得到的模拟图像。
化妆修正单元290受理用户对所生成的模拟图像所包含的化妆图像的 修正。
修正信息记录单元300对使用相对于面部特征点的相对位置表示修正后的化妆图像的区域的修正信息进行记录。
虽然未图示，但化妆辅助装置100例如具有CPU(Central Processing Unit：中央处理单元)、存储有控制程序的ROM(Read Only Memory：只读存储器)等存储介质、以及RAM(Random Access Memory：随机存取存储器)等作业用存储器。该情况下，上述的各单元的功能通过CPU执行控制程序来实现。
这种化妆辅助装置100能够使用相对于面部特征点的相对位置来记录由某个用户创作的修正化妆的化妆图像的区域。面部特征点通常是不取决于面部器官的大小、形状以及配置的个人差异而能够从面部取得的信息。因此，化妆辅助装置100能够将由某个用户创作的修正化妆也简单适用于其他用户。
(实施方式2)
本公开的实施方式2是本公开的具体技术方案的一例。本实施方式是将本公开应用于具备数码摄像机以及带触摸面板的显示器的装置的例子。
<用语的说明>
首先，对本实施方式中使用的用语进行说明。
“面部器官”是指眼、眉、鼻、颊骨、唇、轮廓等构成面部的部分。
“面部器官ID”是指面部器官的识别信息。
“面部特征点”是指图像上或者实际空间上的眉头、眉尾、大眼角以及眼梢等面部器官的特征点。
“面部特征点ID”是指面部特征点的识别信息。
“化妆”表示眉妆、眼影等对面部器官的特征性印象进行修正来实现审美性提高的化妆的方法(种类)，至少包括色素的颜色、涂抹浓度以及涂抹范围。
“化妆信息”是表示化妆的内容的信息，至少包括为了从面部图像生成对面部适用了化妆时的图像所需要的信息(表示与面部颜色的差的信 息)。
“化妆类别”是指“粉底”、“眉妆”、“眼影”、“口红”以及“颊妆”等至少通过与面部器官的位置关系而区别的化妆的种类。
“化妆ID”是指化妆的识别信息。
“化妆图像”是表示对面部适用了化妆时的化妆的状态的图像。
<化妆辅助装置的构成>
接着，对本实施方式的化妆辅助装置的构成进行说明。
图2是表示本实施方式的化妆辅助装置的构成的一例的框图。
在图2中，化妆辅助装置100具有拍摄单元210、图像取得单元220、特征点取得单元230、参照点设定单元240、化妆信息存储单元250、化妆选择单元260、化妆提示单元270、显示单元280、化妆修正单元290以及修正信息记录单元300。
拍摄单元210例如是数码摄像机，拍摄成为化妆模拟的对象的面部的影像。并且，拍摄单元210将所拍摄的影像输出给图像取得单元220。影像由时间序列的多个图像(帧图像)构成。此外，在本实施方式中，成为化妆模拟的对象的面部为化妆辅助装置100的用户的面部。
图像取得单元220从所输入的影像中依次取得构成影像的图像。并且，图像取得单元220将所取得的图像(以下称为“拍摄图像”)输出给化妆提示单元270以及特征点取得单元230。此外，图像取得单元220为了给用户提供一种一边照镜子一边进行化妆的感觉，优选对拍摄图像进行使其左右反转的图像处理。另外，拍摄图像包括成为化妆模拟的对象的面部的图像的部分(以下称为“面部图像”)。
特征点取得单元230从所输入的拍摄图像中取得各面部器官的面部特征点。面部特征点的取得例如通过拍摄图像的各部分区域与预先准备的设定了面部特征点的位置的各面部器官的模板图像的匹配来进行(例如，参照专利文献3)。并且，特征点取得单元230将面部特征点信息输出给参照点设定单元240。在此，面部特征点信息是指表示所取得的各面部特征点的识别信息以及位置的信息。面部特征点的详细内容稍后叙述。
此外，面部图像不限于从正面拍摄面部得到的图像。因此，化妆辅助装置100也可以根据用户的面部的朝向对面部器官的模板图像进行适当变形来进行变形后的模板图像与拍摄图像的匹配。该情况下，化妆辅助装置100例如具备从拍摄图像中检测拍摄图像所包含的面部的朝向的检测单元。由此，化妆辅助装置100能够灵活地跟随用户的面部的活动，并从面部图像中取得面部特征点。
参照点设定单元240以从拍摄图像取得的面部特征点为基准，基于预先设定的规则，在面部图像上设定面部参照点。在此，面部参照点是指用于决定化妆图像的区域的位置的点，是成为后述的化妆参照点的对准的对象的点。并且，参照点设定单元240将面部参照点信息输出给化妆提示单元270以及化妆修正单元290。在此，面部参照点信息是指表示所设定的面部参照点的识别信息以及位置的信息。
此外，在本实施方式中，参照点设定单元240将面部参照点的初始位置设定为面部特征点的位置。并且，参照点设定单元240在被从后述的化妆修正单元290输入了修正信息的情况下(即，修正被设定之后)，按照修正信息，重新设定面部参照点的位置。
化妆信息存储单元250存储有化妆表以及化妆信息表。化妆表对作为面部整体的化妆的模式的多个化妆模式进行定义。化妆信息表按构成化妆模式的每个化妆类别而记述化妆信息。化妆信息是将化妆的内容与面部器官的区域(面部特征点的位置)进行关联而记述的信息。化妆表以及化妆信息表的详细内容稍后叙述。
在本实施方式中，化妆信息是将化妆的内容与面部特征点进行关联而记述的信息。更具体而言，化妆信息是使用相对于面部特征点的相对位置来表示进行后述的修正之前的默认的化妆图像的区域的信息。更具体而言，化妆信息是表示化妆参照点相对于化妆图像的区域的位置的信息。在此，化妆参照点是指成为向设定于面部图像的面部参照点进行对准的对象的点。即，面部参照点以及化妆参照点是化妆图像相对于面部图像的区域的位置的基准点。
化妆选择单元260受理用户从化妆信息表所记述的多个化妆中选择一个的选择操作。所述选择操作例如经由上述的带触摸面板的显示器来进行。并且，化妆选择单元260将所选择的化妆的化妆信息从化妆信息表中取得而输出给化妆提示单元270。
化妆提示单元270基于化妆信息，生成将所选择的化妆的化妆图像重叠而得到的模拟图像。更具体而言，化妆提示单元270通过将化妆图像的化妆参照点的位置对准于所设定的面部参照点的位置，决定化妆图像相对于面部图像的区域。并且，化妆提示单元270将所生成的模拟图像输出给显示单元280。模拟图像的生成方法的详细内容稍后叙述。
显示单元280例如包括上述的带触摸面板的显示器的显示器部分。显示单元280基于所输入的模拟图像的图像数据，显示模拟图像。更具体而言，显示单元280随着所拍摄的影像，依次显示模拟图像。
化妆修正单元290例如经由上述的带触摸面板的显示器受理用户对所生成的模拟图像所包含的化妆图像的修正。修正包括化妆图像的平行移动、旋转、放大、缩小和变形中的至少一方。化妆修正单元290生成修正信息并输出给修正信息记录单元300以及参照点设定单元240。
在此，修正信息是使用相对于面部特征点的相对位置来表示修正后的化妆图像的区域的信息，包含参照点差信息。在此，参照点差信息是指表示面部参照点从默认的位置如何进行了移动的信息。更具体而言，参照点差信息是使用面部坐标系表示修正后的化妆图像的区域的化妆参照点的位置(面部参照点的位置)相对于面部参照点的默认位置的差的信息。面部坐标系的详细内容以及化妆图像的修正方法的详细内容稍后叙述。
修正信息记录单元300对所输入的修正信息进行记录。更具体而言，修正信息记录单元300将修正信息保存于化妆辅助装置100以外的装置的用户能够利用的存储介质。所述记录例如通过与因特网等通信网络连接而发送到通信网络上的共用服务器来进行。
此外，虽然未图示，但化妆辅助装置100例如具有CPU、存储有控制程序的ROM等存储介质以及RAM等作业用存储器。该情况下，上述的 各单元的功能通过CPU执行控制程序来实现。
这种化妆辅助装置100能够使用相对于面部特征点的相对位置来记录由某个用户创作的修正化妆的化妆图像的区域。
接着，依次对面部特征点、面部坐标系、化妆表的内容、化妆信息表的内容、模拟图像的生成方法、化妆图像的修正方法以及修正信息的内容进行详细说明。
<面部特征点>
图3是表示面部特征点的一例的图。
如图3所示，从面部图像(仅图示一部分)411中，例如按每个面部器官提取多个面部特征点412(图中，由圈中带十字的标记来表示)。面部特征点412主要配置在面部器官的边缘、锐角部、中央部等。面部特征点412的配置因面部而异。
<面部坐标系>
图4是表示面部坐标系的一例的图。
如图4所示，面部坐标系421例如是如下的坐标系：将经过左眼中心422以及右眼中心423的轴设为X轴，将与X轴垂直且经过左眼中心422与右眼中心423之间的中点的轴设为Y轴。此外，面部坐标系的单位长度优选是以左眼中心与右眼中心之间的距离为基准的长度等与多个面部特征点之间的距离成比例的长度。
此外，面部坐标系不限于图4所示的例子。例如，面部坐标系也可以由经过鼻尖和右眼眼梢的轴和经过鼻尖和左眼眼梢的轴来定义。另外，这些轴也可以按颊妆、眼影、眉妆等化妆类别分别单独进行定义。
<化妆表的内容>
图5是表示化妆信息存储单元250存储的化妆表的内容的一例的图。
如图5所示，化妆表430将化妆模式431与化妆ID432进行关联而记述。化妆模式431在此进行了简化图示，具体而言，例如包括“可爱”、“酷”等表示与化妆相关的形象(image)的文本信息。
化妆选择单元260例如通过将化妆模式431的“可爱”、“酷”等文本 信息作为选择项进行显示，从用户受理上述的化妆的选择操作。
<化妆信息表的内容>
图6是表示化妆信息存储单元250存储的化妆信息表的内容的一例的图。
如图6所示，化妆信息表440例如将化妆ID441、化妆类别442、颜色443、浓度444以及范围445进行关联而记述。它们构成化妆信息。
化妆ID441与化妆表430的化妆ID432(参照图5)对应。化妆类别442在此进行了简化图示，具体是指“眉妆”、“粉底”、“眼影”、“口红”以及“颊妆”等。
颜色443、浓度444以及范围445的组至少包含为了使实施了化妆的状态图像化所需的信息。
颜色443在此进行了简化图示，具体是指RGB值以及光泽度等。浓度444在此进行了简化图示，具体是指重叠于面部图像上时的透过度以及浓淡(gradation))方式等。范围445在此进行了简化图示，具体是指与一个或多个化妆参照点对应的涂抹区域的相对的范围。
图7是表示左眼眼影的范围445(参照图6)的具体内容的一例的图。
如图7所示，左眼眼影的范围445由三个化妆参照点451和对相对于化妆参照点451的相对位置进行了设定的涂抹区域452的组合构成。它们的相对位置关系例如使用以化妆参照点451为基准的坐标系来定义。
此外，化妆的流行的变化很快，应该提示的化妆的变化也很快。因此，化妆表430以及化妆信息表440优选例如经由化妆辅助装置100所具备的通信电路(未图示)定期地从因特网上的服务器进行更新。另外，图5所示的化妆表430以及图6所示的化妆信息表440也可以综合到一个表中。
<模拟图像的生成方法>
图8是表示模拟图像的生成方法的一例的图。
如图8所示，针对面部图像设定了与图7所示的三个化妆参照点451对应的三个面部参照点453。
化妆提示单元270在保持涂抹区域452相对于三个面部参照点453的 的相对位置的状态下，进行将三个化妆参照点451分别对准于对应的三个面部参照点453的处理(以下称为“参照点对准处理”)。
三个面部参照点453的相对位置关系(三角形454的形状)并不限于与三个化妆参照点451的相对位置关系(三角形455的形状)一致。另外，在使面部图像的分辨率与化妆信息表示的默认的化妆图像的分辨率一致时，三个面部参照点453之间的相对距离(三角形454的大小)并不限于与三个化妆参照点451之间的相对距离(三角形455的大小)一致。
因此，在它们的相对位置关系或者相对距离不同的情况下，化妆提示单元270通过使用仿射(affine)变换等公知的图像处理技术对涂抹区域452进行放大、缩小或者变形，进行参照点对准处理。
然后，化妆提示单元270使用进行了参照点对准处理之后的涂抹区域452来生成化妆图像。然后，化妆提示单元270在面部图像上使用进行了参照点对准处理之后的涂抹区域，进行所选择的化妆的化妆图像的重叠，生成模拟图像。化妆图像例如基于面部器官信息和化妆信息而生成。
此外，模拟图像中的图像的重叠例如通过Alpha(α)Blend处理等公知的图像合成处理来进行。该情况下的α值设定为与化妆的浓度相应的值。AlphaBlend处理例如由以下的式(1)～(3)来表示。在此，r1、g1、b1是拍摄图像的任意区域的RGB值。另外，r2、g2、b2是化妆图像的任意区域的RGB值。并且，R、G、B是模拟图像的对应区域的RGB值。
R＝r2×α+r1×(1-α)…(1)
G＝g2×α+g1×(1-α)…(2)
B＝b2×α+b1×(1-α)…(3)
另外，对各个化妆分别设定重叠于面部进行涂抹的情况下的顺序(以下称为“涂抹顺序”)，并且，化妆图像是与浓度相应的密度的阴影线图像。涂抹顺序例如规定了脸颊的涂抹应该在粉底的涂抹之后。该情况下，化妆提示单元270也可以通过针对除眉面部图像将各化妆图像按照与涂抹顺序相应的顺序进行后一层涂抹处理，进行图像的重叠。
此外，化妆提示单元270在进行包括眉妆的化妆模拟的情况下，优选 使用从拍摄图像中除去眉的图像来生成模拟图像。作为从拍摄图像中除去眉的技术，能够采用专利文献4所记载的技术等公知的图像处理技术。
<化妆图像的修正方法>
化妆修正单元290首先从模拟图像所显示的化妆中选择成为修正对象的化妆。然后，化妆修正单元290从平行移动、旋转、放大缩小以及变形这种修正类别中选择要执行的修正类别。进而，化妆修正单元290基于所选择的修正类别来决定修正的程度。此外，进行修正的修正类别的顺序既可以预先设定，也可以是用户能够任意选择。
化妆修正单元290经由上述的触摸面板显示器从用户受理上述的化妆的选择、修正类别的选择以及修正程度的决定。具体而言，化妆修正单元290首先对化妆的选择项以及修正类别的选择项进行表示。然后，在选择了化妆以及修正类别时，化妆修正单元290受理对面部参照点的拖拽操作。此外，化妆修正单元290优选在模拟图像上通过标记(mark)来表示面部参照点的位置。然后，在进行了表示修正结束的预定的操作时，化妆修正单元290生成表示从面部参照点的初始状态起的差的修正信息。
图9是表示平行移动时的面部参照点的移动情形的一例的图。
设为选择平行移动而针对多个面部参照点453中的任一个进行了拖拽操作。该情况下，化妆修正单元290取得进行了拖拽操作的面部参照点453的移动方向以及移动量。然后，如图9所示，化妆修正单元290使成为修正对象的化妆的其他的全部面部参照点453按照与进行了拖拽操作的面部参照点453相同的移动方向以及相同的移动量进行移动。
平行移动的分辨率例如为右眼中心与左眼中心之间的距离的百分之一。另外，从初始状态起的最大的移动量例如为右眼中心与左眼中心之间的距离。
平行移动例如由平行移动后的面部参照点453相对于初始位置在面部坐标系上的差ΔX、ΔY来表示。
图10是表示旋转时的面部参照点的移动情形的一例的图。
设为选择旋转而针对多个面部参照点453中的任一个进行了拖拽操 作。该情况下，化妆修正单元290取得进行了拖拽操作的面部参照点453的相对于预先设定的修正基准点461的旋转方向以及旋转角。然后，如图10所示，化妆修正单元290使成为修正对象的化妆的其他的全部面部参照点453相对于上述修正基准点461按照相同的旋转方向以及相同的旋转角进行旋转。
旋转的分辨率例如为0.01度。另外，从初始状态起的最大的旋转角为±45度。
旋转例如由移动后的面部参照点453的相对于初始位置的沿逆时针的旋转角θ来表示。
图11是表示放大缩小时的面部参照点的移动情形的一例的图。
设为选择放大缩小而针对多个面部参照点453中的任一个进行了拖拽操作。该情况下，化妆修正单元290取得进行了拖拽操作的面部参照点453离预先设定的修正基准点461的X轴方向距离以及Y轴方向距离。然后，化妆修正单元290取得相对于初始状态的离修正基准点461的X轴方向距离的放大缩小率RX以及相对于初始状态的离修正基准点461的Y轴方向距离的放大缩小率RY。然后，如图11所示，化妆修正单元290使成为修正对象的化妆的其他的全部面部参照点453离上述修正基准点461的距离按照相同的放大缩小率进行变化。
放大缩小的分辨率例如为1％。另外，放大缩小的范围为50％～200％。
图12是表示变形时的面部参照点的移动情形的一例的图。
设为选择变形而针对多个面部参照点453中的任一个进行了拖拽操作。该情况下，化妆修正单元290使成为修正对象的化妆的其他的面部参照点453不移动，而取得进行了拖拽操作的面部参照点453的移动方向以及移动量。
变形例如由进行了拖拽操作的面部参照点453的识别信息和该面部参照点453相对于初始位置在面部坐标系上的差ΔX、ΔY来表示。
此外，旋转以及放大缩小所需要的修正基准点461例如对于眉妆和鼻影而言为眉头的面部参照点。对于上睑眼影、下睑眼影、上睫毛液以及下 睫毛液而言，修正基准点461为眼球中心的面部参照点。
但是，修正基准点461也可以不一定与面部参照点453的位置一致。例如，修正基准点461也可以设为面部的中心位置、每个化妆的面部参照点的重心位置。另外，修正基准点也可以按每个修正类别而不同。进而，修正基准点461也可以由用户任意设定。
另外，对于眉妆等左右对称的化妆，化妆修正单元290既可以在左右的化妆分别受理修正，也可以使对一方的化妆进行的修正反映于另一方的化妆(即左右联动)。
经过以上所述的修正而生成的修正信息，例如针对各参照点而言包括X轴方向的移动量(ΔX)、Y轴方向的移动量(ΔY)、旋转量(θ)、X轴方向的比例尺(RX)以及Y轴方向的比例尺(RY)。
<化妆辅助装置的动作>
接着，对化妆辅助装置100的动作进行说明。
图13是表示化妆辅助装置100的动作的一例的流程图。
首先，在步骤S1100中，拍摄单元210开始拍摄用户面部的影像，图像取得单元220开始取得构成所拍摄的影像的拍摄图像。另外，特征点取得单元230开始取得拍摄图像所包含的面部的面部器官。
此时，特征点取得单元230例如通过对拍摄图像进行解析，从拍摄图像中提取面部的(面部器官的)特征点。然后，特征点取得单元230根据所取得的面部特征点来生成面部特征点信息。
图14是表示在图13的步骤S1100中取得的拍摄图像的一例的图。
如图14所示，拍摄图像510包含用户的面部图像511。用户为没有化妆的状态。从拍摄图像510中，例如提取图3所示的面部特征点，生成面部特征点信息。
图15是表示在图13的步骤S1100中生成的面部特征点信息的一例的图。
如图15所示，面部特征点信息520例如按面部器官ID521和面部特征点ID522的组合，记述面部特征点位置523以及人ID524。
面部器官ID521是左眼、上唇等面部器官的识别信息。面部特征点ID522是眉头的面部特征点、眼中心的面部特征点等面部特征点的识别信息。面部特征点位置523是面部特征点的位置，例如由面部坐标系的坐标值来表示。人ID524是人的识别信息。人ID524例如在每次开始拍摄时，设定为经由对带触摸面板的显示器的操作等由用户指定的值。
然后，在图13的步骤S1200中，化妆选择单元260选择化妆，将化妆信息输出给化妆提示单元270。
然后，在图13的步骤S1300中，参照点设定单元240基于面部特征点信息和预先设定的规则，设定面部参照点。即，参照点设定单元240将面部特征点的位置设定为面部参照点的初始位置。然后，参照点设定单元240生成面部参照点信息并输出给化妆提示单元270。
图16是表示在图13的步骤S1300中生成的面部参照点信息的一例的图。
如图16所示，面部参照点信息530按面部器官ID531和面部参照点ID532的组合，记述面部参照点位置533、修正基准位置534以及人ID535。
面部器官ID531和人ID535分别与面部特征点信息520的面部器官ID521和人ID524对应。面部参照点位置533是面部参照点的位置，例如由面部坐标系的坐标值来表示。修正基准位置534是修正基准点的位置，例如由面部坐标系的坐标值来表示。
然后，在图13的步骤S1400中，化妆提示单元270在将化妆参照点对准于面部参照点信息表示的面部参照点的位置的状态下，决定相对于面部图像的化妆图像的涂抹区域。然后，在所决定的涂抹区域，将化妆图像重叠于面部图像，生成模拟图像。然后，显示单元280显示所生成的模拟图像。
图17是表示在图13的步骤S1400中生成的模拟图像的一例的图。
如图17所示，模拟图像540成为在面部图像511上重叠了眉妆、眼影、眼线、颊妆以及口红的图像这样的化妆图像541～545的图像。
然后，在图13的步骤S1500中，化妆修正单元290判断是否存在对 化妆图像的修正操作。该修正操作具体而言例如是对面部参照点的拖拽操作。化妆修正单元290在存在对化妆图像的修正操作的情况下(S1500：是)，使处理进入步骤S1600。另外，化妆修正单元290在不存在对化妆图像的修正操作的情况下(S1500：否)，使处理进入后述的步骤S1900。
在步骤S1600中，化妆修正单元290将表示修正操作的内容的修正信息输出给参照点设定单元240。参照点设定单元240按照该修正信息，使化妆参照点的位置移动，生成修正后的模拟图像。
图18是表示在图13的步骤S1600中生成的修正后的模拟图像的一例的图。
例如，如图18所示，面部参照点被拖拽成使眼影542的涂抹区域向上外侧扩大。
然后，在图13的步骤S1700中，化妆修正单元290判定是否进行了记录修正内容的操作(以下称为“记录操作”)。该记录操作例如是预定图标的点击操作。在没有进行记录操作的情况下(S1700：否)，化妆修正单元290使处理进入后述的步骤S1900。另外，在进行了记录操作的情况下(S1700：是)，化妆修正单元290使处理进入步骤S1800。
在步骤S1800中，化妆修正单元290将表示该时刻的修正内容的修正信息保存(记录)在化妆辅助装置100以外的装置的用户能够利用的存储介质中。
图19是表示在图13的步骤S1800中记录的修正信息的一例的图。
如图19所示，修正信息550按面部器官ID551和面部参照点ID552的组合，记述位置的差553以及人ID554。
面部器官ID551、面部参照点ID552以及人ID554分别与面部参照点信息530的面部器官ID531、面部参照点ID532以及人ID535对应。位置的差553例如是上述的X轴方向的移动量(ΔX)、Y轴方向的移动量(ΔY)、旋转量(θ)、X轴方向的比例尺(RX)以及Y轴方向的比例尺(RY)。
然后，在图13的步骤S1900中，图像取得单元220判断影像是否继续输入。图像取得单元220在影像继续输入的情况下(S1900：是)，使处 理返回到步骤S1300，向接下来的拍摄图像转移处理。另外，图像取得单元220在影像结束输入的情况下(S1900：否)，结束一系列的处理。
通过上述的处理，记录了由某个用户创作的修正化妆的修正信息。修正信息如上所述是使用相对于面部特征点的相对位置对化妆图像的修正内容进行了记述的信息。因此，例如，在其他的装置中，能够对在其他的用户的面部图像上适用了修正信息表示的修正内容的化妆图像进行合成，生成模拟图像。
该情况下，其他的装置生成模拟图像的步骤例如与化妆辅助装置100生成模拟图像的步骤相同。其他的装置(其他的化妆辅助装置)需要具有取得由化妆辅助装置100记录的修正信息的修正取得单元。并且，其他的装置需要具有基于所取得的修正信息来生成在拍摄其他的面部的图像上重叠修正后的化妆图像而得到的其他的模拟图像的化妆提示单元。
此外，应用了修正信息的化妆既可以是与成为修正对象的化妆相同的化妆，也可以是与成为修正对象的化妆不同的化妆。例如，也可以对颜色与成为修正对象的化妆不同的化妆，应用修正信息。
图20表示将所记录的修正信息适用于其他用户的面部时的模拟图像的一例。
如图20所示，对于与创作了修正化妆的模拟图像的面部不同的面部的面部图像561，也能够适用该创作的修正化妆。即，眼影562适合于面部图像561，并且与原来的修正化妆同样，涂抹区域向上外侧放大。
如上所述，本实施方式的化妆辅助装置100能够使用相对于面部特征点的相对位置来记录由某个用户创作的修正化妆的化妆图像的区域。面部特征点通常是不取决于面部器官的大小、形状以及配置的个人差异而能够从面部取得的信息。因此，这种化妆辅助装置100能够将由某个用户创作的修正化妆也简单应用于其他用户。
此外，化妆辅助装置100也可以构成包括多个化妆辅助装置100并在该多个化妆辅助装置100之间共用修正信息的化妆辅助系统。
该情况下，化妆辅助系统优选具有上述的配置于通信网络上的服务器 并将由各化妆辅助装置100生成的修正信息收集并存储于该服务器。
另外，该情况下，服务器也可以根据所收集的修正信息对化妆的趋势进行解析，基于解析结果对各化妆辅助装置100的用户提议修正化妆。另外，服务器也可以基于解析结果生成化妆信息而发布给各化妆辅助装置100。
<修正信息的其他形式>
此外，修正信息的形式并不限定于上述的例子。例如，修正信息也可以是使化妆参照点移动而表示移动后的化妆参照点的位置相对于默认的化妆参照点的位置的差的信息。
<化妆的其他选择方法>
另外，化妆的选择方法并不限定于上述的例子。例如，化妆选择单元260也可以自动选择适于面部特征的化妆，还可以自动选择流行的化妆。
<其他构成的变形例>
另外，上述的各种表可以不一定存储于化妆辅助装置100。例如，在化妆辅助装置100能够连接于网络的情况下，化妆辅助装置100访问存储有上述表的网络上的服务器来选择化妆即可。
另外，化妆辅助装置100例如也可以是将图2所示的功能单元中的仅拍摄单元210以及显示单元280配置于用户所持的终端而将其他的装置单元配置于网络上的服务器上等的分散配置型的系统。
另外，化妆辅助装置100也可以对外部光进行检测而在减轻了外部光的影响的状态下从图像取得面部特征点。
另外，化妆辅助装置100也可以将化妆所需的化妆品的信息与模拟图像一起提示给用户。
本公开的化妆辅助装置具有：化妆提示单元，其生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像；化妆修正单元，其受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正；以及修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录。
此外，上述化妆辅助装置还可以具有：图像取得单元，其取得所述图像；特征点取得单元，其从所取得的所述图像中取得面部特征点；以及显示单元，其对所生成的所述模拟图像进行显示。
另外，在上述化妆辅助装置中，所述修正记录单元可以将所述修正信息保存于所述化妆辅助装置以外的装置的用户能够利用的存储介质。
另外，上述化妆辅助装置还可以具有化妆信息存储单元，所述化妆信息存储单元对使用相对于所述面部特征点的相对位置表示修正前的所述化妆图像的区域的化妆信息进行存储，所述修正信息可以包括表示修正前的所述化妆图像的区域的信息和表示修正后的所述化妆图像的区域相对于修正前的所述化妆图像的区域的差的信息。
另外，在上述化妆辅助装置中，所述修正可以包括所述化妆图像的平行移动、旋转、放大、缩小和变形中的至少一方，所述化妆信息可以包括表示修正前的所述化妆图像的区域相对于所述面部特征点的所述相对位置的信息，所述修正信息可以包括使用基于所述面部特征点的配置的面部坐标系表示修正后的所述化妆图像的区域相对于修正前的所述化妆图像的区域的差的信息。
另外，在上述化妆辅助装置中，所述化妆信息可以包括表示对所述化妆图像的区域设定的成为向设定于所述图像的面部参照点进行对准的对象的化妆参照点的位置的信息，所述化妆辅助装置还可以具有参照点设定单元，所述参照点设定单元将所取得的所述面部特征点作为基准而对所述图像设定面部参照点，所述化妆提示单元可以通过将所述化妆图像的所述化妆参照点的位置对准于所设定的面部参照点的位置，决定对于所述图像的所述化妆图像的区域，所述修正信息可以包括使用所述面部坐标系表示修正后的所述化妆图像的区域的所述化妆参照点的位置相对于所述面部参照点的所述默认位置的差的信息。
另外，上述化妆辅助装置还可以具有拍摄所述面部的影像的拍摄单元，所述图像取得单元可以取得构成所述影像的图像，所述显示单元可以随着所述影像依次显示所述模拟图像，所述参照点设定单元可以在所述修正被 设定之后，按照所述修正信息来设定所述面部参照点的位置。
本公开的化妆辅助系统包括第1化妆辅助装置和第2化妆辅助装置，所述第1化妆辅助装置具有：第1化妆提示单元，其生成在拍摄了第1面部的第1图像上重叠表示对所述第1面部适用了化妆时的状态的化妆图像而得到的第1模拟图像；化妆修正单元，其受理用户对所生成的所述第1模拟图像所包含的所述化妆图像的修正；和修正记录单元，其对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录，所述第2化妆辅助装置具有：修正取得单元，其取得所记录的所述修正信息；和第2化妆提示单元，其生成基于所取得的所述修正信息在拍摄了第2面部的第2图像上重叠修正后的所述化妆图像而得到的第2模拟图像。
本公开的化妆辅助方法包括：生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像的步骤；受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的步骤；以及对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的步骤。
本公开的化妆辅助程序使计算机执行：生成在拍摄了面部的图像上重叠表示对所述面部适用了化妆时的状态的化妆图像而得到的模拟图像的处理；受理用户对所生成的所述模拟图像所包含的所述化妆图像的修正的处理；以及对使用相对于面部特征点的相对位置表示修正后的所述化妆图像的区域的修正信息进行记录的处理。
产业上的可利用性
本公开作为能够将由某个用户创作的修正化妆也简单应用于其他用户的化妆辅助装置、化妆辅助系统、化妆辅助方法以及化妆辅助程序而有用。
附图标记说明
100 化妆辅助装置
210 拍摄单元
220 图像取得单元
230 特征点取得单元
240 参照点设定单元
250 化妆信息存储单元
260 化妆选择单元
270 化妆提示单元
280 显示单元
290 化妆修正单元
300 修正信息记录单元