《化妆辅助装置、化妆辅助方法、以及化妆辅助程序.pdf》由会员分享，可在线阅读，更多相关《化妆辅助装置、化妆辅助方法、以及化妆辅助程序.pdf（28页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104205162A43申请公布日20141210CN104205162A21申请号201480000924X22申请日20140122201301827920130201JPG06T1/00200601A45D44/0020060171申请人松下电器产业株式会社地址日本大阪府72发明人山梨智史浅井理惠子牟田葵西千枝安食香织74专利代理机构北京市柳沈律师事务所11105代理人邸万奎54发明名称化妆辅助装置、化妆辅助方法、以及化妆辅助程序57摘要本发明提供能够适当地进行以他人的妆为参考的化妆辅助的化妆辅助装置。化妆辅助装置100包括第一脸部器官获得单元130，其从拍摄第一脸部所。
2、得到的第一图像获得第一脸部的脸部器官的区域；第二脸部器官获得单元150，其从拍摄实施了化妆的第二脸部所得到的第二图像获得第二脸部的脸部器官的区域；参考妆获得单元170，其对第二脸部的每个脸部器官，基于第二脸部的脸部器官的区域，从第二图像获得化妆方式即妆；以及妆提示单元180，其使获得的妆与对应的第一脸部的脸部器官的区域相关联并向用户提示。30优先权数据85PCT国际申请进入国家阶段日2014092686PCT国际申请的申请数据PCT/JP2014/0003102014012287PCT国际申请的公布数据WO2014/119254JA2014080751INTCL权利要求书2页说明书12页附图1。
3、1页按照条约第19条修改的权利要求书2页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书12页附图11页按照条约第19条修改的权利要求书2页10申请公布号CN104205162ACN104205162A1/2页21化妆辅助装置，包括第一图像获得单元，其获得对第一脸部进行拍摄所得到的第一图像；第一脸部器官获得单元，其从所述第一图像获得所述第一脸部的脸部器官的区域；第二图像获得单元，其获得对实施了化妆的第二脸部进行拍摄所得到的第二图像；第二脸部器官获得单元，其从所述第二图像获得所述第二脸部的脸部器官的区域；参考妆获得单元，其对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器。
4、官的所述区域，从所述第二图像获得所述化妆方式即妆；以及妆提示单元，其使获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示。2如权利要求1所述的化妆辅助装置，所述妆至少包含皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围，所述参考妆获得单元基于所述第二脸部的脸部器官的所述区域，获得所述妆中的至少所述涂敷范围。3如权利要求1所述的化妆辅助装置，所述第二脸部器官获得单元从所述第二图像获得所述第二脸部的皮肤的颜色，所述参考妆获得单元基于所述皮肤的颜色，获得所述妆。4如权利要求1所述的化妆辅助装置，所述妆提示单元生成在所述第一图像上重叠表示对所述第一脸部实施了所述妆时的所述妆的状态的图像而。
5、得到的仿真图像，并提示所生成的所述仿真图像。5如权利要求1所述的化妆辅助装置，所述第一图像获得单元在所述第一图像所包含的所述第一脸部为实施了化妆的状态时，根据所述第一图像，生成未化妆状态的所述第一脸部的图像即化妆除去图像，所述妆提示单元生成在所述化妆除去图像上重叠表示对所述第一脸部实施了所述妆时的所述妆的状态的图像所得到的仿真图像，并提示生成的所述仿真图像。6如权利要求1所述的化妆辅助装置，所述妆提示单元还提示与实施所述妆而需要的化妆品有关的信息。7化妆辅助方法，包括以下步骤获得对第一脸部进行拍摄所得到的第一图像的步骤；从所述第一图像获得所述第一脸部的脸部器官的区域的步骤；获得对实施了化妆的第。
6、二脸部进行拍摄所得到的第二图像的步骤；从所述第二图像获得所述第二脸部的脸部器官的区域的步骤；对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆的步骤；以及使获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示的步骤。8化妆辅助程序，使计算机执行以下的处理获得对第一脸部进行拍摄所得到的第一图像的处理；从所述第一图像获得所述第一脸部的脸部器官的区域的处理；获得对实施了化妆的第二脸部进行拍摄所得到的第二图像的处理；权利要求书CN104205162A2/2页3从所述第二图像获得所述第二脸部的脸部器官的区域的处理；对所述第二脸部的每个。
7、脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆的处理；以及使获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示的处理。权利要求书CN104205162A1/12页4化妆辅助装置、化妆辅助方法、以及化妆辅助程序技术领域0001本发明涉及辅助脸部的化妆MAKEUP的化妆辅助装置、化妆辅助方法以及化妆辅助程序。背景技术0002近年来，脸部化妆方式以下简称为“妆”不断多样化。实际地尝试所有的妆来进行判断及比较需要大量的时间和工夫。因此，从无数的选择项中选择适当的妆，特别是对于化妆没有足够知识的人来说，是尤其困难的。0003因此，例如在专利文献1和。
8、专利文献3中记载了生成进行化妆时的脸部的仿真图像并进行提示的技术。专利文献1和专利文献3中记载的技术以下称为“现有技术”获得拍摄作为化妆对象的脸部以下简称为“脸部”所得到的图像。另外，现有技术中，对于获得的图像，重叠表示将口红或腮红胭脂等施于脸部时的化妆状态的图像，而生成仿真图像。而且，现有技术中，使显示装置显示生成的仿真图像。0004在这样的现有技术中，能够不用实际地进行化妆而判断妆的好坏，从而能够以更少的时间和工夫选择适当的妆。0005现有技术文献0006专利文献0007专利文献1日本特开2001346627号公报0008专利文献2日本特开200344837号公报0009专利文献3日本特开。
9、2012113747号公报0010专利文献4日本特开2007257165号公报发明内容0011发明要解决的问题0012然而，进行化妆的人有时会抱有想要确认他人实施的妆是否也适合自己的欲望。例如，朋友通过化妆而看起来非常美的情况、或在杂志或电视上看到化了崭新的妆的艺人或模特儿的情况。根据上述的现有技术，能够通过指定期望的妆，根据仿真图像容易地进行这样的确认。0013然而，为了指定与他人的妆相同的妆，必须首先确定该妆的细节皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围等，进而进行输入所确定的妆的信息的操作。另一方面，特别地在这样的对方为艺人或模特儿的情况下非常难以咨询妆的细节。另外，判断他人实施的妆的。
10、细节，特别地对于化妆没有足够的知识的人来说是很困难的。0014现有技术没有考虑以他人的妆为参考的化妆辅助。0015本发明的目的在于提供能够适当地进行以他人的妆为参考的化妆辅助的化妆辅助装置、化妆辅助方法、以及化妆辅助程序。0016解决问题的方案说明书CN104205162A2/12页50017本发明的化妆辅助装置包括第一图像获得单元，其获得对第一脸部进行拍摄所得到的第一图像；第一脸部器官获得单元，其从所述第一图像获得所述第一脸部的脸部器官的区域；第二图像获得单元，其获得对实施了化妆的第二脸部进行拍摄所得到的第二图像；第二脸部器官获得单元，其从所述第二图像获得所述第二脸部的脸部器官的区域；参考妆。
11、获得单元，其对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆；以及妆提示单元，其使获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示。0018本发明的化妆辅助方法包括以下步骤获得对第一脸部进行拍摄所得到的第一图像的步骤；从所述第一图像获得所述第一脸部的脸部器官的区域的步骤；获得对实施了化妆的第二脸部进行拍摄所得到的第二图像的步骤；从所述第二图像获得所述第二脸部的脸部器官的区域的步骤；对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆的步骤；以及使获得的所述妆与对应的所述。
12、第一脸部的所述脸部器官的区域相关联并向用户提示的步骤。0019本发明的化妆辅助程序，使计算机执行以下的处理获得对第一脸部进行拍摄所得到的第一图像的处理；从所述第一图像获得所述第一脸部的脸部器官的区域的处理；获得对实施了化妆的第二脸部进行拍摄所得到的第二图像的处理；从所述第二图像获得所述第二脸部的脸部器官的区域的处理；对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆的处理；以及使获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示的处理。0020发明效果0021根据本发明，能够适当地进行以他人的妆为参考的化妆辅助。附图说明0。
13、022图1是表示一例本发明实施方式1的化妆辅助装置的结构的方框图。0023图2是表示一例本发明实施方式2的化妆辅助装置的结构的方框图。0024图3是表示一例实施方式2中的妆位置表的图。0025图4是表示一例实施方式2中的妆颜色表的图。0026图5是表示一例实施方式2中的化妆品表的图。0027图6是表示一例实施方式2的化妆辅助装置的动作的流程图。0028图7是表示一例实施方式2中的用户图像的图。0029图8是表示一例实施方式2中的脸部的特征点的配置的图。0030图9是表示一例实施方式2中的用户脸部器官信息的图。0031图10是表示一例实施方式2中的模特儿图像的图。具体实施方式0032实施方式10。
14、033本发明实施方式1是本发明的基本方式的一例。0034图1是表示一例本实施方式的化妆辅助装置的结构的方框图。0035图1中，化妆辅助装置100具有第一图像获得单元120、第一脸部器官获得单元说明书CN104205162A3/12页6130、第二图像获得单元140、第二脸部器官获得单元150、参考妆获得单元170、以及妆提示单元180。0036第一图像获得单元120获得对第一脸部进行拍摄所得到的第一图像。第一脸部是作为生成化妆的仿真图像的对象的脸部。0037第一脸部器官获得单元130从第一图像获得第一脸部的脸部器官的区域。0038第二图像获得单元140获得对实施了化妆的第二脸部进行拍摄所得到的。
15、第二图像。第二脸部例如是刊登在杂志上的模特儿的脸部。0039第二脸部器官获得单元150从第二图像获得第二脸部的脸部器官的区域。0040参考妆获得单元170对第二脸部的每个脸部器官，基于第二脸部的脸部器官的区域，从第二图像获得作为化妆方式的妆。0041妆提示单元180使获得的妆与对应的第一脸部的脸部器官的区域相关联并向用户提示。用户例如是具有第一脸部的本人等、要对第一脸部进行化妆的人。0042虽然未图示，但例如化妆辅助装置100具有CPUCENTRALPROCESSINGUNIT，中央处理单元、存储控制程序的ROMREADONLYMEMORY，只读存储器等存储介质、以及RAMRANDOMACCE。
16、SSMEMORY，随机存取存储器等工作用存储器。在这种情况下，通过CPU执行控制程序来实现上述的各单元的功能。0043这样的化妆辅助装置100能够对每个脸部器官获得在第二脸部实施的化妆的妆，并使获得的妆与第一脸部的脸部器官的区域相关联并向用户提示。例如可以采用他人的脸部，作为第二脸部。因此，化妆辅助装置100可以适当地进行以他人的妆为参考的化妆辅助。0044实施方式20045本发明实施方式2是本发明的具体方式的一例。本实施方式是将本发明适用于具有数码照相机和带触摸面板的显示器的装置的例子。00460047首先说明本实施方式中使用的术语。0048所谓“脸部器官”是指眼睛、眉毛、鼻子、颧骨、嘴唇、。
17、脸形等给脸部的印象赋予特征的部分。0049所谓“脸部器官ID”是脸部器官的识别信息。0050所谓“脸部器官的区域”是指在图像上或实际空间上脸部器官所占的区域，包括眼梢等脸部器官的特征点的位置。0051所谓“妆”表示化妆方式种类，至少包括皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围。0052所谓“参考妆信息”是表示作为接受化妆辅助的用户应该参考的妆而被选择出的妆的信息。0053所谓“化妆品信息”是与用于适用妆的皮肤用化妆品有关的信息。0054所谓“妆类别”是至少利用与脸部器官之间的位置关系区别的妆的种类。例如“粉底”、“眼影”、“口红”、以及“腮红”等。0055所谓“化妆品ID”是皮肤用化妆品的识。
18、别信息，是能够确定化妆品信息的信息。0056说明书CN104205162A4/12页70057下面，说明本实施方式的化妆辅助装置的结构。0058图2是表示一例本实施方式的化妆辅助装置的结构的方框图。0059图2中，化妆辅助装置100具有拍摄单元110、第一图像获得单元120、第一脸部器官获得单元130、第二图像获得单元140、第二脸部器官获得单元150、妆信息存储单元160、参考妆获得单元170、妆提示单元180、以及显示单元190。0060拍摄单元110例如是数字照相机，进行图像的拍摄。0061第一图像获得单元120使用拍摄单元110来拍摄化妆辅助装置100的用户的脸部第一脸部。以下，称为“。
19、用户的脸部”图像。而且，第一图像获得单元120获得被拍摄的用户的脸部的图像第一图像。以下，称为“用户图像”，并输出到第一脸部器官获得单元130以及妆提示单元180。0062第一图像获得单元120提醒用户拍摄脸部，例如在显示器显示“请拍摄作为化妆对象的脸部”这样的消息等，从而进行用户图像的拍摄。此外，本实施方式中，将用户图像设为从正面拍摄用户的脸部所得到的图像。0063第一脸部器官获得单元130从输入的用户图像获得用户脸部的脸部器官的区域。例如，通过用户图像的各部分区域、和预先准备的各脸部器官的模板图像之间的匹配例如，参照专利文献2获得脸部器官的区域。而且，第一脸部器官获得单元130将获得的脸部。
20、器官的识别信息以及表示区域的信息以下，称为“用户脸部器官信息”输出到参考妆获得单元170。0064第二图像获得单元140使用拍摄单元110拍摄用户想要作为妆的参考的模特儿的脸部第二脸部。以下，称为“模特儿的脸部”的图像。模特儿的脸部的图像例如是时装杂志中刊登的照片。而且，拍摄单元110获得被拍摄的模特儿的脸部的图像第二图像。以下，称为“模特儿图像”，并输出到第二脸部器官获得单元150以及参考妆获得单元170。0065第二图像获得单元140催促用户拍摄模特儿的脸部的照片，例如在显示器显示“请拍摄想参考的妆的脸部”这样的消息等，从而进行模特儿图像的拍摄。此外，在本实施方式中，将模特儿图像设为对从正。
21、面拍摄模特儿的脸部所得到的照片是从正面进行拍摄所得到的图像。0066第二脸部器官获得单元150从输入的模特儿图像获得模特儿的脸部的脸部器官的区域。例如，通过模特儿图像的各部分区域、和预先准备的各脸部器官的模板图像之间的匹配例如，参照专利文献2获得脸部器官的区域。而且，第二脸部器官获得单元150将所获得的脸部器官的识别信息以及表示区域的信息以下，称为“模特儿脸部器官信息”输出到参考妆获得单元170。0067妆信息存储单元160对每个妆类别预先存储与脸部器官的区域之间的位置关系、以及使妆的颜色和化妆品信息的组对应的妆信息。妆信息例如包括妆位置表、妆颜色表、以及化妆品表。另外，可从参考妆获得单元17。
22、0参照这些信息。0068妆位置表是对每个妆类别规定妆的涂敷范围的与脸部器官的区域之间的位置关系的表。换言之，这样的位置关系是后述的参考妆获得单元170从图像提取妆时的妆的提取基准。妆颜色表是对妆类别和妆颜色的每个组合记载了要推荐的化妆品的化妆品ID的表。化妆品表是对每个化妆品ID记载了化妆品的详细内容的表。0069图3是表示一例妆位置表的图。说明书CN104205162A5/12页80070如图3所示，妆位置表510中，与脸部器官ID511和区域512的组合相关联地记载了妆类别513。0071例如，对于“P2”这样的脸部器官ID511和“R2”这样的区域512的组合，使“T2”这样的妆类别51。
23、3与其相关联。这表示在相对“P2”这样的脸部器官ID511的区域的“R2”这样的区域512中适用的妆是“T2”这样的妆类别513。0072例如，设为“P2”表示右眼，“R2”表示与脸部器官的区域的上端相邻，且以脸部的长度的百分之一以下的宽度按皮肤色以外的同一颜色连续的区域。而且，设为与这些对应的“T2”表示眼线。这种情况表示，在与右眼的区域的上端相邻，以脸部的长度的百分之一以下的宽度按皮肤颜色以外的同一颜色连续的区域存在时，该区域是眼线的区域。0073图4是表示一例妆颜色表的图。0074如图4所示，妆颜色表520中，例如对妆类别521和颜色522的每个组合，记载了化妆品ID523。妆类别521。
24、与妆位置表510的妆类别513对应。0075例如，对于“T2”这样的妆类别521和“C2”这样的颜色522的组合，使“I2”这样的化妆品ID523与其相关联。这表示在对“T2”这样的妆类别的妆使用“C2”这样的颜色的情况下，应该使用“I2”这样的化妆品ID的化妆品。0076图5是表示一例化妆品表的图。0077如图5所示，化妆品表530中，对每个化妆品ID531，记载了公司ID532以及产品编号533。化妆品ID531与妆颜色表520的化妆品ID523对应。公司ID532是皮肤用化妆品的制造或者销售公司的名称或者标识。产品编号533是皮肤用化妆品的产品编号。0078例如，对于“I2”这样的化妆品。
25、ID531，使“B1”这样的公司ID532以及“B23”这样的产品编号533与其相关联。这表示“I2”这样的化妆品ID是指“B1”这样的公司ID所表示的公司的“B23”这样的产品编号的皮肤用化妆品。0079此外，化妆辅助装置100中，也可以将图4所示的妆颜色表520和图5所示的化妆品表530合并在一个表中。0080图2的参考妆获得单元170对模特儿的脸部的每个脸部器官，基于模特儿的脸部的脸部器官的区域，从模特儿图像获得适用于模特儿的脸部的妆。更具体地，参考妆获得单元170对每个脸部器官，基于妆位置表510参照图3规定的提取基准，检测有无实施了化妆的区域。而且，参考妆获得单元170在存在实施了化。
26、妆的区域的情况下，获得该区域，作为妆的涂敷范围。并且，参考妆获得单元170从模特儿图像获得在该区域所实施的化妆的颜色以及涂敷浓度。后面叙述有关妆获得的细节。0081另外，参考妆获得单元170获得为了适用所获得的妆所需要的化妆品的化妆品信息。例如，使用存储在妆信息存储单元160中的化妆品表530参照图5获得该化妆品信息。0082而且，参考妆获得单元170将表示获得的妆的参考妆信息、以及获得的化妆品信息输出到妆提示单元180。在本实施方式中，设为参考妆信息至少包含根据脸部的图像生成对该脸部实施了化妆时的图像所需要的信息。0083妆提示单元180使参考妆信息表示的妆与对应的用户的脸部的脸部器官的区域。
27、相关联并向用户提示。更具体地，妆提示单元180基于输入的用户图像以及参考妆信息生成仿真图像，将生成的仿真图像输出到显示单元190。这里，仿真图像是在输入拍摄的说明书CN104205162A6/12页9用户图像上重叠实施了参考妆信息表示的妆从模特儿图像获得的妆的化妆时的图像所得到的图像。0084此外，例如通过阿尔法混合处理等公知的图像合成处理进行图像的重叠。这种情况下，将阿尔法值设定为与妆的浓度相应的值。例如利用以下的式13表示阿尔法混合处理。在此，R1、G1、B1是拍摄到的图像的任意区域的RGB值，R2、G2、B2是妆的颜色的RGB值。而且，R、G、B是仿真图像的对应区域的RGB值。0085R。
28、R2R1110086GG2G1120087BB2B1130088另外，对每个妆设定了在脸部重叠进行涂敷时的顺序以下，称为“涂敷顺序”，并且，设为实施了化妆时的图像是与浓度相应的密度的挂网图像。涂敷顺序例如规定了应该在涂敷粉底后涂敷腮红。这种情况下，也可以对于拍摄到的图像，将各妆的图像按照与涂敷顺序相应的顺序进行重叠涂敷处理，从而进行图像的重叠。0089另外，妆提示单元180还提示输入的化妆品信息。更具体地，妆提示单元180在上述仿真图像上重叠或者追加表示输入的化妆品信息的图像或者文本。0090显示单元190例如是显示器，对于化妆辅助装置100的用户显示提示所输入的仿真图像以及化妆品信息。009。
29、1此外，虽然未图示，但是化妆辅助装置100例如具有CPU、存储控制程序的ROM等存储介质、以及RAM等工作用存储器。在这种情况下，通过CPU执行控制程序来实现上述的各单元的功能。00920093作为从图像获得妆的方法，例如可以采用以下的方法。0094参考妆获得单元170首先根据脸部器官的区域的配置，确定耳朵或脖子等表现了与模特儿的脸部的皮肤颜色近似的颜色的区域。参考妆获得单元170基于确定的区域的颜色、根据脸部器官的配置所估计的阴影的分布、根据脸部器官的类别嘴唇等所估计的每个脸部器官的颜色的分布等，估计皮肤的颜色分布。参考妆获得单元170对将脸部区域细致分割后的每个分割区域，计算所估计的皮肤的。
30、颜色和图像中的实际颜色之差。而且，参考妆获得单元170将计算出的差为规定的阈值以上的分割区域判定为实施了化妆的区域以下，称为“涂敷分割区域”。0095参考妆获得单元170在判定出的涂敷分割区域中存在连续且颜色近似的多个涂敷分割区域时，提取该多个涂敷分割区域，作为实施了同一类别的化妆后的一个区域以下，称为“连续涂敷区域”。参考妆获得单元170对所提取的每个连续涂敷区域，判定是否与妆位置表510参照图3规定的提取基准的哪一个一致。而且，参考妆获得单元170获得与提取基准一致的连续涂敷区域作为妆的涂敷范围，根据该区域的图像中的颜色和对于对应区域估计出的皮肤的颜色，获得妆的颜色以及涂敷浓度。0096例。
31、如，通过进行与上述的阿尔法混合处理相反的处理，获得妆的颜色以及涂敷浓度。即，将上述的RGB值设为图像的颜色，将R1、G1、B1设为皮肤的颜色，使用式13计算与妆的颜色相当的R2、G2、B2和与妆的浓度相当的。但是，变量为四个而式中为三个，因此，需要假定这四个变量的任意一个例如，将阿尔法对每个化妆品设定为默认的值、说明书CN104205162A7/12页10或对多个图像位置进行运算，求最准确的值的组。0097具有这样的结构的化妆辅助装置100可以从拍摄该脸部所得到的图像中对每个脸部器官获得适用于他人的脸部的妆，使获得的妆与用户的脸部的脸部器官的区域相关联并向用户提示。00980099下面，对化妆。
32、辅助装置100的动作进行说明。0100图6是表示一例化妆辅助装置100的动作的流程图。化妆辅助装置100例如在每次由用户指示通过对带触摸面板的显示器操作来开始生成仿真图像时，执行图6所示的处理。0101首先，在步骤S1100中，第一图像获得单元120在拍摄单元110中拍摄用户的脸部第一脸部，获得用户图像第一图像。0102图7是表示一例在图6的步骤S1100中获得的用户图像的图。0103如图7所示，用户图像610包含用户的脸部的图像以下，称为“脸部图像”611。设为用户是未化妆的状态。0104然后，在图6的步骤S1200中，第一脸部器官获得单元130从用户图像610获得用户的脸部第一脸部的脸部器。
33、官。这时，第一脸部器官获得单元130例如对用户图像610进行解析，由此从用户图像610提取脸部的脸部器官的特征点。而且，第一脸部器官获得单元130获得由构成同一脸部器官的特征点形成的区域，作为脸部器官的区域。而且，第一脸部器官获得单元130根据获得的脸部器官的区域生成用户脸部器官信息。0105图8是表示一例在图6的步骤S1200中提取的脸部特征点的配置的图。0106如图8所示，从脸部图像611提取多个特征点用记号“”表示。例如，第1特征点621第4特征点624构成右眼。因此，第一脸部器官获得单元130获得由第1特征点621第4特征点624包围的区域625，作为右眼的区域。0107图9是表示一例。
34、在图6的步骤S1200中生成的用户脸部器官信息的图。0108如图9所示，用户脸部器官信息630例如对每个脸部器官ID631记载了区域632以及人ID633。区域632是表示图像中的脸部器官的区域的范围的信息，例如是图像上设定的坐标系的坐标值列表。人ID633例如设定为在每次开始拍摄时，由用户通过对带触摸面板的显示器操作等指定的值。0109然后，在图6的步骤S1300中，第二图像获得单元140在拍摄单元110中对模特儿的脸部第二脸部进行拍摄，获得模特儿图像第二图像。0110图10是表示一例在图6的步骤S1300中获得的模特儿图像的图。0111如图10所示，模特儿图像640包含模特儿的脸部图像64。
35、1。设为在模特儿的脸部实施了眉毛642、眼影643、眼线644、腮红645、以及口红646。0112然后，在图6的步骤S1400中，第二脸部器官获得单元150从模特儿图像640获得模特儿的脸部第二脸部的脸部器官包含脸部的特征点，并获得脸部器官的区域。而且，第二脸部器官获得单元150根据获得的脸部器官的区域生成模特儿脸部器官信息。这些处理与在步骤1200中说明过的处理是同样的。另外，模特儿脸部器官信息的结构与用户脸部器官信息的结构是同样的。0113然后，在步骤S1500中，参考妆获得单元170从模特儿图像640第二图像获得适说明书CN104205162A108/12页11用于模特儿的脸部的妆。具。
36、体地，参考妆获得单元170参照存储在妆信息存储单元160中的妆信息，根据模特儿图像640以及模特儿脸部器官信息，对每个脸部器官获得妆。另外，参考妆获得单元170将表示获得的妆的参考妆信息、以及与获得的妆对应的化妆品信息输出到妆提示单元180。0114图11是表示一例参考妆信息的图。0115如图11所示，例如，参考妆信息650与脸部器官ID651相关联地记载着颜色652、浓度653、以及范围654。0116颜色652在这里简化并图示，但是，具体地是RGB值以及光泽度等。浓度653在这里简化并图示，但是，具体地是在脸部图像上进行重叠时的透射度以及浓淡方式等。范围654在这里简化并图示，但是，具体地。
37、是距脸部的特征点的相对坐标群、中心点相对于特征点的相对位置和半径的组等。即，颜色652、浓度653以及范围654的组至少包含妆的图像化所需要的信息。0117此外，参考妆信息650也可以还记载皮肤用化妆品的涂敷模式。所谓皮肤用化妆品的涂抹模式例如在是眼影的情况下，是眼窝、眼线、眼下方等表示相对于脸部器官的相对范围的信息。0118然后，在图6的步骤S1600中，妆提示单元180基于用户图像以及参考妆信息，生成仿真图像，并使显示单元190显示。这时，妆提示单元180也使显示单元190显示化妆品信息。0119图12是表示一例在图6的步骤S1600中显示的仿真图像的图。0120如图12所示，仿真图像66。
38、0是在脸部图像611上重叠了眉毛、眼影、眼线、腮红、以及口红之类的脸部用妆的图像661665后的图像。0121另外，在仿真图像660中追加了表示化妆品信息的信息显示区域666。即，在仿真图像660中，也显示为了适用参考妆信息所表示的妆所需要的皮肤用化妆品的化妆品信息。用户可以在对显示的仿真图像660表示的妆满意的情况下，基于所显示的化妆品信息，得到需要的皮肤用化妆品，能够容易地进行实际的化妆。0122通过这样的动作，化妆辅助装置100能够显示对用户的脸部适用与他人脸部的妆同样的妆时的仿真图像。01230124如以上所示，本实施方式的化妆辅助装置100不需要确定用户的妆的细节和输入操作，而能够向。
39、用户提示有关他人的脸部的妆的仿真图像。因此，化妆辅助装置100能够适当地进行以他人的妆为参考的化妆辅助。01250126此外，参考妆获得单元170也可以获得利用化妆辅助装置100以外的装置拍摄到的图像作为用户图像或者模特儿图像。在这种情况下，例如，在化妆辅助装置100中设置用于与互联网等公众网连接的通信电路，参考妆获得单元170供给这样的通信电路获得需要的图像即可。0127另外，参考妆获得单元170也可以从模特儿图像中的实际的颜色以及浓度以外获得妆中的颜色以及浓度。例如，有时，在与模特儿的脸部的照片相同的页面，利用文本或者QR代码注册商标等的二维代码记载了与模特儿使用过的化妆品有关的信息。在这。
40、种情说明书CN104205162A119/12页12况下，参考妆获得单元170从对该页面进行拍摄所得到的图像中提取这样的信息，确定化妆品，从上述的妆信息确定颜色即可。另外，有时可根据化妆品估计标准的浓度。在这种情况下，参考妆获得单元170参照对每个化妆品记载了标准浓度的表，从确定的化妆品估计浓度即可。0128另外，参考妆获得单元170也可以进一步获得未化妆的模特儿的脸部的图像，基于未化妆的图像和实施了化妆的图像之间的差，获得模特儿的脸部的妆。01290130另外，在本实施方式中，将用户图像以及模特儿图像都设为从正面拍摄脸部所得到的图像，但是不限于此。例如，第一图像获得单元120以及第一脸部器官。
41、获得单元130也可以在获得了从斜方向拍摄脸部所得到的图像的情况下，适用公知的图像映射技术，将脸部图像映射为脸部的立体形状，生成从正面观察脸部时的图像。此外，对于在映射中使用的脸部的立体形状，也可以使用标准的脸部的立体形状，还可以使用基于立体图像从该立体图像获得的立体形状等。0131另外，化妆辅助装置100也可以生成并显示从正面以外的方向拍摄脸部所得到的图像。例如，第一脸部器官获得单元130以及第二脸部器官获得单元150以脸部的特征点为基准，进行图像的二维坐标系、以及脸部的立体形状的三维坐标系之间的相关。而且，参考妆获得单元170使用上述三维坐标系获得妆，将获得的妆，基于上述相关而映射到上述二维。
42、坐标系。01320133另外，本实施方式中，设为在用户图像中包含的用户的脸部为未化妆，但是不限定于此。例如，第一图像获得单元120也可以在用户图像所包含的用户的脸部是实施了化妆的状态时，使用公知的图像处理技术例如，参照专利文献4，从用户图像生成未化妆状态的用户的脸部的图像即化妆除去图像。在这种情况下，妆提示单元180生成在化妆除去图像上重叠表示对用户脸部适用了妆时的妆的状态的图像所得到的仿真图像，并提示生成的仿真图像即可。01340135另外，化妆辅助装置100也可以预先使能够购买到皮肤用化妆品的网站的链接信息，与要显示的化妆品信息相关联。在这种情况下，化妆辅助装置100在用户进行了对妆的确定。
43、操作时，能够通过通信网络显示对应的网站，能够更有效地对化妆进行辅助。另外，对于化妆品公司，也能够促进化妆品的销售。01360137另外，化妆辅助装置100也可以生成并显示化妆过程中的脸部的仿真图像，而不是进行了全部的化妆后的脸部的仿真图像。另外，如上述那样，在对各妆设定了涂敷顺序的情况下，化妆辅助装置100也可以按照该涂敷顺序依次生成化妆过程中的脸部的仿真图像并显示。由此，化妆辅助装置100能够对于用户提示适当的化妆顺序。0138另外，化妆辅助装置100也可以通过文本提示与选择的妆的区域之间的关联、以及选择的妆的颜色以及浓度。该文本例如是“请在以两颧骨的最高位置为中心的直径大约4CM的范围偏浓。
44、地涂敷B1公司的产品编号B55的腮红。”、“请在两眼下方的宽度1CM的范围较淡地涂敷B2公司的产品编号78的遮瑕膏。”之类的内容。即使只是根据文本信息，用说明书CN104205162A1210/12页13户也能够想象出进行了化妆后的脸部。对于这样的用户，即使通过这样的提示方法也能够充分地对化妆进行辅助。由此，化妆辅助装置100能够不用生成和显示图像而进行化妆辅助。01390140另外，化妆辅助装置100也可以利用仿真图像以外的方式进行妆提示。0141例如，将化妆辅助装置100连接到将皮肤用化妆品的化妆剂转印到规定的薄膜纸状介质的打印机。这样的薄膜容易剥离地携带被转印的化妆剂。因此，通过按压到皮。
45、肤，则容易将薄膜上的化妆剂转印到皮肤上。0142而且，化妆辅助装置100在用妆提示单元180中对薄膜设定与拍摄到的脸部的实际空间上的区域相同的形状和面积，指示打印机将妆转印到对应的区域。此外，薄膜可以是平面状，也可以是立体状。0143由此，化妆辅助装置100能够使妆在薄膜上分别与对应的区域相关联而向用户提示。0144用户在将印刷到该薄膜上的表示左右眼梢的点与用户的左右眼梢对上的状态下，将薄膜整体按压到脸部，由此，能够实际实施基于仿真图像选择的妆。即，用户能够不用进行按每个脸部器官涂敷化妆剂之类的作业，而简单且迅速地实施流行的妆。0145另外，化妆辅助装置100也可以利用数码照相机等拍摄用户的脸。
46、部的影像，对于构成拍摄影像的图像帧，实时地生成并显示仿真图像。在这种情况下，妆提示单元180与影像对应地保持暂时输入的参考妆信息所表示的妆的同时，对每个构成影像的图像，依次生成仿真图像并使显示单元190显示即可。01460147另外，参考妆信息的提示对方也可以不必是仿真图像的脸部第一脸部的主体人物。另外，第一脸部的主体人物和第二脸部的主体人物也可以不必是不同的人。例如将本发明也适用于想要再现过去实施过的妆但是忘记了其细节这样的情况。0148另外，也可以不必在化妆辅助装置100中存储有妆位置表、妆颜色表、以及化妆品表。例如，在化妆辅助装置100可与网络连接的情况下，化妆辅助装置100访问存储有上。
47、述表的网络上的服务器来生成参考妆信息以及获得化妆品信息即可。0149另外，化妆辅助装置100例如也可以是只将图2所示的功能单元中的拍摄单元110以及显示单元190配置在用户持有的终端，将其他装置单元配置在网络上的服务器上等分散配置型的系统。0150另外，也可以构成为，参考妆获得单元170检测出户外光，在减轻了户外光的影响的状态下，从图像获得妆。0151另外，对于妆的具体内容，不限定于上述例。例如，作为提示对象的妆，包括睫毛膏、唇膏等。0152本发明的化妆辅助装置包括第一图像获得单元，其获得对第一脸部进行拍摄所得到的第一图像；第一脸部器官获得单元，其从所述第一图像获得所述第一脸部的脸部器官的区域。
48、；第二图像获得单元，其获得对实施了化妆的第二脸部进行拍摄所得到的第二图像；第二脸部器官获得单元，其从所述第二图像获得所述第二脸部的脸部器官的区域；参考妆获得单元，其对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述说明书CN104205162A1311/12页14区域，从所述第二图像获得所述化妆方式即妆；以及妆提示单元，其使所获得的所述妆与对应的所述第一脸部的所述脸部器官的区域相关联并向用户提示。0153此外，也可以是，上述化妆辅助装置中，所述妆至少包含皮肤用化妆剂的颜色、涂敷浓度、以及涂敷范围，所述参考妆获得单元基于所述第二脸部的脸部器官的所述区域获得所述妆中的至少所述涂敷范围。。
49、0154另外，也可以是，在上述化妆辅助装置中，所述第二脸部器官获得单元从所述第二图像获得所述第二脸部的皮肤的颜色，所述参考妆获得单元基于所述皮肤的颜色获得所述妆。0155另外，也可以是，在上述化妆辅助装置中，所述妆提示单元生成在所述第一图像上重叠表示对所述第一脸部实施了所述妆时的所述妆的状态的图像所得到的仿真图像，并提示生成的所述仿真图像。0156另外，也可以是，在上述化妆辅助装置中，所述第一图像获得单元在所述第一图像包含的所述第一脸部为实施了化妆的状态时，根据所述第一图像，生成未化妆状态的所述第一脸部的图像即化妆除去图像，所述妆提示单元生成在所述化妆除去图像上重叠表示对所述第一脸部实施了所述妆时的所述妆的状态的图像所得到的仿真图像，并提示生成的所述仿真图像。0157另外，也可以是，在上述化妆辅助装置中，所述妆提示单元还提示与实施所述妆而需要的化妆品有关的信息。0158本发明的化妆辅助方法，包括以下步骤获得对第一脸部进行拍摄所得到的第一图像的步骤；从所述第一图像获得所述第一脸部的脸部器官的区域的步骤；获得对实施了化妆的第二脸部进行拍摄所得到的第二图像的步骤；从所述第二图像获得所述第二脸部的脸部器官的区域的步骤；对所述第二脸部的每个脸部器官，基于所述第二脸部的脸部器官的所述区域，从所述第二图像获得所述化妆方式即妆的步骤；以及使所获得的所述妆与对应的。