《一种虚拟试妆的方法和系统.pdf》由会员分享，可在线阅读，更多相关《一种虚拟试妆的方法和系统.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103870821 A (43)申请公布日 2014.06.18 CN 103870821 A (21)申请号 201410142373.2 (22)申请日 2014.04.10 G06K 9/00(2006.01) G06Q 30/02(2012.01) (71)申请人 上海影火智能科技有限公司 地址 200240 上海市剑川路 951 号 B 楼 304 室 (72)发明人 李仁杰 (54) 发明名称 一种虚拟试妆的方法和系统 (57) 摘要 本发明公开了一种非接触模拟式虚拟试妆方 法， 主要包括 ： 分析采集的图像， 根据人脸特征检 测试妆人员的面部图像， 选取。
2、合适的包含人脸的 图像作为试妆图像， 并根据试妆人员的离开动作 更新试妆图像 ； 接着分析试妆人员的模拟的实际 化妆过程的动作行为， 从而确定虚拟化妆所对应 的处理操作， 以及虚拟化妆处理参数 ； 基于虚拟 化妆处理参数和操作对所述的试妆图像进行图像 处理， 进行虚拟着妆， 实现虚拟化妆效果。 相应地， 本发明还公开了一种非接触模拟式虚拟试妆系 统。 实施本发明， 可实现基于图像处理的非接触模 拟式虚拟试妆， 提高营销效果和广告效应， 提高用 户购物体验， 避免公共卫生问题和设备被损坏问 题。 (51)Int.Cl. 权利要求书 3 页 说明书 6 页 附图 4 页 (19)中华人民共和国国家。
3、知识产权局 (12)发明专利申请 权利要求书3页 说明书6页 附图4页 (10)申请公布号 CN 103870821 A CN 103870821 A 1/3 页 2 1. 一种非接触模拟式虚拟试妆方法， 其特征在于， 具备以下步骤 ： 1) 确定或者更新试妆图像 ； 2) 分析试妆人员的模拟化妆的动作行为， 确定虚拟试妆处理参数和操作 ； 3) 基于虚拟试妆参数和操作， 对待处理试妆图像进行图像处理， 实现虚拟上妆。 2. 根据权利要求 1 所述的虚拟试妆方法， 其中， 所述步骤 1) 包括 ： 根据人脸特征确定合适的试妆图像， 其中， 所述人脸特征包括人脸轮廓、 嘴巴、 左眼、 右 眼， 。
4、只有所有的人脸特征都满足， 该图像才能作为合适的试妆图像。 3. 根据权利要求 1 所述的虚拟试妆方法， 其中， 所述步骤 1) 还包括 ： 当试妆图像不存在或者有更新指令， 更新试妆图像 ； 当试妆图像存在并且无更新指令， 则继续使用现有的试妆图像。 4. 根据权利要求 1 所述的虚拟试妆方法， 其特征在于， 所述步骤 2) 分析的试妆人员的 试妆动作行为包括 ： 指向动作、 涂抹动作、 洗脸动作、 离开动作， - 指向动作为用手指或者用手掌指向某一化妆品的动作确定相应产品参数信息 ； - 涂抹动作为试妆人员在脸部的涂抹动作， 检测涂抹范围和涂抹时间， 所述的涂抹动作 包括在脸部的涂抹动作包。
5、括手指或者手掌上下来回移动、 左右来回移动、 顺时针圆周运动 或者逆时针圆周运动 ； - 洗脸动作为捂下脸动作， 用来清除图像的虚拟化妆 ； -离开动作为在一个预设时间段Tr内没有检测到人脸则重新初始化试妆和更新试妆图 像。 5. 根据权利要求 1 和 4 所述的方法， 其中， 所述的涂抹范围， 其特征在于 ： 涂抹范围 St以下公式计算 St (Sc St-1) Sskin 其中， Sc为当前时刻手指头或者手掌中心部分的范围， St-1为上一时刻的涂抹范围， Sskin 为试妆图像上的人脸皮肤区域， 和分别是并运算和交运算， 如果手指头或者手掌中心 离开了人脸区域， 则涂抹范围 St将重新开。
6、始计算， 这样保证了动作的连续性， 所述的手指头 或 者手掌中心部分为预设的中心在手指头或者手掌中心的一个小范围。 6. 根据权利要求 1 和 4 所述的方法， 其中， 所述的涂抹时间按照以下公式计算 ： Tt Tc-T0 其中， Tc为当前时刻， T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 7. 根据权利要求 1 所述的虚拟试妆方法， 其特征在于， 所述步骤 3) 包括 ： 按照下式计算试妆图像上相应涂抹范围 ： 其中， (xc， yc) 为当前图像的涂抹范围 St的坐标点， (xr， yr) 为在试妆图像的涂抹范围 Sr的坐标点， (Dx， Dy) 为涂抹范围 St相对于涂抹范围。
7、 Sr的偏移， 偏移 (Dx， Dy) 通过不同的人 脸特征的偏移进行计算， 例如， 根据人脸轮廓特征计算轮廓的中心点的相对偏移， 即为当前 图像上的涂抹范围相对于试妆图像的相对偏移， 从而可以计算在试妆图像的涂抹范围。又 权 利 要 求 书 CN 103870821 A 2 2/3 页 3 例如， 根据多个人脸特征的相对偏移的平均值作为当前图像上的涂抹范围相对于试妆图像 的相对偏移。 8. 根据权利要求 1 所述的虚拟试妆方法， 其特征在于， 所述步骤 3) 还包括 ： 基于所述的化妆品参数、 涂抹范围、 涂抹时间， 对试妆图像进行局部或者全局图像处 理， 实现模拟上妆， 其中涂抹范围决定了。
8、待处理的人脸区域的范围， 涂抹时间决定了化妆品 在涂抹范围内的厚度、 均匀度。 与实际化妆过程相似， 涂抹时间越长， 则厚度越薄， 化妆色彩 越淡， 并且越均匀。所选的化妆品参数决定了化妆品的色系、 使用范围等特性。 9. 一种虚拟试妆处理系统， 其特征在于， 具备 ： 1) 试妆图像确定模块， 分析采集的图像， 确定或者更新试妆图像 ； 2) 虚拟试妆处理参数和操作确定模块， 分析试妆人员的模拟化妆的动作行为， 确定虚 拟试妆处理参数和操作 ； 3) 图像处理上妆模块， 对待处理试妆图像进行图像处理， 实现虚拟上妆。 10. 根据权利要求 9 所述的虚拟试妆系统， 其中， 所述试妆图像确定模。
9、块包括 ： 试妆图像确定子模块， 根据人脸特征确定合适的试妆图像， 所述人脸特征包括人脸轮 廓、 嘴巴、 左眼、 右眼， 只有所有的人脸特征都满足， 该图像才能作为合适的试妆图像。 11. 根据权利要求 9 所述的系统， 其中， 所述试妆图像确定模块还包括， 试妆图像更新子模块， 其特征在于当试妆图像不存在或者有更新指令， 更新试妆图像 ； 当试妆图像存在并且无更新指令， 则继续使用现有的试妆图像。 12. 根据权利要求 9 所述的系统， 其特征在于， 所述的虚拟试妆处理参数和动作确定模 块分析的试妆人员的试妆动作行为包括 指向动作、 涂抹动作、 洗脸动作、 离开动作， - 指向动作为用手指或。
10、者用手掌指向某一化妆品的动作确定相应产品参数信息 ； - 涂抹动作为试妆人员在脸部的涂抹动作， 检测涂抹范围和涂抹时间， 所述的涂抹动作 包括在脸部的涂抹动作包括手指或者手掌上下来回移动、 左右来回移动、 顺时针圆周运动 或者逆时针圆周运动 ； - 洗脸动作为捂下脸动作， 用来清除图像的虚拟化妆 ； -离开动作为在一个预设时间段Tr内没有检测到人脸则重新初始化试妆和更新试妆图 像。 13. 根据权利要求 9 和 12 所述的系统， 其中， 所述的涂抹范围 St以下公式计算 ： St (Sc St-1) Sskin 其中， Sc为当前时刻手指头或者手掌中心部分的范围， St-1为上一时刻的动作范。
11、围， Sskin 为试妆图像上的人脸皮肤区域， 和分别是并运算和交运算， 如果手指头或者手掌中心 离开了人脸区域， 则涂抹范围 St将重新开始计算， 这样保证了动作的连续性。 14. 根据权利要求 9 和 12 所述的系统， 其中， 所述的涂抹时间按照以下公式计算 ： Tt Tc-T0 其中， Tc为当前时刻， T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 15. 根据权利要求 9 所述的虚拟试妆系统， 其特征在于， 所述的图像处理上妆模块包 括 ： 涂抹范围映射子模块， 基于权利要求 13 所述的当前的涂抹范围， 按照下式计算在试妆 权 利 要 求 书 CN 103870821 A 。
12、3 3/3 页 4 图像上相应涂抹范围 ： 。 16. 根据权利要求 9 所述的虚拟试妆系统， 其特征在于， 图像处理上妆模块还包括 虚拟上妆子模块， 基于所述的化妆品参数、 涂抹范围、 涂抹时间， 对试妆图像进行局部 或者全局图像处理， 实现模拟化妆， 其中涂抹范围决定了待处理的人脸区域的范围， 涂抹时 间决定了化妆品在涂抹范围内的厚度、 均匀度 ； 与实际化妆过程相似， 涂抹时间越长， 则厚 度越薄， 化妆色彩越淡， 并且越均匀 ； 所选的化妆品参数决定了化妆品的色系、 使用范围等 特性。 权 利 要 求 书 CN 103870821 A 4 1/6 页 5 一种虚拟试妆的方法和系统 技术。
13、领域 0001 本发明涉及图像处理与识别技术， 特别涉及利用动作识别的非接触模拟式虚拟试 妆方法， 以及一种基于动作识别的非接触模拟式虚拟试妆装置。 背景技术 0002 因化妆是女性生活中的一个重要部分。对于消费者而言， 如何在众多产品中有效 地选择适合自己的化妆品成为最为关注的问题， 传统上消费者会选择到实体店铺进行试 妆， 通过反复试妆以选择自己满意的产品， 而随着电商经济的发展， 为了提高用户购物体 验， 一种虚拟化妆技术开始出现， 该技术在化妆品的选择与销售等方面都有重要的实用价 值。 0003 目前虚拟试妆程序大部分为纯软件程序， 以网站在线方式或以软件形式安装方式 供人们在终端使用。
14、， 如专利CN201110139084.3和CN201310171179.2。 这些程序从一定程度 上可以帮助消费者选择产品， 但仍然与实际有较大差距。 因此， 消费者通常仍会选择传统逛 商场或者实体店铺的方式进行试妆与购买。而对于商场或者产品厂商而言， 如何在人流密 集的场所或实体店铺吸引消费者， 突出自己产品的效果， 也是非常重要的问题。 对于商家而 言， 在商场或者实体店铺增加虚拟试妆系统， 能够增加消费者的购买欲望， 促进现场购买。 而纯软件虚拟试妆程序通常不适合这样的场所。 目前应用于实体类店铺的虚拟试妆系统还 比较少， 并且现有的该类虚拟试妆系统采用触摸屏或键盘的方式进行交互， 这。
15、样会存在和 实际试妆一样的公共卫生问题。此外由于在公共场所， 触摸屏或键盘很容易损坏或者被破 坏。 0004 有鉴于此， 本发明提出了一种基于动作识别的非接触模拟式的虚拟试妆方法， 以 及一种基于该方法的虚拟试妆装置， 采用分析试妆的动作行为， 该动作行为模拟了实际化 妆过程中的自然的动作行为， 从而实现虚拟化妆， 能够提高营销效果和广告效应， 提高用户 购物体验， 掌握产品使用过程和效果， 避免公共卫生问题和设备被损坏问题。 发明内容 0005 本发明解决的问题是提供一种非接触模拟式虚拟试妆方法及其系统， 能够提高营 销效果和广告效应， 防止公共卫生问题， 提高试妆效果。 0006 为了解决。
16、上述问题， 本发明提出了一种非接触式虚拟试妆方法， 包括以下步骤 ： 0007 确定或更新试妆图像， 分析采集的图像， 确定合适的面部图像作为试妆图像 ； 0008 试妆动作行为分析， 对试妆人员进行动作行为分析， 确定虚拟试妆处理参数和动 作 ； 0009 基于图像处理的虚拟上妆， 对试妆图像进行图像处理， 实现虚拟上妆 ； 0010 相应地， 本发明还提供了一种非接触式虚拟试妆装置， 包括 ： 0011 试妆图像确定模块， 分析采集的图像， 确定合适的面部图像作为试妆图像 ； 0012 虚拟试妆处理参数和动作确定模块， 分析对试妆动作行为， 确定处理参数和动 说 明 书 CN 103870。
17、821 A 5 2/6 页 6 作 ； 0013 图像处理上妆模块， 基于虚拟试妆参数和动作， 对待处理试妆图像进行图像处理， 实现虚拟上妆 ； 0014 因此， 本发明通过分析识别模拟的实际化妆行为动作， 实现基于图像处理的非接 触模拟式虚拟化妆， 能够提高营销效果和广告效应， 提高用户试妆体验， 避免公共卫生问题 和设备被损坏问题， 并有一定的趣味性。 附图说明 0015 图 1 显示为本发明的非接触模拟式虚拟试妆的一个实施例。 0016 图 2 显示为本发明的处理单元的一个实施装置。 0017 图 3 显示为本发明的非接触模拟式虚拟试妆方法的流程图。 0018 图 4 显示为本发明步骤 。
18、S1 处理的详细步骤的流程图。 0019 图 5 显示为本发明的步骤 S2 所述的行为动作。 0020 图 6 显示为本发明的涂抹动作的四种涂抹样例。 0021 图 7 显示为本发明的洗脸动作的示意图。 0022 图 8 显示为本发明的步骤 S3 处理的详细步骤的流程图。 0023 图 9 显示为本发明的非接触模拟式虚拟试妆系统示意图。 具体实施方式 0024 以下通过特定的具体实例说明本发明的实施方式， 本领域技术人员可由本说明书 所揭露的内容轻易地了解本发明的其他优点与功效。 本发明还可以通过另外不同的具体实 施方式加以实施或应用， 本说明书中的各项细节也可以基于不同观点与应用， 在没有背。
19、离 本发明的精神下进行各种修饰或改变。 0025 请参阅图 1 至图 9。需要说明的是， 本实施例中所提供的图示仅以示意方式说明 本发明的基本构想， 遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数 目、 形状及尺寸绘制， 其实际实施时各组件的型态、 数量及比例可为一种随意的改变， 且其 组件布局型态也可能更为复杂。 0026 图 1 示出了本发明的非接触模拟式虚拟试妆的一个实施例。一种非接触模拟式虚 拟试妆实施例 10， 包括 ： 0027 摄像单元 101 ： 采集图像， 作为待处理图像 ； 0028 显示单元 102 ： 显示图像或者结果 ； 0029 处理单元 103 ： 。
20、处理设备 ； 0030 试妆品 104 ： 供用户选择的试妆品 ； 0031 试妆人员 105 ： 试妆人员。 0032 根据本发明的方法， 其分析计算处理主要是通过处理单元 103 来完成。其中， 该处 理单元设备包括但不限于 ： 1)用户设备 ； 2)网络设备。 所述用户设备包括但不限于计算机、 智能手机、 PDA 等 ； 所述网络设备包括但不限于单个网络服务器、 多个网络服务器组成的服 务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云， 其中， 云 计算是分布式计算的一种， 由一群松散耦合的计算机集组成的一个超级虚拟计算机。试妆 说 明 书 CN 1。
21、03870821 A 6 3/6 页 7 人员 105 面向摄像单元 101 进行化妆品 104 选择和化妆动作模拟 ； 处理单元 103 通过摄像 单元101采集试妆人员图像 ； 设备103对采集的图像进行处理， 识别分析试妆人员105的动 作行为， 据此对图像中试妆人员的人脸部分进行试妆处理， 通过显示单元 102 进行显示输 出 ； 试妆人员 105 根据系统反馈通过化妆动作不断优化， 直到自己满意。 0033 需要说明的是， 所述虚拟试妆系统中摄像单元 101 不限于仅使用一个摄像头， 例 如， 可以使用两个摄像头， 其中一个摄像头采集试妆人员的动作行为， 另外一个摄像头采集 试妆人员。
22、的面部图像。 0034 如图 2 所示， 给出了上述实施例 1 所述的虚拟试妆实施例的处理单元 103 的一个 实施装置。在这个实施装置中， 装置系统 103 包括处理器 201 和图像输入接口 207。在该实 施系统中， 也包括了处理器 201 可访问的存储设备 202 和 203。这些存储设备可以是随机 存储单元 RAM， 也可以是程序存储器等， 例如硬盘。处理器 201 从程序存储器加载程序并运 行， 从而能够输入和处理图像。 此外， 处理器201也可以连接到显示设备204， 以及一些输入 输出人机交互设备 205， 如鼠标、 键盘等。一些其他接口设备 208 也可以与处理器 201 相。
23、连 接， 实现一些其他处理功能。接口 206 可以实现一些图像或者视频的输出， 而电源 209 为装 置系统提供电源。 0035 图 3 示出了本发明的虚拟试妆方法的流程图。在步骤 S1 中， 所述非接触模拟式虚 拟试妆系统分析采集的图像， 根据人脸特征检测试妆人员的面部图像， 选取合适的人脸图 像作为试妆图像， 试妆图像由步骤 S3 进行处理 ； 试妆图像根据试妆人员的离开动作进行更 新。 0036 图4是表示步骤S1处理的详细步骤的流程图。 首先步骤301根据人脸特征检测待 处理图像的人脸区域。步骤 302 判断是否存在试妆图像或者是否有试妆图像的更新指令。 其中试妆图像的更新指令来自于步。
24、骤 S2。如果试妆图像不存在或者存在更新指令， 则执行 步骤303。 步骤303根据人脸特征检测合适人脸图像作为试妆图像， 只有所有的人脸特征都 满足， 该人脸区域才能作为合适的试妆人员的试妆图像。 0037 其中， 上述人脸特征包括人脸轮廓、 嘴巴、 左眼、 右眼， 但不限于此， 为了精确地确 定人脸， 也可以再包括其他的特征 ： 左眉与右眉、 鼻子。 0038 例如， 人脸特征包括人脸轮廓、 嘴巴、 左眼、 右眼、 鼻子。 0039 基于步骤 301 和步骤 302， 如果已存在试妆图像并且不存在试妆图像更新指令， 则 执行步骤 304， 继续使用现有的试妆图像 ； 否则执行步骤 303 。
25、更新试妆图像。其中， 试妆图 像可以是整幅图像， 也可以是包含人脸区域的部分图像。试妆图像为待虚拟化妆处理的静 态图像， 采用静态图像的优点在于可以很大简化运算， 并有利于试妆人员观察化妆效果。 0040 在步骤S1处理后， 步骤S2分析试妆人员的动作行为， 确定虚拟化妆处理参数和操 作。试妆人员模拟实际的化妆过程的动作， 步骤 S2 分析这些动作行为， 从而确定虚拟化妆 所对应的处理。例如， 试妆人员当用手指指向某一化妆品时， 步骤 S2 分析该行为， 确定用户 选择该化妆品， 从而根据所选择化妆品的特性 ( 如色彩等 ) 确定相应的虚拟化妆参数。 0041 又例如， 试妆人员选择一款化妆品。
26、后， 用手指在脸上做出涂抹动作， 步骤 S2 分析 该动作的动作范围和时间长度， 这些对应于化妆品的涂抹的范围、 均匀度， 以及色彩的深浅 等。 0042 这些模拟动作另外一个好处是， 让用户了解到使用某一款化妆品达到满意所需要 说 明 书 CN 103870821 A 7 4/6 页 8 的化妆过程， 掌握该产品的使用过程。 0043 图 5 列举了步骤 S2 所述的化妆动作， 包括 0044 (1) 分析试妆人员指向某一化妆品的动作， 确定相应化妆参数 ； 0045 (2) 分析识别试妆人员在脸部的涂抹动作， 检测涂抹范围和涂抹时间 ； 0046 (3) 分析识别试妆人员的洗脸动作， 用来。
27、清除图像的虚拟化妆 ； 0047 (4) 检测试妆人员的离开动作， 判断是否更新试妆图像， 重新开始。 0048 其中， 所述的试妆人员指向某一化妆品的动作为试妆人员用手指向虚拟试妆系统 台面上的某一化妆品， 步骤S2根据指向的化妆产品确定后续步骤S3所需要的化妆品参数。 0049 其中， 上述的用手可以为用手指或者用手掌。 例如， 试妆人员用食指指向台面上的 一个化妆产品。 0050 在图 5 中， 所述的试妆人员在脸部的涂抹动作包括手指或者手掌上下来回移动、 左右来回移动、 顺时针圆周运动或者逆时针圆周运动。图 6 给出了涂抹动作的四种涂抹样 例。步骤 402 计算涂抹动作的动作范围 St。
28、和动作时间 Tt。涂抹范围 St以下公式计算 ： 0051 St (Sc St-1) Sskim 0052 其中， Sc为当前时刻手指头或者手掌中心部分的范围， St-1为上一时刻的动作范 围， Sskin为试妆图像上的人脸皮肤区域。和分别是并运算和交运算。值得注意的是 S0 为手指头或者手掌中心第一次位于人脸区域时的涂抹范围。 如果手指头或者手掌中心离开 了人脸区域， 则涂抹范围 St将重新开始计算， 这样保证了动作的连续性。 0053 涂抹时间 Tt以下公式计算 0054 Tt Tc-T0 0055 其中， Tc为当前时刻， T0为手指头或者手掌中心第一次位于人脸区域时的时刻。 0056 。
29、其中， 所述的手指头或者手掌中心部分为预设的中心在手指头或者手掌中心的一 个小范围。例如该小范围是一个半径为 r 的圆， 处于圆内的所有点都属于 Sc。 0057 值得注意的是， 涂抹范围 St也可以根据化妆品的类型直接决定， 例如， 试妆人员选 择了粉底产品， 那么涂抹范围 St就可为试妆图像中人脸区域的皮肤部分 Sskin。上述实施依 赖于系统的设置。 0058 在图 5 所示中， 步骤 403 分析识别试妆人员的洗脸动作， 用来清赊图像的虚拟化 妆， 恢复试妆图像的未着妆状态。如图 7 所示， 当用双手捂下脸， 步骤 403 即识别为洗脸动 作， 从而发出虚拟化妆的清除指令。 0059 。
30、在图5所示， 步骤404检测试妆人员离开动作， 判断是否更新试妆图像和重新初始 化。如果试妆人员离开， 检测范围内没有人员存在， 或者在一个预设时间段 Tr内没有检测 到人脸， 则系统重新开始进行采集试妆图像和初始化虚拟试妆的参数。 其中， 预设时间段Tr 不能太短， 防止试妆人员偶尔转头或者遮挡造成人脸未能检测到， 一个典型值为 5 秒。步骤 404 将更新试妆图像的指令发送到步骤 S1， 并初始化下一步骤 S3。 0060 值得注意的是， 所述步骤 403 的洗脸动作， 当检测出该特定动作后， 尽管人脸可能 被遮挡一定时间， 但动作时间一般小于预设时间段Tr， 并且该特定动作检测优于步骤4。
31、04的 执行， 因此如果检测到洗脸动作， 可不执行步骤 404。 0061 接着， 在步骤 S3 中， 所述虚拟试妆系统基于虚拟化妆处理参数和动作对所述的试 妆图像进行图像处理， 进行虚拟着妆。 说 明 书 CN 103870821 A 8 5/6 页 9 0062 图 8 是表示步骤 S3 的处理的详细步骤的流程图。首先步骤 501 将步骤 S2 获得的 涂抹范围映射到待处理的试妆图像上的涂抹范围。由于试妆图像为步骤 S1 获取的静止的 一幅图像， 步骤 S2 获得的涂抹范围为分析当前图像计算得到的在当前图像上的涂抹范围， 二者存在一定的偏差。这主要是因为试妆人员的人脸区域会产生一定的移动，。
32、 这会造成当 前图像上的人脸区域相对于试妆图像上的人脸区域产生一定旋转、 缩放和平移。为了后续 的处理， 需要当前图像的人脸区域和试妆图像的人脸区域对齐。 这里， 利用人脸特征实现对 齐， 通过二者的特征之间的对应关系， 采用仿射变换模型计算所产生的旋转角度、 缩放尺度 和平移距离。但通常情况下， 试妆人员的人脸在试妆过程中不会产生大的旋转角度和缩放 尺度， 因此为了计算便利和提高处理速度， 仅计算当前人脸特征相对于试妆图像的人脸特 征的平移距离， 从而可以快速计算当前图像的涂抹范围在试妆图像的涂抹范围， 在这种假 设下， 涂抹范围的计算公式按照以下公式计算 0063 0064 其中， (xc。
33、， yc)为当前图像的涂抹范围St的坐标点， (xr， yr)为在试妆图像的涂抹范 围 Sr的坐标点， (Dx， Dy) 为涂抹范围 St相对于涂抹范围 Sr的偏移。偏移 (Dx， Dy) 可以通过 不同的人脸特征的偏移进行计算。 例如， 根据人脸轮廓特征计算轮廓的中心点的相对偏移， 即为当前图像上的涂抹范围相对于试妆图像的相对偏移， 从而可以计算在试妆图像的涂抹 范围。又例如， 根据多个人脸特征的相对偏移的平均值作为当前图像上的涂抹范围相对于 试妆图像的相对偏移。 0065 接着， 步骤 502 基于试妆图像的涂抹范围、 涂抹时间、 所选的化妆品参数信息， 对 试妆图像进行图像处理， 实现虚。
34、拟上妆效果。其中涂抹范围决定了待处理的人脸区域的范 围， 涂抹时问决定了化妆品在涂抹范围内的厚度、 均匀度。与实际化妆过程相似， 涂抹时间 越长， 则厚度越薄， 化妆色彩越淡， 并且越均匀。 所选的化妆品参数决定了化妆品的色系、 使 用范围等特性， 例如， 眼影产品将限制化妆品用在眼睛周围， 而粉底则决定了可以应用在人 脸的所有皮肤区域。又例如， 唇膏的使用范围将被限制在嘴唇区域。这些参数和特性一般 是预知的， 系统可以预置这些化妆品的参数。试妆人员可以根据效果继续模拟化妆动作直 到效果满意为止。 0066 图 9 示出了本发明的虚拟试妆处理系统示意图。所述虚拟试妆处理系统 2 实现了 图 3。
35、 所示的本发明的非接触模拟式虚拟试妆方法。该系统包括 ： 试妆图像确定模块 601、 虚 拟试妆处理参数和动作确定模块602和图像处理上妆模块603。 根据图3所述的步骤S1， 所 述试妆图像确定模块 601 分析采集的图像， 根据人脸特征检测试妆人员的面部图像， 确定 合适的图像作为试妆图像， 图像处理上妆模块 603 对试妆图像进行处理 ； 试妆图像根据试 妆人员的相应的动作行为进行更新。虚拟试妆处理参数和动作确定模块 602 分析试妆人员 的试妆的动作行为， 确定虚拟化妆处理参数和操作， 试妆人员模拟实际化妆过程， 模块 602 分析该过程中的动作， 从而确定虚拟化妆所对应的处理。图像处。
36、理上妆模块 603 基于虚拟 化妆处理参数和动作对所述的试妆图像进行图像处理， 进行虚拟着妆， 实现虚拟上妆效果。 试妆人员可以根据效果继续模拟化妆动作直到试妆效果满意为止。 0067 综上所述， 本发明的非接触模拟式虚拟试妆方法及系统通过相机采集图像， 根据 人脸特征检测合适的试妆图像进行虚拟试妆处理， 从而避免直接在动态图像上进行虚拟试 说 明 书 CN 103870821 A 9 6/6 页 10 妆处理造成的不稳定性和误差， 使用静态的试妆图像便于试妆人员观察试妆前后的效果 ； 基于采集的图像， 通过分析试妆人员的与实际化妆过程相似的模拟化妆动作行为， 产生相 应的产品选择、 化妆处理。
37、、 清除化妆、 重新初始化等虚拟动作指令， 这些非接触式动作可以 有效地避免公共卫生问题和系统被损坏问题， 此外这样模拟的化妆动作更具有真实感， 让 试妆人员熟悉相应产品的使用过程和相应的效果， 提高体验性 ； 再有， 这样模拟的实际化妆 动作可以让试妆人员直接使用已知的实际化妆动作， 降低学习新的控制指令的难度， 具有 很好的易用性 ； 还有， 试妆图像的涂抹范围的计算通过只考虑平移运动， 可有效地降低计算 复杂性， 提高处理速度 ； 基于所述的化妆品参数、 涂抹范围、 涂抹时间， 对试妆图像进行局部 或者全局图像处理， 实现模拟化妆， 比较好地考虑到实际化妆的特点， 实现均匀度、 色彩等 。
38、随着动作时间的渐变处理， 本法简单有效， 且运算量小。所以， 本发明有效克服了现有技术 中的不足而具高度产业利用价值， 能够提高营销效果和广告效应， 提高用户购物体验， 并有 一定的趣味性。 0068 上述实施例仅例示性说明本发明的原理及其功效， 而非用于限制本发明。任何熟 悉此技术的人员都可在不违背本发明的精神及范畴下， 对上述实施例进行修饰或改变。因 此， 举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完 成的一切等效修饰或改变， 仍应由本发明的权利要求所涵盖。 说 明 书 CN 103870821 A 10 1/4 页 11 图 1 图 2 说 明 书 附 图 CN 103870821 A 11 2/4 页 12 图 3 说 明 书 附 图 CN 103870821 A 12 3/4 页 13 图 4 图 5 说 明 书 附 图 CN 103870821 A 13 4/4 页 14 图 6 图 7 图 8 图 9 说 明 书 附 图 CN 103870821 A 14 。