《一种非对称人脸表情编码方法.pdf》由会员分享，可在线阅读，更多相关《一种非对称人脸表情编码方法.pdf（22页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 101976450 A (43)申请公布日 2011.02.16 CN 101976450 A *CN101976450A* (21)申请号 201010534076.4 (22)申请日 2010.11.02 G06T 13/00(2006.01) (71)申请人 北京航空航天大学 地址 100191 北京市海淀区学院路 37 号 (72)发明人 毛峡 薛雨丽 常青 (54) 发明名称 一种非对称人脸表情编码方法 (57) 摘要 本发明一种非对称人脸表情编码方法， 能够 对非对称和对称人脸表情进行编码。 定义了36个 左动作单元、 36个右动作单元和8个动作单元， 首。
2、 先用动作单元对人脸表情进行编码， 再用左动作 单元对左半部分脸部表情进行编码， 接着用右动 作单元对右半部分脸部表情进行编码， 最后将动 作单元编码结果、 左动作单元编码结果和右动作 单元编码结果进行合并。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 10 页 附图 8 页 CN 101976455 A1/3 页 2 1. 一种非对称人脸表情编码方法， 其特征在于 ： 其步骤如下 ： 步骤 1 ： 将人的左半边脸的局部单一运动命名为左动作单元， 将人的右半边脸的局部 单一运动命名为右动作单元， 将不局限于半边脸的单一运动命名。
3、为动作单元 ； 定义左动作单元如下 ： LAU1 左脸内眉上扬 LAU2 左脸外眉上扬 LAU4 左眉毛下压 LAU5 左脸上眼睑上扬 LAU6 左脸颊上提 LAU7 左眼睑收紧 LAU9 左脸鼻子起皱 LAU10 左脸上嘴唇上扬 LAU11 左脸鼻唇沟纹加深 LAU12 左脸唇角拉伸 LAU13 左脸颊鼓起 LAU14 左脸酒窝 LAU15 左脸唇角下压 LAU16 左脸下嘴唇下压 LAU17 左脸下颚上提 LAU18 左脸嘴唇褶皱 LAU20 左脸嘴唇延伸 LAU21 脖子左侧收紧 LAU23 左脸嘴唇收紧 LAU24 左脸嘴唇上升 LAU25 左脸上下嘴唇分开 LAU26 左颚下降 LA。
4、U27 左脸嘴巴伸展 LAU28 左脸嘴唇吸入 LAU31 左颚钳紧 LAU38 左鼻孔扩张 LAU39 左鼻孔收缩 LAU41 左眼睑低垂 LAU42 眯左眼 LAU43 左眼闭合 LAU44 左眼斜视 LAU45 左眼眨眼 LAU61 左眼睛左转 LAU62 左眼睛右转 LAU63 左眼睛向上 权 利 要 求 书 CN 101976450 A CN 101976455 A2/3 页 3 LAU64 左眼睛向下 定义右动作单元如下 ： RAU1 右脸内眉上扬 RAU2 右脸外眉上扬 RAU4 右眉毛下压 RAU5 右脸上眼睑上扬 RAU6 右脸颊上提 RAU7 右眼睑收紧 RAU9 右脸鼻子。
5、起皱 RAU10 右脸上嘴唇上扬 RAU11 右脸鼻唇沟纹加深 RAU12 右脸唇角拉伸 RAU13 右脸颊鼓起 RAU14 右脸酒窝 RAU15 右脸唇角下压 RAU16 右脸下嘴唇下压 RAU17 右脸下颚上提 RAU18 右脸嘴唇褶皱 RAU20 右脸嘴唇延伸 RAU21 脖子右侧收紧 RAU23 右脸嘴唇收紧 RAU24 右脸嘴唇上升 RAU25 右脸上下嘴唇分开 RAU26 右颚下降 RAU27 右脸嘴巴伸展 RAU28 右脸嘴唇吸入 RAU31 右颚钳紧 RAU38 右鼻孔扩张 RAU39 右鼻孔收缩 RAU41 右眼睑低垂 RAU42 眯右眼 RAU43 右眼闭合 RAU44 右。
6、眼斜视 RAU45 右眼眨眼 RAU61 右眼睛左转 RAU62 右眼睛右转 RAU63 右眼睛向上 RAU64 右眼睛向下 定义动作单元如下 ： 权 利 要 求 书 CN 101976450 A CN 101976455 A3/3 页 4 AU51 头向左 AU52 头向右 AU53 头上扬 AU54 头向下 AU55 头向左倾斜 AU56 头向右倾斜 AU57 头前倾 AU58 头后倾 ； 步骤 2 ： 给定一幅人脸图像， 用动作单元对人脸图像中的人脸进行人脸表情编码， 表示 为 AU 的组合 ； 首先， 依次观察人脸图像是否出现上述AU51至AU58的动作单元 ； 如果出现某个动作单 元。
7、， 则将其记下 ； 如果有多个动作单元， 用加号将多个动作单元相连 ； 如果人脸表情没有动 作单元出现， 用 AU0 表示 ； 然后， 如果人脸表情有动作单元出现， 对每个动作单元进行强度编码 ； 每个动作单元的 强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强 ； 对每个动作单元， 根据其形变程 度确定其强度 ； 如果动作单元形变越大， 判定其强度越大， 如果动作单元形变越小， 判定其 强度越小 ； 将动作单元的强度列在动作单元之后 ； 步骤 3 ： 用左动作单元对人脸图像中人的左脸进行人脸表情编码， 表示为 LAU 的组合 ； 首先， 依次观察人脸图像是否。
8、出现上述 LAU1 至 LAU64 的左动作单元 ； 如果出现某个左 动作单元， 则将其记下 ； 如果有多个左动作单元， 用加号将多个左动作单元相连 ； 如果人脸 表情没有左动作单元出现， 用 LAU0 表示 ； 然后， 如果人脸表情有左动作单元出现， 对每个左动作单元进行强度编码 ； 每个左动作 单元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强 ； 对每个左动作单元， 根据 其形变程度确定其强度 ； 如果左动作单元形变越大， 判定其强度越大， 如果左动作单元形变 越小， 判定其强度越小 ； 将左动作单元的强度列在左动作单元之后 ； 步骤 4 ： 用右动。
9、作单元对人脸图像中人的右脸进行人脸表情编码， 表示为 RAU 的组合 ； 首先， 依次观察人脸图像是否出现上述 RAU1 至 RAU64 的右动作单元 ； 如果出现某个右 动作单元， 则将其记下 ； 如果有多个右动作单元， 用加号将多个右动作单元相连 ； 如果人脸 表情没有右动作单元出现， 用 RAU0 表示 ； 然后， 如果人脸表情有右动作单元出现， 对每个右动作单元进行强度编码 ； 每个右动作 单元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强 ； 对每个右动作单元， 根据 其形变程度确定其强度 ； 如果右动作单元形变越大， 判定其强度越大， 如果右动。
10、作单元形变 越小， 判定其强度越小 ； 将右动作单元的强度列在右动作单元之后 ； 步骤 5 ： 将动作单元编码结果、 左动作单元编码结果和右动作单元编码结果进行合并， 用加号相连 ； 如果左动作单元和右动作单元有相同的编号出现且强度相同， 则将左动作单 元和右动作单元合并， 用 AU 表示， 保留其强度。 权 利 要 求 书 CN 101976450 A CN 101976455 A1/10 页 5 一种非对称人脸表情编码方法 ( 一 ) 技术领域 0001 本发明涉及一种图像处理方法， 尤其是一种人脸表情编码方法。 ( 二 ) 背景技术 0002 对于人脸表情的变化， 存在两种表情分类方法。。
11、 一种是基于消息评价的方法， 即把 人脸表情直接与情感状态相对应。另一种是基于符号表达的方法， 即把面部的各种运动和 变形进行细致的编码， 根据表情字典将编码与某种表情对应或描述各种表情。 0003 有代表性的表情编码系统包括 ： 面部动作编码系统、 情感面部动作编码系统、 最大 判别面部运动编码系统、 MPEG-4(moving picture expert group-4) 三维人脸动画标准、 面 部表情编码系统等。MPEG-4 三维人脸动画标准适合计算机领域的应用， 而面部动作编码系 统适合心理学和模式识别领域， 符合人们在日常生活中对人脸表情的描述。 0004 由于面部运动的非对称性以。
12、及面部结构的非对称性， 造成了人脸表情的非对称。 随着人脸表情分析技术的发展， 研究者们开始关注非对称人脸表情。要分析非对称人脸表 情， 就需要对其进行编码。 在人脸表情识别领域， 研究者经常使用面部动作编码系统进行表 情编码。 但面部动作编码系统不能满足对非对称人脸表情的编码。 MPEG-4三维人脸动画标 准的面部动画参数区分左右脸， 可以进行非对称表情编码， 但它不如面部动作编码系统形 象和易于掌握。本发明提出一种非对称人脸表情编码方法， 对于编码非对称表情提供了一 种可行的方法， 可应用于心理学和模式识别等领域。 ( 三 ) 发明内容 0005 本发明的目的是 ： 提出一种非对称人脸表情。
13、编码方法， 能够对非对称和对称人脸 表情进行较为充分的描述。 0006 本发明一种非对称人脸表情编码方法， 规定了使用左动作单元、 右动作单元和动 作单元对人脸表情进行编码的方法， 能够对非对称和对称人脸表情进行编码。 0007 关于一种非对称人脸表情编码方法， 其步骤如下 ： 0008 步骤 1 ： 将人的左半边脸的局部单一运动命名为左动作单元 (left action unit， LAU)， 将人的右半边脸的局部单一运动命名为右动作单元 (right action unit， RAU)， 将不 局限于半边脸的单一运动命名为动作单元 (action unit， AU)。 0009 定义左动作。
14、单元如下 ： 0010 LAU1 左脸内眉上扬 0011 LAU2 左脸外眉上扬 0012 LAU4 左眉毛下压 0013 LAU5 左脸上眼睑上扬 0014 LAU6 左脸颊上提 0015 LAU7 左眼睑收紧 0016 LAU9 左脸鼻子起皱 说 明 书 CN 101976450 A CN 101976455 A2/10 页 6 0017 LAU10 左脸上嘴唇上扬 0018 LAU11 左脸鼻唇沟纹加深 0019 LAU12 左脸唇角拉伸 0020 LAU13 左脸颊鼓起 0021 LAU14 左脸酒窝 0022 LAU15 左脸唇角下压 0023 LAU16 左脸下嘴唇下压 0024 。
15、LAU17 左脸下颚上提 0025 LAU18 左脸嘴唇褶皱 0026 LAU20 左脸嘴唇延伸 0027 LAU21 脖子左侧收紧 0028 LAU23 左脸嘴唇收紧 0029 LAU24 左脸嘴唇上升 0030 LAU25 左脸上下嘴唇分开 0031 LAU26 左颚下降 0032 LAU27 左脸嘴巴伸展 0033 LAU28 左脸嘴唇吸入 0034 LAU31 左颚钳紧 0035 LAU38 左鼻孔扩张 0036 LAU39 左鼻孔收缩 0037 LAU41 左眼睑低垂 0038 LAU42 眯左眼 0039 LAU43 左眼闭合 0040 LAU44 左眼斜视 0041 LAU45 。
16、左眼眨眼 0042 LAU61 左眼睛左转 0043 LAU62 左眼睛右转 0044 LAU63 左眼睛向上 0045 LAU64 左眼睛向下 0046 定义右动作单元如下 ： 0047 RAU1 右脸内眉上扬 0048 RAU2 右脸外眉上扬 0049 RAU4 右眉毛下压 0050 RAU5 右脸上眼睑上扬 0051 RAU6 右脸颊上提 0052 RAU7 右眼睑收紧 0053 RAU9 右脸鼻子起皱 0054 RAU10 右脸上嘴唇上扬 0055 RAU11 右脸鼻唇沟纹加深 说 明 书 CN 101976450 A CN 101976455 A3/10 页 7 0056 RAU12。
17、 右脸唇角拉伸 0057 RAU13 右脸颊鼓起 0058 RAU14 右脸酒窝 0059 RAU15 右脸唇角下压 0060 RAU16 右脸下嘴唇下压 0061 RAU17 右脸下颚上提 0062 RAU18 右脸嘴唇褶皱 0063 RAU20 右脸嘴唇延伸 0064 RAU21 脖子右侧收紧 0065 RAU23 右脸嘴唇收紧 0066 RAU24 右脸嘴唇上升 0067 RAU25 右脸上下嘴唇分开 0068 RAU26 右颚下降 0069 RAU27 右脸嘴巴伸展 0070 RAU28 右脸嘴唇吸入 0071 RAU31 右颚钳紧 0072 RAU38 右鼻孔扩张 0073 RAU3。
18、9 右鼻孔收缩 0074 RAU41 右眼睑低垂 0075 RAU42 眯右眼 0076 RAU43 右眼闭合 0077 RAU44 右眼斜视 0078 RAU45 右眼眨眼 0079 RAU61 右眼睛左转 0080 RAU62 右眼睛右转 0081 RAU63 右眼睛向上 0082 RAU64 右眼睛向下 0083 定义动作单元如下 ： 0084 AU51 头向左 0085 AU52 头向右 0086 AU53 头上扬 0087 AU54 头向下 0088 AU55 头向左倾斜 0089 AU56 头向右倾斜 0090 AU57 头前倾 0091 AU58 头后倾。 0092 步骤 2 ：。
19、 给定一幅人脸图像， 用动作单元对人脸图像中的人脸进行人脸表情编码， 表示为 AU 的组合。 0093 首先， 依次观察人脸图像是否出现上述 AU51 至 AU58 的动作单元。如果出现某个 说 明 书 CN 101976450 A CN 101976455 A4/10 页 8 动作单元， 则将其记下。如果有多个动作单元， 用加号将多个动作单元相连。如果人脸表情 没有动作单元出现， 用 AU0 表示。 0094 然后， 如果人脸表情有动作单元出现， 对每个动作单元进行强度编码。 每个动作单 元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强。对每个动作单元，。
20、 根据其形 变程度确定其强度。如果动作单元形变越大， 判定其强度越大， 如果动作单元形变越小， 判 定其强度越小。将动作单元的强度列在动作单元之后。 0095 步骤 3 ： 用左动作单元对人脸图像中人的左脸进行人脸表情编码， 表示为 LAU 的组 合。 0096 首先， 依次观察人脸图像是否出现上述 LAU1 至 LAU64 的左动作单元。如果出现某 个左动作单元， 则将其记下。如果有多个左动作单元， 用加号将多个左动作单元相连。如果 人脸表情没有左动作单元出现， 用 LAU0 表示。 0097 然后， 如果人脸表情有左动作单元出现， 对每个左动作单元进行强度编码。 每个左 动作单元的强度分五。
21、个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强。对每个左动作单元， 根据其形变程度确定其强度。 如果左动作单元形变越大， 判定其强度越大， 如果左动作单元 形变越小， 判定其强度越小。将左动作单元的强度列在左动作单元之后。 0098 步骤 4 ： 用右动作单元对人脸图像中人的右脸进行人脸表情编码， 表示为 RAU 的组 合。 0099 首先， 依次观察人脸图像是否出现上述 RAU1 至 RAU64 的右动作单元。如果出现某 个右动作单元， 则将其记下。如果有多个右动作单元， 用加号将多个右动作单元相连。如果 人脸表情没有右动作单元出现， 用 RAU0 表示。 010。
22、0 然后， 如果人脸表情有右动作单元出现， 对每个右动作单元进行强度编码。 每个右 动作单元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强。对每个右动作单元， 根据其形变程度确定其强度。 如果右动作单元形变越大， 判定其强度越大， 如果右动作单元 形变越小， 判定其强度越小。将右动作单元的强度列在右动作单元之后。 0101 步骤 5 ： 将动作单元编码结果、 左动作单元编码结果和右动作单元编码结果进行 合并， 用加号相连。 如果左动作单元和右动作单元有相同的编号出现且强度相同， 则将左动 作单元和右动作单元合并， 用 AU 表示， 保留其强度。 0102 。
23、本发明的积极效果和优点在于 ： 0103 1. 本发明能够对人脸表情进行非对称描述， 对于编码非对称表情提供了一种可行 的方法， 符合现实生活中人脸表情非对称的真实情况， 避免了人脸表情信息的丢失。 ( 四 ) 附图说明 0104 图 1 方法步骤方框图。 0105 图 2LAU1 左脸内眉上扬。 0106 图 3LAU2 左脸外眉上扬。 0107 图 4LAU4 左眉毛下压。 0108 图 5LAU5 左脸上眼睑上扬。 0109 图 6LAU6 左脸颊上提。 0110 图 7LAU7 左眼睑收紧。 说 明 书 CN 101976450 A CN 101976455 A5/10 页 9 011。
24、1 图 8LAU9 左脸鼻子起皱。 0112 图 9LAU10 左脸上嘴唇上扬。 0113 图 10LAU11 左脸鼻唇沟纹加深。 0114 图 11LAU12 左脸唇角拉伸。 0115 图 12LAU13 左脸颊鼓起。 0116 图 13LAU14 左脸酒窝。 0117 图 14LAU15 左脸唇角下压。 0118 图 15LAU16 左脸下嘴唇下压。 0119 图 16LAU17 左脸下颚上提。 0120 图 17LAU18 左脸嘴唇褶皱。 0121 图 18LAU20 左脸嘴唇延伸。 0122 图 19LAU21 脖子左侧收紧。 0123 图 20LAU23 左脸嘴唇收紧。 0124 图。
25、 21LAU24 左脸嘴唇上升。 0125 图 22LAU25 左脸上下嘴唇分开。 0126 图 23LAU26 左颚下降。 0127 图 24LAU27 左脸嘴巴伸展。 0128 图 25LAU28 左脸嘴唇吸入。 0129 图 26LAU31 左颚钳紧。 0130 图 27LAU38 左鼻孔扩张。 0131 图 28LAU39 左鼻孔收缩。 0132 图 29LAU41 左眼睑低垂。 0133 图 30LAU42 眯左眼。 0134 图 31LAU43 左眼闭合。 0135 图 32LAU44 左眼斜视。 0136 图 33LAU61 左眼睛左转。 0137 图 34LAU62 左眼睛右转。
26、。 0138 图 35LAU63 左眼睛向上。 0139 图 36LAU64 左眼睛向下。 0140 图 37RAU1 右脸内眉上扬。 0141 图 38RAU2 右脸外眉上扬。 0142 图 39RAU4 右眉毛下压。 0143 图 40RAU5 右脸上眼睑上扬。 0144 图 41RAU6 右脸颊上提。 0145 图 42RAU7 右眼睑收紧。 0146 图 43RAU9 右脸鼻子起皱。 0147 图 44RAU10 右脸上嘴唇上扬。 0148 图 45RAU11 右脸鼻唇沟纹加深。 0149 图 46RAU12 右脸唇角拉伸。 说 明 书 CN 101976450 A CN 101976。
27、455 A6/10 页 10 0150 图 47RAU13 右脸颊鼓起。 0151 图 48RAU14 右脸酒窝。 0152 图 49RAU15 右脸唇角下压。 0153 图 50RAU16 右脸下嘴唇下压。 0154 图 51RAU17 右脸下颚上提。 0155 图 52RAU18 右脸嘴唇褶皱。 0156 图 53RAU20 右脸嘴唇延伸。 0157 图 54RAU21 脖子右侧收紧。 0158 图 55RAU23 右脸嘴唇收紧。 0159 图 56RAU24 右脸嘴唇上升。 0160 图 57RAU25 右脸上下嘴唇分开。 0161 图 58RAU26 右颚下降。 0162 图 59RA。
28、U27 右脸嘴巴伸展。 0163 图 60RAU28 右脸嘴唇吸入。 0164 图 61RAU31 右颚钳紧。 0165 图 62RAU38 右鼻孔扩张。 0166 图 63RAU39 右鼻孔收缩。 0167 图 64RAU41 右眼睑低垂。 0168 图 65RAU42 眯右眼。 0169 图 66RAU43 右眼闭合。 0170 图 67RAU44 右眼斜视。 0171 图 68RAU61 右眼睛左转。 0172 图 69RAU62 右眼睛右转。 0173 图 70RAU63 右眼睛向上。 0174 图 71RAU64 右眼睛向下。 0175 图 72AU51 头向左。 0176 图 73。
29、AU52 头向右。 0177 图 74AU53 头上扬。 0178 图 75AU54 头向下。 0179 图 76AU55 头向左倾斜。 0180 图 77AU56 头向右倾斜。 0181 图 78AU57 头前倾。 0182 图 79AU58 头后倾。 0183 图 80 中性表情人脸图像。 0184 图 81 对称人脸表情图像。 0185 图 82 非对称人脸表情图像。 0186 ( 五 ) 具体实施方法 0187 本发明一种非对称人脸表情编码方法(方法步骤方框图如图1所示)， 规定了使用 左动作单元、 右动作单元和动作单元对人脸表情进行编码的方法， 能够对非对称和对称人 说 明 书 CN。
30、 101976450 A CN 101976455 A7/10 页 11 脸表情进行编码。 0188 关于一种非对称人脸表情编码方法， 其步骤如下 ： 0189 步骤 1 ： 将人的左半边脸的局部单一运动命名为左动作单元 (left action unit， LAU)， 将人的右半边脸的局部单一运动命名为右动作单元 (right action unit， RAU)， 将不 局限于半边脸的单一运动命名为动作单元 (action unit， AU)。 0190 定义左动作单元如下 ： 0191 LAU1 左脸内眉上扬 ( 如图 2 所示 ) 0192 LAU2 左脸外眉上扬 ( 如图 3 所示 )。
31、 0193 LAU4 左眉毛下压 ( 如图 4 所示 ) 0194 LAU5 左脸上眼睑上扬 ( 如图 5 所示 ) 0195 LAU6 左脸颊上提 ( 如图 6 所示 ) 0196 LAU7 左眼睑收紧 ( 如图 7 所示 ) 0197 LAU9 左脸鼻子起皱 ( 如图 8 所示 ) 0198 LAU10 左脸上嘴唇上扬 ( 如图 9 所示 ) 0199 LAU11 左脸鼻唇沟纹加深 ( 如图 10 所示 ) 0200 LAU12 左脸唇角拉伸 ( 如图 11 所示 ) 0201 LAU13 左脸颊鼓起 ( 如图 12 所示 ) 0202 LAU14 左脸酒窝 ( 如图 13 所示 ) 02。
32、03 LAU15 左脸唇角下压 ( 如图 14 所示 ) 0204 LAU16 左脸下嘴唇下压 ( 如图 15 所示 ) 0205 LAU17 左脸下颚上提 ( 如图 16 所示 ) 0206 LAU18 左脸嘴唇褶皱 ( 如图 17 所示 ) 0207 LAU20 左脸嘴唇延伸 ( 如图 18 所示 ) 0208 LAU21 脖子左侧收紧 ( 如图 19 所示 ) 0209 LAU23 左脸嘴唇收紧 ( 如图 20 所示 ) 0210 LAU24 左脸嘴唇上升 ( 如图 21 所示 ) 0211 LAU25 左脸上下嘴唇分开 ( 如图 22 所示 ) 0212 LAU26 左颚下降 ( 如图。
33、 23 所示 ) 0213 LAU27 左脸嘴巴伸展 ( 如图 24 所示 ) 0214 LAU28 左脸嘴唇吸入 ( 如图 25 所示 ) 0215 LAU31 左颚钳紧 ( 如图 26 所示 ) 0216 LAU38 左鼻孔扩张 ( 如图 27 所示 ) 0217 LAU39 左鼻孔收缩 ( 如图 28 所示 ) 0218 LAU41 左眼睑低垂 ( 如图 29 所示 ) 0219 LAU42 眯左眼 ( 如图 30 所示 ) 0220 LAU43 左眼闭合 ( 如图 31 所示 ) 0221 LAU44 左眼斜视 ( 如图 32 所示 ) 0222 LAU45 左眼眨眼 ( 快速睁闭左眼。
34、 ) 0223 LAU61 左眼睛左转 ( 如图 33 所示 ) 说 明 书 CN 101976450 A CN 101976455 A8/10 页 12 0224 LAU62 左眼睛右转 ( 如图 34 所示 ) 0225 LAU63 左眼睛向上 ( 如图 35 所示 ) 0226 LAU64 左眼睛向下 ( 如图 36 所示 ) 0227 定义右动作单元如下 ： 0228 RAU1 右脸内眉上扬 ( 如图 37 所示 ) 0229 RAU2 右脸外眉上扬 ( 如图 38 所示 ) 0230 RAU4 右眉毛下压 ( 如图 39 所示 ) 0231 RAU5 右脸上眼睑上扬 ( 如图 40 。
35、所示 ) 0232 RAU6 右脸颊上提 ( 如图 41 所示 ) 0233 RAU7 右眼睑收紧 ( 如图 42 所示 ) 0234 RAU9 右脸鼻子起皱 ( 如图 43 所示 ) 0235 RAU10 右脸上嘴唇上扬 ( 如图 44 所示 ) 0236 RAU11 右脸鼻唇沟纹加深 ( 如图 45 所示 ) 0237 RAU12 右脸唇角拉伸 ( 如图 46 所示 ) 0238 RAU13 右脸颊鼓起 ( 如图 47 所示 ) 0239 RAU14 右脸酒窝 ( 如图 48 所示 ) 0240 RAU15 右脸唇角下压 ( 如图 49 所示 ) 0241 RAU16 右脸下嘴唇下压 ( 。
36、如图 50 所示 ) 0242 RAU17 右脸下颚上提 ( 如图 51 所示 ) 0243 RAU18 右脸嘴唇褶皱 ( 如图 52 所示 ) 0244 RAU20 右脸嘴唇延伸 ( 如图 53 所示 ) 0245 RAU21 脖子右侧收紧 ( 如图 54 所示 ) 0246 RAU23 右脸嘴唇收紧 ( 如图 55 所示 ) 0247 RAU24 右脸嘴唇上升 ( 如图 56 所示 ) 0248 RAU25 右脸上下嘴唇分开 ( 如图 57 所示 ) 0249 RAU26 右颚下降 ( 如图 58 所示 ) 0250 RAU27 右脸嘴巴伸展 ( 如图 59 所示 ) 0251 RAU28。
37、 右脸嘴唇吸入 ( 如图 60 所示 ) 0252 RAU31 右颚钳紧 ( 如图 61 所示 ) 0253 RAU38 右鼻孔扩张 ( 如图 62 所示 ) 0254 RAU39 右鼻孔收缩 ( 如图 63 所示 ) 0255 RAU41 右眼睑低垂 ( 如图 64 所示 ) 0256 RAU42 眯右眼 ( 如图 65 所示 ) 0257 RAU43 右眼闭合 ( 如图 66 所示 ) 0258 RAU44 右眼斜视 ( 如图 67 所示 ) 0259 RAU45 右眼眨眼 ( 快速睁闭右眼 ) 0260 RAU61 右眼睛左转 ( 如图 68 所示 ) 0261 RAU62 右眼睛右转 。
38、( 如图 69 所示 ) 0262 RAU63 右眼睛向上 ( 如图 70 所示 ) 说 明 书 CN 101976450 A CN 101976455 A9/10 页 13 0263 RAU64 右眼睛向下 ( 如图 71 所示 ) 0264 定义动作单元如下 ： 0265 AU51 头向左 ( 如图 72 所示 ) 0266 AU52 头向右 ( 如图 73 所示 ) 0267 AU53 头上扬 ( 如图 74 所示 ) 0268 AU54 头向下 ( 如图 75 所示 ) 0269 AU55 头向左倾斜 ( 如图 76 所示 ) 0270 AU56 头向右倾斜 ( 如图 77 所示 ) 。
39、0271 AU57 头前倾 ( 如图 78 所示 ) 0272 AU58 头后倾 ( 如图 79 所示 )。 0273 步骤 2 ： 给定一幅人脸图像， 用动作单元对人脸图像中的人脸进行人脸表情编码， 表示为 AU 的组合。 0274 首先， 依次观察人脸图像是否出现上述 AU51 至 AU58 的动作单元。如果出现某个 动作单元， 则将其记下。如果有多个动作单元， 用加号将多个动作单元相连。如果人脸表情 没有动作单元出现， 用 AU0 表示。 0275 然后， 如果人脸表情有动作单元出现， 对每个动作单元进行强度编码。 每个动作单 元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等。
40、、 D. 强、 E. 很强。对每个动作单元， 根据其形 变程度确定其强度。如果动作单元形变越大， 判定其强度越大， 如果动作单元形变越小， 判 定其强度越小。将动作单元的强度列在动作单元之后。 0276 如图 80 所示， 该人脸的动作单元编码结果为 AU0。 0277 如图 81 所示， 该人脸的动作单元编码结果为 AU56A+AU58A。 0278 如图 82 所示， 该人脸的动作单元编码结果为 AU54A+AU56A。 0279 步骤 3 ： 用左动作单元对人脸图像中人的左脸进行人脸表情编码， 表示为 LAU 的组 合。 0280 首先， 依次观察人脸图像是否出现上述 LAU1 至 LA。
41、U64 的左动作单元。如果出现某 个左动作单元， 则将其记下。如果有多个左动作单元， 用加号将多个左动作单元相连。如果 人脸表情没有左动作单元出现， 用 LAU0 表示。 0281 然后， 如果人脸表情有左动作单元出现， 对每个左动作单元进行强度编码。 每个左 动作单元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强。对每个左动作单元， 根据其形变程度确定其强度。 如果左动作单元形变越大， 判定其强度越大， 如果左动作单元 形变越小， 判定其强度越小。将左动作单元的强度列在左动作单元之后。 0282 如图 80 所示， 该人脸的左动作单元编码结果为 LAU0。
42、。 0283 如图 81 所示， 该人脸的左动作单元编码结果为 LAU21C+LAU27D+LAU64A。 0284 如图 82 所示， 该人脸的左动作单元编码结果为 LAU4E+LAU7E+LAU9A。 0285 步骤 4 ： 用右动作单元对人脸图像中人的右脸进行人脸表情编码， 表示为 RAU 的组 合。 0286 首先， 依次观察人脸图像是否出现上述 RAU1 至 RAU64 的右动作单元。如果出现某 个右动作单元， 则将其记下。如果有多个右动作单元， 用加号将多个右动作单元相连。如果 人脸表情没有右动作单元出现， 用 RAU0 表示。 说 明 书 CN 101976450 A CN 10。
43、1976455 A10/10 页 14 0287 然后， 如果人脸表情有右动作单元出现， 对每个右动作单元进行强度编码。 每个右 动作单元的强度分五个等级 ： A. 很弱、 B. 弱、 C. 中等、 D. 强、 E. 很强。对每个右动作单元， 根据其形变程度确定其强度。 如果右动作单元形变越大， 判定其强度越大， 如果右动作单元 形变越小， 判定其强度越小。将右动作单元的强度列在右动作单元之后。 0288 如图 80 所示， 该人脸的右编码结果为 RAU0。 0289 如图 81 所示， 该人脸的右动作单元编码结果为 RAU21C+RAU27D+RAU64A。 0290 如图 82 所示， 该。
44、人脸的右动作单元编码结果为 RAU4D+RAU7D+RAU9A。 0291 步骤 5 ： 将动作单元编码结果、 左动作单元编码结果和右动作单元编码结果进行 合并， 用加号相连。 如果左动作单元和右动作单元有相同的编号出现且强度相同， 则将左动 作单元和右动作单元合并， 用 AU 表示， 保留其强度。 0292 如图 80 所示， 该人脸的最终编码结果为 AU0。 0293 如图 81 所示， 该人脸的最终编码结果为 AU56A+AU58A+AU21C+AU27D+AU64A。 0294 如图 82 所示， 该人脸的最终编码结果为 AU54A+AU56A+LAU4E+LAU7E+AU9A+RAU。
45、4D+ RAU7D。 说 明 书 CN 101976450 A CN 101976455 A1/8 页 15 图 1 图 2 图 3 图 4 说 明 书 附 图 CN 101976450 A CN 101976455 A2/8 页 16 图 5 图 6 图 7 图 8 图 9图 10 图 11图 12 图 13 图 14 图 15 图 16 图 17图 18 图 19 说 明 书 附 图 CN 101976450 A CN 101976455 A3/8 页 17 图 20 图 21图 22 图 23 图 24 图 25 图 26 图 27 图 28 图 29 图 30 图 31 图 32 图 。
46、33 图 34 说 明 书 附 图 CN 101976450 A CN 101976455 A4/8 页 18 图 35 图 36 图 37 图 38图 39 图 40 图 41 图 42 图 43 图 44 图 45 图 46 图 47 图 48 图 49 说 明 书 附 图 CN 101976450 A CN 101976455 A5/8 页 19 图 50 图 51 图 52 图 53 图 54 图 55 图 56 图 57图 58 图 59 图 60 图 61 图 62图 63 图 64 说 明 书 附 图 CN 101976450 A CN 101976455 A6/8 页 20 图 65 图 66 图 67 图 68图 69 图 70 图 71 图 72 图 73 图 74 图 75 图 76 说 明 书 附 图 CN 101976450 A CN 101976455 A7/8 页 21 图 77 图 78 图 79 图 80 图 81 说 明 书 附 图 CN 101976450 A CN 101976455 A8/8 页 22 图 82 说 明 书 附 图 CN 101976450 A 。