《一种确定眼睛状态的方法和设备.pdf》由会员分享,可在线阅读,更多相关《一种确定眼睛状态的方法和设备.pdf(18页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103366162 A (43)申请公布日 2013.10.23 CN 103366162 A *CN103366162A* (21)申请号 201310293903.9 (22)申请日 2013.07.12 G06K 9/00(2006.01) (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华为 总部办公楼 (72)发明人 方奎 (74)专利代理机构 北京中博世达专利商标代理 有限公司 11274 代理人 申健 (54) 发明名称 一种确定眼睛状态的方法和设备 (57) 摘要 本发明实施例提供一种确定眼睛状态的方法 和设备, 涉及图像处。
2、理领域, 以实现对目标对象的 眼睛状态的精确识别, 该方法包括 : 眼睛状态确 定设备根据目标对象的第一头像图像获取目标对 象的第一眼睛图像, 并根据该第一眼睛图像确定 模板图像, 在该目标对象的第二头像图像中确定 第二眼睛图像, 并获得该第二眼睛图像和该模板 图像的欧氏距离, 在确定该欧氏距离大于或等于 第一预设阈值时, 删除该模板图像, 以在获取下一 帧头像图像后, 重新确定模板图像, 并根据该重新 确定的模板图像确定该目标对象的眼睛状态。本 发明实施例用于确定眼睛状态。 (51)Int.Cl. 权利要求书 2 页 说明书 12 页 附图 3 页 (19)中华人民共和国国家知识产权局 (1。
3、2)发明专利申请 权利要求书2页 说明书12页 附图3页 (10)申请公布号 CN 103366162 A CN 103366162 A *CN103366162A* 1/2 页 2 1. 一种确定眼睛状态的方法, 其特征在于, 包括 : 根据目标对象的第一头像图像获取目标对象的第一眼睛图像, 并根据所述第一眼睛图 像确定模板图像 ; 在所述目标对象的第二头像图像中确定第二眼睛图像, 并获得所述第二眼睛图像和所 述模板图像的欧氏距离 ; 在确定所述欧氏距离大于或等于第一预设阈值时, 删除所述模板图像, 以在获取下一 帧头像图像后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对。
4、象的 眼睛状态。 2. 根据权利要求 1 所述的方法, 其特征在于, 所述根据所述目标对象的第一头像图像 获取目标对象的第一眼睛图像包括 : 获取所述第一头像图像的广义水平投影函数和广义垂直投影函数 ; 根据所述广义水平投影函数和广义垂直投影函数确定所述第一眼睛图像。 3.根据权利要求1或2所述的方法, 其特征在于, 所述根据所述第一眼睛图像确定模板 图像包括 : 在所述第一眼睛图像中呈现巩膜的第一巩膜区域所占比例大于或等于第二预设阈值 时, 确定所述第一眼睛图像为模板图像。 4.根据权利要求1至3任一项所述的方法, 其特征在于, 所述获得所述第二眼睛图像和 所述模板图像的欧氏距离包括 : 通。
5、过公式 : 获得所述第二眼睛图像和所述模板图像的欧氏距离 ; 其中, T 为所述第二眼睛图像 和所述模板图像的欧氏距离, A(i,j) 为所述模板图像在所述第一头像图像的像素的坐标 (i,j) 的像素值, B(i,j) 为所述第二眼睛图像在所述第二头像图像的像素的坐标 (i,j) 的 像素值, 其中, m 为横坐标 i 的边界值, n 为纵坐标 j 的边界值。 5.根据权利要求3或4所述的方法, 其特征在于, 在所述根据所述模板图像在所述目标 对象的第二头像图像中确定第二眼睛图像后, 还包括 : 确定所述第二眼睛图像中呈现巩膜的第二巩膜区域的面积 ; 根据所述第二巩膜区域的面积和所述第一巩膜区。
6、域的面积确定所述目标对象的眼睛 状态。 6. 根据权利要求 5 所述的方法, 其特征在于, 所述根据所述模板图像和所述第二巩膜 区域的面积确定所述目标对象的眼睛状态包括 : 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值大于或等于第三预设 阈值时, 确定所述目标对象的眼睛状态为睁眼状态 ; 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值小于所述第三预设阈 值时, 确定所述目标对象的眼睛状态为闭眼状态。 7. 一种眼睛状态确定设备, 其特征在于, 包括 : 权 利 要 求 书 CN 103366162 A 2 2/2 页 3 获取单元, 用于根据目标对象的第一头像图像获取目标对象。
7、的第一眼睛图像, 并根据 所述第一眼睛图像确定模板图像 ; 处理单元, 用于在所述目标对象的第二头像图像中确定第二眼睛图像, 并获得所述第 二眼睛图像和所述获取单元获取的模板图像的欧氏距离, 并在确定所述欧氏距离大于或等 于第一预设阈值时, 删除所述模板图像, 以在获取下一帧头像图像后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对象的眼睛状态。 8. 根据权利要求 7 所述的设备, 其特征在于, 所述获取单元具体用于, 获取所述头像图 像的广义水平投影函数和广义垂直投影函数, 并根据所述广义水平投影函数和广义垂直投 影函数确定所述第一眼睛图像。 9. 根据权利要求 7 或 。
8、8 所述的设备, 其特征在于, 所述获取单元具体用于, 在所述第一 眼睛图像中呈现巩膜的第一巩膜区域所占比例大于或等于第二预设阈值时, 确定所述第一 眼睛图像为模板图像。 10.根据权利要求7至9任一项所述的设备, 其特征在于, 所述处理单元具体用于, 通过 公式 : 获得所述第二眼睛图像和所述模板图像的欧氏距离 ; 其中, T 为所述第二眼睛图像 和所述模板图像的欧氏距离, A(i,j) 为所述模板图像在所述第一头像图像的像素的坐标 (i,j) 的像素值, B(i,j) 为所述第二眼睛图像在所述第二头像图像的像素的坐标 (i,j) 的 像素值, 其中, m 为横坐标 i 的边界值, n 为纵。
9、坐标 j 的边界值。 11. 根据权利要求 9 或 10 所述的设备, 其特征在于, 所述处理单元还用于, 在根据所述 模板图像在所述目标对象的第二头像图像中确定第二眼睛图像后, 确定所述第二眼睛图像 中呈现巩膜的第二巩膜区域的面积, 并根据所述第二巩膜区域的面积和所述第一巩膜区域 的面积确定所述目标对象的眼睛状态。 12. 根据权利要求 11 所述的设备, 其特征在于, 所述处理单元具体用于, 在所述第二巩 膜区域的面积与所述第一巩膜区域的面积的比值大于或等于第三预设阈值时, 确定所述目 标对象的眼睛状态为睁眼状态 ; 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值小于所述第三预设阈。
10、 值时, 确定所述目标对象的眼睛状态为闭眼状态。 权 利 要 求 书 CN 103366162 A 3 1/12 页 4 一种确定眼睛状态的方法和设备 技术领域 0001 本发明涉及图像处理领域, 尤其涉及一种确定眼睛状态的方法和设备。 背景技术 0002 现在, 数码摄像设备应用广泛, 在使用数码摄像设备对目标对象拍照时, 由于拍照 者掌握不当或者环境的影响, 得到的照片中可能会出现该目标对象闭眼或者眯眼状态。为 避免这种情况出现, 引入眨眼检测技术, 该技术通过在拍照过程中, 对目标对象的眼睛图像 进行检测, 从而确定该目标对象的眼睛状态, 在该目标对象处于闭眼状态时, 则延时拍照或 者提。
11、醒拍照者重新拍照。 0003 模板匹配法是一种常见的眨眼检测技术, 该方法通过对人眼进行定位, 并根据目 标对象的头像图像确定睁眼模板图像, 通过该睁眼模板图像匹配当前人眼图像, 并根据匹 配结果确定目标对象的眼睛状态。 但是, 当目标对象的头像图像发生较大的变化 (例如该目 标对象低头或者转头) 时, 根据该睁眼模板图像匹配当前人眼图像会产生较大的误差, 从而 造成对目标对象眼睛状态的误识别。 发明内容 0004 本发明的实施例提供一种确定眼睛状态的方法和设备, 以实现对目标对象的眼睛 状态的精确识别。 0005 为达到上述目的, 本发明的实施例采用如下技术方案 : 0006 第一方面, 提。
12、供一种确定眼睛状态的方法, 包括 : 0007 根据目标对象的第一头像图像获取目标对象的第一眼睛图像, 并根据所述第一眼 睛图像确定模板图像 ; 0008 在所述目标对象的第二头像图像中确定第二眼睛图像, 并获得所述第二眼睛图像 和所述模板图像的欧氏距离 ; 0009 在确定所述欧氏距离大于或等于第一预设阈值时, 删除所述模板图像, 以在获取 下一帧头像图像后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对 象的眼睛状态。 0010 在第一种可能的实现方式中, 所述根据所述目标对象的第一头像图像获取目标对 象的第一眼睛图像包括 : 0011 获取所述第一头像图像的广义水平投影。
13、函数和广义垂直投影函数 ; 0012 根据所述广义水平投影函数和广义垂直投影函数确定所述第一眼睛图像。 0013 结合第一方面或第一种可能的实现方式, 在第二种可能的实现方式中, 所述根据 所述第一眼睛图像确定模板图像包括 : 0014 在所述第一眼睛图像中呈现巩膜的第一巩膜区域所占比例大于或等于第二预设 阈值时, 确定所述第一眼睛图像为模板图像。 0015 结合第一方面至第二种可能的实现方式中的任一种, 在第三种可能的实现方式 说 明 书 CN 103366162 A 4 2/12 页 5 中, 所述获得所述第二眼睛图像和所述模板图像的欧氏距离包括 : 0016 通过公式 : 0017 00。
14、18 获得所述第二眼睛图像和所述模板图像的欧氏距离 ; 其中, T 为所述第二眼睛图 像和所述模板图像的欧氏距离, A(i,j) 为所述模板图像在所述第一头像图像的像素的坐标 (i,j) 的像素值, B(i,j) 为所述第二眼睛图像在所述第二头像图像的像素的坐标 (i,j) 的 像素值, 其中, m 为横坐标 i 的边界值, n 为纵坐标 j 的边界值。 0019 结合第二种可能的实现方式或第三种可能的实现方式, 在第四种可能的实现方式 中, 在所述根据所述模板图像在所述目标对象的第二头像图像中确定第二眼睛图像后, 还 包括 : 0020 确定所述第二眼睛图像中呈现巩膜的第二巩膜区域的面积 ;。
15、 0021 根据所述第二巩膜区域的面积和所述第一巩膜区域的面积确定所述目标对象的 眼睛状态。 0022 结合第四种可能的实现方式, 在第五种可能的实现方式中, 所述根据所述模板图 像和所述第二巩膜区域的面积确定所述目标对象的眼睛状态包括 : 0023 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值大于或等于第三 预设阈值时, 确定所述目标对象的眼睛状态为睁眼状态 ; 0024 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值小 于所述第三预 设阈值时, 确定所述目标对象的眼睛状态为闭眼状态。 0025 第二方面, 提供一种眼睛状态确定设备, 包括 : 0026 获取单元, 用于根。
16、据目标对象的第一头像图像获取目标对象的第一眼睛图像, 并 根据所述第一眼睛图像确定模板图像 ; 0027 处理单元, 用于在所述目标对象的第二头像图像中确定第二眼睛图像, 并获得所 述第二眼睛图像和所述获取单元获取的模板图像的欧氏距离, 并在确定所述欧氏距离大于 或等于第一预设阈值时, 删除所述模板图像, 以在获取下一帧头像图像后, 重新确定模板图 像, 并根据所述重新确定的模板图像确定所述目标对象的眼睛状态。 0028 在第二方面第一种可能的实现方式中, 所述获取单元具体用于, 获取所述头像图 像的广义水平投影函数和广义垂直投影函数, 并根据所述广义水平投影函数和广义垂直投 影函数确定所述第。
17、一眼睛图像。 0029 结合第二方面或第一种可能的实现方式, 在第二种可能的实现方式中, 所述获取 单元具体用于, 在所述第一眼睛图像中呈现巩膜的第一巩膜区域所占比例大于或等于第二 预设阈值时, 确定所述第一眼睛图像为模板图像。 0030 结合第二方面至第二种可能的实现方式中的任一种, 在第三种可能的实现方式 中, 所述处理单元具体用于, 通过公式 : 说 明 书 CN 103366162 A 5 3/12 页 6 0031 0032 获得所述第二眼睛图像和所述模板图像的欧氏距离 ; 其中, T 为所述第二眼睛图 像和所述模板图像的欧氏距离, A(i,j) 为所述模板图像在所述第一头像图像的像。
18、素的坐标 (i,j) 的像素值, B(i,j) 为所述第二眼睛图像在所述第二头像图像的像素的坐标 (i,j) 的 像素值, 其中, m 为横坐标 i 的边界值, n 为纵坐标 j 的边界值。 0033 结合第二种可能的实现方式或第三种可能的实现方式, 在第四种可能的实现方式 中, 所述处理单元还用于, 在根据所述模板图像在所述目标对象的第二头像图像中确定第 二眼睛图像后, 确定所述第二眼睛图像中呈现巩膜的第二巩膜区域的面积, 并根据所述第 二巩膜区域的面积和所述第一巩膜区域的面积确定所述目标对象的眼睛状态。 0034 结合第四种可能的实现方式, 在第五种可能的实现方式中, 所述处理单元具体用 。
19、于, 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值大于或等于第三预设阈 值时, 确定所述目标对象的眼睛状态为睁眼状态 ; 0035 在所述第二巩膜区域的面积与所述第一巩膜区域的面积的比值小于所述第三预 设阈值时, 确定所述目标对象的眼睛状态为闭眼状态。 0036 通过采用上述方案, 眼睛状态确定设备根据目标对象的第一头像图像获取目标对 象的第一眼睛图像, 并根据该第一眼睛图像确定模板图像, 根据该模板图像在该目标对象 的第二头像图像中确定第二眼睛图像, 并获得该第二眼睛图像和该模板图像的欧氏距离, 在确定该欧氏距离大于或等于第一预设阈值时, 删除该模板图像, 以在获取下一帧头像图 像。
20、后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对象的眼睛状态。 这样, 当眼睛状态确定设备确定该欧氏距离大于或等于第一预设阈值时, 则确定当前的眼 睛图像与模板图像的差异较大, 因此, 通过删除该模板图像, 以使得眼睛状态确定设备在下 一帧头像图像中重新获取模板图像, 从而避免了由于当前的眼睛图像与模板图像的差异较 大而造成的对当前目标对象的眼睛状态的误识别, 实现了对目标对象的眼睛状态的精确识 别。 附图说明 0037 为了更清楚地说明本发明实施例或现有技术中的技术方案, 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍, 显而易见地, 下面描述中的附图仅仅是。
21、本 发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下, 还可以 根据这些附图获得其他的附图。 0038 图 1 为本发明实施例提供的一种确定眼睛状态的方法示意图 ; 0039 图 2 为本发明实施例提供的一种确定眼睛状态方法的流程示意图 ; 0040 图 3 为本发明实施例提供的一种眼睛状态确定设备的结构示意图 ; 0041 图 4 为本发明实施例提供的另一种眼睛状态确定设备的结构示意图。 具体实施方式 说 明 书 CN 103366162 A 6 4/12 页 7 0042 下面将结合本发明实施例中的附图, 对本发明实施例中的技术方 案进行清楚、 完 整地描述, 。
22、显然, 所描述的实施例仅仅是本发明一部分实施例, 而不是全部的实施例。基于 本发明中的实施例, 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例, 都属于本发明保护的范围。 0043 需要特别说明的是,本发明各实施例中所提到的头像图像,是指图像中包括人的 头部区域或头部区域的一部分区域 , 而并未限定该图像中只能是人的头部区域或头部区 域的一部分区域 (例如, 在头像图像中可能还包括人的身体区域) ; 相类似的 , 本发明各实 施例中所提到的眼睛图像,是指图像中包括人的眼睛区域或眼睛区域的一部分区域,而并 未限定该图像中只能是人的眼睛区域或眼睛区域的一部分区域。 0044 。
23、本发明实施例提供一种确定眼睛状态的方法, 如图 1 所示, 该方法的执行主体为 眼睛状态确定设备, 该方法包括 : 0045 S101、 眼睛状态确定设备根据目标对象的第一头像图像获取目标对象的第一眼睛 图像, 并根据该第一眼睛图像确定模板图像。 0046 具体地, 眼睛状态确定设备获取目标对象的第一头像图像, 该第一头像图像可以 是眼睛状态确定设备对目标对象的人脸进行检测并获取的人脸图像, 并对该第一头像图像 进行预处理, 该预处理可以包括灰度化和去噪等处理, 从而将该第一头像图像由彩色图像 转换为灰度头像。 0047 可选地, 该眼睛状态确定设备获取该第一头像图像的广义水平投影函数和广义垂。
24、 直投影函数, 并根据该广义水平投影函数和广义垂直投影函数确定该第一眼睛图像, 具体 地, 该广义水平投影函数的函数值可以通过公式 : hGPF(x)=(1-a)hIPF(x)+ahVPF(x) 获 得, 并通过该广义水平投影函数的函数值得到该第一眼睛图像的上下边界, 其中, hGPF(x) 为该第一头像图像的广义水平投影函数的函数值, a 为常数, hIPF(x) 为该第一头像图像的 各像素的灰度值在水平方向上的平均值, hVPF(x) 为各像素的灰度值的方差投影函数值, 另外, 该 hIPF(x) 可以通过公式 : 0048 0049 确定 ; 该 hVPF(x) 可以通过公式 : 005。
25、0 0051 确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, y2为纵 坐标 y 的上边界, y1为纵坐标 y 的下边界 ; 0052 该广义垂直投影函数的函数值可以通过公式 : vGPF(y)=(1-a)vIPF(y)+avVPF(y) 获得, 并通过该广义垂直投影函数的函数值得到该第一眼睛图像的左右边界, 其中, vGPF(x) 为该第一头像图像的广义垂直投影函数的函数值, a 为常数, vIPF(x) 为该第一头像图像的 各像素的灰度值在垂直方向上的平均值, vVPF(x) 为各像素的灰度值的方差投影函数值, 另 外, 该 vIPF(x) 可以通过。
26、公式 : 0053 说 明 书 CN 103366162 A 7 5/12 页 8 0054 确定 ; 该 vVPF(x) 可以通过公式 : 0055 0056 确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, x2为横 坐标 x 的上边界, x1为横坐标 x 的下边界 ; 0057 这样, 通过广义水平投影函数和广义垂直投影函数分别确定了该第一眼睛图像的 上下边界和左右边界, 从而获得了目标对象的第一眼睛图像。 0058 进一步地, 在该第一眼睛图像中呈现巩膜的第一巩膜区域所占比例大于或等于第 二预设阈值时, 眼睛状态确定设备确定该第一眼睛图像为模板图像。
27、。 0059 其中, 巩膜是指眼球外围的白色部分, 由于巩膜与瞳孔和肤色的颜色区别很明显, 因此, 可以通过训练巩膜的颜色模型, 确定第一巩膜区域, 具体地, 采集巩膜的样本, 并建立 巩膜的高斯颜色模型, 在本发明实施例中, 高斯颜色模型的建立与现有技术相同, 因此不再 赘述了, 这样, 通过上述高斯颜色模型从第一眼睛图像中确定第一巩膜区域, 则在该第一巩 膜区域所占比例大于或等于第二预设阈值时, 确定该第一眼睛图像为模板图像, 示例地, 当 该第一巩膜区域的面积与第一眼睛图像的面积的比值大于或等于第二预设阈值时, 确定该 第一眼睛图像为模板图像。 0060 S102、 眼睛状态确定设备在该。
28、目标对象的第二头像图像中确定第二眼睛图像, 并 获得该第二眼睛图像和该模板图像的欧氏距离。 0061 其中, 该第二眼睛图像可以为目标对象当前的眼睛图像。 0062 具体地, 眼睛状态确定设备可以通过广义水平投影函数和广义垂直投影函数确定 第二眼睛图像, 其具体的实现方式参考上述对获取目标对象的第一眼睛图像的描述, 此处 不再赘述。 0063 该眼睛状态确定设备还可以根据模板图像在所述该目标对象的第二头像图像中 确定第二眼睛图像, 具体地, 眼睛状态确定设备将模板图像与第二头像图像进行匹配, 得到 匹配值, 并选取匹配值最大的区域对应的图像作为第二眼睛图像。 0064 进一步地, 眼睛状态确定。
29、设备通过公式 : 0065 0066 获得该第二眼睛图像和该模板图像的欧氏距离 ; 其中, T 为该第二眼睛图像和该 模板图像的欧氏距离, A(i,j) 为该模板图像在该第一头像图像的像素的坐标 (i,j) 的像素 值, B(i,j) 为该第二眼睛图像在该第二头像图像的像素的坐标 (i,j) 的像素值, 其中, m 为 横坐标 i 的边界值, n 为纵坐标 j 的边界值。 0067 在本发明实施例一种可能的实现方式中, 眼睛状态确定设备在根据该模板图像在 说 明 书 CN 103366162 A 8 6/12 页 9 该目标对象的第二头像图像中确定第二眼睛图像后, 确定该第二眼睛图像中呈现巩膜。
30、的第 二巩膜区域的面积, 并根据该第二巩膜区域的面积和该第一巩膜区域的面积确定该目标对 象的眼睛状态。 0068 其中, 该第二巩膜区域的确定同样可以通过训练巩膜的颜色模型来确定, 此处不 再赘述。 0069 具体地, 眼睛状态确定设备在该第二巩膜区域的面积与该第一巩膜区域的面积的 比值大于或等于第三预设阈值时, 确定该目标对象的眼睛状态为睁眼状态, 在该第二巩膜 区域的面积与该第一巩膜区域的面积的比值小于该第三预设阈值时, 确定该目标对象的眼 睛状态为闭眼状态。 0070 S103、 眼睛状态确定设备在确定该欧氏距离大于或等于第一预设阈值时, 删除该 模板图像, 以在获取下一帧头像图像后, 。
31、重新确定模板图像, 并根据所述重新确定的模板图 像确定所述目标对象的眼睛状态。 0071 需要说明的是, 当该眼睛状态确定设备在确定该欧氏距离大于或等于第一预设阈 值时, 即表示该模板图像与该第二眼睛图像的匹配程度较差 (如用户低头或者转头) , 如果 继续采用该模板图像, 则在该眼睛状态确定设备在确定下一帧头像图像的眼睛状态时, 容 易造成眼睛状态确定设备对第二眼睛图像的误识别, 造成对目标对象的眼睛状态的误判, 因此, 该眼睛状态确定设备删除该模板图像, 以使得眼睛状态确定设备在下一帧头像图像 中重新获取模板图像, 并根据该重新获取的模板图像确定目标对象的眼睛状态, 从而提高 对目标对象的。
32、眼睛状态识别的精确度。 0072 另外, 眼睛状态确定设备根据重新确定的模板图像确定目标对象的眼睛状态可以 参考上述步骤 S101 和步骤 S102, 此处不再赘述。 0073 通过采用上述方案, 眼睛状态确定设备根据目标对象的第一头像图像获取目标对 象的第一眼睛图像, 并根据该第一眼睛图像确定模板图像, 根据该模板图像在该目标对象 的第二头像图像中确定第二眼睛图像, 并获得该第二眼睛图像和该模板图像的欧氏距离, 在确定该欧氏距离大于或等于第一预设阈值时, 删除该模板图像, 以在获取下一帧头像图 像后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对象的眼睛状态。 这样, 当眼。
33、睛状态确定设备确定该欧氏距离大于或等于第一预设阈值时, 则确定当前的眼 睛图像与模板图像的差异较大, 因此, 通过删除该模板图像, 以使得眼睛状态确定设备在下 一帧头像图像中重新获取模板图像, 从而避免了由于当前的眼睛图像与模板图像的差异较 大而造成的对当前目标对象的眼睛状态的误识别, 实现了对目标对象的眼睛状态的精确识 别。 0074 本发明实施例提供一种确定眼睛状态的方法, 如图 2 所示, 该方法包括 : 0075 S201、 眼睛状态确定设备获取目标对象的第一头像图像。 0076 具体地, 该第一头像图像可以是眼睛状态确定设备对目标对象的 人脸进行检测 并获取的人脸图像, 并对该第一头。
34、像图像进行预处理, 该预处理可以包括灰度化和去噪等 处理, 从而将该第一头像图像由彩色图像转换为灰度头像。 0077 S202、 眼睛状态确定设备获取该第一头像图像的广义水平投影函数和广义垂直投 影函数, 并根据该广义水平投影函数和广义垂直投影函数确定该第一眼睛图像。 0078 具体地, 该广义水平投影函数的函数值可以通过公式: hGPF(x)=(1-a) hIPF(x)+a hVPF(x) 说 明 书 CN 103366162 A 9 7/12 页 10 获得, 并通过该广义水平投影函数的函数值得到该第一眼睛图像的上下边界, 其中, hGPF (x) 为该第一头像图像的广义水平投影函数的函数。
35、值, a 为常数, hIPF(x) 为该第一头像图 像的各像素的灰度值在水平方向上的平均值, hVPF(x) 为各像素的灰度值的方差投影函数 值, 另外, 该 hIPF(x) 可以通过公式 : 0079 0080 确定 ; 该 hVPF(x) 可以通过公式 : 0081 0082 确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, y2为纵 坐标 y 的上边界, y1为纵坐标 y 的下边界 ; 0083 该广义垂直投影函数的函数值可以通过公式 : vGPF(y)=(1-a)vIPF(y)+avVPF(y) 获得, 并通过该广义垂直投影函数的函数值得到该第一眼。
36、睛图像的左右边界, 其中, vGPF (x) 为该第一头像图像的广义垂直投影函数的函数值, a 为常数, vIPF(x) 为该第一头像图 像的各像素的灰度值在垂直方向上的平均值, vVPF(x) 为各像素的灰度值的方差投影函数 值, 另外, 该 vIPF(x) 可以通过公式 : 0084 0085 确定 ; 该 vVPF(x) 可以通过公式 : 0086 0087 确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, x2为横 坐标 x 的上边界, x1为横坐标 x 的下边界 ; 0088 这样, 通过广义水平投影函数和广义垂直投影函数分别确定了该第一眼睛图像。
37、的 上下边界和左右边界, 从而获得了目标对象的第一眼睛图像。 0089 S203、 眼睛状态确定设备在该第一眼睛图像中呈现巩膜的第一巩膜区域所占比例 大于或等于第二预设阈值时, 眼睛状态确定设备确定该第一眼睛图像为模板图像。 0090 其中, 巩膜是指眼球外围的白色部分, 由于巩膜与瞳孔和肤色的颜色区别很明显, 因此, 可以通过训练巩膜的颜色模型, 确定第一巩膜区域, 具体地, 采集巩膜的样本, 并建立 巩膜的高斯颜色模型, 在本发明实施例中, 高斯颜色模型的建立与现有技术相同, 因此不再 赘述了, 这样, 通过上述高斯颜色模型从第一眼睛图像中确定第一巩膜区域, 则在该第一巩 膜区域所占比例大。
38、于或等于第二预设阈值时, 确定该第一眼睛图像为模板图像, 示例地, 当 该第一巩膜区域的面积与第一眼睛图像的面积的比值大于或等于第二预设阈值时, 确定该 第一眼睛图像为模板图像。 0091 S204、 眼睛状态确定设备在该目标对象的第二头像图像中确定第二眼睛图像。 0092 其中, 该第二眼睛图像可以为目标对象当前的眼睛图像。 0093 具体地, 眼睛状态确定设备可以通过广义水平投影函数和广义垂直投影函数确定 第二眼睛图像, 其具体的实现方式参考上述步骤 S102 的描述, 此处不再赘述。 说 明 书 CN 103366162 A 10 8/12 页 11 0094 S205、 眼睛状态确定设。
39、备确定该第二眼睛图像中呈现巩膜的第二巩膜区域的面 积, 并根据该第二巩膜区域的面积和该第一巩膜区域的面积确定该目标对象的眼睛状态。 0095 其中, 该第二巩膜区域的确定同样可以通过训练巩膜的颜色模型来确定, 此处不 再赘述。 0096 具体地, 眼睛状态确定设备在该第二巩膜区域的面积与该第一巩膜区域的面积的 比值大于或等于第三预设阈值时, 确定该目标对象的眼睛状态为睁眼状态, 在该第二巩膜 区域的面积与该第一巩膜区域的面积的比值小于该第三预设阈值时, 确定该目标对象的眼 睛状态为闭 眼状态。 0097 S206、 眼睛状态确定设备获得该第二眼睛图像和该模板图像的欧氏距离。 0098 具体地,。
40、 眼睛状态确定设备通过公式 : 0099 0100 获得该第二眼睛图像和该模板图像的欧氏距离 ; 其中, T 为该第二眼睛图像和该 模板图像的欧氏距离, A(i,j) 为该模板图像在该第一头像图像的像素的坐标 (i,j) 的像素 值, B(i,j) 为该第二眼睛图像在该第二头像图像的像素的坐标 (i,j) 的像素值, 其中, m 为 横坐标 i 的边界值, n 为纵坐标 j 的边界值。 0101 S207、 眼睛状态确定设备在确定该欧氏距离大于或等于第一预设阈值时, 删除该 模板图像。 0102 需要说明的是, 当该眼睛状态确定设备在确定该欧氏距离大于或等于第一预设阈 值时, 即表示该模板图像。
41、与该第二眼睛图像的匹配程度较差 (如用户低头或者转头) , 如果 继续采用该模板图像, 则在该眼睛状态确定设备在确定下一帧头像图像的眼睛状态时, 容 易造成眼睛状态确定设备对第二眼睛图像的误识别, 造成对目标对象的眼睛状态的误判, 因此, 该眼睛状态确定设备删除该模板图像, 以使得眼睛状态确定设备在下一帧头像图像 中重新获取模板图像, 并根据该重新获取的模板图像确定目标对象的眼睛状态, 从而提高 对目标对象的眼睛状态识别的精确度。 0103 S208、 眼睛状态确定设备获取下一帧头像图像, 并重新确定模板图像。 0104 S209、 眼睛状态确定设备根据该重新确定的模板图像确定该目标对象的眼睛。
42、状 态。 0105 眼睛状态确定设备根据重新确定的模板图像确定目标对象的眼睛状态可以参考 上述步骤 S101 和步骤 S102, 此处不再赘述。 0106 通过采用上述方案, 眼睛状态确定设备根据目标对象的第一头像图像获取目标对 象的第一眼睛图像, 并根据该第一眼睛图像确定模板图像, 根据该模板图像在该目标对象 的第二头像图像中确定第二眼睛 图像, 并获得该第二眼睛图像和该模板图像的欧氏距离, 在确定该欧氏距离大于或等于第一预设阈值时, 删除该模板图像, 以在获取下一帧头像图 像后, 重新确定模板图像, 并根据所述重新确定的模板图像确定所述目标对象的眼睛状态。 这样, 当眼睛状态确定设备确定该。
43、欧氏距离大于或等于第一预设阈值时, 则确定当前的眼 睛图像与模板图像的差异较大, 因此, 通过删除该模板图像, 以使得眼睛状态确定设备在下 一帧头像图像中重新获取模板图像, 从而避免了由于当前的眼睛图像与模板图像的差异较 说 明 书 CN 103366162 A 11 9/12 页 12 大而造成的对当前目标对象的眼睛状态的误识别, 实现了对目标对象的眼睛状态的精确识 别。 0107 需要说明的是, 对于上述的方法实施例, 为了简单描述, 故将其都表述为一系列的 动作组合, 但是本领域技术人员应该知悉, 本发明并不受所描述的动作顺序的限制, 因为依 据本发明, 某些步骤可以采用其他顺序或者同时。
44、进行。其次, 本领域技术人员也应该知悉, 说明书中所描述的实施例均属于优选实施例, 所涉及的动作和模块并不一定是本发明所必 须的。 0108 本发明实施例提供一种眼睛状态确定设备 30, 如图 3 所示, 包括 : 0109 获取单元 30, 用于根据目标对象的第一头像图像获取目标对象的第一眼睛图像, 并根据该第一眼睛图像确定模板图像。 0110 具体地, 眼睛状态确定设备获取目标对象的第一头像图像, 该第一头像图像可以 是眼睛状态确定设备对目标对象的人脸进行检测并获取的人脸图像, 并对该第一头像图像 进行预处理, 该预处理可以包括灰度化和去噪等处理, 从而将该第一头像图像由彩色图像 转换为灰。
45、度头像。 0111 处理单元 31, 用于在该目标对象的第二头像图像中确定第二眼睛图像, 并获得该 第二眼睛图像和该获取单元 30 获取的模板图像的欧氏距离, 并在确定该欧氏距离大于或 等于第一预设阈值时, 删除该模板图像, 以在获取下一帧头像图像后, 重新确定模板图像, 并根据该重新确定的模板图像确定该目标对象的眼睛状态。 0112 可选地, 该获取单元 30 具体用于, 获取该头像图像的广义水平投影函数和广义垂 直投影函数, 并根据该广义水平投影函数和广义垂直投影函数确定该第一眼睛图像。 0113 具体地, 该广义水平投影函数的函数值可以通过公式: hGPF(x)=(1-a) hIPF(x。
46、)+a hVPF(x) 获得, 并通过该广义水平投影函数的函数值得到该第一眼睛图像的上下边界, 其中, hGPF (x) 为该第一头像图像的广义水平投影函数的函数值, a 为常数, hIPF(x) 为该第一头像图 像的各像素的灰度值在水平方向上的平均值, hVPF(x) 为各像素的灰度值的方差投影函数 值, 另外, 该 hIPF(x) 可以通过公式 : 0114 0115 确定 ; 该 hVPF(x) 可以通过公式 : 0116 0117 确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, y2为纵 坐标 y 的上边界, y1为纵坐标 y 的下边界 ; 01。
47、18 该广义垂直投影函数的函数值可以通过公式 : vGPF(y)=(1-a)vIPF(y)+avVPF(y) 获得, 并通过该广义垂直投影函数的函数值得到该第一眼睛图像的左右边界, 其中, vGPF (x) 为该第一头像图像的广义垂直投影函数的函数值, a 为常数, vIPF(x) 为该第一头像图 像的各像素的灰度值在垂直方向上的平均值, vVPF(x) 为各像素的灰度值的方差投影函数 值, 另外, 该 vIPF(x) 可以通过公式 : 说 明 书 CN 103366162 A 12 10/12 页 13 0119 0120 确定 ; 该 vVPF(x) 可以通过公式 : 0121 0122 。
48、确定, 其中, I(x,y) 为该第一头像图像中的像素的坐标 (x, y) 的像素值, x2为横 坐标 x 的上边界, x1为横坐标 x 的下边界 ; 0123 这样, 通过广义水平投影函数和广义垂直投影函数分别确定了该第一眼睛图像的 上下边界和左右边界, 从而获得了目标对象的第一眼睛图像。 0124 进一步地, 该获取单元 30 具体用于, 在该第一眼睛图像中呈现巩膜的第一巩膜区 域所占比例大于或等于第二预设阈值时, 确定该第一眼睛图像为模板图像。 0125 其中, 巩膜是指眼球外围的白色部分, 由于巩膜与瞳孔和肤色的颜色区别很明显, 因此, 可以通过训练巩膜的颜色模型, 确定第一巩膜区域, 具体地, 采集巩膜的样本, 并建立 巩膜的高斯颜色模型, 在本发明实施例中, 高斯颜色模型的建立与现有技术相同, 因此不再 赘述了, 这样, 通过上述高斯颜色模型从第一眼睛图像中确定第一巩膜区域, 则在该第一巩 膜区域所占比例大于或等于第二预设阈值时, 确定该第一眼睛图像为模板图像, 示例地, 当 该第一巩膜区域的面积与第一眼睛图像的面积的比值大于或等于第二预设阈值时, 确定该 第一眼睛图像为模板图像。 0126 进一步地, 该处理单元 31 可以将模板图像与第二头像图像进行匹配, 得到匹配 值, 并选取匹配值最大的区域对应的图像作为第二眼睛图像。 0127 可选地, 该处。