《人脸活体检测联合判断方法.pdf》由会员分享,可在线阅读,更多相关《人脸活体检测联合判断方法.pdf(8页珍藏版)》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010047342.4 (22)申请日 2020.01.16 (71)申请人 创意信息技术股份有限公司 地址 610000 四川省成都市青羊区万和路 号丽阳天下 室 (72)发明人 周正斌 (74)专利代理机构 成都金英专利代理事务所 (普通合伙) 51218 代理人 袁英 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 一种人脸活体检测联合判断方法 (57)摘要 本发明公开了一种人脸活体检测联合判断 方。
2、法, 包括面部特征点获取, 人脸基本动作判断, 人脸活体检测, 人脸活体检测联合判断; 所述面 部特征点获取, 用已有的深度学习模型提取人脸 特征点; 所述人脸基本动作判断, 用人脸特征点 在视频中的移动判断人脸的基本动作; 所述人脸 活体检测, 通过人脸深度图和三维图分别训练模 型, 使用训练得到的模型进行活体检测; 所述人 脸活体检测联合判断, 通过人脸基本动作和人脸 活体检测联合判断人脸是否为真人脸。 本发明针 对人脸特征和人脸运动规律, 采用了基于深度学 习的人脸动作判断和人脸活体检测相结合的方 法, 提高人脸活体检测的准确性。 权利要求书2页 说明书4页 附图1页 CN 111401。
3、127 A 2020.07.10 CN 111401127 A 1.一种人脸活体检测联合判断方法, 其特征在于, 包括动态人脸特征点判断, 静态人脸 活体检测和人脸活体检测联合判断, 步骤如下: S1: 人脸基本动作判断, 通过人脸特征点在视频中的移动判断人脸的基本动作; S2: 人脸活体检测, 使用人脸活体识别模型进行活体检测; S3: 人脸活体检测联合判断, 通过将动态的人脸动作和静态的人脸活体检测结合, 联合 判断视频中是否为真的人脸。 2.根据权利要求1所述的一种人脸活体检测联合判断方法, 其特征在于, 还包括面部特 征点获取, 以视频的每帧作为输入, 通过深度学习模型, 提取人脸面部。
4、判断所需的人脸面部 特征点。 3.根据权利要求2所述的人脸活体检测联合判断方法, 其特征在于, 所述的人脸面部的 特征点, 使用像素点标出。 4.根据权利要求1所述的人脸活体检测联合判断方法, 其特征在于, 所述的人脸基本动 作判断, 包括以下步骤: S101: 摇头点头判断, 通过获取到的面部特征点进行判断, 当所有面部特征点在视频的 连续两帧之间同时向左右或上下运动时, 判断是否摇头或点头; S102: 张嘴动作判断, 通过获取到的面部特征点中的嘴部特征点进行判断, 张嘴时, 上 嘴唇特征点向上移动, 下嘴唇特征点向下移动, 面部其他特征点小幅度移动, 以这些特征点 作为判断依据, 判断张。
5、嘴动作是否成立。 5.根据权利要求1所述的人脸活体检测联合判断方法, 其特征在于, 所述人脸活体检 测, 其特征在于, 包括以下步骤: S201: 准备训练样本, 训练样本为人脸的深度图像和由视频恢复的三维图像; 使用深度 图像和三维图像分别进行模型训练; S202: 神经网络设计, 训练网络是轻量级卷积神经网络和深度分离卷积层的组合, 输入 的图像经过轻量级卷积神经网络后得到的特征感受野中心对输出的影响大于边缘对输出 的影响, 使用深度分离卷积层可以保留保留特征的这个信息, 深度分离卷积层用于缩减输 出的像素采样; 计算过程如下: 其中, FV表示扁平化后的特征向量, FV的长度NH W C。
6、,H , W , C分别表示深度分 离卷积层输出特征图的高度、 宽度和通道数; n(y,x,m)表示FV的第n个元素, 它对应于深度 分离卷积层输出特征映射的第m个通道中的(y, x)单元, 计算公式如下: n(y, x, m)mH W +yH +x 其中, K表示深度卷积核, F表示卷积神经网络卷积后得到的HWC大小的特征, H表示 特征的高度, W表示宽度, C表示通道, m表示通道索引, i, j表示K中的空间位置, INy(i), INx (j)表示F中的对应位置, 计算公式如下: INy(i)yS0+i INx(j)xS1+j 其中, S0表示垂直步长, S1表示水平步长; 权利要求。
7、书 1/2 页 2 CN 111401127 A 2 设计的网络共有三种结构BlockA, BlockB, BlockC, 训练网络包括FeatherNetA和 FeatherNetB; 所述的FeatherNetA由BlockA和BlockB组成; 所述的FeatherNetB由BlockA和 BlockC组成; 其中通过深度图像训练FeatherNetA, 通过三维图像训练FeatherNetB; S203: 测试包括两个阶段, 并联和判断人脸真假, 第一阶段由FeatherA模型得到结果, 对于不确定的样本进行第二阶段的判断; 第二阶段用FeatherNetB模型, 若第二阶段判断为 假。
8、, 则作为最后结果, 若判断为真, 则结合第一阶段的结果共同决定。 权利要求书 2/2 页 3 CN 111401127 A 3 一种人脸活体检测联合判断方法 技术领域 0001 本发明涉及生物识别领域, 尤其涉及一种联合判断人脸活体检测技术。 背景技术 0002 随着人工智能技术的快速发展, 人脸识别已经应用到各行各业, 其中人脸门禁系 统、 人脸通道系统、 人证核验等在协助行业主管部门进行工作监督, 规范人员管理, 打击犯 罪等方面做出了巨大贡献。 而随着应用的愈加广泛, 人脸活体检测技术的重要性也更加凸 显。 0003 活体检测就是要识别出成像设备(摄像头、 手机等)上检测到的人脸图像是。
9、来自真 实的人脸, 还是某种形式的攻击或伪装。 这些攻击形式主要包括照片(包括纸质照片和手 机、 平板等电子设备上的照片)攻击、 视频回放攻击、 面具攻击等。 引入活体检测技术, 对于 人脸识别技术的应用, 尤其在无人值守商业场景下的安全应用, 有着至关重要的作用。 0004 目前的人脸活体检测方法的缺点集中在以下几个方面: 0005 (1)基于手工特征的方法: 0006 从早期的传统方法说起, 目标很明确, 就是找到活体与非活体攻击的差异, 然后根 据这些差异来设计特征, 最后送给分类器去决策。 活体与非活体差异主要有颜色纹理、 非刚 性运动变形、 材料(皮肤, 纸质, 镜面)和图像或视频质。
10、量等。 0007 这种方法的优点算法简单, 比起训练的模型来说速度更快, 但识别的准确性不够, 难以商业化。 0008 (2)基于深度学习的方法: 0009 随着计算机性能的不断增长, 深度学习逐渐登上了舞台。 深度学习不在乎特征, 模 型定好之后只管输入, 有了输入就能输出一个最好的结果。 基本不用修改代码, 只需要调 参。 基于深度学习的信息抽取, 目前效果最好, 但是需要大量人工标注的样本, 训练成本很 高。 发明内容 0010 本发明的目的在于针对上述问题, 克服现有技术不足, 提供一种人脸活体检测联 合判断方法。 0011 本发明是通过以下技术方案来实现的: 一种人脸活体检测联合判断。
11、方法, 包括动 态人脸特征点判断, 静态人脸活体检测和人脸活体检测联合判断, 步骤如下: 0012 S1: 人脸基本动作判断; 0013 S2: 人脸活体检测, 使用人脸活体识别模型进行活体检测; 0014 S3: 人脸活体检测联合判断, 通过将动态的人脸动作和静态的人脸活体检测结合, 联合判断视频中是否为真的人脸。 0015 进一步的, 所述方法还包括面部特征点获取, 以视频的每帧作为输入, 通过深度学 习模型, 采集每帧图片人脸面部的特征点, 并使用像素点标出特征点。 说明书 1/4 页 4 CN 111401127 A 4 0016 进一步的, 所述的人脸基本动作判断, 包括以下步骤: 。
12、0017 S101: 摇头点头判断, 通过获取到的面部特征点进行判断, 当所有面部特征点在视 频的连续两帧之间同时向左右或上下运动时, 判断是否摇头或点头; 0018 S102: 张嘴动作判断, 通过获取到的面部特征点中的嘴部特征点进行判断, 张嘴 时, 上嘴唇特征点向上移动, 下嘴唇特征点向下移动, 面部其他特征点小幅度移动, 以这些 特征点作为判断依据, 判断张嘴动作是否成立。 0019 进一步的, 所述人脸活体检测, 其特征在于, 包括以下步骤: 0020 S201: 准备训练样本, 训练样本为人脸的深度图像和由视频恢复的三维图像; 使用 深度图像和三维图像分别进行模型训练; 0021 。
13、S202: 神经网络设计, 训练网络是轻量级卷积神经网络和深度分离卷积层的组合, 输入的图像经过轻量级卷积神经网络后得到的特征感受野中心对输出的影响大于边缘对 输出的影响, 使用深度分离卷积层可以保留保留特征的这个信息, 深度分离卷积层用于缩 减输出的像素采样。 计算过程如下: 0022 0023 其中, FV表示扁平化后的特征向量, FV的长度NH W C,H , W , C分别表示深 度分离卷积层输出特征图的高度、 宽度和通道数; n(y,x,m)表示FV的第n个元素, 它对应于 深度分离卷积层输出特征映射的第m个通道中的(y, x)单元, 计算公式如下: 0024 n(y, x, m)m。
14、H W +yH +x 0025 其中, K表示深度卷积核, F表示卷积神经网络卷积后得到的HWC大小的特征, H 表示特征的高度, W表示宽度, C表示通道, m表示通道索引, i, j表示K中的空间位置, INy(i), INx(j)表示F中的对应位置, 计算公式如下: 0026 INy(i)yS0+i 0027 INx(j)xS1+j 0028 其中, S0表示垂直步长, S1表示水平步长; 0029 设计的网络共有三种结构BlockA, BlockB, BlockC, 训练网络包括FeatherNetA和 FeatherNetB; 所述的FeatherNetA由BlockA和BlockB。
15、组成; 所述的FeatherNetB由BlockA和 BlockC组成; 其中通过深度图像训练FeatherNetA, 通过三维图像训练FeatherNetB。 0030 S203: 测试包括两个阶段, 并联和判断人脸真假, 第一阶段由FeatherA模型得到结 果, 对于不确定的样本进行第二阶段的判断; 第二阶段用FeatherNetB模型, 若第二阶段判 断为假, 则作为最后结果, 若判断为真, 则结合第一阶段的结果共同决定。 0031 进一步的, 所述的人脸活体检测联合判断, 包括将动态的人脸动作和静态的人脸 活体检测结合, 联合判断视频中是否为真的人脸。 0032 本发明的有益效果是:。
16、 针对人脸特征和人脸运动规律, 提出一种联合判断人脸活 体检测的方法, 采用基于深度学习的人脸动作判断和人脸活体检测相结合的方法, 提高人 脸活体检测的准确性, 降低训练成本。 附图说明 0033 图1为本发明的流程框图。 说明书 2/4 页 5 CN 111401127 A 5 具体实施方式 0034 下面结合附图进一步详细描述本发明的技术方案, 但本发明的保护范围不局限于 以下所述。 0035 如图1所示, 一种人脸活体检测联合判断方法, 包括动态人脸特征点判断, 静态人 脸活体检测和人脸活体检测联合判断, 步骤如下: 0036 S1: 人脸基本动作判断; 0037 S2: 人脸活体检测;。
17、 0038 S3: 人脸活体检测联合判断; 0039 所述的人脸活体检测联合判断, 通过结合动态人脸特征点和人脸活体检测进行判 断。 0040 进一步的, 所述方法还包括面部特征点获取, 以视频的每帧作为输入, 通过深度学 习模型, 采集每帧图片人脸面部的特征点, 并使用像素点标出特征点。 0041 进一步的, 所述的人脸基本动作判断, 包括以下步骤: 0042 S101: 摇头点头判断, 通过获取到的面部特征点进行判断, 当所有面部特征点在视 频的连续两帧之间同时向左右或上下运动时, 判断是否摇头或点头; 0043 S102: 张嘴动作判断, 通过获取到的面部特征点中的嘴部特征点进行判断, 。
18、张嘴 时, 上嘴唇特征点向上移动, 下嘴唇特征点向下移动, 面部其他特征点小幅度移动, 以这些 特征点作为判断依据, 判断张嘴动作是否成立。 0044 进一步的, 所述人脸活体检测, 其特征在于, 包括以下步骤: 0045 S201: 准备训练样本, 训练样本为人脸的深度图像和由视频恢复的三维图像; 使用 深度图像和三维图像分别进行模型训练; 0046 S202: 神经网络设计, 训练网络是轻量级卷积神经网络和深度分离卷积层的组合, 输入的图像经过轻量级卷积神经网络后得到的特征感受野中心对输出的影响大于边缘对 输出的影响, 使用深度分离卷积层可以保留保留特征的这个信息, 深度分离卷积层用于缩 。
19、减输出的像素采样。 计算过程如下: 0047 0048 其中, FV表示扁平化后的特征向量, FV的长度NH W C,H , W , C分别表示深 度分离卷积层输出特征图的高度、 宽度和通道数; n(y,x,m)表示FV的第n个元素, 它对应于 深度分离卷积层输出特征映射的第m个通道中的(y, x)单元, 计算公式如下: 0049 n(y, x, m)mH W +yH +x 0050 其中, K表示深度卷积核, F表示卷积神经网络卷积后得到的HWC大小的特征, H 表示特征的高度, W表示宽度, C表示通道, m表示通道索引, i, j表示K中的空间位置, INy(i), INx(j)表示F中。
20、的对应位置, 计算公式如下: 0051 INy(i)yS0+i 0052 INx(j)xS1+j 0053 其中, S0表示垂直步长, S1表示水平步长; 0054 设计的网络共有三种结构BlockA, BlockB, BlockC, 训练网络包括FeatherNetA和 FeatherNetB; 所述的FeatherNetA由BlockA和BlockB组成; 所述的FeatherNetB由BlockA和 说明书 3/4 页 6 CN 111401127 A 6 BlockC组成; 其中通过深度图像训练FeatherNetA, 通过三维图像训练FeatherNetB。 0055 S203: 测。
21、试包括两个阶段, 并联和判断人脸真假, 第一阶段由FeatherA模型得到结 果, 对于不确定的样本进行第二阶段的判断; 第二阶段用FeatherNetB模型, 若第二阶段判 断为假, 则作为最后结果, 若判断为真, 则结合第一阶段的结果共同决定。 0056 进一步的, 所述的人脸活体检测联合判断, 包括将动态的人脸动作和静态的人脸 活体检测结合, 联合判断视频中是否为真的人脸。 以上显示和描述了本发明的基本原理和 主要特征和本发明的优点。 本行业的技术人员应该了解, 本发明不受上述实施例的限制, 上 述实施例和说明书中描述的只是说明本发明的原理, 在不脱离本发明精神和范围的前提 下, 本发明还会有各种变化和改进, 这些变化和改进都落入要求保护的本发明范围内。 本发 明要求保护范围由所附的权利要求书及其等效物界定。 说明书 4/4 页 7 CN 111401127 A 7 图1 说明书附图 1/1 页 8 CN 111401127 A 8 。