一种在人脸识别中应用的活体检测方法 技术领域 本发明属于模式识别领域， 具体涉及一种在人脸识别中应用的基于误导性提示信 息和光流场的活体检测方法。
背景技术 随着生物识别技术的发展， 人脸识别技术已趋于成熟， 在良好的光照条件和姿态 下， 人脸识别系统已经可以较好的进行人脸检测与识别， 但是， 对于一些诸如门禁、 登录等 系统的人脸识别技术而言， 用户可以凭借照片等非法手段欺骗系统。 对于这类系统， 识别率 越高， 安全隐患越大。因此， 活体检测成为这类系统应用人脸识别技术的瓶颈。
传统的人脸识别系统中的活体检测大致可分为用户配合和盲检测两种方法。 用户 配合的方法要求用户按照系统的提示做一些特定的动作， 例如嘴型变化、 头部转动、 表情变 化等。系统比较用户的反应是否与预期相符合， 若符合则判断为活体， 否则判断为照片。用 户配合的检测方法的优点是确保活体， 缺点是暴露了系统活体检测的判断依据。 另外， 用户 配合的检测方法要求用户按照提示做一系列的动作， 容易使用户产生厌烦情绪， 降低了系 统的友好性。盲检测的方法不需要用户配合， 是在用户不知情的状态下进行活体检测。盲 检测方法的优点是隐蔽性强， 安全性高， 缺点是可以稳定有效利用的活体特征较少。例如， 眼睛眨动是盲检测方法常用的活体特征， 但据统计， 人平均 2 至 4 秒才眨动一次眼睛， 这个 时间太长了， 况且长时间不眨眼的人也不少。
本发明提出一种介于用户配合方法和盲检测方法之间的人脸活体检测方法。目 前， 许多人脸识别系统为了提高识别率， 往往会提示用户正面面对摄像头。 本发明提出的活 体检测方法是在用户已经正面面对摄像头的情况下， 仍然不断提示用户正面面对摄像头， 从而引起用户困惑而下意识地调整自己的姿态。就正常的用户来说， 这些调整的动作是可 以预期的。本发明提出的活体检测方法通过检测这些动作判断活体。
1981 年， Horn 和 Schunck( 参 考 文 献 [1] ： B.K.P.Horn， B.G.Schunck， DeterminingOptical Flow， Artificial Intelligence 17， 1981， pp.185-203) 最早研究光 流场的计算。 光流指图像中灰度模式运动速度。 物体在光源照射下， 其表面的灰度呈现一定 的空间分布， 称之为灰度模式。 当人的眼睛观察运动物体时， 物体的景象在人眼的视网膜上 形成一系列连续变化的图像， 这一系列连续变化的信息不断 “流过” 视网膜 ( 即图像平面 )， 好像是一种光的 “流” ， 故称之为光流。 当物体运动时， 在图像上对应物体的亮度模式也在运 动。光流是指图像亮度模式的表观 ( 或视在 ) 运动 (apparent motion)。光流表达图像的 变化， 包含目标运动的信息， 可用来确定目标的运动。定义光流以点为基础。具体来说， 设 (u， v) 为图像点 (x， y) 的光流， 则把 (x， y， u， v) 成为光流点。所有光流点的集合称为光流 场。本发明利用光流场计算统一检测眼眶内眼睛眨动和眼球转动的动作。
发明内容
本发明提出一种基于误导信息和光流场的人脸识别活体检测方法， 具体内容如下： (1) 系统给出误导性提示信息
目前， 许多人脸识别系统为了提高识别率， 都会提示用户正面面对摄像头。 本发明 提出的活体检测方法是在用户已经正面面对摄像头的情况下依然不断提示 “正面面向摄像 头” 的信息， 从而使用户产生困惑并下意识调整自己的姿态。 系统通过检测这些姿态进行活 体判断。这样做有三个目的 ：
·保证活体检测的隐蔽性。本发明的提示信息都是许多人脸识别系统在 “用户配 合的应用” 中经常使用的、 正常的提示信息， 如 “请正面面对摄像头” 、 “现场光线过暗” 、 “请 摘除眼镜” 等等。这些信息原本不是为了活体检测， 而是为了提高识别率。这些信息在 “用 户配合的应用” 中已经广泛使用和广为熟悉。 用户看到这些信息不会生疑， 不会知道系统正 在进行活体检测， 从而保证了活体检测的隐蔽性。
·诱使用户产生活体动作。本发明是在用户已经满足提示信息的前提下仍然不断 地显示提示信息。 例如， 在用户已经正面面对摄像头的情况下， 仍然提示用户正面面对摄像 头。在本发明中， 我们把这些信息称为误导信息。误导信息的目的是诱发用户产生困惑， 从 而下意识地调整自己的姿态。不同的用户可能会有不同的姿态调整动作。例如， 有的用户 会左右摆动自己的头部， 有的用户会上下摆动自己的头部， 等等。但是， 在 “正面面对摄像 头” 的强烈心理暗示下， 用户在调整自己姿态的时侯， 眼睛会一直盯住显示屏。这是因为用 户的视频和系统的提示信息都实时显示在显示屏上， 用户需要通过观察显示屏上的图像和 信息实时掌握自己姿态调整的效果。 这意味着用户的眼球在其眼眶的相对位置会在用户姿 态调整时会发生变化。本发明通过检测眼球相对于眼眶的位置变化判断活体。
·促使用户用眼疲劳， 诱发眨眼动作。眨眼是人脸识别中活体检测常用的判别依 据。 但是， 根据统计， 人眼平均 2 到 4 秒才眨动一次， 而且， 长时间不眨眼的人也不少。 因此， 诱发用户在无意识的状态下产生眨眼动作是盲检测方法首要考虑的问题。 本发明采用误导 信息促使用户产生困惑， 又采用走字或闪动的方式不断显示这些误导信息， 造成用户精神 和用眼的疲劳， 诱发用户眨眼。本发明通过检测用户眨眼判断活体。
(2)Adaboost 检测人脸、 人眼区域
首先对图像进行一定的光线补偿， 然后利用 Adaboost 层叠型人脸分类器对输入 图像进行人脸检测， 再在检测到的人脸区域上半部利用 Adaboost 层叠型眼睛分类器进行 人眼检测。Adaboost 检测到的人眼眼眶包含了眉毛区域、 眼睛左右眼角外的一些皮肤区域 和眼睛下部的一部分皮肤区， 因此需要按照固定比例将眉毛切除， 得到候选的眼睛区域。
(3) 差分灰度投影精确框定人眼眼眶
为精确框定眼眶， 在候选的眼睛区域内进行差分灰度投影。差分灰度投影函数反 应了图像在某个方向上的灰度变化大小。由于眼睛相对于周围皮肤灰度值存在较大变化， 因此分别经过水平投影、 垂直投影后， 上下眼皮、 左右眼角位置处的投影值相对周围皮肤区 域大很多， 可以由此特性确定人眼眼眶。
(4) 计算相邻两帧眼睛光流场
对于相邻两帧人脸图， 可以由以上步骤分别得到两幅左眼眼图和两幅右眼眼图， 采取 LK 算法对左眼、 右眼分别做光流计算， 目的在于判断眼部是否发生了较大的运动。对 于人脸而言， 在姿态校正的过程中会伴随眼珠转动和眼睛眨动， 通常针对眼珠转动的算法
需要精确确定眼珠位置， 但这样会带来较大的计算量， 并且目前的特征点提取算法鲁棒性 不足， 对于光线、 姿态变化敏感 ； 针对眼睛眨动的算法通常需要确定眼睛睁开、 闭合状态， 若 状态序列符合人眼眨动过程则判断发生了眨眼活动。本发明引入光流场的概念， 可以同时 估计到这两种运动信息， 大大缩减计算量的同时使计算效果大大提高， 当上述运动发生时 计算得到的光流场较大， 对于照片而言， 尽管照片的运动也会带来一定的光流变化， 但相较 于真实人脸的上述两种运动， 其光流场微弱许多。
(5) 活体判别
可由光流计算的结果得到像素运动幅值， 计算幅值足够大的点数占整个图像点数 的比重， 若占到相当大的比例则判断此时人眼区域发生了较大的运动， 说明为活体， 否则为 照片。
发明特点
本发明特点之一在于提出了一种基于误导信息的活体检测方法。 本发明在用户已 经正面面向摄像头的时候仍然不断提示用户正面面向摄像头， 因此这是一种误导性的提示 信息。 用户在进行姿态校正的过程中， 会有一系列的反应， 如转动头部但同时眼睛依然注视 摄像头， 这时眼珠在眼眶中的相对位置势必会发生变化 ； 同时， 信息的提示会诱发用户眼睛 的疲劳， 使用户较平时更易眨动眼睛。本发明则是利用了这两方面的活体特征进行活体判 别。这种方法是介于传统的盲检测和用户配合方式之间的一种判别方法， 从本质上讲属于 盲检测， 因为用户并不知道系统此时正在进行活体判别， 也不知道系统利用了怎样的活体 特征， 在用户反复校正姿态并观察提示信息时， 他便无意识的主动提供了系统可利用的运 动信息。 对于照片， 不论其如何旋转、 平移， 人脸图像的眼部区域始终几乎静止不动， 所产生 的光流场也比较微弱。 这种方式的优点之一在于系统提取的活体特征并没有暴露在用户面 前， 而且可以同时利用多种活体特征， 增强了系统的隐蔽性和安全性。
本发明特点之二在于采用光流场进行活体特征的估计。 本发明利用的活体特征是 眼珠的转动和眼睛眨动。 对于这两种运动而言， 目前都有相关的研究算法， 但计算量大且效 果不佳。 本发明中利用的光流场理论， 可以同时捕捉到眼珠转动和眼睛眨动时的运动信息， 而不去关心眼珠的精确位置和眼睛眨动的开、 闭具体状态。本发明在 Adaboost 检测到眼 眶大致区域后， 按固定比例去掉眉毛部分， 然后利用灰度投影的方法精确框定眼眶， 采用 LK 算法计算眼眶部位相邻帧的光流场。记录每幅图上像素点的光流幅度， 计算幅度足够大的 点占所有点的比重， 若该百分比大于某值则判断眼部发生了运动， 否则静止。 附图说明
图 1、 基于光流场的活体检测流程图
图 2、 Adaboost 检测到的人脸和眼眶位置
图 3、 根据一定比例切除 Adaboost 后的眼眶， 得到候选眼眶区域
图 4、 灰度投影图及眼眶精确框定 具体实施方式
本发明以基于视频的人脸检测与识别的应用为例， 说明本发明的具体实施过程。 试验采用普通的 500 万象素摄像头， 摄像头与人脸的距离约为 0.4 米， 处于一般的室内光照环境下， 人脸检测、 活体检测、 识别系统运行在 PC 机上。
步骤 1 ： 系统提示误导性信息
当用户输入用户名和密码期待进入系统时， 向用户发出一条提示信息 “请正面面 向摄像头” ， 要求用户进行一定的姿态校正， 无论此时摄像头是否已经抓拍到的人脸图像是 否为正面图。
步骤 2 ： Adaboost 人脸、 人眼检测
Adaboost 算法提出后被引入用作人脸检测， 使人脸检测速度得到很大提高。随着 国内外学者对其算法的不断研究和改进， 使得现在的 Adaboost 算法成为人脸检测的主流 算法之一。
本发明采用此算法， 首先利用层叠性人脸分类器检测人脸， 检测出的人脸头像上 至额头， 下至下巴， 左右两侧包含较多的背景图像， 见图 2 ； 然后在人脸图像的上半部分利 用层叠性眼睛分类器进行眼睛的查找， 最终找到的眼部区域包含完整的眉毛、 左右眼角及 眼睛下部的一些皮肤区域。 可按比例除去眉毛部分， 假设 Adaboost 检测到的人眼眼眶宽 w， 高 h， 则向右舍弃 向下舍弃 剩余的 作为候选眼眶， 见图 3。这部分已经初步去除掉眉毛部分， 可以用灰度投影做下一步的处理。 步骤 3 ： 差分灰度投影确定人眼眼眶
因人眼与周围皮肤相比， 有较强的边缘信息， 因此可利用灰度变化来提取上下眼 皮、 左右眼角的位置。 差分投影考虑了图像在某个方向上的灰度变化率改变的情况， 由于人 眼出较周围皮肤的灰度变化较为显著， 因此对去除掉眉毛的人眼区域进行差分投影， 对应 于人眼位置会有一相当明显的高峰。差分投影函数定义如下 ： 若图像尺寸为 imW×imH， 垂 直差分投影 DPFv(x) 与水平差分投影 DPFh(y) 可分别表示为 ：
本发明针对候选眼眶部分左右眼分别进行水平和垂直方向的差分投影， 根据投影 函数截取一定的范围作为精确的眼眶部位， 具体如图 4 所示。
步骤 4 ： 计算相邻帧眼眶光流场
对于视频输入的每一帧图像， 依次提取其左右眼眶， 然后计算相邻两帧对应的光 流场。利用 LK 算法可得到光流的水平部分图像 velx 和垂直部分图像 vely。为了降低系 统计算量， 使运行速率提高， 本发明只利用每个窗口 window×window 的中心点 (x， y) 的光 流值， 并将这些点成为有效点。对于点 (x， y)， 分别将其 velx 图和 vely 图 window×window 邻域内的像素光流值取平均， 作为该点的水平运动分量 xx 和垂直方向运动分量 yy。 为估计
其运动信息 v， 计算 LK 算法基于以下三点基本假设 ：
1、 图像的灰度一致性。 假设图像中的像素在运动过程中， 其像素值是固定不变的， 也即帧与帧之间同一物体的同一点灰度值不会随着时间的变化而变化 ；
2、 运动幅度较小。物体的运动速度比较小， 否则帧的变化太慢捕捉不到物体的运
动情况 ；
3、 空间中相邻点投射到 2D 平面后仍然彼此相邻， 具有相似的运动特性。
由假设条件有， 设时刻 t 时， 图像上一点 (x， y) 处的灰度值为 I(x， y， t)。在时刻 t+Δt 时， 这一点运动到新位置， 其在图像上的位置变为 (x+Δx， y+Δy)， 新位置的灰度值 记为 I(x+Δx， y+Δy， t+Δt)， 根据图像灰度一致性假设， 有 dI(x， y， t)/dt ＝ 0， 则
I(x， y， t) ＝ I(x+Δx， y+Δy， t+Δt)
设 u 和 v 分别为该点光流在 x 和 y 方向上的分量， 即 u ＝ dx/dt， v ＝ dy/dt， 将上 式右边用 Taylor 公式展开， 略去 2 次以上的项， 则可得灰度图像光流场计算基本等式
即
Ixu+Iyv+It ＝ 0
Lucas-Kanade 方法是一种基于像素递归的光流算法， 就是预测矫正型的位移估算 器预测值可以作为前一个像素位置的运动估算值， 或作为当前像素邻域内的运动估算线性 组合。依据该像素上的位移帧差的梯度最小值， 对预测作进一步的修正。
Lucas 和 Kanade 假设在一个小的空间邻域上 Ω 运动矢量保持恒定， 然后使用加权 最小二乘方估计光流。在一个小的空间邻域 Ω 上， 光流估计误差定义为
其中 W(x) 表示窗口权重函数， 它使邻域中心部分对约束产生的影响比外围部分 设 V ＝ (u， v)T， 上式的解由下式给出 ：更大。
ATW2AV ＝ ATW2b 其中， 在时刻 t 的 n 个点 xi ∈ Ω，W ＝ diag[W(x1)， ...W(xn)]，
b ＝ -(It(x1)， ...It(xn))T
ATW2AV ＝ ATW2b 的解为 V ＝ (ATW2A)TATW2b， 其中当 ATW2A 为非奇异时可得到解析解， 因为它是一个 2*2 的矩阵 ：
其中所有的和都是在邻域 Ω 上的点得到的。
对于光流的基本方程， 光流的可靠性由 ATW2A 矩阵的特征值来决定， 假设其特征值 为 λ1 和 λ2， 若它们均大于给定的阈值 λ， 则计算出的光流是可靠的， 反之， 是不可靠的。
步骤 5 ： 判断是否为活体
对于计算得到的左右眼眶的光流图， 设定一阈值 λ， 只有该点的运动赋值 v ≥ λ 时才将其定义为发生了较大运动的点。计算这些运动足够大的点占有效点数的比重 p， 若 p ≥ 15％ ( 百分比可根据实际调试确定， 本发明取值为 15％ ) 时认为眼部产生了一定的运
动， 同时， 只有双眼都检测到有运动信息时， 才将其判定为活体。实验表明， 对于真实人脸， 随着姿态的校正和眼睛的眨动， 计算得到的光流值较大， 光流值较大的点所占比重也较高， 系统可以将其判为发生了运动的图 ； 对于照片而言， 不论照片如何平移、 旋转， 所带来的眼 部的运动均较微弱， 与真实人脸存在较大差别。