《一种融合人脸和手势的生物识别方法和系统.pdf》由会员分享，可在线阅读，更多相关《一种融合人脸和手势的生物识别方法和系统.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103761508 A (43)申请公布日 2014.04.30 CN 103761508 A (21)申请号 201410001809.6 (22)申请日 2014.01.02 G06K 9/00(2006.01) G06K 9/34(2006.01) (71)申请人 大连理工大学 地址 116024 辽宁省大连市高新园区凌工路 2 号 (72)发明人 戚金清 (74)专利代理机构 大连东方专利代理有限责任 公司 21212 代理人 姜玉蓉 李洪福 (54) 发明名称 一种融合人脸和手势的生物识别方法和系统 (57) 摘要 本发明公开了一种融合人脸和手势的生物识 别。
2、方法， 包括以下步骤 ： 步骤 1 ： 采集人脸图像和 手势图像进行背景建模 ； 步骤 2 ： 对实现背景建模 后的人脸图像进行人眼瞳孔的位置定位， 根据瞳 孔距离计算人脸区域的大小， 再对人脸图像进行 归一化处理 ； 步骤 3 ： 根据定位的人眼瞳孔位置计 算实现归一化处理后的人脸图像中五官特征的中 心坐标， 然后将该人脸图像分割成 F 个人脸区域 ； 步骤 4 ： 描述实现背景建模后的手势图像的特征， 构建该手势图像的特征子空间， 将该手势图像分 成 M 种类型 ； 步骤 5 ： 根据选取的 F 个人脸区域和 步骤4中M种手势识别图像组建FM 种人脸 - 手 势模式 ； 设定用户眼睛连续闭。
3、合 N 次， 进一步组建 FMN 种人脸 - 手势模式。 (51)Int.Cl. 权利要求书 2 页 说明书 7 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图4页 (10)申请公布号 CN 103761508 A CN 103761508 A 1/2 页 2 1. 一种融合人脸和手势的生物识别方法， 其特征在于 ： 该方法包括以下步骤 ： 步骤 1 ： 采集人脸图像和手势图像， 分别采用判别性原子背景建模方法对人脸图像和 手势图像进行背景建模， 去除背景干扰 ； 步骤 2 ： 采用灰度投影方法对实现背景建模后的人脸图像进行人眼瞳。
4、孔的位置定位， 根据瞳孔距离计算人脸区域的大小， 再对人脸图像进行归一化处理 ； 步骤 3 ： 根据定位的人眼瞳孔位置计算实现归一化处理后的人脸图像中五官特征的中 心坐标， 根据五官特征的中心坐标将该人脸图像分割成 F 个人脸区域 ； 步骤 4 ： 采用梯度方向直方图方法描述实现背景建模后的手势图像的特征， 结合主元 分析方法构建该手势图像的特征子空间， 采用支撑向量机方法将该手势图像分成 M 种类 型 ； 步骤 5 ： 根据步骤 3 中选取的 F 个人脸区域和步骤 4 中 M 种手势识别图像组建 FM 种 人脸 - 手势模式 ； 设定用户眼睛连续闭合 N 次， 进一步组建 FMN 种人脸 -。
5、 手势模式。 2. 根据权利要求 1 所述的一种融合人脸和手势的生物识别方法， 其特征还在于 ： 所述 判别性原子背景建模方法采用如下方式 ： 首先将图像分割成多个图像块， 将图像进行稀疏 编码， 在图像的稀疏编码模型基础上， 利用平均信息量和词频 - 逆向文件频率 （tf-idf） 技 术， 对稀疏编码字典中的原子进行统计分析， 查找出携带判别性信息的原子， 并利用判别性 原子重建图像背景信息。 3. 根据权利要求 2 所述的一种融合人脸和手势的生物识别方法， 其特征还在于 ： 所述 判别性原子背景建模方法采用如下算法 ： 式 中 ：为 图 像 块 组 成 的 集 合， 为 k 个原子组成的。
6、字典， 通过 KSVD 算法求 解，为稀疏编码的系数， 通过正交匹配追踪算法求解， 为X的第i列， 是用于 平衡重建误差和稀疏度的参数 ； 在稀疏编码模型基础上， 利用词频 - 逆向文件频率 （tf-idf） 统计分析方法选择判别性 原子， 根据下面公式进行判别性原子的选择 ： 其中 ： yj为图像的第 j 个图像块， di为稀疏编码中的原子， xij是在对 yj的稀疏编码中 原子 di对应的系数， fSR(di) 表示在对全部样本的稀疏编码中原子 di被使用到的频率 ； 设定 tf-idf 的临界值， 将求解的 tf-idf 值中大于该临界值对应的原子 di定义为判别 性原子， 对于原子 d。
7、i和图像块 yj， 将原子 di用于区分图像块 yj和其它图像块 ； 利用上述选择的判别性原子模型重建图像背景 ： 首先判别性原子组成集合 DA， 如果 xij为判别性原子对应的稀疏编码则保留， 否则记作 0， 判别性原子稀疏编码系数计算公式如下 ： 权 利 要 求 书 CN 103761508 A 2 2/2 页 3 其中为 Xd中第 i 行第 j 列对应系数 ； 然后利用判别性原子稀疏编码系数 Xd和步骤 1 中字典 D， 重建图像背景， 计算公式如 下 ： 式中，为采集到的图像， D 为步骤 1 中字典， Xd为判别性原 子稀疏编码系数， YB为所求图像背景。 4. 根据权利要求 2 或。
8、 3 所述的一种融合人脸和手势的生物识别方法， 对判别性原子的 选择采用如下方式 ： 对所有图像块， 根据上述 tf-idf 计算公式， 计算得到所有原子的 tf-idf 值的集合 J tf-idf(di,yj)|di D,yj Y ； 根据设定的 tf-idf 的临界值， 选择出 J 中大于该临界值的子集 J； 则确定判别性原子的集合为 ： 5. 根据权利要求 1 所述的一种融合人脸和手势的生物识别方法， 其特征还在于 ： 采用 灰度投影方法定位人眼瞳孔位置和计算人脸图像面部五官特征的中心坐标都采用如下公 式 ： eye(y) argmaxPh(y) eye(x) argminPv(x)。 。
9、6. 根据权利要求 1 或 5 所述的一种融合人脸和手势的生物识别方法， 其特征还在于 ： 所述人脸图像中五官特征的中心坐标采用如下方式 ： 根据计算出的人眼瞳孔的位置坐标和 瞳孔间距离计算出五官特征所在面部的目标区域， 计算该目标区域内图像在水平和垂直方 向的灰度投影曲线 Pv(x),Ph(y)， 各曲线上的波谷即对应特征器官的中心位置。 7. 一种融合人脸和手势的生物识别系统， 其特征在于 ： 包括用于采集人脸图像信息和 手势图像信息的图像采集单元， 接收所述图像采集单元传送的数据信息对人脸图像和手势 图像背景进行去除的背景处理单元， 接收所述背景处理单元传送的去除背景后的人脸图 像， 对。
10、该人脸图像进行归一化处理、 五官特征定位和区域划分的人脸特征识别单元， 接收所 述背景处理单元传送的去除背景后的手势图像、 对手势图像的特征进行提取和手势分类的 手势特征识别单元， 以及接收所述人脸特征识别单元和手势特征识别单元传送的数据信 息， 对人脸图像和手势图像进行组建的图像重组单元。 权 利 要 求 书 CN 103761508 A 3 1/7 页 4 一种融合人脸和手势的生物识别方法和系统 技术领域 0001 本发明涉及图像处理技术领域， 涉及人脸和手势相融合的生物识别方法， 尤其涉 及一种融合人脸和手势的生物识别方法。 背景技术 0002 随着智能手机、 智能电视、 平板电脑、 车。
11、载智能系统的迅速普及， 人与智能终端的 交互活动成为人们日常生活中的重要组成部分。在这种情况下， 基于语音、 人脸、 手势等更 加自然、 更加方便的人机交互技术得到迅猛发展。 0003 人脸识别技术提供了一种自然的人机交互方法。 人脸是人类视觉中最为普遍的模 式， 最容易被人类接受。人的面部所表现的视觉信息在社会交流中有着很重要的作用和意 义。目前， 虽然基于人脸识别的应用开始出现在智能手机、 智能电视等终端产品上， 但是受 光线、 角度、 表情、 遮挡物、 眼镜、 年龄等因素影响， 人脸识别的效果尚不够理想。 0004 手势是另外一种自然、 直观、 易于学习的人机交互手段。 手势可以分为静态。
12、手势和 动态手势两种 ： 静态手势指在单个时间点上手的空间姿态， 如手的形状、 方向和身体的相对 位置等 ； 动态手势则是由一段时间内的手的一系列姿态组成， 相比静态手势增加了时间信 息和动作特征， 如手的姿态变化和运动轨迹。基于视觉的手势识别技术突出优点是输入设 备便捷， 例如摄像头已经成为智能手机等终端产品的标准配置， 并且它对人手不做其他附 加设备要求 （如手套等） ， 使计算机与人的交互更加趋于自然化。现在对手势识别的研究都 还处于算法研究方面， 大部分的实现都是基于 PC 机平台的， 只有少数研究为提高速度而采 用了硬件加速的方法。 0005 综上所述， 无论是人脸还是手势其识别效果。
13、目前尚不理想。研究发现单一生物特 征 （例如人脸、 手形、 指纹等） 所含信息有限， 是无法满足人们多样化需求。尽管指纹和虹 膜拥有大量的信息内容， 但是已有的指纹认证系统对于低质量的指纹图像的识别率也不乐 观， 因此， 对于某些关键应用， 单一生物特征识别系统都很难满足人们需求。 发明内容 0006 根据现有技术存在的问题， 本发明公开了一种融合人脸和手势的生物识别方法 ； 该方法将人脸图像和手势图像相结合的方式进行图像识别， 具体方案为 ： 一种融合人脸和 手势的生物识别方法， 其特征在于 ： 该方法包括以下步骤 ： 0007 步骤 1 ： 采集人脸图像和手势图像， 分别采用判别性原子背景。
14、建模方法对人脸图 像和手势图像进行背景建模， 去除背景干扰 ； 0008 步骤 2 ： 采用灰度投影方法对实现背景建模后的人脸图像进行人眼瞳孔的位置定 位， 根据瞳孔距离计算人脸区域的大小， 再对人脸图像进行归一化处理 ； 0009 步骤 3 ： 根据定位的人眼瞳孔位置计算实现归一化处理后的人脸图像中五官特征 的中心坐标， 根据五官特征的中心坐标将该人脸图像分割成 F 个人脸区域 ； 0010 步骤 4 ： 采用梯度方向直方图方法描述实现背景建模后的手势图像的特征， 结合 说 明 书 CN 103761508 A 4 2/7 页 5 主元分析方法构建该手势图像的特征子空间， 采用支撑向量机方法。
15、将该手势图像分成 M 种 类型 ； 0011 步骤5 ： 根据步骤3中选取的F个人脸区域和步骤4中M种手势识别图像组建FM 种人脸 - 手势模式 ； 设定用户眼睛连续闭合 N 次， 进一步组建 FMN 种人脸 - 手势模式。 0012 所述判别性原子背景建模方法采用如下方式 ： 首先将图像分割成多个图像块， 将 图像进行稀疏编码， 在图像的稀疏编码模型基础上， 利用平均信息量和词频 - 逆向文件频 率 （tf-idf） 技术， 对稀疏编码字典中的原子进行统计分析， 查找出携带判别性信息的原子， 并利用判别性原子重建图像背景信息。 0013 所述判别性原子背景建模方法采用如下算法 ： 0014 。
16、0015 式 中 ：为 图 像 块 组 成 的 集 合， 为 k 个原子组成的字典， 通过 KSVD 算法求 解，为稀疏编码的系数， 通过正交匹配追踪算法求解， 为X的第i列， 是用于 平衡重建误差和稀疏度的参数 ； 0016 在稀疏编码模型基础上， 利用词频 - 逆向文件频率 （tf-idf） 统计分析方法选择判 别性原子， 根据下面公式进行判别性原子的选择 ： 0017 0018 其中 ： yj为图像的第 j 个图像块， di为稀疏编码中的原子， xij是在对 yj的稀疏编 码中原子 di对应的系数， fSR(di) 表示在对全部样本的稀疏编码中原子 di被使用到的频率 ； 0019 设定。
17、 tf-idf 的临界值， 将求解的 tf-idf 值中大于该临界值对应的原子 di定义为 判别性原子， 对于原子 di和图像块 yj， 将原子 di用于区分图像块 yj和其它图像块 ； 0020 利用上述选择的判别性原子模型重建图像背景 ： 0021 首先判别性原子组成集合 DA， 如果 xij为判别性原子对应的稀疏编码则保留， 否则 记作 0， 判别性原子稀疏编码系数计算公式如下 ： 0022 0023 其中为 Xd中第 i 行第 j 列对应系数 ； 0024 然后利用判别性原子稀疏编码系数Xd和步骤1中字典D， 重建图像背景， 计算公式 如下 ： 0025 0026 式中，为采集到的图像。
18、， D 为步骤 1 中字典， Xd为判别 说 明 书 CN 103761508 A 5 3/7 页 6 性原子稀疏编码系数， YB为所求图像背景。 0027 对判别性原子的选择采用如下方式 ： 0028 对所有图像块， 根据上述tf-idf计算公式， 计算得到所有原子的tf-idf值的集合 J=tf-idf(di,yj)|di D,yj Y ； 0029 根据设定的 tf-idf 的临界值， 选择出 J 中大于该临界值的子集 J； 0030 则确定判别性原子的集合为： 0031 采用灰度投影方法定位人眼瞳孔位置和计算人脸图像面部五官特征的中心坐标 都采用如下公式 ： 0032 0033 003。
19、4 eye(y)=argmaxPh(y) 0035 eye(x)=argminPv(x)。 0036 所述人脸图像中五官特征的中心坐标采用如下方式 ： 根据计算出的人眼瞳孔的位 置坐标和瞳孔间距离计算出五官特征所在面部的目标区域， 计算该目标区域内图像在水平 和垂直方向的灰度投影曲线 Pv(x),Ph(y)， 各曲线上的波谷即对应特征器官的中心位置。 0037 一种融合人脸和手势的生物识别系统， 包括用于采集人脸图像信息和手势图像信 息的图像采集单元， 接收所述图像采集单元传送的数据信息对人脸图像和手势图像背景进 行去除的背景处理单元， 接收所述背景处理单元传送的去除背景后的人脸图像， 对该人。
20、脸 图像进行归一化处理、 五官特征定位和区域划分的人脸特征识别单元， 接收所述背景处理 单元传送的去除背景后的手势图像、 对手势图像的特征进行提取和手势分类的手势特征识 别单元， 以及接收所述人脸特征识别单元和手势特征识别单元传送的数据信息， 对人脸图 像和手势图像进行组建的图像重组单元。 0038 本发明公开的一种融合人脸和手势的生物识别方法， 首先采集手势图像和人脸图 像， 分别对图像其进行背景建模去除背景干扰 ； 根据定位的瞳孔坐标和瞳孔距离定位人脸 图像中五官特征的中心坐标， 然后在人脸图像中选取 F 个感兴趣的人脸区域 ； 对手势图像 进行处理， 将手势图像分成 M 种类型， 将 F。
21、 个人脸区域和 M 种手势图像组建 FM 种人脸手 势图像 ； 设定用户眼镜连续闭合 N 次， 进一步组建 FMN 种人脸手势图像， 最后实现人 脸 - 手势混合模式的识别。本发明公开的方法与现有技术相比可以更准确快速的识别人脸 图像和手势图像， 并且采用判别性原子建模方法进行背景建模， 对采集到的人脸图像和手 势图像去除背景干扰， 采用将手势图像和人脸图像相结合的方式进行生物识别， 可以高精 度的识别手势图像和人脸图像的信息。 附图说明 0039 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附。
22、图仅仅是本 说 明 书 CN 103761508 A 6 4/7 页 7 申请中记载的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。 0040 图 1 为本发明中人脸和手势识别方法的流程图 ； 0041 图 2 为本发明中对图像进行背景建模的流程图 ； 0042 图 3 为本发明的融合人脸和手势的生物识别系统的结构示意图 0043 图 4 为本发明实施例的示意图 ； 0044 图 5 为本发明实施例中人脸感兴趣区域的示意图 ； 0045 图 6 为本发明实施例中采用的手势类型图像的示意图 ； 0046 图 7 为本发明实施例中部分人。
23、脸 - 手势相组合模式图。 具体实施方式 0047 为使本发明的技术方案和优点更加清楚， 下面结合本发明实施例中的附图， 对本 发明实施例中的技术方案进行清楚完整的描述 ： 0048 如图 1 和图 2 所示的一种融合人脸和手势的生物识别方法的流程图， 该方法包括 以下步骤 1 ： 采集人脸图像和手势图像， 分别采用判别性原子背景建模方法对人脸图像和 手势图像进行背景建模， 去除背景干扰。 即首先利用摄像头设备采集人脸图像和手势图像， 由于采集到的图像具有背景， 所以我们需要将背景去除。 0049 步骤 2 ： 采用灰度投影方法对实现背景建模后的人脸图像进行人眼瞳孔的位置定 位， 根据瞳孔距离。
24、计算人脸区域的大小， 再对人脸图像进行归一化处理。 0050 步骤 3 ： 根据定位的人眼瞳孔位置计算实现归一化处理后的人脸图像中五官特征 的中心坐标， 在该人脸图像内选取 F 个人脸区域。即利用灰度投影法快速定位人眼瞳孔位 置， 根据瞳孔距离缩放和切割人脸图像， 使所有图像之间的瞳孔位置和面部轮廓大小基本 一致 ； 接着再次利用灰度投影法定位人脸面部五官特征 （如眼睛、 鼻子、 嘴、 耳朵等） 的中心 坐标， 然后根据中心坐标划分对应的感兴趣区域。本发明采用灰度投影法定位及提取面部 特征器官， 其原理是 ： 对于任意的正面人脸图像， 器官在面部的分布位置是满足一定的统计 规律的。从前额上部到。
25、下颚底部， 将人脸从上至下分为五部分， 额头基本位于五分之一处， 眼睛基本位于五分之二处， 鼻子位于五分之三处， 嘴巴位于下五分之二处， 同时鼻子和嘴的 中心还位于人脸的垂直中线上， 下巴位于下五分之一处。根据此统计规律可以确定各面部 特征器官在人脸图像的大致位置。具体实现方法是 ： 首先根据器官在面部的大致位置设定 人脸的目标区域， 一般为矩形窗， 然后计算窗内图像在水平和垂直方向的灰度投影曲线， 各 曲线上的波谷即对应特征器官的中心点， 如眉毛的位置， 眼睛瞳孔位置， 嘴唇的中心等。然 后根据得到的五官特征的中心坐标， 将人脸分割成 F 个感兴趣的区域。 0051 步骤 4 ： 采用梯度方。
26、向直方图方法描述实现背景建模后的手势图像的特征， 结合 主元分析方法构建该手势图像的特征子空间， 采用支撑向量机方法将实现背景建模后的手 势图像分成 M 种类型。 0052 步骤5 ： 根据步骤3中选取的F个人脸区域和步骤4中M种手势识别图像组建FM 种人脸 - 手势模式 ； 设定用户眼睛连续闭合 N 次， 进一步组建 FMN 种人脸 - 手势模式。 0053 进一步的， 采用的判别性原子背景建模方法采用如下方式 ： 首先将图像分割 成多个图像块， 在图像的稀疏编码模型基础上， 利用平均信息量和词频 - 逆向文件频率 说 明 书 CN 103761508 A 7 5/7 页 8 （tf-idf。
27、） 技术， 对稀疏编码字典中的原子进行统计分析， 寻找出携带判别性信息的原子， 并 利用判别性原子重建图像背景信息。这里判别性原子对应的是判别性的图像块， 将采用本 算法将图像的判别性的图像块找出来， 将将判别性的图像块挑选出进行重新组合进行图像 重建。 0054 进一步的， 所述判别性原子背景建模方法采用如下算法 ： 0055 0056 式 中 ：为 图 像 块 组 成 的 集 合， 为 k 个原子组成的字典， 通过 KSVD 算法求 解，为稀疏编码的系数， 通过正交匹配追踪算法求解，为 X 的第 i 列， 是用 于平衡重建误差和稀疏度的参数。 0057 在稀疏编码模型基础上， 利用词频 -。
28、 逆向文件频率 （tf-idf） 统计分析方法选择判 别性原子， 根据下面公式进行判别性原子的选择 ： 0058 0059 其中 ： yj为图像的第 j 个图像块， di为稀疏编码中的原子， xij是在对 yj的稀疏编 码中原子 di对应的系数， fSR(di) 表示在对全部样本的稀疏编码中原子 di被使用到的频率 ； 0060 设定 tf-idf 的临界值， 将求解的 tf-idf 值中大于该临界值对应的原子 di定义为 判别性原子， 对于原子 di和图像块 yj， 将原子 di用于区分图像块 yj和其它图像块。对于原 子di和图像块yj， tf-idf(di,yj)取值较高， 则意味着原子。
29、di可以用于区别图像块yj和其它 图像块。原子 di是包含判别性信息的原子。另一方面， 若对于所有的 i， tf-idf(di,yj) 的 取值都较低， 则认为无法找到区别 yj与其它图像块的原子， yj中的信息本身不具有判别性。 背景建模的目的在于区别背景像素和前景像素。 从判别性信息的角度看， 在序列图像中， 相 比于背景区域， 前景更具有判别性。因此， 对于序列图像， 可以利用本发明提出的判别性原 子模型实现对前景的检测。 0061 利用选择的判别性原子模型重建图像背景 ： 0062 首先将判别性原子组成集合 DA， 如果 xij为判别性原子对应的稀疏编码则保留， 否 则记作 0， 判别。
30、性原子稀疏编码系数计算公式如下 ： 0063 0064 其中为 Xd中第 i 行第 j 列对应系数 ； 0065 然后利用判别性原子稀疏编码系数Xd和步骤1中字典D， 重建图像背景， 计算公式 如下 ： 说 明 书 CN 103761508 A 8 6/7 页 9 0066 0067 式中，为采集到的图像， D 为步骤 1 中字典， Xd为判别 性原子稀疏编码系数， YB为所求图像背景。 0068 进 一 步 的，对 于 上 述 判 别 性 原 子 的 选 择 采 用 如 下 方 式 ： 对 所 有 图 像 块，根 据 上 述 tf-idf 计 算 公 式，计 算 得 到 所 有 原 子 的 。
31、tf-idf 值 的 集 合 J=tf-idf(di,yj)|di D,yj Y ； 0069 根据设定的 tf-idf 的临界值， 在实际应用中， 我们可以将该值设定为 0.6， 选择出 J 中大于该临界值的子集 J； 0070 则确定判别性原子的集合为： 最后， 我们将选择出的判别性原子进 行图像重建， 根据实际图像的规格和标准将该图像的背景像素和前景像素区分。 0071 进一步的， 采用灰度投影方法定位人眼瞳孔位置和计算人脸图像面部五官特征的 中心坐标都采用如下公式 ： 0072 0073 eye(y)=argmaxPh(y) 0074 eye(x)=argminPv(x) 0075 进。
32、一步的， 所述人脸图像中五官特征的中心坐标采用如下方式 ： 根据计算出的人 眼瞳孔的位置坐标和瞳孔间距离计算出五官特征所在面部的目标区域， 计算该目标区域内 图像在水平和垂直方向的灰度投影曲线Pv(x),Ph(y)， 各曲线上的波谷即对应特征器官的中 心位置。 0076 进一步的， 如图 3 所示， 一种融合人脸和手势的生物识别系统， 包括用于采集人脸 图像信息和手势图像信息的图像采集单元， 接收所述图像采集单元传送的数据信息对人脸 图像和手势图像背景进行去除的背景处理单元， 接收所述背景处理单元传送的去除背景后 的人脸图像， 对该人脸图像进行归一化处理、 五官特征定位和区域划分的人脸特征识别。
33、单 元， 接收所述背景处理单元传送的去除背景后的手势图像、 对手势图像的特征进行提取和 手势分类的手势特征识别单元， 以及接收所述人脸特征识别单元和手势特征识别单元传送 的数据信息， 对人脸图像和手势图像进行组建的图像重组单元。 0077 如图 4 所示首先利用智能终端的摄像头设备采集人脸图形和手势图像 ； 然后将人 脸图像和手势图形分别进行背景建模， 去除图形的背景 ； 再对人脸和手势分别进行特征提 取 ； 用户将人脸图像和手势图像进行组合， 再对组合后的人脸 - 手势图像进行自定义， 实现 人机交换。 0078 本发明中对采集到的人脸图像， 我们首先进行背景建模去除背景， 对于人脸图像 我。
34、们采用灰度投影方法定位人眼瞳孔位置和坐标， 根据瞳孔间距离的大小放大人脸图像， 说 明 书 CN 103761508 A 9 7/7 页 10 即人脸图像所在面部的目标区域， 接着再次采用灰度投影方法定位人脸图像中五官特征的 中心坐标， 如眼睛、 鼻子、 嘴、 耳朵等。然后根据各个器官的中心坐标分割成 F 个感兴趣的区 域， F 取 13， 如图 5 所示 ： 201 为左侧额头感兴趣区域、 202 为右侧额头感兴趣区域、 203 为 左眼感兴趣区域、 204 为右眼感兴趣区域、 205 为左侧脸颊感兴趣区域、 206 为右侧脸颊感兴 趣区域、 207为左耳感兴趣区域、 208为右耳感兴趣区域。
35、、 209为左侧嘴角感兴趣区域、 210为 右侧嘴角感兴趣区域、 211 为嘴唇感兴趣区域、 212 为下巴感兴趣区域、 213 为鼻子感兴趣区 域。 0079 本发明中经过一系列的处理将采集到的手势图像分割成 M 种类型， 这里 M 取 8， 如 图 6 所示。将手势图像和人脸图像相组合可以得到 13M 类人脸 - 手势模式。如图 7 所示 为本发明中部分人脸图像与手势图像相组合的模式图像。 例如， 301为手势8与211感兴趣 区域组合得到一种人脸-手势模式 ； 303为手势6与213感兴趣区域组合得到一种人脸-手 势模式 ； 305为手势8与212感兴趣区域组合得到一种人脸-手势模式 ；。
36、 307为手势8与208 感兴趣区域组合得到一种人脸 - 手势模式 ； 310 为手势 8 与 202 感兴趣区域的组合得到一 种人脸 - 手势模式 ； 321 为手势 1 与 206 感兴趣区域组合得到一种人脸 - 手势模式 ； 322 为 手势 1 与 213 感兴趣区域组合得到一种人脸 - 手势模式 ； 323 为手势 1 与 211 感兴趣区域 组合得到一种人脸 - 手势模式 ； 324 为手势 1 与 212 感兴趣区域组合得到一种人脸 - 手势 模式。 0080 本发明公开的一种融合人脸和手势的生物识别方法， 该方法综合采用人脸、 手势 视觉相结合的方式， 充分利用智能终端本身外设。
37、接口， 不需要附加其他数据采集及数据处 理装置即可以完成对手势和人脸图像的识别， 完成人机交换的操作。 0081 以上所述， 仅为本发明较佳的具体实施方式， 但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内， 根据本发明的技术方案及其 发明构思加以等同替换或改变， 都应涵盖在本发明的保护范围之内。 说 明 书 CN 103761508 A 10 1/4 页 11 图 1 图 2 说 明 书 附 图 CN 103761508 A 11 2/4 页 12 图 3 图 4 说 明 书 附 图 CN 103761508 A 12 3/4 页 13 图 5 图 6 说 明 书 附 图 CN 103761508 A 13 4/4 页 14 图 7 说 明 书 附 图 CN 103761508 A 14 。