《基于声纹识别、头像识别及位置服务的移动身份验证系统和方法.pdf》由会员分享，可在线阅读，更多相关《基于声纹识别、头像识别及位置服务的移动身份验证系统和方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103440686 A (43)申请公布日 2013.12.11 CN 103440686 A *CN103440686A* (21)申请号 201310321286.9 (22)申请日 2013.07.29 G07C 1/00(2006.01) (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路 800 号 申请人 苏州思必驰信息科技有限公司 (72)发明人 范雨晨 李征 杨荔雅 符天凡 俞凯 王艳龙 (54) 发明名称 基于声纹识别、 头像识别及位置服务的移动 身份验证系统和方法 (57) 摘要 本发明提供了一种语音、 图像等多模态高精 度联合身。
2、份验证系统与基于位置信息的签到系统 融合的移动身份验证系统和方法。使用了声纹识 别、 人脸识别和位置信息联合动态验证， 验证结果 更全面可靠。使用手持设备支持大规模群体同时 验证， 大幅提高了验证速度。 整个验证过程都由服 务器自动完成， 操作十分方便。 (51)Int.Cl. 权利要求书 2 页 说明书 4 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书4页 附图1页 (10)申请公布号 CN 103440686 A CN 103440686 A *CN103440686A* 1/2 页 2 1. 一种移动身份验证系统， 将多模态高精度联。
3、合身份验证系统与基于位置信息的签到 系统融合， 包括 ： 语音声纹训练单元， 用于提取语音信号的声学特征， 训练生成用户的语音声纹模型， 该 声纹模型将用于用户的语音识别验证 ； 语音声纹验证单元， 用于比较用户的输入声纹与用户的语音声纹模型的相似度， 通过 该单元的对比验证用户的身份 ； 脸部探测识别单元， 通过检测用户脸部五官的特征， 判断脸部位置， 返回脸部信息 ； 脸部相似度比较单元， 通过对比两张脸部图像的特征， 判断五官的相似度， 并输出综合 判定的综合相似度 ； 综合验证单元， 用于对脸部相似度比较单元、 语音声纹验证单元以及地理位置信息三 种信息进行联合验证或两两联合验证， 并。
4、综合评估， 输出最终的评估结果。 2. 如权利要求 1 所述的移动身份验证系统， 其特征在于， 所述的联合验证基于如下算 法中的一种或几种的结合 ： (1) 采用加权评估方法 ： 对每一项的识别精度进行加权， 并对所有项的加权值进行乘 积运算， 若达到认可阈值， 且单项识别度不得低于其设定最低阈值， 则可以认为联合认证通 过。 其中， ci为第 i 项的识别权值， di为第 i 项的识别度， vi为第 i 项的加权识别度， i为 第 i 项的最低要求识别度， 为联合识别度。 (2)0， 1 判定法 ： 对于每个验证单元只能输出 1 和 0 时， 我们采用 0， 1 判定， 必须所有想 的识别度。
5、为 1 时， 最终的验证结果才能为 1。 其中， vi为第 i 项的加权识别度， 为联合识别度。 (3) 三阈值判定法 ： 对于验证单元能输出 1 和 0 且能设定验证的阈值的时， 我们采用三 次阈值来判定得到较精确的识别度。 第一次用初始设定阈值进行验证， 若验证通过， 则提高 阈值再次验证 ； 若验证未通过则降低阈值再次验证。 重复三次验证， 每次验证的结果为1或 0， 三次结果组成一个 3 位的二进制数作为该项目验证的识别度。由于初始的阈值对结果 影响最大， 所以把前面的结果作为二进制数高位， 最后的验证结果为低位， 得到的识别度为 di。这样得到了单项识别度之后， 则可以得到联合识别度。
6、 ： 其中， di为第 i 项的识别度， 为联合识别度。 3. 一种移动身份验证方法， 将多模态高精度联合身份验证系统与基于位置信息的签到 系统融合， 包括 ： 第一步 ： 在当前用户初次登录状态上， 通过终端采样用户的脸部图像， 用脸部探测识别 单元检测该脸部的特征值， 并存入该用户的数据库之中， 再通过终端多次采样用户的声音， 用语音声纹训练模块对输入的声音进行训练生成该用户的语音声纹引擎 ； 第二步 ： 在当前用户初次登录状态上， 且未注册签到地点的情况下， 向系统提交未来将 权 利 要 求 书 CN 103440686 A 2 2/2 页 3 签到的地址， 系统将该用户信息放入系统数据。
7、库中 ； 第三步 ： 在当前用户已经产生了语音声纹引擎后， 用户向系统提交自己当前的语音采 样， 系统创建并初始化语音识别引擎， 并把语音样本输入语音识别引擎， 引擎将输出语音相 似度， 并记录在该次验证的结果数据库中 ； 第四步 ： 在当前用户已经注册了面部后， 用户向系统提交自己当前的脸部采样， 系统创 建并初始化脸部检测引擎， 并把脸部样本输入脸部检测引擎， 引擎将脸部图像输出， 然后， 系统创建生成脸部识别引擎， 并把数据库中注册的脸部与当前用户上传的脸部输入到脸部 识别引擎之中， 引擎将输出脸部相似程度， 并记录在该次验证的结果数据库中 ； 第五步 ： 在用户进行验证的过程中， 终端。
8、将采集当前地理位置信息， 成功采集之后， 后 台系统将会把地理位置信息记录在该次验证的结果数据库中 ； 第六步 ： 在用户提交了所有验证信息之后， 系统将对语音、 图像、 位置等信息进行联合 认证， 采用加权评估方法， 对每一项的识别精度进行加权， 并对所有项的加权值进行乘积运 算， 若达到认可阈值， 且单项识别度不得低于其设定最低阈值， 则可以认为联合认证通过。 4. 如权利要求 3 所述的移动身份验证方法， 其特征在于， 所述的联合验证基于如下算 法中的一种或几种的结合 ： (1) 采用加权评估方法 ： 对每一项的识别精度进行加权， 并对所有项的加权值进行乘 积运算， 若达到认可阈值， 且。
9、单项识别度不得低于其设定最低阈值， 则可以认为联合认证通 过 ： 其中， ci为第 i 项的识别权值， di为第 i 项的识别度， vi为第 i 项的加权识别度， i为 第 i 项的最低要求识别度， 为联合识别度 ； (2)0， 1 判定法 ： 对于每个验证单元只能输出 1 和 0 时， 采用 0， 1 判定， 必须所有项的识 别度为 1 时， 最终的验证结果才能为 1 ： 其中， vi为第 i 项的加权识别度， 为联合识别度 ； (3) 三阈值判定法 ： 对于验证单元能输出 1 和 0 且能设定验证的阈值的时， 采用三次阈 值来判定得到较精确的识别度， 第一次用初始设定阈值进行验证， 若验证。
10、通过， 则提高阈值 再次验证 ； 若验证未通过则降低阈值再次验证， 重复三次验证， 每次验证的结果为 1 或 0， 三 次结果组成一个 3 位的二进制数作为该项目验证的识别度， 由于初始的阈值对结果影响最 大， 所以把前面的结果作为二进制数高位， 最后的验证结果为低位， 得到的识别度为 di， 这 样得到了单项识别度之后， 则可以得到联合识别度 ： 其中， di为第 i 项的识别度， 为联合识别度。 权 利 要 求 书 CN 103440686 A 3 1/4 页 4 基于声纹识别、 头像识别及位置服务的移动身份验证系统 和方法 技术领域 0001 本发明涉及网络通信领域， 尤其涉及一种使用移。
11、动终端设备 ( 如手机、 平板电脑 等 ) 进行身份验证的方法及系统， 进一步涉及一种联合声纹识别、 头像识别、 定位技术多模 态信息的进行身份验证的方法及系统。 背景技术 0002 身份验证系统在许多领域都有非常广泛的应用， 例如 ： 企业考勤， 课堂签到等。传 统的打卡机不仅效率不高而且身份验证的可靠性也无法保证， 新近的指纹考勤机采用了更 可靠的安全机制却仍旧无法解决效率的问题。面对效率问题， 传统的方法只能通过购买更 多的设备来解决， 而传统的设备只能固定在某个专门的位置而且只能为特定一类事件提供 服务， 采用这样的解决方法显然会大幅增加成本。 0003 我们发现利用现有的移动终端是一。
12、种非常简单经济的解决方案， 利用这些设备将 直接使人事成本降到最低。 当前移动设备中已有许多基于位置的签到服务(如 “街旁” 等)， 但是这些应用并没有包含身份验证的功能， 也就意味着这些应用只能局限于娱乐， 无法进 行严肃的商业应用。 0004 传统的考勤设备有着诸多的缺点， 例如 ： 设备部署成本高、 验证方式单一和便携性 较差等诸多缺点。正是由于这些问题， 导致了传统设备应用场景的局限性。 发明内容 0005 为改变这一现状， 我们将语音、 图像等多模态高精度联合身份验证系统与基于位 置信息的签到系统融合， 设计出新一代的移动身份验证系统。此系统具有高效、 精确、 经济 等多方面优势， 。
13、所以其应用场景将不仅限于企业学校签到， 例如 ： 服务行业中会员用户的身 份验证， 定向越野比赛中宣誓定点签到， 犯人在保外就医或监视居住期间定时定点的身份 验证等。 0006 本发明提供了一种语音、 图像等多模态高精度联合身份验证系统与基于位置信息 的签到系统融合的移动身份验证系统， 包括 ： 0007 语音声纹训练单元， 用于提取语音信号的声学特征， 训练生成用户的语音声纹模 型， 该声纹模型将用于用户的语音识别验证 ； 0008 语音声纹验证单元， 用于比较用户的输入语音与用户的语音声纹模型的相似度， 通过该单元的对比验证用户的身份 ； 0009 脸部探测识别单元， 通过检测用户脸部五官。
14、的特征， 判断脸部位置， 返回脸部信 息 ； 0010 脸部相似度比较单元， 通过对比两张脸部图像的特征， 判断五官的相似度， 并输出 综合判定的综合相似度 ； 0011 综合验证单元， 用于对脸部相似度比较单元、 语音声纹验证单元以及地理位置信 说 明 书 CN 103440686 A 4 2/4 页 5 息的综合评估， 输出最终的评估结果。 0012 本发明还提供了一种语音、 图像、 基于位置信息等的多模态高精度联合身份验证 方法， 其特征在于在采用传统语音、 身份、 面部的身份识别方法的基础上， 实现了多模态高 精度联合身份认证， 该方法避免了单一身份认证不准确性， 并且能够高效、 快速。
15、地进行身份 验证。该联合身份认证方法具体包括如下步骤 ： 0013 第一步 ： 在当前用户初次登录状态上， 通过终端采样用户的脸部图像， 用脸部探测 识别单元检测该脸部的特征值， 并存入该用户的数据库之中。 再通过终端采样用户的声音， 用语音声纹训练模块对输入的声音进行训练生成该用户的语音声纹引擎 ； 0014 第二步 ： 在当前用户初次登录状态上， 且未注册签到地点的情况下， 向系统提交未 来将签到的地址， 系统将该用户信息放入系统数据库中 ； 0015 第三步 ： 在当前用户已经产生了语音声纹引擎后， 用户向系统提交自己当前的语 音采样， 系统创建并初始化语音识别引擎， 并把语音样本输入语。
16、音识别引擎， 引擎将输出语 音相似度， 并记录在该次验证的结果数据库中 ； 0016 第四步 ： 在当前用户已经注册了面部后， 用户向系统提交自己当前的脸部采样， 系 统创建并初始化脸部检测引擎， 并把脸部样本输入脸部检测引擎， 引擎将脸部图像输出。 然 后， 系统创建生成脸部识别引擎， 并把数据库中注册的脸部与当前用户上传的脸部输入到 脸部识别引擎之中， 引擎将输出脸部相似程度， 并记录在该次验证的结果数据库中 ； 0017 第五步 ： 在用户进行验证的过程中， 终端将采集当前地理位置信息， 成功采集之 后， 后台系统将会把地理位置信息记录在该次验证的结果数据库中 ； 0018 第六步 ： 。
17、在用户提交了所有验证信息之后， 系统将对语音、 图像、 位置等信息进行 联合认证， 采用加权评估方法， 对每一项的识别精度进行加权， 并对所有项的加权值进行乘 积运算， 若达到认可阈值， 且单项识别度不得低于其设定最低阈值， 则可以认为联合认证通 过。 0019 上述移动身份验证系统中， 用于实现联合认证的方式并不限于权值加总， 任何其 他可以对多项识别结果进行联合判定的方式都可以用于实现联合认证。 附图说明 0020 图 1 是语音、 图像、 基于位置信息等的多模态高精度联合身份验证系统总体结构。 具体实施方式 0021 为了使本发明所要解决的技术问题、 技术方案及有益效果更加清楚明白， 以。
18、下结 合附图及实施例， 对本发明进行详细的说明。 应当说明的是， 此处所描述的具体实施例仅用 以解释本发明， 并不用于限定本发明。 0022 图 1 给出了语音、 图像、 基于位置信息等的多模态高精度联合身份验证系统总体 结构， 该系统主要由脸部探测识别单元、 语音声纹训练单元、 语音声纹验证单元、 脸部相似 度比较单元、 地理信息采样单元、 综合验证单元组成。 0023 脸部探测识别单元 ： 通过检测用户脸部五官的特征， 判断脸部位置， 提取脸部信 息。 0024 脸部相似度比较单元 ： 通过对比两张脸部图像的特征， 判断五官的相似度， 并输出 说 明 书 CN 103440686 A 5 。
19、3/4 页 6 综合判定的综合相似度 ； 0025 语音声纹训练单元 ： 用于提取语音信号的声学特征， 训练生成用户的语音声纹模 型， 该声纹模型将用于用户的语音识别验证 ； 0026 语音声纹验证单元 ： 用于比较用户的输入声纹与用户的语音声纹模型的差值， 通 过该单元的对比验证用户的身份 ； 0027 地理信息采样单元 ： 用于采样当前终端的地理信息位置， 通过球面坐标运算得到 与签到地点的距离， 进行地理位置的验证 ； 0028 综合验证单元 ： 用于对脸部相似度比较单元、 语音声纹验证单元以及地理位置信 息的综合评估， 输出最终的评估结果 ； 0029 所述的联合认证算法包括但不限于以。
20、下几种方式 ： 0030 (1) 采用加权评估方法 ： 对每一项的识别精度进行加权， 并对所有项的加权值进 行乘积运算， 若达到认可阈值， 且单项识别度不得低于其设定最低阈值， 则可以认为联合认 证通过。 0031 其中， ci为第 i 项的识别权值， di为第 i 项的识别度， vi为第 i 项的加权识别度， i为第 i 项的最低要求识别度， 为联合识别度。 0032 (2)0， 1 判定法 ： 对于每个验证单元只能输出 1 和 0 时， 我们采用 0， 1 判定， 必须所 有想的识别度为 1 时， 最终的验证结果才能为 1。 0033 0034 其中， vi为第 i 项的加权识别度， 为联。
21、合识别度。 0035 (3) 三阈值判定法 ： 对于验证单元能输出 1 和 0 且能设定验证的阈值的时， 我们采 用三次阈值来判定得到较精确的识别度。 第一次用初始设定阈值进行验证， 若验证通过， 则 提高阈值再次验证 ； 若验证未通过则降低阈值再次验证。 重复三次验证， 每次验证的结果为 1 或 0， 三次结果组成一个 3 位的二进制数作为该项目验证的识别度。由于初始的阈值对结 果影响最大， 所以把前面的结果作为二进制数高位， 最后的验证结果为低位， 得到的识别度 为 di。这样得到了单项识别度之后， 则可以得到联合识别度 ： 0036 0037 其中， di为第 i 项的识别度， 为联合识。
22、别度。 0038 下面进一步以移动注册签到为例进行说明。 传统的签到采用的打卡或者签名的方 式进行签到注册， 若签到人数很多， 不仅会带来拥挤， 对于组织签到方也需要承担很多的人 力成本和设备成本。采用本系统可以利用签到者的手机终端进行准确快捷的签到， 从而提 高了签到效率， 降低了签到成本。 0039 初次使用本系统的时候， 用户需要进行注册个人信息、 地理信息并提取自己的脸 部样本和训练自己的声纹模型。在进行签到时， 用户需要向系统提交当前的脸部图像和语 音样本， 系统会根据数据库中保留的脸部模型和声音模型进行识别， 再根据用户终端的地 理信息， 进行联合认证用户身份。人脸识别和语音识别较。
23、高程度的保证了签到人的真是身 份， 地理信息的验证保证了地理位置的准确性， 从而达到了高准确度的联合身份认证。 说 明 书 CN 103440686 A 6 4/4 页 7 0040 本发明所述的语音、 图像等多模态高精度联合身份验证系统与基于位置信息的签 到系统融合的移动身份验证系统具有如下的优点 ： 整个系统的设备， 包括身份验证服务器、 移动身份验证终端及系统， 只需在服务器和移动设备上部署软件即可使用， 节省了设备成 本。使用了声纹识别、 人脸识别和位置信息联合动态验证， 验证结果更全面可靠。使用手持 设备支持大规模群体同时验证， 大幅提高了验证速度。 整个验证过程都由服务器自动完成， 操作十分方便。 0041 以上所述仅为本发明的较佳实施例而已， 并不用于限制本发明， 凡在本发明的原 则和精神之内所作的任何修改、 等同替换和改进等， 均就包含在本发明的保护范围之内。 又 如 ： 结合地理信息和面部识别的联合认证， 结合地理信息和语音识别的联合认证以及其他 联合认证结合方式。 说 明 书 CN 103440686 A 7 1/1 页 8 图 1 说 明 书 附 图 CN 103440686 A 8 。