用于移动平台的多模态生物特征识别系统及方法技术领域
本发明属于智能识别技术领域，具体涉及一种用于移动平台的多模态
生物特征识别系统及方法。
背景技术
现有生物特征识别系统已经成熟，在识别结果上表现也较为满意。
但随着现代社会对更为便利和安全的用户身份认证技术的紧迫需要，现
有的生物特征识别产品尚存在一些不足，例如生物模态较为单一、图像
种类单一、人机交互性不足、设备移动性和扩展性不足等。
发明内容
本发明的目的在于解决上述的技术问题而提供一种用于移动平台的多
模态生物特征识别系统及方法，可以应用于现有移动设备上，与移动设
备协同工作或者单独工作。
为实现上述目的，本发明采用如下技术方案：
一种用于移动平台的多模态生物特征识别系统，包括：
主动光源模块，包含多个主动光源，用于根据中央控制模块的指令打开
相应主动光源为图像采集提供所需要的光；
图像采集模块，包含多个成像单元，用于根据所述中央控制模块的指令
控制相应成像单元采集目标对象的多模态生物特征图像；
数据处理模块，用于对图像采集模块采集的多模态生物特征图像进行稳
像、多源图像融合处理，对形成的图像质量评价，然后将评价处理结果反馈
至所述中央控制模块；
所述中央控制模块，与所述主动光源模块、图像采集模块连接，用于控
制所述图像采集模块通过传输模块将待识别图像传送到所述数据处理模块，
接收所述数据处理模块的评价反馈信息，当所述数据处理模块的评价反馈信
息为图像不合格时，对光源参数、成像参数或移动平台调节，或通过人机交
互模块与目标对象交互，提示目标对象作相应动作配合图像采集，然后重新
采集目标对象的多模态生物特征图像，直至形成合格的待识别图像；当所述
数据处理模块的评价反馈信息为图像合格时，控制将所述数据处理模块处理
形成的合格的待识别图像通过所述传输模块传送至数据计算模块识别；
所述数据计算模块，用于自所述数据处理模块接收合格的待识别图像，
对待识别图像的多模态生物特征进行特征提取、编码、匹配及识别，将识别
处理结果信息通过所述传输模块反馈至所述中央控制模块，由所述人机交互
模块输出识别结果。
所述数据处理模块和\或数据计算模块设置于云端服务器或设置于本
地，所述中央控制模块、主动光源模块、图像采集模块、人机交互模块设置
于本地。
所述数据计算模块包括设置在云端的带计算功能的存储服务器，或者远
程的模板或特征数据库。
所述用于移动平台的多模态生物特征识别系统还包括有：
存储模块，用于对所述图像采集模块和数据处理模块的数据进行存储，
配合实现所述传输模块与中央控制模块的功能；
供电模块，用于为所述主动光源模块、图像采集模块、中央控制模块、
人机交互模块以及传输模块，或为设在本地的数据处理模块、数据计算模块
提提供工作电压。
所述存储模块包括本地的存储芯片、SD/CF卡、SAN、云存储服务器的一
种或几种。
所述人机交互模块通过语音、图像、视频、信号灯、投影、三维显示、
激光显示中一种或几种方式实现与用户的交流互动。
所述光源包含近红外光源、可见光源、深度成像所需要的照明光、结构
光、脉冲光、半导体激光。
所述图像采集模块包括高分辨成像单元、深度成像单元、高动态成像单
元、光场成像单元；所述高分辨成像单元包括可见光成像单元和近红外成像
单元；深度成像单元包括为激光扫描深度成像单元、结构光深度成像单元、
TOF深度成像单元、光场深度成像单元。
所述图像采集模块通过感兴趣区域硬件挖窗形式实现将图像传输至所
述数据处理模块。
本发明的目的还在于提供一种用于移动平台的多模态生物特征识别方
法，采用所述用于移动平台的多模态生物特征识别系统进行多模态生物特征
识别，包括以下步骤：
1)中央控制模块控制主动光源模块发射图像采集所需要的光；
2)中央控制模块控制图像采集模块采集目标对象的多模态生物特征图
像；
3)中央控制模块控制图像采集模块将采集的多模态生物特征图像通过
传输模块传送到数据处理模块，由数据处理模块进行稳像处理、多源图像融
合，对形成的图像质量评价，并将评价处理结果发送给所述中央控制模块；
4)所述中央控制模块根据步骤3)的质量评价处理结果判断图像是否合
格，是则通过传输模块将多模态生物特征图像发送给数据计算模块；否则调
整主动光源模块或图像采集模块的参数或调节移动平台，或通过人机交互模
块对目标对象做出提示配合图像采集，之后返回步骤1)开始新一轮图像采
集过程；
5)数据计算模块接收自所述数据处理模块传送来的多模态生物特征图
像并识别，并将识别处理结果通过所述传输模块反馈给所述中央控制模块，
所述中央控制模块根据识别结果控制人机交互模块进行识别结果显示。
本发明通过多种成像模式组合完成多种模态生物特征识别，可适应更为
严格的身份认证需求，并且通过与移动平台集成，更扩展了系统的应用范围，
提高了系统应用的便捷性。
附图说明
图1为本发明实施例提供的用于移动平台的多模态生物特征识别系统原
理示意图；
图2为本发明实施例提供的图像成像单元的示意图；
图3为本发明实施例提供的一种用于移动平台的多模态生物特征识别系
统的识别方法的流程图。
具体实施方式
下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发
明并不局限于所列的实施例。
参见图1所示，一种用于移动平台的多模态生物特征识别系统，包括：
主动光源模块，包含多个主动光源，用于根据中央控制模块的指令打开
相应主动光源为图像采集提供所需要的光；
图像采集模块，包含多个成像单元，用于根据所述中央控制模块的指令
控制相应成像单元采集目标对象的多模态生物特征图像；
数据处理模块，用于对图像采集模块采集的多模态生物特征图像进行稳
像、多源图像融合处理，对形成的图像质量评价，然后将评价处理结果反馈
至所述中央控制模块；
所述中央控制模块，与所述主动光源模块、图像采集模块连接，用于控
制所述图像采集模块通过传输模块将待识别图像传送到所述数据处理模块，
接收所述数据处理模块的评价反馈信息，当所述数据处理模块的评价反馈信
息为图像不合格时，对光源参数、成像参数或移动平台调节，或通过人机交
互模块与目标对象交互，提示目标对象作相应动作配合图像采集，然后重新
采集目标对象的多模态生物特征图像，直至形成合格的待识别图像；当所述
数据处理模块的评价反馈信息为图像合格时，控制将所述数据处理模块处理
形成的合格的待识别图像通过所述传输模块传送至数据计算模块识别；
所述数据计算模块，用于自所述数据处理模块接收合格的待识别图像，
对待识别图像的多模态生物特征进行特征提取、编码、匹配及识别，将识别
处理结果信息通过所述传输模块反馈至所述中央控制模块，由所述人机交互
模块输出识别结果。
需要说明的是，本发明实施例中，所述数据处理模块与数据计算模块设
置于云端服务器，所述中央控制模块、主动光源模块、图像采集模块、人机
交互模块设置于本地。所述中央控制模块控制图像采集模块采集图像通过所
述传输模块，如网络传输到数据处理模块处理，数据处理模块处理完成后，
如图像合格则直接传输到数据计算模块进行识别处理，如果数据处理模块处
理完成后图像不合格，不符合要求，则反馈至中央控制模块，由中央控制模
块生成反馈控制信号传输到主动光源模块、图像采集模块，控制光源模块调
节光源参数或图像采集模块的图像采集参数，或通过人机交互模块与目标对
象，如用户进行人机交互，提示用户调整所在位置等，配合图像采集，或是
控制对移动平台进行相应调节，以实现最终采集到符合要求的图像，以上几
种调节方式根据数据处理模块的反馈结果的具体情况，决定采用一种或几种
方式来调节。
所述数据处理模块在接收至图像采集模块发送来的图像时，可以通过多
种图像处理方式对图像进行处理，如深度成像、三维成像、多源图像融合、
移动平台下的稳像方法，具体不同的图像对象选择适用不同的处理方式，以
并对图像质量评价，并将处理结果传输给中央控制模块，由所述中央控制模
块决定是否传送到图像计算模块识别，或调节光源模块、图像采集模块或移
动平台或对目标对象通过人机交互模块提示后进行图像的重新采集再处理。
需要说明的是，本发明中，所述生物特征可以是人体虹膜、人脸、掌纹、
指纹等多模态生物特征，在具体对这些生物特征进行图像采集时，可以是利
用相应的多个成像单元的一种或几种组合来进行多模态生物特征图像的采
集，并根据不同模态特征图像的采集需要，控制相应的主动光源模块的主动
光源提供相应的图像采集所需要的光或光照。
本发明实施例中，所述数据处理模块与数据计算模块可以是设置于云端
服务器，数据处理模块与数据计算模块的处理过程在云端服务器进行，所述
中央控制模块、主动光源模块、图像采集模块、人机交互模块设置于本地，
它们之间通过相应的传输模块实现数据或信号的传输。另外，本发明中，所
述数据处理模块与数据计算模块也可以是与所述中央控制模块、主动光源模
块、图像采集模块、人机交互模块一样全部设置于本地，所有识别过程全部
在本地完成，还可以是所述数据处理模块与所述中央控制模块、主动光源模
块、图像采集模块、人机交互模块一样全部设置于本地，只有所述数据计算
模块可以是云端服务器进行识别处理，具体架构不限。
所述传输模块负责系统中各模块单元间的数据传输以及与云端等远程
服务器进行数据通信和网络传输，实现系统内各模块间的数据或信号或指令
的传送，保证系统内各模块间通信畅通。
具体实现上，所述数据计算模块包括设置在云端的带计算功能的存储服
务器，或者远程的模板或特征数据库。
进一步的，本发明中，所述用于移动平台的多模态生物特征识别系统还
包括有：
存储模块，用于对所述图像采集模块和数据处理模块的数据进行存储，
配合实现所述传输模块与中央控制模块的功能；
供电模块，用于为系统内各模块供电，包括为所述主动光源模块、图像
采集模块、中央控制模块、人机交互模块以及传输模块，或设置于本地的数
据处理模块、数据计算模块提供工作电压。
具体的，所述存储模块可以是包括本地的存储芯片、SD/CF卡、SAN、云
存储服务器的一种或几种。
为了实现更加全面的人机交互，本发明中，所述人机交互模块可以是通
过语音、图像、视频、信号灯、投影、三维显示、激光显示中一种或几种方
式实现与用户的交流互动，例如通过语音提示用户调整姿态，通过图像显示
识别结果提示用户进行动作等等。
为了实现对不同模态生物特征图像的采集，本发明中所述光源可以是包
含近红外光源、可见光源、深度成像所需要的照明光、结构光、脉冲光、半
导体激光等多种分别适应用于不同模态生物特征图像的采集所要的光源，这
样以可以根据采集不同的模态生物特征图像选择相应的光源进行光照。
参见图2所示，其中，所述图像采集模块可以包括高分辨成像单元、深
度成像单元、高动态成像单元、光场成像单元；所述高分辨成像单元进一步
的可以包括可见光成像单元和近红外成像单元；所述深度成像单元包括可以
为激光扫描深度成像单元、结构光深度成像单元、TOF深度成像单元、光场
深度成像单元。
本发明通过图像采集模块包括多种成像单元，可以提供多种不同的成像
方式，实现对不同模态生物特征均可进行图像的采集并识别处理，扩展了系
统的使用范围，提高了系统的广泛适用性能。
进一步的，为了实现图像数据的高速传输，本发明中，所述图像采集模
块可以选择通过感兴趣区域硬件挖窗形式实现将采集的图像传输至所述数
据处理模块进行处理，这样大大提高了图像传输速度，提高了传输效率。
需要说明的是，本发明系统中可用于手机、平板电脑、车载系统、运动
装备、穿戴设备、机器人等移动平台中的任意一种。
本发明的目的还在于提供一种用于移动平台的多模态生物特征识别方
法，采用所述用于移动平台的多模态生物特征识别系统进行多模态生物特征
识别，包括以下步骤：
1)中央控制模块控制主动光源模块发射图像采集所需要的光；
2)中央控制模块控制图像采集模块采集目标对象的多模态生物特征图
像；
3)中央控制模块控制图像采集模块将采集的多模态生物特征图像通过
传输模块传送到数据处理模块，由数据处理模块进行稳像处理、多源图像融
合，对形成的图像质量评价，并将评价处理结果发送给所述中央控制模块；
4)所述中央控制模块根据步骤3)的质量评价处理结果判断图像是否合
格，是则通过传输模块将多模态生物特征图像发送给数据计算模块；否则调
整主动光源模块或图像采集模块的参数或调节移动平台，或通过人机交互模
块对目标对象做出提示配合图像采集，之后返回步骤1)开始新一轮图像采
集过程；
5)数据计算模块接收自所述数据处理模块传送来的多模态生物特征图
像并识别，并将识别处理结果通过所述传输模块反馈给所述中央控制模块，
所述中央控制模块根据识别结果控制人机交互模块进行识别结果显示。
从以上分析，可以看出，本发明通过多种成像模式组合完成多种模态生
物特征识别，可适应更为严格的身份认证需求，并且通过与移动平台集成，
更扩展了系统的应用范围，提高了系统应用的便捷性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普
通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润
饰，这些改进和润饰也应视为本发明的保护范围。