说明书融合热释电传感与摄像机的人体混合监控系统及方法
技术领域
本发明属于无线通信网络信息处理领域，具体地讲是一种融合热 释电传感与摄像机的人体混合监控系统及方法。
背景技术
在当今信息化时代，如何准确鉴定一个人的身份、保护信息安全， 已成为一个亟待解决的关键社会问题。传统的身份认证由于极易伪造 和丢失，越来越难以满足社会的需求，目前最为便捷与安全的解决方 案是生物识别技术。由于其广阔的应用前景、巨大的社会效益和经济 效益，已引起各国的广泛关注和高度重视。生物特征识别 (biometric identification)技术是一项新兴的安全技术，也是本 世纪最有发展潜力的技术之一[1]。用于身份识别的生物特征有手形、 指纹、脸型、虹膜、视网膜、脉搏、耳廓等，行为特征有签字、声音、 按键力度等。从统计意义上来说，这些生理特征都存在着唯一性，因 而这些特征都可以成为鉴别用户身份的依据。基于这些特征，人们已 经发展了手形识别、指纹识别、面部识别、发音识别、虹膜识别、签 名识别等多种生物识别技术[2]。
如果说人脸、指纹等静态图像的识别是第一代生物识别技术的 话，那么步态这种动态识别则是第二代生物识别技术。步态识别旨在 从相同的行走行为中寻找和提取个体之间的变化特征，以实现自动的 身份识别[3,4]。脸型、指纹等生物特征，通常要求近距离或接触性 的感知(如指纹需要接触指纹扫描仪等)，它们在远距离情况下将不 可能被使用，而步态此时仍是可感知的，这是步态识别的一个显著优 势。虽然步态分析在医学、心理学等诸多领域有着长期的研究，但是 使用步态作为生物特征用于身份识别则是近年来计算机视觉领域中 相对新兴的研究课题。然而，传统的步态识别以及其他识别技术存在 的一个主要缺点，即它们大多需要在白天环境下实现，夜晚时则效果 不佳[5-6]。
在自然界，任何高于绝对零度(－273℃)的物体都会向空间发射 红外线。人体有较恒定的体温，一般为37℃，可以看作是一个红外辐 射源，会发出10μm左右特定波长的红外线，而个体之间发射的红 外线的强度是有区别的。热释电红外(pyroelectric infrared，PIR) 传感器在室温下对于红外辐射的探测具有较高的性能，在入侵检测及 自动照明控制等方面有广泛的应用，由于它的低成本和低功耗，使其 在安全应用上具有很大的吸引力[7]。
人作为动态的分布式的红外源是由体貌特征及步态特征所决定 的，人体不同的步行运动姿态可导致所得PIR信号不仅时域特征有差 异，并且其频域信号在特定频段也会产生差异。PIR传感器可探测人 体所辐射出的红外线，输出电信号。当人体沿一定路径运动时，红外 辐射将以唯一的方式影响PIR传感器的探测场，进而影响传感器的输 出信号。因此，利用探头表面安装有菲涅耳透镜的PIR传感器得到时 域电压信号，对信号的频谱特性进行分析就能解析人体的运动特征， 实现人体运动信息的特征提取及分类识别。相比基于图像的步态识 别，使用PIR传感器可以忽略人体的结构信息，所采集的数据量也大 大小于前者。
智能视频监控是多学科交叉的前沿研究领域，也是当前国际性的 研究热点，它主要是解决在一些重要、敏感的场合进行全天候的、自 动、实时监控的问题。目前为止，视频监控系统的发展已经经历模拟 视频监控系统，半数字化视频监控系统、全数字化视频监控系统三个 阶段。智能监控系统的智能化主要体现在能够对目标检测、识别、跟 踪与报警，它能有效的代替人们实时监控，但就目前来说，监控系统 的智能化很低，很多时候只能起到记录现场的作用。在对行人异常行 为检测方面，由于受遮挡，场景等因素影响，在一些场合智能监控系 统难以发挥其有效性[8-10]。如果利用步态和其它生物特征融合技术 来对目标识别，将会大大提高识别效果。
基于热释电的人体信息识别与跟踪系统有其优缺点，其优点有① 成本低、能耗小、灵敏度高；②体积小、重量轻、易于安装和操作； ③不易受背景及光照等环境条件的影响；④可忽略人体的结构信息， 所得数据量小，便于实时处理；⑤信号分析和处理算法，相对比较简 单；其缺点：①易于红外波长相近的动物在频谱上相互叠加；②人体 不同部位动作的区分程度不高；③由于菲涅尔透镜的聚焦作用，同一 辐射源不同部位的红外信号到达PIR传感器后丢失了与辐射源形体有 关的信息④成熟度不高；⑤周围环境在热释电传感器获取信息的过程 中有一定的影响；同时基于视频的人体信息识别与跟踪也是明显的， 其优点：①信息层次丰富，完整采集各种人体运动形态信息；②技术 成熟，并已经应用到多种公共场所；③信息比较清晰，精准；④各种 图像识别，提取能算法都比较多样与成熟。其缺点：①视频信息量过 于庞大；②图像检测，识别，跟踪等图像处理算法比较复杂；③需要 的硬件条件较高；④视频联动跟踪反应慢；⑤使用成本较高。
综上所述，不论是基于视频的识别与跟踪系统还是基于热释电的 识别与跟踪系统，都有其优缺点，所以将两者的监控模式相互融合将 会解决这两种监控系统的弊端，从而达到高效智能地监控。
参考文献：
[1]代雪晶,汤澄清.生物特征识别技术[J].中国公共安全, 2004(11):126-127.
[2]卢瑞文.自动识别技术[M].北京:化学工业出版社,2005.
[3]杨润辉,吴清江.基于步态的身份识别综述[J].电脑开发与应 用,2007,20(9):30-31.
[4]Bazin Avc I,Nixon M S.Gait verification using probabilistic methods [C]//The7th IEEE Workshop on Applications of Computer Vision. Breckenridge,CO,USA,2005:60-65.
[5]程卫东,董永贵.利用热释电红外传感器探测人体运动特征[J]. 仪器仪表学报,2008,29(5):1021-1023.
[6]薛召军,赵鹏飞,万柏坤,等.红外热成像在步态识别中的应 用[J].光电子·激光,2009,20(3):402-405.
[7]Fang J S,Hao Q,Brady D J,et al.Path-dependent human identification using a pyroelectric infrared sensor and Fresnel lens arrays[J].Optics Express,2006,14(2):609-624.
[8]C.Arth,C.Leistner,and H.Bischof,“Object reacquisition and tracking in large-scale smart camera networks,”in Proceedings of the First ACM/IEEE International Conference on Distributed Smart Cameras,Vienna,pp.156–163,2007.
[9]M.Hoffmann,M.Wittke,Y.Bernard,R.Soleymani,and J.Hahner, “DMCtrac:Distributed multi camera tracking,”in Distributed Smart Cameras,2008.ICDSC2008.Second ACM/IEEE International Conference on,pp.1–10,2008.
[10]Xiaogang Wang.Intelligent multi-camera video surveillance:A review[J].Pattern Recognition Letters,2013,34(1):3-19.
发明内容
本发明的目的在于结合了热释电传感器工作机制、菲涅尔透镜原 理，PTZ数字摄像机监控机制，模式识别机制以及分布式多传感器信 息融合机制，提供一种基于融合热释电传感与摄像机的人体混合监控 系统及方法。
为实现上述目的，本发明所采用的技术方案是：
一种融合热释电传感与摄像机的人体混合监控系统，所述系统包 括多个混合监控单元，每个混合监控单元包括多个热释电传感节点和 一台摄像机，所述多个热释电传感节点构成分布式热释电传感网络， 每个混合监控单元中的多个热释电传感节点分别设置在一个混合监 控空间的顶、底两个平面上，所述摄像机设置在所述混合监控空间的 顶平面上。
一种利用所述融合热释电传感与摄像机的人体混合监控系统的 人体混合监控方法，其特点是：所述混合监控方法分为两种，一种是 基于分布式热释电传感网络的监控方法，一种是基于摄像机的视频监 控方法：
在分布式热释电传感网络的监控模式中：针对人体目标进行跟踪 与识别，在热释电传感网络的感应区域分别采用精和粗定位跟踪方法 相结合策略，对人体进行定位并基于位置信息对人体进行跟踪；
在基于摄像机的智能视频监控的模式中：摄像机采用图像处理的 方法对目标人体进行跟踪与识别；
当需要将上述两种监控模式对同一个目标或多目标进行跟踪与 识别时，混合监控系统采用非数据融合的方法与数据融合的方法对目 标进行跟踪与识别。
由于本发明采用融合热释电传感与摄像机的人体混合监控方法 实现对人体的跟踪与识别，使得本发明解决了热释电传感器网络在识 别与跟踪以及传统视频监控网络中出现的各种问题。从而结合这两种 网络的优点以及回避它们在监控中的缺陷，达到实时优化跟踪与识 别。
附图说明
图1为本发明分布式热释电传感网络精定位跟踪模型图。
图2为本发明分布式热释电传感网络粗定位跟踪模型图。
图3为本发明分布式热释电传感网络地域码跟踪模型图。
图4为本发明分布式热释电传感网络精和粗定位跟踪融合结构示 意图。
图5为本发明分布式热释电传感网络机动目标的跟踪模型图。
图6为本发明分布式热释电传感网络多目标定位跟踪原理框图。
图7为本发明分布式热释电传感网络精和粗定位跟踪融合的数据 关联示意图。
图8为本发明分布式热释电传感网络的人体特征融合与识别模型 图。
图9为本发明摄像机的视频监控的人脸跟踪与识别流程图。
图10为本发明摄像机的视频监控的基于步态特征的多人体跟踪 与识别流程图。
图11为本发明摄像机的视频监控的人体步态特征与人脸特征融 合的跟踪与识别流程图。
图12为本发明的混合监控单元结构示意图。
图13为本发明热释电传感信息与摄像机视频信息的复数融合空 间示意图。
图14为本发明的结构示意图。
图15为本发明的人体目标监控过程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细描述。
一种融合热释电传感与摄像机的人体混合监控系统(图14)，所 述系统包括多个混合监控单元(图12)，每个混合监控单元包括多个 热释电传感节点和一台摄像机，每个热释电传感节点和摄像机分别与 上位机连接，所述所述多个热释电传感节点构成分布式热释电传感网 络，每个混合监控单元中的多个热释电传感节点分别设置在一个混合 监控空间的顶、底两个平面上，所述摄像机设置在所述混合监控空间 的顶平面上。
一种利用所述融合热释电传感与摄像机的人体混合监控系统的 人体混合监控方法，其特点是：所述混合监控方法分为两种，一种是 基于分布式热释电传感网络的监控方法，一种是基于摄像机的视频监 控方法：
在分布式热释电传感网络的监控模式中：针对人体目标进行跟踪 与识别，在热释电传感网络的感应区域分别采用精和粗定位跟踪方法 相结合策略，对人体进行定位并基于位置信息对人体进行跟踪；
在基于摄像机的智能视频监控的模式中：摄像机采用图像处理的 方法对目标人体进行跟踪与识别；
当需要将上述两种监控模式对同一个目标或多目标进行跟踪与 识别时，混合监控系统采用非数据融合的方法与数据融合的方法对目 标进行跟踪与识别。
所述分布式热释电传感网络精和粗定位跟踪方法分别为：
a)热释电传感网络精定位跟踪方法(图1)：
热释电传感器网络中的精定位跟踪是相对于粗跟踪的跟踪精度 而言，在一个平面上固定的3个热释电传感器，3个热释电传感器分别 设置为热释电节点A、B、C，热释电传感器采集到人体目标热释电信 息后，运用基于贝叶斯估计的带不同观测矩阵的加权最小二乘分布式 融合算法或加权最小二乘分布式融合卡尔曼滤波器算法，对目标进行 跟踪，其跟踪方法是：
1)初始化热释电节点A、B、C的笛卡尔坐标；
2)调制热释电菲涅耳透镜与热释电传感器工作模式；
3)传感器节点由3个热释电传感器组成，不同的热释电状态对应 目标人体到这3个热释电传感器节点的距离；
4)根据最小二乘法求目标人体的笛卡尔坐标；
b)热电传感网络粗定位跟踪方法(图2)：
通过对菲涅耳透镜与热释电传感器的调制，将节点A和节点B分别 调制成如下数据采集模式：B节点的感应区由7个小扇形组成，A节点 的感应区由3个小扇形组成，但是这三个小扇形相互间隔，每个小扇 形的角度为12度，其跟踪方法是：
1)调制节点的感应模式；
2)当人体目标在A节点和B节点的公共感应区域工作时，通过感应 小扇形中心角相交的节点来作为对真实值的估计；
3)通过对人体目标连续的定位以及同时通过滤波技术来对人体 目标进行实时跟踪。
所述混合监控方法还包括地域码跟踪方法(图3)，所述地域码跟 踪方法是根据热释电特有的性质来对人体目标进行跟踪，在所述热释 电观测的小扇形区域，如果有人通过就会激发热释电系统，当人体通 过这些地域码时，就会激发分布式热释电节点，并形成跟踪轨迹，所 述地域码跟踪方法是：
1)构造热释电节点模型；
2)根据热释电节点模型的采集方式，对需要监测的区域进行统一 编码(一般采用16bit二进制)；
对人体目标所经过的编码区域进行译码(一般采用EM算法)，并进 行数据关联。
所述热释电传感网络精和粗定位跟踪融合方法(图4)：
根据实际的环境要求，采用粗，精相结合的跟踪方法，使热释电 跟踪网络有跟强的适应性，其精和粗定位跟踪融合方法具体为：
1)初始化粗、精跟踪模型；
2)将粗跟踪模型匹配到第一局部卡尔曼滤波器，所述第一局部卡 尔曼滤波器采用不敏卡尔曼滤波器；
3)将精跟踪模型匹配到第二局部卡尔曼滤波器，所述第二局部卡 尔曼滤波器采用普通卡尔曼滤波器；
4)将各局部的卡尔曼滤波器滤波值输出到融合中心模块；
5)显示跟踪轨迹。
还包括多机动目标的跟踪方法：由于目标人体运动并非一直是直 线且匀速的运动模式，人体运动的实际规律，是多机动性的，所以将 人体的运动规律分为：匀速运动模式CV、匀加速运动模式CA、转弯运 动模式CT，运用交互式多模型算法(IMM)可以有效的解决实际过程中 人体多变的机动性，IMM算法由一组滤波器组成，每一滤波器对应于 目标的不同运动状态，模型之间按照状态转移概率矩阵即已知的马尔 科夫链进行切换，计算出各模型为正确的后验概率之后，就可以通过 对各模型正确时的状态估计加权求和来给出最终的目标状态估计，加 权因子为模型正确的后验概率(图5)。
还包括基于热释电传感网络精、粗融合的多人体跟踪方法，依 据所述热释电传感网络精和粗定位跟踪融合方法(图6)再加入多机 动目标的跟踪方法的数据关联算法(图7)就可得到多目标的跟踪融 合方法。
本发明提供了一种分布式热释电传感器的人体特征融合识别方 法(图8)，所述利用热释电对不同人体，以及不同人体的步态收集 的信息不同的特点，可以在分布式热释电网络中对人体的特征信息进 行融合，使人体的特征信息最大化，便于利用这些较完整的信息进行 特征识别，从而在数据库中已有的信息进行匹配。当人体目标在底平 面进行移动时，多个热释电节点将会对人体特征信息进行收集，利用 相对简单的特征层的加法融合方法或乘法融合方法或加权融合方法 或特征矩阵的方法，将所有的节点收集的人体特征值进行集中，然后 使用FFT或LDB转换方法来提取出信号中具有最大类别可分性的频 带，最后在识别模块中对这些信息进行识别，本发明采用PCA加SVM 的方法进行综合识别。
基于所述分布式热释电传感器的人体特征融合识别方法，还可实 现分布式热释电传感器的多人体目标特征融合识别方法：多人体融合 继承了分布式热释电传感器的人体特征融合识别方法，并可以使用 BPSO+LDB算法进行进一步改进，因为BPSO算法更适用于分布式环境 中，然后利用改进型的SVM加PCA进行识别，
所述基于摄像机的智能视频监控方法实现基于人脸特征的多人 体跟踪与识别方法：
摄像机的智能视频监控系统首先通过摄像头实时采集监控场景 内的视频图像，利用人脸检测算法检测人脸区域，对检测到的人脸进 行图像预处理并实时提取人脸特征；同时对检测到的人脸进行跟踪处 理；其次，将已提取的人脸特征和数据库中的人脸特征进行比对，识 别出人脸身份；最后，输出人脸跟踪识别结果(图9)；
所述多人体跟踪与识别方法包括：
1)基于Adaboost人脸检测和ASM的人脸检测算法；
2)基于CamShift和Kalman/PF滤波器相结合的自动多人脸 跟踪算法；
3)使用Gabor算法进行人脸特征描述；
4)应用Fisherface算法进行人脸识别
所述基于摄像机的智能视频监控方法实现基于人脸特征的多 人体跟踪与识别方法还包括基于步态特征的多人体跟踪与识别：
在运动目标的跟踪过程中，就是在目标所处的环境中，选择 能够唯一表示目标特征，依据目标和环境，在后续帧中搜索与该 特征最匹配的目标位置的过程，由于步态特征相比其他特征有其 独特的优势，其可以进行远距离匹配，实现多目标的同时跟踪， 具体方法(图10)是：
1)初始化各系统状态和环境参数；
2)应用背景减除法得到目标位置估计值；
3)使用粒子滤波算法对目标进行跟踪；
4)使用傅里叶方法对人体步态特征进行提取；
最后对跟踪前直接用背景减除得到的特征与跟踪后得到的特征 同时与真实特征比，从而得到基于步态特征的多人体跟踪与识别；
本发明结合上述基于摄像机的智能视频监控方法实现基于人脸 特征的多人体跟踪与识别方法，以及基于步态特征的多人体跟踪与识 别方法，从而实现基于人体步态特征与人脸特征融合的跟踪与识别方 法(图11)：
1)使用主成分分析法(PCA)抽取人脸特征；
2)使用主成分分析法(PCA)抽取步态特征；
3)将人脸特征向量和步态特征向量串接起来得到一个新的联合 特征向量；
4)然后使用支持向量机(SVM)抽取人脸特征；
5)然后使用支持向量机(SVM)抽取步态特征；
6)将人脸特征向量和步态特征向量串接起来得到一个新的联合 特征向量；
7)在混合特征向量所在维度使用PCA人脸识别，分类器采用范数 意义下的最近邻分类器；
8)在混合特征向量所在维度使用SVM人脸识别，分类器采用范数 意义下的最近邻分类器；
9)取其高识别率者作为跟踪目标。
本发明基于非信息融合模式下的混合监控方法是：
在非信息融合模式下的混合监控，是混合监控的一部分，在资源 有限，环境限制，混合监控系统中部分信息采集单元出现问题以及人 为的选择所需监控模式的情况下，成为适应性比较强的监控模式。如 图12所示，该混合监控单元由七个热释电传感节点和一台摄像机组 成。每个数据采集单元都有各自的任务。通过对不同的采集单元的任 务规划以及实际的情况选择不同的激活策略以达到混合监控的要求。
1、热释电的人体跟踪信息到摄像机的映射
将热释电热释电传感网络对移动的人体所获得的位置信息在进 行滤波的过程中，所获得预测的位置信息发送给摄像机并使摄像机进 行机动定位，使摄像机提前锁定监控目标的位置。
2、当目标在热释电公共识别区域以外时，将混合监控模型的顶 面热释电节点所计算的人体目标位置信息传输给摄像机，并进行精确 跟踪与识别。
3、当在定位公共区域时，可以使用上述介绍的方法对人体目标 进行定位，并把位置信息发送给摄像机。
本发明基于信息融合模式下的混合监控方法是；
1)热释电采集的人体地理信息到图像上的映射
(1)将图像的颜色信息与运动物体的热释电信息进行融合， 在粒子滤波框架下实现图像跟踪(将热释电信息地理信息映 射到图像)。
首先将热释电信息映射到图像像素点，分别建立了热释电 释然函数与颜色释然函数；
再将热释电信息与颜色信息进行特征融合(对连个特征的 似然函数赋予归一化的权值，作为滤波的似然函数)，建立 了观测模型。
(2)为了将热释电和视频信号在粒子滤波框架内有效融合， 首先需要将热释电信号测得的位置信息映射到图像的每一帧 上，即将图像上的像素点与目标的空间位置一一对应。 方法：①通过几何计算得出目标在世界坐标系中的位置模型 即：L(x,y,z)。
②根据透视投影原理将目标的三维坐标映射到二维图 像
③C(Φ,θ)表示目标在一帧图像中的位置坐标，作为热 释电特征量测，并与颜色量测一起在图像中作为观测 模型量测，用粒子更新。
(3)信号的时间匹配：
将热释电信号映射到图像时,由于不同的传感器获得的 信号到达融合中心的时间不一致,所以对信号进行时间配准 也是重要的一环。而时间配准的核心就是将各个传感器数据统 一到扫描周期较长的一个传感器数据上
(4)系统模型
将热释电信号映射到图像后，就可以将热释电信息作为和 颜色信息同等的特征在图像中处理。向量Xt＝{xt,yt,vx,vy,hx,hy,st}表示目标的运动状态，其中(xt,yt) 为运动目标t时刻所在矩形框的中心，(vx,vy)表示预测跟踪物 体的速度，(hx,hy)分别表示初始化矩形的半高和半宽，st表 示运动目标在t时刻的尺寸变化。
目标位置预测的动态方程：
xt＝Axt-1+wk-1
xt＝xt-1+vx*f+wx
yt＝yt-1+vy*f+wy
h x t = h x t + s t * w hx ]]>
h y t = h y t - 1 + s t * w hy ]]>
st＝st-1+ws
观测模型：
观测模型量测值用表示，是t时刻运动目标颜色 量测向量，是t时刻运动目标的声音量测向量。结合t时刻状 态Xt下的声音观测量和颜色观测量可得： pt(y/x)＝αpt(ym/x)+βpt(yc/x)、
2)热释电信息定位信息与视频异类信息融合跟踪识别
A.人体目标运动模型的建立
多人体目标跟踪问题可以通过t时刻目标人体的所有可能 的位置结构来形成空间估计框架，本监控系统利用隐含马尔科 夫状态空间模型Xt来代表多人体目标的状态变量。其中
Xt = ( n t , x t 1 , . . . . , x n t ) ]]>
nt代表t时刻人体目标个数，代表的是第i个人体 目标在t时刻的总体状态，其中(x,y)代表人体目标在图像中具体 位置，s＝1表示目标处于移动状态，s＝0表示目标处于静止状态。
则状态变量Xt的滤波分布P(Xt/Y1:t)可以采用贝叶斯准则 递归的计算为：
P ( X t / Y 1 : t ) = P ( Y t / X t - 1 ) ∫ X t - 1 P ( X t / X t - 1 ) P ( X t - 1 / Y 1 : t - 1 ) d X t - 1 ]]>
P(Yt/Xt-1)代表多人体目标状态空间的转移概率，P(Yt/Xt)为 多人体目标观测似然函数，它反映了观测值符合多人体目标的 预测值程度。
B.滤波方式的选取
建立合理的运动模型以后，就要进行系统状态的转移滤波， 关键的是滤波方法的合理选择，要根据系统的性质，结合系统 状态的传递规律选择合理有效的滤波方法(本系统在数据融合 的过程中采用粒子滤波算法)。
C.融合方法的选择
基于热释电和视频多人体特征融合的人体目标跟踪问题， 是典型的异类信息融合处理问题，根据既定的特征进行有效的 异类融合处理是说话人跟踪问题的关键所在。
热释电信息与视频信息融合实现的主要步骤：
①初始化各监控系统和环境参数；
②设计热释电对人体目标定位的观测模型；
③设计人脸或步态的视频观测模型；
④在热释电定位算法中获得似然函数；
⑤基于视频人脸或步态跟踪过程中，获得其观测值的似然 函数。
⑥在给定的观测似然情况下，可以递推的估计出人体目标 的当前时刻状态，即P(Xt/Yt)，这样就可以求出多目标人体的 当前时刻的状态。
⑦求得粒子权值
⑧在热释电与视频信息融合的条件下进行粒子滤波跟踪
3)热释电人体特征与视频异类信息融合(图13)
特征的空间特征主要体现在特征数据都可以表示为某一特征子 空间中的点，特征都是原样本在这些特征子空间中的投影，不同的模 态的特征对应不同的特征空间，本发明采用复数融合的思想，将两个 来自不同特征子空间的特征以复数的实部和虚部的方式进行融合，这 样融合特征所在的特征子空间在原始特征空间的投影仍然保持原有 的区分性。融合特征继承了两种不同的原始特征的类别信息。
由于不同特征所在的子空间不同，使得特征的数据量级、数据分 布及蕴含的信息各不相同。为了消除这种不平衡，获得好的融合效果， 我们采用z-score模型将不同模态特征各自所在空间归一化，使得两 空间中的数据量级以及数据分布统一，在两空间数据融合中起到同等 作用。
多模态特征融合算法设计：
①初始化特征值和环境参数；
②应用PCA算法提取各模态的特征向量
③在复数域Fisher的基础上将普通向量方法扩展到复数域， 提出扩展普通向量算法提取复数域的线性特征，
④基于类内散度矩阵值域求解法的融合算法来解决多模特征 的融合。
⑤基于样本差分子空间求解法的融合算法来解决多模态特征 的融合。
⑥应用复数域中两向量的距离来进行匹配识别。
如图14所示。将多个混合监控单元组成本发明的分布式混合监控 系统，并实现分布式混合监控系统中各混合监控单元的人体目标监控 数据实时共享。
如图15所示，分布式混合监控系统由三个混合监控单元组成即A、 B、C，假设每个混合监控单元都存在一个人体目标，当人体目标A从A 网进入B网时，A网中的人体的地理位置信息，跟踪轨迹信息，热释电 人体特征信息，人体步态图像特征信息或人体脸部图像特征信息将实 现共享，其中图像信息以及热释电人体特征存入全网络数据库，热释 电网络所采集人体A的当下地理位置信息，跟踪轨迹信息，以及优化 的人体特征信息实现分布式网络实时共享，即将这些低维度信息随人 体目标一起进入B混合监控单元，当A目标人体进入B监控单元后，B 监控单元将对这两人体目标对象进行实时跟踪与识别，进入B监控单 元的人体目标A并不干扰B监控单元对B人体的监控策略，当人体目标B 离开监控网络B时，B监控网络对A的跟踪与识别也不会受到干扰。其 数据融合策略前面章节已经介绍。
本说明书中未作详细描述的内容属于本领域专业技术人员公知 的现有技术。