《一种基于图的半监督耦合度量的多角度步态识别方法.pdf》由会员分享，可在线阅读，更多相关《一种基于图的半监督耦合度量的多角度步态识别方法.pdf（15页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201410619411.9 (22)申请日 2014.11.05 G06K 9/00(2006.01) G06K 9/62(2006.01) (71)申请人 哈尔滨工程大学 地址 150001 黑龙江省哈尔滨市南岗区南通 大街 145 号哈尔滨工程大学科技处知 识产权办公室 (72)发明人 王科俊 吕卓纹 阎涛 邢向磊 (54) 发明名称 一种基于图的半监督耦合度量的多角度步态 识别方法 (57) 摘要 本发明属于模式识别领域， 具体涉及一种基 于图的半监督耦合度量的多角度步态识别方法。 本发明包括 ： 采用码本检测方法从视频流中得到 。
2、目标轮廓序列 ； 在一个周期中采用步态能量图提 取步态的整体特征 ； 构建多视角步态识别系统的 离线训练阶段， 训练得到基于图的半监督耦合投 影矩阵对 ； 对测试视频进行目标轮廓的提取， 对 大小归一化的轮廓序列检测步态周期， 生成单周 期的步态能量图特征， 通过视角估计选取的基于 图的半监督耦合投影矩阵对。本发明解决了传统 步态识别方法需要存储所有视角下步态特征的高 存储需求问题， 对任意角度行走的步态的身份识 别有效。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书9页 附图3页 (10)申请公布号 CN 104463099 A 。
3、(43)申请公布日 2015.03.25 CN 104463099 A 1/2 页 2 1. 一种基于图的半监督耦合度量的多角度步态识别方法， 其特征在于 ： (1) 采用码本检测方法从视频流中得到目标轮廓序列， 并使人体居中统一大小为 64*64 ； (2) 根据步态视频序列中每帧图像标准中心化后， 人在行走中两腿分离的程度的周期 性统计步态的周期， 并在一个周期中采用步态能量图提取步态的整体特征 ； (3) 构建多视角步态识别系统的离线训练阶段， 训练得到基于图的半监督耦合投影矩 阵对 ； 对测试视频进行目标轮廓的提取， 对大小归一化的轮廓序列检测步态周期， 生成单周 期的步态能量图特征，。
4、 通过视角估计选取的基于图的半监督耦合投影矩阵对， 投影到共同 耦合步态特征空间中， 并在共同耦合步态特征空间中采用最近邻分类器进行身份判别。 2. 根据权利要求 1 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征在于 ： 所述步骤 (2) 根据步态视频流中每帧图像标准中心化后图形中， 人在行走中两腿 分离的程度的周期性统计步态的周期性变化情况， 周期为 ： h1和 h2分别为某帧图像中人 ( 前景 ) 的脚踝和膝盖的人体测量学高度， Ri和 Li分别 是第 i 行中属于前景的最左边和最右边的像素位置。 3. 根据权利要求 1 所述的基于图的半监督耦合度量的多角度步态识别方法。
5、， 其特征 是 ： 特征提取采用步态能量图提取步态的整体特征 ： N 为一个周期的步态序列的帧数 ,i 代表时间， (x,y) 代表二维图像平面坐标。 4. 根据权利要求 3 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征是 ： 所述步态能量图的标准视角选取 90视角， 将其余视角的步态特征分别与标准视角 步态特征进行联合训练。 5. 根据权利要求 1 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征是 ： 所述的得到基于图的半监督耦合投影矩阵对Px和Py的方法为 ： 以90标准视角下的 步态特征与 0视角下的步态特征进行联合训练， 将 0视角下的步态特征和 。
6、90视角下 的步态特征分别投影到共同的耦合步态特征空间中 ： 式中， X 表示 90视角训练样本集合， Y 表示 0视角训练样本集合， C 为集合 X 和 Y 之 间的相关关系矩阵， 大小为 NxNy， Nx、 Ny分别为 X 和 Y 集合样本数， 矩阵 C 由近邻图得到， Cx和 Cy为单个空间的类内关系对角矩阵， 其对角线元素分别为矩阵 C 的对应行的累加和， 及对应列的累加和 ； 令最优解通过求解广义特征值 Ep Fp 的特征向量得到， 其中 E ZZT， F ZZT， p 为对应于特征值 的特征向量， P 为对应 Dc 权 利 要 求 书 CN 104463099 A 2 2/2 页 。
7、3 个最小特征值的特征向量， P Px PyT的定义， 得到对应于数据集合 X 的变换矩阵 px， 大 小为 DxDc， 对应于数据集合 Y 的变换矩阵 Py， 大小为 DyDc。 6. 根据权利要求 5 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征是 ： 所述的相关矩阵 C 为 ： 式中， 用 Dijkstra 最短路径算法来计算新的集合间距离矩阵 式中，和 Dij分别 0视角集合中两个样本的距离、 90视角集合中两个样本的距离、 0视角下和 90视角下同一个人的距离为 0， x、 y和 分别表示 X 集合、 Y 集合和这两个集合间的 邻域关系集合。 7. 根据权利要求 。
8、1 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征是 ： 所述的步态特征所属视角 为 ： 其中 gtest表示测试集中的步态特征向量， i为训练集中视角 i 下的步态特征向量 ； Nf 为训练集中已知视角数目 ； d(,) 为度量函数， 选取欧几里得距离函数。 8. 根据权利要求 1 所述的一种基于图的半监督耦合度量的多角度步态识别方法， 其特 征是 ： 所述的最近邻分类器， 指寻找在耦合空间中与测试步态特征距离最小的注册集中的 步态特征 ： 式中，表示注册集中的第 j 个步态特征， Ng表示注册集的样本个数， 和为 训练得到的标准视角与视角 的最优判别耦合投影矩阵对， 令函。
9、数 c( ) 为特征向量所属 的类别指示函数， 确定测试序列的类别标记为 ： 权 利 要 求 书 CN 104463099 A 3 1/9 页 4 一种基于图的半监督耦合度量的多角度步态识别方法 技术领域 0001 本发明属于模式识别领域， 具体涉及一种基于图的半监督耦合度量的多角度步态 识别方法。 背景技术 0002 步态识别是近年来计算机视觉和生物特征识别领域的一个备受关注的研究方向， 它旨在根据人走路的姿势进行身份识别 1,2。 与其他生物特征识别技术相比， 步态识别是生 物特征识别中唯一可以远距离识别的方法。并且， 步态的非接触性、 不易伪装、 远距离等优 点， 在智能视频监控中有很大。
10、的应用前景。 0003 然而， 步态识别在实际应用中也面临许多难点， 主要表现在行人在行走过程中会 受到外在环境和自身因素的影响， 例如不同行走路面、 不同分辨率、 不同视角、 不同服饰、 不 同携带物等因素。在上述影响因素中， 视角变化是影响步态识别系统性能的最主要因素之 一。 视角变化问题是步态识别无法逃避的问题， 因为人的行走方向是完全自由随机的， 并且 不同区域的摄像头存在位置差异。目前， 传统的步态识别技术在固定视角下可以取得很好 的性能， 而在视角剧烈变化或存在遮挡的情况下， 无法适用或识别性能明显下降。 0004 为了解决视角变化对步态识别系统的影响， 国内外提出了很多方法。Ka。
11、le 等人 3 采用角度投影模型和光流结构的方法得到任意角度的步态侧影。Jean 等人 4 提出了 从单目视频序列中获取身体各部分标准角度的轨迹， 但该方法只在一定角度范围内有效。 Han等人5从步态能量图GEI中得到角度不变特征， 不同角度叠加的步态序列中只选择了 一部分用来构建多角度步态特征。以上这些方法只对几个行走方向的角度有效， 并且特征 提取过程容易被遮挡干扰。另外， 从多个视频构建三维模型的方式也可以用来解决多角度 问题。比如 Shakhnarovich 等人 6 提出的基于图像的视觉船体 (IBVH) 来表征步态识别 的视角， 该方法从多个标准的摄像中获取一系列单目角度计算 IB。
12、VH， 估计出标准的摄像机 位置， 然后从这些视角中获得的图像用于角度的标准。 Bodor等人7用三维视觉结构模型 自动的重建来自各个方向步态特征。Zhang 等人 8 提出了基于三维线型模型和贝叶斯规 则的与视角无关的步态识别方法。 以上基于多摄像头的步态识别方法需要复杂的标准化多 摄像头系统， 计算复杂度较高， 不适用于实时的步态识别系统。 还有一种是寻找不同角度的 步态特征的投影关系。 这类方法在步态相似度匹配之前要将来自不同角度的步态特征标准 化， 与之前提到的步态方法相比， 这种寻找最优投影空间的有点在于 (1) 只需要一个不必 标准化摄像设备， 不需要测试步态与已经训练好的注册步态。
13、每一帧同步 ； (2) 测试过程省 时， 适用于实时步态系统。比如 Makihara9 用角度变换模型 (VTM) 将不同角度的频域步 态模型变换到同一个角度， 通 过奇异值分解矩阵， 训练集中步态特征矩阵可以分解为与对 象和角度无关的矩阵。与对象无关的矩阵被用来构建 VTMs。Kusakunniran 等人 8 用线 型判别分析 (LDA) 优化的步态能量图 GEI 特征取代了傅立特征。以上的方法都是假定步态 特征矩阵能够分解为两个独立矩阵， 没有重复的元素。然而数学上对这种假设并不清楚证 明， 因此就不能保证得到最优的 VTM。Bashir et al.11 将典型相关分析 (CCA) 应。
14、用到不 说 明 书 CN 104463099 A 4 2/9 页 5 同角度步态序列的相关性建模上， 首先通过 CCA 将两个不同的方向的步态特征投影到相关 性最大的空间， 再根据相关的强度判断步态的相似性， 与 VTM 相比， CCA 可以很好的处理不 同角度的特征匹配问题， 对于特征的噪声有着很好的鲁棒性。但 CCA 是一种无监督的降维 方法， 并没有考虑了类别信息。 0005 与发明相关的公开报道包括 ： 0006 1贲晛烨,徐森,王科俊.行人步态的特征表达及识别综述J.模式识别与人 工智能 ,2012,25(1):71-81. 0007 2 王 科 俊 , 侯 本 博 . 步 态 识 。
15、别 综 述 J. 中 国 图 象 图 形 学 报 ,2007,12(7):1152-1160. 0008 3A.Kale,A.K.R.Chowdhury,and R.Chellappa:Towards a view invariant gait recognition algorithm.In Advanced Video and Signal Based Surveillance,2003.Proceedings.IEEE Conference on,pp.143-150(2003). 0009 4F.Jean,R.Bergevin,and A.B.Albu:Computing and ev。
16、aluating view-normalized body part trajectories.Image and Vision Computing,vol.27,pp.12 72-1284,(2009). 0010 5J.Han,B.Bhanu,and A.Roy-Chowdhury:A study on view-insensitive gait recognition.In Image Processing,2005.ICIP 2005.IEEE International Conference on,pp.III-297-300(2005). 0011 6G.Shakhnarovich。
17、,L.Lee,and T.Darrell:Integrated face and gait recognition from multiple views.In Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001IEEE Computer Society Conference on,pp.I-439-I-446vol.1(2001). 0012 7R.Bodor,A.Drenner,D.Fehr,O.Masoud,and N.Papanikolopoulos. View-independe。
18、nt human motion classifi cation using image-based reconstruction. Image and Vision Computing,vol.27,pp.1194-1206,(2009). 0013 8Z.Zhang and N.F.Troje:View-independent person identifi cation from human gait.Neurocomputing,vol.69,pp.250-256,(2005). 0014 9Y.Makihara,R.Sagawa,Y.Mukaigawa,T.Echigo,and Y.Y。
19、agi:Gait recognition using a view transformation model in the frequency domain.In Computer VisionECCV 2006,ed:Springer,pp.151-163(2006). 0015 10W.Kusakunniran,Q.Wu,H.Li,and J.Zhang:Multiple views gait recognition using view transformation model based on optimized gait energy image.In Computer Vision。
20、 Workshops(ICCV Workshops),2009IEEE 12th International Conference on,pp.1058-1064(2009). 0016 11K.Bashir,T.Xiang,and S.Gong:Cross View Gait Recognition Using Correlation Strength.In BMVC,pp.1-11(2010). 发明内容 0017 本发明的目的在于提供一种提高识别性能的一种基于图的半监督耦合度量的多 说 明 书 CN 104463099 A 5 3/9 页 6 角度步态识别方法。 0018 本发明的目的是。
21、这样实现的 ： 0019 (1) 采用码本检测方法从视频流中得到目标轮廓序列， 并使人体居中统一大小为 64*64 ； 0020 (2) 根据步态视频序列中每帧图像标准中心化后， 人在行走中两腿分离的程度的 周期性统计步态的周期， 并在一个周期中采用步态能量图提取步态的整体特征 ； 0021 (3) 构建多视角步态识别系统的离线训练阶段， 训练得到基于图的半监督耦合投 影矩阵对 ； 对测试视频进行目标轮廓的提取， 对大小归一化的轮廓序列检测步态周期， 生 成单周期的步态能量图特征， 通过视角估计选取的基于图的半监督耦合投影矩阵对， 投影 到共同耦合步态特征空间中， 并在共同耦合步态特征空间中采。
22、用最近邻分类器进行身份判 别。 0022 步骤 (2) 根据步态视频流中每帧图像标准中心化后图形中， 人在行走中两腿分离 的程度的周期性统计步态的周期性变化情况， 周期为 ： 0023 0024 h1和 h2分别为某帧图像中人 ( 前景 ) 的脚踝和膝盖的人体测量学高度， Ri和 Li分 别是第 i 行中属于前景的最左边和最右边的像素位置。 0025 特征提取采用步态能量图提取步态的整体特征 ： 0026 0027 N 为一个周期的步态序列的帧数 ,i 代表时间， (x,y) 代表二维图像平面坐标。 0028 步态能量图的标准视角选取 90视角， 将其余视角的步态特征分别与标准视角步 态特征进。
23、行联合训练。 0029 得到基于图的半监督耦合投影矩阵对 Px和 Py的方法为 ： 以 90标准视角下的步 态特征与 0视角下的步态特征进行联合训练， 将 0视角下的步态特征和 90视角下的 步态特征分别投影到共同的耦合步态特征空间中 ： 0030 0031 式中， X 表示 90视角训练样本集合， Y 表示 0视角训练样本集合， C 为集合 X 和 Y 之间的相关关系矩阵， 大小为 NxNy， Nx、 Ny分别为 X 和 Y 集合样本数， 矩阵 C 由近邻图得 到， Cx和 Cy为单个空间的类内关系对角矩阵， 其对角线元素分别为矩阵 C 的对应行的累加 和， 及对应列的累加和 ； 0032 。
24、令最优解通过求解广义特征值 Ep Fp 的特征向量得到， 其中 E ZZT， F ZZT， p 为对应于特征值 的特征向量， P 为对应 Dc个最小特征值的特征向量， P Px PyT的定义， 得到对应于数据集合 X 的变换矩阵 px， 大小为 DxDc， 对应于数据集合 Y 的变换矩阵 Py， 大小为 DyDc。 说 明 书 CN 104463099 A 6 4/9 页 7 0033 相关矩阵 C 为 ： 0034 0035 式中， 用 Dijkstra 最短路径算法来计算新的集合间距离矩阵 0036 0037 式 中， 和 Dij分别 0视角集合中两个样本的距离、 90视角集合中两个样本的。
25、距离、 0 视角下和 90视角下同一个人的距离为 0， x、 y和 分别表示 X 集合、 Y 集合和这两个 集合间的邻域关系集合。 0038 步态特征所属视角 为 ： 0039 arg min d(gtest,i) 0040 i,1 i Nf 0041 其中 gtest表示测试集中的步态特征向量， i为训练集中视角 i 下的步态特征向 量 ； Nf为 训练集中已知视角数目 ； d(,) 为度量函数， 选取欧几里得距离函数。 0042 最近邻分类器， 指寻找在耦合空间中与测试步态特征距离最小的注册集中的步态 特征 ： 0043 0044 式中，表示注册集中的第 j 个步态特征， Ng表示注册集的。
26、样本个数，和 为训练得到的标准视角与视角 的最优判别耦合投影矩阵对， 令函数 c() 为特征向 量所属的类别指示函数， 确定测试序列的类别标记为 ： 0045 本发明的有益效果在于 ： 0046 本发明仅存储标准视角下的步态特征和其余多个已知视角和标准视角间步态特 征的基于图的半监督耦合投影矩阵对， 解决了传统步态识别方法需要存储所有视角下步态 特征的高存储需求问题， 对任意角度行走的步态的身份识别有效。 附图说明 0047 图 1 多角度步态识别流程图 ； 0048 图 2 提取的人体步态轮廓 ； 0049 图 3 人体测量学高度图 ； 0050 图 4 步态周期检测结果 ； 0051 图 。
27、5 一个周期的步态图像 ； 说 明 书 CN 104463099 A 7 5/9 页 8 0052 图 6 同一行人不同视角下的步态能量图 ； 0053 图 7 最近邻耦合投影矩阵对的训练过程 ； 0054 图 8 两个集合部分元素的连接图 ； 0055 图 9 身份识别的测试过程。 具体实施方式 0056 本发明解决了现有步态识别技术在视角变化， 即测试步态视角与注册集中步态视 角不匹配时， 识别性能明显下降的问题， 以及在注册集中保存多视角步态信息耗费大量存 储资源的问题。 0057 本方法分三步 ： 第一步， 采用码本检测方法从视频流中得到目标轮廓序列， 并使人 体居中统一大小为 64*。
28、64 ； 第二步， 根据步态视频序列中每帧图像标准中心化后， 人在行走 中两腿分离的程度的周期性观测步态的周期性变化情况， 并在一个周期中采用步态能量图 (GEI) 提取步态的整体特征 ； 第三步， 构建的多视角步态识别系统的离线训练阶段， 得到基 于图的半监督耦合投影矩阵对 ； 在线识别阶段， 首先对测试视频进行目标轮廓的提取， 然后 对大小归一化的轮廓序列检测步态周期， 生成单周期的 GEI 特征。最后， 通过视角估计选取 的基于 图的半监督耦合投影矩阵对， 投影到同类最近邻的共同耦合步态特征空间中， 并在 该空间中采用最近邻分类器进行身份判别。 0058 本发明还可以包括 ： 0059 。
29、1、 所述的行人目标轮廓的获取的方法为 ： 码本检测方法从步态视频流中得到二值 化的步态序列， 使该序列中的人体居中统一大小为 64*64 像素。 0060 2、 所述的步态的周期检测是根据步态视频流中每帧图像标准中心化后图形中， 人 在行走中两腿分离的程度的周期性观测步态的周期性变化情况， 周期检测公式为 ： 0061 0062 h1和 h2分别为某帧图像中人 ( 前景 ) 的脚踝和膝盖的人体测量学高度， Ri和 Li分 别是第 i 行中属于前景的最左边和最右边的像素位置。 0063 3、 所述的特征提取采用步态能量图 (GEI) 提取步态的整体特征， 公式为 ： 0064 0065 式中，。
30、 N 为一个周期的步态序列的帧数 ,i 代表时间， (x,y) 代表二维图像平面坐 标。 0066 4、 所述的离线训练过程 ： 选取一个标准视角的 GEI 特征， ( 本专利选取 90视角 作为标准视角 )， 将其余多个视角 (0、 18、 36、 54、 72、 90、 108、 126、 144、 162 ) 下的步态特征分别与标准视角步态特征进行联合训练， 使得同一行人在不同视角 ( 同一视角 ) 下的相关步态特征在耦合空间中尽量接近， 得到相应的最近邻的耦合投影矩 阵对。 0067 5、 所述的得到同类最近邻的耦合投影矩阵对 Px和 Py的方法为 ： 以 90标准视 角下的步态特征与。
31、 0视角下的步态特征进行联合训练为例， 将 0视角下的步态特征和 说 明 书 CN 104463099 A 8 6/9 页 9 90视角下的步态特征分别投影到共同的耦合步态特征空间中， 使得同一行人在不同视角 下 ( 同一视角 ) 的相关步态特征在耦合空间中尽量接近 ： 0068 0069 式中， X 表示 90视角训练样本集合， Y 表示 0视角训练样本集合， C 为集合 X 和 Y 之间的相关关系矩阵， 大小为 NxNy(Nx、 Ny分别为 X 和 Y 集合样本数 )， 本专利矩阵 C 由 近邻图得到。Cx和 Cy为单个空间的类内关系对角矩阵， 其对角线元素分别为矩阵 C 的对应 行的累加。
32、和， 及对应列的累加和。 0070 令最优解可以通过求解广义特征值 Ep Fp 的特征向量来得到， 其中 E ZZT， F ZZT， p 为对应于特征值 的特征向量， P 为对应 Dc个最小特征值的特征向量。按照 P Px PyT的定义， 能够得到对应于数据集合 X 的变换矩阵 px， 其大小为 DxDc， 对应于数据集合 Y 的变换矩阵 Py， 其大小为 DyDc。 0071 6、 所述的半监督信息由近邻图得到， 半监督信息的相关矩阵 C 公式为 ： 0072 0073 式中， 用 Dijkstra 最短路径算法来计算新的集合间距离矩阵公式为 ： 0074 0075 式 中，以 0视角与90。
33、视角为例，和Dij分别0视角集合中两个样本的距离、 90视角集 合中两个样本的距离、 0视角下和 90视角下同一个人的距离为 0， x、 y和 分别表 示 X 集合、 Y 集合和这两个集合间的邻域关系集合。 0076 7、 所述的身份识别中的测试步态视角 通过如下公式计算得到 ： 0077 arg min d(gtest,i) (6) 0078 i,1 i Nf 0079 其中 gtest表示测试集中的步态特征向量， i为训练集中视角 i 下的步态特征向 量 ； Nf为训练集中已知视角数目 ； d(,) 为度量函数， 这里选取欧几里得距离函数。 0080 8、 所述的身份识别中的最近邻分类器对。
34、个样本分类， 就是寻找在耦合空间中与测 试步态特征距离最小的注册集中的步态特征， 公式为 ： 0081 0082 式中，表示注册集中的第 j 个步态特征， Ng表示注册集的样本个数，和 说 明 书 CN 104463099 A 9 7/9 页 10 为训练得到的标准视角与视角 的最优判别耦合投影矩阵对。令函数 c() 为特征向 量所属的类别指示函数， 最终确定测试序列的类别标记为 ： 0083 实施例 0084 本发明用基于图的半监督耦合投影来实现多视角步态识别。 方法分三步 ： 第一步， 采用码本检测方法从视频流中得到目标轮廓序列， 并使人体居中统一大小为 64*64 ； 第二 步， 根据步。
35、态视频序列中每帧图像标准中心化后， 人在行走中两腿分离的程度的周期性观 测步态的周期性变化情况， 并在一个周期中采用步态能量图 (GEI) 提取步态的整体特征 ； 第三步， 构建的多视角步态识别系统的离线训练阶段， 选取一个标准视角(注册视角)步态 特征， 将其余多个视角下的步态特征分别与标准视角步态特征进行联合训练， 存储相应的 基于图的半监督耦合投影矩阵对 ； 在线识别阶段， 首先对测试视频进行目标轮廓的提取， 然 后对大小归一化的轮廓序列检测步态周期， 生成单周期的 GEI 特征。最后， 通过视角估计选 取的基于图的半监督耦合投影矩阵对， 投影到同类最近邻的共同耦合步态特征空间中， 并 。
36、在该空间中采用最近邻分类器进行身份判别。上述过程如图 1所示。下面结合附图举例对 本发明做更详细地描述 ： 0085 1. 对训练集中每一个人在不同视角下的行走视频， 通过建立码本模型对前景区域 聚类， 得出前景区域， 如图 2 所示， 并归一化处理为使人体轮廓居中， 将图像的大小统一为 6464 像素 ； 0086 2. 对训练集中样本进行周期检测， 根据步态视频流中每帧图像标准中心化后图形 中， 人在行走中两腿分离的程度的周期性观测步态的周期性变化情况， 周期检测公式为 ： 0087 0088 h1和 h2分别为某帧图像中人 ( 前景 ) 的脚踝和膝盖的人体测量学高度， 图 3 为人 体测。
37、量学高度比例图。Ri和 Li分别是第 i 行中属于前景的最左边和最右边的像素位置， 图 4 为周期检测结果曲线， 图 5 为一个周期的步态图像序列。 0089 3. 采用步态能量图 (GEI) 提取步态的整体特征， 公式为 ： 0090 0091 式中， N 为一个周期的步态序列的帧数 ,i 代表时间， (x,y) 代表二维图像平面坐 标， 图 6 为 0、 18、 36、 54、 72、 90、 108、 126、 144、 162视角下的 GEI。 0092 4. 离线训练过程 ： 选取一个标准视角的 GEI 特征， ( 本专利选取 90视角作为标 准视角 )， 将其余多个视角 (0、 1。
38、8、 36、 54、 72、 90、 108、 126、 144、 162 ) 下的步态特征分别与标准视角步态特征进行联合训练， 使得同一行人在不同视角 ( 同一视 角 ) 下的相关步态特征在耦合空间中尽量接近， 得到相应的最近邻的耦合投影矩阵对。 0093 4.1 所述的得到同类最近邻的耦合投影矩阵对 Px和 Py的方法为 ： 以 90标准视 角下的步 态特征与 0视角下的步态特征进行联合训练为例， 将 0视角下的步态特征和 90视角下的步态特征分别投影到共同的耦合步态特征空间中， 使得同一行人在不同视角 下 ( 同一视角 ) 的相关步态特征在耦合空间中尽量接近 ： 说 明 书 CN 104。
39、463099 A 10 8/9 页 11 0094 0095 式中， X 表示 90视角训练样本集合， Y 表示 0视角训练样本集合， C 为集合 X 和 Y 之间的相关关系矩阵， 大小为 NxNy(Nx、 Ny分别为 X 和 Y 集合样本数 )， 本专利矩阵 C 由 近邻图得到。Cx和 Cy为单个空间的类内关系对角矩阵， 其对角线元素分别为矩阵 C 的对应 行的累加和， 及对应列的累加和。 0096 令最优解可以通过求解广义特征值 Ep Fp 的特征向量来得到， 其中 E ZZT， F ZZT， p 为对应于特征值 的特征向量， P 为对应 Dc个最小特征值的特征向量。按照 P Px PyT。
40、的定义， 能够得到对应于数据集合 X 的变换矩阵 px， 其大小为 DxDc， 对应于数据集合 Y 的变换矩阵 Py， 其大小为 DyDc。 0097 4.2 在半监督学习中， 可以认为在样本空间存在近邻关系的样本具有相同的类别 属性。 传统的近邻图是在单一集合上进行定义的， 因此并不能直接使用， 不同集合间相关矩 阵的近邻扩展可以通过下面几个步骤完成 ： 0098 步骤 1 ： 建立近邻图。对每个集合的元素分别建立邻域关系， 构建 X 集合和 Y 集合 的连接图， 然后用 k 近邻构建对应的邻域关系集合 x和 y， 以集合 X 为例， k 近邻的定义 方法为 ： 给定正整数参数 k， 对于 。
41、xi如果 xj是其 k 近邻， x x (i,j)。根据已有监督 信息构建两个集合间的连接图， 如图中只有存在约束关系的样本间才进行连接。图 9 是两 个集合部分元素间的连接图， 其中， 表示集合 X， 表示集合 Y。 0099 根据图 9 所示， 在集合 X 中 x1与 x2和 x3具有近邻关系， 因此之间有边连接， 而与 x4无近邻关系， 则无边进行连接。在集合 Y 中 y1与 y2和 y3具有近邻关系， 因此之间有边连 接， 而与 y4无近邻关系， 则无边进行连接。在两个集合间， x1与 y1存在约束关系， 则这两个 元素之间存在边。 0100 步骤2 ： 计算边的权值。 定义每个集合上。
42、的距离矩阵Dx和Dy， 为了描述两个集合间 的关系， 还需定义集合间的距离矩阵 D， 具体定义如下 ： 0101 0102 而后通过最短路径的 “近邻传递” 法则来求取两个集合间任意两个元素的距离， 这 里采用 Dijkstra 最短路径算法来计算新的集合间距离矩阵即为 xi到 yj的最短路径 的长度。 0103 0104 比如从 x2到 y2的一条路径为 0105 基于图的半监督信息的相关矩阵 C 公式为 ： 说 明 书 CN 104463099 A 11 9/9 页 12 0106 0107 5. 身份识别包括测试视角的确定和测试样本的分类， 过程如图 1 所示。 0108 5.1 测试步。
43、态视角 通过如下公式计算得到 ： 0109 arg min d(gtest,i) (7) 0110 i,1 i Nf 0111 其中 gtest表示测试集中的步态特征向量， i为训练集中视角 i 下的步态特征向 量 ； Nf为训练集中已知视角数目 ； d(,) 为度量函数， 这里选取欧几里得距离函数。 0112 5.2 身份识别中的最近邻分类器对个样本分类， 就是寻找在耦合空间中与测试步 态特征距离最小的注册集中的步态特征， 公式为 ： 0113 0114 式中，表示注册集中的第 j 个步态特征， Ng表示注册集的样本个数，和 为训练得到的标准视角与视角 的最优判别耦合投影矩阵对。令函数 c() 为特征向 量所属的类别指示函数， 最终确定测试序列的类别标记为 ： 说 明 书 CN 104463099 A 12 1/3 页 13 图 1 图 2 说 明 书 附 图 CN 104463099 A 13 2/3 页 14 图 3 图 4 图 5 说 明 书 附 图 CN 104463099 A 14 3/3 页 15 图 6 图 7 图 8 图 9 说 明 书 附 图 CN 104463099 A 15 。