《一种多角度的步态周期检测方法.pdf》由会员分享，可在线阅读，更多相关《一种多角度的步态周期检测方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103927524 A (43)申请公布日 2014.07.16 CN 103927524 A (21)申请号 201410172289.5 (22)申请日 2014.04.25 G06K 9/00(2006.01) G06K 9/62(2006.01) G06T 7/20(2006.01) (71)申请人 哈尔滨工程大学 地址 150001 黑龙江省哈尔滨市南岗区南通 大街 145 号哈尔滨工程大学科技处知 识产权办公室 (72)发明人 王科俊 吕卓纹 阎涛 唐墨 (54) 发明名称 一种多角度的步态周期检测方法 (57) 摘要 本发明涉及一种多角度的步态周期检测方。
2、 法， 其特征在于 ： 步骤 1 ： 从步态视频流中得到二 值化的步态序列， 对序列进行正面步态和非正面 步态分类 ； 步骤 2 ： 若序列为正面步态， 则前臂、 小腿和脚部区域的图像像素变化， 求取极值点， 得 到步态周期 ； 步骤 3 ： 若序列为非正面步态， 则检 测腿部区域的能量变化， 求取极值点， 得到步态周 期。 (51)Int.Cl. 权利要求书 2 页 说明书 5 页 附图 5 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图5页 (10)申请公布号 CN 103927524 A CN 103927524 A 1/2 页 2 1.。
3、 一种多角度的步态周期检测方法， 其特征在于 ： 步骤 1 ： 从步态视频流中得到二值化的步态序列， 对序列进行正面步态和非正面步态 分类 ； 步骤 2 ： 若序列为正面步态， 则前臂、 小腿和脚部区域的图像像素变化， 求取极值点， 得 到步态周期 ； 步骤 3 ： 若序列为非正面步态， 则检测腿部区域的能量变化， 求取极值点， 得到步态周 期。 2. 根据权利要求 1 所述的多角度的步态周期检测方法， 其特征在于 ： 步骤 2 中， 将上肢 摆动引起的前臂区域像素变化检测到的步态周期， 与下肢前后运动引起的小腿、 脚部区域 的左右像素差检测到的步态周期， 进行加权融合， 加权融合公式 (1)。
4、 为 ： 式中， x 和 y 分别为融合后的步态周期始末帧， x1和 y1分别为单独对上肢检测， 并采用 像素和的极大值得到的周期始末帧， x2和 y2为单独对下肢检测得到的周期始末帧 ； 为上 下肢运动所占比例， 0 1。 3. 根据权利要求 2 所述的多角度的步态周期检测方法， 其特征在于 ： 步骤 2 中， 加权融 合检测包括以下步骤 ： 步骤 2.1 ： 分析图像质量确定参数 ， 当 0.5 时， 则进入步骤 2.2 ； 当 0.5 时， 则进入步骤 2.5 ； 步骤 2.2 ： 先进行上肢图像的检测， 求出 x1和 y1； 步骤 2.3 ： 再进行下肢图像的检测， 在下肢图像检测的曲。
5、线上， 以 x1为中心， 向左右两 侧搜索过零点， 如果左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x2， 进 入步骤 2.4 ； 步骤 2.4 ： 在下肢图像检测的曲线上， 以 y1为中心， 向左右两侧搜索过零点， 如果左右 两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y2， 进入步骤 2.8 ； 步骤 2.5 ： 先进行下肢图像的检测， 求出 x2和 y2； 步骤 2.6 ： 再进行上肢图像的检测， 在上肢图像检测的曲线上， 以 x2为中心， 向左右两 侧搜索过零点， 如果左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x1，。
6、 进 入步骤 2.7 ； 步骤 2.7 ： 在上肢图像检测的曲线上， 以 y2为中心， 向左右两侧搜索过零点， 如果左右 两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y1， 进入步骤 2.8 ； 步骤 2.8 ： 利用加权融合公式 (1)， 求得 x 和 y。 4. 根据权利要求 3 所述的多角度的步态周期检测方法， 其特征在于 ： 步骤 3 中， 检测腿 部区域的能量变化， 通过如下公式实现 ： I(x3,y3,n) 是第 n 帧步态序列的灰度值， (x3,y3) 是步态图像某处的坐标， h2-h1是图像 中膝盖与小腿某处的高度差。 权 利 要 求 书 CN 103927。
7、524 A 2 2/2 页 3 5. 根据权利要求 4 所述的多角度的步态周期检测方法， 其特征在于 ： h2-h1取值为小腿 高度的二分之一。 6. 根据权利要求 3 所述的多角度的步态周期检测方法， 其特征在于 ： 所说的阀值为 3 帧。 权 利 要 求 书 CN 103927524 A 3 1/5 页 4 一种多角度的步态周期检测方法 技术领域 0001 本发明涉及一种多角度的步态周期检测方法。 背景技术 0002 步态识别是近年来计算机视觉和生物特征识别领域的一个备受关注的研究方向， 它旨在根据人走路的姿势进行身份识别。人具有相对稳定的行走动作， 不同的人行走姿态 各不相同， 据此可识。
8、别人的身份。 步态的非接触性、 不易伪装、 远距离等优点， 在智能视频监 控中有很大的应用前景。在人行走的过程中， 摄像机拍摄的步态序列随着人的手臂和腿部 的摆动呈现出明显的周期性， 一帧图像不能识别出目标的身份， 而应采用一个周期的图像 序列来识别目标的身份。 0003 目前， 国内外很多研究者在步态周期检测上做了研究， BenAbdelkader 等根据边 界矩形框的宽度分析步态的周期性 ； Collins 等分析了人体高度和宽度的周期性变化， 观 测步态周期性 ； Kale 等通过观察人体宽度向量的范数随时间变化来分析步态的周期特性 ； Boulgouris 等用前景像素之和的自相关性判。
9、断步态的周期 ； Sarkar 等采用人体区域下半 部分像素点的多少的周期特性确定步态的周期性变化 ； Li 等将步态排成自相似图 (SSP)， 然后采用线性局部嵌入 (LLE) 的非线性降维方法提取一维的保留了原始几何形状的特征 来分析步态的周期性 ； 陈实等以步态序列中所有行人轮廓区域外接矩形框作为图像区域， 在图像区域自底而上的 1/4 高度内， 等量水平分割三个区域， 计算各区累计轮廓点数， 得到 相应的点分布直方图特征检测出步态周期。王科俊等将步态的周期问题转化为单帧图像 的区域特征分析问题， 即根据每帧中图形区域的特征 ( 如 ： 面积、 质心、 矩、 特殊点和边界框 等 ) 的变。
10、化情况来分析步态的周期， 取得了较好的检测效果。 0004 周期检测分两种情况 ： 正面步态和非正面步态。当摄像机视角与人体行走方向成 0和 180时， 称为正面步态， 其余的情况统称为非正面步态。对于非正面步态， 上述方法 在大多数情况下均能取得较好的检测效果。但当提取的步态序列图像质量较差， 有较大轮 廓噪声， 脚下阴影面积较大的情况下， 鲁棒性并不是很好。 针对正面步态的周期检测方法不 是很多， 主要有王科俊等采用上肢摆动引起的前臂区域像素变化来检测周期， 这里既包括 了上肢的左右运动， 还包括了上肢在其他方向上的运动， 该方法检测的局限性在于 ： 当人穿 着不同的外套时， 会受到很大的。
11、干扰 ； 当人携带物品时， 其中一只胳膊， 甚至两只胳膊都可 能没有摆动， 与躯干保持相对静止 ； 当摄像机以较大俯角俯视场景时， 对上肢的前后运动也 会产生很大的影响。因此仅依靠上肢的摆动并不能适用于所有情况。高海燕采用下肢在前 后运动时所引起的小腿和脚部区域的左右像素差检测周期。该方法检测的局限在于 ： 除要 求人体与摄像机的距离外， 阴影对下肢有很大的影响， 只有在阴影处理得很好的前提下， 该 方法才能取得理想的效果。 发明内容 0005 本发明目的在于提供一种多角度的步态周期检测方法， 能适应摄像机与人体距离 说 明 书 CN 103927524 A 4 2/5 页 5 和角度变化， 。
12、对有轮廓噪声和阴影的图像序列有很好的鲁棒性。 0006 实现本发明目的技术方案 ： 0007 一种多角度的步态周期检测方法， 其特征在于 ： 0008 步骤 1 ： 从步态视频流中得到二值化的步态序列， 对序列进行正面步态和非正面 步态分类 ； 0009 步骤 2 ： 若序列为正面步态， 则前臂、 小腿和脚部区域的图像像素变化， 求取极值 点， 得到步态周期 ； 0010 步骤 3 ： 若序列为非正面步态， 则检测腿部区域的能量变化， 求取极值点， 得到步 态周期。 0011 步骤 2 中， 将上肢摆动引起的前臂区域像素变化检测到的步态周期， 与下肢前后 运动引起的小腿、 脚部区域的左右像素差。
13、检测到的步态周期， 进行加权融合， 加权融合公式 (1) 为 ： 0012 0013 式中， x 和 y 分别为融合后的步态周期始末帧， x1和 y1分别为单独对上肢检测， 并 采用像素和的极大值得到的周期始末帧， x2和 y2为单独对下肢检测得到的周期始末帧 ； 为上下肢运动所占比例， 0 1。 0014 步骤 2 中， 加权融合检测包括以下步骤 ： 0015 步骤 2.1 ： 分析图像质量确定参数 ， 当 0.5 时， 则进入步骤 2.2 ； 当 0.5 时， 则进入步骤 2.5 ； 0016 步骤 2.2 ： 先进行上肢图像的检测， 求出 x1和 y1； 0017 步骤 2.3 ： 再进。
14、行下肢图像的检测， 在下肢图像检测的曲线上， 以 x1为中心， 向左 右两侧搜索过零点， 如果左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x2， 进入步骤 2.4 ； 0018 步骤 2.4 ： 在下肢图像检测的曲线上， 以 y1为中心， 向左右两侧搜索过零点， 如果 左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y2， 进入步骤 2.8 ； 0019 步骤 2.5 ： 先进行下肢图像的检测， 求出 x2和 y2； 0020 步骤 2.6 ： 再进行上肢图像的检测， 在上肢图像检测的曲线上， 以 x2为中心， 向左 右两侧搜索过零点， 如果左右两侧。
15、超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x1， 进入步骤 2.7 ； 0021 步骤 2.7 ： 在上肢图像检测的曲线上， 以 y2为中心， 向左右两侧搜索过零点， 如果 左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y1， 进入步骤 2.8 ； 0022 步骤 2.8 ： 利用加权融合公式 (1)， 求得 x 和 y。 0023 步骤 3 中， 检测腿部区域的能量变化， 通过如下公式实现 ： 0024 0025 I(x3,y3,n) 是第 n 帧步态序列的灰度值， (x3,y3) 是步态图像某处的坐标， h2-h1是 图像中膝盖与小腿某处的高度差。 。
16、说 明 书 CN 103927524 A 5 3/5 页 6 0026 h2-h1取值为小腿高度的二分之一。 0027 所说的阀值为 3 帧。 0028 本发明所具有的有益效果 ： 0029 本发明对序列进行正面步态和非正面步态分类， 分类进行检测， 能适应摄像机与 人体距离和角度变化。若序列为正面步态， 本发明将上肢摆动引起的前臂区域像素变化检 测到的步态周期， 与下肢前后运动引起的小腿、 脚部区域的左右像素差检测到的步态周期， 进行加权融合， 相对于使用单一信息的检测方式， 本发明使用更为全面的信息进行周期检 测， 使得检测方法的适用范围更广， 检测结果也更为准确， 对有轮廓噪声和阴影的图。
17、像序列 有很好的鲁棒性。 若序列为非正面步态， 本发明检测腿部区域的能量变化， 提出了一种腿部 运动范围向宽度方向投影的非正面周期检测方法， 在图像质量较差， 脚步有阴影， 背包、 穿 大衣等情况下有着很好的鲁棒性。 附图说明 0030 图 1 是提取的运动目标图 ； 0031 图 2 是本发明多角度步态周期检测流程图 ； 0032 图 3 是基于前臂摆动的正面步态周期检测曲线示意图 ； 0033 图 4 是基于下肢的正面步态周期检测曲线示意图 ； 0034 图 5 是本发明的正面步态周期检测结果示意图 ； 0035 图 6 是步态周期图 ； 0036 图 7 是人体测量学高度图 ； 0037。
18、 图 8 是 X-T Plane Energy Image 0038 图 9 是非正面步态的周期检测曲线图 ； 0039 图 10 是非正面步态的周期检测结果 ； 0040 图 11 是正面步态周期检测结果对比表。 具体实施方式 0041 步骤 1 ： 采用码本检测方法从步态视频流中得到二值化的步态序列， 用 K 近邻分类 器 (KNN) 对序列中正面和非正面步态分类 ； 0042 步骤 2 ： 若序列为正面步态， 则前臂、 小腿和脚部区域的图像像素变化， 求取极值 点， 得到步态周期 ； 0043 当两个手臂竖直下垂时， 投影到图像平面上， 左右下臂区域像素数均出现极大值， 当手臂摆高时， 。
19、投影到图像平面上， 左右下臂区域像素数均出现极小值。图 3(a)、 (b)、 (c) 分别为室内数据库 CASIA(B) 中同一人在不同条件下的正面步态的测试结果。图 3(a) 采用 正常步态时， 人体正面步态周期变化在该曲线上的表现还是很明显的， 尤其是当人体离摄 像机较近时 ； 而穿外套和背包时， 曲线的周期性很差。 这里步态周期的起始帧为像素累加和 第一次出现局部极小值 ( 极大值 )， 终止帧为第三次出现局部极小值 ( 极大值 ) 的前一帧。 仅依靠上肢的摆动并不能适用于所有情况。 0044 下肢运动主要集中在脚部和小腿区域， 当人体处于左双撑 ( 右双撑 )， 两脚的距离 最远， 左。
20、右下肢区域像素数出现极大值和极小值。 当人体处于左单撑或右单撑时， 双脚的距 说 明 书 CN 103927524 A 6 4/5 页 7 离最近， 左右下肢区域像素数均处于中间值， 这样根据人体小腿和脚部的左右像素差的变 化规律来进行步态周期检测。阴影处理较好的步态采用与图 3(a) 相同的步态序列， 在室 外数据库 CASIA(A) 中选用阴影处理较差的步态序列， 周期检测结果如图 4(a)、 (b)。在图 4 中， 实线为步态序列每帧中人体下四分之一部分区域的像素点数目差值组成的曲线， 虚线 为所有差值的平均值， 理想情况下该值为零。人体正面步态周期变化在该曲线上的表现还 是很明显的， 。
21、尤其是当人体离摄像机较近时。图 4 中曲线的极大值和极小值处存在波动， 而 均值点处较为稳定， 因此采用均值点得到的周期具有更好的鲁棒性。从图中还可以看出当 阴影处理较好时， 均值在零点附近， 而当阴影处理较差时均值会产生很大的偏差， 也会使得 最后的周期检测结果存在很大的偏差。 这里步态周期的起始帧为左右像素差第一次出现均 值， 终止帧为第三次出现均值的前一帧。 只有在阴影处理得很好的前提下， 该方法才能取得 理想的效果。 0045 将上肢摆动引起的前臂区域像素变化检测到的步态周期， 与下肢前后运动引起的 小腿、 脚部区域的左右像素差检测到的步态周期， 进行决策级融合， 加权融合公式为 ： 。
22、0046 0047 (1) 0048 式中， x 和 y 分别为融合后的步态周期始末帧， x1和 y1分别为单独对上肢检测， 并 采用像素和的极大值得到的周期始末帧， x2和 y2为单独对下肢检测得到的周期始末帧 ； 为上下肢运动所占比例， 0 1。如果摄像机到人体的距离与摄像机的高度之间的比 值较大， 或者阴影处理较差时， 前臂的摆动取较大的权值 ； 反之， 小腿的运动取较大的权值。 0049 加权融合检测包括以下步骤 ： 0050 步骤 2.1 ： 分析图像质量确定参数 ， 当 0.5 时， 则进入步骤 2.2 ； 当 0.5 时， 则进入步骤 2.5 ； 0051 步骤 2.2 ： 先进。
23、行上肢图像的检测， 求出 x1和 y1； 0052 步骤 2.3 ： 再进行下肢图像的检测， 在下肢图像检测的曲线上， 以 x1为中心， 向左 右两侧搜索过零点， 如果左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x2， 进入步骤 2.4 ； 0053 步骤 2.4 ： 在下肢图像检测的曲线上， 以 y1为中心， 向左右两侧搜索过零点， 如果 左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y2， 进入步骤 2.8 ； 0054 步骤 2.5 ： 先进行下肢图像的检测， 求出 x2和 y2； 0055 步骤 2.6 ： 再进行上肢图像的检测， 在上肢图。
24、像检测的曲线上， 以 x2为中心， 向左 右两侧搜索过零点， 如果左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 x1， 进入步骤 2.7 ； 0056 步骤 2.7 ： 在上肢图像检测的曲线上， 以 y2为中心， 向左右两侧搜索过零点， 如果 左右两侧超过阀值均未找到， 则结束检测 ； 如果找到， 则该点即为 y1， 进入步骤 2.8 ； 0057 步骤 2.8 ： 利用加权融合公式 (1)， 求得 x 和 y。 0058 上述阀值为 3 帧。 0059 决策级融合四肢运动的正面周期检测结果， 取得了与人眼观测相符合的结果， 如 图5所示。 该融合方法的优点在于 ： 相对。
25、于使用单一信息的检测方式， 使用更为全面的信息 说 明 书 CN 103927524 A 7 5/5 页 8 进行周期检测， 使得检测方法的适用范围更广， 检测结果也更为准确。 周期检测时会遇到这 种情况 ： 上肢检测时， 周期的始末帧的特征与其相邻帧的特征相同， 下肢检测时， 均值处于 两帧之间。也就是说， 周期检测的结果很可能带有小数。使用一种信息时， 只能对其进行取 整， 而使用两种信息时， 可以先保留该值， 在融合的最后再进行取整， 由此增强了周期检测 的鲁棒性。 0060 参数 0.5， 得到如图 11 的正面步态周期检测结果。 0061 步骤 3 ： 若序列为非正面步态， 则检测腿。
26、部区域的能量变化， 求取极值点， 得到步 态周期。 0062 人体下肢的运动包括上下、 左右、 前后三个方向的运动， 其中左右运动很微弱， 可 以忽略。在上下方向会有抬起， 落下的周期运动。而下肢运动主要集中在前后方向上。一 个非正面步态周期有五个关键帧， 主要体现在双脚的位置变化上， 当人体处于单脚迈出时 的状态， 就是图 6 中 A、 C、 E 位置的左双撑或右双撑， 此时两脚的距离最远， 左右腿部方向上 灰度值的累加投影到宽度方向， 能量出现极大值。当人体处于双脚合拢的状态， 也就是图 6 中 B、 D 位置的左单撑或右单撑时， 双脚的距离最近， 左右腿部方向上灰度值的累加投影到 宽度方。
27、向， 左右腿部区域能量出现极小值。为了更好的体现本专利提出的非正面周期算法 的普适性， 选择 USF 库中的数据分析步态运动的周期性， 该库的步态序列有着较大的轮廓 噪声和脚下阴影。为了消除足下阴影对检测结果的影响， 根据人体测量学理论， 同时借鉴 X-T Plane Energy Image 思想， 先将人体分成四个大区域观测步态运动能量的周期变化， 图 6(a)、 (b)、 (c)、 (d) 分别为图 7 中高度 H1、 H2、 H3、 H4对应的 X-T Plane Energy Image， 通 过观测分析， 图 8(d) 周期变化较明显， 受轮廓噪声干扰较小， 鲁棒性较其他三个区域较。
28、好。 因而选择观测小腿区域的能量变化来确定非正面周期。本专利高度选择膝盖处 h1到小腿 某处 h2， 投影到宽度方向的公式如下 : 0063 0064 I(x3,y3,n) 是第 n 帧步态序列的灰度值， (x3,y3) 是步态图像某处的坐标， h2-h1是 图像中膝盖与小腿某处的高度差。h2-h1取值为小腿高度的二分之一。 0065 为了得到较准确的非正面周期检测数据， 消除大衣、 背包和鞋对步态周期的影响， 本专利选择 h2位于小腿 1/2 处， 即为 h 处 ( 如图 7)， 缩小了观测范围， 减少了检测整个腿部 区域的计算量， 同时消除了足下阴影对步态周期的影响。图 8(d) 的周期变。
29、化呈现对称性， 是左腿、 右腿周期交替运动的结果。高度表征帧数， 从下向上递增， 如图 8(d) 中箭头标示 ； 宽度呈现投影信息， 将每一帧对应的宽度方向上的各像素点灰度值累加， 得到如图 9 所示 的实验结果。图 9(a) 为对整个腿部能量变化的周期检测结果、 图 9(b) 为膝盖到小腿 1/2 处的能量变化周期检测、 图 9(c) 为较常用的宽高比法的周期检测结果， 图 9(b) 得到了相 较图9(a)更明显的波峰和波谷， 由于轮廓噪声较大， 图9(c)的方法得到的波峰波谷有较多 毛刺， 检测结果不如图 9(a)、 (b)。这里步态周期的起始帧为第一次出现局部极小值 ( 极大 值 )， 。
30、终止帧为第三次出现局部极小值 ( 极大值 ) 的前一帧。 0066 图 7 是人体测量学高度比例， 图 7 中， h1和 h2高度分别用箭头标注， 该值在具体实 时条件下可调， 根据具体的衣着情况和图像质量从 h 到脚踝范围变化。 说 明 书 CN 103927524 A 8 1/5 页 9 图 1 图 2 图 3 说 明 书 附 图 CN 103927524 A 9 2/5 页 10 图 4 图 5 图 6 说 明 书 附 图 CN 103927524 A 10 3/5 页 11 图 7 图 8 说 明 书 附 图 CN 103927524 A 11 4/5 页 12 图 9 图 10 说 明 书 附 图 CN 103927524 A 12 5/5 页 13 图 11 说 明 书 附 图 CN 103927524 A 13 。