《一种基于在线训练的视频运动目标分类方法与系统.pdf》由会员分享，可在线阅读，更多相关《一种基于在线训练的视频运动目标分类方法与系统.pdf（15页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104050684 A (43)申请公布日 2014.09.17 CN 104050684 A (21)申请号 201410228426.2 (22)申请日 2014.05.27 G06T 7/20(2006.01) G06K 9/66(2006.01) H04N 7/18(2006.01) (71)申请人 华中科技大学 地址 430074 湖北省武汉市洪山区珞喻路 1037 号 (72)发明人 何翼 桑农 高常鑫 李冠萍 徐俊 刘海斌 刘洁 (74)专利代理机构 华中科技大学专利中心 42201 代理人 梁鹏 (54) 发明名称 一种基于在线训练的视频运动目标分类方。
2、法 与系统 (57) 摘要 本发明公开了一种基于在线训练的视频运动 目标分类方法， 包括以下步骤 ： (1) 获取原始视频 序列的所有运动目标 ； (2) 对运动目标提取速度、 面积等标记特征和高宽比等分类特征 ； (3) 将速 度特征大于速度高阈值的目标标记为 “车辆” ， 速 度特征小于速度低阈值的目标留作步骤 (4) 进行 二次筛选 ； (4) 对速度小于速度低阈值的目标中 面积特征小于面积阈值的目标标记为 “行人” ； (5) 将标记完毕的 “车辆” 目标和 “行人” 目标设为训 练集， 训练得到人车分类器 ； (6) 将所有运动目标 设为测试集输入分类器得到分类结果。本发明还 提供了。
3、相应的分类系统。 本发明中， 由于标记和训 练过程不依靠先验信息， 对于行人的多态性和车 辆的多样性具有较强的适应性。 (51)Int.Cl. 权利要求书 3 页 说明书 9 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书9页 附图2页 (10)申请公布号 CN 104050684 A CN 104050684 A 1/3 页 2 1. 一种基于在线训练的视频运动目标分类方法， 其特征在于， 包括以下步骤 ： (1) 将原始视频中的图像序列进行分析， 通过混合高斯模型建模得到图像序列中的运 动目标， 将检测到的运动目标通过基于位置特征的方法。
4、进行最近邻关联从而实现运动目标 的跟踪， 获得运动目标总数为 TubeNum ； (2) 对原始视频中检测到的运动目标进行特征提取， 提取的特征包括对运动目标筛选 后标记所需的标记特征和训练分类器并对运动目标分类所需的分类特征， 其中 ： 标记特征包括速度特征 V、 面积特征 S ； 分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse、 梯度方向 直方图特征 ； (3) 将所有运动目标按速度特征 V 由小到大进行排序， 根据速度高阈值 ThHSpeed 和低 阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 将速度特征 V 从大到小的 ThHS。
5、peed*TubeNum 个目标标记为 “车辆” 目标， 将速度特征 V 从小到大的 ThLSpeed*TubeNum 个目标留作步骤 (4) 中进行二次筛选， 将其余速度特征 V 在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)*TubeNum 个目标标记为 “未分类样 本” ； (4)将速度特征V从小到大的ThLSpeed*TubeNum个运动目标按面积特征S从小到大进 行排序， 根据面积阈值 ThArea 对排序后的低速度目标进行二次筛选标记 ： 将面积特征S从小到大的ThArea*(ThLSpeed*TubeNum)个低速度目标标记为 “行人” 目 标， 将其余低。
6、速度运动目标标记为 “未分类样本” ； (5) 在分类器训练阶段， 将标记为 “车辆” 及 “行人” 的运动目标设为训练集， 将训练 集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成训练集特征向量， 将训练集与训练集特征向量输入 支撑向量机进行训练， 得到人车分类器 ； (6) 在分类器测试阶段， 将原始视频中检测到的所有运动目标作为测试集， 将测试集 中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成测试集特征。
7、向量， 将测试集特征向量输入人车分类 器进行分类， 通过判别公式得到输出结果为 “行人” 与 “车辆” 两类 ； 为了避免部分物品由于视频场景原因被分类为 “行人” 或 “车辆” ， 在分类器输出后遍历 所有目标， 根据目标外接矩形计算目标自起始至结束的质心位移参数 dist 以及矩形外形 不变性参数 repeatNum， 若同时满足位移参数 dist 小于位移阈值 ThDist 并且不变性参数 repeatNum 大于不变性阈值 ThRepeat， 则将该目标作为 “物品” 分类。 2.根据权利要求1所述的视频运动目标分类方法， 其特征在于， 所述步骤(2)中目标特 征提取计算方法具体为 ：。
8、 面积特征 S ： 通过将计数器置 0， 在目标最小外接矩形内， 从左上角开始从上到下， 从左 到右扫描像素点， 遇到前景像素点累加计数器即可得到 ； 占空比特征Empty ： 通过公式确定 ； 其中， S为目标面积， RectS为目标最 小外接矩形面积， RectS 根据目标链中所有目标像素横纵坐标的最大值和最小值确定 ； 权 利 要 求 书 CN 104050684 A 2 2/3 页 3 高宽比特征 Aspect ： 通过公式确定 ； 其中， RectW 为目标最小 外接矩形宽， RectH 为目标最小外接矩形高 ； 离散度特征 Disperse ： 通过公式确定 ； 其中， L 为目标。
9、周长， 由目标边 缘像素点个数表示 ； 速度特征 V ： 计算第 t 帧第 n 个目标区域速度方法如下所述 ： 其中， Vnt为第 t 帧第 n 个目标区域的速度 ； (xnt,ynt) 为第 t 帧第 n 个目标区域的质心坐标 ； (xnt+2,ynt+2) 为第 t+2 帧第 n 个目标区域的质心坐标 ； Tn 为第 n 个目标区域相邻两帧间的时间差。 3. 根据权利要求 1 所述的视频运动目标分类方法， 其特征在于， 所述步骤 (3) 及步骤 (4) 中速度高阈值、 速度低阈值及面积阈值取值具体为 ： ThHSpeed 0.2， ThLSpeed 0.2， ThArea 0.5。 4.根。
10、据权利要求1所述的视频运动目标分类方法， 其特征在于， 所述步骤(6)中位移阈 值及不变性阈值取值具体为 ： ThDist 200， ThRepeat 0.9。 5. 一种基于在线训练的视频运动目标分类系统， 其特征在于， 包括运动目标获取模块、 目标特征提取模块、 车辆目标标记模块、 行人目标标记模块、 分类器训练模块以及分类模 块， 其中 ： 所述运动目标获取模块， 用于将原始视频中的图像序列进行分析， 通过混合高斯模型 建模得到图像序列中的运动目标， 将检测到的运动目标通过基于位置特征的方法进行最近 邻关联从而实现运动目标的跟踪， 获得运动目标总数为 TubeNum ； 所述目标特征提取。
11、模块， 用于对原始视频中检测到的运动目标进行特征提取， 提取的 特征包括对运动目标筛选后标记所需的标记特征和训练分类器并对运动目标分类所需的 分类特征 ： 标记特征包括速度特征V、 面积特征S ； 分类特征包括高宽比特征Aspect、 占空比 特征 Empty、 离散度特征 Disperse、 梯度方向直方图特征 ； 所述车辆目标标记模块， 用于将所有运动目标按速度特征 V 由小到大进行排序， 根据 速度高阈值 ThHSpeed 和低阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 将速度特征 V 从大到小的 ThHSpeed*TubeNum 个目标标记为 “车辆” 目标， 将速度特征 。
12、V 从小到大的 ThLSpeed*TubeNum 个目标留作行人目标筛选模块中进行二次筛选， 将其余 在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)*TubeNum 个目标标记为 “未分类样 本” ； 所述行人目标标记模块， 用于将速度特征V从小到大的ThLSpeed*TubeNum个运动目标 按面积特征S从小到大进行排序， 根据面积阈值ThArea对排序后的低速度目标进行二次筛 选标记 ： 将面积特征S从小到大的ThArea*(ThLSpeed*TubeNum)个低速度目标标记为 “行人” 目 权 利 要 求 书 CN 104050684 A 3 3/3 页 4 标，。
13、 将其余低速度运动目标标记为 “未分类样本” ； 所述分类器训练模块， 用于将标记为 “车辆” 及 “行人” 的运动目标设为训练集， 将训练 集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成训练集特征向量， 将训练集与训练集特征向量输入 支撑向量机进行训练， 得到人车分类器 ； 所述分类器测试模块， 用于将原始视频中检测到的所有运动目标作为测试集， 将测试 集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成测试。
14、集特征向量， 将测试集特征向量输入人车分类 器进行分类， 通过判别公式得到输出结果为 “行人” 与 “车辆” 两类 ； 为了避免部分物品由于视频场景原因被分类为 “行人” 或 “车辆” ， 在分类器输出后遍历 所有目标， 根据目标外接矩形计算目标自起始至结束的质心位移参数 dist 以及矩形外形 不变性参数 repeatNum， 若同时满足位移参数 dist 小于位移阈值 ThDist 并且不变性参数 repeatNum 大于不变性阈值 ThRepeat， 则将该目标作为 “物品” 分类。 6. 根据权利要求 5 所述的视频运动目标分类系统， 其特征在于， 所述目标特征提取模 块提取的目标特征。
15、具体为 ： 面积特征 S ： 通过将计数器置 0， 在目标最小外接矩形内， 从左上角开始从上到下， 从左 到右扫描像素点， 遇到前景像素点累加计数器即可得到 ； 占空比特征 Empty ： 通过公式确定 ； 其中， S 为目标面积， RectS 为目标最 小外接矩形面积， RectS 根据目标链中所有目标像素横纵坐标的最大值和最小值确定 ； 高宽比特征 Aspect ： 通过公式确定 ； 其中， RectW 为目标最小 外接矩形宽， RectH 为目标最小外接矩形高 ； 离散度特征 Disperse ： 通过公式确定 ； 其中， L 为目标周长， 由目标边 缘像素点个数表示 ； 速度特征 V 。
16、： 计算第 t 帧第 n 个目标区域速度方法如下所述 ： 其中， Vnt为第 t 帧第 n 个目标区域的速度 ； (xnt,ynt) 为第 t 帧第 n 个目标区域的质心坐标 ； (xnt+2,ynt+2) 为第 t+2 帧第 n 个目标区域的质心坐标 ； Tn 为第 n 个目标区域相邻两帧间的时间差。 7. 根据权利要求 5 或 6 所述的视频运动目标分类系统， 其特征在于， 所述速度高阈值、 速度低阈值及面积阈值取值具体为 ： ThHSpeed 0.2， ThLSpeed 0.2， ThArea 0.5。 8. 根据权利要求 5 所述的视频运动目标分类系统， 其特征在于， 所述位移阈值及不。
17、变 性阈值取值具体为 ： ThDist 200， ThRepeat 0.9。 权 利 要 求 书 CN 104050684 A 4 1/9 页 5 一种基于在线训练的视频运动目标分类方法与系统 技术领域 0001 本发明属于模式识别技术领域， 更具体地， 涉及一种基于在线训练的视频运动目 标分类方法与系统。 背景技术 0002 在现今的监控视频系统中， 常常能够检测到大量的目标数据， 这些目标数据通常 分为行人目标和车辆目标。为了达到监控视频系统的智能化需求， 需要对行人和车辆两种 目标进行分类。运动目标分类的准确性关系到智能视频监控系统中更高层的语义理解， 因 此运动目标分类技术成为视频监控。
18、系统中一大关键。 0003 现有的运动目标分类的方法主要分为两类 ： (1) 基于样本或模板的方法， 通过检 测图像的局部特征形成特征向量输入分类器完成分类过程， 但是需要大量的训练样本， 同 时高维的特征向量增加了分类过程计算时间， 在视频监控系统中适应性较差 ； (2) 基于形 状特征的方法， 该方法主要是通过对当前图像与参考图像的像素进行逐个做差来得到运动 目标， 通过运动目标与相应已知目标的形状模型进行匹配来进行判别。这种方法的缺陷在 于 ： 行人具有的多态性和车辆的多样性决定了通过模型匹配不能达到较理想的结果。 发明内容 0004 针对现有技术的缺陷， 本发明的目的在于提供一种基于在。
19、线训练的视频运动目标 分类方法与系统， 旨在解决现有方法中存在的分类效果差、 算法复杂度高、 面对多种监控视 频进行运动目标分类适应性差等问题。 0005 为实现上述目的， 按照本发明的一个方面， 提供了一种基于在线训练的视频运动 目标分类方法， 包括以下步骤 ： 0006 (1) 将原始视频中的图像序列进行分析， 通过混合高斯模型建模得到图像序列中 的运动目标， 将检测到的运动目标通过基于位置特征的方法进行最近邻关联从而实现运动 目标的跟踪， 获得运动目标总数为 TubeNum ； 0007 (2) 对原始视频中检测到的运动目标进行特征提取， 提取的特征包括对运动目标 筛选后标记所需的标记特。
20、征和训练分类器并对运动目标分类所需的分类特征 ： 0008 标记特征包括速度特征 V、 面积特征 S ； 0009 分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse、 梯度 方向直方图特征 ； 0010 3)将所有运动目标按速度特征V由小到大进行排序， 根据速度高阈值ThHSpeed和 低阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 0011 将速度特征 V 从大到小的 ThHSpeed*TubeNum 个目标标记为 “车辆” 目标， 将速度 特征 V 从小到大的 ThLSpeed*TubeNum 个目标留作步骤 (4) 中进行二次筛选，。
21、 将其余速度特 征 V 在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)*TubeNum 个目标标记为 “未分 类样本” ； 说 明 书 CN 104050684 A 5 2/9 页 6 0012 (4)将速度特征V从小到大的ThLSpeed*TubeNum个运动目标按面积特征S从小到 大进行排序， 根据面积阈值 ThArea 对排序后的低速度目标进行二次筛选标记 ： 0013 将面积特征 S 从小到大的 ThArea*(ThLSpeed*TubeNum) 个低速度目标标记为 “行 人” 目标， 将其余低速度运动目标标记为 “未分类样本” ； 0014 (5)在分类器训练。
22、阶段， 将标记为 “车辆” 及 “行人” 的运动目标设为训练集， 将训练 集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成训练集特征向量， 将训练集与训练集特征向量输入 支撑向量机进行训练， 得到人车分类器 ； 0015 (6) 在分类器测试阶段， 将原始视频中检测到的所有运动目标作为测试集， 将测试 集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度方向直方图特征组合成测试集特征向量， 将测试集特征向量输入人车分类 器进行分类，。
23、 通过判别公式得到输出结果为 “行人” 与 “车辆” 两类 ； 0016 为了避免部分物品由于视频场景原因被分类为 “行人” 或 “车辆” ， 在分类器输出后 遍历所有目标， 根据目标外接矩形计算目标自起始至结束的质心位移参数 dist 以及矩形 外形不变性参数repeatNum， 若同时满足位移参数dist小于位移阈值ThDist并且不变性参 数 repeatNum 大于不变性阈值 ThRepeat， 则将该目标作为 “物品” 分类。 0017 进一步地， 步骤 (2) 中目标特征提取计算方法具体为 ： 0018 面积特征 S ： 通过将计数器置 0， 在目标最小外接矩形内， 从左上角开始从。
24、上到下， 从左到右扫描像素点， 遇到前景像素点累加计数器即可得到。 0019 占空比特征 Empty ： 通过公式确定。其中， S 为目标面积， RectS 为 目标最小外接矩形面积， RectS 根据目标链中所有目标像素横纵坐标的最大值和最小值确 定。 0020 高宽比特征 Aspect ： 通过公式确定。其中， RectW 为目标 最小外接矩形宽， RectH 为目标最小外接矩形高。 0021 离散度特征 Disperse ： 通过公式确定。其中， L 为目标周长， 由目 标边缘像素点个数表示。 0022 速度特征 V ： 计算第 t 帧第 n 个目标区域速度方法如下所述 ： 0023 0。
25、024 其中， 0025 Vnt为第 t 帧第 n 个目标区域的速度 ； 0026 (xnt,ynt) 为第 t 帧第 n 个目标区域的质心坐标 ； 0027 (xnt+2,ynt+2) 为第 t+2 帧第 n 个目标区域的质心坐标 ； 0028 Tn 为第 n 个目标区域相邻两帧间的时间差。 0029 优选地， 步骤 (3) 及步骤 (4) 中速度高阈值、 速度低阈值及面积阈值取值具体为 ： 说 明 书 CN 104050684 A 6 3/9 页 7 0030 ThHSpeed 0.2， ThLSpeed 0.2， ThArea 0.5。 0031 速度双阈值和面积阈值的取值由在该阈值取值。
26、条件下的目标标记准确率决定， 通 过对大量不同场景、 不同目标运动方向的原始视频进行阈值取值实验并统计后， 发现通常 在速度低阈值 ThLSpeed 0.2， 速度高阈值 ThHSpeed 0.2， 面积阈值 ThArea 0.5 的情 况下，“行人” 目标和 “车辆” 目标标记准确率最高。 0032 优选地， 步骤 (6) 中位移阈值及不变性阈值取值具体为 ： 0033 ThDist 200， ThRepeat 0.9。 0034 位移阈值及不变性阈值的取值主要为了避免由于场景原因或者目标检测原因导 致部分 “物品” 或者 “背景” 影响分类结果， 故根据 “物品” 不发生较长位移以及不发生。
27、较大 形变的特征， 通常取位移阈值 ThDist 200， 不变性阈值 ThRepeat 0.9。 0035 按照本发明的另一方面， 还提供了一种基于在线训练的视频运动目标分类系统， 包括运动目标获取模块、 目标特征提取模块、 车辆目标标记模块、 行人目标标记模块、 分类 器训练模块以及分类模块， 其中 ： 0036 所述运动目标获取模块， 用于将原始视频中的图像序列进行分析， 通过混合高斯 模型建模得到图像序列中的运动目标， 将检测到的运动目标通过基于位置特征的方法进行 最近邻关联从而实现运动目标的跟踪， 获得运动目标总数为 TubeNum ； 0037 所述目标特征提取模块， 用于对原始视。
28、频中检测到的运动目标进行特征提取， 提 取的特征包括对运动目标筛选后标记所需的标记特征和训练分类器并对运动目标分类所 需的分类特征 ： 标记特征包括速度特征V、 面积特征S ； 分类特征包括高宽比特征Aspect、 占 空比特征 Empty、 离散度特征 Disperse、 梯度方向直方图特征 ； 0038 所述车辆目标标记模块， 用于将所有运动目标按速度特征 V 由小到大进行排序， 根据速度高阈值 ThHSpeed 和低阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 0039 将速度特征 V 从大到小的 ThHSpeed*TubeNum 个目标标记为 “车辆” 目标， 将速度 特征V。
29、从小到大的ThLSpeed*TubeNum个目标留作行人目标筛选模块中进行二次筛选， 将其 余在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)*TubeNum 个目标标记为 “未分类 样本” ； 0040 所述行人目标标记模块， 用于将速度特征V从小到大的ThLSpeed*TubeNum个运动 目标按面积特征S从小到大进行排序， 根据面积阈值ThArea对排序后的低速度目标进行二 次筛选标记 ： 0041 将面积特征 S 从小到大的 ThArea*(ThLSpeed*TubeNum) 个低速度目标标记为 “行 人” 目标， 将其余低速度运动目标标记为 “未分类样本” ； 。
30、0042 所述分类器训练模块， 用于将标记为 “车辆” 及 “行人” 的运动目标设为训练集， 将 训练集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度 特征 Disperse 和梯度方向直方图特征组合成训练集特征向量， 将训练集与训练集特征向 量输入支撑向量机进行训练， 得到人车分类器 ； 0043 所述分类器测试模块， 用于将原始视频中检测到的所有运动目标作为测试集， 将 测试集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度 特征 Disperse 和梯度方向直方图特征组合成测试集特征向量， 将测试集特征。
31、向量输入人 车分类器进行分类， 通过判别公式得到输出结果为 “行人” 与 “车辆” 两类 ； 说 明 书 CN 104050684 A 7 4/9 页 8 0044 为了避免部分物品由于视频场景原因被分类为 “行人” 或 “车辆” ， 在分类器输出后 遍历所有目标， 根据目标外接矩形计算目标自起始至结束的质心位移参数 dist 以及矩形 外形不变性参数repeatNum， 若同时满足位移参数dist小于位移阈值ThDist并且不变性参 数 repeatNum 大于不变性阈值 ThRepeat， 则将该目标作为 “物品” 分类。 0045 进一步地， 所述目标特征提取模块提取的目标特征具体为 ：。
32、 0046 面积特征 S ： 通过将计数器置 0， 在目标最小外接矩形内， 从左上角开始从上到下， 从左到右扫描像素点， 遇到前景像素点累加计数器即可得到 ； 0047 占空比特征 Empty ： 通过公式确定 ； 其中， S 为目标面积， RectS 为 目标最小外接矩形面积， RectS 根据目标链中所有目标像素横纵坐标的最大值和最小值确 定 ； 0048 高宽比特征 Aspect ： 通过公式确定。其中， RectW 为目标 最小外接矩形宽， RectH 为目标最小外接矩形高 ； 0049 离散度特征Disperse ： 通过公式确定。 其中， L为目标周长， 由目 标边缘像素点个数表示。
33、 ； 0050 速度特征 V ： 计算第 t 帧第 n 个目标区域速度方法如下所述 ： 0051 0052 其中， Vnt为第 t 帧第 n 个目标区域的速度 ； 0053 (xnt,ynt) 为第 t 帧第 n 个目标区域的质心坐标 ； 0054 (xnt+2,ynt+2) 为第 t+2 帧第 n 个目标区域的质心坐标 ； 0055 Tn 为第 n 个目标区域相邻两帧间的时间差。 0056 优选地， 所述速度高阈值、 速度低阈值及面积阈值取值具体为 ： 0057 ThHSpeed 0.2， ThLSpeed 0.2， ThArea 0.5。 0058 优选地， 所述位移阈值及不变性阈值取值具。
34、体为 ： 0059 ThDist 200， ThRepeat 0.9。 0060 通过本发明所构思的以上技术方案， 与现有技术相比， 本发明具有以下的有益效 果 ： 0061 1、 由于样本训练过程不依靠先验信息， 训练集只来源于待分类视频中运动目标， 故对于行人的多态性和车辆的多样性具有较强的适应性 ； 0062 2、 应用于视频监控中行人和车辆的分类， 可以准确地判断运动目标的类别， 在处 理大量不同场景不同视角的监控视频的情况下具有良好的应用效果。 附图说明 0063 图 1 是本发明基于在线训练的视频运动目标分类方法总流程图。 0064 图 2 是获取运动目标后进行在线标记和训练流程图。
35、。 说 明 书 CN 104050684 A 8 5/9 页 9 具体实施方式 0065 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。此外， 下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。 0066 以下首先对本发明用到的术语进行解释和说明。 0067 HOG ： Histograms Of Oriented Gradient， 即方向梯度直方图描述子。 它的思想是 ： 在一副图像中， 局部目标的表象和形状 (。
36、appearance and shape) 能够被梯度或边缘的方向 密度分布很好地描述。 具体的实现方法是 ： 首先将图像分成小的连通区域， 我们把它叫细胞 单元。然后采集细胞单元中各像素点的梯度的或边缘的方向直方图。最后把这些直方图组 合起来就可以构成特征描述器。运动目标的梯度方向直方图特征， 描述了图像局部区域的 梯度强度和梯度方向的分布情况， 该分布情况能对局部对象外观和形状进行很好的表征， 事实证明能够很好的应用在行人检测中， 已经成为目前主流的方法。利用行人具有较丰富 的垂直方向的纹理， 即水平方向的梯度 ； 车辆除了垂直方向的纹理， 在水平方向的纹理更为 丰富， 即垂直方向的梯度要。
37、明显多于行人水平方向的梯度的区分度来进行分类。 0068 SVM 分类器 ： Support Vector Machine， 即支撑向量机， SVM 分类器是机器学习中常 用的一种分类器， SVM 方法是通过一个非线性映射 p， 把样本空间映射到一个高维乃至无穷 维的特征空间中 (Hilbert 空间 )， 使得在原来的样本空间中非线性可分的问题转化为在特 征空间中的线性可分的问题。 经过其分类的结果， 可以判定前景运动目标是行人， 或者是车 辆。 0069 如图 1 所示， 为本发明基于在线训练的视频运动目标分类方法总流程图， 本发明 方法具体包括以下步骤 ： 0070 (1) 将原始视频中。
38、的图像序列进行分析， 通过混合高斯模型建模得到图像序列中 的运动目标， 将检测到的运动目标通过基于位置特征的方法进行最近邻关联从而实现运动 目标的跟踪， 获得运动目标总数为 TubeNum ； 0071 如图 2 所示， 为获取运动目标后进行在线标记和训练流程图， 当获取到运动目标 后， 对运动目标提取特征， 根据特征对运动目标进行 “行人” 与 “车辆” 标记， 并根据特征与 标记训练分类器， 最后将所有运动目标通过所述分类器进行分类， 得到分类标记， 具体方法 如下 ： 0072 (2) 对原始视频中检测到的运动目标进行特征提取， 提取的特征包括对运动目标 筛选后标记所需的标记特征和训练分。
39、类器并对运动目标分类所需的分类特征 ： 0073 标记特征包括速度特征 V、 面积特征 S ； 0074 速度特征 V ： 计算第 t 帧第 n 个目标区域速度方法如下所述 ： 0075 0076 其中， 0077 Vnt为第 t 帧第 n 个目标区域的速度 ； 0078 (xnt,ynt) 为第 t 帧第 n 个目标区域的质心坐标 ； 说 明 书 CN 104050684 A 9 6/9 页 10 0079 (xnt+2,ynt+2) 为第 t+2 帧第 n 个目标区域的质心坐标 ； 0080 Tn 为第 n 个目标区域相邻两帧间的时间差。 0081 面积特征 S ： 定义前景图中目标区域内。
40、的总像素个数为目标面积 S， 它具有简单、 直观地特点。 通过将计数器置0， 在目标最小外接矩形内， 从左上角开始从上到下， 从左到右 扫描像素点， 遇到前景像素点累加计数器即可得到。 0082 分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse、 梯度 方向直方图特征 ； 0083 占空比特征 Empty ： 定义为前景图中目标区域的面积与目标外接矩形的面积之 比， 该特征具备平移和旋转不变性。通过公式确定。其中， S 为目标面积， RectS 为目标最小外接矩形面积， RectS 根据目标链中所有目标像素横纵坐标的最大值和 最小值确定。 0084。
41、 高宽比特征 Aspect ： 定义目标外接矩形的高跟宽的比为该目标的长宽比， 虽然此 特征能很好地描述目标的形状信息， 但当目标旋转时该特征值将发生变化， 从而影响对目 标的准确性。 通过公式确定。 其中， RectW为目标最小外接矩形宽， RectH 为目标最小外接矩形高。 0085 离散度特征 Disperse ： 定义目标离散度为目标面积与周长的平方比， 它是为了克 服目标面积和周长不具备缩放性而定义的一种特征， 该特征具备平移、 旋转、 缩放不变性。 通过公式确定。其中， L 为目标周长， 由目标边缘像素点个数表示。 0086 HOG 特征 ： 利用行人具有较丰富的垂直方向的纹理， 。
42、即水平方向的梯度 ； 车辆除了 垂直方向的纹理， 在水平方向的纹理更为丰富， 即垂直方向的梯度要明显多于行人水平方 向的梯度的区分度来进行分类。 0087 3)将所有运动目标按速度特征V由小到大进行排序， 根据速度高阈值ThHSpeed和 低阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 0088 将速度特征 V 从大到小的 ThHSpeed*TubeNum 个目标标记为 “车辆” 目标， 将速度 特征 V 从小到大的 ThLSpeed*TubeNum 个目标留作步骤 (4) 中进行二次筛选， 将其余速度特 征 V 在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)。
43、*TubeNum 个目标标记为 “未分 类样本” ； 0089 速度高阈值和速度低阈值的取值由在该阈值取值条件下的目标标记准确率决定， 通过对大量不同场景、 不同目标运动方向的原始视频进行阈值取值实验并统计后， 发现通 常在速度高阈值 ThHSpeed 0.2 的情况下，“车辆” 目标标记准确率最高。 0090 (4)将速度特征V从小到大的ThLSpeed*TubeNum个运动目标按面积特征S从小到 大进行排序， 根据面积阈值 ThArea 对排序后的低速度目标进行二次筛选标记 ： 0091 将面积特征 S 从小到大的 ThArea*(ThLSpeed*TubeNum) 个低速度目标标记为 “。
44、行 人” 目标， 将其余低速度运动目标标记为 “未分类样本” ； 0092 通过对大量不同场景、 不同目标运动方向的原始视频进行阈值取值实验并统计 后， 发现通常在速度低阈值 ThLSpeed 0.2， 面积阈值 ThArea 0.5 的情况下，“行人” 目 说 明 书 CN 104050684 A 10 7/9 页 11 标标记准确率最高。 0093 (5)在分类器训练阶段， 将标记为 “车辆” 运动目标设为正样本， 将标记为 “行人” 的 运动目标设为负样本， 将正负样本中运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度特征 Disperse 和梯度。
45、方向直方图特征组合成训练集特征向量， 将正负样本集与其对应的训练集特征向量输入 SVM 进行训练， 得到基于在线训练的人车分 类器 ； 0094 (6) 在分类器测试阶段， 将原始视频中检测到的所有运动目标作为测试集， 将测试 集中所有运动目标已提取的分类特征包括高宽比特征 Aspect、 占空比特征 Empty、 离散度 特征 Disperse 和梯度方向直方图特征组合成测试集特征向量， 将测试集特征向量输入人 车分类器进行分类， 通过判别公式得到输出结果为 “行人” 与 “车辆” 两类 ； 0095 为了避免部分物品由于视频场景原因被分类为 “行人” 或 “车辆” ， 在分类器输出后 遍历。
46、所有目标， 根据目标外接矩形计算目标自起始至结束的质心位移参数 dist 以及矩形 外形不变性参数repeatNum， 若同时满足位移参数dist小于位移阈值ThDist并且不变性参 数 repeatNum 大于不变性阈值 ThRepeat， 则将该目标作为 “物品” 分类。 0096 位移阈值及不变性阈值的取值主要为了避免由于场景原因或者目标检测原因导 致部分 “物品” 或者 “背景” 影响分类结果， 故根据 “物品” 不发生较长位移以及不发生较大 形变的特征， 通常取位移阈值 ThDist 200， 不变性阈值 ThRepeat 0.9。 0097 本发明还提供了一种基于在线训练的视频运动。
47、目标分类系统， 包括运动目标获取 模块、 目标特征提取模块、 车辆目标标记模块、 行人目标标记模块、 分类器训练模块以及分 类模块， 其中 ： 0098 所述运动目标获取模块， 用于将原始视频中的图像序列进行分析， 通过混合高斯 模型建模得到图像序列中的运动目标， 将检测到的运动目标通过基于位置特征的方法进行 最近邻关联从而实现运动目标的跟踪， 获得运动目标总数为 TubeNum ； 0099 所述目标特征提取模块， 用于对原始视频中检测到的运动目标进行特征提取， 提 取的特征包括对运动目标筛选后标记所需的标记特征和训练分类器并对运动目标分类所 需的分类特征 ： 标记特征包括速度特征V、 面积。
48、特征S ； 分类特征包括高宽比特征Aspect、 占 空比特征 Empty、 离散度特征 Disperse、 梯度方向直方图特征 ； 0100 所述车辆目标标记模块， 用于将所有运动目标按速度特征 V 由小到大进行排序， 根据速度高阈值 ThHSpeed 和低阈值 ThLSpeed 对排序后的运动目标进行筛选 ： 0101 将速度特征 V 从大到小的 ThHSpeed*TubeNum 个目标标记为 “车辆” 目标， 将速度 特征V从小到大的ThLSpeed*TubeNum个目标留作行人目标筛选模块中进行二次筛选， 将其 余在速度高阈值和低阈值中间的 (1-ThLSpeed-ThHSpeed)*。
49、TubeNum 个目标标记为 “未分类 样本” ； 0102 所述行人目标标记模块， 用于将速度特征V从小到大的ThLSpeed*TubeNum个运动 目标按面积特征S从小到大进行排序， 根据面积阈值ThArea对排序后的低速度目标进行二 次筛选标记 ： 0103 将面积特征 S 从小到大的 ThArea*(ThLSpeed*TubeNum) 个低速度目标标记为 “行 人” 目标， 将其余低速度运动目标标记为 “未分类样本” ； 0104 所述分类器训练模块， 用于将标记为 “车辆” 及 “行人” 的运动目标设为训练集， 将 说 明 书 CN 104050684 A 11 8/9 页 12 训练集中运动目标已提取的分类特征包括高宽比特征 Aspect、 占。