运动目标跟踪方法及其系统.pdf

上传人:t**** 文档编号:1083301 上传时间:2018-03-30 格式:PDF 页数:16 大小:1,005.29KB
返回 下载 相关 举报
摘要
申请专利号:

CN200910077435.5

申请日:

2009.02.11

公开号:

CN101739686A

公开日:

2010.06.16

当前法律状态:

授权

有效性:

有权

法律详情:

专利权的转移IPC(主分类):G06T 7/20变更事项:专利权人变更前权利人:北京智安邦科技有限公司变更后权利人:东方网力科技股份有限公司变更事项:地址变更前权利人:100048 北京市海淀区首体南路9号主语国际4号楼5层变更后权利人:100102 北京市朝阳区阜通东大街1号望京SOHO塔二C座26层登记生效日:20150716|||授权|||实质审查的生效IPC(主分类):G06T 7/20申请日:20090211|||公开

IPC分类号:

G06T7/20; H04N5/14; H04N7/18

主分类号:

G06T7/20

申请人:

北京智安邦科技有限公司

发明人:

王华; 曾建平; 黄建; 王正; 菅云峰

地址:

100048 北京市海淀区首体南路9号主语国际4号楼5层

优先权:

专利代理机构:

北京乾诚五洲知识产权代理有限责任公司 11042

代理人:

付晓青;杨玉荣

PDF下载: PDF下载
内容摘要

本发明提供了一种运动目标跟踪方法及其系统,所述运动目标跟踪方法包括:检测目标,将视频场景中的运动目标区域从背景中分割出来;预测目标,估计目标的下一帧运动;匹配目标,跟踪匹配的稳定目标,并滤除虚假目标;和更新目标,更新当前帧中稳定目标的模板。本发明实现了复杂背景下多目标的准确跟踪,解决了遮挡、树叶摆动等问题,并且运算简便,具有很强的实用性。

权利要求书

1: 一种运动目标跟踪方法,其特征在于,所述运动目标跟踪方法包括如下步骤: (1)检测目标,将视频场景中的运动目标区域从背景中分割出来; (2)预测目标,估计目标的下一帧运动; (3)匹配目标,跟踪匹配的稳定目标,并滤除虚假目标;和 (4)更新目标,更新当前帧中稳定目标的模板。
2: 根据权利要求1所述的运动目标跟踪方法,其特征在于,所述检测目标包括如下步骤: 获取视频,获取视频内容以得到场景图像,并建立背景模型; 预处理图像,消除场景图像对背景模型的影响; 标记区域,根据背景模型对场景图像进行前景分割,并标记出连通区域; 维护状态,判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测; 增强区域,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域; 分裂与合并区域,使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
3: 根据权利要求2所述的运动目标跟踪方法,其特征在于,所述预处理图像包括:滤波处理和全局运动补偿;其中, 所述滤波处理包括:对图像进行噪声过滤处理、图像平滑处理; 所述全局运动补偿,是补偿由于相机轻微摆动而引起的图像全局运动,在全局运动补偿中,运动模型包括平移、旋转、变焦。
4: 根据权利要求2所述的运动目标跟踪方法,其特征在于,所述标记区域包括如下步骤: 前景分割,基于背景模型对场景图像进行分割,以得到前景的二值图像; 形态学处理,使用数学形态学的方法处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域;以及 连通区域标记,用连通域的方法标记同一场景中的不同区域,以区别不同的目标区域。
5: 根据权利要求2所述的运动目标跟踪方法,其特征在于,所述维护状态包括状态判定和异常检测; 所述状态判定,是判定检测目标模块当前所处的状态,做出相应处理;当场景稳定时间超过阈值1,系统由初始化状态进入工作状态;当场景改变时间超过阈值2,系统由工作状态进入初始化状态; 所述异常检测,是在视频信号干扰严重,以及有人为的遮挡相机的情况时执行;根据两次背景的边缘匹配值及背景初始化成功的最短时间判断,若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4,则认为是异常现象。
6: 根据权利要求2所述的运动目标跟踪方法,其特征在于,所述增强区域包括:阴影检测、高亮检测、树滤波;其中, 阴影检测,针对每个连通区域,分别计算该连通区域内的像素值的均值,并将该均值作为阈值,判定该区域的阴影区域,然后将阴影区域滤除,若像素值小于所述阈值,则判定为 阴影; 高亮检测,检测图像是否处于高亮状态,若是,则进行亮度补偿,亮度补偿使得图像的像素值的均值为128; 树滤波,检测图像中的摆动树叶和摆动树叶阴影,并将其从前景图像中滤除;其中: 检测摆动树叶是根据以下两个特征之一判定实现的:(1)运动轨迹跟踪,当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时,则认为该目标是摆动树叶;(2)质心运动的振幅,当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时,则认为该目标是摆动树叶; 检测摆动树叶阴影的方法是:分别统计膨胀操作前后该区域内膨胀操作前后像素值为“1”的点的个数,并计算它们的比值,若该比值小于阈值7,则认为该区域是摆动树叶阴影的区域。
7: 根据权利要求2所述的运动目标跟踪方法,其特征在于,所述分裂与合并区域是基于所述增强区域的处理过程,判定相邻两区域是否是同一目标区域;若属于同一目标区域,则将这两个区域合并;否则,将其分裂;其中,相邻两区域是指区域边缘距离小于阈值8的区域。
8: 根据权利要求1所述的运动目标跟踪方法,其特征在于,所述预测目标是根据目标运动的累加位移及其相应的累加时间,计算该目标运动的平均速度,并根据该速度预测目标的下一次位移;其中, 所述累加位移、累加时间及平均运动速度的关系为: v=s/t 其中,s为目标质心稳定运动多帧后的位移,t为目标运动多帧所需的时间,v为该目标稳定运动的平均速度; 根据所述平均速度v预测的下一次位移为: s′=v·Δt 其中,Δt为预测的目标时间,s′为目标质心稳定运动Δt时间后的位移。
9: 根据权利要求1所述的运动目标跟踪方法,其特征在于,所述匹配目标包括:跟踪匹配的稳定目标和滤除虚假目标;其中, 所述跟踪匹配的稳定目标是判定检测区域与跟踪目标是否匹配,所述匹配根据下述公式中检测区域与目标的匹配系数D来判定: D=Da*A Da +Db*A Db +Dc*A Dc 其中,Da为面积匹配系数,Db为直方图匹配系数,Dc为距离匹配系数。A Da 、A Db 、A Dc 分别为Da、Db、Dc对应的权值系数,当检测区域与目标的匹配系数D大于阈值9时,则判定该检测区域与目标匹配; 滤除虚假目标是通过目标运动的轨迹分析,以滤除虚假的目标区域;其中,轨迹分析是利用目标轨迹信息,统计面积变化的平滑性和质心点变化的平稳性。
10: 根据权利要求9所述的运动目标跟踪方法,其特征在于, 面积匹配系数Da,是当检测区域与目标相交的区域的面积大于目标的面积的阈值10时,则认为该检测区域满足面积的匹配,Da取1;否则Da取0; 直方图匹配系数Db,是当检测区域与目标相交的区域的直方图大于目标的直方图的阈 值11时,则认为该检测区域满足直方图的匹配,Db取1;否则Db取0; 距离匹配系数Dc,根据检测区域是运动的还是静止的两种情况来考虑距离匹配系数Dc;若当前帧图像与前一帧图像中检测区域的差分图像中,前景点的个数大于背景点个数的阈值12时,则认为检测区域是运动的,否则认为该检测区域是静止的; 当检测区域是运动时,计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若该距离小于目标所在矩形框的对角线长度的阈值13,则认为满足距离的匹配,Dc取1;否则Dc取0; 当检测区域是静止时,计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若该距离小于阈值14,则认为满足距离的匹配,Dc取1;否则Dc取0。
11: 根据权利要求9所述的运动目标跟踪方法,其特征在于,所述统计面积变化的平滑性是指统计目标轨迹点上面积集合{area 1 ,area 2 ,...,area n },n表示轨迹点的个数,统计面积均值: area ‾ = 1 n Σ i = 1 n are a i ]]> 统计面积方差: area sd = 1 n Σ i = 1 n ( area i - area ‾ ) 2 ]]> 当 时,认为面积变化不平滑,将该目标区域滤除; 所述统计质心点变化的平稳性是根据正常目标的运动在方向上不会产生经常性突变,统计相邻轨迹点中方向变化的比率,若该比率超过阈值15,则认为质心点变化不平稳,将该目标区域滤除。
12: 一种运动目标跟踪系统,其特征在于,所述运动目标跟踪系统包括: 检测目标模块,用于将视频场景图像中的运动目标区域从背景中分割出来; 预测目标模块,用于估计所述运动目标在下一帧场景图像中的位置; 匹配目标模块,用于跟踪匹配的稳定目标,并滤除虚假目标;和 更新目标模块,用于更新当前帧中稳定目标的模板。
13: 根据权利要求12所述的运动目标跟踪系统,其特征在于,所述检测目标模块包括: 获取视频模块,用于获取视频内容以得到场景图像,并建立背景模型; 预处理图像模块,用于消除场景图像对背景模型的影响; 标记区域模块,用于根据背景模型对场景图像进行前景分割,并标记出连通区域; 维护状态模块,用于判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测; 增强区域模块,用于使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;和 分裂与合并区域模块,用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。
14: 根据权利要求12所述的运动目标跟踪系统,其特征在于,所述匹配目标模块包括: 跟踪匹配的稳定目标模块,用于判定检测区域与跟踪目标是否匹配;和 滤除虚假目标模块,用于滤除虚假区域。

说明书


运动目标跟踪方法及其系统

    【技术领域】

    本发明涉及视频监控技术,特别是涉及一种智能视频监控系统中的运动目标跟踪方法及其系统。

    背景技术

    随着犯罪水平和威胁的增加,安全已成为世界普遍关注的问题。视频监控是解决该问题的方法之一。除了公共安全外,视频监控也能有效地解决一些其他问题,如拥挤城市车流量、人流量的调节。多年来大型监控系统在诸如机场、银行、高速公路或城市中心等的主要场所得到了广泛地应用。

    由于传统的视频监控技术一般为人工监视,存在着易疲劳、易疏忽、反应速度慢、人工费用高等诸多不足。因此,近年来人们逐渐研究一种数字化、标准化、智能化和IP网络化的智能视频监控技术。

    常规的智能视频监控技术都包括一个运动目标跟踪技术。运动目标跟踪的目的是在正确检测出运动目标的基础上,确定同一目标在不同场景图像中位置的过程。

    为了实现跟踪,可以使用基于运动分析的方法,如帧间差分法和光流分割法。帧间差分法是对相邻帧图像作相减运算之后,对结果图像取阈值并分割,提取运动目标。这种方法的缺点是只能根据帧间像素的强度变化来检测场景中目标是否运动,运动目标信号的帧间相关性和噪声的帧间相关性都很弱,难以区分。光流分割法是通过目标和背景之间的不同速度来检测运动目标。这种方法的缺点是不能有效区分目标运动造成的背景遮挡、显示以及孔径等问题,计算量大,需要特殊的硬件支持。

    为了实现跟踪,可以使用图像匹配方法,如区域匹配、模型匹配。区域匹配是把参考图像的某一块整体与实时图像所有可能位置上进行叠加,然后计算某种图像相似性度量的相应值,其最大相似性相对应的位置就是目标的位置。这种方法的缺点是计算量大,难以达到实时性要求。模型匹配是根据模板来匹配场景图像中的目标。这种方法的缺点是计算分析复杂,运算速度慢,模型的更新较为复杂,实时性较差。

    综上所述,目前迫切需要提出更为简单、有效、实时的运动目标跟踪方案。

    【发明内容】

    有鉴于此,本发明的主要目的在于提供一个运动目标跟踪方法及其系统,其可以得到正确的前景图像,减少了目标检测的错误;进一步,可以根据检测结果进行预测、匹配、更新等操作,以滤除虚假运动目标,实现运动目标的准确跟踪。

    为达到上述目的,本发明的技术方案是这样实现的:

    本发明提供了一个运动目标跟踪方法,所述运动目标跟踪方法包括:

    检测目标,将视频场景中的运动目标区域从背景中分割出来;

    预测目标,估计目标的下一帧运动;

    匹配目标,跟踪匹配的稳定目标,并滤除虚假目标;

    更新目标,更新当前帧中稳定目标的模板。

    根据本发明,所述检测目标包括如下步骤:

    获取视频,获取视频内容以得到场景图像,并建立背景模型;

    预处理图像,消除场景图像对背景模型的影响;

    标记区域,根据背景模型对场景图像进行前景分割,并标记出连通区域;

    维护状态,判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测;

    增强区域,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;

    分裂与合并区域,使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。

    其中,所述预处理图像包括:滤波处理和全局运动补偿;其中,

    所述滤波处理包括:对图像进行噪声过滤处理、图像平滑处理;

    所述全局运动补偿,是补偿由于相机轻微摆动而引起的图像全局运动,在全局运动补偿中,运动模型包括平移、旋转、变焦。

    通过下列常规公式计算前景所在的矩形区域周围正负5个像素的区域亮度差IDS,得到全局运动补偿中图像平移的距离Δx、Δy,公式如下:

    IDS=Σx=sxmΣy=syn(I(x,y)(t)-I(x,y)(t-1))sxsy]]>

    其中,sx表示区域起点x坐标,sy表示区域起点y坐标,I(x,y)(t)表示当前帧图像灰度,I(x,y)(t-1)表示上一帧图像灰度;同理计算其它四个区域的位置变化量,最后求出平均的Δx、Δy;将图像按照Δx、Δy进行平移得到补偿后的图像。

    其中,所述标记区域包括如下步骤:

    前景分割,基于背景模型对场景图像进行分割,以得到前景的二值图像;

    形态学处理,使用数学形态学的方法处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域;以及

    连通区域标记,用连通域的方法标记同一场景中的不同区域,以区别不同的目标区域。

    其中,所述维护状态包括状态判定和异常检测。

    所述状态判定,是判定检测目标模块当前所处地状态,做出相应处理;当场景稳定时间超过阈值1,系统由初始化状态进入工作状态;当场景改变时间超过阈值2,系统由工作状态进入初始化状态。其中,所述阈值1优选为0.5~2秒之间,所述阈值2优选为5~20秒之间。

    所述异常检测,是在视频信号干扰严重,以及有人为的遮挡相机的情况时执行;根据两次背景的边缘匹配值及背景初始化成功的最短时间判断,若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4,则认为是异常现象。其中,所述阈值3优选为30~50之间,所述阈值4优选为6~20秒之间。

    其中,所述增强区域包括:阴影检测、高亮检测、树滤波。

    阴影检测,是针对每个连通区域,分别计算该连通区域内的像素值的均值,并将该均值作为阈值,判定该区域的阴影区域,然后将阴影区域滤除,若像素值小于所述阈值,则判定为阴影。

    高亮检测,是用于检测图像是否处于高亮状态,若是,则进行亮度补偿,亮度补偿使得图像的像素值的均值为128。

    树检测,用于检测图像中的摆动树叶和摆动树叶阴影,并将其从前景图像中滤除。

    摆动树叶的检测是根据以下两个特征之一判定实现的:(1)运动轨迹跟踪,当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时,则认为该目标是摆动树叶;(2)质心运动的振幅,当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时,则认为该目标是摆动树叶。其中,所述阈值5优选为5%~15%之间;所述阈值6优选为1.5~2.5之间。

    摆动树叶阴影的检测方法是:分别统计膨胀操作前后该区域内膨胀操作前后像素值为“1”的点的个数,并计算它们的比值,若该比值小于阈值7,则认为该区域是摆动树叶阴影的区域。其中,所述阈值7优选为40%~60%之间。

    其中,所述分裂与合并区域是基于所述增强区域的处理过程,判定相邻两区域是否是同一目标区域;若属于同一目标区域,则将这两个区域合并;否则,将其分裂;其中,相邻两区域是指区域边缘距离小于阈值8的区域。其中,所述阈值8优选为3~7个像素之间。

    根据本发明,所述预测目标是根据目标运动的累加位移及其相应的累加时间,计算该目标运动的平均速度,并根据该速度预测目标的下一次位移;其中,

    所述累加位移、累加时间及平均运动速度的关系为:

    v=s/t

    其中,s为目标质心稳定运动多帧后的位移,t为目标运动多帧所需的时间,v为该目标稳定运动的平均速度;

    根据所述平均速度v预测的下一次位移为:

    s′=v·Δt

    其中,Δt为预测的目标时间,s′为目标质心稳定运动Δt时间后的位移。

    根据本发明,所述匹配目标包括:跟踪匹配的稳定目标和滤除虚假目标;其中,

    所述跟踪匹配的稳定目标是判定检测区域与跟踪目标是否匹配,所述匹配根据下述公式中检测区域与目标的匹配系数D来判定:

    D=Da*ADa+Db*ADb+Dc*ADc

    其中,Da为面积匹配系数,Db为直方图匹配系数,Dc为距离匹配系数。当检测区域与目标的匹配系数D大于阈值9时,则判定该检测区域与目标匹配。ADa、ADb、ADc分别为Da、Db、Dc对应的权值系数。其中,所述阈值9优选为0.7~0.8之间。

    面积匹配系数Da,是当检测区域与目标相交的区域的面积大于目标的面积的阈值10时,则认为该检测区域满足面积的匹配,Da取1;否则Da取0。其中,所述阈值10优选为40%~60%之间。

    直方图匹配系数Db,是当检测区域与目标相交的区域的直方图大于目标的直方图的阈值11时,则认为该检测区域满足直方图的匹配,Db取1;否则Db取0。其中,所述阈值11优选为40%~60%之间。

    距离匹配系数Dc,根据检测区域是运动的还是静止的两种情况来考虑距离匹配系数Dc;若当前帧图像与前一帧图像中检测区域的差分图像中,前景点的个数大于背景点个数的阈值12时,则认为检测区域是运动的,否则认为该检测区域是静止的。

    当检测区域是运动时,计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若该距离小于目标所在矩形框的对角线长度的阈值13,则认为满足距离的匹配,Dc取1;否则Dc取0。

    当检测区域是静止时,计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若该距离小于阈值14,则认为满足距离的匹配,Dc取1;否则Dc取0。

    其中,所述阈值12优选为65%~75%之间。所述阈值13优选为1.5~2之间。所述阈值14优选为8~12个像素之间。

    滤除虚假目标是通过目标运动的轨迹分析,以滤除虚假的目标区域;其中,轨迹分析是利用目标轨迹信息,统计面积变化的平滑性和质心点变化的平稳性。

    所述统计面积变化的平滑性是指统计目标轨迹点上面积集合{area1,area2,...,arean},n表示轨迹点的个数,统计面积均值:

    area‾=1nΣi=1nareai]]>

    统计面积方差:areasd=1nΣi=1n(areai-area‾)2]]>

    当时,认为面积变化不平滑,将该目标区域滤除;

    所述统计质心点变化的平稳性是根据正常目标的运动在方向上不会产生经常性突变,统计相邻轨迹点中方向变化的比率,若该比率超过阈值15,则认为质心点变化不平稳,将该目标区域滤除。其中,所述阈值15优选为40%~60%之间。

    根据本发明的另一方面,本发明还提供了一种运动目标跟踪系统,所述运动目标跟踪系统包括:

    检测目标模块,用于将视频场景图像中的运动目标区域从背景中分割出来;

    预测目标模块,用于估计所述运动目标在下一帧场景图像中的位置;

    匹配目标模块,用于跟踪匹配的稳定目标,并滤除虚假目标;和

    更新目标模块,用于更新当前帧中稳定目标的模板。

    其中,所述检测目标模块包括:

    获取视频模块,用于获取视频内容以得到场景图像,并建立背景模型;

    预处理图像模块,用于消除场景图像对背景模型的影响;

    标记区域模块,用于根据背景模型对场景图像进行前景分割,并标记出连通区域;

    维护状态模块,用于判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测;

    增强区域模块,用于使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;和

    分裂与合并区域模块,用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。

    所述匹配目标模块包括:跟踪匹配的稳定目标模块,用于判定检测区域与跟踪目标是否匹配;和滤除虚假目标模块,用于滤除虚假区域。

    本发明的最大优点在于实现了复杂背景下多目标的准确跟踪,解决了遮挡、树叶摆动等问题,并且运算简便,具有很强的实用性

    本发明的优点还在于可以准确检测场景图像中的运动目标,包括人、车,同时可以忽略图像抖动、摆动的树、亮度变化、阴影、雨、雪等干扰因素的影响。

    本发明还可以用于智能视频监控系统中,用以实现目标分类识别、运动目标警戒、运动目标跟踪、PTZ跟踪、自动特写拍摄、目标行为检测、流量检测、拥挤检测、遗留物检测、被盗物检测、烟雾检测和火焰检测等功能。

    【附图说明】

    图1为本发明运动目标跟踪方法的结构示意图;

    图2为本发明运动目标跟踪方法中检测目标的流程示意图;

    图3为本发明运动目标跟踪方法中标记区域的流程示意图;

    图4为本发明运动目标跟踪方法中匹配目标的流程示意图;

    图5为本发明运动目标跟踪系统的结构示意图;

    图6为本发明运动目标跟踪系统中检测目标模块的结构示意图;

    图7为本发明运动目标跟踪系统中匹配目标模块的结构示意图。

    【具体实施方式】

    图1所示为本发明中运动目标跟踪方法的结构示意图,如图1所示,运动目标跟踪方法包括:

    检测目标10,将视频场景中的运动目标区域从背景中分割出来;

    预测目标20,估计目标的下一帧运动;

    匹配目标30,跟踪匹配的稳定目标,并滤除虚假目标;

    更新目标40,更新当前帧中稳定目标的模板。

    首先进行第一步检测目标,即将视频场景中的运动目标区域从背景中分割出来。图2为本发明中检测目标的框架示意图,如图2所示。检测目标10的框架示意图包括:获取视频11:获取视频内容以得到场景图像,并建立背景模型;预处理图像12:消除场景图像对背景模型的影响;标记区域13:根据背景模型对场景图像进行前景分割,并标记出连通区域;维护状态14:判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测;增强区域15,使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;分裂与合并区域16,使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。

    首先获取视频11的内容是通过视频获取设备实现,该视频获取设备可以是一个可见光谱、近红外或红外摄像机。所述近红外和红外摄像机允许在无额外光线的弱光下应用。所述建立背景模型最初以第一帧场景图像作为背景模型,之后在维护状态14中进行更新。

    然后预处理图像12包括滤波处理和全局运动补偿。所述滤波处理是指对图像做噪声过滤、平滑等常规处理,以去除图像中的噪声点。滤波处理可以通过下述文献实现,如:“图像去噪混合滤波方法[J].中国图象图形学报,2005,10(3)”,“自适应中心加权的改进均值滤波算法[J].清华大学学报(自然科学版),1999,39(9)”。

    全局运动补偿是指补偿由于相机轻微摆动而引起的图像全局运动。在全局运动补偿中,运动模型基本上就是反映摄像机的各种运动,包括平移、旋转、变焦等。全局运动补偿的方法是:基于区域块匹配的运动补偿,在图像中画出四个区域块,区域块的长宽在32~64像素之间,要求区域覆盖相对比较固定的背景,比如楼房,或者固定不动的背景。

    常规的全局运动补偿的方法如下:假设前景所在的矩形区域大小为m×n,计算该区域周围正负5个像素的区域亮度差IDS,公式如下:

    IDS=Σx=sxmΣy=syn(I(x,y)(t)-I(x,y)(t-1))sxsy]]>

    其中,sx表示区域起点x坐标,sy表示区域起点y坐标,I(x,y)(t)表示当前帧图像灰度,I(x,y)(t-1)表示上一帧图像灰度。

    这样可得到最小亮度差所对应区域的位置,计算此区域的位置变化量Δx、Δy。同理计算其它四个区域的位置变化量,最后求出平均的Δx、Δy。将图像按照Δx、Δy进行平移得到补偿后的图像。

    图3为本发明中标记区域13的流程示意图,如图3所示。区域标记13流程的流程具体如下:前景分割131、形态学处理132、连通区域标记133。

    前景分割131是指基于背景模型对场景图像进行分割,以得到前景的二值图像。具体地,将场景图像与背景模型对应的像素值相减,如果该结果大于设定的阈值,则记为“1”以表示为前景点;如果小于阈值,则记为“0”以表示为背景点,由此得到前景的二值图像。

    形态学处理132是指使用数学形态学的方法处理所述的二值图像,即通过先腐蚀后膨胀,处理所述的二值图像,以去除面积较小的虚假区域,并填充面积较大的区域。其中,腐蚀参数选的是3×3模板,膨胀参数选的是3×3模板。

    连通区域标记133通常是指用连通域的方法标记同一场景中的不同区域,以区别不同的目标区域。连通区域标记方法可以通过四连通域方法或八连通域方法实现。八连/四连通域的连通标记的方法是:首先,对形态学处理132获取的图像施行逐行扫描,找到一个未标记区域的第一点,标记该点;检查该点的八连/四连域点并标记满足连通性要求的,且尚未被标记的点,同时将新增的标记点记录下来作为“区域增长”的种子点。在后续的标记过程中,不断地从记录种子点的数组中取出一个种子,施行上述的操作,如此循环,直到记录种子点的数组为空,一个连通区域标记结束。接着再标记下一个未标记的区域,直到形态学处理132获取的图像的所有连通区域都被标记。

    在标记区域13中,单个区域与单个目标并不是一一对应的。由于遮挡情况,一个区域包含了多个人或者车;由于前景与背景相似,一个目标可能被过度分割为多个区域;由于光照的影响,区域中可能包含阴影和高亮区域;由于一些非感兴趣的运动,如树叶摆动和水波荡漾等,也会产生虚假的前景区域。这些问题都是背景模型方法所固有的,需要在后续步骤中加以解决。

    图2中维护状态14包括:状态判定和异常检测。

    状态判定是指判定检测目标模块当前所处的状态,并做出相应处理。判定检测目标模块当前所处的状态主要是通过场景稳定时间、场景改变时间来判定的。当场景稳定时间超过阈值1,系统由初始化状态进入工作状态;当场景改变时间超过阈值2,系统由工作状态进入初始化状态。

    所述阈值1优选为0.5~2秒之间。所述阈值2优选为5~20秒之间。

    当处于所述工作状态时,继续执行下一操作,背景模型不变。当处于所述初始化状态时,重新建立背景模型,并在必要时做出异常检测。所述重新建立背景模型期间,可以通过帧间差分法进行区域检测实现。帧间差分法是通过两帧图像进行相减取绝对值实现的。

    异常检测,是在必要时包括视频信号干扰严重,有人为的遮挡相机等情况执行。根据两次背景的边缘匹配值及背景初始化成功的最短时间判断。若当前帧的背景与背景模型的边缘相匹配的数值小于阈值3或背景初始化成功的最短时间超过阈值4,则认为是异常现象。

    所述阈值3优选为30~50之间。所述阈值4优选为6~20秒之间。

    图2中增强区域15,是使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;包括:阴影检测、高亮检测、树滤波。

    阴影检测用于检测前景图像中的阴影区域,包括人、车的阴影,并将检测到的阴影区域滤除。所述阴影检测是针对每个连通区域,分别计算该连通区域内的像素值的均值,并将该均值作为阈值,判定该区域的阴影区域,然后将阴影区域滤除。阴影判定规则如下:若像素值小于所述阈值,则判定为阴影。

    高亮检测用于检测图像是否处于高亮状态(高亮状态即指图像中的像素值普遍过高),若是则进行亮度补偿。亮度补偿通过亮度均衡实现,使得图像的像素值的均值为128。

    树滤波用于检测图像中的摆动的树叶及其阴影,并将其从前景图像中滤除。

    检测摆动树叶是根据以下两个特征之一判定实现的:(1)运动轨迹跟踪,当运动轨迹点中目标对应区域属于运动区域面积的部分小于运动区域面积的阈值5时,则认为该目标是摆动树叶;例如目标有10个轨迹点,这些轨迹点中只有一次对应的区域是运动的,则把此目标视为摆动树叶,将该目标滤除。(2)质心运动的振幅,若某一目标的质心运动的振幅是突变的,则认为该目标是摆动树叶,即当相邻轨迹点中目标质心的位移变化超过目标宽度的阈值6时,则认为该目标是摆动的树叶,将该目标滤除。

    所述阈值5优选为5%~15%之间;所述阈值6优选为1.5~2.5之间。

    检测摆动树叶阴影是通过检测区域内点的密集度来实现的,摆动树叶阴影的检测方法是:分别统计膨胀操作前后区域内的点的个数(即该区域内膨胀操作前后像素值为“1”的点的个数),并计算它们的比值,若该比值小于阈值7,则认为该区域是摆动树叶阴影的区域,并将该区域滤除。

    所述阈值7优选为40%~60%之间。

    图2中分裂与合并区域16是使用背景模型提供的约束以及人和车模型等先验知识对区域进行合并和分裂处理,以解决目标过于分割和目标相互遮挡问题。所述分裂与合并区域的方法是基于上述增强区域15处理过程,判定相邻两区域是同一目标区域,还是不同目标区域。若属于同一目标区域,则将这两个区域合并;否则,将其分裂。其中,相邻两区域是指区域边缘距离小于阈值8的区域,同一个区域指标记号一致的区域,不同目标区域指标记号不一致的区域。

    所述阈值8优选为3~7个像素之间。

    本发明的第二步是预测目标20,根据目标运动的累加位移及其相应的累加时间,计算该目标运动的平均速度,并根据该速度预测目标的下一次位移。其中,所述累加位移就是目标运动的位移的累加和,累加时间就是目标运动的时间的累加和。所述累加位移、累加时间及平均运动速度的关系为:

    v=s/t

    其中,s为目标质心稳定运动多帧后的位移,t为目标运动多帧所需的时间,v为该目标稳定运动的平均速度。通过上述公式便可计算得到平均速度。

    根据所述平均速度v预测的下一次位移为:

    s′=v·Δt

    其中,Δt为预测的目标时间,s′为目标质心稳定运动Δt时间后的位移。通过上述公式便可计算预测到下一次位移。

    本发明的第三步是匹配目标30,用于跟踪匹配的稳定目标,并滤除虚假目标。图4为本发明中匹配目标的流程示意图,如图4所示。匹配目标30包括:跟踪匹配的稳定目标301、和滤除虚假目标302。

    跟踪匹配的稳定目标301是判定检测区域与跟踪目标是否匹配。所述匹配的判定条件为:检测区域与目标的匹配系数D的计算公式如下:

    D=Da*ADa+Db*ADb+Dc*ADc

    其中,Da为面积匹配系数,Db为直方图匹配系数,Dc为距离匹配系数。当检测区域与目标的匹配系数D大于阈值9时,则判定该检测区域与目标匹配。ADa、ADb、ADc分别为Da、Db、Dc对应的权值系数。所述阈值9优选为0.7~0.8之间。

    所述ADa、ADb、ADc的值都在0~1之间,且满足三者的值的和为1。所述ADa、ADb、ADc的优选值分别为0.2、0.3、0.5。

    1)面积匹配系数Da。当检测区域与目标相交的区域的面积大于目标的面积的阈值10时,则认为该检测区域满足面积的匹配,Da取1;否则Da取0。

    所述阈值10优选为40%~60%之间。

    2)直方图匹配系数Db。当检测区域与目标相交的区域的直方图大于目标的直方图的阈值11时,则认为该检测区域满足直方图的匹配,Db取1;否则Db取0。

    所述阈值11优选为40%~60%之间。

    3)距离匹配系数Dc。分两种情况来考虑距离匹配系数Dc,这两种情况即检测区域是运动的还是静止的。若当前帧图像与前一帧图像中检测区域的差分图像中,前景点的个数大于背景点个数的阈值12时,则认为检测区域是运动的,否则认为该检测区域是静止的。当检测区域是运动时,计算当前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若小于目标所在矩形框的对角线长度的阈值13,则认为满足距离的匹配,Dc取1;否则Dc取0。当检测区域是静止时,计算前一帧图像中检测区域的中心与当前帧图像中检测区域的中心的距离,若小于阈值14,则认为满足距离的匹配,Dc取1;否则Dc取0。

    所述阈值12优选为65%~75%之间。所述阈值13优选为1.5~2之间。所述阈值14优选为8~12个像素之间。

    滤除虚假目标是指通过目标运动的轨迹分析,以滤除虚假的目标区域。其中,轨迹分析是利用目标轨迹信息(包括平面信息和质心点信息),统计面积变化的平滑性和质心点变化的平稳性。

    其中,统计面积变化的平滑性的方法如下:统计目标轨迹点上面积集合{area1,area2,...,arean},n表示轨迹点的个数,统计面积均值:

    area‾=1nΣi=1nareai]]>

    统计面积方差:areasd=1nΣi=1n(areai-area‾)2]]>

    当时,认为面积变化不平滑,将该目标区域滤除。

    统计质心点变化的平稳性的方法是根据正常目标的运动在方向上不会产生经常性突变,统计相邻轨迹点中方向变化的比率,若该比率超过阈值15,则认为质心点变化不平稳,将该目标区域滤除。

    所述阈值15优选为40%~60%之间。

    最后一步是进行更新目标40,根据目标匹配30后的稳定目标,实时的更新跟踪目标的模型。

    本发明还提供了一种运动目标跟踪系统,图5为本发明运动目标跟踪系统的结构示意图,如图5所示。运动目标跟踪系统包括检测目标模块71、预测目标模块72、匹配目标模块73和更新目标模块74。其中,检测目标模块71用于将视频场景图像中的运动目标区域从背景中分割出来,预测目标模块72用于估计所述运动目标在下一帧场景图像中的位置,匹配目标模块73用于跟踪匹配的稳定目标,并滤除虚假目标,更新目标模块74用于更新当前帧中稳定目标的模板。

    图6为本发明运动目标跟踪系统中检测目标模块的结构示意图。如图6所示,检测目标模块71包括获取视频模块711、预处理图像模块712、标记区域模块713、维护状态模块714、增强区域模块715和分裂与合并区域模块716。其中,获取视频模块711,用于获取视频内容以得到场景图像,并建立背景模型;预处理图像模块712,用于消除场景图像对背景模型的影响;标记区域模块713,用于根据背景模型对场景图像进行前景分割,并标记出连通区域;维护状态模块714,用于判定检测目标模块当前所处的状态,做出相应处理,并且在必要时做异常检测;增强区域模块715,用于使用阴影检测、高亮检测和树滤波,剔除阴影、高亮和树叶摆动的虚假区域;分裂与合并区域模块716,用于使用背景模型提供的约束以及人和车模型的先验知识对区域进行合并和分裂处理,以解决目标过分割和目标相互遮挡问题。

    图7为本发明运动目标跟踪系统中匹配目标模块的结构示意图。如图7所示,匹配目标模块73包括跟踪匹配的稳定目标模块731和滤除虚假目标模块732。其中,跟踪匹配的稳定目标模块731,用于判定检测区域与跟踪目标是否匹配,滤除虚假目标模块732,用于滤除虚假区域。

    本发明的最大优点在于实现了复杂背景下多目标的准确跟踪,解决了遮挡、树叶摆动等问题,并且运算简便,具有很强的实用性。

    本发明的优点还在于可以准确检测场景图像中的运动目标,包括人、车,同时可以忽略图像抖动、摆动的树、亮度变化、阴影、雨、雪等干扰因素的影响。

    本发明还可以用于智能视频监控系统中,用以实现目标分类识别、运动目标警戒、运动目标跟踪、PTZ跟踪、自动特写拍摄、目标行为检测、流量检测、拥挤检测、遗留物检测、被盗物检测、烟雾检测和火焰检测等功能。

    以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

运动目标跟踪方法及其系统.pdf_第1页
第1页 / 共16页
运动目标跟踪方法及其系统.pdf_第2页
第2页 / 共16页
运动目标跟踪方法及其系统.pdf_第3页
第3页 / 共16页
点击查看更多>>
资源描述

《运动目标跟踪方法及其系统.pdf》由会员分享,可在线阅读,更多相关《运动目标跟踪方法及其系统.pdf(16页珍藏版)》请在专利查询网上搜索。

本发明提供了一种运动目标跟踪方法及其系统,所述运动目标跟踪方法包括:检测目标,将视频场景中的运动目标区域从背景中分割出来;预测目标,估计目标的下一帧运动;匹配目标,跟踪匹配的稳定目标,并滤除虚假目标;和更新目标,更新当前帧中稳定目标的模板。本发明实现了复杂背景下多目标的准确跟踪,解决了遮挡、树叶摆动等问题,并且运算简便,具有很强的实用性。 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1