基于在线学习的遮挡目标跟踪方法.pdf

上传人:大师****2 文档编号:4329343 上传时间:2018-09-13 格式:PDF 页数:14 大小:4.55MB
返回 下载 相关 举报
摘要
申请专利号:

CN201210253327.0

申请日:

2012.07.20

公开号:

CN102881022A

公开日:

2013.01.16

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06T 7/20申请日:20120720|||公开

IPC分类号:

G06T7/20; H04N5/14

主分类号:

G06T7/20

申请人:

西安电子科技大学

发明人:

田小林; 焦李成; 李敏敏; 张小华; 王桂婷; 朱虎明

地址:

710071 陕西省西安市太白南路2号

优先权:

专利代理机构:

陕西电子工业专利中心 61205

代理人:

王品华;朱红星

PDF下载: PDF下载
内容摘要

本发明公开一种基于在线学习的遮挡目标跟踪方法,主要解决现有技术中当目标被遮挡时,目标发生模板漂移及目标被完全遮挡时跟踪失败的问题。其方法步骤为:(1)输入一段视频的第一帧,并人工标记出待跟踪的目标;(2)建立并初始化随机森林检测器和Kalman滤波器;(3)由随机森林检测器检测目标,由Lucas-Kanade跟踪器跟踪目标;(4)根据随机森林的检测结果和Lucas-Kanade跟踪器的跟踪结果,确定目标位置;(5)判断目标是否被遮挡;(6)判断目标是否被完全遮挡;(7)在线更新;(8)运用更新后的Kalman滤波器对目标的位置进行预测;(9)显示跟踪结果;(10)重复步骤(3)—步骤(9),直到视频图像结束。本发明具有当目标被部分遮挡或完全遮挡时跟踪准确的优点,可应用于人机交互领域。

权利要求书

权利要求书一种基于在线学习的遮挡目标跟踪方法,包括以下步骤:(1)输入一段视频中的第一帧,并人工标记出待跟踪的目标;(2)建立并初始化随机森林检测器和Kalman滤波器:2a)根据标记目标的大小取10种大小不同的滑动窗口(wi,hi),其中wi表示第i种滑动窗口的宽度,hi表示第i种滑动窗口的高度,i=1~10;2b)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,其中sj表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;2c)根据第一帧视频图像中目标的初始位置,初始化Kalman滤波器;2d)将第一帧视频图像转化为色彩‑纯度‑明度HSV颜色模型,将色彩通道H均匀量化为8个小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小区间,在正样本区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间内像素点数目,得到正样本区域的颜色直方图hisu;(3)由随机森林检测器检测目标,由Lucas‑Kanade跟踪器跟踪目标:3a)载入新一帧视频图像,以整幅图像为搜索区域,以每个像素点为滑动窗口(wi,hi)的中心,将滑动窗口(wi,hi)中的图像块作为测试样本,由随机森林检测器中的每个决策树对测试样本进行分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定检测成功,否则判定检测失败;3b)用Lucas‑Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,当跟踪到目标时,判定跟踪成功,否则判定跟踪失败;(4)根据随机森林的检测结果和Lucas‑Kanade跟踪器的跟踪结果,按如下规则确定目标位置:若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);若目标的跟踪成功、检测失败,则将跟踪结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位置进行预测,执行步骤(8);(5)判断目标是否被遮挡5a)用以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右跟踪窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗;5b)设当前帧为视频序列的第t帧视频图像,将第t帧视频图像转化为色彩‑纯度‑明度HSV颜色模型,计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左跟踪窗的颜色直方图Tru(1,t‑1)的Bhattacharyya系数ρ1(1,t),计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左预警窗的颜色直方图Alu(1,t‑1)的Bhattacharyya系数ρ2(1,t);5c)计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右跟踪窗的颜色直方图Tru(2,t‑1)的Bhattacharyya系数ρ1(2,t),计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右预警窗的颜色直方图Alu(2,t‑1)的Bhattacharyya系数ρ2(2,t);5d)在连续两帧视频图像中,若ρ2(1,t)>ρ1(1,t)或ρ2(2,t)>ρ1(2,t),则认为目标被遮挡,执行步骤(6);否则,认为目标未被遮挡,执行步骤(7);(6)计算当前视频图像中目标区域的颜色直方图hu与正样本颜色直方图hisu的Bhattacharyya系数ρ,若Bhattacharyya系数ρ小于设定阈值θ则认为目标被完全遮挡,执行步骤(8);否则,认为目标未被完全遮挡,执行步骤(9);(7)在线更新7a)在整幅图像中,以每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;7b)用新一帧视频图像中的目标位置更新Kalman滤波器;(8)运用更新后的Kalman滤波器对目标的位置进行预测;(9)根据目标框大小的变化尺度s调整目标框的宽和高,并显示;(10)重复步骤(3)—步骤(9),直到视频序列结束。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤3b)所述的用Lucas‑Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,按如下步骤进行:3b1)在t‑1时刻视频图像I1的目标区域中均匀产生一系列N个跟踪点p1,p2...pN,用Lucas‑Kanade跟踪器跟踪这些点,得到p1,p2...pN在t时刻视频图像I2中的对应点q1,q2...qN;3b2)对t时刻视频图像I2中的点q1,q2...qN,用Lucas‑Kanade跟踪器跟踪得到q1,q2...qN在t‑1时刻视频图像I1中的对应点p1',p'2...p'N;3b3)计算t‑1时刻视频图像I1中跟踪点p1,p2...pN和p1',p'2.p'N对应点之间的前向‑后向误差fb,计算p1,p2..pN和q1,q2...qN的标准互相关系数ncc,取q1,q2.qN中满足以下两个要求的点作为可信跟踪点:①前向‑后向误差fb小于前向‑后向误差中值fb_m;②标准互相关系数ncc大于标准互相关系数中值ncc_m;3b4)分别计算z个可信跟踪点在t‑1时刻视频图像I1中任意两点之间的距离ai,和可信跟踪点在t时刻视频图像I2中任意两点之间的距离bi,并将两类距离之比的均值,作为目标框大小的变化尺度s,其中i=1,2...k,!表示阶乘。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5b)所述的计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左跟踪窗的颜色直方图Tru(1,t‑1)的Bhattacharyya系数ρ1(1,t),采用如下公式计算:ρ1(1,t)=Σu=1256Tru(1,t)×Tru(1,t-1),]]>其中,u表示颜色直方图的向量维数。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5b)所述的计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左预警窗的颜色直方图Alu(1,t‑1)的Bhattacharyya系数ρ2(1,t),采用如下公式计算:ρ2(1,t)=Σu=1256Tru(1,t)×Alu(1,t-1),]]>其中,u表示颜色直方图的向量维数。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5c)所述的计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右跟踪窗的颜色直方图Tru(2,t‑1)的Bhattacharyya系数ρ1(2,t),采用如下公式计算:ρ1(2,t)=Σu=1256Tru(2,t)×Tru(2,t-1),]]>其中,u表示颜色直方图的向量维数。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5c)所述的计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右预警窗的颜色直方图Alu(2,t‑1)的Bhattacharyya系数ρ2(2,t),采用如下公式计算:ρ2(2,t)=Σu=1256Tru(2,t)×Alu(2,t-1),]]>其中,u表示颜色直方图的向量维数。根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤(6)所述的计算当前视频图像中目标区域的颜色直方图hu与正样本颜色直方图hisu的Bhattacharyya系数ρ,采用如下公式计算:ρ=Σu=1256hu×hisu]]>其中,u表示颜色直方图的向量维数。

说明书

说明书基于在线学习的遮挡目标跟踪方法
技术领域
本发明属于图像处理技术领域,涉及视频目标跟踪方法,可应用于人机交互和目标跟踪等领域。
背景技术
目标跟踪是指通过对拍摄的图像序列进行分析,从而计算出目标在每帧图像上的位置,然后得到相关的参数。目标跟踪是计算机视觉中一个必不可少的关键技术,它在机器人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。如军事方面,已被成功地应用于武器的成像制导、军事侦察和监视等。民用方面,如视觉监控,已被广泛地应用于社会生活的各方面。目标跟踪可应用于社区和重要设施的保安监控;用于智能交通系统中进行车辆的实时追踪,可以得到车流量、车型、车速、车流密度等等许多有价值的交通流参数,同时还可以检测事故或故障等突发状况。
武汉大学提出的专利申请“基于压缩域分析的Mean shift运动目标跟踪方法”(专利申请号201010181393.2,公开号CN101867798A)公开了一种基于视频压缩域分析的Mean shift运动目标跟踪方法。该方法将压缩域分析与Mean shift跟踪算法相结合,即首先对视频编码过程中产生的运动矢量进行概率统计分析,以获取目标运动方向与运动速度的估计值,再以此修正Mean shift运动候选区域的中心位置,使每次搜索开始时,候选中心位置更接近实际目标中心位置。该方法虽然提高了快速运动目标跟踪的精度,减少了算法的搜索迭代次数,提高了运算效率,但是仍然存在的不足是:当目标完全被遮挡时,则无法估计目标运动方向和运动速度,造成跟踪的失败。
上海交通大学提出的专利申请“基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法”(专利申请号201010571129.X,公开号CN102004910),公开了一种计算机视觉技术领域的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法。该方法包括以下步骤:使用局部特征点集描述目标物体;通过将新帧图像中检测得到的特征点集与目标特征点集进行图匹配得到目标局部特征点的运动与目标整体的运动之间的关系;利用最大似然估计在局部特征点运动信息上计算出目标整体运动参数;利用在线最大期望方法更新目标特征点的混合概率系数;通过监视背景特征点是否进入目标区域内来判断。该方法虽然能有效地适用于一般目标的实时跟踪,并且克服了现有跟踪方法在光照变化、形态变化、背景纷杂和目标遮挡等情况下的失效,但是这种方法采用的是检测到的特征点集和目标特征点集进行匹配的方法,所以当目标剧烈变化或者完全遮挡时,仍然无法实现跟踪。
发明内容
本发明针对上述现有技术的不足,提出一种基于在线学习的遮挡目标跟踪方法,以提高目标跟踪对目标严重遮挡和目标外表剧烈变化的鲁棒性。
实现本发明的思路是:由随机森林分类器检测目标,由Lucas‑Kanade跟踪器跟踪目标,然后根据跟踪和检测的结果,确定目标的位置,同时通过引入的遮挡判定思想,提高目标模板更新的准确性,防止目标模板在遮挡过程中的漂移,通过增加的Kalman预测方法,提高目标被严重遮挡和外表剧烈变化时的跟踪准确性。具体实现步骤包括如下:
(1)输入一段视频的第一帧,并人工标记出待跟踪的目标;
(2)建立并初始化随机森林检测器和Kalman滤波器:
2a)根据标记目标的大小取10种大小不同的滑动窗口(wi,hi),其中wi表示第i种滑动窗口的宽度,hi表示第i种滑动窗口的高度,i=1~10;
2b)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,其中sj表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;
2c)根据第一帧视频图像中目标的初始位置,初始化Kalman滤波器;
2d)将第一帧视频图像转化为色彩‑纯度‑明度HSV颜色模型,将色彩通道H均匀量化为8个小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小区间,在正样本区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间内像素点数目,得到正样本区域的颜色直方图hisu;
(3)由随机森林检测器检测目标,由Lucas‑Kanade跟踪器跟踪目标:
3a)载入新一帧视频图像,以整幅图像为搜索区域,以每个像素点为滑动窗口(wi,hi)的中心,将滑动窗口(wi,hi)中的图像块作为测试样本,由随机森林检测器中的每个决策树对测试样本进行分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定检测成功,否则判定检测失败;
3b)用Lucas‑Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,当跟踪到目标时,判定跟踪成功,否则判定跟踪失败;
(4)根据随机森林的检测结果和Lucas‑Kanade跟踪器的跟踪结果,按如下规则确定目标位置:
若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);
若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);
若目标的跟踪成功、检测失败,则将跟踪结果作为目标位置,同时更新Kalman滤波器数据,执行步骤(5);
若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位置进行预测,执行步骤(8);
(5)判断目标是否被遮挡
5a)用以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右跟踪窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗;
5b)设当前帧为视频序列的第t帧视频图像,将第t帧视频图像转化为色彩‑纯度‑明度HSV颜色模型,计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左跟踪窗的颜色直方图Tru(1,t‑1)的Bhattacharyya系数ρ1(1,t),计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左预警窗的颜色直方图Alu(1,t‑1)的Bhattacharyya系数ρ2(1,t);
5c)计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右跟踪窗的颜色直方图Tru(2,t‑1)的Bhattacharyya系数ρ1(2,t),计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右预警窗的颜色直方图Alu(2,t‑1)的Bhattacharyya系数ρ2(2,t);
5d)在连续两帧视频图像中,若ρ2(1,t)>ρ1(1,t)或ρ2(2,t)>ρ1(2,t),则认为目标被遮挡,执行步骤(6);否则,认为目标未被遮挡,执行步骤(7);
(6)计算当前视频图像中目标区域的颜色直方图hu与正样本颜色直方图hisu的Bhattacharyya系数ρ,若Bhattacharyya系数ρ小于设定阈值θ则认为目标被完全遮挡,执行步骤(8);否则,认为目标未被完全遮挡,执行步骤(9);
(7)在线更新
7a)在整幅图像中,以每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;
7b)用新一帧视频图像中的目标位置更新Kalman滤波器;
(8)运用更新后的Kalman滤波器对目标的位置进行预测;
(9)根据目标框大小的变化尺度s调整目标框的宽和高,并显示;
(10)重复步骤(3)—步骤(9),直到视频序列结束。
本发明与现有技术相比有以下优点:
第一,本发明引入了遮挡判定的思想,当判定目标处于遮挡状态时,不再对目标进行学习或者模板更新,克服了现有技术中当目标被遮挡时继续对目标进行学习,容易出现目标模板漂移的缺点,提高了遮挡情况下目标跟踪的鲁棒性。
第二,本发明采用了kalman预测的思想,克服了现有技术中当目标被完全遮挡或目标外表剧烈变化时,无法得到目标位置的问题。
第三,本发明采用了Lucas‑Kanade跟踪方法确定目标的尺度变化,克服了现有技术中目标框大小固定,不随目标大小变化的缺点。
附图说明
图1为本发明的流程图;
图2为本发明输入的第一帧视频图像;
图3为在图2中人工标记出待跟踪目标的示意图;
图4为本发明输入的新一帧视频图像;
图5为随机森林检测器和Lucas‑Kanade跟踪器对图4的跟踪结果;
图6为对图3中标记出的跟踪窗和预警窗示意图;
图7为对图4中标记出的跟踪窗和预警窗示意图。
具体实施措施
下面结合附图对发明做进一步描述。
参照图1,对本发明具体实现给出如下实施例:
步骤1,输入一段视频的第一帧,并人工标记出待跟踪的目标
本实例输入的一段视频图如图2,它为一段人脸遮挡视频的第一帧,图2中的人脸为要跟踪的目标,即对图2中用鼠标框定人脸区域作为待跟踪目标,结果如图3所示。
步骤2,建立并初始化随机森林检测器和Kalman滤波器:
2.1)根据图3中目标的大小取10种大小不同的滑动窗口(wi,hi),其中wi表示第i种滑动窗口的宽度,hi表示第i种滑动窗口的高度,i=1~10;
2.2)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,其中sj表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;
23)根据图3中目标的初始位置,初始化Kalman滤波器;
2d)将图2转化为色彩‑纯度‑明度HSV颜色模型,将色彩通道H均匀量化为8个小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小区间,在图2的目标区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间内像素点数目,得到正样本区域的颜色直方图hisu;
步骤3,由随机森林检测器检测目标,由Lucas‑Kanade跟踪器跟踪目标:
3.1)载入如图4所示的新一帧视频图像,以图4中每个像素点为滑动窗口(wi,hi)的中心,将滑动窗口(wi,hi)中的图像块作为测试样本,由随机森林检测器中的每个决策树对测试样本进行分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定检测成功,否则判定检测失败;
3.2)在图3的目标区域中均匀产生N个跟踪点p1,p2...pN,用Lucas‑Kanade跟踪器跟踪这些点,得到p1,p2...pN在图4中的对应点q1,q2...qN,对图4中的点q1,q2...qN,用Lucas‑Kanade跟踪器跟踪,得到点在图3中的对应点p1',p'2.p'N;
3.3)计算p1,p2...pN和p1',p'2...p'N对应点之间的前向‑后向误差fb,计算p1,p2...pN和q1,q2...qN的标准互相关系数ncc,取q1,q2...qN中满足以下两个要求的点作为可信跟踪点:①前向‑后向误差fb小于前向‑后向误差中值fb_m;②标准互相关系数ncc大于标准互相关系数中值ncc_m;
3.4)分别计算z个可信跟踪点在图3中任意两点之间的距离ai,和可信跟踪点在图4中任意两点之间的距离bi,并将两类距离之比ci=bi/ai的均值,作为目标框大小的变化尺度s,其中i=1,2.k,!表示阶乘。
步骤4,根据随机森林的检测结果和Lucas‑Kanade跟踪器的跟踪结果,按如下规则确定目标位置:
若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤5;
若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执行步骤5;
若目标的跟踪成功、检测失败,则将跟踪结果作为目标位置,同时更新Kalman滤波器数据,执行步骤5;
若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位置进行预测,执行步骤8;
上述4种情况下的跟踪结果如图5中的方框所示。
步骤5,判断目标是否被遮挡
5.1)以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右跟踪窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗,如图7所示;
5.2)将图4转化为色彩‑纯度‑明度HSV颜色模型,计算图7中左跟踪窗的颜色直方图Tru(1,t)与图6中左跟踪窗的颜色直方图Tru(1,t‑1)的Bhattacharyya系数计算图7中左跟踪窗的颜色直方图Tru(1,t)与图6中左预警窗的颜色直方图Alu(1,t‑1)的Bhattacharyya系数其中u表示颜色直方图的向量维数;
5.3)计算图7中右跟踪窗的颜色直方图Tru(2,t)与图6中右跟踪窗的颜色直方图Tru(2,t‑1)的Bhattacharyya系数计算图7中右跟踪窗的颜色直方图Tru(2,t)与图6中右预警窗的颜色直方图Alu(2,t‑1)的Bhattacharyya系数其中u表示颜色直方图的向量维数;
5.4)在连续两帧视频图像中,若ρ2(1,t)>ρ1(1,t)或ρ2(2,t)>ρ1(2,t),则认为目标被遮挡,执行步骤6;否则,认为目标未被遮挡,执行步骤7;
步骤6,计算图5中目标区域的颜色直方图hu与正样本颜色直方图hisu的Bhattacharyya系数若Bhattacharyya系数ρ小于设定阈值θ则认为目标被完全遮挡,执行步骤8;否则,认为目标未被完全遮挡,执行步骤9;
步骤7,在线更新
7.1)以图4中每个像素点为滑动窗口(wi,hi)的中心提取图像块,计算每个图像块与目标区域的面积重叠比oj=sj/m,将面积重叠比最大的10个图像块所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本,训练随机森林检测器;
7.2)用图4中的目标位置更新Kalman滤波器;
步骤8,运用更新后的Kalman滤波器对目标的位置进行预测;
步骤9,根据目标框大小的变化尺度s,按照如下公式调整目标框的宽和高,并显示
ws=w×s,
hs=h×s,
其中,w表示调整前的目标框宽,s表示目标框大小的变化尺度,ws表示调整后的目标框宽,h表示调整前的目标框高,hs表示调整后的目标框高。
步骤10,重复步骤3—步骤9,直到视频序列结束。
以上是本发明的一个实例,并不构成对本发明的任何限制,仿真实验表明,本发明不仅能实现对目标严重遮挡和外表剧烈变化的正确跟踪,也能实现对有尺度变化目标的有效跟踪。

基于在线学习的遮挡目标跟踪方法.pdf_第1页
第1页 / 共14页
基于在线学习的遮挡目标跟踪方法.pdf_第2页
第2页 / 共14页
基于在线学习的遮挡目标跟踪方法.pdf_第3页
第3页 / 共14页
点击查看更多>>
资源描述

《基于在线学习的遮挡目标跟踪方法.pdf》由会员分享,可在线阅读,更多相关《基于在线学习的遮挡目标跟踪方法.pdf(14页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102881022 A (43)申请公布日 2013.01.16 C N 1 0 2 8 8 1 0 2 2 A *CN102881022A* (21)申请号 201210253327.0 (22)申请日 2012.07.20 G06T 7/20(2006.01) H04N 5/14(2006.01) (71)申请人西安电子科技大学 地址 710071 陕西省西安市太白南路2号 (72)发明人田小林 焦李成 李敏敏 张小华 王桂婷 朱虎明 (74)专利代理机构陕西电子工业专利中心 61205 代理人王品华 朱红星 (54) 发明名称 基于在线学习的遮挡目标跟踪方法 (。

2、57) 摘要 本发明公开一种基于在线学习的遮挡目标跟 踪方法,主要解决现有技术中当目标被遮挡时, 目标发生模板漂移及目标被完全遮挡时跟踪失 败的问题。其方法步骤为:(1)输入一段视频的 第一帧,并人工标记出待跟踪的目标;(2)建立 并初始化随机森林检测器和Kalman滤波器;(3) 由随机森林检测器检测目标,由Lucas-Kanade 跟踪器跟踪目标;(4)根据随机森林的检测结果 和Lucas-Kanade跟踪器的跟踪结果,确定目标 位置;(5)判断目标是否被遮挡;(6)判断目标是 否被完全遮挡;(7)在线更新;(8)运用更新后的 Kalman滤波器对目标的位置进行预测;(9)显示 跟踪结果;。

3、(10)重复步骤(3)步骤(9),直到视 频图像结束。本发明具有当目标被部分遮挡或完 全遮挡时跟踪准确的优点,可应用于人机交互领 域。 (51)Int.Cl. 权利要求书3页 说明书6页 附图4页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 6 页 附图 4 页 1/3页 2 1.一种基于在线学习的遮挡目标跟踪方法,包括以下步骤: (1)输入一段视频中的第一帧,并人工标记出待跟踪的目标; (2)建立并初始化随机森林检测器和Kalman滤波器: 2a)根据标记目标的大小取10种大小不同的滑动窗口(w i ,h i ),其中w i 表示第i种滑动 窗口的。

4、宽度,h i 表示第i种滑动窗口的高度,i110; 2b)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点为滑 动窗口(w i ,h i )的中心提取图像块,计算每个图像块与目标区域的面积重叠比o j s j /m,其 中s j 表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块所在 的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区 域作为负样本,训练随机森林检测器; 2c)根据第一帧视频图像中目标的初始位置,初始化Kalman滤波器; 2d)将第一帧视频图像转化为色彩-纯度-明度HSV颜色模型,将色彩通道H均匀量 化为8。

5、个小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小区 间,在正样本区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间 内像素点数目,得到正样本区域的颜色直方图his u ; (3)由随机森林检测器检测目标,由Lucas-Kanade跟踪器跟踪目标: 3a)载入新一帧视频图像,以整幅图像为搜索区域,以每个像素点为滑动窗口(w i ,h i ) 的中心,将滑动窗口(w i ,h i )中的图像块作为测试样本,由随机森林检测器中的每个决策树 对测试样本进行分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定检测成 功,否则判定检测失败; 3b)用Lu。

6、cas-Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,当跟踪到目标 时,判定跟踪成功,否则判定跟踪失败; (4)根据随机森林的检测结果和Lucas-Kanade跟踪器的跟踪结果,按如下规则确定目 标位置: 若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数据,执 行步骤(5); 若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器 数据,执行步骤(5); 若目标的跟踪成功、检测失败,则将跟踪结果作为目标位置,同时更新Kalman滤波器 数据,执行步骤(5); 若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位。

7、置进行预 测,执行步骤(8); (5)判断目标是否被遮挡 5a)用以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右跟踪 窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗; 5b)设当前帧为视频序列的第t帧视频图像,将第t帧视频图像转化为色彩-纯度-明 度HSV颜色模型,计算第t帧视频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1帧视频 图像中左跟踪窗的颜色直方图Tr u (1,t-1)的Bhattacharyya系数1(1,t),计算第t帧视 频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1帧视频图像中左预警窗的颜色直方图 权 利 要 求 书CN 1。

8、02881022 A 2/3页 3 Al u (1,t-1)的Bhattacharyya系数2(1,t); 5c)计算第t帧视频图像中右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图像中右 跟踪窗的颜色直方图Tr u (2,t-1)的Bhattacharyya系数1(2,t),计算第t帧视频图像中 右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图像中右预警窗的颜色直方图Al u (2,t-1) 的Bhattacharyya系数2(2,t); 5d)在连续两帧视频图像中,若2(1,t)1(1,t)或2(2,t)1(2,t),则认为目 标被遮挡,执行步骤(6);否则,认为目标未。

9、被遮挡,执行步骤(7); (6)计算当前视频图像中目标区域的颜色直方图h u 与正样本颜色直方图his u 的 Bhattacharyya系数,若Bhattacharyya系数小于设定阈值则认为目标被完全遮 挡,执行步骤(8);否则,认为目标未被完全遮挡,执行步骤(9); (7)在线更新 7a)在整幅图像中,以每个像素点为滑动窗口(w i ,h i )的中心提取图像块,计算每个图 像块与目标区域的面积重叠比o j s j /m,将面积重叠比最大的10个图像块所在的区域作 为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负 样本,训练随机森林检测器; 7b)用新一帧视。

10、频图像中的目标位置更新Kalman滤波器; (8)运用更新后的Kalman滤波器对目标的位置进行预测; (9)根据目标框大小的变化尺度s调整目标框的宽和高,并显示; (10)重复步骤(3)步骤(9),直到视频序列结束。 2.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤3b)所述的用 Lucas-Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,按如下步骤进行: 3b1)在t-1时刻视频图像I1的目标区域中均匀产生一系列N个跟踪点p 1 ,p 2 .p N , 用Lucas-Kanade跟踪器跟踪这些点,得到p 1 ,p 2 .p N 在t时刻视频图像I2中的对应点 q 1。

11、 ,q 2 .q N ; 3b2)对t时刻视频图像I2中的点q 1 ,q 2 .q N ,用Lucas-Kanade跟踪器跟踪得到 q 1 ,q 2 .q N 在t-1时刻视频图像I1中的对应点p 1 ,p 2 .p N ; 3b3)计算t-1时刻视频图像I1中跟踪点p 1 ,p 2 .p N 和p 1 ,p 2 .p N 对应点之间的前 向-后向误差fb,计算p 1 ,p 2 p N 和q 1 ,q 2 .q N 的标准互相关系数ncc,取q 1 ,q 2 .q N 中满足以 下两个要求的点作为可信跟踪点:前向-后向误差fb小于前向-后向误差中值fb_m; 标准互相关系数ncc大于标准互相关。

12、系数中值ncc_m; 3b4)分别计算z个可信跟踪点在t-1时刻视频图像I1中任意两点之间的距离a i ,和 可信跟踪点在t时刻视频图像I2中任意两点之间的距离b i ,并将两类距离之比的均 值,作为目标框大小的变化尺度s,其中i1,2.k,!表示阶乘。 3.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5b)所述的计 算第t帧视频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1帧视频图像中左跟踪窗的 颜色直方图Tr u (1,t-1)的Bhattacharyya系数1(1,t),采用如下公式计算: 权 利 要 求 书CN 102881022 A 3/3页 4 其中,u表。

13、示颜色直方图的向量维数。 4.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5b)所述的计 算第t帧视频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1帧视频图像中左预警窗的 颜色直方图Al u (1,t-1)的Bhattacharyya系数2(1,t),采用如下公式计算: 其中,u表示颜色直方图的向量维数。 5.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5c)所述的计 算第t帧视频图像中右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图像中右跟踪窗的 颜色直方图Tr u (2,t-1)的Bhattacharyya系数1(2,t),采用如下公式计。

14、算: 其中,u表示颜色直方图的向量维数。 6.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤5c)所述的计 算第t帧视频图像中右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图像中右预警窗的 颜色直方图Al u (2,t-1)的Bhattacharyya系数2(2,t),采用如下公式计算: 其中,u表示颜色直方图的向量维数。 7.根据权利要求1所述的基于在线学习的遮挡目标跟踪方法,其中步骤(6)所述的计 算当前视频图像中目标区域的颜色直方图h u 与正样本颜色直方图his u 的Bhattacharyya 系数,采用如下公式计算: 其中,u表示颜色直方图的向量维数。 权 。

15、利 要 求 书CN 102881022 A 1/6页 5 基于在线学习的遮挡目标跟踪方法 技术领域 0001 本发明属于图像处理技术领域,涉及视频目标跟踪方法,可应用于人机交互和目 标跟踪等领域。 背景技术 0002 目标跟踪是指通过对拍摄的图像序列进行分析,从而计算出目标在每帧图像上的 位置,然后得到相关的参数。目标跟踪是计算机视觉中一个必不可少的关键技术,它在机器 人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。如军 事方面,已被成功地应用于武器的成像制导、军事侦察和监视等。民用方面,如视觉监控,已 被广泛地应用于社会生活的各方面。目标跟踪可应用于社区和重要设施。

16、的保安监控;用于 智能交通系统中进行车辆的实时追踪,可以得到车流量、车型、车速、车流密度等等许多有 价值的交通流参数,同时还可以检测事故或故障等突发状况。 0003 武汉大学提出的专利申请“基于压缩域分析的Mean shift运动目标跟踪方法”(专 利申请号201010181393.2,公开号CN101867798A)公开了一种基于视频压缩域分析的Mean shift运动目标跟踪方法。该方法将压缩域分析与Mean shift跟踪算法相结合,即首先对 视频编码过程中产生的运动矢量进行概率统计分析,以获取目标运动方向与运动速度的估 计值,再以此修正Mean shift运动候选区域的中心位置,使每次。

17、搜索开始时,候选中心位置 更接近实际目标中心位置。该方法虽然提高了快速运动目标跟踪的精度,减少了算法的搜 索迭代次数,提高了运算效率,但是仍然存在的不足是:当目标完全被遮挡时,则无法估计 目标运动方向和运动速度,造成跟踪的失败。 0004 上海交通大学提出的专利申请“基于SURF特征点图匹配和运动生成模型的视频 目标跟踪方法”(专利申请号201010571129.X,公开号CN102004910),公开了一种计算机视 觉技术领域的基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法。该方法包括 以下步骤:使用局部特征点集描述目标物体;通过将新帧图像中检测得到的特征点集与目 标特征点集进行图。

18、匹配得到目标局部特征点的运动与目标整体的运动之间的关系;利用最 大似然估计在局部特征点运动信息上计算出目标整体运动参数;利用在线最大期望方法更 新目标特征点的混合概率系数;通过监视背景特征点是否进入目标区域内来判断。该方法 虽然能有效地适用于一般目标的实时跟踪,并且克服了现有跟踪方法在光照变化、形态变 化、背景纷杂和目标遮挡等情况下的失效,但是这种方法采用的是检测到的特征点集和目 标特征点集进行匹配的方法,所以当目标剧烈变化或者完全遮挡时,仍然无法实现跟踪。 发明内容 0005 本发明针对上述现有技术的不足,提出一种基于在线学习的遮挡目标跟踪方法, 以提高目标跟踪对目标严重遮挡和目标外表剧烈变。

19、化的鲁棒性。 0006 实现本发明的思路是:由随机森林分类器检测目标,由Lucas-Kanade跟踪器跟 踪目标,然后根据跟踪和检测的结果,确定目标的位置,同时通过引入的遮挡判定思想,提 说 明 书CN 102881022 A 2/6页 6 高目标模板更新的准确性,防止目标模板在遮挡过程中的漂移,通过增加的Kalman预测方 法,提高目标被严重遮挡和外表剧烈变化时的跟踪准确性。具体实现步骤包括如下: 0007 (1)输入一段视频的第一帧,并人工标记出待跟踪的目标; 0008 (2)建立并初始化随机森林检测器和Kalman滤波器: 0009 2a)根据标记目标的大小取10种大小不同的滑动窗口(w。

20、 i ,h i ),其中w i 表示第i种 滑动窗口的宽度,h i 表示第i种滑动窗口的高度,i110; 0010 2b)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点 为滑动窗口(w i ,h i )的中心提取图像块,计算每个图像块与目标区域的面积重叠比o j s j / m,其中s j 表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块 所在的区域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在 的区域作为负样本,训练随机森林检测器; 0011 2c)根据第一帧视频图像中目标的初始位置,初始化Kalman滤波器; 0012 2。

21、d)将第一帧视频图像转化为色彩-纯度-明度HSV颜色模型,将色彩通道H均匀 量化为8个小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小 区间,在正样本区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区 间内像素点数目,得到正样本区域的颜色直方图his u ; 0013 (3)由随机森林检测器检测目标,由Lucas-Kanade跟踪器跟踪目标: 0014 3a)载入新一帧视频图像,以整幅图像为搜索区域,以每个像素点为滑动窗口 (w i ,h i )的中心,将滑动窗口(w i ,h i )中的图像块作为测试样本,由随机森林检测器中的每个 决策树对测试样本进行。

22、分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定 检测成功,否则判定检测失败; 0015 3b)用Lucas-Kanade跟踪器跟踪目标,获得目标框大小的尺度变化s,当跟踪到目 标时,判定跟踪成功,否则判定跟踪失败; 0016 (4)根据随机森林的检测结果和Lucas-Kanade跟踪器的跟踪结果,按如下规则确 定目标位置: 0017 若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数 据,执行步骤(5); 0018 若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤 波器数据,执行步骤(5); 0019 若目标的跟踪成功、检测失。

23、败,则将跟踪结果作为目标位置,同时更新Kalman滤 波器数据,执行步骤(5); 0020 若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位置进 行预测,执行步骤(8); 0021 (5)判断目标是否被遮挡 0022 5a)用以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右 跟踪窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗; 0023 5b)设当前帧为视频序列的第t帧视频图像,将第t帧视频图像转化为色彩-纯 度-明度HSV颜色模型,计算第t帧视频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1 帧视频图像中左跟踪窗的颜色直方图Tr u。

24、 (1,t-1)的Bhattacharyya系数1(1,t),计算第 说 明 书CN 102881022 A 3/6页 7 t帧视频图像中左跟踪窗的颜色直方图Tr u (1,t)与第t-1帧视频图像中左预警窗的颜色直 方图Al u (1,t-1)的Bhattacharyya系数2(1,t); 0024 5c)计算第t帧视频图像中右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图 像中右跟踪窗的颜色直方图Tr u (2,t-1)的Bhattacharyya系数1(2,t),计算第t帧视 频图像中右跟踪窗的颜色直方图Tr u (2,t)与第t-1帧视频图像中右预警窗的颜色直方图 Al u 。

25、(2,t-1)的Bhattacharyya系数2(2,t); 0025 5d)在连续两帧视频图像中,若2(1,t)1(1,t)或2(2,t)1(2,t),则认 为目标被遮挡,执行步骤(6);否则,认为目标未被遮挡,执行步骤(7); 0026 (6)计算当前视频图像中目标区域的颜色直方图h u 与正样本颜色直方图his u 的 Bhattacharyya系数,若Bhattacharyya系数小于设定阈值则认为目标被完全遮 挡,执行步骤(8);否则,认为目标未被完全遮挡,执行步骤(9); 0027 (7)在线更新 0028 7a)在整幅图像中,以每个像素点为滑动窗口(w i ,h i )的中心提取。

26、图像块,计算每 个图像块与目标区域的面积重叠比o j s j /m,将面积重叠比最大的10个图像块所在的区 域作为正样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作 为负样本,训练随机森林检测器; 0029 7b)用新一帧视频图像中的目标位置更新Kalman滤波器; 0030 (8)运用更新后的Kalman滤波器对目标的位置进行预测; 0031 (9)根据目标框大小的变化尺度s调整目标框的宽和高,并显示; 0032 (10)重复步骤(3)步骤(9),直到视频序列结束。 0033 本发明与现有技术相比有以下优点: 0034 第一,本发明引入了遮挡判定的思想,当判定目标处于遮。

27、挡状态时,不再对目标进 行学习或者模板更新,克服了现有技术中当目标被遮挡时继续对目标进行学习,容易出现 目标模板漂移的缺点,提高了遮挡情况下目标跟踪的鲁棒性。 0035 第二,本发明采用了kalman预测的思想,克服了现有技术中当目标被完全遮挡或 目标外表剧烈变化时,无法得到目标位置的问题。 0036 第三,本发明采用了Lucas-Kanade跟踪方法确定目标的尺度变化,克服了现有技 术中目标框大小固定,不随目标大小变化的缺点。 附图说明 0037 图1为本发明的流程图; 0038 图2为本发明输入的第一帧视频图像; 0039 图3为在图2中人工标记出待跟踪目标的示意图; 0040 图4为本发。

28、明输入的新一帧视频图像; 0041 图5为随机森林检测器和Lucas-Kanade跟踪器对图4的跟踪结果; 0042 图6为对图3中标记出的跟踪窗和预警窗示意图; 0043 图7为对图4中标记出的跟踪窗和预警窗示意图。 0044 具体实施措施 0045 下面结合附图对发明做进一步描述。 说 明 书CN 102881022 A 4/6页 8 0046 参照图1,对本发明具体实现给出如下实施例: 0047 步骤1,输入一段视频的第一帧,并人工标记出待跟踪的目标 0048 本实例输入的一段视频图如图2,它为一段人脸遮挡视频的第一帧,图2中的人脸 为要跟踪的目标,即对图2中用鼠标框定人脸区域作为待跟踪。

29、目标,结果如图3所示。 0049 步骤2,建立并初始化随机森林检测器和Kalman滤波器: 0050 2.1)根据图3中目标的大小取10种大小不同的滑动窗口(w i ,h i ),其中w i 表示第 i种滑动窗口的宽度,h i 表示第i种滑动窗口的高度,i110; 0051 2.2)设定随机森林检测器中的决策树数目为10个,在整幅图像中,以每个像素点 为滑动窗口(w i ,h i )的中心提取图像块,计算每个图像块与目标区域的面积重叠比o j s j / m,其中s j 表示第j个图像块的面积,m表示目标的面积,将面积重叠比最大的10个图像块 所在的区域作为正样本,训练随机森林检测器,将面积重。

30、叠比小于设定阈值的图像块所在 的区域作为负样本,训练随机森林检测器; 0052 23)根据图3中目标的初始位置,初始化Kalman滤波器; 0053 2d)将图2转化为色彩-纯度-明度HSV颜色模型,将色彩通道H均匀量化为8个 小区间,将纯度通道S均匀量化为8个小区间,将明度通道V均匀量化为4个小区间,在图 2的目标区域中,分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间内像 素点数目,得到正样本区域的颜色直方图his u ; 0054 步骤3,由随机森林检测器检测目标,由Lucas-Kanade跟踪器跟踪目标: 0055 3.1)载入如图4所示的新一帧视频图像,以图4中每个像素。

31、点为滑动窗口(w i ,h i ) 的中心,将滑动窗口(w i ,h i )中的图像块作为测试样本,由随机森林检测器中的每个决策树 对测试样本进行分类,得到测试样本属于目标的概率p,当p大于设定阈值时,判定检测成 功,否则判定检测失败; 0056 3.2)在图3的目标区域中均匀产生N个跟踪点p 1 ,p 2 .p N ,用Lucas-Kanade跟踪 器跟踪这些点,得到p 1 ,p 2 .p N 在图4中的对应点q 1 ,q 2 .q N ,对图4中的点q 1 ,q 2 .q N ,用 Lucas-Kanade跟踪器跟踪,得到点在图3中的对应点p 1 ,p 2 .p N ; 0057 3.3)。

32、计算p 1 ,p 2 .p N 和p 1 ,p 2 .p N 对应点之间的前向-后向误差fb,计算 p 1 ,p 2 .p N 和q 1 ,q 2 .q N 的标准互相关系数ncc,取q 1 ,q 2 .q N 中满足以下两个要求的点作 为可信跟踪点:前向-后向误差fb小于前向-后向误差中值fb_m;标准互相关系数 ncc大于标准互相关系数中值ncc_m; 0058 3.4)分别计算z个可信跟踪点在图3中任意两点之间的距离a i ,和可信跟踪点在 图4中任意两点之间的距离b i ,并将两类距离之比c i b i /a i 的均值,作为目标框大小的变 化尺度s,其中i1,2.k,!表示阶乘。 0。

33、059 步骤4,根据随机森林的检测结果和Lucas-Kanade跟踪器的跟踪结果,按如下规 则确定目标位置: 0060 若跟踪成功、检测成功,则将检测结果作为目标位置,同时更新Kalman滤波器数 据,执行步骤5; 0061 若目标的跟踪失败、检测成功,则将检测结果作为目标位置,同时更新Kalman滤 波器数据,执行步骤5; 说 明 书CN 102881022 A 5/6页 9 0062 若目标的跟踪成功、检测失败,则将跟踪结果作为目标位置,同时更新Kalman滤 波器数据,执行步骤5; 0063 若目标的跟踪失败、检测失败,则运用已经建立的Kalman滤波器对目标的位置进 行预测,执行步骤8。

34、; 0064 上述4种情况下的跟踪结果如图5中的方框所示。 0065 步骤5,判断目标是否被遮挡 0066 5.1)以目标中心的对称点把目标跟踪框分为左右两个部分,称为左跟踪窗和右跟 踪窗,同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗,如图7所示; 0067 5.2)将图4转化为色彩-纯度-明度HSV颜色模型,计算图7中左跟踪窗的颜 色直方图Tr u (1,t)与图6中左跟踪窗的颜色直方图Tr u (1,t-1)的Bhattacharyya系数 计算图7中左跟踪窗的颜色直方图Tr u (1,t)与图6中左预 警窗的颜色直方图Al u (1,t-1)的Bhattacharyya系数其 中。

35、u表示颜色直方图的向量维数; 0068 5.3)计算图7中右跟踪窗的颜色直方图Tr u (2,t)与图6中右跟踪窗的颜色直方 图Tr u (2,t-1)的Bhattacharyya系数计算图7中右跟踪 窗的颜色直方图Tr u (2,t)与图6中右预警窗的颜色直方图Al u (2,t-1)的Bhattacharyya 系数其中u表示颜色直方图的向量维数; 0069 5.4)在连续两帧视频图像中,若2(1,t)1(1,t)或2(2,t)1(2,t),则认 为目标被遮挡,执行步骤6;否则,认为目标未被遮挡,执行步骤7; 0070 步骤6,计算图5中目标区域的颜色直方图h u 与正样本颜色直方图his。

36、 u 的 Bhattacharyya系数若Bhattacharyya系数小于设定阈值则认为目 标被完全遮挡,执行步骤8;否则,认为目标未被完全遮挡,执行步骤9; 0071 步骤7,在线更新 0072 7.1)以图4中每个像素点为滑动窗口(w i ,h i )的中心提取图像块,计算每个图像块 与目标区域的面积重叠比o j s j /m,将面积重叠比最大的10个图像块所在的区域作为正 样本,训练随机森林检测器,将面积重叠比小于设定阈值的图像块所在的区域作为负样本, 训练随机森林检测器; 0073 7.2)用图4中的目标位置更新Kalman滤波器; 0074 步骤8,运用更新后的Kalman滤波器对。

37、目标的位置进行预测; 0075 步骤9,根据目标框大小的变化尺度s,按照如下公式调整目标框的宽和高,并显 示 0076 w s ws, 0077 h s hs, 0078 其中,w表示调整前的目标框宽,s表示目标框大小的变化尺度,w s 表示调整后的 目标框宽,h表示调整前的目标框高,h s 表示调整后的目标框高。 说 明 书CN 102881022 A 6/6页 10 0079 步骤10,重复步骤3步骤9,直到视频序列结束。 0080 以上是本发明的一个实例,并不构成对本发明的任何限制,仿真实验表明,本发明 不仅能实现对目标严重遮挡和外表剧烈变化的正确跟踪,也能实现对有尺度变化目标的有 效跟踪。 说 明 书CN 102881022 A 10 1/4页 11 图1 说 明 书 附 图CN 102881022 A 11 2/4页 12 图2 图3 说 明 书 附 图CN 102881022 A 12 3/4页 13 图4 图5 说 明 书 附 图CN 102881022 A 13 4/4页 14 图6 图7 说 明 书 附 图CN 102881022 A 14 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1