基于三维视觉系统图像特征和三维信息的运动估计方法.pdf

上传人:sha****007 文档编号:6231208 上传时间:2019-05-23 格式:PDF 页数:23 大小:3.23MB
返回 下载 相关 举报
摘要
申请专利号:

CN201310544349.7

申请日:

2013.11.05

公开号:

CN103559711A

公开日:

2014.02.05

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06T 7/00申请日:20131105|||公开

IPC分类号:

G06T7/00

主分类号:

G06T7/00

申请人:

余洪山

发明人:

余洪山; 罗堪; 蔺薛菲; 王耀南; 赵科; 孙欢; 万琴; 朱江; 段峰; 代扬

地址:

410082 湖南省长沙市麓山南路2号湖南大学电气与信息工程学院

优先权:

专利代理机构:

代理人:

PDF下载: PDF下载
内容摘要

本发明公开了一种基于三维视觉系统图像特征和三维信息的运动估计方法,该方法基于三维视觉系统实时获取场景二维图像信息和按二维图像像素对应的空间三维信息;采用相邻帧采样间隔自适应调整方法控制相邻帧采集间隔,根据t-1时刻和t时刻相邻帧之间有效匹配图像特征点对数目,自动调整t+1时刻相对t时刻的采样间隔,在满足三维估计准确性和可靠性的基础上有效减少了计算量;根据当前相邻帧二维图像特征匹配点对数目,综合场景二维图像特征和三维点云信息进行三维运动估计,获得高精度的三维运动估计,具有计算量小,应用场景限制性小等优点。

权利要求书

权利要求书
1.  一种基于三维视觉系统图像特征和三维信息的运动估计方法,其特征在于,包括以下步骤:
步骤1:基于三维视觉系统,动态确定相邻帧场景之间的采样间隔Δt;
步骤2:按照步骤1确定的采样间隔Δt,利用三维视觉系统分别在t时刻和t+1时刻获取相邻帧场景的二维彩色图像It和It+1、场景对应的三维点云Dt和Dt+1;
步骤3:利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配,得到相邻帧场景的匹配图像特征点对集合M;
步骤4:剔除集合M中的误匹配图像特征点对,得到最终的匹配图像特征点对集合M3;
1)基于双向一致性检查的误匹配剔除;
采用欧式距离作为特征点128维向量描述子的相似性度量,对t+1时刻的二维彩色图像It+1的任一图像特征点Fit+1,依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构成匹配特征点对集合M′,M和M′的交集构成新的匹配图像特征点对集合M1,以剔除非双向一致的误匹配图像特征点对;
2)基于颜色一致性检查的误匹配剔除;
步骤a:分别提取t时刻和t+1时刻获取的二维彩色图像It和It+1的HSV空间颜色信息;
步骤b:依据1)中获得的匹配特征点对集合M1,建立集合M1中所有特征点的HSV空间分量的索引信息;
所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系;
步骤c:依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M1,分别获取匹配特征点对集合M1的HSV信息[Ht,St,Vt]和[Ht+1,St+1,Vt+1],其中,[Ht,St,Vt]为M1中t时刻二维彩色图像匹配特征点对应的HSV信息,[Ht+1,St+1,Vt+1]为M1中t+1时刻二维彩色图像匹配特征点对应的HSV信息;
步骤d:对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性检查处理,若同时满足如下约束,则认为是正确匹配点对,否则认为是误匹配点对,并从M1中剔除,得到新的匹配特征点对集合M2;
约束判定条件如下:
|Ht(Fit)-Ht+1(Fjt+1)|TH|St(Fit)-St+1(Fjt+1)|TS|Vt(Fit)-Vt+1(Fjt+1)|TV]]>
其中,TH为H分量阈值,TS为S分量阈值,TV为V分量阈值,取值范围分别为:TH∈(0,π),TS∈(0,0.5),TV∈(0,0.5);
3)采用RANSAC算法对匹配特征点对集合M2中的误匹配进一步剔除,得到最终的匹配特征点对集合M3;
步骤5:如果集合M3中匹配特征点对数目大于设定的阈值N2,转入步骤6;否则转入步骤7;
步骤6:基于集合M3中相邻场景所有匹配特征点对的对应三维点云信息,利用ICP(Iterative Closest Point,迭代最近点)算法,求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T,获取相邻帧的三维运动估计,并转入步骤9;
步骤7:依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt,依据三维视觉系统呈匀速直线运动,线性估计t+1时刻相对于t时刻的三维运动信息初始估计值R0和T0;
R0=Δtt+1*RtΔtt,T0=Δtt+1*TtΔtt]]>
Δtt为t时刻和t-1时刻相邻帧之间的采样间隔,Δtt+1t+1时刻和t时刻相邻帧之间的采样间隔;
步骤8:基于相邻帧三维点云数据Dt和Dt+1、三维运动初始估计值R0和T0,采用ICP算法估计相邻帧的三维运动R和平移向量T;
根据三维运动估计初值(旋转矩阵R0和平移向量T0)、t时刻场景的三维点云Dt、t+1时刻场景的三维点云Dt,通过ICP迭代算法,计算t+1时刻相对于t时刻的三维旋转向量R和平移向量T,即获得相邻两帧的三维运动估计;
步骤9:若机器人系统运动结束,无需对三维运动进行估计,则退出三维运动估计;否则转至步骤1重复继续进行下一个采样时刻与相邻帧的三维运动估计。

2.  根据权利要求1所述的基于三维视觉系统图像特征和三维信息的运动估计方法,其特征在于,所述步骤1中相邻帧场景之间的采样间隔Δt的确定依据如下:
所述三维视觉系统的采样频率范围为[fmin,fmax],相邻帧场景的动态采样间隔Δt变化范围为[Δtmin,Δtmax],其中Δt最小值Δtmin=1/fmax,最大值ΔtMax=1/fmin;
采样间隔Δt的初始值设定为Δtmin;在运动过程中,基于t-1时刻和t时刻相邻帧的匹配图像特征点对集合M3中匹配图像特征点对数目Num(M3)和当前采样间隔Δtt,依据表1动态确定下一步采样间隔Δtt+1:
表1相邻帧之间采样间隔Δt动态计算

其中,Max()为取最大值函数,Min()为取最小值函数,Num(M3)为M3中的匹配特征点对数目;间隔调整最小步长其中L为采样间隔的等级数,取值范围为4-20;N1和N2分别为相邻帧匹配图像特征点对数目阈值,其中N2>N1,其取值范围是N1≥10,N2≥20。

3.  根据权利要求2所述的基于三维视觉系统图像特征和三维信息的运动估计方法,其特征在于,所述步骤3利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配,得到相邻帧场景的匹配特征点对集合M的具体步骤如下:
1)对t时刻和t+1时刻获取的相邻场景的二维彩色图像It和It+1,利用SIFT算法分别提取尺度旋转不变特征点集合Ft和Ft+1;
2)对Ft的任一特征点Fit,采用欧式距离作为特征点128维向量描述子的相似性度量,然后从t+1时刻获取的二维彩色图像特征点Ft+1中,依次找出与Fit匹配的特征点构成匹配特征点对
3)对Ft中所有特征点执行步骤2),得到匹配特征点对集合M。

4.  根据权利要求1-3任一项所述的基于三维视觉系统图像特征和三维信息的运动估计方法,其特征在于,所述步骤4误匹配点剔除中的3)采用RANSAC算法对匹配特征点对集合M2中的误匹配进一步剔除,得到最终的匹配特征点对集合M3的具体步骤如下:
①随机选择M2中的s组匹配特征点对组成随机样本集M3,并基于该样本计算匹配模型H;即使得匹配特征点对满足如下方程:
H×Xit=Xjt+1,]]>其中H=h1h2h3h4h5h6h7h8h9,Xit=xiyi1,Xjt=xjyj1]]>
②用①中计算的模型H,对M2未选中的其它样本数据进行测试,若则该特征点对适用于估计的模型H,并称之为模型H的内点,放入M3;否则认为它是外点;其中表示特征点相对于模型H的映射点和匹配对应点的欧式距离,Td为距离阈值,×表示矩阵乘运算;
③重复K次采样,选择内点数目最多的集合M3;
K=log(1-p)log(1-(1-ϵ)s)]]>
其中,ε为M2中的误匹配点对占所有匹配点对的比例,p为设定的匹配成功概率期望值,s为采样数目,s≥4;
④利用M3中的样本数据重新估计计算模型参数H;
⑤利用模型H重新测试样本集M2,确定新的集合M3;反复执行步骤④⑤,直至M3中的匹配特征点对数目前后相差不超过5%-10%为止。

说明书

说明书基于三维视觉系统图像特征和三维信息的运动估计方法
技术领域
本发明涉及一种基于三维视觉系统图像特征和三维信息的运动估计方法。
背景技术
高精度高可靠的三维运动估计是机器人领域的研究难点和热点之一,其目标是实时计算出相邻两相邻时刻机器人三维空间位置变化量,是机器人自定位、地图创建、三维重建、运动跟踪等研究的核心内容。传统惯性导航系统原理简单,被广泛应用于运动估计,但是其存在漂移、误差累计等问题,其对应运动估计的精度低、可靠性比较差。相对于惯性导航系统,基于视觉的运动估计不存在物理漂移问题,具有较高的稳定性。目前基于单目视觉的运动估计无法获得三维相对运动的尺度信息;立体摄像机可获得三维运动估计,但是存在计算量大、可靠性受环境和噪声影响大、测量精度超过景深范围后急速下降等问题。随着三维激光测距仪、三维摄像机等三维传感器的引入,空间环境的三维信息实时获取成为可能。基于ICP的三维点云匹配算法开始被应用于相邻两帧的三维信息估计。但是由于噪声、误差和不匹配区域比例的增长,ICP迭代算法容易陷入局部优化解,从而该类算法仅在较小空间变换范围内或基于较好的初始估计情况下可获得准确的估计结果。为实现精确可靠的三维运动估计,通常采用高频率采样获取相邻帧三维信息,从而将相邻帧空间变换限制在较小范围;而高频率采样必然导致计算量巨大,难以实时应用。相对于三维激光测距仪,三维摄像机不仅可获得场景二维彩色图像信息,还可以获得空间场景对应的三维信息,如Kinect、SR4000等三维摄像机等。基于此人们提出基于相邻帧图像的不变性特征点构成三维点集求解三维运动的初始估计,以提高ICP算法的估计性能。但是该类方法的缺陷在于严重依赖于特征点选择,首先特征点集中的误匹配点集将对三维估计初始值造成严重影响;其次该算法仅对图像特征点较多的场景有效,若场景特征点集非常稀疏以致无法获取正确可靠的初始估计值时,将直接导致算法失败,从而无法获得三维相对估计。
因此,如何充分利用三维视觉系统的二维彩色图像信息和空间三维信息,实时获取精确的三维运动信息,是本领域急需解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于三维视觉系统图像特征和三维信息的运动估计方法,基于三维视觉系统获取的相邻帧的场景二维彩色图像信息和按二维彩色图像像素对应的空间三维信息,采用本发明的改进SIFT特征匹配算法、采样间隔自适应调整方法和三维 运动优化估计算法实现相邻帧的快速高精度三维运动估计,具有精度高、计算量小、应用场景限制性小等突出优点。
一种基于三维视觉系统图像特征和三维信息的运动估计方法,包括以下步骤:
步骤1:基于三维视觉系统,动态确定相邻帧场景之间的采样间隔Δt;
步骤2:按照步骤1确定的采样间隔Δt,利用三维视觉系统分别在t时刻和t+1时刻获取相邻帧场景的二维彩色图像It和It+1、场景对应的三维点云Dt和Dt+1;
所述三维视觉系统可同时获取场景的二维彩色图像I与三维点云信息D,其中二维彩色图像I与三维点云D按二维彩色图像像素点一一对应,即二维彩色图像中第u行第v列的像素点It(u,v)与三维点云Du,v(x,y,z)相对应;所述三维点云是指二维彩色图像所有像素点对应的三维空间点集合;
步骤3:利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配,得到相邻帧场景的匹配图像特征点对集合M;
步骤4:剔除集合M中的误匹配图像特征点对,得到最终的匹配图像特征点对集合M3;
1)基于双向一致性检查的误匹配剔除;
采用欧式距离作为特征点128维向量描述子的相似性度量,对t+1时刻的二维彩色图像It+1的任一图像特征点Fit+1,依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构成匹配特征点对集合M′,M和M′的交集构成新的匹配图像特征点对集合M1,以剔除非双向一致的误匹配图像特征点对;
2)基于颜色一致性检查的误匹配剔除;
步骤a:分别提取t时刻和t+1时刻获取的二维彩色图像It和It+1的HSV空间颜色信息;
步骤b:依据1)中获得的匹配特征点对集合M1,建立集合M1中所有特征点的HSV空间分量的索引信息;
所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系;
步骤c:依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M1,分别获取匹配特征点对集合M1的HSV信息[Ht,St,Vt]和[Ht+1,St+1,Vt+1],其中,[Ht,St,Vt]为M1中t时刻二维彩色图像匹配特征点对应的HSV信息,[Ht+1,St+1,Vt+1]为M1中t+1时刻二维彩色图像匹配特征点对应的HSV信息;
步骤d:对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性检查处理,若同时满足如下约束,则认为是正确匹配点对,否则认为是误匹配点对,并从M1中剔除,得到新的匹配特征点对集合M2;
约束判定条件如下:
|Ht(Fit)-Ht+1(Fjt+1)|TH|St(Fit)-St+1(Fjt+1)|TS|Vt(Fit)-Vt+1(Fjt+1)|TV]]>
其中,TH为H分量阈值,TS为S分量阈值,TV为V分量阈值,取值范围分别为:TH∈(0,π),TS∈(0,0.5),TV∈(0,0.5);
3)采用RANSAC算法对匹配特征点对集合M2中的误匹配进一步剔除,得到最终的匹配特征点对集合M3;
步骤5:如果集合M3中匹配特征点对数目大于阈值N2,转入步骤6;否则转入步骤7;
步骤6:基于集合M3中相邻场景所有匹配特征点对的对应三维点云信息,利用ICP(Iterative Closest Point,迭代最近点)算法,求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T,获取相邻帧的三维运动估计,并转入步骤9;
依据M3中的匹配特征点对,从三维点云Dt和Dt+1中分别获取特征点对应的三维点集FDt(X,Y,Z)和FDt+1(X,Y,Z);根据匹配三维点集FDt(X,Y,Z)和FDt+1(X,Y,Z),利用ICP(Iterative Closest Point,迭代最近点)算法,求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T,即获得相邻两帧的三维运动估计;
步骤7:依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt,依据三维视觉系统呈匀速直线运动,线性估计t+1时刻相对于t时刻的三维运动信息初始估计值R0和T0;
R0=Δtt+1*RtΔtt,T0=Δtt+1*TtΔtt]]>
Δtt为t时刻和t-1时刻相邻帧之间的采样间隔,Δtt+1t+1时刻和t时刻相邻帧之间的采样间隔;
步骤8:基于相邻帧三维点云数据Dt和Dt+1、三维运动初始估计值R0和T0,采用ICP算法估计相邻帧的三维运动R和平移向量T;
根据三维运动估计初值(旋转矩阵R0和平移向量T0)、t时刻场景的三维点云Dt、t+1时刻场景的三维点云Dt+1,通过ICP迭代算法,计算t+1时刻相对于t时刻的三维旋转向量R和平移向量T,即获得相邻两帧的三维运动估计;
步骤9:若机器人系统运动结束,无需对三维运动进行估计,则退出三维运动估计;否则转至步骤1重复继续进行下一个采样时刻与相邻帧的三维运动估计。
所述步骤1中相邻帧场景之间的采样间隔Δt的确定依据如下:
所述三维视觉系统的采样频率范围为[fmin,fmax],相邻帧场景的动态采样间隔Δt变化范围为[Δtmin,Δtmax],其中Δt最小值Δtmin=1/fmax,最大值ΔtMax=1/fmin;
采样间隔Δt的初始值设定为Δtmin;在运动过程中,基于t-1时刻和t时刻相邻帧的匹配图像特征点对集合M3中匹配图像特征点对数目Num(M3)和当前采样间隔Δtt,依据表1动态确定下一步采样间隔Δtt+1:
表1相邻帧之间采样间隔ΔT动态计算

其中,Max()为取最大值函数,Min()为取最小值函数,Num(M3)为M3中的匹配特征点对数目;间隔调整最小步长其中L为采样间隔的等级数,取值范围为4-20;N1和N2分别为相邻帧匹配图像特征点对数目阈值,其中N2>N1,其取值范围是N1≥10,N2≥20。
所述步骤3利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配,得到相邻帧场景的匹配特征点对集合M的具体步骤如下:
1)对t时刻和t+1时刻获取的相邻场景的二维彩色图像It和It+1,利用SIFT算法分别提取尺度旋转不变特征点集合Ft和Ft+1;
2)对Ft的任一特征点Fit,采用欧式距离作为特征点128维向量描述子的相似性度量,然后从t+1时刻获取的二维彩色图像特征点Ft+1中,依次找出与Fit匹配的特征点构成匹配特征点对
3)对Ft中所有特征点执行步骤2),得到匹配特征点对集合M。
所述步骤4误匹配点剔除中的3)采用RANSAC算法对匹配特征点对集合M2中的误匹配进一步剔除,得到最终的匹配特征点对集合M3的具体步骤如下:
①随机选择M2中的s组匹配特征点对组成随机样本集M3,并基于该样本计算匹配模型H;即使得匹配特征点对满足如下方程:
H×Xit=Xjt+1,]]>其中H=h1h2h3h4h5h6h7h8h9,Xit=xiyi1,Xjt=xjyj1]]>
②用①中计算的模型H,对M2未选中的其它样本数据进行测试,若则该特征点对适用于估计的模型H,并称之为模型H的内点,放入M3;否则认为它是外点;其中表示特征点相对于模型H的映射点和匹配对应点的欧式距离,Td为距离阈值,×表示矩阵乘运算;
③重复K次采样,选择内点数目最多的集合M3;
K=log(1-p)log(1-(1-ϵ)s)]]>
其中,ε为M2中的误匹配点对占所有匹配点对的比例,p为设定的匹配成功概率期望值,s为采样数目,s≥4;
④利用M3中的样本数据重新估计计算模型参数H;
⑤利用模型H重新测试样本集M2,确定新的集合M3;反复执行步骤④⑤,直至M3中的匹配特征点对数目前后相差不超过5%-10%为止。
有益效果
本发明可实现高精度三维运动信息的快速获取,具有计算量小,应用场景限制性小等优点,可有效满足机器人自定位、地图创建、三维重建、三维运动跟踪等应用领域中对三维运 动信息的迫切需求。
与现有三维运动估计方法相比,本发明的先进性表现在:1)发明采用三维视觉系统获取的三维信息用于三维运动估计,提高了三维信息获取和运动估计速度,并避免了传统立体视觉系统三维信息获取中的计算误差;2)本发明提出相邻帧采样间隔自适应调整方法,根据场景中二维彩色图像特征的稀疏性自动调整相邻帧采集间隔,对图像特征稀疏的场景通过提高采样频率,保证在相邻帧在较小的空间范围内变化;在图像特征丰富的场景,自动降低采样频率,保证本发明三维运动估计处理的准确性和鲁棒性的同时,减少了运算量;3)发明提出综合场景二维彩色图像特征和三维点云信息的三维运动优化估计算法。其中在二维彩色图像特征丰富的场景,基于改进SIFT特征匹配算法获取相邻帧的精确匹配特征点集及其对应的三维信息,获得精确三维运动估计,有效解决基于ICP算法的三维点云匹配中的局部收敛问题,并可通过降低采样频率减少运算量;在图像特征稀疏的场景,通过提高采样频率将相邻帧空间变化限制在较小的范围内,直接利用相邻帧的三维点云信息,采用ICP迭代算法求解三维运动估计,有效保证了算法的可靠性,避免了基于三维摄像机中图像特征匹配的三维运动估计方法对环境图像特征疏密性的高度依赖性;4)发明提出改进SIFT特征匹配算法,在传统SIFT特征匹配算法基础上加入了双向一致性约束、颜色一致性约束和Ransac约束有效提高相邻帧特征点匹配的正确性,有效降低了误匹配点对对运动估计的破坏性影响。
附图说明
图1为本发明整体流程图;
图2为相邻帧图像基于双向一致性检查的示意图,其中,图(a)为以t时刻二维彩色图像为基准的正向匹配示意图,图(b)为以t+1时刻二维彩色图像为基准的反向匹配示意图;
图3为相邻帧图像中后一帧图像相对前一帧图像平移50cm时,两帧图像进行图像特征匹配的实验过程和结果对比图,其中,图(a)为正向匹配特征点对情况图;图(b)为反向匹配特征点对情况图;图(c)为基于相互一致性检查约束剔除误匹配特征点对后的效果图;图(d)为基于颜色一致性检查约束剔除误匹配特征点对后的效果图;图(e)为基于Ransac算法剔除误匹配特征点对后的效果图;
图4为相邻帧图像中后一帧图像相对前一帧图像旋转30°时,两帧图像进行图像特征匹配的实验过程和结果对比图;其中,图(a)为正向匹配特征点对情况图;图(b)为反向匹配特征点对情况图;图(c)为基于相互一致性检查约束剔除误匹配特征点对后的效果图;图(d)为基于颜色一致性检查约束剔除误匹配特征点对后的效果图;图(e)为基于Ransac算法剔除误匹配特征点对后的效果图;
图5为相邻帧图像中后一帧图像相对前一帧图像同时平移80cm和旋转50°时,基于本发明计算的运动估计值进行相邻帧三维拼接效果示意图;
图6为固定采样间隔和本发明自适应采样间隔方法对比试验的部分场景图片显示;
图7为固定采样时间间隔和本发明自适应采样间隔方法对比试验的结果对比,图(a)为机器人实际运动轨迹,图(b)为分别采用固定采样间隔和自适应采样间隔方法所得轨迹对比。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
本发明所涉及的三维视觉系统可采用发明专利(201310220879.6)所涉及的二维/三维复合摄像机或微软Kinect三维摄像机等。所述三维视觉系统可同时获取场景二维彩色图像信息I和空间三维信息D,其中二维彩色图像信息I和空间三维信息D按二维彩色图像像素坐标逐一匹配对应,即二维彩色图像I中第u行第v列的像素点I(u,v)与三维点云Du,v(x,y,z)相对应。作为应用实例,本发明给出了基于Kinect三维摄像机的应用效果。
如图1所示,为本发明的流程图,一种基于三维视觉系统图像特征和三维信息的运动估计方法,包括以下步骤:
步骤1:基于三维视觉系统,动态确定相邻帧场景之间的采样间隔Δt;
所述三维视觉系统的采样频率范围为[fmin,fmax],相邻帧场景的动态采样间隔Δt变化范围为[Δtmin,Δtmax],其中Δt最小值Δtmin=1/fmax,最大值ΔtMax=1/fmin;
采样间隔Δt的初始值设定为Δtmin;在运动过程中,基于t-1时刻和t时刻相邻帧的匹配图像特征点对集合M3中匹配图像特征点对数目Num(M3)和当前采样间隔Δtt,依据表1动态确定下一步采样间隔Δtt+1:
表1相邻帧之间采样间隔Δt动态计算

其中,Max()为取最大值函数,Min()为取最小值函数,Num(M3)为M3中的匹配特征点对数目;间隔调整最小步长其中L为采样间隔的等级数,取值范围为4-20;N1和N2分别为相邻帧匹配图像特征点对数目阈值,其中N2>N1,其取值范围是N1≥10,N2≥20。
步骤2:按照步骤1确定的采样间隔Δt,利用三维视觉系统分别在t时刻和t+1时刻获取相邻帧场景的二维彩色图像It和It+1、场景对应的三维点云Dt和Dt+1;
所述三维视觉系统可同时获取场景的二维彩色图像I与三维点云信息D,其中二维彩色图像I与三维点云D按二维彩色图像像素点一一对应,即二维彩色图像中第u行第v列的像素点It(u,v)与三维点云Du,v(x,y,z)相对应;所述三维点云是指二维彩色图像所有像素点对应的三维空间点集合。
步骤3:利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配,得到相邻帧场景的匹配图像特征点对集合M;
SIFT图像特征检测算子是一种图像局部特征描述算子,对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性。因为特征检测算子的正确性和可靠性对运动估计有着重要影响,且运动过程中图像特征存在平移、旋转、尺度缩放、亮度变化、遮挡和噪声等问题,本发明选用SIFT算子提取作为运动估计的图像特征点。
SIFT图像特征检测与匹配处理主要包括四个步骤:尺度空间极值检测、确定特征点的方向参数、生成128维特征描述向量及特征匹配。
主要处理过程如下:
1)对t时刻和t+1时刻获取的相邻场景的二维彩色图像It和It+1,利用SIFT算法【文献1】分别提取二维彩色图像特征点集合Ft和Ft+1。
2)对Ft中的任一特征点Fit,采用SIFT算法【文献1】,从t+1时刻获取的二维彩色图像特征点Ft+1中,依次找出与Fit匹配的特征点构成匹配特征点对
3)对Ft中所有特征点执行步骤2),得到匹配特征点对集合M。
步骤4:剔除集合M中的误匹配特征点对,得到最终的匹配点对集合M3;
利用SIFT特征提取与匹配处理,可以得到t和t+1时刻二维彩色图像It和It+1的匹配特征 点对集合M。但由于噪声干扰和SIFT算法为增强鲁棒性而保留特征点辅方向等问题,仍不可避免的存在一定比例的错误匹配对。而误匹配点对的存在对运动估计的正确性、可靠性都会产生很大的破坏性影响。为避免上述问题,本文提出了如下改进方法剔除误匹配点对。
1)基于双向一致性检查的误匹配剔除;
SIFT算法在特征提取时,为了增强匹配鲁棒性,保留了峰值大于主方向峰值80%的方向作为该特征点的辅方向,同时,在特征匹配阶段是以t时刻图像为基准,通过一定的搜索策略遍历搜索t+1时刻图像,计算两时刻图像特征点描述子的欧式距离,若最近距离与次最近距离的比值小于某个阈值时,即被认为最近距离的为一对匹配点。因而,SIFT特征点可能有两个及以上的方向,并且产生“一对多”的匹配点对。这与相邻帧中图像特征的最优“一对一”精确匹配相矛盾,必然产生系统误差。
如图2所示,为相邻帧图像基于双向一致性检查的示意图;首先以t时刻二维彩色图像特征点为基准搜索匹配t+1时刻二维彩色图像特征点,t时刻二维彩色图像It中的特征点Fit可能搜索匹配了t+1时刻二维彩色图像It+1中的特征点形成4对匹配成功点;然后以t+1时刻二维彩色图像特征点为基准搜索匹配t时刻二维彩色图像特征点,t+1时刻二维彩色图像中的特征点可能搜索匹配了t时刻二维彩色图像中的特征点Fit、形成3对匹配成功点;而这7对匹配点对中,只有一对共同的匹配点,其中i、j、i1、i2、j1、j2、j3分别为相应特征点在其对应图像特征点集中的序号标识。
针对上述问题,本发明提出基于双向一致性检查的误匹配剔除方法,采用欧式距离作为特征点128维向量描述子的相似性度量,对t+1时刻的二维彩色图像It+1的任一图像特征点Fit+1,依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构成匹配特征点对集合M′,M和M′的交集构成新的匹配特征点对集合M1,以剔除非双向一致的误匹配图像特征点对。
由于特征点数目一般比较少(几十到几百个),因而时间复杂度几乎没有增加,而实验结果可以剔除20%甚至50%以上的误匹配点对。
2)基于颜色一致性检查的误匹配剔除;
SIFT算法为追求最优鲁棒匹配效果,以保证对不同摄像机、不同时间、不同光照、不同角度、不同尺度下的图像特征都具有较好的一致性和稳定性,算法先将彩色图像转换为灰度图像,然后再进行特征提取和匹配运算,从而丢失了色彩信息。
在本发明所涉及的应用领域,需进行特征检测与匹配处理的图像对为同一视觉系统在相 邻时刻相邻场景拍摄的两组图像,成像条件相对稳定,剧烈变化的环境因素较少。
基于上述分析,为尽可能利用已有图像信息提高匹配的鲁棒性,本发明提出了基于颜色信息约束的特征匹配处理。具体步骤如下:
步骤a:分别提取t时刻和t+1时刻获取的二维彩色图像It和It+1的HSV空间颜色信息;
步骤b:依据1)中获得的匹配特征点对集合M1,建立集合M1中所有特征点的HSV空间分量的索引信息;
所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系;
步骤c:依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M1,分别获取匹配特征点对集合M1的HSV信息[HT,ST,VT]和[HT+1,ST+1,VT+1],其中,[Ht,St,Vt]和[Ht+1,St+1,Vt+1],其中,[Ht,St,Vt]为M1中t时刻二维彩色图像匹配特征点对应的HSV信息,[Ht+1,St+1,Vt+1]为M1中t+1时刻二维彩色图像匹配特征点对应的HSV信息;
步骤d:对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性检查处理,若同时满足如下约束,则认为是正确匹配点对,否则认为是误匹配点对,并从M1中剔除,得到新的匹配特征点对集合M2;
约束判定条件如下:
|Ht(Fit)-Ht+1(Fjt+1)|TH|St(Fit)-St+1(Fjt+1)|TS|Vt(Fit)-Vt+1(Fjt+1)|TV]]>
其中,TH为H分量阈值,TS为S分量阈值,TV为V分量阈值,取值范围分别为:TH∈(0,π),TS∈(0,0.5),TV∈(0,0.5);
3)采用RANSAC算法对匹配特征点对集合M2中的误匹配进一步剔除,得到最终的匹配特征点对集合M3;
在基于双向一致性检查和基于颜色一致性检查剔除误匹配后,得到的匹配特征点对集合M2,其中M2中误匹配点对数目已经比较少,接近精确匹配点数据集。因此将对数据集M2应用RANSAC算法,可通过计算最优匹配映射模型,进一步剔除尽可能的误匹配特征点对。经RANSAC优化剔除后的特征匹配点对集合设为M3。
①随机选择M2中的s组匹配特征点对组成随机样本集M3,并基于该样本计算匹配模型 H;即使得匹配特征点对满足如下方程:
H×Xit=Xjt+1,]]>其中H=h1h2h3h4h5h6h7h8h9,Xit=xiyi1,Xjt=xjyj1]]>
②用①中计算的模型H,对M2未选中的其它样本数据进行测试,若则该特征点对适用于估计的模型H,并称之为模型H的内点,放入M3;否则认为它是外点;其中表示特征点相对于模型H的映射点和匹配对应点的欧式距离,Td为距离阈值,×表示矩阵乘运算;
③重复K次采样,选择内点数目最多的集合M3;
K=log(1-p)log(1-(1-ϵ)s)]]>
其中,ε为M2中的误匹配点对占所有匹配点对的比例,p为设定的匹配成功概率期望值,s为采样数目,s≥4;
④利用M3中的样本数据重新估计计算模型参数H;
⑤利用模型H重新测试样本集M2,确定新的集合M3;反复执行步骤④⑤,直至M3中的匹配点对数目前后相差不超过5%-10%为止。
步骤5:如果集合M3中匹配特征点对数目大于阈值T2,转入步骤6;否则转入步骤7;
步骤6:基于集合M3中相邻场景所有匹配特征点对的对应三维点云信息,利用ICP(Iterative Closest Point,迭代最近点)算法【文献2】,求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T,获取相邻帧的三维运动估计,并转入步骤9;
依据M3中的匹配特征点对,从三维点云Dt和Dt+1中分别获取特征点对应的三维点集FDt(X,Y,Z)和FDt+1(X,Y,Z);根据匹配三维点集FDt(X,Y,Z)和FDt+1(X,Y,Z),利用ICP(Iterative Closest Point,迭代最近点)算法,求取t+1时刻相对于t时刻的三维旋转向量R和平移向量T,即获得相邻两帧的三维运动估计;
步骤7:依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt,依据三维视觉系统呈匀速直线运动,线性估计t+1时刻相对于t时刻的三维运动信息初始估计值R0和T0;
R0=Δtt+1*RtΔtt,T0=Δtt+1*TtΔtt]]>
Δtt为t时刻和t-1时刻相邻帧之间的采样间隔,Δtt+1t+1时刻和t时刻相邻帧之间的采样间隔;
步骤8:基于相邻帧三维点云数据Dt和Dt+1、三维运动初始估计值R0和T0,采用ICP算法估计相邻帧的三维运动R和平移向量T;
根据三维运动估计初值(旋转矩阵R0和平移向量T0)、t时刻场景的三维点云Dt、t+1时刻场景的三维点云Dt+1,通过ICP迭代算法,计算t+1时刻相对于t时刻的三维旋转向量R和平移向量T,即获得相邻两帧的三维运动估计;
步骤9:若机器人系统运动结束,无需对三维运动进行估计,则退出三维运动估计;否则转至步骤1重复继续进行下一个采样时刻与相邻帧的三维运动估计。
本发明的试验结果与对比效果如图3-图5所示。
图3为相邻帧图像中后一帧图像相对前一帧图像平移50cm时,两帧图像进行图像SIFT特征匹配的试验过程和结果对比图,该相对运动对应的旋转矩阵实际值R为单位矩阵,平移向量实际值为T=[0.5,0,0]'。其中,图3(a)为正向匹配特征点对情况图;图3(b)为反向匹配特征点对情况图;图3(c)为基于相互一致性检查约束剔除误匹配特征点对后的效果图;图3(d)为基于颜色一致性检查约束剔除误匹配特征点对后的效果图(阈值分别取TH=π/8,TS=0.2,TV=0.1);图3(e)为基于Ransac算法剔除误匹配特征点对后的效果图;从试验结果可以看出,本发明提出的改进SIFT特征匹配方法有效的剔除了现有SIFT特征匹配方法中可能存在的误匹配,提高了特征匹配的准确度和可靠性。
基于图3中的最终匹配的特征点对集合M3,应用本发明方法求取的两相邻帧的三维相对运动信息为实验图像的运动估计结果为R1=0.9962-0.00080.0005-0.00080.99790.00000.00050.00000.9983,T1=0.5168-0.00680.0005.]]>算法计算的沿x方向平移量计算值为0.5168m,平移误差率为3.36%,绕y方向欧拉角旋转计算值为0.0286°。直接基于相邻帧三维点云信息,采用ICP迭代算法处理结果为R2=0.96300.0321-0.2677-0.04850.9973-0.05490.26520.06580.9619,T2=0.90880.18350.0811;]]>采用传统SIFT特征检测算子检测图像特征,然后基于特征点对应的三维点云信息,采用ICP迭代算法处理结果为(以下简称SIFT+ICP 算法)R3=0.9980-0.1626-0.1088-0.16260.99800.00090.1087-0.00150.9999,T3=0.64510.10370.0531.]]>本文算法与其它现有算法详细对比情况如表2所示,从试验对比结果中,看出本发明在平移运动情况下的三维运动估计的精确度和稳定性方面均优于现有算法。
表2本发明效果与已有算法对比1

图4为相邻帧图像中后一帧图像相对前一帧图像旋转30°时,两帧图像进行图像SIFT特征匹配的试验过程和结果对比示意图,该相对运动对应的旋转矩阵实际值为R=cos(π/6)0sin(π/6)010-sin(π/6)0cos(π/6)≈0.866000.5000010-0.500000.8660,]]>平移向量实际值为T=[0,0,0]',图4(c)为基于相互一致性检查约束剔除误匹配特征点对后的效果图;图4(d)为基于颜色一致性检查约束剔除误匹配特征点对后的效果图(阈值分别取TH=π/8,TS=0.2,TV=0.1);图4(e)为基于Ransac算法剔除误匹配特征点对后的效果图;从试验结果可以看出,本发明提出的改进SIFT特征匹配方法有效的剔除了现有SIFT特征匹配方法中可能存在的误匹配,提高了特征匹配的准确度和可靠性。
基于图4中的最终匹配的特征对集合M3,应用本发明方法求取的两相邻帧的三维相对运动信息为R1=0.86010.00140.5101-0.00930.99990.0129-0.5100-0.01580.8600,T1=0.00040.00620.0142,]]>即绕y方向欧拉角旋转计算值为30.6705°,旋转误差率为2.23%。
采用ICP迭代算法处理结果为:R2=0.96430.03670.2624-0.04900.99800.0406-0.2604-0.05200.9641,T2=-0.6039-0.10620.4134;]]>采用SIFT+ICP结果为:R3=0.90430.04510.4424-0.04150.99760.0511-0.4614-0.07170.8991,T3=-0.1127-0.08430.0716.]]>
算法与其它现有算法对比情况如表3所示。试验对比结果,本发明在旋转运动情况下的 三维运动估计的精确度和稳定性方面均优于现有算法。
表3本发明效果与已有算法对比2

图5为Kinect拍摄的相距80cm同时旋转50°(大范围的平移和大角度的旋转情况)的两帧图像应用PCL点云库的3D显示效果,该相对运动对应的旋转矩阵实际值为R=cos(5π/18)0sin(5π/18)010-sin(5π/18)0cos(5π/18)≈0.642800.7660010-0.766000.6428,]]>平移向量实际值为T=[0.8000,0,0]',利用本发明求取的旋转平移运动估计为R1=0.6393-0.00680.7605-0.01330.99980.0158-0.7605-0.01950.6391,]]>T1=[0.7868,0.0036,-0.0177]',绕y方向旋转欧拉角计算值为49.5083°,旋转误差率为0.98%,沿x方向平移量计算值为0.7868m,平移误差率为1.65%,图5中3D效果的完美显示,反向验证了本发明算法的有效性,即本发明能实现同时存在大幅度旋转和平移运动情况下的三维运动估计,算法具有较高的精确度和稳定性。
图6所示固定频率和自适应步长频率对比试验环境的部分场景图片显示,试验场景尺寸为16m*5m,其中设定相邻帧固定采样间隔为0.5秒,共拍摄231帧,自适应采样间隔范围设定为[0.5秒,3秒],采样等级为6,T1阈值选择为10,T2阈值选择为20,图中显示的十二张图片分别按照拍摄时间先后从左至右、从上至下依次排列。图7(a)为拍摄帧的机器人参考轨迹,图7(b)中“*”线为基于本发明固定采样间隔获取的三维运动轨迹,固定采样间隔计算所有231帧数据;图7(b)中“×”线为基于本发明自适应采样间隔获取的三维运动轨迹,自适应采样间隔共计算其中77帧。自适应采样间隔的计算量不足固定采样间隔方法的1/3,但自适应采样间隔方法却具有更高的实验精度,其原因是自适应采样间隔有效降低了匹配次数,从而降低了累计误差。因此,自适应采样时间间隔策略的引入,在保证精度的前提下,可以大幅度减少计算量。
根据上述实验分析,本发明算法在三维估计的精确度和稳定性方面均优于现有算法。
文献[1]David G.Lowe,Distinctive Image Features from Scale-invariant Keypoints, International Journal of Computer Vision,60(2):91~110,2004.
文献[2]Paul J.Besl.Neil D.McKay.A method for registration of3-D shapes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.1992.14(2):239-256.

基于三维视觉系统图像特征和三维信息的运动估计方法.pdf_第1页
第1页 / 共23页
基于三维视觉系统图像特征和三维信息的运动估计方法.pdf_第2页
第2页 / 共23页
基于三维视觉系统图像特征和三维信息的运动估计方法.pdf_第3页
第3页 / 共23页
点击查看更多>>
资源描述

《基于三维视觉系统图像特征和三维信息的运动估计方法.pdf》由会员分享,可在线阅读,更多相关《基于三维视觉系统图像特征和三维信息的运动估计方法.pdf(23页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 103559711 A (43)申请公布日 2014.02.05 CN 103559711 A (21)申请号 201310544349.7 (22)申请日 2013.11.05 G06T 7/00(2006.01) (71)申请人 余洪山 地址 410082 湖南省长沙市麓山南路 2 号湖 南大学电气与信息工程学院 (72)发明人 余洪山 罗堪 蔺薛菲 王耀南 赵科 孙欢 万琴 朱江 段峰 代扬 (54) 发明名称 基于三维视觉系统图像特征和三维信息的运 动估计方法 (57) 摘要 本发明公开了一种基于三维视觉系统图像特 征和三维信息的运动估计方法, 该方法基于三维。

2、 视觉系统实时获取场景二维图像信息和按二维 图像像素对应的空间三维信息 ; 采用相邻帧采样 间隔自适应调整方法控制相邻帧采集间隔, 根据 t-1 时刻和 t 时刻相邻帧之间有效匹配图像特征 点对数目, 自动调整 t+1 时刻相对 t 时刻的采样 间隔, 在满足三维估计准确性和可靠性的基础上 有效减少了计算量 ; 根据当前相邻帧二维图像特 征匹配点对数目, 综合场景二维图像特征和三维 点云信息进行三维运动估计, 获得高精度的三维 运动估计, 具有计算量小, 应用场景限制性小等优 点。 (51)Int.Cl. 权利要求书 3 页 说明书 12 页 附图 7 页 (19)中华人民共和国国家知识产权局。

3、 (12)发明专利申请 权利要求书3页 说明书12页 附图7页 (10)申请公布号 CN 103559711 A CN 103559711 A 1/3 页 2 1. 一种基于三维视觉系统图像特征和三维信息的运动估计方法, 其特征在于, 包括以 下步骤 : 步骤 1 : 基于三维视觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻 获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 步骤3 : 利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点。

4、提取与匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 步骤 4 : 剔除集合 M 中的误匹配图像特征点对, 得到最终的匹配图像特征点对集合 M3; 1) 基于双向一致性检查的误匹配剔除 ; 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 对 t+1 时刻的二维彩色图 像 It+1的任一图像特征点 Fit+1, 依次从 t 时刻的二维彩色图像 It的图像特征点中找出相匹 配的特征点构成匹配特征点对集合 M, M 和 M的交集构成新的匹配图像特征点对集 合 M1, 以剔除非双向一致的误匹配图像特征点对 ; 2) 基于颜色一致性检查的误匹配剔除 ; 步骤 a : 分别提取 t 时刻。

5、和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜色信 息 ; 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间 分量的索引信息 ; 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空间颜 色分量的对应关系 ; 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配特征点对集合 M1, 分别获取 匹配特征点对集合 M1的 HSV 信息 Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1中 t 时刻二维彩色图像匹配特征点对应的 HSV 信息, Ht。

6、+1,St+1,Vt+1 为 M1中 t+1 时刻二维彩色 图像匹配特征点对应的 HSV 信息 ; 步骤d : 对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性 检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并从 M1 中剔除, 得到新的匹配特征点对集合 M2; 约束判定条件如下 : 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的误匹配进一步剔除, 得到最终的匹配 特。

7、征点对集合 M3; 步骤 5 : 如果集合 M3中匹配特征点对数目大于设定的阈值 N2, 转入步骤 6 ; 否则转入步 骤 7 ; 权 利 要 求 书 CN 103559711 A 2 2/3 页 3 步骤 6 : 基于集合 M3中相邻场景所有匹配特征点对的对应三维点云信息, 利用 ICP(Iterative Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 获取相邻帧的三维运动估计, 并转入步骤 9 ; 步骤7 : 依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt, 依据三维视觉系统呈 匀速直线运动, 线性估。

8、计 t+1 时刻相对于 t 时刻的三维运动信息初始估计值 R0和 T0; tt为 t 时刻和 t-1 时刻相邻帧之间的采样间隔, tt+1t+1 时刻和 t 时刻相邻帧之间 的采样间隔 ; 步骤 8 : 基于相邻帧三维点云数据 Dt和 Dt+1、 三维运动初始估计值 R0和 T0, 采用 ICP 算 法估计相邻帧的三维运动 R 和平移向量 T ; 根据三维运动估计初值 (旋转矩阵 R0和平移向量 T0) 、 t 时刻场景的三维点云 Dt、 t+1 时 刻场景的三维点云 Dt, 通过 ICP 迭代算法, 计算 t+1 时刻相对于 t 时刻的三维旋转向量 R 和 平移向量 T, 即获得相邻两帧的三。

9、维运动估计 ; 步骤 9 : 若机器人系统运动结束, 无需对三维运动进行估计, 则退出三维运动估计 ; 否 则转至步骤 1 重复继续进行下一个采样时刻与相邻帧的三维运动估计。 2. 根据权利要求 1 所述的基于三维视觉系统图像特征和三维信息的运动估计方法, 其 特征在于, 所述步骤 1 中相邻帧场景之间的采样间隔 t 的确定依据如下 : 所述三维视觉系统的采样频率范围为fmin,fmax, 相邻帧场景的动态采样间隔t变化 范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax, 最大值 tMax=1/fmin; 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t。

10、-1 时刻和 t 时刻相邻帧的 匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依据表 1 动态确定下一步采样间隔 tt+1: 表 1 相邻帧之间采样间隔 t 动态计算 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征点 对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; N1和N2分别为相邻帧匹配图像特征点对数目阈值, 其中N2N1, 其取值范围是N110, 权 利 要 求 书 CN 103559711 A 3 3/3 页 4 N2 20。 3. 根据权利要求 。

11、2 所述的基于三维视觉系统图像特征和三维信息的运动估计方法, 其 特征在于, 所述步骤3利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提 取与匹配, 得到相邻帧场景的匹配特征点对集合 M 的具体步骤如下 : 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法分别 提取尺度旋转不变特征点集合 Ft和 Ft+1; 2) 对 Ft的任一特征点 Fit, 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 然后从t+1时刻获取的二维彩色图像特征点Ft+1中, 依次找出与Fit匹配的特征点构成 匹配特征点对 3) 对 Ft。

12、中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 4. 根据权利要求 1-3 任一项所述的基于三维视觉系统图像特征和三维信息的运动估 计方法, 其特征在于, 所述步骤 4 误匹配点剔除中的 3) 采用 RANSAC 算法对匹配特征点对集 合 M2中的误匹配进一步剔除, 得到最终的匹配特征点对集合 M3的具体步骤如下 : 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配模型 H ; 即使得匹配特征点对满足如下方程 : 其中 用中计算的模型 H, 对 M2未选中的其它样本数据进行测试, 若则 该特征点对适用于估计的模型H, 并称之为模型H的内点, 放入M。

13、3; 否则认为它是外点 ; 其中 表示特征点相对于模型H的映射点和匹配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 重复 K 次采样, 选择内点数目最多的集合 M3; 其中, 为 M2中的误匹配点对占所有匹配点对的比例, p 为设定的匹配成功概率期望 值, s 为采样数目, s 4 ; 利用 M3中的样本数据重新估计计算模型参数 H ; 利用模型 H 重新测试样本集 M2, 确定新的集合 M3; 反复执行步骤, 直至 M3中的匹 配特征点对数目前后相差不超过 5%-10% 为止。 权 利 要 求 书 CN 103559711 A 4 1/12 页 5 基于三维视觉系统图像特征和三维。

14、信息的运动估计方法 技术领域 0001 本发明涉及一种基于三维视觉系统图像特征和三维信息的运动估计方法。 背景技术 0002 高精度高可靠的三维运动估计是机器人领域的研究难点和热点之一, 其目标是实 时计算出相邻两相邻时刻机器人三维空间位置变化量, 是机器人自定位、 地图创建、 三维重 建、 运动跟踪等研究的核心内容。传统惯性导航系统原理简单, 被广泛应用于运动估计, 但 是其存在漂移、 误差累计等问题, 其对应运动估计的精度低、 可靠性比较差。相对于惯性导 航系统, 基于视觉的运动估计不存在物理漂移问题, 具有较高的稳定性。 目前基于单目视觉 的运动估计无法获得三维相对运动的尺度信息 ; 立。

15、体摄像机可获得三维运动估计, 但是存 在计算量大、 可靠性受环境和噪声影响大、 测量精度超过景深范围后急速下降等问题。 随着 三维激光测距仪、 三维摄像机等三维传感器的引入, 空间环境的三维信息实时获取成为可 能。基于 ICP 的三维点云匹配算法开始被应用于相邻两帧的三维信息估计。但是由于噪 声、 误差和不匹配区域比例的增长, ICP 迭代算法容易陷入局部优化解, 从而该类算法仅在 较小空间变换范围内或基于较好的初始估计情况下可获得准确的估计结果。 为实现精确可 靠的三维运动估计, 通常采用高频率采样获取相邻帧三维信息, 从而将相邻帧空间变换限 制在较小范围 ; 而高频率采样必然导致计算量巨大。

16、, 难以实时应用。相对于三维激光测距 仪, 三维摄像机不仅可获得场景二维彩色图像信息, 还可以获得空间场景对应的三维信息, 如 Kinect、 SR4000 等三维摄像机等。基于此人们提出基于相邻帧图像的不变性特征点构成 三维点集求解三维运动的初始估计, 以提高 ICP 算法的估计性能。但是该类方法的缺陷在 于严重依赖于特征点选择, 首先特征点集中的误匹配点集将对三维估计初始值造成严重影 响 ; 其次该算法仅对图像特征点较多的场景有效, 若场景特征点集非常稀疏以致无法获取 正确可靠的初始估计值时, 将直接导致算法失败, 从而无法获得三维相对估计。 0003 因此, 如何充分利用三维视觉系统的二。

17、维彩色图像信息和空间三维信息, 实时获 取精确的三维运动信息, 是本领域急需解决的技术问题。 发明内容 0004 本发明所要解决的技术问题是提供一种基于三维视觉系统图像特征和三维信息 的运动估计方法, 基于三维视觉系统获取的相邻帧的场景二维彩色图像信息和按二维彩色 图像像素对应的空间三维信息, 采用本发明的改进 SIFT 特征匹配算法、 采样间隔自适应调 整方法和三维运动优化估计算法实现相邻帧的快速高精度三维运动估计, 具有精度高、 计 算量小、 应用场景限制性小等突出优点。 0005 一种基于三维视觉系统图像特征和三维信息的运动估计方法, 包括以下步骤 : 0006 步骤 1 : 基于三维视。

18、觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 0007 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 说 明 书 CN 103559711 A 5 2/12 页 6 0008 所述三维视觉系统可同时获取场景的二维彩色图像 I 与三维点云信息 D, 其中二 维彩色图像 I 与三维点云 D 按二维彩色图像像素点一一对应, 即二维彩色图像中第 u 行第 v 列的像素点 It(u,v) 与三维点云 Du,v(x,y,z) 相对应 ; 所述三维点云是指二维彩。

19、色图像所 有像素点对应的三维空间点集合 ; 0009 步骤 3 : 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提取与 匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 0010 步骤 4 : 剔除集合 M 中的误匹配图像特征点对, 得到最终的匹配图像特征点对集合 M3; 0011 1) 基于双向一致性检查的误匹配剔除 ; 0012 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 对 t+1 时刻的二维彩 色图像 It+1的任一图像特征点 Fit+1, 依次从 t 时刻的二维彩色图像 It的图像特征点中找出 相匹配的特征点构成匹配特征点对集合 M,。

20、 M 和 M的交集构成新的匹配图像特征点 对集合 M1, 以剔除非双向一致的误匹配图像特征点对 ; 0013 2) 基于颜色一致性检查的误匹配剔除 ; 0014 步骤 a : 分别提取 t 时刻和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜 色信息 ; 0015 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间分量的索引信息 ; 0016 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空 间颜色分量的对应关系 ; 0017 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配。

21、特征点对集合 M1, 分别 获取匹配特征点对集合 M1的 HSV 信息 Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1 中 t 时刻二维彩色图像匹配特征点对应的 HSV 信息, Ht+1,St+1,Vt+1 为 M1中 t+1 时刻二维 彩色图像匹配特征点对应的 HSV 信息 ; 0018 步骤 d : 对匹配特征点对集合 M1中的任一特征点对进行 HSV 空间颜色一 致性检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并 从 M1中剔除, 得到新的匹配特征点对集合 M2; 0019 约束判定条件如下 : 0020 0。

22、021 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 0022 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的误匹配进一步剔除, 得到最终的 匹配特征点对集合 M3; 0023 步骤 5 : 如果集合 M3中匹配特征点对数目大于阈值 N2, 转入步骤 6 ; 否则转入步骤 7 ; 0024 步骤 6 : 基于集合 M3中相邻场景所有匹配特征点对的对应三维点云信息, 利用 说 明 书 CN 103559711 A 6 3/12 页 7 ICP(Iterative 。

23、Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 获取相邻帧的三维运动估计, 并转入步骤 9 ; 0025 依据 M3中的匹配特征点对, 从三维点云 Dt和 Dt+1中分别获取特征点对应的三 维点集 FDt(X,Y,Z) 和 FDt+1(X,Y,Z) ; 根据匹配三维点集 FDt(X,Y,Z) 和 FDt+1(X,Y,Z), 利用 ICP(Iterative Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 即获得相邻两帧的三维运动估计 ;。

24、 0026 步骤7 : 依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt, 依据三维视觉系 统呈匀速直线运动, 线性估计 t+1 时刻相对于 t 时刻的三维运动信息初始估计值 R0和 T0; 0027 0028 tt为 t 时刻和 t-1 时刻相邻帧之间的采样间隔, tt+1t+1 时刻和 t 时刻相邻帧 之间的采样间隔 ; 0029 步骤8 : 基于相邻帧三维点云数据Dt和Dt+1、 三维运动初始估计值R0和T0, 采用ICP 算法估计相邻帧的三维运动 R 和平移向量 T ; 0030 根据三维运动估计初值 (旋转矩阵 R0和平移向量 T0) 、 t 时刻场景的三维点云 Dt、 t+1。

25、 时刻场景的三维点云 Dt+1, 通过 ICP 迭代算法, 计算 t+1 时刻相对于 t 时刻的三维旋转 向量 R 和平移向量 T, 即获得相邻两帧的三维运动估计 ; 0031 步骤 9 : 若机器人系统运动结束, 无需对三维运动进行估计, 则退出三维运动估 计 ; 否则转至步骤 1 重复继续进行下一个采样时刻与相邻帧的三维运动估计。 0032 所述步骤 1 中相邻帧场景之间的采样间隔 t 的确定依据如下 : 0033 所述三维视觉系统的采样频率范围为 fmin,fmax, 相邻帧场景的动态采样间隔 t 变化范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax, 最大值 tM。

26、ax=1/fmin; 0034 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t-1 时刻和 t 时刻相邻 帧的匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依 据表 1 动态确定下一步采样间隔 tt+1: 0035 表 1 相邻帧之间采样间隔 T 动态计算 0036 0037 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征 说 明 书 CN 103559711 A 7 4/12 页 8 点对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; 。

27、N1和N2分别为相邻帧匹配图像特征点对数目阈值, 其中N2N1, 其取值范围是N110, N2 20。 0038 所述步骤 3 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提 取与匹配, 得到相邻帧场景的匹配特征点对集合 M 的具体步骤如下 : 0039 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法 分别提取尺度旋转不变特征点集合 Ft和 Ft+1; 0040 2) 对Ft的任一特征点Fit, 采用欧式距离作为特征点128维向量描述子的相似性度 量, 然后从 t+1 时刻获取的二维彩色图像特征点 Ft+1。

28、中, 依次找出与 Fit匹配的特征点 构成匹配特征点对 0041 3) 对 Ft中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 0042 所述步骤 4 误匹配点剔除中的 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的 误匹配进一步剔除, 得到最终的匹配特征点对集合 M3的具体步骤如下 : 0043 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配 模型 H ; 即使得匹配特征点对满足如下方程 : 0044 其中 0045 用 中 计 算 的 模 型 H, 对 M2未 选 中 的 其 它 样 本 数 据 进 行 测 试, 若 则该特征点对。

29、适用于估计的模型 H, 并称之为模型 H 的内点, 放入 M3; 否则认为它是外点 ; 其中表示特征点相对于模型 H 的映射点和匹 配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 0046 重复 K 次采样, 选择内点数目最多的集合 M3; 0047 0048 其中, 为 M2中的误匹配点对占所有匹配点对的比例, p 为设定的匹配成功概率 期望值, s 为采样数目, s 4 ; 0049 利用 M3中的样本数据重新估计计算模型参数 H ; 0050 利用模型 H 重新测试样本集 M2, 确定新的集合 M3; 反复执行步骤, 直至 M3中 的匹配特征点对数目前后相差不超过 5%-10。

30、% 为止。 0051 有益效果 0052 本发明可实现高精度三维运动信息的快速获取, 具有计算量小, 应用场景限制性 小等优点, 可有效满足机器人自定位、 地图创建、 三维重建、 三维运动跟踪等应用领域中对 三维运动信息的迫切需求。 0053 与现有三维运动估计方法相比, 本发明的先进性表现在 : 1) 发明采用三维视觉系 说 明 书 CN 103559711 A 8 5/12 页 9 统获取的三维信息用于三维运动估计, 提高了三维信息获取和运动估计速度, 并避免了传 统立体视觉系统三维信息获取中的计算误差 ; 2) 本发明提出相邻帧采样间隔自适应调整 方法, 根据场景中二维彩色图像特征的稀疏。

31、性自动调整相邻帧采集间隔, 对图像特征稀疏 的场景通过提高采样频率, 保证在相邻帧在较小的空间范围内变化 ; 在图像特征丰富的场 景, 自动降低采样频率, 保证本发明三维运动估计处理的准确性和鲁棒性的同时, 减少了运 算量 ; 3) 发明提出综合场景二维彩色图像特征和三维点云信息的三维运动优化估计算法。 其中在二维彩色图像特征丰富的场景, 基于改进 SIFT 特征匹配算法获取相邻帧的精确匹 配特征点集及其对应的三维信息, 获得精确三维运动估计, 有效解决基于 ICP 算法的三维 点云匹配中的局部收敛问题, 并可通过降低采样频率减少运算量 ; 在图像特征稀疏的场景, 通过提高采样频率将相邻帧空间。

32、变化限制在较小的范围内, 直接利用相邻帧的三维点云信 息, 采用 ICP 迭代算法求解三维运动估计, 有效保证了算法的可靠性, 避免了基于三维摄像 机中图像特征匹配的三维运动估计方法对环境图像特征疏密性的高度依赖性 ; 4) 发明提出 改进SIFT特征匹配算法, 在传统SIFT特征匹配算法基础上加入了双向一致性约束、 颜色一 致性约束和 Ransac 约束有效提高相邻帧特征点匹配的正确性, 有效降低了误匹配点对对 运动估计的破坏性影响。 附图说明 0054 图 1 为本发明整体流程图 ; 0055 图 2 为相邻帧图像基于双向一致性检查的示意图, 其中, 图 (a) 为以 t 时刻二维彩 色图。

33、像为基准的正向匹配示意图, 图 (b) 为以 t+1 时刻二维彩色图像为基准的反向匹配示 意图 ; 0056 图 3 为相邻帧图像中后一帧图像相对前一帧图像平移 50cm 时, 两帧图像进行图 像特征匹配的实验过程和结果对比图, 其中, 图 (a) 为正向匹配特征点对情况图 ; 图 (b) 为 反向匹配特征点对情况图 ; 图 (c) 为基于相互一致性检查约束剔除误匹配特征点对后的效 果图 ; 图 (d) 为基于颜色一致性检查约束剔除误匹配特征点对后的效果图 ; 图 (e) 为基于 Ransac 算法剔除误匹配特征点对后的效果图 ; 0057 图 4 为相邻帧图像中后一帧图像相对前一帧图像旋转 。

34、30时, 两帧图像进行图 像特征匹配的实验过程和结果对比图 ; 其中, 图 (a) 为正向匹配特征点对情况图 ; 图 (b) 为 反向匹配特征点对情况图 ; 图 (c) 为基于相互一致性检查约束剔除误匹配特征点对后的效 果图 ; 图 (d) 为基于颜色一致性检查约束剔除误匹配特征点对后的效果图 ; 图 (e) 为基于 Ransac 算法剔除误匹配特征点对后的效果图 ; 0058 图5为相邻帧图像中后一帧图像相对前一帧图像同时平移80cm和旋转50时, 基 于本发明计算的运动估计值进行相邻帧三维拼接效果示意图 ; 0059 图 6 为固定采样间隔和本发明自适应采样间隔方法对比试验的部分场景图片显。

35、 示 ; 0060 图 7 为固定采样时间间隔和本发明自适应采样间隔方法对比试验的结果对比, 图 (a) 为机器人实际运动轨迹, 图 (b) 为分别采用固定采样间隔和自适应采样间隔方法所得 轨迹对比。 说 明 书 CN 103559711 A 9 6/12 页 10 具体实施方式 0061 下面将结合附图和实施例对本发明做进一步的说明。 0062 本发明所涉及的三维视觉系统可采用发明专利 (201310220879.6) 所涉及的二维 /三维复合摄像机或微软Kinect三维摄像机等。 所述三维视觉系统可同时获取场景二维彩 色图像信息I和空间三维信息D, 其中二维彩色图像信息I和空间三维信息D按。

36、二维彩色图 像像素坐标逐一匹配对应, 即二维彩色图像 I 中第 u 行第 v 列的像素点 I(u,v) 与三维点云 Du,v(x,y,z) 相对应。作为应用实例, 本发明给出了基于 Kinect 三维摄像机的应用效果。 0063 如图 1 所示, 为本发明的流程图, 一种基于三维视觉系统图像特征和三维信息的 运动估计方法, 包括以下步骤 : 0064 步骤 1 : 基于三维视觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 0065 所述三维视觉系统的采样频率范围为 fmin,fmax, 相邻帧场景的动态采样间隔 t 变化范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax。

37、, 最大值 tMax=1/fmin; 0066 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t-1 时刻和 t 时刻相邻 帧的匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依 据表 1 动态确定下一步采样间隔 tt+1: 0067 表 1 相邻帧之间采样间隔 t 动态计算 0068 0069 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征 点对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; N1和N2分别为相邻帧匹配图像特征点对数目阈值,。

38、 其中N2N1, 其取值范围是N110, N2 20。 0070 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 0071 所述三维视觉系统可同时获取场景的二维彩色图像 I 与三维点云信息 D, 其中二 维彩色图像 I 与三维点云 D 按二维彩色图像像素点一一对应, 即二维彩色图像中第 u 行第 v 列的像素点 It(u,v) 与三维点云 Du,v(x,y,z) 相对应 ; 所述三维点云是指二维彩色图像所 有像素点对应的三维空间点集合。 说 明 书 CN 。

39、103559711 A 10 7/12 页 11 0072 步骤 3 : 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提取与 匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 0073 SIFT 图像特征检测算子是一种图像局部特征描述算子, 对平移、 旋转、 尺度缩放、 亮度变化、 遮挡和噪声等具有良好的不变性。因为特征检测算子的正确性和可靠性对运动 估计有着重要影响, 且运动过程中图像特征存在平移、 旋转、 尺度缩放、 亮度变化、 遮挡和噪 声等问题, 本发明选用 SIFT 算子提取作为运动估计的图像特征点。 0074 SIFT 图像特征检测与匹配处理主要包。

40、括四个步骤 : 尺度空间极值检测、 确定特征 点的方向参数、 生成 128 维特征描述向量及特征匹配。 0075 主要处理过程如下 : 0076 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法 【文献 1】 分别提取二维彩色图像特征点集合 Ft和 Ft+1。 0077 2) 对 Ft中的任一特征点 Fit, 采用 SIFT 算法 【文献 1】 , 从 t+1 时刻获取的二维彩 色图像特征点 Ft+1中, 依次找出与 Fit匹配的特征点构成匹配特征点对 0078 3) 对 Ft中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 0。

41、079 步骤 4 : 剔除集合 M 中的误匹配特征点对, 得到最终的匹配点对集合 M3; 0080 利用 SIFT 特征提取与匹配处理, 可以得到 t 和 t+1 时刻二维彩色图像 It和 It+1的 匹配特征点对集合M。 但由于噪声干扰和SIFT算法为增强鲁棒性而保留特征点辅方向等问 题, 仍不可避免的存在一定比例的错误匹配对。 而误匹配点对的存在对运动估计的正确性、 可靠性都会产生很大的破坏性影响。为避免上述问题, 本文提出了如下改进方法剔除误匹 配点对。 0081 1) 基于双向一致性检查的误匹配剔除 ; 0082 SIFT 算法在特征提取时, 为了增强匹配鲁棒性, 保留了峰值大于主方向。

42、峰值 80 的方向作为该特征点的辅方向, 同时, 在特征匹配阶段是以 t 时刻图像为基准, 通过一定的 搜索策略遍历搜索 t+1 时刻图像, 计算两时刻图像特征点描述子的欧式距离, 若最近距离 与次最近距离的比值小于某个阈值时, 即被认为最近距离的为一对匹配点。因而, SIFT 特 征点可能有两个及以上的方向, 并且产生 “一对多” 的匹配点对。这与相邻帧中图像特征的 最优 “一对一” 精确匹配相矛盾, 必然产生系统误差。 0083 如图2所示, 为相邻帧图像基于双向一致性检查的示意图 ; 首先以t时刻二维彩色 图像特征点为基准搜索匹配 t+1 时刻二维彩色图像特征点, t 时刻二维彩色图像 。

43、It中的特 征点Fit可能搜索匹配了t+1时刻二维彩色图像It+1中的特征点形 成 4 对匹配成功点 ; 然后以 t+1 时刻二维彩色图像特征点为基准搜索匹配 t 时刻二维彩色 图像特征点, t+1时刻二维彩色图像中的特征点可能搜索匹配了t时刻二维彩色图像中 的特征点 Fit、形成 3 对匹配成功点 ; 而这 7 对匹配点对中, 只有一对共同 的匹配点, 其中 i、 j、 i1、 i2、 j1、 j2、 j3 分别为相应特征点在其对应图像特征点集中的序号 标识。 0084 针对上述问题, 本发明提出基于双向一致性检查的误匹配剔除方法, 采用欧式距 离作为特征点 128 维向量描述子的相似性度量。

44、, 对 t+1 时刻的二维彩色图像 It+1的任一图 像特征点Fit+1, 依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构 说 明 书 CN 103559711 A 11 8/12 页 12 成匹配特征点对集合 M, M 和 M的交集构成新的匹配特征点对集合 M1, 以剔除非双向一 致的误匹配图像特征点对。 0085 由于特征点数目一般比较少 (几十到几百个) , 因而时间复杂度几乎没有增加, 而 实验结果可以剔除 20% 甚至 50% 以上的误匹配点对。 0086 2) 基于颜色一致性检查的误匹配剔除 ; 0087 SIFT 算法为追求最优鲁棒匹配效果, 以保证对不同摄像机。

45、、 不同时间、 不同光照、 不同角度、 不同尺度下的图像特征都具有较好的一致性和稳定性, 算法先将彩色图像转换 为灰度图像, 然后再进行特征提取和匹配运算, 从而丢失了色彩信息。 0088 在本发明所涉及的应用领域, 需进行特征检测与匹配处理的图像对为同一视觉系 统在相邻时刻相邻场景拍摄的两组图像, 成像条件相对稳定, 剧烈变化的环境因素较少。 0089 基于上述分析, 为尽可能利用已有图像信息提高匹配的鲁棒性, 本发明提出了基 于颜色信息约束的特征匹配处理。具体步骤如下 : 0090 步骤 a : 分别提取 t 时刻和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜 色信。

46、息 ; 0091 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间分量的索引信息 ; 0092 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空 间颜色分量的对应关系 ; 0093 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配特征点对集合 M1, 分 别获取匹配特征点对集合 M1的 HSV 信息 HT,ST,VT 和 HT+1,ST+1,VT+1, 其中, Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1中 t 时刻二维彩色图像匹配特征点对应的 HSV。

47、 信息, Ht+1,St+1,Vt+1 为 M1中 t+1 时刻二维彩色图像匹配特征点对应的 HSV 信息 ; 0094 步骤d : 对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一 致性检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并 从 M1中剔除, 得到新的匹配特征点对集合 M2; 0095 约束判定条件如下 : 0096 0097 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 0098 3) 采用 RANSAC 算法对匹。

48、配特征点对集合 M2中的误匹配进一步剔除, 得到最终的 匹配特征点对集合 M3; 0099 在基于双向一致性检查和基于颜色一致性检查剔除误匹配后, 得到的匹配特征点 对集合 M2, 其中 M2中误匹配点对数目已经比较少, 接近精确匹配点数据集。因此将对数据 集 M2应用 RANSAC 算法, 可通过计算最优匹配映射模型, 进一步剔除尽可能的误匹配特征点 对。经 RANSAC 优化剔除后的特征匹配点对集合设为 M3。 0100 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配 说 明 书 CN 103559711 A 12 9/12 页 13 模型 H ; 即使得匹配特征点对满足如下方程 : 0101 其中 0102 用 中 计 算 的 模 型 H, 对 M2未 选 中 的 其 它 样 本 数 据 进 行 测 试, 若 则该特征点对适用于估计的模型 H, 并称之为模型 H 的内点, 放入 M3; 否则认为它是外点 ; 其中表示特征点相对于模型 H 的映射点和匹 配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 0103 重复 K 次采样, 选择内点数目最多的集合 M3; 0104 0105 其中, 为 M2中的误匹配点。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1