《基于三维视觉系统图像特征和三维信息的运动估计方法.pdf》由会员分享,可在线阅读,更多相关《基于三维视觉系统图像特征和三维信息的运动估计方法.pdf(23页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103559711 A (43)申请公布日 2014.02.05 CN 103559711 A (21)申请号 201310544349.7 (22)申请日 2013.11.05 G06T 7/00(2006.01) (71)申请人 余洪山 地址 410082 湖南省长沙市麓山南路 2 号湖 南大学电气与信息工程学院 (72)发明人 余洪山 罗堪 蔺薛菲 王耀南 赵科 孙欢 万琴 朱江 段峰 代扬 (54) 发明名称 基于三维视觉系统图像特征和三维信息的运 动估计方法 (57) 摘要 本发明公开了一种基于三维视觉系统图像特 征和三维信息的运动估计方法, 该方法基于三维。
2、 视觉系统实时获取场景二维图像信息和按二维 图像像素对应的空间三维信息 ; 采用相邻帧采样 间隔自适应调整方法控制相邻帧采集间隔, 根据 t-1 时刻和 t 时刻相邻帧之间有效匹配图像特征 点对数目, 自动调整 t+1 时刻相对 t 时刻的采样 间隔, 在满足三维估计准确性和可靠性的基础上 有效减少了计算量 ; 根据当前相邻帧二维图像特 征匹配点对数目, 综合场景二维图像特征和三维 点云信息进行三维运动估计, 获得高精度的三维 运动估计, 具有计算量小, 应用场景限制性小等优 点。 (51)Int.Cl. 权利要求书 3 页 说明书 12 页 附图 7 页 (19)中华人民共和国国家知识产权局。
3、 (12)发明专利申请 权利要求书3页 说明书12页 附图7页 (10)申请公布号 CN 103559711 A CN 103559711 A 1/3 页 2 1. 一种基于三维视觉系统图像特征和三维信息的运动估计方法, 其特征在于, 包括以 下步骤 : 步骤 1 : 基于三维视觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻 获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 步骤3 : 利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点。
4、提取与匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 步骤 4 : 剔除集合 M 中的误匹配图像特征点对, 得到最终的匹配图像特征点对集合 M3; 1) 基于双向一致性检查的误匹配剔除 ; 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 对 t+1 时刻的二维彩色图 像 It+1的任一图像特征点 Fit+1, 依次从 t 时刻的二维彩色图像 It的图像特征点中找出相匹 配的特征点构成匹配特征点对集合 M, M 和 M的交集构成新的匹配图像特征点对集 合 M1, 以剔除非双向一致的误匹配图像特征点对 ; 2) 基于颜色一致性检查的误匹配剔除 ; 步骤 a : 分别提取 t 时刻。
5、和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜色信 息 ; 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间 分量的索引信息 ; 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空间颜 色分量的对应关系 ; 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配特征点对集合 M1, 分别获取 匹配特征点对集合 M1的 HSV 信息 Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1中 t 时刻二维彩色图像匹配特征点对应的 HSV 信息, Ht。
6、+1,St+1,Vt+1 为 M1中 t+1 时刻二维彩色 图像匹配特征点对应的 HSV 信息 ; 步骤d : 对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性 检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并从 M1 中剔除, 得到新的匹配特征点对集合 M2; 约束判定条件如下 : 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的误匹配进一步剔除, 得到最终的匹配 特。
7、征点对集合 M3; 步骤 5 : 如果集合 M3中匹配特征点对数目大于设定的阈值 N2, 转入步骤 6 ; 否则转入步 骤 7 ; 权 利 要 求 书 CN 103559711 A 2 2/3 页 3 步骤 6 : 基于集合 M3中相邻场景所有匹配特征点对的对应三维点云信息, 利用 ICP(Iterative Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 获取相邻帧的三维运动估计, 并转入步骤 9 ; 步骤7 : 依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt, 依据三维视觉系统呈 匀速直线运动, 线性估。
8、计 t+1 时刻相对于 t 时刻的三维运动信息初始估计值 R0和 T0; tt为 t 时刻和 t-1 时刻相邻帧之间的采样间隔, tt+1t+1 时刻和 t 时刻相邻帧之间 的采样间隔 ; 步骤 8 : 基于相邻帧三维点云数据 Dt和 Dt+1、 三维运动初始估计值 R0和 T0, 采用 ICP 算 法估计相邻帧的三维运动 R 和平移向量 T ; 根据三维运动估计初值 (旋转矩阵 R0和平移向量 T0) 、 t 时刻场景的三维点云 Dt、 t+1 时 刻场景的三维点云 Dt, 通过 ICP 迭代算法, 计算 t+1 时刻相对于 t 时刻的三维旋转向量 R 和 平移向量 T, 即获得相邻两帧的三。
9、维运动估计 ; 步骤 9 : 若机器人系统运动结束, 无需对三维运动进行估计, 则退出三维运动估计 ; 否 则转至步骤 1 重复继续进行下一个采样时刻与相邻帧的三维运动估计。 2. 根据权利要求 1 所述的基于三维视觉系统图像特征和三维信息的运动估计方法, 其 特征在于, 所述步骤 1 中相邻帧场景之间的采样间隔 t 的确定依据如下 : 所述三维视觉系统的采样频率范围为fmin,fmax, 相邻帧场景的动态采样间隔t变化 范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax, 最大值 tMax=1/fmin; 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t。
10、-1 时刻和 t 时刻相邻帧的 匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依据表 1 动态确定下一步采样间隔 tt+1: 表 1 相邻帧之间采样间隔 t 动态计算 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征点 对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; N1和N2分别为相邻帧匹配图像特征点对数目阈值, 其中N2N1, 其取值范围是N110, 权 利 要 求 书 CN 103559711 A 3 3/3 页 4 N2 20。 3. 根据权利要求 。
11、2 所述的基于三维视觉系统图像特征和三维信息的运动估计方法, 其 特征在于, 所述步骤3利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提 取与匹配, 得到相邻帧场景的匹配特征点对集合 M 的具体步骤如下 : 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法分别 提取尺度旋转不变特征点集合 Ft和 Ft+1; 2) 对 Ft的任一特征点 Fit, 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 然后从t+1时刻获取的二维彩色图像特征点Ft+1中, 依次找出与Fit匹配的特征点构成 匹配特征点对 3) 对 Ft。
12、中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 4. 根据权利要求 1-3 任一项所述的基于三维视觉系统图像特征和三维信息的运动估 计方法, 其特征在于, 所述步骤 4 误匹配点剔除中的 3) 采用 RANSAC 算法对匹配特征点对集 合 M2中的误匹配进一步剔除, 得到最终的匹配特征点对集合 M3的具体步骤如下 : 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配模型 H ; 即使得匹配特征点对满足如下方程 : 其中 用中计算的模型 H, 对 M2未选中的其它样本数据进行测试, 若则 该特征点对适用于估计的模型H, 并称之为模型H的内点, 放入M。
13、3; 否则认为它是外点 ; 其中 表示特征点相对于模型H的映射点和匹配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 重复 K 次采样, 选择内点数目最多的集合 M3; 其中, 为 M2中的误匹配点对占所有匹配点对的比例, p 为设定的匹配成功概率期望 值, s 为采样数目, s 4 ; 利用 M3中的样本数据重新估计计算模型参数 H ; 利用模型 H 重新测试样本集 M2, 确定新的集合 M3; 反复执行步骤, 直至 M3中的匹 配特征点对数目前后相差不超过 5%-10% 为止。 权 利 要 求 书 CN 103559711 A 4 1/12 页 5 基于三维视觉系统图像特征和三维。
14、信息的运动估计方法 技术领域 0001 本发明涉及一种基于三维视觉系统图像特征和三维信息的运动估计方法。 背景技术 0002 高精度高可靠的三维运动估计是机器人领域的研究难点和热点之一, 其目标是实 时计算出相邻两相邻时刻机器人三维空间位置变化量, 是机器人自定位、 地图创建、 三维重 建、 运动跟踪等研究的核心内容。传统惯性导航系统原理简单, 被广泛应用于运动估计, 但 是其存在漂移、 误差累计等问题, 其对应运动估计的精度低、 可靠性比较差。相对于惯性导 航系统, 基于视觉的运动估计不存在物理漂移问题, 具有较高的稳定性。 目前基于单目视觉 的运动估计无法获得三维相对运动的尺度信息 ; 立。
15、体摄像机可获得三维运动估计, 但是存 在计算量大、 可靠性受环境和噪声影响大、 测量精度超过景深范围后急速下降等问题。 随着 三维激光测距仪、 三维摄像机等三维传感器的引入, 空间环境的三维信息实时获取成为可 能。基于 ICP 的三维点云匹配算法开始被应用于相邻两帧的三维信息估计。但是由于噪 声、 误差和不匹配区域比例的增长, ICP 迭代算法容易陷入局部优化解, 从而该类算法仅在 较小空间变换范围内或基于较好的初始估计情况下可获得准确的估计结果。 为实现精确可 靠的三维运动估计, 通常采用高频率采样获取相邻帧三维信息, 从而将相邻帧空间变换限 制在较小范围 ; 而高频率采样必然导致计算量巨大。
16、, 难以实时应用。相对于三维激光测距 仪, 三维摄像机不仅可获得场景二维彩色图像信息, 还可以获得空间场景对应的三维信息, 如 Kinect、 SR4000 等三维摄像机等。基于此人们提出基于相邻帧图像的不变性特征点构成 三维点集求解三维运动的初始估计, 以提高 ICP 算法的估计性能。但是该类方法的缺陷在 于严重依赖于特征点选择, 首先特征点集中的误匹配点集将对三维估计初始值造成严重影 响 ; 其次该算法仅对图像特征点较多的场景有效, 若场景特征点集非常稀疏以致无法获取 正确可靠的初始估计值时, 将直接导致算法失败, 从而无法获得三维相对估计。 0003 因此, 如何充分利用三维视觉系统的二。
17、维彩色图像信息和空间三维信息, 实时获 取精确的三维运动信息, 是本领域急需解决的技术问题。 发明内容 0004 本发明所要解决的技术问题是提供一种基于三维视觉系统图像特征和三维信息 的运动估计方法, 基于三维视觉系统获取的相邻帧的场景二维彩色图像信息和按二维彩色 图像像素对应的空间三维信息, 采用本发明的改进 SIFT 特征匹配算法、 采样间隔自适应调 整方法和三维运动优化估计算法实现相邻帧的快速高精度三维运动估计, 具有精度高、 计 算量小、 应用场景限制性小等突出优点。 0005 一种基于三维视觉系统图像特征和三维信息的运动估计方法, 包括以下步骤 : 0006 步骤 1 : 基于三维视。
18、觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 0007 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 说 明 书 CN 103559711 A 5 2/12 页 6 0008 所述三维视觉系统可同时获取场景的二维彩色图像 I 与三维点云信息 D, 其中二 维彩色图像 I 与三维点云 D 按二维彩色图像像素点一一对应, 即二维彩色图像中第 u 行第 v 列的像素点 It(u,v) 与三维点云 Du,v(x,y,z) 相对应 ; 所述三维点云是指二维彩。
19、色图像所 有像素点对应的三维空间点集合 ; 0009 步骤 3 : 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提取与 匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 0010 步骤 4 : 剔除集合 M 中的误匹配图像特征点对, 得到最终的匹配图像特征点对集合 M3; 0011 1) 基于双向一致性检查的误匹配剔除 ; 0012 采用欧式距离作为特征点 128 维向量描述子的相似性度量, 对 t+1 时刻的二维彩 色图像 It+1的任一图像特征点 Fit+1, 依次从 t 时刻的二维彩色图像 It的图像特征点中找出 相匹配的特征点构成匹配特征点对集合 M,。
20、 M 和 M的交集构成新的匹配图像特征点 对集合 M1, 以剔除非双向一致的误匹配图像特征点对 ; 0013 2) 基于颜色一致性检查的误匹配剔除 ; 0014 步骤 a : 分别提取 t 时刻和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜 色信息 ; 0015 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间分量的索引信息 ; 0016 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空 间颜色分量的对应关系 ; 0017 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配。
21、特征点对集合 M1, 分别 获取匹配特征点对集合 M1的 HSV 信息 Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1 中 t 时刻二维彩色图像匹配特征点对应的 HSV 信息, Ht+1,St+1,Vt+1 为 M1中 t+1 时刻二维 彩色图像匹配特征点对应的 HSV 信息 ; 0018 步骤 d : 对匹配特征点对集合 M1中的任一特征点对进行 HSV 空间颜色一 致性检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并 从 M1中剔除, 得到新的匹配特征点对集合 M2; 0019 约束判定条件如下 : 0020 0。
22、021 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 0022 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的误匹配进一步剔除, 得到最终的 匹配特征点对集合 M3; 0023 步骤 5 : 如果集合 M3中匹配特征点对数目大于阈值 N2, 转入步骤 6 ; 否则转入步骤 7 ; 0024 步骤 6 : 基于集合 M3中相邻场景所有匹配特征点对的对应三维点云信息, 利用 说 明 书 CN 103559711 A 6 3/12 页 7 ICP(Iterative 。
23、Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 获取相邻帧的三维运动估计, 并转入步骤 9 ; 0025 依据 M3中的匹配特征点对, 从三维点云 Dt和 Dt+1中分别获取特征点对应的三 维点集 FDt(X,Y,Z) 和 FDt+1(X,Y,Z) ; 根据匹配三维点集 FDt(X,Y,Z) 和 FDt+1(X,Y,Z), 利用 ICP(Iterative Closest Point, 迭代最近点 ) 算法, 求取 t+1 时刻相对于 t 时刻的三维旋 转向量 R 和平移向量 T, 即获得相邻两帧的三维运动估计 ;。
24、 0026 步骤7 : 依据t时刻相对于t-1时刻的三维运动的估计值Rt和Tt, 依据三维视觉系 统呈匀速直线运动, 线性估计 t+1 时刻相对于 t 时刻的三维运动信息初始估计值 R0和 T0; 0027 0028 tt为 t 时刻和 t-1 时刻相邻帧之间的采样间隔, tt+1t+1 时刻和 t 时刻相邻帧 之间的采样间隔 ; 0029 步骤8 : 基于相邻帧三维点云数据Dt和Dt+1、 三维运动初始估计值R0和T0, 采用ICP 算法估计相邻帧的三维运动 R 和平移向量 T ; 0030 根据三维运动估计初值 (旋转矩阵 R0和平移向量 T0) 、 t 时刻场景的三维点云 Dt、 t+1。
25、 时刻场景的三维点云 Dt+1, 通过 ICP 迭代算法, 计算 t+1 时刻相对于 t 时刻的三维旋转 向量 R 和平移向量 T, 即获得相邻两帧的三维运动估计 ; 0031 步骤 9 : 若机器人系统运动结束, 无需对三维运动进行估计, 则退出三维运动估 计 ; 否则转至步骤 1 重复继续进行下一个采样时刻与相邻帧的三维运动估计。 0032 所述步骤 1 中相邻帧场景之间的采样间隔 t 的确定依据如下 : 0033 所述三维视觉系统的采样频率范围为 fmin,fmax, 相邻帧场景的动态采样间隔 t 变化范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax, 最大值 tM。
26、ax=1/fmin; 0034 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t-1 时刻和 t 时刻相邻 帧的匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依 据表 1 动态确定下一步采样间隔 tt+1: 0035 表 1 相邻帧之间采样间隔 T 动态计算 0036 0037 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征 说 明 书 CN 103559711 A 7 4/12 页 8 点对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; 。
27、N1和N2分别为相邻帧匹配图像特征点对数目阈值, 其中N2N1, 其取值范围是N110, N2 20。 0038 所述步骤 3 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提 取与匹配, 得到相邻帧场景的匹配特征点对集合 M 的具体步骤如下 : 0039 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法 分别提取尺度旋转不变特征点集合 Ft和 Ft+1; 0040 2) 对Ft的任一特征点Fit, 采用欧式距离作为特征点128维向量描述子的相似性度 量, 然后从 t+1 时刻获取的二维彩色图像特征点 Ft+1。
28、中, 依次找出与 Fit匹配的特征点 构成匹配特征点对 0041 3) 对 Ft中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 0042 所述步骤 4 误匹配点剔除中的 3) 采用 RANSAC 算法对匹配特征点对集合 M2中的 误匹配进一步剔除, 得到最终的匹配特征点对集合 M3的具体步骤如下 : 0043 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配 模型 H ; 即使得匹配特征点对满足如下方程 : 0044 其中 0045 用 中 计 算 的 模 型 H, 对 M2未 选 中 的 其 它 样 本 数 据 进 行 测 试, 若 则该特征点对。
29、适用于估计的模型 H, 并称之为模型 H 的内点, 放入 M3; 否则认为它是外点 ; 其中表示特征点相对于模型 H 的映射点和匹 配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 0046 重复 K 次采样, 选择内点数目最多的集合 M3; 0047 0048 其中, 为 M2中的误匹配点对占所有匹配点对的比例, p 为设定的匹配成功概率 期望值, s 为采样数目, s 4 ; 0049 利用 M3中的样本数据重新估计计算模型参数 H ; 0050 利用模型 H 重新测试样本集 M2, 确定新的集合 M3; 反复执行步骤, 直至 M3中 的匹配特征点对数目前后相差不超过 5%-10。
30、% 为止。 0051 有益效果 0052 本发明可实现高精度三维运动信息的快速获取, 具有计算量小, 应用场景限制性 小等优点, 可有效满足机器人自定位、 地图创建、 三维重建、 三维运动跟踪等应用领域中对 三维运动信息的迫切需求。 0053 与现有三维运动估计方法相比, 本发明的先进性表现在 : 1) 发明采用三维视觉系 说 明 书 CN 103559711 A 8 5/12 页 9 统获取的三维信息用于三维运动估计, 提高了三维信息获取和运动估计速度, 并避免了传 统立体视觉系统三维信息获取中的计算误差 ; 2) 本发明提出相邻帧采样间隔自适应调整 方法, 根据场景中二维彩色图像特征的稀疏。
31、性自动调整相邻帧采集间隔, 对图像特征稀疏 的场景通过提高采样频率, 保证在相邻帧在较小的空间范围内变化 ; 在图像特征丰富的场 景, 自动降低采样频率, 保证本发明三维运动估计处理的准确性和鲁棒性的同时, 减少了运 算量 ; 3) 发明提出综合场景二维彩色图像特征和三维点云信息的三维运动优化估计算法。 其中在二维彩色图像特征丰富的场景, 基于改进 SIFT 特征匹配算法获取相邻帧的精确匹 配特征点集及其对应的三维信息, 获得精确三维运动估计, 有效解决基于 ICP 算法的三维 点云匹配中的局部收敛问题, 并可通过降低采样频率减少运算量 ; 在图像特征稀疏的场景, 通过提高采样频率将相邻帧空间。
32、变化限制在较小的范围内, 直接利用相邻帧的三维点云信 息, 采用 ICP 迭代算法求解三维运动估计, 有效保证了算法的可靠性, 避免了基于三维摄像 机中图像特征匹配的三维运动估计方法对环境图像特征疏密性的高度依赖性 ; 4) 发明提出 改进SIFT特征匹配算法, 在传统SIFT特征匹配算法基础上加入了双向一致性约束、 颜色一 致性约束和 Ransac 约束有效提高相邻帧特征点匹配的正确性, 有效降低了误匹配点对对 运动估计的破坏性影响。 附图说明 0054 图 1 为本发明整体流程图 ; 0055 图 2 为相邻帧图像基于双向一致性检查的示意图, 其中, 图 (a) 为以 t 时刻二维彩 色图。
33、像为基准的正向匹配示意图, 图 (b) 为以 t+1 时刻二维彩色图像为基准的反向匹配示 意图 ; 0056 图 3 为相邻帧图像中后一帧图像相对前一帧图像平移 50cm 时, 两帧图像进行图 像特征匹配的实验过程和结果对比图, 其中, 图 (a) 为正向匹配特征点对情况图 ; 图 (b) 为 反向匹配特征点对情况图 ; 图 (c) 为基于相互一致性检查约束剔除误匹配特征点对后的效 果图 ; 图 (d) 为基于颜色一致性检查约束剔除误匹配特征点对后的效果图 ; 图 (e) 为基于 Ransac 算法剔除误匹配特征点对后的效果图 ; 0057 图 4 为相邻帧图像中后一帧图像相对前一帧图像旋转 。
34、30时, 两帧图像进行图 像特征匹配的实验过程和结果对比图 ; 其中, 图 (a) 为正向匹配特征点对情况图 ; 图 (b) 为 反向匹配特征点对情况图 ; 图 (c) 为基于相互一致性检查约束剔除误匹配特征点对后的效 果图 ; 图 (d) 为基于颜色一致性检查约束剔除误匹配特征点对后的效果图 ; 图 (e) 为基于 Ransac 算法剔除误匹配特征点对后的效果图 ; 0058 图5为相邻帧图像中后一帧图像相对前一帧图像同时平移80cm和旋转50时, 基 于本发明计算的运动估计值进行相邻帧三维拼接效果示意图 ; 0059 图 6 为固定采样间隔和本发明自适应采样间隔方法对比试验的部分场景图片显。
35、 示 ; 0060 图 7 为固定采样时间间隔和本发明自适应采样间隔方法对比试验的结果对比, 图 (a) 为机器人实际运动轨迹, 图 (b) 为分别采用固定采样间隔和自适应采样间隔方法所得 轨迹对比。 说 明 书 CN 103559711 A 9 6/12 页 10 具体实施方式 0061 下面将结合附图和实施例对本发明做进一步的说明。 0062 本发明所涉及的三维视觉系统可采用发明专利 (201310220879.6) 所涉及的二维 /三维复合摄像机或微软Kinect三维摄像机等。 所述三维视觉系统可同时获取场景二维彩 色图像信息I和空间三维信息D, 其中二维彩色图像信息I和空间三维信息D按。
36、二维彩色图 像像素坐标逐一匹配对应, 即二维彩色图像 I 中第 u 行第 v 列的像素点 I(u,v) 与三维点云 Du,v(x,y,z) 相对应。作为应用实例, 本发明给出了基于 Kinect 三维摄像机的应用效果。 0063 如图 1 所示, 为本发明的流程图, 一种基于三维视觉系统图像特征和三维信息的 运动估计方法, 包括以下步骤 : 0064 步骤 1 : 基于三维视觉系统, 动态确定相邻帧场景之间的采样间隔 t ; 0065 所述三维视觉系统的采样频率范围为 fmin,fmax, 相邻帧场景的动态采样间隔 t 变化范围为 tmin,tmax, 其中 t 最小值 tmin=1/fmax。
37、, 最大值 tMax=1/fmin; 0066 采样间隔 t 的初始值设定为 tmin; 在运动过程中, 基于 t-1 时刻和 t 时刻相邻 帧的匹配图像特征点对集合 M3中匹配图像特征点对数目 Num(M3) 和当前采样间隔 tt, 依 据表 1 动态确定下一步采样间隔 tt+1: 0067 表 1 相邻帧之间采样间隔 t 动态计算 0068 0069 其中, Max() 为取最大值函数, Min() 为取最小值函数, Num(M3) 为 M3中的匹配特征 点对数目 ; 间隔调整最小步长其中 L 为采样间隔的等级数, 取值范围为 4-20 ; N1和N2分别为相邻帧匹配图像特征点对数目阈值,。
38、 其中N2N1, 其取值范围是N110, N2 20。 0070 步骤 2 : 按照步骤 1 确定的采样间隔 t, 利用三维视觉系统分别在 t 时刻和 t+1 时刻获取相邻帧场景的二维彩色图像 It和 It+1、 场景对应的三维点云 Dt和 Dt+1; 0071 所述三维视觉系统可同时获取场景的二维彩色图像 I 与三维点云信息 D, 其中二 维彩色图像 I 与三维点云 D 按二维彩色图像像素点一一对应, 即二维彩色图像中第 u 行第 v 列的像素点 It(u,v) 与三维点云 Du,v(x,y,z) 相对应 ; 所述三维点云是指二维彩色图像所 有像素点对应的三维空间点集合。 说 明 书 CN 。
39、103559711 A 10 7/12 页 11 0072 步骤 3 : 利用 SIFT 算法对相邻帧场景的二维彩色图像 It和 It+1进行特征点提取与 匹配, 得到相邻帧场景的匹配图像特征点对集合 M ; 0073 SIFT 图像特征检测算子是一种图像局部特征描述算子, 对平移、 旋转、 尺度缩放、 亮度变化、 遮挡和噪声等具有良好的不变性。因为特征检测算子的正确性和可靠性对运动 估计有着重要影响, 且运动过程中图像特征存在平移、 旋转、 尺度缩放、 亮度变化、 遮挡和噪 声等问题, 本发明选用 SIFT 算子提取作为运动估计的图像特征点。 0074 SIFT 图像特征检测与匹配处理主要包。
40、括四个步骤 : 尺度空间极值检测、 确定特征 点的方向参数、 生成 128 维特征描述向量及特征匹配。 0075 主要处理过程如下 : 0076 1) 对 t 时刻和 t+1 时刻获取的相邻场景的二维彩色图像 It和 It+1, 利用 SIFT 算法 【文献 1】 分别提取二维彩色图像特征点集合 Ft和 Ft+1。 0077 2) 对 Ft中的任一特征点 Fit, 采用 SIFT 算法 【文献 1】 , 从 t+1 时刻获取的二维彩 色图像特征点 Ft+1中, 依次找出与 Fit匹配的特征点构成匹配特征点对 0078 3) 对 Ft中所有特征点执行步骤 2) , 得到匹配特征点对集合 M。 0。
41、079 步骤 4 : 剔除集合 M 中的误匹配特征点对, 得到最终的匹配点对集合 M3; 0080 利用 SIFT 特征提取与匹配处理, 可以得到 t 和 t+1 时刻二维彩色图像 It和 It+1的 匹配特征点对集合M。 但由于噪声干扰和SIFT算法为增强鲁棒性而保留特征点辅方向等问 题, 仍不可避免的存在一定比例的错误匹配对。 而误匹配点对的存在对运动估计的正确性、 可靠性都会产生很大的破坏性影响。为避免上述问题, 本文提出了如下改进方法剔除误匹 配点对。 0081 1) 基于双向一致性检查的误匹配剔除 ; 0082 SIFT 算法在特征提取时, 为了增强匹配鲁棒性, 保留了峰值大于主方向。
42、峰值 80 的方向作为该特征点的辅方向, 同时, 在特征匹配阶段是以 t 时刻图像为基准, 通过一定的 搜索策略遍历搜索 t+1 时刻图像, 计算两时刻图像特征点描述子的欧式距离, 若最近距离 与次最近距离的比值小于某个阈值时, 即被认为最近距离的为一对匹配点。因而, SIFT 特 征点可能有两个及以上的方向, 并且产生 “一对多” 的匹配点对。这与相邻帧中图像特征的 最优 “一对一” 精确匹配相矛盾, 必然产生系统误差。 0083 如图2所示, 为相邻帧图像基于双向一致性检查的示意图 ; 首先以t时刻二维彩色 图像特征点为基准搜索匹配 t+1 时刻二维彩色图像特征点, t 时刻二维彩色图像 。
43、It中的特 征点Fit可能搜索匹配了t+1时刻二维彩色图像It+1中的特征点形 成 4 对匹配成功点 ; 然后以 t+1 时刻二维彩色图像特征点为基准搜索匹配 t 时刻二维彩色 图像特征点, t+1时刻二维彩色图像中的特征点可能搜索匹配了t时刻二维彩色图像中 的特征点 Fit、形成 3 对匹配成功点 ; 而这 7 对匹配点对中, 只有一对共同 的匹配点, 其中 i、 j、 i1、 i2、 j1、 j2、 j3 分别为相应特征点在其对应图像特征点集中的序号 标识。 0084 针对上述问题, 本发明提出基于双向一致性检查的误匹配剔除方法, 采用欧式距 离作为特征点 128 维向量描述子的相似性度量。
44、, 对 t+1 时刻的二维彩色图像 It+1的任一图 像特征点Fit+1, 依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构 说 明 书 CN 103559711 A 11 8/12 页 12 成匹配特征点对集合 M, M 和 M的交集构成新的匹配特征点对集合 M1, 以剔除非双向一 致的误匹配图像特征点对。 0085 由于特征点数目一般比较少 (几十到几百个) , 因而时间复杂度几乎没有增加, 而 实验结果可以剔除 20% 甚至 50% 以上的误匹配点对。 0086 2) 基于颜色一致性检查的误匹配剔除 ; 0087 SIFT 算法为追求最优鲁棒匹配效果, 以保证对不同摄像机。
45、、 不同时间、 不同光照、 不同角度、 不同尺度下的图像特征都具有较好的一致性和稳定性, 算法先将彩色图像转换 为灰度图像, 然后再进行特征提取和匹配运算, 从而丢失了色彩信息。 0088 在本发明所涉及的应用领域, 需进行特征检测与匹配处理的图像对为同一视觉系 统在相邻时刻相邻场景拍摄的两组图像, 成像条件相对稳定, 剧烈变化的环境因素较少。 0089 基于上述分析, 为尽可能利用已有图像信息提高匹配的鲁棒性, 本发明提出了基 于颜色信息约束的特征匹配处理。具体步骤如下 : 0090 步骤 a : 分别提取 t 时刻和 t+1 时刻获取的二维彩色图像 It和 It+1的 HSV 空间颜 色信。
46、息 ; 0091 步骤 b : 依据 1) 中获得的匹配特征点对集合 M1, 建立集合 M1中所有特征点的 HSV 空间分量的索引信息 ; 0092 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的 HSV 空 间颜色分量的对应关系 ; 0093 步骤 c : 依据步骤 b 中建立的 HSV 空间分量索引信息和匹配特征点对集合 M1, 分 别获取匹配特征点对集合 M1的 HSV 信息 HT,ST,VT 和 HT+1,ST+1,VT+1, 其中, Ht,St,Vt 和 Ht+1,St+1,Vt+1, 其中, Ht,St,Vt 为 M1中 t 时刻二维彩色图像匹配特征点对应的 HSV。
47、 信息, Ht+1,St+1,Vt+1 为 M1中 t+1 时刻二维彩色图像匹配特征点对应的 HSV 信息 ; 0094 步骤d : 对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一 致性检查处理, 若同时满足如下约束, 则认为是正确匹配点对, 否则认为是误匹配点对, 并 从 M1中剔除, 得到新的匹配特征点对集合 M2; 0095 约束判定条件如下 : 0096 0097 其中, TH为 H 分量阈值, TS为 S 分量阈值, TV为 V 分量阈值, 取值范围分别为 : TH (0,), TS (0,0.5), TV (0,0.5) ; 0098 3) 采用 RANSAC 算法对匹。
48、配特征点对集合 M2中的误匹配进一步剔除, 得到最终的 匹配特征点对集合 M3; 0099 在基于双向一致性检查和基于颜色一致性检查剔除误匹配后, 得到的匹配特征点 对集合 M2, 其中 M2中误匹配点对数目已经比较少, 接近精确匹配点数据集。因此将对数据 集 M2应用 RANSAC 算法, 可通过计算最优匹配映射模型, 进一步剔除尽可能的误匹配特征点 对。经 RANSAC 优化剔除后的特征匹配点对集合设为 M3。 0100 随机选择 M2中的 s 组匹配特征点对组成随机样本集 M3, 并基于该样本计算匹配 说 明 书 CN 103559711 A 12 9/12 页 13 模型 H ; 即使得匹配特征点对满足如下方程 : 0101 其中 0102 用 中 计 算 的 模 型 H, 对 M2未 选 中 的 其 它 样 本 数 据 进 行 测 试, 若 则该特征点对适用于估计的模型 H, 并称之为模型 H 的内点, 放入 M3; 否则认为它是外点 ; 其中表示特征点相对于模型 H 的映射点和匹 配对应点的欧式距离, Td为距离阈值, 表示矩阵乘运算 ; 0103 重复 K 次采样, 选择内点数目最多的集合 M3; 0104 0105 其中, 为 M2中的误匹配点。