在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf

上传人:Y0****01 文档编号:5982912 上传时间:2019-04-02 格式:PDF 页数:15 大小:783.73KB
返回 下载 相关 举报
摘要
申请专利号:

CN201710062178.2

申请日:

2017.01.31

公开号:

CN106845552A

公开日:

2017.06.13

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):G06K 9/62申请日:20170131|||公开

IPC分类号:

G06K9/62; G06K9/32; G06K9/40

主分类号:

G06K9/62

申请人:

东南大学

发明人:

陈熙源; 柳笛; 刘晓; 李庆华

地址:

211189 江苏省南京市江宁区东南大学路2号

优先权:

专利代理机构:

南京瑞弘专利商标事务所(普通合伙) 32249

代理人:

彭雄

PDF下载: PDF下载
内容摘要

本发明公开了一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,通过安装在移动载体上的车载摄像机采集载体的动态图像,采用金字塔Lucas??Kanade光流和SIFT特征点匹配两种算法分别检测出当前帧和下一帧图像中的特征点并对其进行匹配,然后根据匹配成功的若干对特征点所对应的像素位移计算出在载体坐标系下的速度V光流、VSIFT,并将两者的差值ΔV以及加速度差值Δa输入到改进的自适应卡尔曼滤波器,对光流法计算得到的载体速度VSIFT进行直接校正。通过本发明求取速度精度高和求取速度快,显著提高了低动态载体速度的估计精度和实时性。

权利要求书

1.一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计
算方法,其特征在于,包括下列步骤:
步骤1,在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,在
所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进
行;
步骤2,在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并
记录下角点在图像坐标系中的坐标;
步骤3,采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获
取这些角点在下一帧图像坐标系中的坐标位置;
步骤4,通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧图
像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠加
值求平均得到横向位移的平均值纵向位移的平均值
步骤5,在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两
幅图像的SIFT特征向量;
步骤6,获取SIFT特征向量后,进行特征点匹配;
步骤7,重复步骤4中的方法,得到正常匹配特征点的横向位移的平均值纵向位
移的平均值
步骤8,假设摄像头光心到地面的距离为ZR,归一化焦距分别为f1,f2,使用公式(5)、
(6)、(7)求出移动载体沿摄像机坐标系X轴和Y轴的速度;
<mrow> <msub> <mi>v</mi> <mi>x</mi> </msub> <mo>=</mo> <mi>&Delta;</mi> <mover> <mi>x</mi> <mo>&OverBar;</mo> </mover> <mo>&CenterDot;</mo> <mi>F</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>v</mi> <mi>y</mi> </msub> <mo>=</mo> <mi>&Delta;</mi> <mover> <mi>y</mi> <mo>&OverBar;</mo> </mover> <mo>&CenterDot;</mo> <mi>F</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>V</mi> <mi>x</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>V</mi> <mi>y</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>Z</mi> <mi>R</mi> </msub> <msub> <mi>v</mi> <mi>x</mi> </msub> <mo>/</mo> <msub> <mi>f</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Z</mi> <mi>R</mi> </msub> <msub> <mi>v</mi> <mi>y</mi> </msub> <mo>/</mo> <msub> <mi>f</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
式中,分别为正常匹配特征点的横向和纵向位移的平均值,F为摄像机的帧率,
f1,f2表示归一化焦距;
步骤9,利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、VxSIFT、
VySIFT;在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载体前进
方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数,把ΔV、Δa共同输入到
改进的自适应卡尔曼滤波器中进行数据融合;
步骤10,改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和
Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中
由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流
法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信
息融合:
滤波器的系统方程和观测方程如式(8)、(9))所示:
<mrow> <mi>X</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&Phi;</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>,</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>X</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <mi>U</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mi>&Delta;</mi> <mover> <mi>a</mi> <mo>&OverBar;</mo> </mover> <mo>+</mo> <mi>W</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
Z(k)=H(k)X(k)+V(k) (9)
式(8)中T为相邻时刻间隔周期,α为载体加速度差值时间常数的
倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号
式(9)中H(k)=[1 0],V(k)为观测方程噪声,系统噪声矩阵Q(k-1)如式(10)所示:
<mrow> <mi>Q</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mn>2</mn> <mi>&alpha;</mi> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> <mfenced open='[' close=']'> <mtable> <mtr> <mtd> <mfrac> <mrow> <msup> <mrow> <mn>4</mn> <mi>e</mi> </mrow> <mrow> <mo>-</mo> <mi>&alpha;T</mi> </mrow> </msup> <mo>-</mo> <mn>3</mn> <mo>-</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mn>2</mn> <mi>&alpha;T</mi> </mrow> </msup> <mo>+</mo> <mn>2</mn> <mi>&alpha;T</mi> </mrow> <mrow> <mn>2</mn> <msup> <mi>&alpha;</mi> <mn>3</mn> </msup> </mrow> </mfrac> </mtd> <mtd> <mfrac> <mrow> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mn>2</mn> <mi>&alpha;T</mi> </mrow> </msup> <mo>+</mo> <mn>1</mn> <mo>-</mo> <msup> <mrow> <mn>2</mn> <mi>e</mi> </mrow> <mrow> <mo>-</mo> <mi>&alpha;T</mi> </mrow> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&alpha;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mn>2</mn> <mi>&alpha;T</mi> </mrow> </msup> <mo>+</mo> <mn>1</mn> <mo>-</mo> <mn>2</mn> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>&alpha;T</mi> </mrow> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&alpha;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mtd> <mtd> <mfrac> <msup> <mrow> <mn>1</mn> <mo>-</mo> <mi>e</mi> </mrow> <mrow> <mo>-</mo> <mn>2</mn> <mi>&alpha;T</mi> </mrow> </msup> <mrow> <mn>2</mn> <mi>&alpha;</mi> </mrow> </mfrac> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
上式中加速度差值的方差σ2表示为:
<mrow> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> <mo>=</mo> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <mfrac> <mrow> <mn>4</mn> <mo>-</mo> <mi>&pi;</mi> </mrow> <mi>&pi;</mi> </mfrac> <mo>[</mo> <msub> <mi>&Delta;a</mi> <mrow> <mi>new</mi> <mo>-</mo> <mi>max</mi> </mrow> </msub> <mo>-</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <msup> <mo>]</mo> <mn>2</mn> </msup> <mo>,</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>></mo> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mfrac> <mrow> <mn>4</mn> <mo>-</mo> <mi>&pi;</mi> </mrow> <mi>&pi;</mi> </mfrac> <msup> <mrow> <mo>[</mo> <mi>&Delta;</mi> <msub> <mi>a</mi> <mrow> <mi>new</mi> <mo>-</mo> <mi>min</mi> </mrow> </msub> <mo>-</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>.</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>]</mo> </mrow> <mn>2</mn> </msup> <mo>,</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其值随
Δa(k/k-1)的改变而改变;假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定两个
阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公式确
定:
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>-</mo> <msubsup> <mi>k</mi> <mn>1</mn> <mrow> <mi>&Delta;</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>,</mo> <msub> <mi>&Delta;a</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> <mo>&GreaterEqual;</mo> <mi>&Delta;</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>1</mn> <mo>-</mo> <msubsup> <mi>k</mi> <mn>2</mn> <mrow> <mo>-</mo> <mi>&Delta;</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msubsup> <mo>,</mo> <mn>0</mn> <mo>&gt;</mo> <mi>&Delta;</mi> <mi>a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <msub> <mi>&Delta;a</mi> <mrow> <mo>-</mo> <mi>u</mi> <mi>p</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mfenced open='{' close=''> <mtable> <mtr> <mtd> <msub> <mi>&Delta;a</mi> <mrow> <mi>new</mi> <mo>-</mo> <mi>max</mi> </mrow> </msub> <mo>=</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>&Delta;</mi> <msub> <mi>a</mi> <mi>y</mi> </msub> <mo>,</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&GreaterEqual;</mo> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mi>&Delta;</mi> <msub> <mi>a</mi> <mrow> <mi>new</mi> <mo>-</mo> <mi>min</mi> </mrow> </msub> <mo>=</mo> <mi>M</mi> <mo>&CenterDot;</mo> <mi>&Delta;</mi> <msub> <mi>a</mi> <mrow> <mo>-</mo> <mi>y</mi> </mrow> </msub> <mo>,</mo> <mi>&Delta;a</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>/</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
步骤11,使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进
行直接校正,从而得到了精度较高的移动载体速度。
2.根据权利要求1所述在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动
态载体速度计算方法,其特征在于:所述步骤6中的特征点匹配方法:
以特征向量的欧式距离作为匹配准则,在前一帧图像中的特征点Ri,在后一帧中计算距
离特征点Ri最近的2个特征点并且记录2个距离d1和d2,计算2个距离之比,比例在一定阈值
范围之内的,认为是匹配点;
前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:
Ri=(ri1,ri1,…,ri128) (1)
Si=(si1,si1,…,si128) (2)
任意两个特征点相似性度量d(Ri,Si):
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>128</mn> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>s</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
要得到配对的特征点描述子(Ri,Sj),需满足:

Threshold表示阈值。
3.根据权利要求1所述在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动
态载体速度计算方法,其特征在于:所述步骤10中,引入滤波残差err(k)来调整系数k1、k2,
k1、k2的取值用公式(14)、(15)、(16)表示:
<mrow> <msub> <mi>k</mi> <mn>1</mn> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>k</mi> <mn>11</mn> </msub> <mrow> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </msup> <mo>)</mo> <mo>&CenterDot;</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>&Delta;a</mi> <mi>y</mi> </msub> <mo>-</mo> <msub> <mi>&Delta;a</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>&Delta;a</mi> <mi>y</mi> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mrow> <msub> <mi>&Delta;a</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> </mrow> </mfrac> </msup> <mo>,</mo> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>|</mo> <mo>&GreaterEqual;</mo> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>k</mi> <mn>12</mn> </msub> <mo>,</mo> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>k</mi> <mn>2</mn> </msub> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msup> <msub> <mi>k</mi> <mn>21</mn> </msub> <mrow> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </msup> <mo>)</mo> <mo>&CenterDot;</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>-</mo> <msub> <mi>&Delta;a</mi> <mrow> <mo>-</mo> <mi>y</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&Delta;a</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> </mrow> <mrow> <mo>-</mo> <msub> <mi>&Delta;a</mi> <mrow> <mo>-</mo> <mi>y</mi> </mrow> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mrow> <msub> <mi>&Delta;a</mi> <mrow> <mi>u</mi> <mi>p</mi> </mrow> </msub> </mrow> </mfrac> </msup> <mo>,</mo> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mo>(</mo> <mi>k</mi> <mo>)</mo> <mo>|</mo> <mo>&GreaterEqual;</mo> <mi>n</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>k</mi> <mn>22</mn> </msub> <mo>,</mo> <mo>|</mo> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&lt;</mo> <mi>n</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
err(k)=Z(k)-H(k)X(k/k-1) (16)
式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数;k11的取值空间为
k12的取值空间k21的取值范围为
k22的取值范围为

说明书

在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法

技术领域

本发明涉及计算机图像处理领域,尤其涉及通过融合光流和SIFT特征点匹配方法
从而得到更高精度的移动载体速度的设计,适用于移动机器人的视觉辅助导航。

背景技术

目前,获取移动载体速度的方法主要有两种,一种为利用传统的码盘,另一种为基
于视觉的方法。相比较于传统码盘的方法,利用视觉方法获取移动载体速度的方法不会受
到轮子侧滑的影响,在车体没有运动的情况下,也不会出现结果上的漂移。近年来,基于视
觉测量低动态移动载体速度的方法逐渐成为一种重要的选择。但是某一种单一的基于视觉
测量速度的方法不能同时满足实时性和在光照不均匀情况下高鲁棒性的要求,因此如何提
高在光照不均匀环境下利用视觉方法求得速度的精度和实时性成为工程应用中的一个重
点和难点。

使用视觉求移动载体速度主要分为基于光流法和基于特征匹配跟踪两种方法。光
流法对于图像运动的估计已经可以满足一定的精度和稳定度的要求,并且由于计算速度
快,基于光流法的速度测量方法可以达到实际应用的要求,但是它在光照不均匀环境下测
量的速度精度不高。SIFT特征点匹配方法具有尺度和旋转不变性,在光照不均匀情况下仍
具有较高的显著性和高精度特性,但缺点是特征提取和匹配过程相对耗时较多,从而导致
移动载体速度测量过程较慢。在光照不均匀环境下提高视觉方法求得速度的精度和实时
性,主要有物理方法和软件算法,物理方法虽效果较好,却带来了成本等问题;相比而言,软
件算法具有更高的灵活性及经济性。

基于上述单一视觉方法在光照不均匀条件下测量速度存在的问题,更多地关注软
件算法,可以在不增加成本等问题的前提下,提高解决问题的精度和实时性。

发明内容

发明目的:为了克服现有技术中存在的不足,本发明提出了一种在不增加成本等
问题的前提下,提高解决问题的精度和实时性的在光强分布不均匀环境下的融合光流和
SIFT特征点匹配的低动态载体速度计算方法。通过本发明的方法可以克服在光强分布不均
匀环境下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢
的缺点,突出了光流法的实时性和SIFT特征点匹配的准确性特点,显著提高了低动态载体
速度的估计精度和实时性。

技术方案:为实现上述目的,本发明采用的技术方案为:

一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度
计算方法,包括以下步骤:

(1)在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,
在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进
行。

(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并
记录下角点在图像坐标系中的坐标。

(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获
取这些角点在下一帧图像坐标系中的坐标位置。

(4)通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧
图像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠
加值求平均得到横向和纵向位移的平均值

(5)在进行步骤(2)、(3)、(4)步骤的同时,在感兴趣区域ROI中采用SIFT算法对相
邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。

(6)获取SIFT特征向量后,进行特征点匹配。以特征向量的欧式距离作为匹配准
则。在前一帧图像中的特征点Ri,在后一帧中计算距离特征点Ri最近的2个特征点并且记录2
个距离d1和d2,计算2个距离之比,比例在一定阈值范围之内的,可以认为是匹配点。

前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:

Ri=(ri1,ri1,…,ri128) (1)

Si=(si1,si1,…,si128) (2)

任意两个特征点相似性度量:


要得到配对的特征点描述子(Ri,Sj),需满足:


(7)重复步骤(4)中的方法,得到正常匹配特征点的横向和纵向位移的平均值

(8)假设摄像头光心到地面的距离为ZR,考虑地面水平则ZR为一常数,归一化焦距
分别f1,f2。为了简化计算,在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾
斜的情况下,使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。




式(5)、(6)中,分别为正常匹配特征点的横向和纵向位移的平均值,F为
摄像机的帧率。

(9)利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、
VxSIFT、VySIFT。在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载
体前进方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数。把ΔV、Δa共同
输入到改进的自适应卡尔曼滤波器中进行数据融合。

(10)改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV
和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统
中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光
流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行
信息融合。

滤波器的系统方程和观测方程如式(8)、(9))所示:


Z(k)=H(k)X(k)+V(k) (9)

式(8)中T为相邻时刻间隔周期,α为载体加速度差值时
间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号
式(9)中H(k)=[1 0],V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(10)所示:


上式中加速度差值的方差σ2表示为:


式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其
值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定
两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公
式确定:



为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、
k2的取值可用公式(14)、(15)、(16)表示。



err(k)=Z(k)-H(k)X(k/k-1) (16)

式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为
k12的取值空间k21的取值范围
为k22的取值范围为

(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流
进行直接校正,从而得到了精度较高的移动载体速度。

本发明相比现有技术,具有以下有益效果:

本发明使用光流和SIFT特征点匹配两种方法,通过安装在移动载体上的车载摄像
机采集载体的动态图像,采用金字塔Lucas-Kanade光流和SIFT特征点匹配两种算法分别检
测出当前帧和下一帧图像中的特征点并对其进行匹配,然后根据匹配成功的特征点对的像
素位移计算出在载体坐标系下的速度V光流、VSIFT,并将两者的差值ΔV以及加速度差值Δa输
入到改进的自适应卡尔曼滤波器,最后使用改进的自适应卡尔曼滤波器输出的估计值对光
流法计算得到的载体速度VSIFT进行直接校正;上述方法的提出克服了在光强分布不均匀条
件下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢的缺
点,突出了光流法的实时性和SIFT特征点匹配的准确性特点。

附图说明

图1为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度
计算方法的系统示意图。

图2为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度
计算方法的控制方法示意图。

图3为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例,进一步阐明本发明,应理解这些实例仅用于说明本
发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种
等价形式的修改均落于本申请所附权利要求所限定的范围。

一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度
计算方法,如图2、3所示,包括以下步骤:

(1)在移动载体上安装车载摄像机,使其镜头垂直向下放置,用于拍摄地面图像,
在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进
行。

(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点,并
记录下角点在图像坐标系中的坐标。

(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪,从而获
取这些角点在下一帧图像坐标系中的坐标位置。

(4)通过RANSAC方法筛选并剔除跟踪异常的角点,对跟踪正常的角点在前后两帧
图像坐标系中的坐标进行处理,计算出这些正常角点的横向和纵向位移并进行叠加,将叠
加值求平均得到横向和纵向位移的平均值

(5)在进行步骤(2)、(3)、(4)步骤的同时,在感兴趣区域ROI中采用SIFT算法对相
邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。

(6)获取SIFT特征向量后,进行特征点匹配。以特征向量的欧式距离作为匹配准
则。在前一帧图像中的特征点Ri,在后一帧中计算距离特征点Ri最近的2个特征点并且记录2
个距离d1和d2,计算2个距离之比,比例在一定阈值范围之内的,可以认为是匹配点。

前一帧图像中的特征点Ri和后一帧图像中的特征点Si描述子分别表示为:

Ri=(ri1,ri1,…,ri128) (1)

Si=(si1,si1,…,si128) (2)

任意两个特征点相似性度量:


要得到配对的特征点描述子(Ri,Sj),需满足:


(7)重复步骤(4)中的方法,得到正常匹配特征点的横向和纵向位移的平均值

(8)假设摄像头光心到地面的距离为ZR,考虑地面水平则ZR为一常数,归一化焦距
分别f1,f2。为了简化计算,在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾
斜的情况下,使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。




式(5)、(6)中,分别为正常匹配特征点的横向和纵向位移的平均值,F为
摄像机的帧率。

(9)利用步骤(8),载体分别在光流法、SIFT方法下解算出的速度为Vx光流、Vy光流、
VxSIFT、VySIFT。在考虑移动载体只做前进和旋转运动的情况下,便可由Vy光流、VySIFT表示移动载
体前进方向上的速度,并将两者做差得ΔV,两者的加速度差Δa设为常数。把ΔV、Δa共同
输入到改进的自适应卡尔曼滤波器中进行数据融合。

(10)改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV
和Δa作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统
中由于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光
流法视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行
信息融合。

滤波器的系统方程和观测方程如式(8)、(9))所示:


Z(k)=H(k)X(k)+V(k) (9)

式(8)中T为相邻时刻间隔周期,α为载体加速度差值时
间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号
式(9)中H(k)=[1 0],V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(10)所示:


上式中加速度差值的方差σ2表示为:


式(11)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其
值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定
两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公
式确定:



为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、
k2的取值可用公式(14)、(15)、(16)表示。



err(k)=Z(k)-H(k)X(k/k-1) (16)

式(14)、(15)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为
k12的取值空间k21的取值范围
为k22的取值范围为

(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流
进行直接校正,从而得到了精度较高的移动载体速度。

如图1所示,一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动
态载体速度计算方法的系统,包括视觉摄像头和数据处理计算机。

改进的自适应卡尔曼滤波器的系统方程以解算出的Vy光流、VySIFT两者之差ΔV和Δa
作为状态变量,以每一时刻视觉测量得到的Vy光流、VySIFT之差ΔV作为观测量,在该系统中由
于光流法视觉速度信息计算较快,SIFT视觉速度信息计算较慢,如果同一帧图像下光流法
视觉速度计算完成而SIFT视觉速度信息计算未完成,则使用前一次SIFT速度信息进行信息
融合。

滤波器的系统方程和观测方程如式(17)、(18))所示:


Z(k)=H(k)X(k)+V(k) (18)

式(17)中T为相邻时刻间隔周期,α为载体加速度差值时
间常数的倒数,的值取为k时刻加速度差的估计值Δa(k/k-1),最优控制信号
式(18)中H(k)=[1 0],V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(19)所示:


上式中加速度差值的方差σ2表示为:


式(20)中,Δanew-max,Δanew-min分别为加速度差值所能达到的最大值与最小值,其
值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa-up,Δaup]区间内,并且设定
两个阈值Δay与Δa-y,使得Δay>Δaup,Δa-y<Δa-up,则Δanew-max与Δanew-min的值由下列公
式确定:



为了进一步提高滤波算法的估计精度,引入滤波残差err(k)来调整系数k1、k2。k1、
k2的取值可用公式(23)、(24)、(25)表示。



err(k)=Z(k)-H(k)X(k/k-1) (25)

式(23)、(24)中n为设定的一个正数,k11、k12、k21、k22均为常数。k11的取值空间为
k12的取值空间k21的取值范围
为k22的取值范围为

通过自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度Vy光流进行直接校
正,从而得到了精度较高的移动载体速度。

以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人
员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应
视为本发明的保护范围。

在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf_第1页
第1页 / 共15页
在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf_第2页
第2页 / 共15页
在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf_第3页
第3页 / 共15页
点击查看更多>>
资源描述

《在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf》由会员分享,可在线阅读,更多相关《在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法.pdf(15页珍藏版)》请在专利查询网上搜索。

本发明公开了一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法,通过安装在移动载体上的车载摄像机采集载体的动态图像,采用金字塔Lucas?Kanade光流和SIFT特征点匹配两种算法分别检测出当前帧和下一帧图像中的特征点并对其进行匹配,然后根据匹配成功的若干对特征点所对应的像素位移计算出在载体坐标系下的速度V光流、VSIFT,并将两者的差值V以及加速度差值a输入到改进。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1