基于轮廓锐度的单目图像深度信息估计方法技术领域
本发明涉及一种能够对单目图像进行深度信息估计方法，该方法能够通过图像低层次线索得到单目图
像中所示物体的深度信息。
背景技术
深度信息感知是产生立体视觉的前提，基于深度信息的实际应用在场景重解、三维重建、模式识别、
目标跟踪等领域中发挥重要作用。在实际应用中，可采用单目摄像机、多目摄像机或深度摄像机进行深度
信息提取。其中，基于单目摄像机的深度信息估计方法由于其实际操作简单、硬件成本低、能够从已有的
单目图像素材中直接提取深度信息而具有一定的优势。
单目图像深度信息估计通过单幅图像提取目标的颜色、形状、共面性等二维、三维几何信息，从而利
用少量已知条件获取该目标的空间三维信息。目前大多算法都是采用图像高层次、中层次线索实现。如经
过学习参考图像得到已知图像的语义标签，利用其实现对目标图像定义语义标签，从而得到相对深度信息。
利用对真实视差图像中训练得到的图像结构信息，如颜色、纹理、形状等，对目标图像进行过分割，应用
有区分训练的马尔可夫随机场推导出深度信息。而利用低层次线索信息不需要对图像进行内容的分析，仅
需要直接应用局部信息即可从图像中恢复深度信息，算法相对简单。
在单目图像的深度信息估计过程中可以利用模糊信息作为深度估计的一个重要特征。模糊信息多是在
成像过程中对焦不准或成像区域内存在不同深度的目标而造成的。根据这一特性，单目图像深度信息估计
通过对图像做散焦处理，根据图像的模糊情况确定图像的前景和背景来估计场景的深度。如以边缘位置的
模糊值作为初始，应用消光和马尔可夫随机场使模糊扩散到整幅图像，来实现相对深度提取。或者利用热
扩离过程实现离焦模糊过程的建模，利用不均匀逆热扩散方程估计边缘位置模糊量来恢复场景深度。而由
于模糊扩散方法复杂，效率较低，其实用性较差。
因此，本发明利用图像低层次线索及新的模糊信息特性，对单目图像深度信息估计方法进行了简化。
发明内容
本发明提出一种基于轮廓锐度的单目图像深度信息估计方法，该方法利用图像低层次线索信息，以边
缘的轮廓锐度信息作为模糊信息估计特征进行物体轮廓提取，根据物体轮廓与物体深度边缘的联系对不同
物体进行深度分配，从而得到图像中不同物体的深度信息。
本发明的目的是通过下述技术方案实现的：
基于轮廓锐度的单目图像深度信息估计方法，其特征在于，利用梯度幅度和轮廓锐度信息反映图像中
具有不同深度的物体轮廓的特性，在进行深度估计时，不仅仅考虑边缘的梯度幅度，同时加入边缘的空间
信息，更充分地体现了物体边缘模糊变化趋势。包括如下步骤：
(1)对于输入图像，进行边缘检测，得到图像中物体的边缘点P＝{p1,p2,…pn}；
(2)根据先验深度梯度模型进行初始轮廓线的定义，定义一组互相平行且间距相等的轮廓线作为初始
轮廓线V＝{v0,v1…vm}；其中，v(s)＝[x(s),y(s)]，x(s),y(s)为初始轮廓线中的点s的坐标；
轮廓线的总能量定义为：
Etotal＝w1Eedge+w2Esharp+w3Es+w4Ed
其中Eedge为轮廓边缘能量函数，Esharp轮廓锐度能量函数，Es为轮廓线特性能量函数，Ed为轮廓线距
离能量函数，w1、w2、w3、w4为各个函数权重控制参数，可根据具体图像特性赋值。
轮廓边缘能量函数Eedge表示轮廓的梯度幅度，定义为图像I(x,y)沿着梯度方向的梯度幅度大小，表示
为：
E e d g e = exp ( - | g ( I ( x , y ) ) | 2 a ) ]]>
其中， g ( I ( x , y ) ) = ( ∂ x I ( x , y ) ) 2 + ( ∂ y I ( x , y ) ) 2 ]]>是对I(x,y)求梯度幅度；
轮廓锐度能量函数Esharp代表轮廓的模糊程度，通过对梯度轮廓锐度求解得到。定义为：
E s h a r p = exp ( - σ ( p ( q 0 ) ) 2 b ) ; ]]>
其中，梯度轮廓锐度σ(p(q0))为梯度轮廓变量方差的均方根。这里梯度轮廓为图像中边缘像素q0(x0,y0)
作为起始点，沿梯度方向向边缘的边界追踪，直到边缘的梯度幅度不再发生变化，所得到一维路径p(q0)形
成的梯度幅度曲线。其梯度轮廓锐度定义为
σ ( p ( q 0 ) ) = Σ x ∈ p ( q 0 ) g ( q ) G ( q 0 ) d c 2 ( q , q 0 ) ; G ( q 0 ) = Σ s ∈ p ( q 0 ) g ( s ) ]]>
其中，dc(q,q0)为梯度轮廓中点q和q0之间的曲线长度，g(q)为q点处的梯度幅度，G(q0)为梯度轮廓
中所有点的梯度幅度和，s为梯度轮廓中任一点，参数b为权值控制参数。
轮廓线特性能量函数Es用于约束轮廓的平滑度；
轮廓线距离能量函数Ed用于控制轮廓跟踪曲线不会超出搜索区域；
(3)对图像中每一条初始轮廓线从图像的左侧起始点开始，由图像底部向顶部更新每一轮廓点的位置，
对每一个轮廓点根据步骤(2)中轮廓线总能量定义计算轮廓跟踪能量；
(4)求解能量函数的最小值；对与当前轮廓点相邻的像素列中的像素点进行搜索，搜索满足能量函数
定义的边缘点P＝{p1,p2,…pn}中具有最小能量值的点，选择具有最小能量的像素点位置作为新的轮廓点；
从图像左侧至右侧，重复搜索最小值，得到最终的轮廓搜索结果，即得到目标轮廓线V；
(5)以深度梯度假设作为先验假设梯度模型，对具有不同的轮廓线的区域进行深度值填充，计算得出
深度分布。
轮廓线集中轮廓线V＝{v0,v1,…,vm}，对应的分配深度值Depth为：
D e p t h ( v i ) = 255 × m - i m , i = 0 ... m ]]>
(6)利用原图像灰度信息和所得深度图像信息对得到的深度图像进行优化处理：
Depth f b f ( x i ) = 1 W ( x i ) Σ x j ∈ Ω ( x i ) exp ( G σ s ( | | x i - x j | | ) G σ r ( I ( x i ) - I ( x j ) ) ) D e p t h ( x j ) ]]>
W ( x i ) = Σ q ∈ S exp ( G σ s ( | | x i - x j | | ) G σ r ( I ( x i ) - I ( x j ) ) ) ]]>
其中Depth(xi)为输入深度图像，Ω(xi)是以像素xi为中心的邻域，I(xi)为像素xi的亮度I分量，xj为
像素xi在邻域Ω(xi)的邻域像素，W(xi)是滤波器参数的归一化因子；||xi-xj||为两像素的空间欧式距离；
I(xi)-I(xj)表示两像素的亮度相似性，像素xi和xj的空间坐标分别为(xix,xiy)和(xjx,xjy)。空间权重系数
和色度权重系数定义为：
G σ s ( | | x i - x j | | ) = [ ( x j x - x i x ) 2 + ( x j y - x i y ) 2 ] 2 2 σ s 2 ]]>
G σ r ( I ( x i ) - I ( x j ) ) = | I ( x j ) - I ( x i ) | 2 2 σ r 2 ; ]]>
其中σs为空间权重的方差、σr为色度权重的方差。
(7)得到了对输入单目图像进行深度信息估计后的视差图。
本发明的优点是，提出了一种基于轮廓锐度的单目图像深度信息估计方法。传统的单目图像深度信息
估计方法需要利用图像高、中层次线索进行学习训练、图像理解等步骤，算法复杂。而本方法则是利用图
像低层次线索，计算简单。与之传统利用模糊信息区分物体深度方法不同的是，本发明在计算模糊信息时，
利用轮廓锐度信息有效区分物体轮廓，从而得到具有不同深度的物体轮廓，避免了模糊扩散等步骤，提高
了方法的实验性。本方法利用梯度幅度和轮廓锐度信息反映图像中具有不同深度的物体轮廓的特性，在进
行深度估计时，不仅仅考虑边缘的梯度幅度，同时加入边缘的空间信息，更充分地体现了物体边缘模糊变
化趋势。
附图说明
图1是本方法流程图。
图2显示了轮廓锐度的定义。
图3为利用轮廓线所分配的深度估计相对关系示意图。
具体实施方式
下面结合附图及具体实例，对本发明的实施过程给予详细的说明。
(1)对于输入图像，采用Canny边缘检测算法进行边缘检测，得到图像中物体的边缘点P＝{p1,p2,…pn}；
(2)根据先验深度梯度模型进行初始轮廓线的定义，定义一组互相平行且间距相等的轮廓线作为初始
轮廓线V＝{v0,v1,...,vm}。其中，v(s)＝[x(s),y(s)]，x(s),y(s)为初始轮廓线中的点s的坐标；
轮廓线的总能量定义为
Etotal＝w1Eedge+w2Esharp+w3Es+w4Ed
其中Eedge为轮廓边缘能量函数，Esharp轮廓锐度能量函数，Es为轮廓线特性能量函数，Ed为轮廓线距
离能量函数，w1、w2、w3、w4为各个函数权重控制参数，对于通用图像可以设置为w1＝0.25、w2＝0.5、
w3＝0.125、w4＝0.125。
(3)轮廓边缘能量函数Eedge为图像I(x,y)沿着梯度方向的梯度幅度大小，定义为
E e d g e = exp ( - | g ( I ( x , y ) ) | 2 a ) ]]>
其中， g ( I ( x , y ) ) = ( ∂ x I ( x , y ) ) 2 + ( ∂ y I ( x , y ) ) 2 ]]>是对I(x,y)求梯度幅度；
其中参数a为权值控制参数。
(4)在本方法中利用边缘的梯度轮廓锐度代表轮廓的模糊程度，所以定义通过梯度轮廓锐度求解得到
的轮廓锐度能量函数Esharp作为轮廓模糊程度的表征值。如图2所示，以图中边缘像素q0(x0,y0)作为起始点，
沿梯度方向向边缘的两边追踪，直到边缘的梯度幅度不再发生变化，这样得到路径p(q0)。沿一维路径p(q0)
形成的梯度幅度曲线被称为梯度轮廓。应用梯度轮廓变量方差的均方根对轮廓锐度进行定义，表示为：
σ ( p ( q 0 ) ) = Σ x ∈ p ( q 0 ) g ( q ) G ( q 0 ) d c 2 ( q , q 0 ) ]]>
G ( q 0 ) = Σ s ∈ p ( q 0 ) g ( s ) ]]>
这里dc(q,q0)为梯度轮廓中点q和q0之间的曲线长度，g(q)为q点处的梯度幅度，G(q0)为梯度轮廓中
所有点的梯度幅度和，s为梯度轮廓中任一点。
锐度能量函数Esharp定义为：
E s h a r p = exp ( - σ ( p ( q 0 ) ) 2 b ) ]]>
其中参数b为权值控制参数。
(5)轮廓线特性能量函数Es作为平滑项约束来控制轮廓跟踪，确保跟踪生成的曲线是平滑，同时防止
求解时陷入局部极值中。
定义轮廓线中轮廓点为N＝{n0,n1,...,nn}，其中n0为轮廓起始点，则轮廓线特性能量函数定义为
E s ( n i ) = d s ( n i , n i - 1 ) c = | n i y - n i - 1 y | c , i = 0 , 1 , ... n ]]>
其中ds(ni,ni-1)表示点ni与点ni-1之间的曲线长度，参数c为权值控制参数。
(6)轮廓线距离能量函数Ed是轮廓跟踪的弹性约束项，它用于约束轮廓跟踪过程的轮廓线中各轮廓点
的距离，使轮廓跟踪曲线不会超出搜索区域，保证轮廓线不相互交叉。
E d ( n i ) = d e ( n i , n 0 ) d = | n i y - n 0 y | d , i = 0 , 1 , ... n ]]>
其中de(ni,n0)表示参数表示点ni与点n0之间的垂直距离，d为权值控制参数。
(7)对图像中每一条初始轮廓线从图像的左侧起始点开始，由图像底部向顶部更新每一轮廓点的位置，
对每一个轮廓点根据步骤(2～6)中轮廓线总能量计算方法计算轮廓跟踪能量；
(8)求解能量函数的最小值。对与当前轮廓点相邻的像素列中的像素点进行搜索，搜索满足能量函数
定义的边缘点P＝{p1,p2,…pn}中具有最小能量值的点，选择具有最小能量的像素点位置作为新的轮廓点；
从图像左侧至右侧，重复搜索最小值，得到最终的轮廓搜索结果，即得到目标轮廓线V。
(9)以由下至上逐步加深的深度梯度假设作为先验假设梯度模型，按照图3对具有不同的轮廓线的区
域进行深度值填充，计算得出深度分布。
轮廓线集中轮廓线V＝{v0,v1,...,vm}，对应的分配深度值为。
D e p t h ( v i ) = 255 × m - i m , i = 0 ... m ]]>
(10)利用原图像信息和所得深度图像信息对得到的深度图像进行优化处理：
Depth f b f ( x i ) = 1 W ( x i ) Σ x j ∈ Ω ( x i ) exp ( G σ s ( | | x i - x j | | ) G σ r ( I ( x i ) - I ( x j ) ) ) D e p t h ( x j ) ]]>
W ( x i ) = Σ q ∈ S exp ( G σ s ( | | x i - x j | | ) G σ r ( I ( x i ) - I ( x j ) ) ) ]]>
其中Depth(xi)为输入深度图像，Ω(xi)是以像素xi为中心的邻域，I(xi)为像素xi的亮度I分量，像素xj
为像素xi在邻域Ω(xi)的邻域像素，W(xi)是滤波器参数的归一化因子；||xi-xj||为两像素的空间欧式距离；
I(xi)-I(xj)表示两像素的亮度相似性，像素xi和xj的空间坐标分别为(xix,xiy)和(xjx,xjy)。空间权重系数
和色度权重系数定义为：
G σ s ( | | x i - x j | | ) = [ ( x j x - x i x ) 2 + ( x j y - x i y ) 2 ] 2 2 σ s 2 ]]>
G σ r ( I ( x i ) - I ( x j ) ) = | I ( x j ) - I ( x i ) | 2 2 σ r 2 ]]>
其中σs为空间权重的方差、σr为色度权重的方差。
(11)得到了对输入单目图像进行深度信息估计后的视差图。