一种对比度自适应的视频去噪系统
技术领域
本发明涉及视频处理技术领域，尤其涉及对视频进行时域降噪的技术领域。
背景技术
由于摄像设备(CMOS,CCD传感器)在采集过程往往受到噪声的影响，导致视频往往存在着随机噪声，尤其是在低照度下噪声的现象的更为严重，所以需要利用视频去噪技术对噪声进行去除。另外随着移动互联和视频源越来越多源化，在电视等显示终端设备上需要播放和显示各种视频源，包括利用手持设备拍摄的互联网视频。手持移动设备的摄像头由于其传感器面积有限，比起专业摄像设备的大面积传感器而言，其成像质量较差，噪声更为严重，所以视频去噪技术变得尤其重要。
视频降噪技术包括空域降噪和时域降噪技术。其中，空域降噪技术有简单的空域滤波如均值滤波，中值滤波，往往会带来细节的模糊。时域降噪技术由于其对细节的保护更好，而更多地被工业界采用。传统的时域降噪方法如图1所示，利用当前输入帧和前一滤波帧计算出帧间差异，然后用帧间差异和阈值比较，来进行运动检测，即帧间差异大于阈值的像素为运动像素，帧间差异小于阈值的像素为静止像素，然后利用 运动检测的结果来指导对当前输入帧和前一滤波帧的时域滤波，如果是静止区域，进行多帧加权的时域滤波，达到去噪的效果，如果是运动区域，则不进行时域滤波。
运动检测一般会产生两类错误，第一类错误为漏检，即运动像素被判断为静止像素，这种检测错误会对运动区域也采用多帧加权的时域滤波，从而导致运动目标的拖尾或帧间模糊的失真现象。第二类错误为虚警，静止的像素被误分为运动像素，这类检测错误会使静止区域不进行时域滤波，从而无法去除静止区域存在的噪声。如果运动检测的阈值高，则容易发生漏检的错误。如果运动检测的阈值低，容易发生虚警的错误。
传统的运动检测方法，如专利US7903179B2和US6061100，及专利US 2006/0139494A1中提出的方法，往往采用事先指定的全局性阈值或者噪声水平自适应的全局性阈值来进行运动检测，如专利US6061100，采用2倍噪声水平作为运动检测的阈值，如果帧间差异小于2倍噪声水平，则为静止像素，否则则为运动像素。这类运动检测方法往往只考虑静止像素的特征统计分布，在噪声满足高斯白噪分布时，会保证95％以上的静止像素不被检测为运动像素，即第一类错误即虚警的错误发生率低于5％，但无法控制第二类错误及漏检的错误率。对于低对比度运动视频(即运动目标和背景之间的亮度差异较小的视频)，这种阈值选取的方法会造成大量的漏检错误，即运动区域没有被检测出来，由此在时域滤波时会产生运动目标拖尾和帧间模糊现象，这在主观图像质量上比噪声没去除问题更严重。
如何同时控制低对比度区域的漏检错误，使得对比度区域不会产生 运动目标拖尾和帧间模糊问题，是需要解决的问题。
发明内容
为了解决低对比度区域的漏检错误，使得对比度区域不会产生运动目标拖尾和帧间模糊问题，本发明提出了一种对比度自适应的视频去噪系统，从而达到了更好的去造效果，保证了视频的清晰度。
为达到上述目的，本发明提出的一种对比度自适应的视频去噪系统，包括帧存、帧间差异特征计算模块、运动检测模块、运动自适应时域滤波模块，还包括对比度计算模块、低对比度区域检测模块；对比度计算模块依据当前输入帧计I算输出当前输入帧I的局部对比度C；低对比度区域检测模块依据当前输入帧I的局部对比度C计算输出低对比度区域置信度R_LC；运动检测模块依据低对比度区域置信度R_LC与帧间差异特征计算模块输出的帧间差异计算输出像素的运动概率R_Motion。
所述的对比度计算模块包括水平梯度计算单元、梯度阈值计算单元、过渡带检测单元、左均值计算单元、右均值计算单元、绝对值差计算单元；水平梯度计算单元用于将当前输入帧变换为水平梯度图像G；梯度阈值计算单元依据水平梯度图像G计算输出梯度阈值Gt；过渡带检测单元依据水平梯度图像G、梯度阈值Gt计算输出待检测点像素的过渡带标志α，并将待检测点像素周围局部窗口划分为左窗口和右窗口；左均值计算单元依据当前输入帧和非过渡带标志α计算输出左窗口非过渡带像素的灰度均值left_mean；右均值计算单元依据当前输入帧和过渡带标志α计算输出右窗口非过渡带像素的灰度均值right_mean；绝对值差计 算单元计算输出左窗口非过渡带像素的灰度均值left_mean和右窗口非过渡带的像素的灰度均值right_mean的差值的绝对值作为当前输入帧I的局部对比度C。
本发明通过提供计算局部对比度和对比度自适应的运动检测系统，可以根据对比度自适应地确定运动检测的参数，从而达到以下有益效果：
(1)对于低对比度运动视频或视频中的低对比度运动物体区域，可以有效控制漏检错误的发生，从而避免低对比度下运动物体拖尾失真现象的发生。
(2)对于高对比度运动视频或视频中的高对比度区域，可以有效控制控制虚警错误的发生，从而保证该类视频或区域具有良好的去噪效果。
附图说明
图1传统的视频时域降噪系统示意图；
图2A本实施例运动像素统计分析中运动物体示意图；
图2B本实施例运动像素统计分析中运动物体在t时刻的图像示意图；
图3A静止像素和运动像素的MAE特征分布曲线一；
图3B静止像素和运动像素的MAE特征分布曲线二；
图4本实施例对比度自适应的视频去噪系统示意图；
图5A本实施例对比度计算模块示意图；
图5B为穿过运动物体和背景交界处的一条水平线上的像素其列坐 标j和像素灰度值得对应图；
图5C本实施例对比度计算方法示意图；
图6A静止像素和运动像素的MAE特征分布曲线一；
图6B静止像素和运动像素的MAE特征分布曲线二；
图7A R_LC和X的关系曲线示意图一；
图7B：R_LC和X的关系曲线示意图二；
图7C：R_LC和X的关系曲线示意图三；
图8软阈值运动检测曲线示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
1，运动像素和静止像素的统计分布分析
在传统技术如专利US 2006/0139494A1,US6061100中，所采取的运动检测方法只考虑了静止像素的统计分布，从而无法控制漏检错误的发生。为了控制漏检错误，本发明对运动像素的统计分布做了如下分析，可以定量地看出运动物体和背景的亮度差异(即对比度)对运动检测的影响。
如图2A、图2B所示，运动物体为图2A中的圆圈。假设背景的灰度值为B，运动物体和背景的灰度差即对比度为C，噪声为n,则在有噪声情况下，运动物体的其灰度值为C+B+n，周围白色的区域为背景，灰度值为B+n，噪声n服从零均值高斯,噪声方差为![]()
即![]()
图2A为视频在t-1时刻的图像，图像2B为视频在t时刻的图像。运动物体发生了运动。
设在t时刻的图像灰度值为gt，t-1时刻的图像灰度值为gt-1
在运动区域，即图2B中的A3区域的帧间像素差d的分布如下：
gt-1＝C+B+n (1)
gt＝B+n (2)
d＝gt-gt-1 (3)
则d服从的分布为：
d~N(C,σd2),σd2=2σg2---(4)]]>
令y＝|d|,则帧间像素的绝对值差y服从的分布为
p(y)=12πσde-(y-c)22σd2+12πσde-(y+c)22σd2,y>0---(5)]]>
y的均值为：
E(y)=2πσge-c24σg2+c(2φ(c2σg)-1)---(6)]]>
y的方差为：
σy2=E(y2)-(E(y))2=σd2-(E(y))2---(7)]]>
在进行运动检测时，通常采用帧间像素的绝对值差y的局部平均值(Mean Absolute Error，简称为MAE)来作为运动检测的特征，该MAE特征的计算如式(8)所示，
m=y1+y2+...+ykk---(8)]]>
y1,…,yk分别为局部相邻的k个像素的帧间像素的绝对值差y，m服从的分布，其均值与y相同，方差为y方差的1/k，即
E(m)=E(y)=2πσge-c24σg2+c(2φ(c2σg)-1)---(9)]]>
σm2=σy2/k---(10)]]>
静止区域的像素(如图2B的在t时刻的图像的A2区域)，其MAE特征服从的分布,为式(9)和(10)在C＝0的特殊情况
E(m)=2πσg---(11)]]>
σm2=2(π-2)πkσg2---(12)]]>
根据式(9)和式(10)决定的运动像素的MAE特征分布，和式(11)和式(12)决定的静止像素的MAE特征分布，可以得出C＝8,σg＝2时的分布曲线,如图3A，和C＝4,σg＝2时的分布曲线，如图3B。
从图3A和3B可以看出，当噪声水平相同时(σg＝2)，对比度C为8时，运动像素和静止像素的MAE特征基本没有重叠区域，具有比较好的可分性，而当对比度C降低到4时，运动像素MAE特征已经和静止像素MAE特征已经有较大的重叠区域。
设对比度C和噪声水平σg的关系为
C=xσg (13)
x为对比度噪声比，经过大量的数据分析，当x>3,即对比度〉3倍噪声水平时，运动像素和静止像素的MAE特征重叠区域较小，具有较好的可分性，当x<3时，重叠区域随着x的减小逐渐增大，可分性下降。
2、对比度自适应的视频去噪系统
从上面的分析可以看出，当对比度噪声比x较小时，如果依靠阈值来进行运动检测，无论阈值怎么选取，都会有检测错误，如果阈值较小，会发生漏检，如果阈值较大，会发生虚警，但由于漏检产生的运动目标拖尾的失真现象比虚警产生的噪声没有去除的现象对人眼视觉更为严重，所以在低对比度情况下，为了达到比较好的视觉效果，运动检测应该尽量控制漏检的发生。为此，本专利提供了对比度自适应视频去噪系统以解决上述问题。
2，对比度自适应视频去噪系统说明
本实施例的对比度自适应视频去噪系统如图4所示。该系统包括：包括帧存、帧间差异特征计算模块、对比度计算模块、低对比度区域检测模块、运动检测模块、运动自适应时域滤波模块；帧存用于缓存滤波结果；帧间差异特征计算模块依据视频当前输入帧和帧存中的前一滤波帧计算输出帧间差异特征；对比度计算模块依据当前输入帧计算输出当前输入帧的局部对比度；低对比度区域检测模块依据当前输入帧局部对比度计算输出低对比度区域置信度；运动检测模块依据低对比度区域置信度与帧间差异特征计算模块输出的帧间差异计算输出像素的运动概率；运动自适应时域滤波模块依据视频当前输入帧和帧存中的前一滤波帧以及每个像素的运动概率来进行运动自适应时域滤波，最后输出当前滤波帧存入帧存。
帧间差异特征计算模块计算视频当前输入帧和帧存中的前一滤波帧的帧间差异特征，有很多帧间差异特征计算方法可以采用，如简单的 差，绝对值差，绝对值差和SAD(Sum of Absolute Difference)，平均绝对值差MAE(Mean Absolute Error)。本实施例中采用的帧间差异特征为MAE特征，如式(8)所定义。
对比度计算模块如图5A所示，对比度计算模块包括水平梯度计算单元、梯度阈值计算单元、过渡带检测单元、左均值计算单元、右均值计算单元、绝对值差计算单元；
水平梯度计算单元用于将当前输入帧变换为水平梯度图像G；梯度阈值计算单元依据水平梯度图像G计算输出梯度阈值Gt；过渡带检测单元依据水平梯度图像G、梯度阈值Gt计算输出待检测点像素的过渡带标志α，并将待检测点像素周围局部窗口划分为左窗口和右窗口；左均值计算单元依据当前输入帧和过渡带标志α计算输出左窗口非过渡带像素的灰度均值left_mean；右均值计算单元依据当前输入帧和过渡带标志α计算输出右窗口非过渡带像素的灰度均值right_mean；绝对值差计算单元计算输出左窗口非过渡带像素的灰度均值left_mean和右窗口非过渡带像素的灰度均值right_mean的差值的绝对值作为当前输入帧的局部对比度C。
为了方便理解本专利的对比度计算方法，现对该模块对应的方法进行说明，如图5B所示为穿过运动物体和背景交界处的一条水平线上的像素其列坐标j(j代表像素的在水平方向上的坐标)和像素灰度值得对应图，运动物体的灰度值为V1,背景的灰度的灰度值为V2,在运动物体和背景之间存在一定的过渡带。则运动物体和背景的对比度C＝V2-V1。
为了对C计算，需对V1和V2进行估计，具体如图5(C)所示，设当 前输入帧I的待检测点像素(i，j)对比度计算窗口为(2N+1)x1,窗口中像素坐标表示为(i，j+n)，-N≤n≤0的像素为左窗口的像素，1≤n≤N的像素为右窗口的像素；则利用左窗口中的像素的均值来估计V1,利用右窗口中的像素的均值来估计V2,由于左、右窗口均存在着一定的过渡带，这些过渡带的像素的灰度会影响V1,V2的正确估计，所以将过渡带像素去除之后计算均值会更接近V1和V2的正确值。对比度计算模块中计算当前输入帧I的局部对比度C的具体计算步骤为：
步骤11，计算水平梯度图像G
可以用梯度算子和图像卷积计算出水平梯度，本实施例采用3x3的Sobel梯度算子。
步骤12计算梯度阈值Gt
在待检测点位置(i，j)计算梯度阈值Gt方法为：取在待检测点像素(i，j)的周围取局部(2N+1)x1窗口，计算局部窗口的梯度最大值max_grad和梯度阈值Gt，如式(14)和(15)所示。
max_grad(i，j)＝maxj-N≤1≤j+NG(i，n) (14)
Gt(i，j)＝W*max_grad(i，j) (15)
其中，W为梯度阈值为梯度最大值的比例系数，W可取做0.7。
步骤13，利用水平梯度图像G，梯度阈值Gt，进行过渡带检测，计算待检测点像素(i，j)的(2N+1)x1局部窗口的非过渡带标志α
αn=1ifG(i,j+n)<Gt(i,j)0ifG(i,j+n)≥Gt(i,j)---(16)]]>
即当局部窗口中的像素的梯度G小于梯度阈值Gt时，该像素为非过渡带像素。
步骤14，利用前输入帧I,和非过渡带标志α计算左窗口非过渡带像素的灰度均值left_mean
在待检测像素(i,j)周围的(2N+1)x1的局部窗口中，坐标为(i，j+n)且-N≤n≤0的像素为左窗口的像素。计算左窗口非过渡带像素的灰度均值left_mean，具体公式为式(17)、(18)、(19)。
left_sum(i,j)=Σn=-N-1αn*I(i,j+n)---(17)]]>
left_count(i,j)=Σn=-N-1αn---(18)]]>
left_mean(i,j)＝left_sum(i,j)/left_count(i,j) (19)
式(17)中的left_sum为左窗口中非过渡带像素的灰度值的和，式(18)中的left_count为左窗口中非过渡带像素的个数，式(19)计算出非过渡带像素的灰度均值。
步骤15，利用图像I,和非过渡带标志α计算右窗口非过渡带像素的灰度均值
在待检测像素(i,j)周围的(2N+1)x1的局部窗口中，坐标为(i，j+n)且1≤n≤N的像素为右窗口的像素。右窗口非过渡带像素的灰度均值right_mean的计算如式(20),(21),(22)所示，式(20)中的right_sum为右窗口中非过渡带像素的灰度值的和。式(21)中的right_count为左窗口中非过渡带像素的个数。式(22)计算出右窗口非过渡带像素的灰度均值。
right_sum(i,j)=Σn=1Nαl*I(i,j+n)---(20)]]>
right_count(i,j)=Σn=1Nαl---(21)]]>
right_mean(i,j)＝right_sum(i,j)/right_count(i,j) (22)
步骤16，利用左窗口非过渡带像素的灰度均值left_mean和右窗口非过渡带像素的灰度均值right_mean计算对比度C，如式(23)所示
C(i,j)＝|right_mean(i,j)-left_mean(i,j)| (23)
低对比度区域检测模块接受对比度模块计算的对比度C输入，计算出低对比度区域置信度R_LC。进行低对比度区域检测的目的是，采用传统的运动检测方法会在低对比区域产生漏检错误，产生运动目标拖尾的失真现象。从图3A和3B可以看出，当噪声水平相同时(σg＝2)，对比度C为8时，运动像素和静止像素的MAE特征基本没有重叠区域，可以采用传统的噪声自适应的运动检测方法即取2倍或3倍噪声水平为运动检测阈值，而不会带来检测误差。而当对比度C降低到4时，运动像素MAE特征已经和静止像素MAE特征已经有较大的重叠区域，如果采用传统的2倍噪声水平来做检测，会造成大量的漏检错误。本专利提供将低对比度区域检测出来的方法。检测出来后就可以用本专利的对比度自适应运动检测来避免漏检错误的发生。
本实施例采用的低对比度区域检测方法不仅利用对比度来做检测，还利用噪声水平来做检测，所以是一种噪声自适应的低对比度区域检测方法。同样的对比度，在低噪声的时候和高噪声的时候可以对运动检测带来不同的影响，利用噪声水平自适应的检测方法好处可以消除噪声的影响。如图6A和图6B所示，在对比度C＝4,噪声水平为1时，静止像素 和运动像素之间没有重叠区域，但在同样的对比度下，噪声水平为2时，如图6B所示，静止像素和运动像素之间有重叠区域，如果采用传统的2倍噪声水平来做检测，会造成大量的漏检错误。
噪声自适应的低比度区域检测的具体的计算方法
步骤21，计算对比度噪声比X，如公式(25)所示
X(i,j)=C(i,j)σg---(25)]]>
步骤22，根据对比度噪声比X计算低对比度区域置信度R_LC。图7A，7B显示了两种计算R_LC的曲线。设置对比度区域和高对比度区域临界阈值X1、低置信度衰减阈值X2，其中X2＜X1，当X(i，j)≤X2时置信度R_LC为1，当X2＜X(i，j)＜X1时置信度R_LC随对比度噪声比X(i，j)的增大由1到0单调递减，X1≤X(i，j)时置信度R_LC为0。。
图7C显示了另一种计算R_LC的曲线，排除了平滑区的影响，具体为设置阈值X1、X2、X3、X4，其中X4＜X3＜X2＜X1，当X(i，j)≤X4时置信度R_LC为0，当X4＜X(i，j)＜X3时置信度R_LC随对比度噪声比X的增大由0到1单调递增，X3≤X(i，j)≤X2时置信度R_LC为1，当X2＜X(i，j)＜X1时置信度随R_LC对比度噪声比X的增大由1到0单调递减，X1≤X(i，j)时置信度为0。
运动检测模块接受帧间差异特征计算的帧间差异特征m和低对比度区域检测的低对比区域置信度R_LC输入，进行对比度自适应的运动检测，输出运动概率。在低对比度置信度较高的区域，运动像素和静止像素之间有较大的重叠区域，此时，由于漏检错误带来的运动目标拖尾的失真现象比虚警错误带来的噪声未完全去除的现象更为严重，所以在低 对比度区域，本专利用低对比度区域置信度来调整运动检测的参数，以此来控制漏检错误的发生。
设运动检测的输出为运动概率R_Motion，图8显示了一种运动检测的方法，其中T1,T2为进行运动检测的软阈值，：当m(i，j)＜T1时像素的运动概率R_Motion为1，当T1≤m(i，j)≤T2时像素的运动概率R_Motion随帧间差异特征m的增大由1到0单调递减，当T2＜m(i，j)时像素的运动概率R_Motion为0。
利用低对比度区域置信度对运动检测的参数进行调整，在低对比度区域，将运动检测的参数调整到更鼓励像素被检测为运动像素，从而减小漏检率。如果采用图8的运动检测方法，调整方法为减少运动检阈值，如式(26)、(27)所示
T1(i,j)＝(1-αR_LC(i,j))*T1Preset (26)
T2(i,j)＝(1-βR_LC(i,j))*T2Preset (27)
T1Preset和T2Preset为预设的运动检测参数，可以按照传统的运动检测方法来设定，α和β为事先设定的参数。可以设为α＝0.5，β＝0.5。则在高对比度区域时，低对比度置信度R_LC(i,j)＝0,则T1(i,j)＝T1Preset,T2(i,j)＝T2Preset，可以退化为传统的运动检测方法，保证高对比度区域既没有虚警错误，也没有漏检错误，从而保证去噪效果，在低对比度区域，低对比度置信度R_LC(i,j)＝0,则T1(i,j)＝(1-α)*T1Preset，T2(i,j)＝(1-β)*T2Preset，阈值降低了，从而可以使控制漏检错误的发生。
运动自适应时域滤波模块接受运动检测模块计算的运动概率R_Motion输入，以及当前输入帧图像和帧存中前一滤波帧的输入，用运 动概率指导当前图像和前一滤波帧的加权滤波。运动概率大的像素不采用时域加权滤波，运动概率小的像素采取时域加权滤波。从而在达到静止区域去噪的同时，在运动区域不会产生运动目标拖尾和时域模糊现象。