一种对恶劣光照条件下的图像/视频实时增强方法技术领域
本发明属于图像增强以及视频增强技术领域，特别涉及应用于恶劣光照条件下的图像
增强以及视频增强技术。
背景技术
随着智能手机的普及率越来越高，其上配置的摄像头装置的性能也越来越好。这些高
性能的摄像头将满足人们拍摄照片或者捕捉视频的需求。而在拍摄照片或者捕捉视频时往
往很容易遇到恶劣光照条件，如低光、雾天、雨雪、高动态范围等等。这些恶劣的光照条
件会使得摄像头拍摄的照片和视频的质量难以得到保证。
同时，大多数的便携式数码相机的设计中也不具有还原恶劣光照条件下照片和视频的功
能。在图像及视频增强领域，有一部分方法，如直方图均衡化，速度较快但效果不佳，
而另一部分方法，如何恺明等人提出的基于黑暗通道的去雾算法和董譞等人提出的等人
提出的基于黑暗通道的低光增强算法，效果令人满意，但是难以实时处理。这些方法都
是基于一种图像退化还原模型来处理的。图像退化还原模型具体可以用下式来表示：
R(x)=J(x)t(x)+A[1-t(x)] (1)
其中：R(x)代表退化后的图像，J(x)代表原始图像，t(x)代表传输系数，A代表大气
强度。
因此根据上述模型，想要恢复出原始图像J(x)，则仅需要得到传输系数t(x)以及大气
强度A即可。
大气强度A可以通过统计图像像素中最大值的前15%来得到。因此对于这个模型来说，
解决问题的关键在于如何得到传输系数。
最后，计算传输系数完毕之后，便可根据如下公式，还原图像：
J ( x ) = R ( x ) - A t ( x ) + A - - - ( 2 ) ]]>
何恺明等人就是使用了黑暗通道的方法来计算这个传输系数t(x)。
另一方面，对于恶劣光照条件的增强设备，目前已经有一些装置和解决方案，但是它
们都存在一些问题。以低光增强设备为例，目前在监控领域广泛应用的红外摄像机设备通
常具有比较昂贵、难以维护、工作环境对温度要求高、功耗大、其频段比普通摄像机要窄
得多等等诸多缺点。这些缺点都会导致上述设备不方便使用。同时，在很多智能手机的视
频图像应用中，由于功耗等原因是不可能集成红外系统的。而目前已有的一些应用使用的
算法常常计算复杂度大，调节参数多，不方便普通用户使用。
发明内容
本发明的目的是为克服已有技术的不足之处，提出了一种恶劣光照条件下的视频图像
实时增强方法。该方法可实时增强包括低光、雾天、雨雪、高动态范围等恶劣光照条件下
获取的视频和图片。
本发明提出的一种对恶劣光照条件下的图像实时增强方法示，其特征在于，该方法包
括以下步骤:
1）获取一张数字图像；
2）计算并检测得到该数字图像光照条件类型，假如检测结果为雾天或雨雪，则进入
步骤3），假如检测结果为低光或高动态范围，则进入步骤4），否则所述数字图像为正常
图像，直接进入步骤6）；
3）对所述数字图像使用黑暗通道方法对进行预处理得到图像的传输参数；
4）对所述数字图像进行伽马校正并使用光明通道方法进行预处理得到图像的传输参
数后进入步骤7）；
5）使用改进的图像退化还原模型根据原始图像和预处理得到的传输参数处理得到最
终的增强结果；
作为增强后的数字图像输出。
本发明还提出一种恶劣光照条件下的视频实时增强方法，其特征在于，该方法包括以
下步骤：
1）获取视频中一个画面组的一个视频帧；
2）判断该视频帧是否为该画面组的第一帧，假如是，则进入步骤3），否则进入步骤
4）；
3）对该视频帧进行光照条件类型检测以及光照条件类型设定，完成后进入步骤6）；
4）进一步判断其该视频帧否场景改变，假如是，则进入步骤5），否则进入步骤6）；
5）对该视频帧进行光照条件类型判定以及光照条件类型设定；
6）判断该视频帧是否为关键帧，假如是则进入步骤7）否则进入步骤8）；
7）读取所述关键视频帧设定好的光照条件类型，假如该视频帧的光照条件类型为雾
天或雨雪，则进入步骤9），假如该视频帧的光照条件类型为低光或高动态范围，则进入步
骤10），否则所述视频帧为正常视频帧，直接进入步骤12）；
8）使用运动估计方法对所述视频帧分配传输参数，并进入步骤11）；
9）对所述视频帧使用黑暗通道方法进行预处理得到视频帧传输参数后进入步骤11）；
10）对所述视频帧进行伽马校正并使用光明通道方法进行预处理得到视频帧的传输参
数后进入步骤11）；
11）使用改进的图像退化还原模型根据原始视频帧和预处理得到的传输参数处理得到
最终的增强结果；
12）将最终的增强结果作为增强后的视频帧输出。
本发明的特点及有益效果：
本发明公开了一种恶劣光照条件下的视频图像实时增强方法。恶劣光照条件包括低
光、雾天、雨雪、高动态范围等。该方法可实时地处理上述恶劣光照条件下获取的图像和
视频。该方法首先对输入的图像或视频进行检测，判断其光照条件类型，并选择对应的预
处理方法做预处理，之后使用改进的图像退化还原模型处理，最后得到最终处理结果。
该方法可实时增强包括低光、雾天、雨雪、高动态范围等恶劣光照条件下获取的视频
和图片。
附图说明
图1为本发明中的图像增强方法之整体架构的框图以及流程。
图2为本发明检测光照条件类型方法的框图以及流程。
图3为本发明对雾天或雨雪图像的预处理方法的框图以及流程。
图4为本发明对低光或高动态图像的预处理方法的框图以及流程。
图5为本发明的改进的图像退化还原模型方法的框图以及流程。
图6为本发明中的视频增强方法之整体架构的框图以及流程。
图7为本发明提出的一种像素取样对比图样。
图8为本发明利用运动估计方法对于视频进行实时增强的算法框图以及流程。
具体实施方式
本发明提出的对恶劣光照条件下的图像/视频实时增强方法结合附图及实施例详细说
明如下：
本发明的对恶劣光照条件下的图像实时增强方法的整体流程如图1所示，该方法包括
以下步骤:
1）获取一张数字图像；
2）计算并检测得到该数字图像光照条件类型，假如检测结果为雾天或雨雪，则进入
步骤3），假如检测结果为低光或高动态范围，则进入步骤4），否则所述数字图像为正常
图像，直接进入步骤6）；
3）对所述数字图像使用黑暗通道方法对进行预处理得到图像的传输参数；
4）对所述数字图像进行gamma（伽马）校正并使用光明通道方法进行预处理得到图
像的传输参数后进入步骤7）；
5）使用改进的图像退化还原模型根据原始图像和预处理得到的传输参数处理得到最
终的增强结果；
6）作为增强后的数字图像输出。
上述步骤2）计算并得到该数字图像光照条件类型的具体流程如图2所示，该方法包
含以下步骤：
2-1）对获取的数字图像进行RGB空间到YUV空间的转换，并对亮度Y进行直方图统
计，统计后利用Y值大于150的像素是否占总像素的比例超过80％的条件来检测该图像是
否有雾，假如检测结果为是，则认为该数字图像为雾天或雨雪图像，否则进入步骤2）；
2-2）对该数字图像进行图像反转，并对反转后的数字图像进行是否有雾检测，假如
检测结果为是，则认为该数字图像为低光或高动态范围图像，否则认为该数字图像为正常
图像
上述步骤3）对所述数字图像使用黑暗通道方法对进行预处理得到图像的传输参数的
具体流程如图3所示，该方法包含以下步骤：
3-2）对获取数字图像计算大气强度值A；
3-2）对获取数字图像的每个像素，使用公式（3）计算该像素的黑暗通道值：
一个像素的黑暗通道定义如下：
J dark ( x ) = min c ∈ { r , g , b } ( min y ∈ Ω ( x ) ( J c ( y ) ) ) - - - ( 3 ) ]]>
其中:Jdark(x)表示x位置处的像素的黑暗通道值,min表示取最小值,c表示某
个通道，一般通向都有r,g,b三个通道,Jc(y)表示y位置c通道的像素值大小，Ω(x)
表示像素的位置范围；
3-3）使用公式（4）计算得到该像素处的传输参数：
t ( x ) = 1 - min c ∈ { r , g , b } ( min y ∈ Ω ( x ) ( J c ( y ) A ) ) - - - ( 4 ) ]]>
上述步骤4）对所述数字图像使用光明通道方法对进行预处理得到图像的传输参数的
具体流程如图4所示，该方法包含以下步骤：
4-1）对获取数字图像的计算大气强度值；
4-2）对获取数字图像进行gamma（伽马）校正；
4-3）对获取数字图像的每个像素使用以下公式计算该像素的光明通道值
一个像素的光明通道定义如下：
J bright ( x ) = max c ∈ { r , g , b } ( max y ∈ Ω ( x ) ( J c ( y ) ) ) - - - ( 5 ) ]]>
其中：Jbright(x)表示x位置处的像素的光明通道值，max表示取最大值；
4-4）使用公式（6）计算得到该像素处的传输参数：
t ( x ) = max c ∈ { r , g , b } ( max y ∈ Ω ( x ) ( J c ( y ) A ) ) - A 255 - A - - - ( 6 ) ]]>
上述步骤5）所述的使用改进的图像退化还原模型根据原始图像和预处理得到的传输
参数处理得到最终的增强结果的具体流程如图5所示，该方法包含以下步骤：
5-1）获取预处理得到的传输参数以及原始图像；
5-2）对获取的原始图像的每个像素使用改进的图像退化还原模型公式（7）计算该像
素位置处增强之后的像素值；
J ( x ) = R ( x ) - A t ( x ) P ( x ) + A - - - ( 7 ) ]]>
其中
R(x)是获取到的原始图像x位置处的像素值大小
P ( x ) = K 0 < t ( x ) ≤ 0.5 Kt ( x ) + M t ( x ) 0.5 < t ( x ) ≤ 1 - - - ( 8 ) ]]>
其中K=0.9,M=0.5
5-3）作为增强后的数字图像输出。
本发明的恶劣光照条件视频实时增强方法的整体流程如图6所示，该方法的具体步骤
为：
1）获取视频中一个画面组的一个视频帧；
2）判断该视频帧是否为该画面组的第一帧，假如是，则进入步骤3），否则进入步骤
4）；
3）对该视频帧进行光照条件类型检测以及光照条件类型设定，完成后进入步骤6）；
4）进一步判断其该视频帧否场景改变，假如是，则进入步骤5），否则进入步骤6）；
5）对该视频帧进行光照条件类型判定以及光照条件类型设定；
6）判断该视频帧是否为关键帧，假如是则进入步骤7）否则进入步骤8）；
7）读取所述关键视频帧设定好的光照条件类型，假如该视频帧的光照条件类型为雾
天或雨雪，则进入步骤9），假如该视频帧的光照条件类型为低光或高动态范围，则进入步
骤10），否则所述视频帧为正常视频帧，直接进入步骤12）；
8）使用运动估计方法对所述视频帧分配传输参数，并进入步骤11）；
9）对所述视频帧使用黑暗通道方法进行预处理得到视频帧传输参数后进入步骤11）；
10）对所述视频帧进行gamma（伽马）校正并使用光明通道方法进行预处理得到视频
帧的传输参数后进入步骤11）；
11）使用改进的图像退化还原模型根据原始视频帧和预处理得到的传输参数处理得到
最终的增强结果；
12）作为增强后的视频帧输出。
上述步骤8）使用运动估计方法对所述视频帧分配传输参数的具体流程如图8所示，
其具体步骤包括：
8-1）对所述视频帧使用运动估计技术，得到每个运动估计块的运动矢量；（此步骤中，
具体采用了图7的像素取样对比图案。该图案代表一个视频帧中的运动估计块，每个小格
代表一个像素，其中黑色的部分表示需要做绝对差和（SAD）的点，而白色的部分表示不
需要做的点。使用该图样来做运动估计并得到整个视频帧每个运动估计块的运动矢量。）
8-2）对每个运动估计块，根据得到的运动失量判断该块是否为帧间预测模式块，假
如是则进入步骤8-3），否则进入步骤8-4）；
8-3）为该块分配参考块的传输参数，即认为该块的传输参数与参考块的传输参数一
样，从而直接复制过来；完成后进入步骤8-6）；
8-4）根据恶劣光照条件类型为该块计算传输参数（此步骤的方法与上述步骤7）、9）、
10）的方法相同）；
8-5）判断是否所有的运动估计块的传输参数都计算完毕，假如都计算完毕，则进入
步骤8-6），否则进入步骤8-2）；
8-6）将所有的运动估计块分配得到或计算得到传输参数输出。