《基于超现实亮度对比度传递算法的可见光与红外视频融合方法.pdf》由会员分享，可在线阅读，更多相关《基于超现实亮度对比度传递算法的可见光与红外视频融合方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103761724 A (43)申请公布日 2014.04.30 CN 103761724 A (21)申请号 201410041858.2 (22)申请日 2014.01.28 G06T 5/50(2006.01) G06T 3/40(2006.01) (71)申请人 中国石油大学 （华东） 地址 266580 山东省青岛市经济技术开发区 长江西路 66 号 (72)发明人 宋华军 任鹏 百晓 祝艳宏 肖渤涛 孙文健 王玉霞 邸萌萌 (74)专利代理机构 哈尔滨市伟晨专利代理事务 所 ( 普通合伙 ) 23209 代理人 张伟 (54) 发明名称 基于超现实亮度对比。
2、度传递算法的可见光与 红外视频融合方法 (57) 摘要 基于超现实亮度对比度传递算法的可见光与 红外视频融合方法， 它涉及一种可见光与红外视 频融合方法， 本发明是要解决现有的红外和可见 光图像融合方法， 无法既能满足视频处理的实时 性要求和又能在烟雾环境中获得理想的可见光与 红外视频融合效果的问题。本发明按以下步骤进 行 ： 将可见光视频与背景信息进行超现实融合得 到融合后的可见光视频序列， 并计算其亮度分量 ； 将该亮度分量与红外图像分别进行两层提升小波 变换得到稀疏系数 ； 按一定的融合规则将两类稀 疏系数进行融合得到融合后稀疏系数并进行小波 逆变换得灰度融合图像并进行亮度调整， 最后对。
3、 调整后的图像变换回彩色空间， 便得到最终的融 合图像即视频序列。本发明适用于图像处理技术 领域。 (51)Int.Cl. 权利要求书 1 页 说明书 6 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书6页 附图4页 (10)申请公布号 CN 103761724 A CN 103761724 A 1/1 页 2 1. 基于超现实亮度对比度传递算法的可见光与红外视频融合方法， 其特征在于它按以 下步骤进行 ： 步骤一 ： 采用加权平均法从 n 帧可见图像中提取出所拍摄场景的背景信息 background， 其中 n 为大于 300 且小于 3。
4、000 的正整数 ； 步骤二 ： 如需更换背景信息 background， 则采用加权平均法从另外 m 帧可见图像中提 取出所拍摄场景的背景信息 background， 其中 m 为大于 300 且小于 3000 的正整数 ； 步骤三 ： 采用加权平均法对可见光视频与背景信息 background 进行超现实融合， 得到 融合后的可见光视频序列 visible， 具体过程采用如下经验公式 ： visible=0.15background+0.9visible ； 步骤四 ： 使用如下经验公式求解可见光视频序列 visible 的亮度分量 Yvis， Yvis=0.299R+0.587G+0.1。
5、14B， 其中 R， G， B 分别表示可见光视频序列的红， 绿， 蓝 通道 ； 步骤五 ： 将可见光视频序列 visible 的亮度分量 Yvis与红外图像 IR 分别进行两层提升 小波变换得到亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp ； 步骤六 ： 按着一定融合规则对亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp 进行融合， 得到融合后的稀疏系数 Ftmp ； 步骤七 ： 对融合后的稀疏系数 Ftmp 进行两层提升小波逆变换得灰度融合图像 F ； 步骤八 ： 使用现有的亮度对比度传递算法对将灰度融合图像 F 进行调整得到调整后的 图像 F*， 并求 F。
6、*与亮度分量 Yvis之差 Imid ； 步骤九 ： 使用如下公式得到融合结果的三个分量 Rc、 Gc、 Bc 并将其合并为最终结果视 频序列， 2. 如权利要求 1 所述的基于超现实亮度对比度传递算法的可见光与红外视频融合方 法， 其特征在于步骤六中所述融合规则为 ： a. 稀疏系统低频分量直接选取红外图像的低频分量 ； b. 二层分解的高频分量采取绝对值取大的融合准则 ； c. 一层分解的高频分量采取加权平均的融合准则。 3. 如权利要求 1 所述的基于超现实亮度对比度传递算法的可见光与红外视频融合方 法， 其特征在于步骤八中所述现有的亮度对比度传递算法公式为 ： F*=(RefF)(F-。
7、F)+Ref 式中 F*为经过亮度对比度调整后的灰度融合图像， (F， F) 和 (Ref， Ref) 分别是调 整前的灰度融合图像 F 以及及灰度参考图像 Ref 的一阶统计量和二阶统计量。 权 利 要 求 书 CN 103761724 A 2 1/6 页 3 基于超现实亮度对比度传递算法的可见光与红外视频融合 方法 技术领域 0001 本发明涉及图像处理技术领域， 尤其涉及一种基于超现实亮度对比度传递算法的 可见光与红外视频融合方法。 背景技术 0002 图像融合是指通过某种计算方法把不同传感器拍摄的多幅图像合并成一幅高质 量的图像的过程， 从而可以有效地发挥各种图像传感器的优点， 提高图。
8、像信息的可分析性。 现实生活中要获取某一场景的图像可以使用可见光相机、 红外热像仪等传感器， 可见光像 机拍摄的图像色彩鲜明、 对比度高、 符合人类的视觉特点， 但是在有烟雾或者光线不足的情 况下效果较差。红外热像仪通过感应物体辐射出来的红外线来成像， 它能够在存在烟雾或 者光线不足的条件下正常工作， 但是它所拍摄的图像往往对比度不高， 成像清晰度低。 如果 希望能够全天候地观察某一场景或目标， 则单一传感器就不能够完成任务， 这时就需要融 合多种传感器拍摄的图像信息， 使融合图像同时具有多种传感器各自成像的优点。 0003 目前图像融合的经典方法主要有 ： 1、 刘坤等人提出了像素级多传感器。
9、图像融合的 研究 （见刘坤， 郭雷， 李晖晖像素级多传感器图像融合的研究 J计算机工程与应用， 2007， 43(12) ： 59-61） ， 主要针对红外与可见光图像进行融合处理。2、 赵高鹏等人提出了基 于提升小波的红外和可见光图像融合方法 （见赵高鹏， 薄煜明， 刘娣基于提升小波的红外 和可见光图像融合方法 J计算机工程与设计， 2009， 30（7） ： 1697-1699） ， 以提升小波 为分析工具， 获得了比普通小波更高的效率。而针对小波变换在描述图像高维纹理细节时 不具有各向异性的缺陷， 3、 宋江山、 Arash 等人提出了基于曲波变换的图像融合方法 （见宋 江山， 徐建强，。
10、 司书春改进的曲波变换图像融合方法 J中国光学与应用光学， 2009， 2 （2） ： 145-149 和 Arash， Golibagh， Mahyari， etalANovel Image Fusion Method Using Curvelet Transform Based on Linear Dependency TestC International Conference on Digital Image Processing， 2009 ： 351-354） ， 与传统的小波变换相比， 获得了更好的 效果， 并能有效地抑制噪声， 但是曲波变换复杂度较高， 速度较慢。4、 Zeji。
11、ng Guang 等人 提出了基于 Contourlet 变换的图像融合方法 （见 Zejing Guang， Zhenbing Zhao， Qiang GaoInfrared and Visible Images Fusion Based on Contourlet-domain Hidden Markov Tree ModelCInternational Congress on Image and Signal Processing， 2011 ： 1916-1920） ， 将 Contourlet 变换这一新的多尺度分析工具应用到了图像融合中， 相 比于传统的小波变换其效果有了明显的改善。
12、。针对普通 Contourlet 变换不具有移位不 变性的缺陷， 5、 黄克宇、 W.Kong 等人提出了非采样 Contourlet 变换 （见黄克宇， 李敏， 何 玉杰等一种基于非采样 Contourlet 变换的图像融合算法 J现代电子技术， 2011， 34 （24） ： 96-98 和 WKong， YLei， XNiFusion technique for grey-scale visible light and infrared images based on non-subsampled contourlet transform and intensity-hue-satura。
13、tion transformJIET Signal Processing， 2011， 5 （1） ： 75-80） ， 说 明 书 CN 103761724 A 3 2/6 页 4 该算法在图像融合中取得了很好的效果， 但是上述五种图像融合的经典方法， 在环境中存 在大面积烟雾时， 可见光与红外图像融合的效果很差。6、 李光鑫等人提出了红外和彩色可 见光亮度对比度传递融合算法 （见李光鑫， 吴伟平， 胡君红外和彩色可见光亮度对比度传 递融合算法中国光学， 2011， 4（2） ： 162-167） ， 但由于正交小波变换计算量大， 导致该方法 的运算时间过长， 无法满足视频处理的实时性要求。。
14、7、 蔡琴慧等人提出了超现实的图像融 合方法 （见蔡琴慧超现实的图像融合及在视频中的应用杭州 ： 浙江大学硕士学位论文， 2007， 5 ： 11-21） ， 但该方法需要进行梯度域的图像重建， 计算相对复杂， 也无法满足视频处 理的实时性要求。 发明内容 0004 本发明是要解决现有的红外和可见光图像融合方法， 无法既能满足视频处理的实 时性要求和又能在烟雾环境中获得理想的可见光与红外视频融合效果的问题， 而提出基于 超现实亮度对比度传递算法的可见光与红外视频融合方法。 0005 基于超现实亮度对比度传递算法的可见光与红外视频融合方法， 其实现步骤包括 如下 ： 0006 步骤一 ： 采用加。
15、权平均法从 n 帧可见图像中提取出所拍摄场景的背景信息 background， 其中 n 为大于 300 且小于 3000 的正整数 ； 0007 步骤二 ： 如需更换背景信息 background， 则采用加权平均法从另外 m 帧可见图像 中提取出所拍摄场景的背景信息 background， 其中 m 为大于 300 且小于 3000 的正整数 ； 0008 步骤三 ： 采用加权平均法对可见光视频与背景信息 background 进行超现实融合， 得到融合后的可见光视频序列 visible， 具体过程采用如下经验公式 ： 0009 visible=0.15background+0.9visi。
16、ble ； 0010 步骤四 ： 使用如下经验公式求解可见光视频序列 visible 的亮度分量 Yvis， 0011 Yvis=0.299R+0.587G+0.114B， 其中 R， G， B 分别表示可见光视频序列的红， 绿， 蓝通道 ； 0012 步骤五 ： 将可见光视频序列 visible 的亮度分量 Yvis与红外图像 IR 分别进行两层 提升小波变换得到亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp ； 0013 步骤六 ： 按着一定融合规则对亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp 进行融合， 得到融合后的稀疏系数 Ftmp， 具体的融合规则。
17、如下 ： 0014 a、 稀疏系统低频分量直接选取红外图像的低频分量， 以融入更多的目标信息 ； 0015 b、 二层分解的高频分量采取绝对值取大的融合准则， 这样可以更好地选取图像中 的细节变化比较明显的像素点 ； 0016 c、 一层分解的高频分量采取加权平均的融合准则 ； 0017 步骤七 ： 对融合后的稀疏系数 Ftmp 进行两层提升小波逆变换得灰度融合图像 F ； 0018 步骤八 ： 使用现有的亮度对比度传递算法对将灰度融合图像 F 进行调整得到调整 后的图像 F*， 并求 F*与亮度分量 Yvis之差 Imid ； 0019 步骤九 ： 使用如下公式得到融合结果的三个分量 Rc、。
18、 Gc、 Bc 并将其合并为最终结 果视频序列， 说 明 书 CN 103761724 A 4 3/6 页 5 0020 0021 本发明包括以下有益效果 ： 0022 1、 本发明利用提升小波代替正交小波进行亮度对比度传递算法， 提高了该算法的 运算速度， 能够对可见光与红外视频融合进行实时的处理 ； 0023 2、 本发明将超现实的梯度域图像融合方法引入到可见光与红外视频的融合方法 中， 用来进行可见光视频的预处理， 由于该方法能够显著改善环境状况较差时， 尤其是烟雾 环境中可见光视频的质量， 从而提高了融合视频中目标的清晰度。 附图说明 0024 图 1 为本发明的总流程图 ； 0025。
19、 图 2 为提升小波变换和双正交小波变换的运行时间对比图 ； 0026 图 3 为第 330 帧， 第 950 帧， 第 1660 帧和第 1980 帧的红外视频对比图像， 其中图 （a） - 图 （d） 分别为第 330 帧， 第 950 帧， 第 1660 帧和第 1980 帧 ； 0027 图 4 为第 330 帧， 第 950 帧， 第 1660 帧和 1980 帧的可见光视频对比图像 ； 0028 图 5 为采用提升小波亮度对比度传递算法融合的第 330 帧， 第 950 帧， 第 1660 帧 和第 1980 帧的结果对比图 ； 0029 图 6 为采用本发明方法进行融合的第 33。
20、0 帧， 第 950 帧， 第 1660 帧和第 1980 帧的 结果对比图 ； 0030 图 7 为提升小波亮度对比度传递算法与本发明方法的熵值对比图 ； 0031 图 8 为提升小波亮度对比度传递算法与本发明方法的的边缘强度对比图 ； 0032 图 9 为提升小波亮度对比度传递算法与本发明方法的的平度梯度对比图。 具体实施方式 0033 具体实施方式一 ： 结合图 1， 本发明的具体实现步骤如下 ： 0034 步骤一 ： 采用加权平均法从 n 帧可见图像中提取出所拍摄场景的背景信息 background， 其中 n 为大于 300 且小于 3000 的正整数 ； 0035 步骤二 ： 如需。
21、更换背景信息 background， 则采用加权平均法从另外 m 帧可见图像 中提取出所拍摄场景的背景信息 background， 其中 m 为大于 300 且小于 3000 的正整数 ； 0036 步骤三 ： 采用加权平均法对可见光视频与背景信息 background 进行超现实融合， 得到融合后的可见光视频序列 visible， 具体过程采用如下经验公式 ： 0037 visible=0.15background+0.9visible ； 0038 步骤四 ： 使用如下经验公式求解可见光视频序列 visible 的亮度分量 Yvis， 0039 Yvis=0.299R+0.587G+0.1。
22、14B， 其中 R， G， B 分别表示可见光视频序列的红， 绿， 蓝通道 ； 0040 步骤五 ： 将可见光视频序列 visible 的亮度分量 Yvis与红外图像 IR 分别进行两层 提升小波变换得到亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp ； 说 明 书 CN 103761724 A 5 4/6 页 6 0041 步骤六 ： 按着一定融合规则对亮度分量的稀疏系数 Ytmp 与红外图像的稀疏系数 IRtmp 进行融合， 得到融合后的稀疏系数 Ftmp， 具体的融合规则如下 ： 0042 a、 稀疏系统低频分量直接选取红外图像的低频分量， 以融入更多的目标信息 ； 00。
23、43 b、 二层分解的高频分量采取绝对值取大的融合准则， 这样可以更好地选取图像中 的细节变化比较明显的像素点 ； 0044 c、 一层分解的高频分量采取加权平均的融合准则 ； 0045 步骤七 ： 对融合后的稀疏系数 Ftmp 进行两层提升小波逆变换得灰度融合图像 F ； 0046 步骤八 ： 使用现有的亮度对比度传递算法对将灰度融合图像 F 进行调整得到调整 后的图像 F*， 并求 F*与亮度分量 Yvis之差 Imid ； 0047 步骤九 ： 使用如下公式得到融合结果的三个分量 Rc、 Gc、 Bc 并将其合并为最终结 果视频序列， 0048 0049 具体实施方式二 ： 本实施方式是。
24、对具体实施方式一作进一步说明， 步骤八中所述 现有的亮度对比度传递算法为文献 红外和彩色可见光亮度对比度传递融合算法 （中国光 学， 2011， 4（2） ： 162-167） 中所述的方法， 根据亮度对比度传递公式计算 F*： 0050 F*=(RefF)(F-F)+Ref 0051 式中 F*为经过亮度对比度调整后的灰度融合图像， (F， F) 和 (Ref， Ref) 分 别是调整前的灰度融合图像 F 以及灰度参考图像 Ref 的一阶统计量 ( 均值 ) 和二阶统计量 ( 方差 )。 0052 为验证本发明的有益效果， 做如下仿真实验 ： 0053 1、 实验条件与方法 0054 硬件平。
25、台为 ： PC 机 (XP 系统， i5 双核处理器， 主频 2.3G， 内存 2G) ； 0055 软件平台为 ： 仿真实验一采用的是 matlab7.0， 仿真实验二采用的是 VC ； 实验对 象 ： 仿真一实验中采用的是 512512 分辨率的 double 精度的灰度 lena 图像 ； 仿真二采用 的是 2000 帧视频序列 ； 0056 2、 仿真内容 0057 仿真实验一 ： 为了提高融合算法的效率， 针对视频融合对算法效率要求高的特点， 对现有的方法， 参见文献 红外和彩色可见光亮度对比度传递融合算法 ， 中国光学， 2011， 4 （2） ： 162-167， 中所提到的双正。
26、交5-3小波采用提升小波代替以证明提升小波的对效率的贡 献程度。该实验分别使用双正交 5-3 小波与提升小波对 512512 分辨率的 double 精度的 灰度 lena 图像进行 10 次两层小波分解与重构， 求取总的运算时间， 并各自实验 5 次， 结果 如表 1 所示， 图 2 给出了提升小波变换和双正交小波变换的运行时间对比图。 0058 仿真实验二 ： 为了说明引入提升小波进行多尺度分析的必要性， 将融合算法中对 图像进行小波分解与重构在处理每一帧图像中所占用时间的比例进行了实验分析。本实 验对 2000 帧视频序列进行了五次实验， 并分别求出了本发明算法处理每一帧图像所需的 平均。
27、时间以及算法中提升小波变换与反变换所需的平均时间， 实验结果如表 2 所示 ； 图 3 说 明 书 CN 103761724 A 6 5/6 页 7 （a） -3（d） 以及图 4（a） -3（d） 从左到右依次为红外和可见光视频中的第 330 帧， 950 帧， 1660 帧和 1980 帧 ； 图 5（a） -5（d） 为利用现有的提升小波亮度对比度传递算法的第 330 帧， 950 帧， 1660 帧和 1980 帧的融合效果图 ； 图 6（a） -6（d） 为利用本发明算法的第 330 帧， 950 帧， 1660 帧和 1980 帧的融合效果图。图 7 为提升小波亮度对比度传递算法与。
28、本发 明方法的熵值对比图 ； 图 8 为提升小波亮度对比度传递算法与本发明方法的的边缘强度对 比图 ； 为提升小波亮度对比度传递算法与本发明方法的的平度梯度对比图。 0059 3、 实验结果 0060 仿真实验一得到的是提升小波和双正交小波运行时间对比值和效率提高值， 如表 1 所示 ： 0061 表 1 提升小波和双正交小波运行时间及效率对比数据表 0062 单位 ( 秒 )第一组第二组第三组第四组第五组平均 提升小波8.0637.8127.7358.0318.0637.9408 双正交小波38.25637.90737.33638.0231 37.76537.85742 效率提高374.46。
29、%385.24%382.69%373.45% 368.37%376.75% 0063 由表 1 中数据可知算法的运行时间会随 CPU 运行状态的不同而略有波动， 而且提 升小波在二维图像的分解与重构运算过程中的效率远远高于双正交 5-3 小波。 0064 由图 2 提升小波变换和双正交小波变换的运行时间对比图可以得出结论 ： 使用提 升小波代替双正交 5-3 小波能够显著提高对图像进行小波分解与重构的效率。 0065 仿真实验二得到的处理每一帧图像所需的平均时间以及算法中提升小波变换与 反变换所需的平均时间如表 2 所示。 0066 表 2 小波变换与重构的时间、 处理每帧的总时间及二者间的比。
30、例 0067 0068 由表可知 ： 算法中小波变换及重构占用了整个算法的近一半的运行时间。本发明 使用的是提升小波变换， 由于双正交 5-3 小波的效率比提升小波差很多， 可以推断 ： 如果使 用双正交 5-3 小波进行图像分解与重构， 整个算法的绝大部分时间都会消耗在小波变换与 重构上， 这将很难保证实时处理， 因而采用提升小波是非常必要的， 同时也是有效的。 0069 融合数据的评价数据如表 3 所示 ： 0070 表 3 融合图像的评价数据如下 ： 说 明 书 CN 103761724 A 7 6/6 页 8 0071 提升小波亮度对比度传递本发明 0072 熵边缘强度平均梯度熵边缘强。
31、度平均梯度 第 330 帧 ： 7.1051 93.33336.02947.0383115.55566.0666 第 950 帧 ： 7.1058 92.44443.74237.1525114.66673.944 第 1660 帧 ： 6.9089 91.55562.90177.0537113.77783.2072 第 1980 帧 ： 6.7036 90.66672.44886.8709112.88892.7601 0073 将本发明与现有的提升小波亮度对比度传递算法相比， 从表 3 的客观指标来看， 当图像中的烟雾较浓时， 本发明得到的融合图像其熵、 边缘强度、 平均梯度等指标均比提升 小。
32、波亮度对比度传递算法要好， 这说明引入超现实图像融合方法对红外与可见光图像的融 合是有效的。从主观方法来看， 根据图 5， 图 6 的融合结果对比图可知 ： 本发明融合所得结 果中的房屋、 树木等物体更加清晰， 同时场景中的人也更显著， 即目标更显著， 背景更清晰， 尤其是在浓烟中， 这个优势更加明显。这说明本发明融合效果更好。图 7、 图 8、 图 9 给出了 提升小波亮度对比度传递算法与本发明方法的融合结果的熵、 边缘强度和平均梯度的曲线 图 ； 图 7 表明除第 330 帧外， 本发明的融合结果所含信息量均比仅采用提升小波亮度对比 度传递算法要高。第 330 帧时图中烟还比较少， 图像质。
33、量较好， 此时本发明计算所得熵值略 低。这是因为在超现实融合过程中考虑到算法的效率而采取了简单的加权平均融合准则， 若采用更为复杂的梯度域融合准则， 则能够解决该问题。 但由于这时图像质量较好， 轻微的 信息量指标下降可以接受， 换来了算法整体性能的提高。从图 8 可以看出引入超现实融合 之后， 融合结果的边缘强度有了很大程度的提升， 这说明只要能够提取出高质量的背景， 然 后再将背景与视频序列进行融合， 则能够显著增强待处理视频图像序列的边缘信息。图 8 和图 9 显示， 本发明融合所得图像边缘强度较高， 平均梯度较大， 说明本发明融合得到的图 像其清晰度更高， 细节表现能力更强， 这与主观评价结论一致， 也说明了引入超现实融合的 有效性。 0074 综上所述， 本发明在客观指标和视觉效果方面均能获得较理想的效果， 从而证明 了本发明在视频融合中的表现优于现有的融合方法。 说 明 书 CN 103761724 A 8 1/4 页 9 图 1 说 明 书 附 图 CN 103761724 A 9 2/4 页 10 图 2 图 3 图 4 说 明 书 附 图 CN 103761724 A 10 3/4 页 11 图 5 图 6 图 7 说 明 书 附 图 CN 103761724 A 11 4/4 页 12 图 8 图 9 说 明 书 附 图 CN 103761724 A 12 。