《非均一运动模糊图像的恢复方法.pdf》由会员分享，可在线阅读，更多相关《非均一运动模糊图像的恢复方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103544681 A (43)申请公布日 2014.01.29 CN 103544681 A (21)申请号 201310377605.8 (22)申请日 2013.08.27 G06T 5/00(2006.01) (71)申请人 清华大学 地址 100084 北京市海淀区 100084-82 信箱 申请人 北京航空航天大学 (72)发明人 戴琼海 李雯 张军 (74)专利代理机构 北京清亦华知识产权代理事 务所 ( 普通合伙 ) 11201 代理人 张大威 (54) 发明名称 非均一运动模糊图像的恢复方法 (57) 摘要 本发明提出一种非均一运动模糊图像的恢复 方。
2、法， 包括以下步骤 ： 在模糊图像中选取多个相 互重叠的图像块 ； 根据均一模糊图像恢复方法分 别求取多个图像块的局部模糊核和去模糊图像 块 ； 根据多个图像块的局部模糊核和去模糊图像 块建立多个图像块的局部模糊核与相机全局运 动参数之间的对应关系， 并根据对应关系估计相 机的初始全局运动参数 ； 对相机的初始全局运动 参数和去模糊图像块进行迭代以得到估计的相机 的最终全局运动参数 ； 根据相机的最终全局运动 参数对模糊图像进行计算以得到最终的去模糊图 像。 本发明的实施例基于运动模糊图像成像模型， 通过结合局部模糊核和相机全局运动参数的对应 关系， 能够实现快速、 有效、 鲁棒及低误差的运动。
3、 模糊图像恢复。 (51)Int.Cl. 权利要求书 2 页 说明书 7 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图2页 (10)申请公布号 CN 103544681 A CN 103544681 A 1/2 页 2 1. 一种非均一运动模糊图像的恢复方法， 其特征在于， 包括以下步骤 ： S1 ： 在模糊图像中选取多个图像块， 其中， 所述多个图像块相互重叠 ； S2 ： 根据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像 块 ； S3 ： 根据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的。
4、局部模 糊核与相机全局运动参数之间的对应关系， 并根据所述对应关系估计所述相机的初始全局 运动参数 ； S4 ： 对所述相机的初始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机 的最终全局运动参数 ； 以及 S5 ： 根据所述相机的最终全局运动参数对所述模糊图像进行计算以得到最终的去模糊 图像。 2. 如权利要求 1 所述的非均一运动模糊图像的恢复方法， 其特征在于， 所述步骤 S2 进 一步包括 ： 分别对每个图像块进行高斯下采样以根据下采样结果计算下采样图像的模糊核和对 应的清晰图像 ； 对所述清晰图像上采样， 并根据所述下采样图像的模糊核估计上采样图像的模糊核和 对应的清晰图像，。
5、 直至得到多个图像块的局部模糊核和去模糊图像块。 3. 如权利要求 1 所述的非均一运动模糊图像的恢复方法， 其特征在于， 所述步骤 S2 还 包括 ： 分别计算每个图像块的二维图像熵 ； 将二维图像熵小于预设阈值的图像块删除。 4. 如权利要求 1 所述的非均一运动模糊图像的恢复方法， 其特征在于， 所述步骤 S3 包 括 ： 从所述多个局部模糊核中选取最优的局部模糊核估计结果 ； 根据所述最优的局部模糊核估计结果求解相机的全局运动参数， 作为相机的初始全局 运动参数。 5. 如权利要求 4 所述的非均一运动模糊图像的恢复方法， 其特征在于， 所述从所述多 个局部模糊核中选取最优的局部模糊核。
6、估计结果， 采用 RANSAC 算法。 6. 如权利要求 1 所述的非均一运动模糊图像的恢复方法， 其特征在于， 所述步骤 S4 进 一步包括 ： S501 ： 计算图像的边缘信息， 并从所述边缘信息中选取重要的边缘信息用于估计重要 边缘估计模糊核 ； S502 ： 根据所述重要边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模 糊结果 ； 以及 S503A ： 重复步骤 S501 S502， 直至所述图像的去模糊结果与上一次的所述图像的去 模糊结果之间的变化小于预定数值时， 将当前的相机运动参数作为相机的最终全局运动参 数。 7. 如权利要求 6 所述的非均一运动模糊图像的恢复方法， 。
7、其特征在于， 还包括 ： S503B ： 重复步骤 S501 S502， 直至迭代次数达到预设的最大迭代次数后， 将当前的相 权 利 要 求 书 CN 103544681 A 2 2/2 页 3 机运动参数作为相机的最终全局运动参数。 权 利 要 求 书 CN 103544681 A 3 1/7 页 4 非均一运动模糊图像的恢复方法 技术领域 0001 本发明涉及图像复原技术领域， 特别涉及一种非均一运动模糊图像的恢复方法。 背景技术 0002 运动模糊是一种在成像过程中普遍存在的现象。位于快速行驶的汽车、 飞机或其 他飞行器上的相机， 在拍摄图像的过程中由于拍摄对象相对速度过快或者拍摄过程中。
8、的抖 动， 使得拍摄的图像产生运动模糊， 严重影响了获取图像的质量。实现运动模糊图像的复 原， 恢复原始的清晰图像， 有利于获取更高分辨率的图像细节信息， 对于使用许多基于图像 信息进行的后续处理是非常必要的预处理过程。 0003 在运动模糊的研究当中， 通常假设得到的模糊图像服从以下成像模型 ： 0004 其中， B 为获取的模糊图像， I 为要恢复的清晰图像， K 为模糊核， n 为加性噪声。在该模型的定义中， 模糊图像是由清晰图像与模糊核卷积， 再加入噪声而产 生的。图像恢复工作一般可以分成两步来完成 ： 一是运动模糊核的估计 ； 二是根据估计的 模糊核的图像去卷积。基于单幅图像的运动去。
9、模糊是较为欠定的问题， 通常是通过分析模 糊图像和清晰图像的特点， 将得到其分布情况的先验信息作为约束条件添加到图像恢复过 程中。 0005 现有的图像去模糊算法绝大部分均将相机抖动模糊假设为空间一致的。 近年来的 很多研究表明， 除平面内平移外， 转动也是手持相机运动中不可忽略的成分， 从而使得采集 得到的图像模糊具有空间不一致性。在拍摄过程中相机沿着一条连续的轨迹不断运动， 包 含了沿 x、 y、 z 三个坐标轴的平移和绕三个坐标轴的旋转。相机姿态发生变换后， 采集到的 图像可以看作是初始场景图像经过了一个仿射变换后的结果。因此， 最终采集到的模糊图 像可以看作是若干仿射变换后图像的加权和。
10、， 如下 ： 0006 0007 其中， B,I,nRN分别表示模糊图像B、 清晰图像I和噪声n的向量形式， HjRNN 为对应于相机姿态 j 的仿射变换矩阵。权值 j对应于相机在该姿态停留时间占总曝光时 间的比例。所有的权值组成一个列向量 ， 且有 jj 1。与空间一致模糊卷积模型相 比较， 权值向量 即对应于模糊核 K。 0008 而要描述相机在六维运动空间的运动参数， 的维数通常很高， 要给出合理的初 始值是非常困难的。 发明内容 0009 本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商 业选择。 0010 为此， 本发明的一个目的在于提出一种非均一运动模糊图像的恢。
11、复方法， 该方法 基于运动模糊图像成像模型， 通过结合局部模糊核和相机全局运动参数的对应关系， 能够 说 明 书 CN 103544681 A 4 2/7 页 5 实现快速、 有效、 鲁棒及低误差的运动模糊图像恢复。 0011 为达到上述目的， 本发明的实施例提出了一种非均一运动模糊图像的恢复方法， 包括以下步骤 ： S1 ： 在模糊图像中选取多个图像块， 其中， 所述多个图像块相互重叠 ； S2 ： 根 据均一模糊图像恢复方法分别求取所述多个图像块的局部模糊核和去模糊图像块 ； S3 ： 根 据所述多个图像块的局部模糊核和去模糊图像块建立所述多个图像块的局部模糊核与相 机全局运动参数之间的对。
12、应关系， 并根据所述对应关系估计所述相机的初始全局运动参 数 ； S4 ： 对所述相机的初始全局运动参数和所述去模糊图像块进行迭代以得到估计的相机 的最终全局运动参数 ； 以及 S5 ： 根据所述相机的最终全局运动参数对所述模糊图像进行计 算以得到最终的去模糊图像。 0012 根据本发明实施例的非均一运动模糊图像的恢复方法， 通过混合相机采集系统， 获得场景的近红外闪光图像和可见光图像， 针对非均一运动模糊图像恢复的问题， 基于运 动模糊图像成像模型， 通过结合局部模糊核和相机全局运动参数的对应关系， 得到合理有 效的运动参数估计， 从而能够实现快速、 有效、 鲁棒及低误差的运动模糊图像恢复，。
13、 使得采 集的图像能够更方便地服务于各种应用。 0013 另外， 根据本发明上述实施例的非均一运动模糊图像的恢复方法还可以具有如下 附加的技术特征 ： 0014 在本发明的实施例中， 所述步骤 S2 进一步包括 ： 分别对每个图像块进行高斯下采 样以根据下采样结果计算下采样图像的模糊核和对应的清晰图像 ； 对所述清晰图像上采 样， 并根据所述下采样图像的模糊核估计上采样图像的模糊核和对应的清晰图像， 直至得 到多个图像块的局部模糊核和去模糊图像块。 0015 在本发明的实施例中， 所述步骤 S2 还包括 ： 分别计算每个图像块的二维图像熵 ； 将二维图像熵小于预设阈值的图像块删除。 0016 。
14、在本发明的实施例中， 所述步骤 S3 包括 ： 从所述多个局部模糊核中选取最优的局 部模糊核估计结果 ； 根据所述最优的局部模糊核估计结果求解相机的全局运动参数， 作为 相机的初始全局运动参数。 0017 在本发明的实施例中， 所述从所述多个局部模糊核中选取最优的局部模糊核估计 结果， 采用 RANSAC 算法。 0018 在本发明的实施例中， 所述步骤 S4 进一步包括 ： S501 ： 计算图像的边缘信息， 并从 所述边缘信息中选取重要的边缘信息用于估计重要边缘估计模糊核 ； S502 ： 根据所述重要 边缘估计模糊核更新所述相机的全局运动参数和所述图像的去模糊结果 ； 以及 S503A 。
15、： 重 复步骤 S501 S502， 直至所述图像的去模糊结果与上一次的所述图像的去模糊结果之间 的变化小于预定数值时， 将当前的相机运动参数作为相机的最终全局运动参数。 0019 在本发明的实施例中， 所述步骤 S4 还包括 ： S503B ： 重复步骤 S501 S502， 直至 迭代次数达到预设的最大迭代次数后， 将当前的相机运动参数作为相机的最终全局运动参 数。 0020 本发明的附加方面和优点将在下面的描述中部分给出， 部分将从下面的描述中变 得明显， 或通过本发明的实践了解到。 附图说明 说 明 书 CN 103544681 A 5 3/7 页 6 0021 本发明的上述和 / 或。
16、附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解， 其中 ： 0022 图 1 为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图 ； 0023 图 2 为根据本发明一个实施例的非均一运动模糊图形的恢复方法的获取的相机 运动模糊图像示意图 ； 0024 图 3 为现有技术的运动去模糊方法对图 2 的图像进行复原的结果图 ； 以及 0025 图4为根据本发明一个实施例的非均一运动模糊图形的恢复方法的对图2的图像 进行复原的结果图。 具体实施方式 0026 下面详细描述本发明的实施例， 所述实施例的示例在附图中示出， 其中自始至终 相同或类似的标号表示相同或类似的元件。
17、或具有相同或类似功能的元件。 下面通过参考附 图描述的实施例是示例性的， 旨在用于解释本发明， 而不能理解为对本发明的限制。 0027 在本发明的描述中， 需要理解的是， 术语 “中心” 、“纵向” 、“横向” 、“长度” 、“宽度” 、 “厚度” 、“上” 、“下” 、“前” 、“后” 、“左” 、“右” 、“竖直” 、“水平” 、“顶” 、“底” “内” 、“外” 、“顺时 针” 、“逆时针” 等指示的方位或位置关系为基于附图所示的方位或位置关系， 仅是为了便于 描述本发明和简化描述， 而不是指示或暗示所指的装置或元件必须具有特定的方位、 以特 定的方位构造和操作， 因此不能理解为对本发明。
18、的限制。 0028 此外， 术语 “第一” 、“第二” 仅用于描述目的， 而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此， 限定有 “第一” 、“第二” 的特征可以明示或 者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个” 的含义是两个或两个以 上， 除非另有明确具体的限定。 0029 在本发明中， 除非另有明确的规定和限定， 术语 “安装” 、“相连” 、“连接” 、“固定” 等 术语应做广义理解， 例如， 可以是固定连接， 也可以是可拆卸连接， 或一体地连接 ； 可以是机 械连接， 也可以是电连接 ； 可以是直接相连， 也可以通过中间媒介间接相连， 可。
19、以是两个元 件内部的连通。对于本领域的普通技术人员而言， 可以根据具体情况理解上述术语在本发 明中的具体含义。 0030 图 1 为根据本发明一个实施例的非均一运动模糊图像的恢复方法的流程图。 0031 如图 1 所示， 根据本发明一个实施例的非均一运动模糊图像的恢复方法， 包括以 下步骤 ： 0032 步骤 S101， 在模糊图像中选取多个图像块， 其中， 多个图像块相互重叠。 0033 步骤 S102， 根据均一模糊图像恢复方法分别求取多个图像块的局部模糊核和去模 糊图像块。具体而言， 分别对每个图像块进行高斯采样以根据下采样结果计算下采样图像 的模糊核和对应的清晰图像， 并对该清晰图像进。
20、行上采样， 再根据下采样图像的模糊核估 计上采样图像的模糊核和对应的清晰图像， 直至得到多个图像块的局部模糊核和去模糊图 像。 0034 另外， 在上述步骤 S102 中， 进一步地， 分别计算每个图像块的二维图像熵， 并将所 得二维图像熵中小于预设阈值的图像块删除。其中， 预设阈值根据具体情景预先设定。 0035 作为一个具体的示例， 上述步骤 S101 和步骤 S102， 换言之即为 ： 首先从原始模糊 说 明 书 CN 103544681 A 6 4/7 页 7 图像 （例如为 B） 中均匀的选取相互重叠的一系列局部图像块， 记为 B(i)。对于每一个图像 块， 首先计算它的二维图像熵，。
21、 如下 ： 0036 E(B(i) - u,vp(u,v)log(p(u,v)， 0037 其中， p(u， v) 表示该点像素值为 u 而其邻域的平均像素值为 v 的联合概率分布。 图像熵是一个衡量图像纹理特征的统计量。一般来说， 具有丰富的纹理信息是图像能够进 行较为准确的模糊核估计的一个重要性质。因此， 首先将图像熵较小的一些局部图像块去 除， 从而减少算法的计算量。 0038 进一步地， 在每个局部区域内， 多尺度迭代估计模糊核和图像去模糊结果。 具体地 包括以下步骤 ： 0039 第一步， 对模糊图像块 B(i)采用高斯下采样的方法， 构建图像的高斯金字塔 由最底层开始逐级处理。 0。
22、040 第二步， 估计模糊核， 具体估算如下式 ： 0041 0042 其中， K(i),l为当前层的模糊核，为当前层清晰图像估计的边缘梯度信息， 为当前层可见光模糊图像 B(i),l的梯度信息， |为 范数， K为预设权值。 0043 第三步， 基于得到的模糊核估计清晰图像， 则有 ： 0044 0045 其中， I(i),l为当前层可见光模糊图像的清晰图像， K(i),l当前层的模糊核， B(i),l为 当前层可见光模糊图像， |为 范数， N为预设权值。 0046 第四步， 在得到清晰图像的估计值后， 重复第二步至第三步， 直至达到设定的最大 迭代次数。 0047 第五步， 将得到的清晰。
23、图像上采样， 其采样尺度选取和高斯下采样的相同， 作为上 一层清晰图像的初始值， 重复步骤第二步至第四步， 直至达到高斯金字塔的最高层， 得到初 始的局部模糊核和图像块估计结果。 0048 步骤 S103， 根据多个图像块的局部模糊核和去模糊图像块建立多个图像块的局部 模糊核与相机全局运动参数之间的对应关系， 并根据该对应关系估计相机的初始全局运动 参数。 具体而言， 首先从多个局部模糊核中选取最优的局部模糊核估计结果， 再根据该最优 的局部模糊核估计结果求解相机的全局运动参数， 作为相机的初始全局运动参数。 其中， 采 用 RANSAC 算法从多个局部模糊核中选取最优的局部模糊核估计结果。 。
24、0049 作为一个具体的示例， 首先， 根据用户给出的模糊核大小， 确定相机运动空间的范 围， 并离散化为若干相机姿态样本。 其次， 建立局部模糊核和各个相机姿态下对应的运动模 糊参数 间的关系。假设一幅与模糊图像大小相同的图像 P， 该图像只在所有局部块的中 心位置的值为 1， 其余的值为 0。则在每个相机姿态下， 计算 P 经过仿射变换后的图像 HjP， 并从中取出模糊核在该姿态下的投影每一个局部模糊核可以看作是由这些投影基 的线性组合得到， 具体如下 ： 说 明 书 CN 103544681 A 7 5/7 页 8 0050 0051 其中， 线性系数 j对应于运动模糊参数在每个姿态下的。
25、取值。 0052 基于局部模糊核和相机全局运动参数的对应关系， 运动模糊参数初始值的优化问 题可以定义为 ： 0053 0054 其中， 的每一列是的列向量形式， 为局部模糊核估计结 果，为运动模糊参数 的梯度， k为预设权值。 0055 另外， 由于局部模糊核的估计值存在一定的误差， 使用所有模糊核求解运动参数 的结果并不理想。因此， 在本发明的一个实施例中， 使用 RANSAC 算法， 将具有较大误差的局 部模糊核剔除。具体地分为以下步骤 ： 0056 第一步， 随机选取 40% 的局部模糊核结果代入上述优化问题中， 求解得到一个全 局运动参数。 0057 第二步， 将得到的运动参数反投影。
26、得到局部模糊核若 的值很小， 则标记该位置的 局部模糊核估计结果为合理的结果， 否则标记为不合理。 0058 第三步， 迭代执行第一、 二步， 得到一组标记为合理的局部模糊核估计结果， 以及 由其求解的相机运动参数。 0059 步骤 S104， 对相机的初始全局运动参数和去模糊图像块进行迭代以得到估计的相 机的最终全局运动参数。具体包括以下步骤 ： 0060 步骤 S1041， 计算图像的边缘信息， 并从边缘信息中选取重要的边缘信息用于估计 重要边缘估计模糊核。 0061 步骤 S1042， 根据该重要边缘估计模糊核更新相机的全局运动参数和图像的去模 糊结果。 0062 步骤 S1043， 重。
27、复执行上述步骤 S1041 至步骤 S1042， 直至图像的去模糊结果与上 一次的图像的去模糊结果之间的变化小于预定数值时， 将当前的相机运动参数作为相机的 最终全局运动参数。 0063 步骤 S1044， 重复执行步骤 S1041 至步骤 S1042， 直至迭代次数达到预设的最大迭 说 明 书 CN 103544681 A 8 6/7 页 9 代次数后， 将当前的相机运动参数作为最终的全局运动参数。 0064 作为一个具体的示例， 上述步骤 S104， 也可由以下步骤进行描述 ： 0065 第一步， 计算图像中包含边缘的重要程度， 具体如下式 ： 0066 0067 其中，为近红外闪光图像的。
28、一阶导数， Nh(x) 为以 x 为中心的 hh 邻域， hh 为该尺度对应的模糊核大小。 0068 另外， 根据下式可计算并标记出近红外闪光图像中大尺度边缘的位置 ； 0069 0070 第二步， 将近红外闪光图像经过 Shock 滤波器， 如下式所示 ： 0071 0072 其中， B=Bx2Bxx+2BxByBxy+By2Byy， Bxx、 Byy、 Bxy分别为图像的二阶导数。另外， 可根据 下式选出其中重要的边缘信息用于模糊核的估计。 0073 0074 其中， s为一个预先设定的对比数值， 用于函数H的取值，为滤波后模糊图像 的梯度信息。 0075 第三步， 基于得到的重要边缘估计。
29、模糊核， 具体如下 ： 0076 0077 其中，其每一行对应于生成一个模糊图像中像素点的模糊核， 为清晰图像梯度，为模糊图像中的重要边缘信息， I为范数指数， I为预设权值。 0078 第四步， 在得到清晰图像的估计值后， 由 计算重要边缘用于模糊核的估计。 取 r=0.9r， s=0.9s， 并重复第一、 二步。 0079 第五步， 更新相机运动参数， 具体如下式所示 ： 0080 0081 其中，且其每一列是经过仿射变换得到的清晰图像。 0082 第六步， 重复第一步至第五步， 直至达到设定的最大迭代次数， 从而得到运动参数 的最终估计结果。 0083 步骤 S105， 根据相机的最终全。
30、局运动参数对模糊图像进行计算以得到最终的去模 糊图像。具体计算如下式所示 ： 0084 说 明 书 CN 103544681 A 9 7/7 页 10 0085 其中，I为范数指数， I为预设权值。 0086 以下作为具体的实施例， 结合图2、 图3、 图4描述根据本发明实施例的非均一运动 模糊图像的恢复方法的效果。 0087 如图 2 所示， 为使用混合相机采集系统得到的场景近红外闪光图像和可见光图像 对， 如图 3 所示为使用现有技术的运动去模糊方法对图 2 的图像进行复原的结果图， 如图 4 所示为使用本发明实施例的运动模糊图像恢复方法对图 2 的图像进行复原的结果图。如图 3 和图 4。
31、 可见， 图 4 中的图像比图 3 中的图像更为清晰。从而表明使用本发明实施例的运 动模糊图像恢复方法得到的去模糊图像包含了更为清晰的边缘， 且引入的人为误差更少。 0088 根据本发明实施例的非均一运动模糊图像的恢复方法， 通过混合相机采集系统， 获得场景的近红外闪光图像和可见光图像， 针对非均一运动模糊图像恢复的问题， 基于运 动模糊图像成像模型， 通过结合局部模糊核和相机全局运动参数的对应关系， 得到合理有 效的运动参数估计， 从而能够实现快速、 有效、 鲁棒及低误差的运动模糊图像恢复， 使得采 集的图像能够更方便地服务于各种应用。 0089 流程图中或在此以其他方式描述的任何过程或方法。
32、描述可以被理解为， 表示包括 一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、 片段或部 分， 并且本发明的优选实施方式的范围包括另外的实现， 其中可以不按所示出或讨论的顺 序， 包括根据所涉及的功能按基本同时的方式或按相反的顺序， 来执行功能， 这应被本发明 的实施例所属技术领域的技术人员所理解。 0090 在本说明书的描述中， 参考术语 “一个实施例” 、“一些实施例” 、“示例” 、“具体示 例” 、 或 “一些示例” 等的描述意指结合该实施例或示例描述的具体特征、 结构、 材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中， 对上述术语的示意性表述不。
33、 一定指的是相同的实施例或示例。而且， 描述的具体特征、 结构、 材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。 0091 尽管上面已经示出和描述了本发明的实施例， 可以理解的是， 上述实施例是示例 性的， 不能理解为对本发明的限制， 本领域的普通技术人员在不脱离本发明的原理和宗旨 的情况下在本发明的范围内可以对上述实施例进行变化、 修改、 替换和变型。 说 明 书 CN 103544681 A 10 1/2 页 11 图 1 图 2 说 明 书 附 图 CN 103544681 A 11 2/2 页 12 图 3 图 4 说 明 书 附 图 CN 103544681 A 12 。