《基于样本预测的HDR和HR图像重建方法.pdf》由会员分享，可在线阅读，更多相关《基于样本预测的HDR和HR图像重建方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103413285 A (43)申请公布日 2013.11.27 CN 103413285 A *CN103413285A* (21)申请号 201310333081.2 (22)申请日 2013.08.02 G06T 5/50(2006.01) (71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园 100 号 (72)发明人 李晓光 李风慧 卓力 赵寒 (74)专利代理机构 北京思海天达知识产权代理 有限公司 11203 代理人 刘萍 (54) 发明名称 基于样本预测的 HDR 和 HR 图像重建方法 (57) 摘要 本发明公开了基于样本预测的HDR。
2、和HR图像 重建方法。 算法分为离线训练和在线学习两部分。 离线部分包括学习样本采集、 组织和分类预测器 训练部分。样本采集过程根据场景亮度不同分为 三类分别进行。采用聚类方法对样本文件进行组 织。 然后， 通过线性或非线性预测器学习方法对分 类预测器进行训练。在线重建部分对输入的多幅 幅具有不同曝光参数的 LR-LDR 图像进行 HDR-HR 重建。 首先， 通过输入图像的平均图像进行场景的 背景亮度分类 ； 然后， 根据亮度分类结果， 利用离 线训练部分训练好的分类预测器对输入图像进行 高动态范围和高分辨率细节信息的预测， 最终重 建高频信息。该发明可对高对比度场景进行有效 成像， 达到同。
3、时重建高分辨率和高动态范围图像 的目标。 (51)Int.Cl. 权利要求书 1 页 说明书 4 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书4页 附图2页 (10)申请公布号 CN 103413285 A CN 103413285 A *CN103413285A* 1/1 页 2 1. 一种基于样本预测的 HDR 和 HR 图像重建方法， 其特征在于 ： 该方法分为离线训练部 分和在线重建两部分 ； 具体如下 ： （一） 离线训练部分 1) 采集训练样本 ： 训练图像为同一场景的多幅具有曝光参数不同的低分辨率图像和 一幅对应的目标图像 。
4、； 在训练图像中提取对应的 LDR-LR 和 HDR-HR 图像信息块对作为训练 样本 ； 2) 组织训练样本 ： 采用聚类方法对来自不同背景亮度区的样本集进行分类组织 ； 3) 为每个聚类样本集训练一个预测器 ； 获得对应亮区、 暗区和适中区的三个分类预测 器 ； （二） 在线重建部分 ： 1) 对输入图像序列的场景亮度进行分割， 形成曝光不同的三个区域 ； 2) 对输入图像序列的基本层进行估计 ； 3) 根据输入图像的亮度分类结果， 通过训练好的分类预测器对每个位置图像块的细节 信息进行预测， 获得场景的细节层 ； 4) 将基本层和细节层估计结果叠加融合 ； 5) 对融合图像进行低分辨率图。
5、像观测模型约束， 得到重建结果。 2. 根据权利要求 1 所述的一种基于样本预测的 HDR 和 HR 图像重建方法， 其特征在于 ： 所述的离线训练部分中采集训练样本， 根据场景亮度不同将样本分为亮区、 暗区和适中区三个区域 ； 细节信息计算 ： 采用双边滤波器提取每幅样本图像的细节信息作为样本数据 ； 样本采集 ： 样本为输入 LDR-LR 与目标 HDR-HR 细节图像对应位置提取的成对的图像 信息块 ； 根据场景亮度分类结果， 亮区样本在曝光时间短的 LDR-LR 与目标图像对应的细节 图中提取 ； 暗区样本在曝光时间长的 LDR-LR 与目标图像对应的细节图中提取 ； 亮度适中 区， 。
6、则选择曝光时间适中的 LDR-LR 与目标图像对应的细节图中提取 ； 对于三个亮度区， 提取三个对应的训练样本集。 权 利 要 求 书 CN 103413285 A 2 1/4 页 3 基于样本预测的 HDR 和 HR 图像重建方法 技术领域 0001 本发明涉及数字图像处理方法， 特别涉及一种基于样本预测的HDR和HR图像重建 方法。 背景技术 0002 影响图像质量的因素有很多， 如空间分辨率、 亮度对比度、 噪声等。高质量的图像 在有效表现高对比度场景的同时， 也应当具有较高的空间分辨率。针对图像的高动态范围 图像显示和空间分辨率的重建问题， 许多学者已进行了一些卓有成效的研究工作， 但。
7、他们 基本上都是分别独立进行的。 现有的超分辨率复原技术通常假设多幅图像的曝光参数是不 变的、 摄像机响应函数的参数以及噪声参数是已知的 ； 但是， 在真实世界中所获取的图像通 常对以上假设条件难以满足。 因此， 在统一技术框架中重建高动态范围和高分辨率图像， 对 图像融合的理论基础和实际应用都具有一定的价值。 该发明可对高对比度场景进行有效成 像， 可用于夜街景监控图像处理或为摄影艺术家提供数码照片处理工具。 发明内容 0003 本发明的目的在于， 将同一场景多幅具有不同曝光参数的低分辨率图像重建为具 有高亮度动态范围和高分辨率的高质量图像。 0004 为了达到上述目的， 本发明的一种基于样。
8、本预测的 HDR 和 HR 图像重建方法， 其特 征在于 ： 该方法分为离线训练部分和在线重建两部分 ； 离线部分包括学习样本采集、 组织 和分类预测器训练部分。在线重建部分对输入的多幅具有不同曝光参数的 LDR-LR 即低动 态范围与低分辨率图像图像进行 HDR-HR 即高动态范围与高分辨率图像重建。首先， 通过 输入图像的平均图像进行场景的背景亮度分类 ； 然后， 根据亮度分类结果， 利用离线部分训 练好的分类预测器对输入图像进行高动态范围和高分辨率细节信息预测， 最终重建 HDR-HR 图像 ； 0005 该方法包括如下步骤 ： 0006 （一） 离线训练部分 0007 1) 采集训练样。
9、本 ： 训练图像为同一场景的多幅具有曝光参数不同的低分辨率图 像和一幅对应的目标图像 ； 在训练图像中提取对应的 LDR-LR 和 HDR-HR 图像信息块对作为 训练样本 ； 具体采集步骤包括 ： 0008 根据场景亮度不同将样本分为亮区、 暗区和适中区三个区域 ； 0009 细节信息计算 ： 采用双边滤波器提取每幅样本图像的细节信息作为样本数据 ； 0010 样本采集 ： 样本为输入 LDR-LR 与目标 HDR-HR 细节图像对应位置提取的成对的 图像信息块。根据场景亮度分类结果， 亮区样本在曝光时间短的 LDR-LR 与目标图像对应的 细节图中提取 ； 暗区样本在曝光时间长的 LDR-。
10、LR 与目标图像对应的细节图中提取 ； 亮度适 中区， 则选择曝光时间适中的 LDR-LR 与目标图像对应的细节图中提取 ； 0011 对于三个亮度区， 提取三个对应的训练样本集 ； 说 明 书 CN 103413285 A 3 2/4 页 4 0012 2) 组织训练样本 ： 采用聚类方法对来自不同背景亮度区的样本集进行分类组 织 ； 0013 3) 为每个聚类样本集训练一个预测器 ； 获得对应亮区、 暗区和适中区的三个分类 预测器 ； 0014 （二） 在线重建部分 ： 0015 1) 对输入图像序列的场景亮度进行分割， 形成曝光不同的三个区域 ； 0016 2) 对输入图像序列的基本层进。
11、行估计 ； 0017 3) 根据输入图像的亮度分类结果， 通过训练好的分类预测器对每个位置图像块 的细节信息进行预测， 获得场景的细节层 ； 0018 4) 将基本层和细节层估计结果叠加融合 ； 0019 5) 对融合图像进行低分辨率图像观测模型约束， 得到重建结果。 0020 本发明有益的技术效果是 ： 通过对示例样本的学习， 建立 LDR-LR(Low Dynamic Range Low Resolution) 与 HDR-HR(High Dynamic Range-High Resolution) 之间的 映射关系。通过合理组织样本， 分类训练学习模型等策略在无需人为交互的情况下实现 H。
12、DR-HR图像的联合重建。 该方法分为离线和在线两部分。 离线部分主要完成示例样本的采 集、 组织以及分类预测器的训练 ； 在线部分则通过离线部分训练得到的分类预测器完成图 像的联合重建。 提供了在基于样本预测学习的框架内进行图像高动态范围与超分辨率的联 合重建， 该方法能同时重建高动态范围与高分辨率的目标图像。 0021 下面结合实例参照附图进行详细说明， 以求对本发明的目的、 特征和优点得到更 深入的理解。 附图说明 ： 0022 图 1、 离线训练部分流程图 ； 0023 图 2、 在线重建部分流程图 ； 0024 图 3、 样本提取方式 ( 对应关系 ) ； a) HDR-HR 细节图。
13、像 b) LDR-LR 细节图像 具体实施方式 ： 0025 以下结合说明书附图， 对本发明的实施实例加以说明 ： 0026 本发明提出方法分为离线训练和在线重建两部分。离线训练部分流程图如图 1 所 示， 包括学习样本采集、 组织和分类预测器训练部分。 样本采集过程根据场景亮度不同分为 三类分别进行。采用聚类方法对样本文件进行组织。然后， 通过线性或非线性预测器学习 方法对分类预测器进行训练。 0027 在线重建部分流程图如图 2 所示， 对输入的 3 幅具有不同曝光参数的 LR-LDR 图像 进行HDR-HR重建。 首先， 通过输入图像的平均图像进行场景的背景亮度分类 ； 然后， 根据亮 。
14、度分类结果， 利用离线训练部分训练好的分类预测器对输入图像进行高动态范围和高分辨 率细节信息的预测， 最终重建高频信息。 0028 下面结合实例对该方法进行详细说明。 0029 （1） 离线训练部分 0030 训练图像选取多组HDR场景图像组成。 每个HDR场景训练图由曝光过大I1， 曝光适 说 明 书 CN 103413285 A 4 3/4 页 5 中 I0和曝光过小 I-1的三幅 LDR-LR 图像和一幅对应的 HDR-HR 场景的目标图像 IHDR-HR组成。 在样本采集时， 首先对 HDR-HR 场景进行背景亮度分类。背景亮度分类可采用多种方案， 如 可对三幅 LDR-LR 图像的平。
15、均图像 Iaverage进行 K 均值聚类， 分割为三类， 从而将图像分为亮 区， 适中区和暗区三个区域。根据场景亮度分类结果， 亮区样本在曝光时间短的 LDR-LR 与 目标图像对应的细节图中提取 ； 暗区样本在曝光时间长的 LDR-LR 与目标图像对应的细节 图中提取 ； 亮度适中区， 则选择曝光时间适中的 LDR-LR 与目标图像对应的细节图中提取 ； 在每个区域中采集示例样本， 构成三个训练样本集。 0031 示例样本是由成对的图像信息块组成， 即HDR-HR图像块和相应的LDR-LR图像块。 样本提取前， 分别对LDR-LR和HDR-HR训练图像进行双边滤波器滤波， 然后将原图像减去。
16、滤 波后的图像得到细节信息。在对应的细节信息图像上， 按照图 3 所示的对应关系采集成对 的示例样本。图 3 中以采样倍数等于 2 为例。对应的样本分别提取的是 16 维的向量。 0032 采集到的三个训练样本库分别进行基于聚类的样本组织。可采用 K 均值聚类， 对 样本中的 LDR-LR 部分进行聚类。 0033 对于每个样本库， 训练一个分类预测器。 分类预测器由一组子预测器构成， 每个聚 类类别的样本子集对应一个子预测器。子预测器的训练中， 对应类别的所有样本为训练样 本。其中 LDR-LR 部分为输入， HDR-HR 部分为目标。预测器的目的是描述同类样本 LDR-LR 和 HDR-H。
17、R 的映射关系。这种映射关系用于指导非训练样本 LDR-LR 图像序列的 HDR-HR 图 像重建。子预测器可采用简单的最小均方误差 （Least Mean Squares, LMS） 预测器。 0034 离线训练部分的目的是训练与背景亮度分类数量对应个数的分类预测器， 表示不 同训练样本集中 LDR-LR 和 HDR-HR 之间的映射关系。分类预测器用于在线重建过程中的细 节信息预测。 0035 （2） 在线重建部分 0036 以三幅不属于训练图像的输入图像为例， I-1为一曝光时间较短图像， I1为曝光时 间较长的图像， I0为曝光时间正常图像。 为了保持场景整体亮度动态范围， 选择三幅实。
18、验输 入图像的平均图像作为 LDR-LR 初始图像， 将初始图像经双线性插值放大到目标图像大小， 作为基本层图像。对 I0的灰度图像进行 K 均值聚类获得场景亮度分类， 分割出亮区、 暗区 和亮度适中区。 0037 对 I-1， I0和 I1分别进行细节信息提取， 即将原图与双边滤波器滤波后的平滑图像 的差图像作为 LDR-LR 细节图像。 0038 依据亮度分类结果， 在每个区域的像素进行重建的过程中分别采用对应类别的分 类预测器进行预测。预测时， 输入数据首先通过样本分类过程产生的码本进行编码， 即分 类 ； 然后根据其类别选择对应的子预测器进行细节信息预测。 0039 对应于三幅输入图像。
19、来说， 对于亮区， I-1图像相对应的细节比较多， 对于暗区， I1 图像相对应的细节比较多， 对应正常区域I0图像相对应的细节比较多。 因此， 在用分类预测 器用于进行高频信息的预测时， 分别对应于不同的亮度区域， 采用不同的输入图像指导细 节信息的预测， 最后估计得到的细节信息层叠加到初始估计图像中形成融合的 HDR-HR 图 像。 0040 最后， 通过图像观测模型， 采用插值放大的基本层图像对融合图像进行模型约束， 通过迭代优化， 得到重建结果图像。 说 明 书 CN 103413285 A 5 4/4 页 6 0041 本发明基于学习的高动态范围与超分辨率联合重建方法， 可对高对比度场景进行 有效成像， 达到同时重建高分辨率和高动态范围图像的目标。 本发明应用范围广泛， 可用于 夜晚街景监控图像处理以及为摄影艺术家提供数码照片处理工具。 离线训练过程可一次训 练， 多次应用。在线重建效果好、 运算速度快。 说 明 书 CN 103413285 A 6 1/2 页 7 图 1 图 2 说 明 书 附 图 CN 103413285 A 7 2/2 页 8 图 3 说 明 书 附 图 CN 103413285 A 8 。