《基于复合运动和自适应非局部先验的超分辨率重建方法.pdf》由会员分享，可在线阅读，更多相关《基于复合运动和自适应非局部先验的超分辨率重建方法.pdf（18页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103824273 A (43)申请公布日 2014.05.28 CN 103824273 A (21)申请号 201410103217.5 (22)申请日 2014.03.19 G06T 5/50(2006.01) (71)申请人 中科院成都信息技术股份有限公司 地址 610041 四川省成都市人民南路四段九 号 (72)发明人 陈帅 陈斌 何易德 赵雪专 (74)专利代理机构 成都赛恩斯知识产权代理事 务所 ( 普通合伙 ) 51212 代理人 朱月仙 (54) 发明名称 基于复合运动和自适应非局部先验的超分辨 率重建方法 (57) 摘要 本发明提供一种基于复合运。
2、动和自适应非 局部先验的超分辨率重建方法， 包括如下步骤 ： 在 p 幅低分辨率图像中选取参考帧图像和非参考 帧图像 ； 采用全局运动参数和局部光流的方法进 行图像配准， 得到非参考帧图像相对于参考帧图 像的运动场 mk(x)， 利用 mk(x) 构建出运动变换矩 阵 Mk； 计算参考帧图像的插值图像、 非局部先验 参数 hi， j和欧式阈值 ； 计算每个像素与其他像素 的相似度权重 wNLMi， j ； s， t， 利用 wNLM构建关于 高分辨率图像 X 的非局部权重矩阵 S ； 利用运动 变换矩阵 Mk和非局部权重矩阵 S 求解目标泛函 得到重建的 高分辨率估计图像。 相对于现有技术， 。
3、本发明通过 采用复合运动模型， 有效地解决了目前运动估计 的计算量大， 可伸缩性不强、 精度不高的缺点， 采 用自适应的非局部先验减少了重建图像的失真。 (51)Int.Cl. 权利要求书 4 页 说明书 10 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书10页 附图3页 (10)申请公布号 CN 103824273 A CN 103824273 A 1/4 页 2 1. 一种基于复合运动和自适应非局部先验的超分辨率重建方法， 高分辨率图像 X 经过 降质过程获取 p 幅低分辨率观测图像 Yk(k 1， p)， 每幅观测图像的大小为 mn。
4、， 其特 征在于， 所述利用 p 幅低分辨率观测图像 Yk(k 1， p) 重建高分辨率估计图像的超分 辨率重建方法包括如下步骤 ： (1) 在 p 幅低分辨率观测图像中选取参考帧图像 Yref(1 ref p) 和非参考帧图像 Yk(k 1， ref-1， ref+1， p)， 针对参考帧图像和非参考帧图像之间的亚像素运动采 用全局参数运动和局部光流的复合运动模型， 参考帧图像与非参考帧图像之间的关系表示 为 ： 其中 mk表示二维运动场， 表示全局参数运动， 为局部光流运动， k为全局运动参数，表示用非参考帧 图像预测的参考帧图像， k(x) 表示残差图像 ； (2) 求解全局运动参数 k。
5、 (a0， 1， a2， a3， a4， a5) 和局部光流 采用全局运动参 数 k (a0， a1， a2， a3， a4， a5) 和局部光流的方法进行图像配准， 得到非参考帧图像 相对于参考帧图像的运动场 mk(x)， 利用 mk(x) 构建出运动变换矩阵 Mk； (3) 计算参考帧图像 Yref的 r 倍插值图像 X、 非局部先验参数 hi， j(0 i0， 采用共轭梯度迭代法最小化目标泛函， 得到重建的高 分辨率估计图像。 2. 根据权利要求 1 所述的基于复合运动和自适应非局部先验的超分辨率重建方法， 其 特征在于 ： 所述步骤 (1) 针对参考帧图像和非参考帧图像之间的亚像素运动。
6、采用全局参数 运动和局部光流的复合运动模型， 其中运动向量为 mk(x) mk， u(x)mk， v(x)， x xuxv， 二 维运动场 mk表示为其中表示全局参数运动， 为局部光流运动， k为全局运动参数。 3. 根据权利要求 1 所述的基于复合运动和自适应非局部先验的超分辨率重建方法， 其 特征在于 ： 所述步骤 (2) 求解全局运动参数 k (a0， a1， a2， a3， a4， a5) 包括如下步骤 ： (21A) 采用 a0， a1， a2， a3， a4， a5六个参数的仿射变换作为全局参数运动模型 ： (22A)建立最小二乘标准求解全局运动参数k(a0， 权 利 要 求 书 。
7、CN 103824273 A 2 2/4 页 3 a1， a2， a3， a4， a5)。 4. 根据权利要求 3 所述的基于复合运动和自适应非局部先验的超分辨率重建方法， 其 特征在于 ： 所述步骤 (22A) 建立最小二乘标准 求解全局运 动参数 k (a0， a1， a2， a3， a4， a5) 包括 如下步骤 ： (221A) 将 k写成 k+ ； (222A) 对最小二乘目标泛函进行泰勒展开得到关于 的线性函数 ； (223A) 对展开后的函数进行一系列运算操作得到 其中 (224A)判断是否符合|e， 阈值00.01， 若不符合， 则kk+， 并返回步骤 (223A) ； 若符合。
8、， 则表明参数 k收敛， 停止迭代， 得到全局运动参数 k (a0， a1， a2， a3， a4， a5)， 最后可以得到全局参数运动。 5. 根据权利要求 1 所述的基于复合运动和自适应非局部先验的超分辨率重建方法， 其 特征在于 ： 所述步骤 (2) 求解局部光流包括如下步骤 ： (21B) 利用图像灰度恒常性假设和图像梯度恒常 性假设得到关于局部光流的数据置信度能量函数 其中， 函数 其中 00 为正则化参数 ； (24B) 采用非线性数值求解方法对整个能量函数 E(u， v) EData+ESmooth求最优值便 得到局部光流的解。 6. 根据权利要求 5 所述的基于复合运动和自适应。
9、非局部先验的超分辨率重建方法， 其 特征在于 ： 所述步骤 (2) 利用 mk(x) 构建出运动变换矩阵 Mk包含如下步骤 ： (21C)计算非参考帧图像相对于参考帧图像的运动场mk(x)mkg(x)+mkl(x)， 并将运动 场 mk(x) 进行 r 倍线性插值， 得到插值后的运动场 mk(x)， 所述 r 为最终重建的高清图像的 权 利 要 求 书 CN 103824273 A 3 3/4 页 4 放大倍数 ； (22C) 计算相对位移 xk mk(x)-x (xk， u-xk， v)， 以及 dk xk， u-floor(xk， u)， ek xk， v-floor(xk， v)， 其中。
10、操作符 floor(.) 表示取小于或者等于指定值的最大整 数 ； (23C) 计 算 运 动 变 换 矩 阵 Mk中 的 每 个 元 素 的 值 ： Mk(j*m+i， floor(xk， u)+xu+ceil(xk， v+xv+1)*m) dk*(1-ek)， Mk(j*m+i， ceil(xk， u)+xu+ceil(xk， v+xv+1)*m) dk*ek， Mk(j*m+i， floor(xk， u)+xu+floor(xk， v+xv+1)*m) (1-dk)*(1-ek)， Mk(j*m+i， ceil(xk， u)+xu+floor(xk， v+xv+1)*m+x) (1-dk。
11、)*ek， 其中操作符 ceil(.) 表示取大于 或者等于指定值的最小整数， 对于矩阵 Mk的第 j*m+i 行中的除这四列以外的其他元素值为 零。 7. 根据权利要求 1 所述的基于复合运动和自适应非局部先验的超分辨 率重建方 法， 其特征在于 ： 所述步骤 (3) 计算非局部先验参数 hi， j， 其中 std(Ni， j) 是以像素点 (i， j) 为中心， 搜索区域为 Ni， j的标准差， 为大于零 的常数 (10 是高斯核函数的标准差， hi， j为滤波器平滑参数， 依赖于图像的噪声大小 以及图像本身， f 为依赖 于两个中心像素点的几何距离的常函数 ； (42) 归 一 化 像 。
12、素 (i， j) 与 邻 域 N(i， j) 内 的 所 有 像 素 相 似 度 值， 权 利 要 求 书 CN 103824273 A 4 4/4 页 5 (43) 构建非局部权重矩阵 10. 根据权利要求 1 所述的基于复合运动和自适应非局部先验的超分辨率重建方法， 其特征在于 ： 所述步骤 (5) 中当时， 迭代终止， 其中 n 为迭代次 数。 权 利 要 求 书 CN 103824273 A 5 1/10 页 6 基于复合运动和自适应非局部先验的超分辨率重建方法 技术领域 0001 本发明涉及图像处理、 计算机视觉的技术领域， 特别是涉及图像清晰化领域中的 一种提高图像的空间分辨率的基。
13、于复合运动和自适应非局部先验的超分辨图像重建方法。 背景技术 0002 在成像领域中， 高空间分辨率的图像一直是追求的目标之一。高空间分辨率的图 像充分地记录了物体的细节信息， 能够给人和计算机的推理、 判断、 决策提供更加丰富的信 息。因此， 在许多成像应用中， 高分辨率的图像通常是非常必要的， 比如 ： 视频监控、 医学诊 断、 军事侦察、 遥感等应用。提高图像的空间分辨率可以通过两种途径，“硬件途径” 和 “软 件途径” 。常规情况下， 人们主要通过改进高精度的 CCD 和 CMOS 传感器等硬件设备来获取 高分辨的图像。 但是， 单纯地通过改进硬件设施来提高分辨率会受到诸多限制， 比如。
14、传感器 的电荷转移率、 热噪声， 光学镜头的瑞利熵， 以及硬件费用等限制。 因此， 出于硬件设备和经 济上的考虑，“软件途径” 成为了一种更加可行的方案。1984 年 Tsai 和 Huang 首先提出超 分辨重建问题便是从 “软件途径” ， 通过发展理论、 算法来提高图像的空间分辨率， 已成为图 像处理领域最为活跃的研究方向之一。近年来， 一些学者将超分辨率重建分为基于多帧的 超分辨率重建和基于学习的超分辨率重建。本发明是一种基于多帧的超分辨重建方法。 0003 对基于多帧的超分辨率重建又可以分为基于频域和基于空域的重建方法。 最新的 基于频域的重建方法是1999年Rhee和Kang提出的基。
15、于离散余弦变换重建方法， 以及Chan 在 2003 年提出的基于小波变换的重建方法。基于频域的重建方法优势是理论简洁、 计算 简单， 但劣势在于多帧之间的相对运动只能是全局相似运动， 且只适用于图像的模糊是线 性时不变的情况。因此针对这些劣势， 基于空域的重建方法产生了许多经典的超分辨重建 方法， 如非均匀内插法、 迭代反投影法、 凸集投影法、 最大似然法、 最大后验法、 混合最大后 验凸集投影法。本发明是一种基于最大后验估计的重建方法。 0004 在基于最大后验的估计方法中， 运动估计和先验项设计是两项非常重要的任务。 在大多数情况下， 图像超分辨率所需的运动矢量为未知， 为了求解这些运动。
16、矢量， 可以有两 种思路 ： 一种思路是先求解这些运动矢量然后再进行超分辨率重建， 虽然这种分开求解的 方式计算非常简单， 但是都各自存在着很大的局限性 ； 另一种思路是运动矢量和超分辨图 像进行联合求解， 这类方法比单独分开求解方法的运动估计精确， 重建效果好， 但缺点是求 解速度慢， 很难用于实际应用。 针对运动矢量的估计， 又可分为基于参数模型的和基于光流 的运动估计。 基于参数模型的运动估计比较简单， 但伸缩性低 ； 而基于光流的运动估计伸缩 性高， 但估计精度低， 重建效果不理想。为此， 本发明基于分开求解运动矢量和超分辨图像 的思路， 提出了一种具有很高伸缩性和估计精度的、 低运算。
17、量的复合运动模型。 0005 针对先验项， 也即正则项设计， 国内外文献中已经提出了许多先验项， 包括 Tikhonov 先验、 Huber 先验、 TV 先验、 BTV 先验等。这些先验都是基于图像邻域差分进行描 述的， 未能准确地描述出自然图像的先验信息， 导致重建图像失真。最近， 基于自然图像中 存在着大量冗余重复的图像结构的事实， 国际上提出了一种非局部先验， 并成功应用于图 说 明 书 CN 103824273 A 6 2/10 页 7 像反卷积。 但是， 由于非局部先验中存在做许多需要人为调节的参数， 不能做到参数的自适 应。 发明内容 0006 针对现有技术存在的问题， 本发明的。
18、主要目的在于提供一种降低计算量、 提高图 像精度的基于复合运动和自适应非局部先验的超分辨率重建方法。 0007 为实现上述目的， 本发明提供了一种基于复合运动和自适应非局部先验的超分 辨率重建方法的实施例， 高分辨率图像 X 经过降质过程获取 p 幅低分辨率观测图像 Yk(k ， p)， 每幅观测图像的大小为 mn， 该利用 p 幅低分辨率观测图像 Yk(k 1， p) 重建高分辨率估计图像的超分辨率重建方法包括如下步骤 (1) 至步骤 (5) ： 0008 (1) 在 p 幅低分辨率观测图像中选取参考帧图像 Yref(1 ref p) 和非参考帧图 像 Yk(k 1， ref-1， ref+。
19、1， p)， 针对参考帧图像和非参考帧图像之间的亚像素运 动采用全局参数运动和局部光流的复合运动模型， 参考帧图像与非参考帧图像之间的关系 表示为 ：其中 mk表示二维运动场， 表示全局参数运动， 为局部光流运动， k为全局运动参数，表示用非参考 帧图像预测的参考帧图像， k(x) 表示残差图像 ； 0009 (2) 求解全局运动参数 k (a0， a1， a2， a3， a4， a5) 和局部光流， 采用全局运 动参数 k (a0， a1， 2， a3， a4， a5) 和局部光流 的方法进行图像配准， 得到非参考帧图 像相对于参考帧图像的运动场 mk(x)， 利用 mk(x) 构建出运动变。
20、换矩阵 Mk； 0010 (3) 计算参考帧图像 Yref的 r 倍插值图像、 非局部先验参数 i， j(0 i0 为正则化参数 ； 0021 (24B) 采用非线性数值求解方法对整个能量函数 E(u， v) EData+ESmooth求最优 值便得到局部光流的解。 0022 更进一步地， 该步骤 (2) 利用 mk(x) 构建出运动变换矩阵 Mk包含如下步骤 (21C) 至步骤 (23C) ： 0023 (21C)计算非参考帧图像相对于参考帧图像的运动场mk(x)mkg(x)+mkl(x)， 并将 运动场 mk(x) 进行 r 倍线性插值， 得到插值后的运动场 mk(x)， 该 r 为最终重。
21、建的高清图像 的放大倍数 ； 说 明 书 CN 103824273 A 8 4/10 页 9 0024 (22C) 计 算 相 对 位 移 xk mk(x)-x (xk， u-xk， v)，以 及 dk xk， u-floor(xk， u)， ek xk， v-floor(xk， v)， 其中操作符 floor(.) 表示取小于或者等于指 定值的最大整数 ； 0025 (23C) 计 算 运 动 变 换 矩 阵 Mk中 的 每 个 元 素 的 值 ： Mk(j*m+i， floor(Jxk， u)+xu+ceil(Jxk， v+xv+1)*m) dk*(1-ek)， Mk(j*m+i， cei。
22、l(xk， u)+xu+ceil(xk， v+xv+1)*m) dk*ek， Mk(j*m+i， floor(xk， u)+xu+floor(xk， v+xv+1)*m) (1-dk)*(1-ek)， Mk(j*m+i， ceil(Jxk， u)+xu+floor(Jxk， v+xv+1)*m+x) (1-dk)*ek， 其中操作符 ceil(.) 表示取大于或者 等于指定值的最小整数， 对于矩阵 Mk的第 j*m+i 行中的除这四列以外的其他元素值为零。 0026 更进一步地， 该步骤 (3) 计算非局部先验参数 hi， j， 其中 std(Ni， j) 是以像素点 (i， j) 为中心， 。
23、搜索区域为 Ni， j的标准差， 为大于零 的常数 (10 是高斯核函数的标准差， hi， j为滤波器平滑参数， 依赖于图像的噪声大小 以及图像本身， f 为依赖于两个中心像素点的几何距离的常函数 ； 0030 (42) 归 一 化 像 素 (i， j) 与 邻 域 N(i， j) 内 的 所 有 像 素 相 似 度 值， 说 明 书 CN 103824273 A 9 5/10 页 10 0031 (43) 构建非局部权重矩阵 0032 更进一步地， 该步骤 (5) 中当时， 迭代终止， 其中 n 为 迭代次数。 0033 相对于现有技术， 首先， 本发明首次将非局部先验应用于图像的多帧超分辨。
24、率重 建， 提出了一种非局部先验的参数自适应求解方法 ； 其次， 通过采用复合运动模型， 有效地 解决了目前运动估计的计算量大， 可伸缩性不强、 精度不高的缺点 ； 再次， 采用自适应的非 局部先验更能准确地自动地描述图像的先验信息， 减少了重建图像的失真。 为此， 该方法做 到了可伸缩的高精度的运动估计和准确的自适应的先验描述， 能够更有效地应用于实际的 图像特征清晰化工程。 附图说明 0034 图 1 为本发明的基于复合运动和自适应非局部先验的超分辨率重建方法的实施 例的流程图 0035 图 2 为本发明的求解全局运动参数 k (a0， a1， a2， a3， a4， a5) 的实施例的流。
25、程图 0036 图 3 为本发明的求解局部光流的实施例的流程图 具体实施方式 0037 下面结合附图， 详细说明本发明的具体实施方式。 0038 图像的超分辨率重建， 即将观测图像恢复成理想图像。观测图像即一系列的低分 辨率图像， 理想图像即所求的高分辨率图像。给定一定场景的高分辨率图像 X， 经过一系 列几何运动、 光学模糊、 亚采样以及附加噪声的降质过程， 产生 P 幅低分辨率观测图像 Yk， 用一个常用的图像观测模型描述理想图像与观测图像之间的关系， 此观测模型为 ： Yk DBkMkX+nk， k 1， p， 其中 Mk为运动变化矩阵， Bk为模糊矩阵， D 为下采样矩阵， nk为附 。
26、加噪声。 0039 基 于 上 述 观 测 模 型， 本 发 明 采 用 最 大 后 验 方 法 对 理 想 图 像 X 进 行 估 计。p 幅 低 分 辨 率 图 像 表 示 为 Y Y1T， Y2T， ， YpTT， 基 于 最 大 后 验 估 计 理 论 的超分辨重建问题表示为 ： X argmaxP(X|Y)， 经过简单的运算操作， 可以得到 ： 此处 P(Yk|X) P(nk) 表示了观测模型噪声的类型， 通常的假设噪声是均值为 0， 方差为 k2的高斯噪 声，即其 中 C1为 常 数。 图 像 先 验 概 率 密 度 一 般 形 式 为 ：其 中 C2为 常 数， 为 控 制 参 。
27、数， U(X) 为 关于图像 X 的先验能量函数。经过简单的化简， 最终可以得到如下的代价函数 ： 其中在此， 本发明假设图像的模糊核 说 明 书 CN 103824273 A 10 6/10 页 11 已知， 也即模糊矩阵 Bk已知。 0040 根据可知， 要获得理想图像 X， 需要求解 运动变换矩阵 Mk和先验能量 U(X)， 即图像配准和自适应非局部先验设计。最终采用常用的 共轭梯度法对目标泛函进行求解获得理想图像 X。 0041 因此， 本发明主要包括 ： (1) 在多帧低分辨率图像配准时采用全局运动参数加局 部光流的方法进行图像配准， 并构建运动变换矩阵 Mk； (2) 设计自适应非。
28、局部先验， 构建非 局部权重矩阵 S ； (3) 建立目标泛函， 并采用共轭梯度法进行求解。 0042 如图 1 所示， 为本发明的基于复合运动和自适应非局部先验的超分辨率重建方法 的实施例的流程图。超分辨率重建方法的实施例包括如下步骤 S1 至步骤 S8 ： 0043 S1、 获取p幅由高分辨率图X经过降质过程形成的低分辨率观测图像Yk， 每幅观测 图像的大小为 mn。得到图像观察模型 Yk DBkMkX+nk， k 1， p， 其中 Mk为运动变化 矩阵， Bk为模糊矩阵， D 为下采样矩阵， nk为附加噪声， X 为高分辨率图像， k 为获取的 p 幅 低分辨率图像的编号。 0044 S。
29、2、 在 p 幅低分辨率图像中选取参考帧图像 Yref(1 ref p) 和非参考帧图 像 Yk(k 1， ref-1， ref+1， p)， 针对参考帧图像和非参考帧图像之间的亚像素 运动采用全局参数运动加局部光流的复合运动模型， 参考帧图像与非参考帧图像之间的 关系表示为 ：其中 mk表示二维运 动场， 表示全局参数运动， 为局部光流运动， 也即非参数局部补偿运动， k为全局运 动参数，表示用非参考帧图像预测的参考帧图像， k(x) 表示残差图像。在 全局参数运动和局部光流的复合运动模型中， 运动向量为 mk(x) mk， u(x)mk， v(x)， 估 计此运动向量的目的是用来构建运动变。
30、换矩阵 Mk， 其中 x=xuxv， 二维运动场 mk表示为 其中表示全局参数运动， 为局部光流运动， k为全局运动参数。 0045 s3、 求解全局运动参数 k (a0， a1， a2， a3， a4， a5) 和局部光流采用全局运 动参数 k (a0， a1， a2， a3， a4， a5) 和局部光流的方法进行图像配准， 得到非参考帧图 像相对于参考帧图像的运动场 mk(x)， 利用 mk(x) 构建出运动变换矩阵 Mk： 0046 求 解 全 局 运 动 参 数 k。(a0， a1， a2， a3， a4， a5) 时， 首 先 建 立 最 小 二 乘 标 准其中 然后将 k 写 成 。
31、k+，以 增 量 的 方 式 求 解 k，也 即 k k+。 对 最 小 二 乘 目 标 泛 函 进 行 泰 勒 展 开 得 到 关 于 的 线 性 函 数， 对 展 开 后 的 函 数 进 行 一 系 说 明 书 CN 103824273 A 11 7/10 页 12 列 运 算 操 作 得 到其 中 当 运 动 参 数 增 量 小 于 某 个 阈 值 的 时 候 (0E0.01)， 也即|， 参数k收敛， 停止迭代， 得到全局运动参数k。 (a0， a1， a2， a3， a4， a5)， 最后可以得到全局参数运动否则更新 k， 也即 k k+， 并 重新计算 。 0047 求 解 局 部。
32、 光 流时，首 先 利 用 图 像 灰 度 恒 常 性 假 设 和 图 像 梯 度 恒 常 性 假 设 得 到 关 于 局 部 光 流的 数 据 置 信 度 能 量 函 数 其中， 函数 00 为正则化参数。采用非线性数值求解方法对整个能量函数求最优值便得到局部光流 的解。 0048 最终得到非参考帧图像相对于参考帧图像的运动场 mk(x) mkg(x)+mkl(x)， 并以 此构建运动变换矩阵Mk。 首先将运动场mk(x)进行r倍(最终重建的高清图像的放大倍数) 线性插值， 得到插值后的运动场 mk(x)。然后计算相对位移 xk mk(x)-x (xk， u-xk， v)， 以及 dk xk。
33、， u-floor(xk， u)， ek xk， v-floor(xk， v)， 其中操作符 foor(.) 表示取 小于或者等于指定值的最大整数。 最后计算运动变换矩阵Mk中的每个元素的值 ： Mk(j*m+i， floor(xk， u)+xu+ceil(xk， v+xv+1)*m) dk*1-ek)， MK(j*m+i， ceil(xk,u)+zu+ceil(xk， v+xv+1)*m) dk*ek， Mk(j*m+i， floor(xk， u)+xu+floor(xk， v+xv+1)*m) (1-dk)*(1-ek)， Mk(j*m+i， ceil(xk， u)+xu+floor(xk。
34、， v+xv+1)*m+x) (1-dk)*ek， 其中操作符 ceil(.) 表 示取大于或者等于指定值的最小整数， 对于矩阵 Mk的第 j*m+i 行中的除这四列以外的其他 元素值为零。 0049 步骤 S2、 S3 完成了图像配准和运动矩阵 Mk的构建。 0050 S4、 计算参考帧图像 Yref的 r 倍双三次插值图像 、 非局部先验平滑参数 hi， j和相 似图像的欧式阈值。由于理想图像 X 事先未知， 非局部权重矩阵便根据低分辨率的参考帧 图像 Yref的插值图像估计得到。因此， 平滑参数 hi， j是一个关于参考帧图像 Yref的噪声、 图像数据本身、 下采样倍数的函数。其中st。
35、d(Ni， j)是以像素点(i， j) 为中心， 搜索区域为 Ni， j的标准差， 为大于零的常数 (10 是高斯核函数的标准 差， hi， j为滤波器平滑参数， 依赖于图像的噪声大小以及图像本身， f 为依赖于两个中 心像素点的几何距离的常函数 ( 单调不增函数 ) ； 归一化像素 (i， j) 与邻域 N(i， j) 内 的所有像素相似度值，最终构建非局部权重矩阵 0052 步骤 S4、 S5 完成了非局部先验参数的自适应求解和非局部权重矩阵的 S 构建。 0053 S6、利 用 运 动 变 换 矩 阵 Mk和 非 局 部 权 重 矩 阵 S 求 解 目 标 泛 函 其中 0。采用共轭梯度。
36、迭代法最小 化目标泛函 ； 0054 S7、 判断是否符合迭代终止条件 ：其中 n 为迭代次 数， 若不符合， 则返回步骤 S6， 若符合， 则表明解收敛， 迭代终止， 则进入步骤 S8 ； 0055 S8、 得到重建的高分辨率估计图像。 0056 步骤 S6 至步骤 S8 完成了求解目标泛函。 0057 如图 2 所示， 为本发明的求解全局运动参数 k (a0， a1， a2， a3， a4， a5) 的实施例 的流程图， 包括如下步骤 S31A 至步骤 S32A ： 0058 S31A、 采用 a0， a1， a2， a3， a4， a5六个参数的仿射变换作为全局参数运动模型 ： 说 明 。
37、书 CN 103824273 A 13 9/10 页 14 0059 S32A、 建立最小二乘标准求解全局运动参数 k (a0， a1， a2， a3， a4， a5)， 包括如下步骤 S321A 至步骤 S324A ： 0060 S321A、由 于 最 小 二 乘 目 标 泛 函 关 于 k是 非 线 性 的 需 将 k写 成 k+ 的 形 式，采 用 增 量 迭 代 方 式 求 解 k，也 即 k k+。 并 对 最 小 二 乘 目 标 泛 函 进 行 泰 勒 展 开 得 到 关 于 的 线 性 函 数 ； S322A、 对 展 开 后 的 函 数 进 行 运 算 操 作 得 到 其中 0。
38、061 S323A、 判 断 是 否 符 合 | ， 阈 值 0 0.01， 若 不 符 合， 则 k k+， 并返回步骤 S322A， 若符合， 则表明参数 收敛， 停止迭代， 进入步骤 S324A ； S324A、 得到全局运动参数 k (a0， a1， a2， a3， a4， a5)。 0062 如图 3所示， 为本发明的求解局部光流的实施例的流程图。在得到全局运动 参数 (a0， a1， a2， a3， a4， a5)， 也即全局运动场后， 如果仿射运动已经可以很好地近似物 体的运动模型， 此时便可以省略对运动场进行补偿的局部光流场的求解。但如果全局仿射 模型未能精确地近似整个运动场，。
39、 便需要求解局部光流场。 然而， 已经求解的全局参数运动 场已经在很大程度上接近整体运动场， 有助于接下来的局部光流场的求解， 使得求解的局 部光流场更加精确。这就体现了本发明提出的复合运动模型的良好的可伸缩性、 高精度的 运动估计、 以及低的运算量。为了求得局部光流的解， 本发明利用 Thomas Brox 提出 的光流求解法。Thomas Brox 光流求解法主要基于三个假设 ： 图像灰度恒常性假设、 图像梯 度恒常性假设、 图像分段平滑性假设。 0063 求解局部光流包括如下步骤 S31B 至 S34B ： 0064 S31B、 利 用 图 像 灰 度 恒 常 性 假 设 和 图 像 梯。
40、 度 恒 常 性 假 设 得 到 关 于 局 部 光 流的 数 据 置 信 度 能 量 函 数 其中， 函数 00 为正则化参数 ； 说 明 书 CN 103824273 A 14 10/10 页 15 0067 S34B、 采用非线性数值求解方法对整个能量函数求最优值便得到局部光流 的解。 0068 以上介绍了一种基于复合运动和自适应非局部先验的超分辨率重建方法。 本发明 并不限定于以上实施例， 任何未脱离本发明技术方案， 即仅仅对其进行本领域普通技术人 员所知悉的改进或变更， 均属于本发明的保护范围之内。 说 明 书 CN 103824273 A 15 1/3 页 16 图 1 说 明 书 附 图 CN 103824273 A 16 2/3 页 17 图 2 说 明 书 附 图 CN 103824273 A 17 3/3 页 18 图 3 说 明 书 附 图 CN 103824273 A 18 。