基于多层支持向量回归机模型的图像超分辨重建方法.pdf

本发明公开了一种基于多层支持向量回归机模型的图像超分辨重建方法，主要解决现有超分辨方法存在丢失高频信息、产生振铃效应等问题。其实现步骤是：（1）分别创建训练样本库和测试样本库；（2）建立训练样本的第一层支持向量回归机模型；（3）预测高分辨亮度初始图像和初始训练图像；（4）计算初始训练图像的差值训练图像；（5）建立差值训练图像的第二层支持向量回归机模型；（6）预测高分辨亮度差值图像；（7）将高分辨亮度初始图像与高分辨亮度差值图像相加得到高分辨亮度图像。本发明重建的图像具有边缘清晰、纹理丰富、更逼近真实图像的优点，可用于视频监控、高清晰电视HDTV成像。

权利要求书
1.  一种基于多层支持向量回归机模型的图像超分辨重建方法，包括：
（1）创建高分辨亮度图像和低分辨亮度图像训练样本库；
（2）创建低分辨亮度图像测试样本库；
（3）使用横向边缘矩阵A=-10+1-20+2-10+1]]>和纵向边缘矩阵B=+1+2+1000-1-2-1]]>组成索贝尔算子；
（4）用索贝尔算子更新样本库；
（4a）更新训练样本库：
（4a1）将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2，将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测图像UX，将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边缘训练图像I3；
（4a2）将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得到低分辨纵向边缘检测图像UY，将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4；
（4a3）将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算，得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5；
（4a4）将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ＝{I1,I2,I3,I4,I5}；
（4b）更新测试样本库：
（4b1）将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测测试图像DX，将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2；
（4b2）将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得到低分辨纵向边缘检测测试图像DY，将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3；
（4b3）将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算，得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4；
（4b4）将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj＝{H1,H2,H3,H4},j＝1,...,k，其中k为测试样本库中的低分辨亮度测试图像H1的个数。
（5）取步骤（4）中的训练样本ψ＝{I1,I2,I3,I4,I5}，分别建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3；
（6）将水平边缘训练图像I3作为第一层水平边缘支持向量回归机模型G1的输入，得到初始水平边缘高分辨亮度训练图像Y1；将垂直边缘训练图像I4作为第一层垂直边缘支持向量回归机模型G2的输入，得到垂直边缘高分辨亮度训练图像Y2；将非边缘训练图像I5作为第一层非边缘支持向量回归机模型G3的输入，得到初始非边缘高分辨亮度训练图像Y3；初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算，得到初始高分辨亮度训练图像Y；
（7）将步骤（4）中高分辨亮度训练图像I1与步骤（6）得到的初始高分辨亮度训练图像Y进行矩阵减运算，得到差值训练图像Q；
（8）取步骤（4）中的训练样本ψ＝{I1,I2,I3,I4,I5}和步骤（7）中的差值训练图像Q，分别建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3；
（9）取步骤（4）中一组测试样本Φ1＝{H1,H2,H3,H4}，将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度测试图像P1；将垂直边缘测试图像H3作为第一层垂直边缘支持向量回归机模型G2的输入，得到垂直边缘高分辨亮度测试图像P2；将非边缘测试图像H4作为第一层非边缘支持向量回归机模型G3的输入，得到非边缘高分辨亮度测试图像P3；
（10）将水平边缘高分辨亮度测试图像P1、垂直边缘高分辨亮度测试图像P2和非边缘高分辨亮度测试图像P3进行矩阵加运算，得到初始高分辨亮度测试图像P；
（11）取步骤（4）中一组测试样本Φ1＝{H1,H2,H3,H4}，将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入，得到水平边缘高分辨亮度测试图像将垂直边缘测试图像H3作为第二层垂直边缘支持向量回归机模型B2的输入，得到垂直边缘高分辨亮度测试图像将非边缘测试图像H4作为第二层非边缘支持向量回归机模型B3的输入，得到非边缘高分辨亮度测试图像
（12）将水平边缘高分辨亮度测试图像垂直边缘高分辨亮度测试图像和非边缘高分辨亮度测试图像进行矩阵加运算，得到差值测试图像
（13）更新测试低分辨图像的高分辨亮度图像，即将初始高分辨亮度测试图像P和差值测试图像进行矩阵加运算，得到高分辨亮度图像Z。

2.  根据权利要求1所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中所述步骤（5）中建立水平边缘训练图像I3与高分辨亮度训练图像I1之间映射关系的第一层水平边缘支持向量回归机模型G1，按如下步骤进行：
（5a）将水平边缘训练图像I3中像素值不为零的像素点组成水平训练点集Ω；
（5b）根据水平训练点集Ω中每个像素点在水平边缘训练图像I3中所处的位置找到低分辨亮度训练图像I2中对应位置的像素点组成集合，得到低分辨训练点集Ψ，再以低分辨训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I2中得到大小为3×3的子区域，将每个子区域拉成九列的行向量αi，其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，得到一组行向量α1,…,αi,i＝1,…,n，并将向量组α1,…,αi,i＝1,…,n排成水平训练矩阵
（5c）将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I1中的2×2子区域，并将每个2×2子区域拉成列向量γi，其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，得到一组列向量γ1，…，γii，＝1，…，并将列向量组γ1，…，γi，i＝1，…，n排成低分辨训练矩阵
（5d）对行向量αi中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值向量ω1、右上角权值向量ω2、左下角权值向量ω3和右下角权值向量ω4；将每个空间位置权值行向量ωj扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵W1、右上角权值矩阵W2、左下角权值矩阵W3和右下角权值矩阵W4；
（5e）将低分辨亮度训练图像I2进行非线性变换，得到在高维特征空间中的低分辨数据集Χ，再利用非线性支持向量回归机拟合函数f(x)对低分辨数据集Χ和高分辨率训练图像I1进行回归计算，得到超参数集θ：
（5e1）取低分辨训练矩阵R的第j行向量μj，其中j＝1,…,4，将行向量μj作为非线性支持向量回归机拟合函数输出；将水平训练矩阵A与权值矩阵Wj进行矩阵点乘得到训练矩阵Mj，将该训练矩阵Mj作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数θj；
（5f）根据j的取值情况，利用超参数θj建立相应的第一层水平边缘支持向量回归机模型G1：
当j＝1时，将超参数θ1代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f1′(x)，将该拟合函数f1′(x)记为2×2区域的左上角第一层水平边缘支持向量回归机模型G11；
当j＝2时，将超参数θ2代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f2′(x)，将该拟合函数f2′(x)记为2×2区域的右上角第一层水平边缘支持向量回归机模型G12；
当j＝3时，将超参数θ3代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f3′(x)，将该拟合函数f3′(x)记为2×2区域的左下角第一层水平边缘支持向量回归机模型G13；
当j＝4时，将超参数θ4代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f4′(x)，将该拟合函数f4′(x)记为2×2区域的右下角第一层水平边缘支持向量回归机模型G14；
将左上角第一层水平边缘支持向量回归机模型G11、右上角第一层水平边缘支持向量回归机模型G12、左下角第一层水平边缘支持向量回归机模型G13和右下角第一层水平边缘支持向量回归机模型G14组成集合，得到第一层水平边缘支持向量回归机模型G1＝{G11,G12,G13,G14}。

3.  根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤（6）所述的将水平边缘图像I3作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度图像Y1，按如下步骤进行：
（6a）取第一层水平边缘支持向量回归机模型G1＝{G11,G12,G13,G14}的左上角第一层水平边缘支持向量回归机模型G11，将训练矩阵M1作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归机计算，得到左上角矩阵Τtl；
（6b）按照计算左上角矩阵Τtl的方法，分别计算右上角矩阵Ttr、左下角矩阵Tbl和 右下角矩阵Τbr；
（6c）将左上角矩阵Τtl、右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr结合成一个大矩阵，得到水平边缘高分辨亮度图像Y1。

4.  根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤（8）所述的建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1，按如下步骤进行：
（8a）将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q，得到大小为2×2的子区域，将每个2×2子区域拉成列向量其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，得到一组列向量并将列向量组γ~1,...,γ~i,i=1,...,n]]>排成差值训练矩阵
（8b）对行向量αi中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值向量右上角权值向量左下角权值向量和右下角权值向量将每个空间位置权值行向量扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵右上角权值矩阵左下角权值矩阵和右下角权值矩阵
（8c）建立第二层水平边缘支持向量回归机模型B1：
（8c1）取差值训练矩阵的第j行向量其中j＝1,…,4，将行向量作为非线性支持向量回归机拟合函数f(x)的输出；将水平训练矩阵A与权值矩阵进行矩阵点乘得到低分辨矩阵将低分辨矩阵作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数
（8c2）根据j的取值情况，利用超参数建立相应的第二层水平边缘支持向量回归机模型B1：
当j＝1时，将超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的左上角第二层水平边缘支持向量回归机模型B11；
当j＝2时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的右上角第二层水平边缘支持向量回归机模型B12；
当j＝3时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新 后的拟合函数将该拟合函数记为2×2区域的左下角第二层水平边缘支持向量回归机模型B13；
当j＝4时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的右下角第二层水平边缘支持向量回归机模型B14；
将左上角第二层水平边缘支持向量回归机模型B11、右上角第二层水平边缘支持向量回归机模型B12、左下角第二层水平边缘支持向量回归机模型B13和右下角第二层水平边缘支持向量回归机模型B14组成集合，得到第二层水平边缘支持向量回归机模型B1＝{B11,B12,B13,B14}。

5.  根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤（9）所述的将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度测试图像P1，按如下步骤进行：
（9a）将水平边缘测试图像H2中像素值不为零的像素点组成水平测试点集Ω*；
（9b）根据水平测试点集Ω*中每个像素点在水平边缘测试图像H2中所处的位置找到低分辨亮度测试图像H1中对应位置的像素点组成集合，得到低分辨测试点集Ψ*，再以低分辨测试点集Ψ*中的每个像素点为中心在低分辨亮度测试图像H1中得到大小为3×3的子区域，将每个子区域拉成行向量其中i＝1,…,n，n为低分辨测试点集Ψ*中像素点的个数，得到一组行向量并将行向量组排成水平测试矩阵
（9c）将水平测试矩阵A*与左上角权值矩阵W1进行矩阵点乘得到测试矩阵Mtl，将测试矩阵Mtl作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归计算，得到左上角矩阵Τ*tl；按照计算左上角矩阵Τ*tl的方法，计算右上角矩阵左下角矩阵和右下角矩阵
（9d）将左上角矩阵Τ*tl、右上角矩阵左下角矩阵和右下角矩阵结合成一个大矩阵，得到水平边缘高分辨亮度测试图像P1。

6.  根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤（11）所述的将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入，得到水平边缘高分辨亮度测试图像按如下步骤进行：
（11a）将水平测试矩阵A*与左上角的权值矩阵进行矩阵点乘得到差值测试矩阵将差值测试矩阵作为左上角第二层水平边缘支持向量回归机模型B11的输入进行支持向量回归计算，得到左上角矩阵按照计算左上角矩阵的方法，分别计算右上角矩阵左下角矩阵和右下角矩阵
（11b）将左上角矩阵右上角矩阵左下角矩阵和右下角矩阵结合成一个大矩阵，得到水平边缘高分辨亮度测试图像

7.  根据权利要求2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤（5e）所述的非线性支持向量回归机拟合函数f(x)，其表达式如下：
f(x)ω·Φ(x)+b=Σi=1n(ai-ai*)K(x,xi)+b;]]>
式中，为输入向量，其中i＝1,2,…,n，n为输入向量的个数，x为输入向量x1,x2,…,xn组成的输入向量集合，Φ(x)是指通过事先确定的非线性映射Φ将输入向量集合x映射到一个高维特征空间中，ω和b是高维空间中线性回归函数的两个待求参数，ai和为两个数值不同的Lagrange乘数，且大于0， K(x,xi)＝Φ(x)·Φ(xi)为核函数矩阵，其中i＝1,2,…,n。

说明书基于多层支持向量回归机模型的图像超分辨重建方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像超分辨重建方法，可用于视频监控、高清晰电视HDTV成像。
背景技术
图像的分辨率是衡量图像质量的一个重要性能指标。随着CCD和CMOS图像传感器的发明，人们获取的图像更加清晰，但是在图像的采集与处理过程中，容易受到天气条件，物理条件，人为等因素的影响，使图像质量下降。提高图像成像设备的硬件条件可以改善图像的质量，但是高密度图像传感器的价格昂贵且从技术水平上改良传感器阵列的性能几乎难以实现。为了满足人们低成本需求同时又能显著提高图像分辨率的要求，超分辨图像重建技术得到推广。
图像超分辨率重建是利用一帧或者多帧低分辨率图像通过相应的图像超分辨率重建算法，获得高分辨率图像。传统的图像超分辨率重建大致可以分为三类：基于插值、基于重构和基于学习的超分辨方法。目前单帧图像超分辨率重建技术主要基于低分辨-高分辨图像对学习一种数据对来实现单帧图像超分辨率重建。基于低分辨-高分辨数据对这类单帧超分辨重建技术也称为基于学习的超分辨重建技术。
基于学习的图像超分辨方法核心在于建立高、低分辨率图像的映射模型，其实现步骤包括构造输入／输出训练集和估计模型参数。Freeman等人在文献Freeman W T,Jones T R，Pasztor E C.“Example-based super-resolution，”IEEE Computer，Graphics and Application,2002，22(2)：56-65.中提出采用马尔科夫网络对高分辨率图像块与低分辨率图像块之间的关系以及相邻的高分辨率图像块之间的关系进行建模，由于其采用的是块-块映射，所以会产生边界效应。Karl等人在文献Karl S N，Truong Q N.“Image super-resolution using support vector regression，”IEEE Trans on Image Processing，2007，16(6)：1596-1610.中提出将去除中心点的低分辨率图像块作为输入，其输出为高分辨图像相应的U×U图像块，其中U为放大因子，采用支持向量回归SVR对输入/输出图像块之间的关系进行建模，形成块-块映射，然后对低分辨测试图像块进行预测得到高分辨率图像块，但该建模忽略了低分辨率图像块中心点的重要作用，使得预测的图像块的高频部分信息缺失，产生边界效应。为此，Dalong Li等人在文献Li Dalong,Simske S.“Example based single-frame image super-resolution by support vector regression，”Journal of Pattern Recognition Research，2010：104-118.中进一步 对基于SVR的超分辨方法进行了改进，其实现步骤是：先将图像进行插值得到插值图像；再将原始高分辨图像与插值图像的相减得到误差图像；然后将插值图像和误差图像进行分块，把插值图像块作为输入，把误差图像块的中心像素作为输出，采用支持向量回归SVR方法对输入图像块与输出像素点之间的关系进行建模，形成块-点映射，最后对插值后的高分辨率测试图像块进行预测，得到误差图像块的中心像素点。这种采用块-点的映射来代替块-块的映射，避免了边界效应，使得图像更为平滑。然而，这种方法的性能要完全依赖于训练样本库，如果样本选择不好，就难于实现较好的图像超分辨重建。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于多层支持向量回归机模型的图像超分辨重建方法，以在任意训练样本库的条件下，实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像的清晰边缘和丰富纹理。
本发明的技术方案是这样实现的：
本发明利用多层SVR模型恢复尽可能多的细节信息，同时，考虑到图像整体结构差异性过大，将图像分为水平边缘部分，垂直边缘部分和非边缘部分进行训练，以利于突出图像的局部特征；在训练数据集的同时，本发明按照像素在图像中所处的空间位置，对SVR模型的输入集进行不同的加权，使得对输出贡献大的输入像素能得到更大的权值。从而实现单帧图像的超分辨重建，得到边缘清晰、纹理丰富的高分辨率图像。
其实现步骤包括如下：
（1）创建高分辨亮度图像和低分辨亮度图像训练样本库；
（2）创建低分辨亮度图像测试样本库；
（3）使用横向边缘矩阵A=-10+1-20+2-10+1]]>和纵向边缘矩阵B=+1+2+1000-1-2-1]]>组成索贝尔算子；
（4）用索贝尔算子更新样本库：
（4a）更新训练样本库：
（4a1）将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2，将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测图像UX，将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边缘训练图像I3；
（4a2）将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得 到低分辨纵向边缘检测图像UY，将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4；
（4a3）将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算，得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5；
（4a4）将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ＝{I1,I2,I3,I4,I5}；
（4b）更新测试样本库：
（4b1）将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测测试图像DX，将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2；
（4b2）将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得到低分辨纵向边缘检测测试图像DY，将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3；
（4b3）将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算，得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4；
（4b4）将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj＝{H1,H2,H3,H4},j＝1,…,k，其中k为测试样本库中的低分辨亮度测试图像H1的个数。
（5）取步骤（4）中的训练样本ψ＝{I1,I2,I3,I4,I5}，分别建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3；
（6）将水平边缘训练图像I3作为第一层水平边缘支持向量回归机模型G1的输入，得到初始水平边缘高分辨亮度训练图像Y1；将垂直边缘训练图像I4作为第一层垂直边缘支持向量回归机模型G2的输入，得到垂直边缘高分辨亮度训练图像Y2；将非边缘训练图像I5作为第一层非边缘支持向量回归机模型G3的输入，得到初始非边缘高分辨亮度训练图像Y3；初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算，得到初始高分辨亮度训练图像Y；
（7）将步骤（4）中高分辨亮度训练图像I1与步骤（6）得到的初始高分辨亮度训练图 像Y进行矩阵减运算，得到差值训练图像Q；
（8）取步骤（4）中的训练样本ψ＝{I1,I2,I3,I4,I5}和步骤（7）中的差值训练图像Q，分别建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3；
（9）取步骤（4）中一组测试样本Φ1＝{H1,H2,H3,H4}，将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度测试图像P1；将垂直边缘测试图像H3作为第一层垂直边缘支持向量回归机模型G2的输入，得到垂直边缘高分辨亮度测试图像P2；将非边缘测试图像H4作为第一层非边缘支持向量回归机模型G3的输入，得到非边缘高分辨亮度测试图像P3；
（10）将水平边缘高分辨亮度测试图像P1、垂直边缘高分辨亮度测试图像P2和非边缘高分辨亮度测试图像P3进行矩阵加运算，得到初始高分辨亮度测试图像P；
（11）取步骤（4）中一组测试样本Φ1＝{H1,H2,H3,H4}，将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型B1的输入，得到水平边缘高分辨亮度测试图像将垂直边缘测试图像H3作为第二层垂直边缘支持向量回归机模型B2的输入，得到垂直边缘高分辨亮度测试图像将非边缘测试图像H4作为第二层非边缘支持向量回归机模型B3的输入，得到非边缘高分辨亮度测试图像
（12）将水平边缘高分辨亮度测试图像垂直边缘高分辨亮度测试图像和非边缘高分辨亮度测试图像进行矩阵加运算，得到差值测试图像
（13）更新测试低分辨图像的高分辨亮度图像，即将初始高分辨亮度测试图像P和差值测试图像进行矩阵加运算，得到高分辨亮度图像Z。
本发明具有以下优点：
1.本发明利用基于支持向量回归使用多层SVR模型来重构图像，使用第一层SVR模型初步估计高分辨图像后，使用下一层SVR模型来估计原始高分辨图像与初步估计图像的差异，采用块-点的映射来代替块-块的映射，避免了边界效应，尽可能多地保留细节信息；
2.本发明将图像分为水平边缘部分，垂直边缘部分和非边缘部分进行训练，更有利于突出图像的局部特征；
3.在训练数据集的同时，本发明按照像素在图像中所处的空间位置，对SVR模型的输入集进行不同程度的加权，来实现单帧图像的超分辨重建，可以恢复更为清晰的边 缘和更为丰富的纹理。
附图说明
图1是本发明的总体流程图；
图2是本发明在仿真实验中使用的3幅高分辨图像；
图3是使用本发明和现有四种方法对鹦鹉图像进行超分辨重建得到的图像；
图4是使用本发明和现有四种方法对花图像进行超分辨重建得到的图像。
具体实施方案
参照图1，本发明的具体实施方式如下：
步骤1，创建高分辨亮度图像和低分辨亮度图像训练样本库。
（1a）从网上随机下载一幅彩色高分辨率自然图像；
（1b）使用matlab中的函数rgb2ycbcr，将高分辨彩色图像从RGB空间映射到YCbCr空间，再从YCbCr空间中获取亮度信号，将亮度信号构成的黑白灰度图像作为高分辨亮度图像，使用高分辨亮度训练图像创建高分辨亮度图像训练样本库；
（1c）将高分辨亮度图像间隔取像素点，得到下采样2倍后的低分辨亮度训练图像，使用低分辨亮度训练图像创建低分辨亮度图像训练样本库。
步骤2，创建低分辨亮度图像测试样本库：
（2a）从网上随机下载多幅彩色高分辨率自然图像；
（2b）将高分辨率图像间隔取像素点，得到下采样2倍后的低分辨彩色图像；
（2c）使用matlab中的函数rgb2ycbcr，将低分辨彩色图像从RGB空间映射到YCbCr空间，再从YCbCr空间中获取亮度信号，将亮度信号构成的黑白灰度图像作为低分辨亮度图像，使用所有的低分辨亮度图像创建低分辨亮度图像测试样本库。
步骤3，使用横向边缘矩阵A=-10+1-20+2-10+1]]>和纵向边缘矩阵B=+1+2+1000-1-2-1]]>组成索贝尔算子。
步骤4，用索贝尔算子更新样本库：
（4a）更新训练样本库：
（4a1）将高分辨亮度训练图像I1下采样2倍得到低分辨亮度训练图像I2，将低分辨亮度训练图像I2与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测图像UX，将低分辨横向边缘检测图像UX与低分辨亮度训练图像I2进行矩阵点乘得到水平边 缘训练图像I3；
（4a2）将低分辨亮度训练图像I2与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得到低分辨纵向边缘检测图像UY，将低分辨横向边缘检测图像UY与低分辨亮度训练图像I2进行矩阵点乘得到垂直边缘训练图像I4；
（4a3）将低分辨亮度训练图像I2与水平边缘训练图像I3进行矩阵减运算，得到的结果再与垂直边缘训练图像I4进行矩阵减运算得到非边缘训练图像I5；
（4a4）将高分辨亮度训练图像I1、低分辨亮度训练图像I2、水平边缘训练图像I3、垂直边缘训练图像I4和非边缘训练图像I5作为训练样本集ψ＝{I1,I2,I3,I4,I5}；
（4b）更新测试样本库：
（4b1）将低分辨亮度测试图像H1与索贝尔算子中的横向边缘矩阵A进行平面卷积，得到低分辨横向边缘检测测试图像DX，将低分辨横向边缘检测图像DX与低分辨亮度测试图像H1进行矩阵点乘得到水平边缘测试图像H2；
（4b2）将低分辨亮度测试图像H1与索贝尔算子中的纵向边缘矩阵B进行平面卷积，得到低分辨纵向边缘检测测试图像DY，将低分辨纵向边缘检测图像DY与低分辨亮度测试图像H1进行矩阵点乘得到垂直边缘测试图像H3；
（4b3）将低分辨亮度测试图像H1与水平边缘测试图像H2进行矩阵减运算，得到的结果再与垂直边缘测试图像H3进行矩阵减运算得到非边缘测试图像H4；
（4b4）将低分辨亮度测试图像H1、水平边缘测试图像H2、垂直边缘测试图像H3和非边缘测试图像H4作为一组测试样本集Φj＝{H1,H2,H3,H4},j＝1,…,k，其中k为测试样本库中的低分辨亮度测试图像H1的个数。
步骤5，根据训练样本ψ＝{I1,I2,I3,I4,I5}，建立第一层支持向量回归机模型，包括建立水平边缘训练图像I3与高分辨亮度图像训练I1之间映射关系的第一层水平边缘支持向量回归机模型G1、垂直边缘训练图像I4与高分辨亮度训练图像I1之间映射关系的第一层垂直边缘支持向量回归机模型G2和非边缘训练图像I5与高分辨亮度训练图像I1之间映射关系的第一层非边缘支持向量回归机模型G3。
（5a）建立第一层水平边缘支持向量回归机模型G1：
（5a1）将水平边缘训练图像I3中像素值不为零的像素点组成水平训练点集Ω；
（5a2）根据水平训练点集Ω中每个像素点在水平边缘训练图像I3中所处的位置找到低分辨亮度训练图像I2中对应位置的像素点组成集合，得到低分辨训练点集Ψ；再以低分辨训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I2中得到大小为3×3的子区域； 再将每个子区域拉成九列的行向量αi，其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，并将行向量组α1,…,αi,i＝1,…,n排成水平训练矩阵其中指向量空间；
（5a3）将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I1中的2×2子区域，并将每个2×2子区域拉成列向量γi，其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，并将列向量组γ1,…,γi,i＝1,…,n排成低分辨训练矩阵
（5a4）对行向量αi中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值向量ω1、右上角权值向量ω2、左下角权值向量ω3和右下角权值向量ω4；将每个空间位置权值行向量ωj扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵W1、右上角权值矩阵W2、左下角权值矩阵W3和右下角权值矩阵W4；
（5a5）定义非线性支持向量回归机拟合函数f(x)为：
f(x)ω·Φ(x)+b=Σi=1n(ai-ai*)K(x,xi)+b;]]>
式中，为输入向量，其中i＝1,2,…,n，n为输入向量的个数，x为输入向量x1,x2,…,xn组成的输入向量集合，Φ(x)是指通过事先确定的非线性映射Φ将输入向量集合x映射到一个高维特征空间中，ω和b是高维空间中线性回归函数的两个待求参数，ai和为两个数值不同的Lagrange乘数，且大于0，K(x,xi)＝Φ(x)·Φ(xi)为核函数矩阵，其中i＝1,2,…,n；
（5a6）利用非线性支持向量回归机拟合函数f(x)，得到超参数集θ：
首先，将低分辨亮度训练图像I2进行非线性变换，得到在高维特征空间中的低分辨数据集Χ；
其次，利用非线性支持向量回归机拟合函数f(x)对低分辨数据集Χ和高分辨率训练图像I1进行回归计算，得到超参数集θ，即取低分辨训练矩阵R的第j行向量μj，其中j＝1,…,4，将行向量μj作为非线性支持向量回归机拟合函数输出，将水平训练矩阵A与权值矩阵Wj进行矩阵点乘得到训练矩阵Mj，将该训练矩阵Mj作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数θj，j＝1,…,4，将θ1,θ2,θ3,θ4组成集合，得到超参数集θ；
（5a7）根据j的取值情况，利用超参数θj建立相应的第一层水平边缘支持向量回归机模型G1：
当j＝1时，将超参数θ1代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f1′(x)，将该拟合函数f1′(x)记为2×2区域的左上角第一层水平边缘支持向量回归机模型G11；
当j＝2时，将超参数θ2代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f2′(x)，将该拟合函数f2′(x)记为2×2区域的右上角第一层水平边缘支持向量回归机模型G12；
当j＝3时，将超参数θ3代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f3′(x)，将该拟合函数f3′(x)记为2×2区域的左下角第一层水平边缘支持向量回归机模型G13；
当j＝4时，将超参数θ4代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f4′(x)，将该拟合函数f4′(x)记为2×2区域的右下角第一层水平边缘支持向量回归机模型G14；
将左上角第一层水平边缘支持向量回归机模型G11、右上角第一层水平边缘支持向量回归机模型G12、左下角第一层水平边缘支持向量回归机模型G13和右下角第一层水平边缘支持向量回归机模型G14组成集合，得到第一层水平边缘支持向量回归机模型G1＝{G11,G12,G13,G14}；
（5b）按照建立第一层水平边缘支持向量回归机模型G1的方法，建立第一层垂直边缘支持向量回归机模型G2；
（5c）按照建立第一层水平边缘支持向量回归机模型G1的方法，建立第一层非边缘支持向量回归机模型G3。
步骤6，预测初始高分辨亮度训练图像Y。
（6a）预测初始水平边缘高分辨亮度训练图像Y1；
（6a1）取第一层水平边缘支持向量回归机模型G1＝{G11,G12,G13,G14}的左上角第一层水平边缘支持向量回归机模型G11，将训练矩阵M1作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归机计算，得到左上角矩阵Τtl；
（6a2）按照计算左上角矩阵Τtl的方法，分别计算右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr；
（6a3）将左上角矩阵Τtl、右上角矩阵Ttr、左下角矩阵Tbl和右下角矩阵Τbr结合成一个大矩阵，得到水平边缘高分辨亮度图像Y1；
（6b）按照预测初始水平边缘高分辨亮度训练图像Y1的方法，预测初始垂直边缘高分辨 亮度训练图像Y2；
（6c）按照预测初始水平边缘高分辨亮度训练图像Y1的方法，预测初始非边缘高分辨亮度训练图像Y3；
（6d）初始水平边缘高分辨亮度训练图像Y1、初始垂直边缘高分辨亮度训练图像Y2和初始非边缘高分辨亮度训练图像Y3进行矩阵加运算，得到初始高分辨亮度训练图像Y。
步骤7，将步骤（4）中高分辨亮度训练图像I1与步骤（6）得到的初始高分辨亮度训练图像Y进行矩阵减运算，得到差值训练图像Q。
步骤8，取训练样本ψ＝{I1,I2,I3,I4,I5}和差值训练图像Q，建立第二层支持向量回归机模型，包括建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1、垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2、非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3。
（8a）建立第二层水平边缘支持向量回归机模型B1；
（8a1）将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q中，得到大小为2×2的子区域，将每个2×2子区域拉成列向量其中i＝1,…,n，n为低分辨训练点集Ψ中像素点的个数，并将列向量组排成差值训练矩阵
（8a2）对行向量αi中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量其中j＝1,2,3,4分别表示左上角、右上角、左下角和右下角，即左上角权值向量右上角权值向量左下角权值向量和右下角权值向量将每个空间位置权值行向量扩充为n行的矩阵，得到空间位置权值矩阵即左上角权值矩阵右上角权值矩阵左下角权值矩阵和右下角权值矩阵
（8a3）取差值训练矩阵的第j行向量其中j＝1,…,4，将行向量作为非线性支持向量回归机拟合函数f(x)的输出；将水平训练矩阵A与权值矩阵进行矩阵点乘得到低分辨矩阵将低分辨矩阵作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数
（8a4）根据j的取值情况，利用超参数建立相应的第二层水平边缘支持向量回归机模型B1：
当j＝1时，将超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的左上角第二层水平边缘支持向量回归机模型B11；
当j＝2时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的右上角第二层水平边缘支持向量回归机模型B12；
当j＝3时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的左下角第二层水平边缘支持向量回归机模型B13；
当j＝4时，利用超参数代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数将该拟合函数记为2×2区域的右下角第二层水平边缘支持向量回归机模型B14；
（8a5）将左上角第二层水平边缘支持向量回归机模型B11、右上角第二层水平边缘支持向量回归机模型B12、左下角第二层水平边缘支持向量回归机模型B13和右下角第二层水平边缘支持向量回归机模型B14组成集合，得到第二层水平边缘支持向量回归机模型B1＝{B11,B12,B13,B14}；
（8b）按照建立第二层水平边缘支持向量回归机模型B1的方法，建立垂直边缘训练图像I4与差值训练图像Q之间映射关系的第二层垂直边缘支持向量回归机模型B2；
（8c）按照建立第二层水平边缘支持向量回归机模型B1的方法，非边缘训练图像I5与差值训练图像Q之间映射关系的第二层非边缘支持向量回归机模型B3。
步骤9，取测试样本Φ1＝{H1,H2,H3,H4}，预测高分辨亮度初始图像：
（9a）预测水平边缘高分辨亮度初始图像P1；
（9a1）将水平边缘测试图像H2中像素值不为零的像素点组成水平测试点集Ω*；
（9a2）根据水平测试点集Ω*中每个像素点在水平边缘测试图像H2中所处的位置找到低分辨亮度测试图像H1中对应位置的像素点组成集合，得到低分辨测试点集Ψ*，再以低分辨测试点集Ψ*中的每个像素点为中心在低分辨亮度测试图像H1中得到大小为3×3的子区域，将每个子区域拉成行向量其中i＝1,…,n，n为低分辨测试点集Ψ*中像素点的个数，将行向量组排成水平测试矩阵
（9a3）将水平测试矩阵A*与左上角权值矩阵W1进行矩阵点乘得到测试矩阵Mtl，将测试矩阵Mtl作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归计算，得到左上角矩阵Τ*tl；按照计算左上角矩阵Τ*tl的方法，计算右上角矩阵左下角矩阵和右下角矩阵
将左上角矩阵Τ*tl、右上角矩阵左下角矩阵和右下角矩阵结合成一个大矩阵， 得到水平边缘高分辨亮度初始图像P1；
（9b）按照预测水平边缘高分辨亮度初始图像P1的方法，预测垂直边缘高分辨亮度初始图像P2；
（9c）按照预测水平边缘高分辨亮度初始图像P1的方法，预测非边缘高分辨亮度初始图像P3。
步骤10，将水平边缘高分辨亮度初始图像P1、垂直边缘高分辨亮度初始图像P2和非边缘高分辨亮度初始图像P3进行矩阵加运算，得到初始高分辨亮度初始图像P。
步骤11，取测试样本Φ1＝{H1,H2,H3,H4}，预测高分辨亮度差值图像。
（11a）预测水平边缘高分辨亮度差值图像
（11a1）将水平测试矩阵A*与左上角的权值矩阵进行矩阵点乘得到差值测试矩阵将差值测试矩阵作为左上角第二层水平边缘支持向量回归机模型B11的输入进行支持向量回归计算，得到左上角矩阵按照计算左上角矩阵的方法，分别计算右上角矩阵左下角矩阵和右下角矩阵
（11a2）将左上角矩阵右上角矩阵左下角矩阵和右下角矩阵结合成一个大矩阵，得到水平边缘高分辨亮度差值图像
（11b）按照预测水平边缘高分辨亮度差值图像的方法，预测垂直边缘高分辨亮度图像差值
（11c）按照预测水平边缘高分辨亮度差值图像的方法，预测非边缘高分辨亮度差值图像
步骤12，将水平边缘高分辨亮度差值图像垂直边缘高分辨亮度差值图像和非边缘高分辨亮度差值图像进行矩阵加运算，得到差值图像
步骤13，更新高分辨亮度图像，即将初始高分辨亮度初始图像P和差值图像进行矩阵加运算，得到高分辨亮度图像Z。
本发明的优点可以通过以下仿真实验进一步说明：
1.仿真条件：
在CPU为Interi3-2100,主频为3.1GHZ，内存为4G，操作系统为WIN7，仿真平台为Matlab2010b上进行。
仿真图像选择图2所示的1幅高分辨训练图像，2幅原始高分辨测试图像，其中，图（a）为高分辨训练图像称为女孩（Girl）图像，图（b）为高分辨测试图像称为鹦鹉（Parrots）图像，图（c）为高分辨测试图像称为花（Flower）图像。
仿真实验中，利用本发明方法、现有的双立方插值方法、SC方法和NE方法在测试图像上进行超分辨图像重建；其中SC方法指参考文献“Jianchao Yang,John Wright,Thomas S Huang,and Yi Ma,“Image super-resolution via sparse representation,”IEEE Transactions on Image Processing,vol.19,no.11,pp.2861–2873,2010.”提出的方法，NE方法指参考文献“HongChang,Dit-Yan Yeung,and Yimin Xiong,“Super-resolution through neighbor embedding,”in CVPR,2004,pp.275–282.”提出的方法。
2.实验内容及结果分析：
实验一：验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2倍得到低分辨Girl彩色图像，将高分辨Parrots彩色图像下采样2倍得到低分辨Parrots彩色图像；将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本，低分辨Parrots彩色图像作为测试样本，利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨Parrots彩色图像进行超分辨图像重建。
重建的结果如图3所示，其中图3（a）是原始高分辨图像；图3（b）是双立方插值方法的结果；图3（c）是SC方法超分辨重建的结果；图3（d）是NE方法超分辨重建的结果；图3（e）是只构造一层SVR模型超分辨重建的结果；图3（f）是本发明二层SVR模型超分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。
从图3可见，图3（b）中边缘和纹理不清晰，与图3（b）的结果相比，图3（c）-图3（f）的结果在一定程度上有尖锐的边缘，丰富的纹理细节，但图3（c）有一些伪边效应，而图3（d）和图3（e）在一些特定的纹理区域有些模糊。对比可知，本发明的超分辨重建的结果不仅边缘保持很好而且细节也很丰富。
实验二：验证本发明对自然图像有较好的重建效果。将高分辨Girl彩色图像下采样2倍得到低分辨Girl彩色图像，将高分辨Flower彩色图像下采样2倍得到低分辨Flower彩色图像；将高分辨Girl彩色图像和低分辨Girl彩色图像作为训练样本，低分辨Flower彩色图像作为测试样本，利用本发明方法、现有的双立方插值方法、SC方法和NE方法对低分辨Flower彩色图像进行超分辨图像重建。
重建的结果如图4所示，其中图4（a）是原始高分辨图像；图4（b）是双立方插值方法的结果；图4（c）是SC方法超分辨重建的结果；图4（d）是NE方法超分辨重建的结果；图4（e）是只构造一层SVR模型超分辨重建的结果；图4（f）是本发明二层SVR模型超分辨重建的结果。每幅图像有一个局部放大了的矩形区域以便于观察重建的效果差别。
从图4可见，图4（b）的结果花瓣边缘产生锯齿效应，并出现过平滑现象；图4（c） 花瓣高频保存较好，但边缘产生振铃效应；图4（d）和图4（e）的效果都改善，但是花瓣边缘稍微产生振铃效应；图4（f）所示的本发明方法能把花瓣的边缘锐化，整体效果自然。