背景技术
随着多媒体应用的普及、数字视频技术的发展及网络上图像传输的
增多，例如可视电话的使用，图像的远程浏览与检索，全球多用户虚拟
环境共享等，对图像处理技术的研究变得越来越重要。
图像的处理包括图像压缩，图像增强和恢复，图像除噪以及图像的
描述，分类和识别。对于图像采集、存储和传输过程来说，迫切需要快
速发展图像压缩技术。一幅具有中等分辨率(640*480)彩色(24bit/
象素)数字图像的数据量约为7.37Mbit，庞大的数据量给图像的存储和
传输带来了很大的困难。因此，在传输前必须对图像进行编码。
传统的JPEG压缩技术已经无法满足人们对多媒体影像资料的要求，
因此需要一种功能更强大、效率更卓越的图像压缩标准。在这种背景下
JPEG 2000应运而生。
运动联合图像专家组2000(Motion JPEG 2000)是一种对运动图像
的帧内编码方法。它并不利用帧间相关性，而是使用JPEG 2000提供的
压缩手段逐帧去除视频序列中每一帧的帧内冗余。
随着时间的推移，人们对图像压缩处理的要求越来越高。另外，基
于互联网和无线信道的视频传输已经越来越普遍。在实际应用中，有一
些重要的图像，如卫星遥感图像、医学图像等需要通过互联网来传送。
而这些图像传输要求确保较高的图像质量。
然而，由于受到信道宽度的限制，通过互联网或无线信道进行的视
频传输通常受到网络拥塞的影响。当网络出现拥塞时，路由器有选择地
截断一些表示详细信息的数据分组，这将导致信息被截断的帧的图像质
量的降低。
在JPEG 2000中，空域信号在经过诸如彩色空间变化，去直流，归
一化之类的前处理后，进行离散小波变换(DWT)，以去除数据之间的相
关性。图1中示出了一维离散小波变换分解的示意图。一维DWT的基本
滤波方式是通过高频和低频滤波器组，将原始信号分解到频域上两个互
不混叠的子带上，并通过降采样来保持信号的数目不变。一次DWT后剩
余的低频信号往往还具有相关性。可以在其上再做k(k是整数)级子带
分解，直到信号之间的相关性可以忽略为止。
二维DWT则是在一维的行DWT和降采样的基础上，再对列信号进行
一次DWT，并进行降采样以保证变换后的数据量与变换前相同。经过一次
二维DWT变换之后，原图像被划分为四个子带。其中唯一的一个LL子带
(行低频和列低频)仍可以继续分解，经过3-5级后形成分级结构。这
种分级结构使JPEG 2000支持多分辨率的码流结构。
DWT之后的小波系数需要经过量化，JPEG 2000的量化器的一个特殊
之处在于引入了“Dead Zone”的概念。对于每个子带的量化器，“Dead
Zone”的宽度都是其它步长的2倍。这意味着如果在子带b内采用步长
为Δb的量化器，则该子带的一个系数y(i，j)可以用
![]()
作为量化索引值，其中sign()表示一个变量的符号，
![]()
表示向下取整。
这种量化方式的优点是可以根据信噪比要求，提供一种渐进的码率模式，
即可以先用较小的步长对信号进行量化。然后根据用户的不同需求以较
宽的步长(一般是原始步长的2的整数次幂倍)进行反量化。此时，只
需丢弃量化索引值的一些最低有效位(LSB)即可。
然后需要对经过量化的小波系数进行优化截断点的嵌入式块编码
(Embedded Block Coding with Optimal Truncation)(EBCOT)。EBCOT
是一种基于位平面(bit plain)的编码方式。按照位面从高到低的顺序，
提取处于相同位平面的数据进行编码。这样就提供了图像质量由粗到精
的渐进式编码。同时，EBCOT还提供了对多截断点的支持，即，为了适应
一定的压缩码率，可以在JPEG 2000码流的任何一个截断点截断该码流。
相当于丢弃当前位平面中所有不显著的系数以及所有显著系数的较低有
效位。
经过EBCOT的码流送入算术编码器，打包成Motion JPEG 2000(MJP2)
码流，传送到解码端。解码端的解码器按照与上面所述相反的顺序，即，
执行算术解码，逆EBCOT，逆量化，逆离散小波变换以及后处理，得到解
码后的各帧图像。
渐进可伸缩的解码模式对于视频的传输同样重要。在互联网或无线
信道中，由于受信道带宽的限制，视频传输经常受到网络拥塞的影响，
导致在线收看时出现画面停顿等现象。如果采用渐进模式传输MJP2码流，
当遇到网络拥塞时，路由器可以主动截断每一帧的码流，以减少数据量
而保证网络的畅通。此时，用户仍可以观看连续的画面，但有关图像的
细节信息被丢失，这必然会导致图像质量的下降。
因此，需要一种在解码端尽可能地恢复丢失的图像的细节信息的方
法。
具体实施方式
下面参考附图详细说明根据本发明利用图像的帧间相关性来增强图
像的方法的实施例。
首先，介绍JPEG 2000标准及离散小波变换。JPEG 2000作为JPEG
的升级版，具有以下特点：
1.高压缩率
JPEG 2000压缩性能比JPEG提高了大约20％，也就是说，在同样的
压缩率下，JPEG 2000对图像的失真比JPEG小大约20％。同时，使用JPEG
2000的系统稳定性好，运行平稳，抗干扰性好，易于操作。
2.同时支持有损和无损压缩
JPEG只支持有损压缩，而JPEG 2000能支持无损压缩。在实际应用
中，诸如卫星遥感图像、医学图像、文物照片等重要的图像都非常适合
于采用JPEG 2000压缩。
3.实现了渐进传输(progressive transmission)
这是JPEG 2000一个极其重要的特征，它可以先传输图像的轮廓，
然后逐步传输数据，不断提高图像质量，让图像由朦胧到清晰显示，而
不必像现在的JPEG那样，由上到下慢慢显示，这在网络传输中有重大
意义。
4.支持“感兴趣区域”(Region Of Interest(ROI))
用户可以任意指定图像上感兴趣区域的压缩质量，还可以选择指定
的部分先解压缩，从而使重点突出。这种方法的优点在于它结合了接收
方对压缩的主观需求，实现了交互式压缩。
JPEG 2000与传统JPEG最大的不同在于它放弃了JPEG所采用的以离
散余弦变换为主的区块编码方式，转而采用以小波变换为主的多分辨率
编码方式。
小波变换是现代谱分析工具，它既能考察局部时域过程的频域特征，
又能考察局部频域过程的时域特征，因此即使对于非平稳过程，处理起
来也得心应手。它能将图像变换为一系列小波系数，这些系数可以被高
效压缩和存储，此外，小波的粗略边缘可以更好地表现图像，因为它消
除了DCT压缩普遍具有的方块效应。
小波在空间和频率域上的局域性，是统计意义上的局域性。这里说
的局域性，指的是一个变换系数实际牵涉到的图像空间范围是局部的。
因而，要完全恢复图像中的某个局部，并不需要所有的编码都被精确地
保留，只需要对应于它的一部分编码没有误差就可以了。所以，能实现
感兴趣区域压缩。同时JPEG 2000支持整形小波，因而能够实现无损压
缩。
小波建立在三个主要的基础理论之上，分别是阶层式编码(pyramid
coding)、滤波器组理论(filter bank theory)、以及子带编码(subband
coding)，小波变换结合了此三项技术。小波变换能将各种交织在一起的
不同频率组成的信号，分解成不相同频率的信号，因此能有效的应用于
编码、解码、检测边缘、压缩数据，及将非线性问题线性化。良好的分
析局部的时域与频域的信号，弥补傅利叶转换中的缺失。
下面说明本发明的基于JPEG 2000码流增强视频图像的原理。
Motion JPEG 2000是一种用于编码运动图像的新的国际标准。使用与
JPEG 2000相同的帧内编码技术。码流被逐帧地预先打包。当出现网络拥
塞时，路由器有选择地丢弃某些不重要的部分，并且只传输用于图像重
构的重要部分。所谓不重要的数据包是指对人的视觉影响较小，图像分
辨率较高或较清晰的数据包。高频信息的丢失将缓解网络传输的负担，
但在一定程度上会降低图像的质量。
鉴于Motion JPEG 2000采用帧内编码技术，编码后的运动图像的各
帧之间的帧间相关性依然存在，某一帧图像在传输过程中丢失的信息并
不会影响到其它帧。因此，可以在解码端利用未受到图像数据损失的相
关帧在一定程度上恢复丢失的数据，从而增强图像质量。
根据本发明的实施例，例如在通过互联网接收图像的过程中，假设
当前帧出现了图像数据损失，而参考帧相对保持完好。首先在当前帧和
参考帧之间做出运动估算。假设接收到的各帧数据经解码后得到帧序列
In。根据JPEG 2000的渐进传输原理，接收到的数据量越多，恢复的图像
质量就越好。因此，如果在接收端检测到某一帧的数据量明显小于其它
帧的数据量，则该帧中可能出现数据丢失。在这种情况下，需要对接收
到的当前帧进行图像增强。
下面结合图2说明对视频图像进行离散小波变换的增强过程。
对图像增强的过程需要利用参考帧，这个参考帧应该是已经接收到
的未受到数据损失的某一帧。为了进行图像增强，在接收端需要设置缓
存器来存储用于对数据丢失的图像帧进行增强的参考帧，即，在缓存器
中存储一帧未受到数据损失的图像信号。在接收过程中判断新接收的图
像帧是否受到数据损失。如果新的一帧没有受到数据损失，可用新的一
帧刷新缓存器。
为了便于讨论，在下面的例子中假设接收的当前帧，例如，In的图
像数据受到损失。应该理解，图像数据被在网络传输过程中被截断的帧
不限于当前帧。可利用，例如，缓存器存储的未受到数据损失的前一帧In-1
帧作为参考帧。用xn(i，j)表示出现数据丢失的第n帧的空域信号，经过多
级的DWT变换后，子带b内的小波系数表示为ybn(i，j)，b∈{kLL，kHL，kLH，
kHH}，其中kHL(k是正整数)表示在第k层分解中对行信号进行高通滤
波，对列信号进行低通滤波后间隔采样的结果。
为了叙述方便起见，假设每帧图像都只经过一级离散小波变换
(DWT)。由于传输的是运动图像，为了对受到数据损失的图像帧进行图
像增强，首先需要找到参考帧与当前帧的匹配数据块。如图2所示，在LL
子带内将第In帧频域信号在划分为固定大小的M*N(M和N是正整数)个
像素的数据块，逐个数据块地在In-1的LL子带和其经过运动偏移后的三
个LL子带中进行运动搜索和匹配(具体方法将在之后详述)。如果得到
匹配，则用第In-1帧的该数据块对第In帧的数据进行增强。如果未得到
匹配，则放弃参考帧的该数据块。
由于图像的运动性，参考帧与受到损失的当前帧之间的相关数据块
之间存在着一定的偏移。这种情况下，为了找到匹配的数据块进行图像
增强，需要移动图像帧的像素。在本实施例中，搜索相关数据块的过程
是通过移动参考帧的数据块进行的。
为了搜索对应的数据块，对第In-1帧的频域信号进行逆离散小波变换
(IDWT)，以便得到第In-1帧的空域信号xn-1(i，j)。接下来，将空域信
号xn-1(i，j)沿x轴，y轴以及x＝y方向各移动一个像素，得到三幅图
像xn-1(i-1，j)、xn-1(i，j-1)、和xn-1(i-1，j-1)。分别对这三幅图像进
行DWT变换，得到三个经过移位的第In-1帧的频域信号。将转换后的信号
表示为yb(1)n-1(i，j)、yb(2)n-1(i，j)、和yb(3)n-1(i，j)，而
y b ( 0 ) n - 1 ( i , j ) = y b n - 1 ( i , j ) . ]]>之所以进行
这样的移动是因为图像在DWT变换之后要进行降采样，如果一个数据块
在两帧之间移动奇数个像素，则降采样之后在两帧之间保留下来的样本
互为补集。在x、y和x＝y方向各移动一个像素，再加上图像自身就包括
了数据块在平面的两个方向上所有运动的奇偶组合。
将接收到的当前帧的LL子带内的频域信号yLLn(i，j)划分为固定大小的
数据块，例如8*8。然后逐个在参考帧的四个LL子带yLL(0)n-1(i，j)、yLL(1)n-1(i，j)、
yLL(2)n-1(i，j)、yLL(3)n-1(i，j)中搜索与当前帧的该每个数据块最相似的数据块。
搜索过程可采用三步法，判断两个数据块是否相似可以采用最大绝
对距离(MAD)法则，即计算当前帧与移位的参考帧的对应子带的频域信
号之间的差值的绝对值之和，即，计算
Σ ( i , j ) ∈ block | y LL n ( i , j ) - y LL ( k ) n - 1 ( i + di , j + dj ) | , ]]>找
到使该取最小值时的(di，dj，k)。将该最小值与预先设定的阈值比较。
如果该最小值大于设定的阈值，则表明两个数据块不匹配。如果该最小
值小于或等于设定的阈值，则将该(di，dj，k)作为运动矢量记录下来。
这种运动补偿方法被称为低带移位法(Low-Band-Shift)，其特点是可以
在高频子带的信息丢失较多时仍能得到精确的运动矢量。
在参考帧中找到了与当前帧的某个小波系数yLLn(i，j)对应的运动矢量
(di，dj，k)后，其在参考帧中对应的小波系数则是yLL(k)n-1(i+di，j+dj)。
此后，可对当前帧中损失数据进行增强。作为例子，例如，如果在传输
过程中yLLn(i，j)丢失了当前帧的p个最低有效位，在接收端实际收到的则
是
![]()
此时可以得到下面的公式(1)表示的未
经损失的yLLn(i，J)的分布范围：
![]()
用在上式所列范围内与yLL(kn-1(i+di，j+dj)最接近的值作为对受到损失的
当前帧的小波系数
![]()
的增强结果。其具体操作如下：
如果参考帧中的小波系数yLL(kn-1(i+di，j+dj)中除最后p个最低有效位外
均与
![]()
相同，即：
![]()
则
可以令
y · · LL ( k n - 1 ( i + di , j + dj ) ]]>作为
![]()
的增强结果。也就是说，用
yLL(kn-1(i+di，j+dj)的最后p个最低有效位来补偿受到损失的当前帧的
![]()
如果参考帧中的小波系数yLL(kn-1(i+di，j+dj)中除最后p个最低有效位外
仍与
![]()
有不同，则比较公式(1)中的不等式确定的区间的两个端
点。在这两个端点中选择距yLL(kn-1(i+di，j+dj)较近的一个点作为对当前帧的
增强结果。
在最坏的情况下，当前帧的yLLn(i，j)丢失了其所有的有效位(例如，
整个子带内的数据都被丢失)，这种情况下，则直接令当前帧中的
y · · LL n ( i , j ) = y LL ( k n - 1 ( i + di , j + dj ) . ]]>
根据离散小波变换的性质，对于图像的三个高频子带HL、LH和HH，
不需要再到前一帧中做运动估算和查找对应的数据块。如果某个小波系
数yLLn(i，j)对应运动矢量(di，dj，k)，则对于所有的子带b，则有ybn(i，j)
对应的运动矢量都是(di，dj，k)。这种情况下下，可以用参考帧中的
系数yb(k)n-1(i+di，j+dj)作为参考量来增强丢失数据的当前帧的系数ybn(i，j)。
经过对丢失数据的当前帧的小波系数进行增强处理之后，对增强后
的小波系数进行逆离散小波变换和诸如直流复原，颜色空间逆变换等之
类的后处理，就可以在接收端恢复出视频图像经过增强后的重建图像。
上面为了简单起见以一级DWT为例说明了利用图像的帧间相关性对
视频图像进行补偿增强的方法。一般情况下，一帧图像在编码之前要经
过3-5级的DWT变换。上述算法可以推广到m级的DWT变换。其过程如
下：
1.按照一级DWT变换的方法，对In的LLm，HLm，LHm，HHm(m是整数)
子带进行增强。
2.对增强后的四个子带进行逆DWT变换，以得到第m级DWT变换之
前的低频子带LLm-1。
3.LLm-1是一个增强后的子带，在此基础上可对m-1级的其它三个子
带HLm-1，LHm-1，HHm-1进行补偿增强。其增强方法与前面说明的过程相似。
另外，应指出的是，可以用上一级的运动矢量(di，dj，k)m来加快对
本级运动矢量的搜索。
4.由此如上所述的方式按照分辨率由低到高的顺序逐级对受到数据
丢失的图像帧进行增强，直到整个处理过程结束。
图3示出了采用根据本发明的图像增强方法对图像进行增强处理后
的图像的峰值信噪比增益。该实例对MPEG-2标准测试图像“运动物体和
日历”进行了测试。所采用的参数如下：
视频序列：运动物体和日历，选取300帧图像，352*288像素/帧，
图像采用逐行扫描方式。
小波基：采用JPEG 2000 Part 1提供的9/7实型滤波器组；运动补
偿采用低频带移位(Low-Band-Shift)。
压缩率为2.0bpp。其中对奇数帧进行了截断处理，截断后的码流相
当于1.0bpp。通过采用本发明的方法对截断的奇数帧进行增强处理后，
可得到平均为3.12dB的峰值信噪比。图3中的横坐标表示帧序号，纵坐
标表示峰值信噪比。图中的空白方框连成的曲线表示经过图像增强后的
峰值信噪比，黑方块连成的曲线表示原始图像的峰值信噪比。从图3中
可以明显看出，经过增强处理的图像比处理前的图像质量由了明显改善。
至此已结合特定实施例描述了本发明，应该指出，在此所作的描述
只作为说明的目的，在不脱离下面权利要求的精神或范围的情况下可对
本发明进行改变和变化。