对空间分层编码视频图像的上采样方法及其系统.pdf

本发明涉及视频图像压缩技术，公开了一种对空间分层编码视频图像的上采样方法及其系统，使得在上采样过程中，可以减少计算复杂度，而编码性能基本不变。本发明中，利用人眼对色度分量的敏感度远远低于亮度分量的原理，在IBL层间预测或残差图像层间预测的上采样过程中，对色度分量采用较亮量分量更简单的对称滤波器，从而有效减少了计算复杂度，而编码性能基本不变。在残差图像上采样过程中，至少在亮度分量上使用较为复杂的[-155-1]/8滤波器，从而提高编码性能。

1.  一种对空间分层编码视频图像的上采样方法，其中，使用第一滤波器对图层的亮度分量进行上采样，使用第二滤波器对图层的色度分量进行上采样，其特征在于，第二滤波器比第一滤波器简单，所述第二滤波器为对称滤波器。

2.  根据权利要求1所述的对空间分层编码视频图像的上采样方法，其特征在于，所述上采样应用于“I_BL”层间预测或残差图像层间预测。

3.  根据权利要求2所述的对空间分层编码视频图像的上采样方法，其特征在于，“I_BL”层间预测上采样时，所述第一滤波器是[1-5 20 20-5 1]/32，所述第二滤波器是[-1 5 5 -1]/8。

4.  根据权利要求2所述的对空间分层编码视频图像的上采样方法，其特征在于，残差图像层间预测上采样时，所述第一滤波器是[-1 5 5 -1]/8，所述第二滤波器是[1 1]/2。

5.  一种对空间分层编码视频图像的上采样系统，其中至少包含用于对图层的亮度分量进行上采样的第一滤波器，和对图层的色度分量进行上采样的第二滤波器，其特征在于，第二滤波器比第一滤波器简单，所述第二滤波器为对称滤波器。

6.  根据权利要求5所述的对空间分层编码视频图像的上采样系统，其特征在于，所述上采样应用于“I_BL”层间预测或残差图像层间预测。

7.  根据权利要求6所述的对空间分层编码视频图像的上采样系统，其特征在于，应用于“I_BL”层间预测上采样时，所述第一滤波器是[1 -5 20 20-5 1]/32，所述第二滤波器是[-1 5 5 -1]/8。

8.  根据权利要求6所述的对空间分层编码视频图像的上采样系统，其特征在于，应用于残差图像层间预测上采样时，所述第一滤波器是[-1 5 5-1]/8，所述第二滤波器是[11]/2。

9.  一种对空间分层编码视频图像的上采样方法，其特征在于，在空间分层编码中，对于残差图像层间预测，在残差图像上采样过程中，亮度分量和色度分量上采样都采用滤波器[-1 5 5 -1]/8。

对空间分层编码视频图像的上采样方法及其系统
技术领域
本发明涉及视频图像压缩技术，特别涉及空间分层编码视频图像的上采样技术。
背景技术
H.264视频压缩编码标准由国际电信联盟电信标准部(InternationalTelecommunication Union Telecommunication Standardization Sector，简称“ITU-T”)联合国际标准组织(International Organization for Standardization，简称“ISO”)和国际电工委员会(International Electrotechnical Commission，简称“IEC”)的运动图像专家组(Moving Picture Expert Group，简称“MPEG”)制定。
目前，H.264已经逐渐成为多媒体通信中的主流标准，大量采用H.264标准的多媒体实时通信产品，比如会议电视、可视电话、第三代(3rdGeneration，简称“3G”)移动通信终端，以及网络流媒体产品先后问世。可以说，是否支持H.264已经成为这个市场领域中决定产品竞争力的关键因素。尤其是随着3G移动通信系统的出现和网际协议(Internet Protocol，简称“IP”)网络的迅速发展，视频网络通信正逐步成为通信的主要业务之一。
从发展来看，ITU-T继制定了H.261、H.263、H.263+等视频压缩标准后，于2003年正式发布了H.264标准，它同时也是MPEG-4第10部分的主要内容。H.264标准的制定更加有效地提高了视频编码效率和网络适配性，随着H.264的推广和使用，IP网络和移动无线网络的多媒体通信进入了一个飞跃发展的新阶段。
下面简单介绍H.264标准的消息构成及发送机制：H.264标准采用分层模式，定义了视频编码层(Video Coding Layer，简称“VCL”)和网络抽象层(Network Abstraction Layer，简称“NAL”)，后者专为网络传输设计，能适应不同网络中的视频传输，进一步提高网络的“亲和性”。H.264引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输；具有较强的抗误码特性，特别适应丢包率高、干扰严重的无线视频传输的要求。H.264的所有待传送数据，包括图像数据及其他消息均封装为统一格式的包传送，即网络抽象层单元(NAL Unit，简称“NALU”)。每个NALU是一个一定语法元素的可变长字节字符串，包括包含一个字节的头信息，可用来表示数据类型，以及若干整数字节的负荷数据。一个NAL单元可以携带一个编码片、各自类型数据分割或一个序列或图像参数集。为了加强数据可靠性，每帧图像都被分为若干个条带(Slice)，每个Slice由一个NALU承载，Slice又是由若干个更小的宏块组成，即为最小的处理单元。一般的说，前后帧对应位置的Slice相互关联，不同位置的Slice相互独立，这样可以避免Slice之间发生误码相互扩散。
H.264数据包含非参考帧的纹理数据、序列参数、图像参数、补充增强消息(Supplemental Enhancement Information，简称“SEI”)、参考帧纹理数据等。其中，SEI消息是在H.264视频的解码、显示及其它方面起辅助作用的消息的统称。
图1示出H.264的压缩处理框架。H.264的基本处理单位为16×16宏块，采用了多帧参考、帧内预测、多宏块模式、4×4整数变换和量化、环滤波、1/4象素运动预测、基于上下文的自适应可变长编码(Context-based AdaptiveVariable Length Coding，简称“CAVLC”)和上下文自适应的二进制算术编码(Context-Adaptive Binary Arithmetic Coding，简称“CABAC”)熵编码等先进技术，因此H.264的压缩效率比MPEG-2、H.263、MPEG-4ASP提高一倍多。
从2005年1月的第MPEG71次会议到2006年6月，联合视频组(JointVideo Team，简称“JVT”)将进行H.264分层编码标准制定工作，基本层兼容H.264 main profile，采用了MCTF的算法框架，由此可以较好地实现空间(spatial)分层、时间(temporal)分层、质量(quality或SNR)分层、复杂度(complexity)分层等功能。其中，JVT SVC(Joint Video Team Scalablevideo coding，暂译为“联合视频组视频分层编码”)的最新参考模型为JSVM3(Joint Scalable Video Model 3，暂译为“联合视频分层编码模型3”)，图2示出上述SVC算法框图。需要指出的是，时间分解过程可以采用如图3所示的，基于B帧分解的方法，或如图4所示的，基于MCTF分解的方法。
具体地说，在帧内预测(INTRA prediction)方面，JSVM3基本层采用H.264帧内预测方法，增强层在H.264的预测模式基础上增加了一种预测模式：I_BL。I_BL就是将当前层的宏块从低层对应宏块逐象素进行预测，如图5所示。
此外，对于增强层宏块残差图像，即预测求差后的差值图像，也可以从基本层或较低层相应宏块的残差图像进行预测，方法与I_BL类似。
对于空间分层编码来说，在进行增强层I_BL预测或者残差图像预测时，基本层或较低层相应宏块必须经过上采样(upsampling)过程。上采样是重采样(Resampling)的一种，重采样用于采样信号的放大或缩小。假设原采样点位于整数坐标(0，1，2，...)，重采样后，新采样点之间的间距为a，则当a＞1时，为下采样(downsampling)；当a＜1时为上采样(upsampling)。
在JSVM3中，I_BL预测时的上采样滤波器为较为复杂的[1-5 20 20-51]/32，残差图像预测时的上采样滤波器为[11]/2，亮度图像和色度图像都采用同一个滤波器。
在实际应用中，上述方案存在以下问题：对色度分量采用与亮度分量相同的较为复杂的6阶滤波器，使色度分量上采样过程的计算复杂度过高。
在残差图像上采样过程中，采用的滤波器[11]/2过于简单，从而影响编码性能。
发明内容
有鉴于此，本发明的主要目的在于提供一种对空间分层编码视频图像的上采样方法及其系统，使得在上采样过程中，可以减少计算复杂度，而编码性能基本不变。
本发明另一个发明目的是在残差图像上采样过程中提高编码性能。
为实现上述目的，本发明提供了一种对空间分层编码视频图像的上采样方法，其中，使用第一滤波器对图层的亮度分量进行上采样，使用第二滤波器对图层的色度分量进行上采样，第二滤波器比第一滤波器简单，所述第二滤波器为对称滤波器。
其中，所述上采样应用于“I_BL”层间预测或残差图像层间预测。
此外在所述方法中，“I_BL”层间预测上采样时，所述第一滤波器是[1-520 20-51]/32，所述第二滤波器是[-1 5 5-1]/8。
此外在所述方法中，残差图像层间预测上采样时，所述第一滤波器是[-15 5-1]/8，所述第二滤波器是[11]/2。
本发明还提供了一种对空间分层编码视频图像的上采样系统，其中至少包含用于对图层的亮度分量进行上采样的第一滤波器，和对图层的色度分量进行上采样的第二滤波器，第二滤波器比第一滤波器简单，所述第二滤波器为对称滤波器。
其中，所述上采样应用于“I_BL”层间预测或残差图像层间预测。
此外在所述系统中，应用于“I_BL”层间预测上采样时，所述第一滤波器是[1-5 20 20-51]/32，所述第二滤波器是[-1 5 5-1]/8。
此外在所述系统中，应用于残差图像层间预测上采样时，所述第一滤波器是[-1 5 5-1]/8，所述第二滤波器是[11]/2。
本发明还提供了一种对空间分层编码视频图像的上采样方法，在空间分层编码中，对于残差图像层间预测，在残差图像上采样过程中，亮度分量和色度分量上采样都采用滤波器[-1 5 5-1]/8。
通过比较可以发现，本发明的技术方案与现有技术的主要区别在于，利用人眼对色度分量的敏感度远远低于亮度分量的原理，在I_BL层间预测或残差图像层间预测的上采样过程中，对色度分量采用较亮量分量更简单的滤波器，从而有效减少了计算复杂度，而编码性能基本不变。
在残差图像上采样过程中，本发明提出至少在亮度分量上使用较为复杂的[-1 5 5-1]/8滤波器，从而提高编码性能。
附图说明
图1是现有技术中H.264压缩处理框架的示意图；
图2是现有技术中SVC算法框图；
图3是现有技术中基于B帧的分解框图；
图4是现有技术中基于MCTF的分解框图；
图5是现有技术中增强层的I_BL预测模式示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
本发明的要点在于，基于人眼对色度分量的敏感度远远低于亮度分量的自然规律，在上采样过程中，对亮度分量和色度分量的上采样采用不同的滤波器，其中色度分量所用的滤波器比亮度分量所用的滤波器更为简单。
这会带来两个后果，一个后果是色度分量的编码性能不可避免地有所下降，另一个后果是色度分量的计算复杂度也相应下降。前一个后果是不利的，但由于人眼对色度分量的敏感度远远低于亮度分量的自然规律，色度分量上性能的下降在人眼看来很不明显，换句话说普通人几乎察觉不出图像在颜色上已经发生了变化。后一个效果有有利的，实实在在地减少了运算器件的工作量，使同样的设备可以承载更多的业务，使处理时延更小，画面更为流畅。
下面说明一下本发明的实施方式的应用环境。在分层编码中，增强层编码过程需要充分利用基本层或者较低层的信息，以便去除冗余性，提高编码效率，例如，SVC分别采用了I_BL层间预测、残差图像层间预测、运动向量层间预测等技术。对于空间分层编码来说，在进行增强层I_BL预测或者残差图像预测时，基本层或较低层相应宏块必须经过上采样(upsampling)过程，以方便进行求差预测。在JSVM3中，I_BL预测时的上采样滤波器为[1-5 20 20-51]/32，残差图像预测时的上采样滤波器为[11]/2，亮度图像和色度图像都采用同一个滤波器。
在本发明的第一实施方式中，在I_BL预测时，亮度分量和色度分量上采样采用不同的滤波器，亮度分量上采样滤波器采用[1-5 20 20-51]/32，色度分量上采样滤波器采用较为简单的[-1 5 5-1]/8。也就是说将JSVM3中的色度分量采样滤波器从[1-5 20 20-51]/32改为[-1 5 5-1]/8。使用[1-5 20 20-51]/32滤波器时，每一个采样点的计算需要作6次乘法运算、5次加法运算和一次除法运算，而使用[-1 5 5-1]/8滤波器时，每一个采样点的计算需要作4次乘法运算、3次加法运算和一次除法运算，大致上减少了三分之一的运算量。而由于人眼对色度分量不太敏感，所以在实际视觉上感受不到太大的差异。
在本发明的第二实施方式中，在残差图像上采样过程中，亮度分量和色度分量上采样也采用不同的滤波器，亮度分量上采样采用滤波器[-1 5 5-1]/8，而色度分量上采样采用滤波器[11]/2。如果色度分量上也采用[-1 5 5-1]/8滤波器，则每一个采样点的计算需要作4次乘法运算、3次加法运算和一次除法运算，现在使用[11]/2只要做一次加法和一次除法，如果考虑到除2的整数次方可以用较快速的移位运算代替的话，运算量可能比[-1 5 5-1]/8滤波器减少了一个数量级。本实施方式中，亮度分量采用了比JSVM3更高的[-1 5 5-1]/8滤波器，这可以提高编码性能，而计算复杂度的增加则在可接受的范围内。
在本发明的第三实施方式中，为了提高编码性能，在残差图像上采样过程中，亮度分量和色度分量上采样都采用滤波器[-1 5 5-1]/8。为了证明该滤波器的有效性，本发明对一些典型序列进行了仿真测试。下表为对Harbour序列300帧图像、QCIF和CIF两层编码的测试结果性能对比，其中本发明技术结果为I_BL预测中色度分量上采样滤波器采用滤波器[-1 5 5-1]/8、残差图像预测中亮度分量和色度分量上采样都采用滤波器[-1 5 5-1]/8的测试结果。

测试结果显示，采用本发明技术后码流量有所下降，而亮度分量信噪比PSNR值有所增加、色度分量信噪比PSNR值基本一致，从而编码性能有所提高。
需要指出的是，以上的实施方式只是本发明技术方案的一些典型应用，除了上述滤波器[-1 5 5-1]/8外，在I_BL上采样过程中，色度分量上采样还可以采用其它滤波器；在残差图像上采样过程中，亮度分量和色度分量上采样也可以采用其它滤波器。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。