用于低比特率视频压缩的图像增强的方法和装置.pdf

用于对基于块的数字视频进行去块效应和边缘增强的方法和装置，包括：确定两个块共用一个共同边界；测量该共同边界的边缘活动性，将所测量的边缘活动性与第一个门限相比较；如果该边缘活动性低于第一个门限，则用低通滤波器来对两个块的一个或多个像素进行滤波；并且如果该边缘活动性等于或高于第一个门限，则对这两个相邻块的一个或多个像素进行增强。

1、  一种用于对基于块的数字视频进行去块效应和边缘增强的方法，包括：
确定两个块共用一个共同边界；
测量所述共同边界的边缘活动性；
将所述测量的边缘活动性与第一门限进行比较；
如果所述边缘活动性低于所述第一门限，则用低通滤波器对所述两个块的一个或多个像素进行滤波；以及
如果所述边缘活动性等于或高于所述第一门限，则对所述两个相邻块的一个或多个像素进行增强。

2、  如权利要求1所述的方法，还包括：
通过进行高频加强滤波来增强像素。

3、  如权利要求1所述的方法，还包括：
将所述测量的边缘活动性与第二门限进行比较；以及
如果所述边缘活动性等于或高于所述第二门限，则对所述两个相邻块的一个或多个像素进行增强。

4、  如权利要求1所述的方法，还包括：
接收来自基本层的所述两个块；以及
确定没有接收到可用的增强层。

5、  如权利要求1所述的方法，还包括：
通过对像素值进行高通滤波并将所述高通滤波的输出加到所述像素值上，来增强像素。

6、  如权利要求1所述的方法，还包括：
只有当与所述共同边界相关联的边界强度变量等于非标准化值时，对所述两个相邻块的一个或多个像素进行增强。

7、  如权利要求1所述的方法，还包括：
设定所述第一门限，使得低于所述门限的所测量的边缘活动性表示几乎没有活动性。

8、  如权利要求1所述的方法，其中所述两个块中的每个包含4×4亮度像素。

9、  如权利要求1所述的方法，还包括：
只对距离所述共同边界一个或多个像素的像素进行增强。

10、  如权利要求1所述的方法，还包括：
将所述第一门限设定为等于H.264去块效应滤波器的β门限的值。

11、  如权利要求3所述的方法，还包括：
将所述第二门限设定为零。

12、  用于对基于块的数字视频进行去块效应和边缘增强的装置，包括：
用于确定两个块共用一个共同边界的装置；
用于测量所述共同边界的边缘活动性的装置；
用于将所述测量的边缘活动性与第一门限进行比较的装置；
用于如果所述边缘活动性低于所述第一个门限，则用低通滤波器对所述两个块的一个或多个像素进行滤波的装置；以及
用于如果所述边缘活动性等于或高于所述第一个门限，则对所述两个相邻块的一个或多个像素进行增强的装置。

13、  如权利要求12所述的装置，还包括：
用于通过进行高频加强滤波来增强像素的装置。

14、  如权利要求12所述的装置，还包括：
用于将所述测量的边缘活动性与第二门限进行比较的装置；以及
用于如果所述边缘活动性等于或高于所述第二门限，则对所述两个相邻块的一个或多个像素进行增强的装置。

15、  如权利要求12所述的装置，还包括：
用于接收来自基本层的所述两个块的装置；以及
用于确定没有接收到可用的增强层的装置。

16、  如权利要求12所述的装置，还包括：
用于通过对像素值进行高通滤波并将所述高通滤波的输出加到所述像素值上来增强像素的装置。

17、  如权利要求12所述的装置，还包括：
用于只有当与所述共同边界相关联的边界强度变量等于非标准化值时，对所述两个相邻块的一个或多个像素进行增强的装置。

18、  如权利要求12所述的装置，还包括：
用于设定所述第一门限，使得低于所述门限的所测量的边缘活动性表示几乎没有活动性的装置。

19、  如权利要求12所述的装置，其中所述两个块中的每个包含4×4亮度像素。

20、  如权利要求12所述的装置，还包括：
用于只对距离所述共同边界一个或多个像素的像素进行增强的装置。

21、  如权利要求12所述的装置，还包括：
用于将所述第一门限设定为等于H.264去块效应滤波器的β门限的值的装置。

22、  如权利要求14所述的装置，还包括：
用于将所述第二门限设定为零的装置。

23、  用于对基于块的数字视频进行去块效应和边缘增强的电子设备，所述电子设备被配置为：确定两个块共用一个共同边界，测量所述共同边界的边缘活动性，将所述测量的边缘活动性与第一门限进行比较，如果所述边缘活动性低于所述第一门限则用低通滤波器对所述两个块的一个或多个像素进行滤波，以及，如果所述边缘活动性等于或高于所述第一门限则对所述两个相邻块的一个或多个像素进行增强。

24、  如权利要求3所述的电子装置，进一步配置为，通过进行高频加强滤波来增强像素。

25、  如权利要求23所述的电子装置，进一步配置为，将所述测量的边缘活动性与第二门限进行比较，并且如果所述边缘活动性等于或高于所述第二门限，则对所述两个相邻块的一个或多个像素进行增强。

26、  如权利要求23所述的电子装置，进一步配置为，接收来自基本层的所述两个块，以及确定没有接收到可用的增强层。

27、  如权利要求23所述的电子装置，进一步配置为，通过对像素值进行高通滤波并将所述高通滤波的输出加到所述像素值上，来增强像素。

28、  如权利要求23所述的电子装置，进一步配置为，只有当与所述共同边界相关联的边界强度变量等于非标准化值时，对所述两个相邻块的一个或多个像素进行增强。

29、  如权利要求23所述的电子装置，进一步配置为，设定所述第一门限，使得低于所述门限的所测量的边缘活动性表示几乎没有活动性。

30、  如权利要求23所述的电子装置，其中所述两个块中的每个包含4×4亮度像素。

31、  如权利要求23所述的电子装置，进一步配置为，只对距离所述共同边界一个或多个像素的像素进行增强。

32、  如权利要求23所述的电子装置，进一步配置为，将所述第一门限设定为等于H.264去块效应滤波器的β门限的值。

33、  如权利要求25所述的电子装置，进一步配置为，将所述第二门限设定为零。

34、  使计算机执行对基于块的数字视频进行去块效应和边缘增强的方法的计算机可读介质实施装置，所述方法包括：
确定两个块共用一个共同边界；
测量所述共同边界的边缘活动性；
将所述测量的边缘活动性与第一门限进行比较；
如果所述边缘活动性低于所述第一门限，则用低通滤波器对所述两个块的一个或多个像素进行滤波；以及
如果所述边缘活动性等于或高于所述第一门限，则对所述两个相邻块的一个或多个像素进行增强。

35、  被配置为实现对基于块的数字视频进行去块效应和边缘增强的方法的至少一个处理器，所述方法包括：
确定两个块共用一个共同边界；
测量所述共同边界的边缘活动性；
将所述测量的边缘活动性与第一门限进行比较；
如果所述边缘活动性低于所述第一门限，则用低通滤波器对所述两个块的一个或多个像素进行滤波；以及
如果所述边缘活动性等于或高于所述第一门限，则对所述两个相邻块的一个或多个像素进行增强。

用于低比特率视频压缩的图像增强的方法和装置
根据35U.S.C.§119的优先权要求
本专利申请要求2004年5月6日提交的题目为“Method andApparatus for Image Enhancement For Low Bit Rate VideoCompression(用于低比特率视频压缩的图像增强的方法和装置)”的临时申请No.60/554,369的优先权，该临时申请已转让给本申请的受让人，从而清楚地将其合并于此作为参考。
发明领域
本发明通常涉及数据压缩，尤其是涉及基于块的压缩。
技术背景
变换编码是一种常见的图像压缩技术，它将图像分为多个子图像或多个块来进行处理。因为对各块独立地进行编码，所以基于块的压缩引入了块边界之间的失真。因此，该变换并没有考虑块边界之间的相关性。因此，该项技术通常会得到大幅压缩的低比特率图像，但这些图像包含了诸如方块(blocking)、振铃(ringing)以及运动拖尾(motionsmear)的严重压缩失真。
在低比特率应用中可分级视频编码得到广泛接受，尤其是在具有可变带宽的异机种网络(如，互联网和无线流)中得到广泛接受。可分级视频编码使得编码视频以多层传输—通常，基本层包括最有价值的信息并占据了最少的带宽(该视频的最低比特率)，而各增强层在基本层的基础上提供了细部改善(refinement)。大多数可分级视频压缩技术利用了人类视觉系统相比平整、低频区域更容易忽视图像高频区域处(由压缩引起的)噪声的事实。因此，基本层主要包括了低频信息，而各增强层携带了高频信息。当网络带宽不足时，更有可能只接收编码视频的基本层(没有增强层)。在这种情况下，重建的视频是模糊的，去块效应滤波器可能甚至会加重这种效果。
结果，已经推荐了几种用于去块效应的后处理算法来减少和/或消除压缩失真。然而，很多算法都包括了复杂的计算，并有可能导致输出图像上的整体模糊效果。其它去块效应滤波器不能有效地保留边界信息，并且通常对于硬件实现很复杂。
发明内容
描述了用于在解码的基本层中通过加强高频边缘来减少模糊从而增强图像质量的方法和装置。高通滤波器可以标记、即突出相邻4×4像素块的边缘，然后将这些突出部分叠加在该图像上。在与无线技术中使用的移动站调制解调器(MSM)设备平台相类似的硬件实现情况下，所公开的方法和装置可以使用视频核中已经存在的去块效应滤波器条件和电路来以很小或无额外的代价引入高频增强特征。
附图简要说明
图1是用于流视频传送的通信系统的示例图；
图2是相邻垂直和水平4×4块边界的像素图；
图3是一个图像压缩器示例的图；
图4是一个与图像压缩器相对称的图像解压缩器示例的图；以及
图5是一个处理图像的示例性实施例的流程图；
详细说明
在下面说明中，给出了具体细节以便提供对各个实施例的透彻理解。然而，本领域的一般技术人员会理解无需这些具体细节也可以实践这些实施例。例如，为了不以不必要的细节来模糊各个实施例，可以将电气组件表示为方框图。在其它实施例中，会详细表示这些组件、其它结构以及技术，以便更进一步解释实施例。
还要注意的是可以将这些实施例描述为处理过程，可以将该处理过程描绘成流程图、作业图、结构图或方框图。虽然流程图会将各项操作描述为顺序的处理过程，但这些操作中的很多操作可以并行或同时地执行，并且可以重复该处理过程。此外，可以重新安排这些操作的次序。当处理过程的各项操作完成时，该处理过程结束。处理过程可以对应于一种方法、函数、程序、子函数、子程序等。当处理过程对应于一种函数时，它的结束对应于该函数返回调用函数或主函数。
描述了通过在解码图像中加强高频边缘来增强用基于块的压缩进行压缩的图像质量的方法和装置。高频加强滤波器可以放大，即增强每个接收图像块的边缘，结果增强了图像块的边缘。允许低频通过的结果是，在输入图像中的恒定亮度区域基本上未受高频加强滤波器影响。在该滤波器输出端对包含高频的强亮度梯度区域进行加强或放大。还可以使用高通滤波器，将高通滤波器的输出叠加或覆盖在图像上，从而增强图像的边缘。因为对于低频区域高通滤波器的输出接近于零，所以恒定亮度区域不受该覆盖输出的显著影响。在时域可分级视频传送系统中，当接收了基本层、但有些增强层数据没有接收到或接收有误时，边缘增强特征是有用的。
图1是一个用于编码和解码流图像的一般通信系统的方框图。系统100包括编码器设备105和解码器设备110。编码器设备105还包括变换部件115、量化部件120、去块效应125、时域预测部件130、处理器部件135以及通信部件140。处理器135提供了计算平台，来执行其他部件的处理。变换部件115将视频数据从空间域变换到另一个域，诸如DCT(离散余弦变换)情况下的频域。被变换的数据可以是对实际视频数据进行变换的帧内编码(intra-coded)数据，或者可以是对运动矢量和残差进行变换的帧间编码(inter-coded)数据。其它数字变换包括了哈达玛变换、DWT(离散小波变换)以及诸如H.264中使用的整数变换。
量化部件120对比特数进行分配以表示每个变换后的系数。对变换系数的量化可以针对每个宏块发生改变，其中宏块是一个16×16像素的块(一个宏块由一个16×16的亮度块和两个8×8的色度块组成)。量化参数QP确定了所进行的量化级别。通过增加QP提供更粗糙的系数数字表示，来实现更多的数字压缩，但是也会引入诸如模糊和方块的失真。去块效应部件125进行低通滤波和/或边缘增强。时域预测部件130在参考帧(或多个参考帧)中定位最匹配的宏块，并计算用来识别最匹配宏块的运动矢量。
变换部件115和量化部件120还分别进行反变换和反量化。在编码器中进行这些逆操作是为了允许压缩视频数据的重建，使得时域预测部件130可以用与接收该编码数据的解码器设备相同的重建视频数据来进行它的预测。相同的原因，去块效应部件125可以在编码器设备105中进行低通滤波和/或边缘增强。去块效应操作在重建过程中的反量化和反变换之后进行。
通信部件140包括用于从外部源145接收待编码数据的逻辑。例如，外部源145可以是外部存储器、互联网、实时视频和/或音频输入，并且对数据的接收可以包括有线和/或无线通信。通信部件140还包含将编码数据发送(Tx)到网络150上的逻辑。网络150可以是诸如电话、电缆和光纤的有线系统或无线系统的一部分。在无线的情况下，通信系统、网络140可以包括例如码分多址(CDMA或CDMA2000)通信系统的一部分，或者，该系统可以是频分多址(FDMA)系统、诸如GSM/GPRS(通用分组无线业务)/EDGE(增强数据GSM环境)或用于服务业的TETRA(地面集群无线)移动电话技术的时分多址(TDMA)系统、宽带码分多址(WCDMA)、高数据率(1xEV-DO或1xEV-DO金牌多播)系统，或者通常使用组合技术的任何无线通信系统。
解码器设备110包含与编码器设备105相似的部件，包括反变换部件155、反量化部件160、去块效应部件165、时域预测解码部件170、通信部件175以及处理器部件180。解码器设备110接收通过网络150传输或从外部存储器185接收的编码数据。通信部件175包含用于接收(Rx)来自网络150的编码数据的逻辑，以及用于从外部存储器185接收编码数据的逻辑。例如，外部存储器185可以是外部RAM或ROM或远程服务器。反量化部件160对帧内编码数据进行处理，接着反变换部件155进行处理，再接着是去块效应部件165进行处理，最后产生可以显示在显示部件190上的解码图像。去块效应部件165进行低通滤波和/或边缘增强。
在(多个)参考帧被解码之后才能对帧间编码数据进行解码，这些数据从参考帧中预测得到。反量化部件160对残差系数进行处理，接着是反变换部件155进行处理，之后是去块效应部件165进行处理，最后产生解码的残差。然后将该残差与来自参考帧的最匹配宏块相合成，其中时域预测解码部件170对该最匹配块进行了定位。然后，去块效应部件165对帧间编码帧进行处理，产生解码的帧间编码帧。各解码帧可以由显示部件190显示，并存储在外部存储器185中或存储在处理器部件180的内部存储器中。显示部件190可以是解码设备的集成部件，包含诸如具有显示屏幕的视频显示硬件和逻辑的部件，或者该显示部件可以是一个外围设备。通信部件175还包含用于与外部存储部件185或显示部件190进行解码帧的通信的逻辑。下面详细讨论去块效应部件125和165进行的低通滤波和边缘增强。
已知的视频编码标准H.264由活动图像专家组(MPEG)和国际电信联盟(ITU)联合开发，并作为MPEG-4第10部分或高级视频编码(AVC)被添加到MPEG-4规范中。
H.264中规定的去块效应滤波器要求有可以确定沿块边界的活动性的判决树。正如最初在H.264中设计的，对于图像活动性超过设定门限的块边缘不进行滤波或进行轻微滤波，而对那些低活动性块的边缘进行强滤波。例如，所应用的滤波器可以是诸如3抽头或5抽头的低通有限脉冲响应(FIR)滤波器。
在一个示例中，通过使用去块效应滤波器进行高频加强来实现边缘增强方法。设计用于基于块的视频压缩的去块效应滤波器主要遵循一个共同的原则，沿块边缘对亮度变化进行测量，然后确定要使用的滤波强度，然后跨越块边缘进行实际的低通滤波操作。去块效应滤波器的目标就是通过平滑(低通滤波)块边缘来减少方块失真。为了避免图像中的边界特征模糊，进行了边缘活动性(edge activity)测量，并且通常将低通滤波应用于无边缘区域(在该区域内边缘活动性测量值越低，对其滤波越强)。例如通过改变滤波器的系数对去块效应滤波器进行改进，从而该去块效应滤波器可以以廉价的方式实现功能，并用高频增强滤波器来增强检测到的边缘(在理想情况下，高频加强滤波器是简单的1+高通滤波器)。
使用去块效应滤波器的边缘增强还可以应用于时域可分级编码比特流中，该比特流包括了基本层和增强层。在解码器接收到基本层但不能接收所有的增强层的条件下，对重建的图像序列进行模糊并对接收图像中的边缘或活动性进行增强(使用高通滤波或高频加强)可以改善观看的图像质量。因为滤波器判决已经是现有设计的一部分，所以在去块效应器中实现边缘增强可能更为有效率。此外，在数字信号处理器(DSP)平台中实现这样的像素域后处理功能将会耗费许多宝贵的MIPS，这些MIPS本可以用于比特流中的可分级支持，也可以用于许多其它质量增强功能。
回路内去块效应滤波器(包括在编码器的解码器之后，该解码器允许在去块效应后的重建帧上进行预测)可以在所有4×4块边界上进行操作，并会影响重建帧的每个像素。虽然复杂(就计算量而言)，但是要想兼容H.264标准就会要求有该去块效应特征，该标准的广泛采用和推广也使其有必要依据目标应用而在软件、固件和硬件平台上实现。结果，提供了对重建视频的每个像素的访问。这就使得有能力将后处理功能应用于重建视频，诸如图像增强、边缘增强、错误隐藏(在易出错网络上的视频传输应用中)、帧率上变换等等。虽然，基线H.264标准不提供可分级模式，但对H.264的扩展允许可分级视频编码(SVC)，其中可以针对边缘增强应用高频加强滤波。
图2是邻近垂直和水平4×4块边界的像素的图示。垂直边界200表示在两个并排4×4块之间的任意边界。像素202、204、206和208分别标记为p0、p1、p2和p3，它们位于垂直边界200的左边，而像素212、214、216和218分别标记为q0、q1、q2和q3，它们位于垂直边界200的右边。水平边界220表示在两个4×4块之间的任意边界，一个块直接在另一个块上方。像素222、224、226和228分别标记为q0、q1、q2和q3，它们位于水平边界200上边，而像素232、234、236和238分别标记为q0、q1、q2和q3，它们位于水平边界200的下边。在下面示例中，滤波操作影响到每边的三个像素，在边界上边或下边。根据用于变换系数的量化器、各块的编码模式(帧内或帧间编码)、以及跨越边界的图像采样梯度，可能会产生出几种结果，这些结果从一个像素都不滤波到对像素p0、p1、p2、q0、q1和q2进行滤波。
在一个实施例中，要确定有足够的边缘活动性来进行高频加强滤波器边缘增强，即在门限之上的边缘活动性。如果该边缘活动性低于该门限，那么可以进行低通滤波。可替换地，可以不考虑活动性而在所有的边缘上进行高频加强滤波，然后可以做出关于低通滤波器的判定。可替换地，可以使用第二个门限，其中如果边缘活动性在第二个门限之上，则进行高频加强滤波，如果边缘活动性低于第一个门限，则进行低通滤波。
H.264去块效应包括了在相对较小活动性的区域中使用的强滤波方法，从而使这些区域出现边缘的可能性很小，以及在具有更高活动性的区域中使用的弱滤波，从而使这些区域出现边缘的可能性较大。下面的讨论仅涉及H.264弱去块效应滤波方法。为了确定最大门限，其中在该门限下由最初H.264弱去块效应滤波器进行低通滤波，首先计算下面各个变量以便确定滤波强度，以及在哪些活动性条件下对每个所考虑的4×4块边缘进行滤波：
门限t_C确定如下。
对于亮度：
t_C＝t_C0+((a_p＜β)？1:0)+((a_q＜β)？1:0)    [1]
对于色度：
t_C＝t_C0+1                                  [2]
其中a_p＝Abs(p₂-p₀)且a_q＝Abs(q₂-q₀)         [3]
在H.264中，变量t_C0是基于bS(边界强度)和索引A的活动性门限，(索引A是相对于量化参数QP的偏移量，其中QP从0到51变化)。上面式[3]给出了活动性测量值a_p和a_q，当它们小于β时均将t_C0增加1(见上式[1])。β越大，越有可能出现边界，也就越不可能进行低通滤波。为每个4×4块边界确定了边界强度，并且强度值从零到4。确定边界强度的细节对于那些本领域内一般技术人员是已知的，所以对理解本公开方法没有必要赘述。一旦推导出边界强度，就可以基于相邻块的平均QP值确定索引A值。因为QP是在宏块的基础上变化，并且因亮度和色度而不同，因此计算了3个亮度和色度的平均QP值(从而有6个索引A的值)：1)沿最左边的宏块边缘，2)沿最顶端的宏块边缘，以及3)对于该宏块内的所有4×4块边缘。一旦计算出索引A的值，则在查找表中确定了β的值，并且β值从零到18范围内。然后在上面式[1]和[2]中计算该门限t_C，并且计算低通滤波参数Delta：
Delta：
Δ＝Clip3(-t_C，t_C，((((q₀-p₀)＜＜2)+(p₁-q₁)+4)＞＞3))    [4]
对于亮度和色度，p_i，q_i，i＝0，1，2的低通滤波进行如下：
p₀′＝Clip1(p₀+Δ)              [5]
q₀′＝Clip1(q₀-Δ)              [6]
其中
Clip1(x)＝Clip3(0，255，x)      [7]
其中

上面式[5]和[6]的低通滤波仅仅是H.264去块效应滤波器中的第一次低通滤波。除了这次低通滤波以外，还进行了第二个类型的低通滤波。在此示例中，本公开方法在此第二类型低通滤波中实现。在下列式[9]、[10]、[11]以及[12]中用于亮度的滤波取决于边界活动性测量值a_p和a_q，并且只对像素p1和q1进行滤波(见图2的像素204、214、224以及234)，并且当边界活动性测量值低于门限β时包括低通滤波，以及当边界活动性测量值高于门限时包括高频加强滤波：
如果(a_p＜β)，低通滤波器如下：
p₁′＝p₁+Clip3(-t_C0，t_C0，(p₂+((p₀+q₀+1)＞＞1)-(p₁＜＜1))＞＞1)    [9]
否则，高通滤波器如下：
p₁′＝p₁+Clip3(-t_C0，t_C0，((p₂＞＞1)-((p₀+q₀+1)＞＞1)+(p₁＞＞1))＞＞1)    [10]
如果(a_q＜β)，低通滤波器如下：
q₁′＝q₁+Clip3(-t_C0，t_C0，(q₂+((p₀+q₀+1)＞＞1)-(q₁＜＜1))＞＞1)           [11]
否则，高通滤波器如下：
q₁′＝q₁+Clip3(-t_C0，t_C0，((q₂＞＞1)-((p₀+q₀+1)＞＞1)+(q₁＞＞1))＞＞1)
可以发现对p1和q1的滤波会提供满意的边缘增强而不会产生诸如混叠(aliasing)的失真。可以发现对像素p0和q0进行滤波产生混叠和/或方块失真。
总之，当沿块边缘的活动性较弱(低于β)时，对该边缘进行如下低通滤波：
p 1 = p 1 + Clip 3 ( - tc 0 , tc 0 , [ p 2 2 + p 0 + q 0 4 - p 1 ] - - - [ 13 ] ]]>
当该活动性高于β时，将去块效应滤波改为如下高频加强：
p 1 = p 1 + Clip 3 ( - t c 0 , tc 0 , [ p 2 4 - ( p 0 + q 0 4 ) + p 1 4 ] - - - [ 14 ] ]]>
在一个示例性实施例中，例如，可以用一个确定的边界强度(bS)值，诸如7(其中7是不对应于任何从零到4的H.264标准化bS值的任意值)来进行高通滤波操作，这使得当接收到基本层而未接收到增强层时由解码器来激活高通滤波操作。因为要求有3比特来表示bS的值，所以可以用从5到7的任意一个值来表示一个给定的4×4块边缘需要被增强或者是应该开启边缘增强。如上述讨论，可以使用第二个门限(例如β2)，其中如果边缘活动性高于第二个门限β2则进行高频加强滤波，如果边缘活动性低于第一个门限β则进行低通滤波。
图3、4和5示出了说明包括边缘增强的去块效应处理示例的流程图。在图3、4和5中说明的这些处理过程可以由诸如图1的编码器设备105和解码器设备110的设备来进行处理。图3中的处理过程300使用了与上面讨论的、包含在式[9]、[10]、[11]和[12]中的示例相类似的单个门限。可以随着宏块的解码以扫描次序进行去块效应处理过程300，或者可以推迟到整个帧解码后再进行处理。在步骤305，诸如图1中的处理器部件135和180的处理器从存储器访问被接收、反量化和反变换后的16×16像素宏块。诸如图1中的通信部件140和175的接收装置和诸如图1中去块效应部件125和165的相邻块确定装置可以执行步骤305。在步骤310，对沿着每对相邻4×4块的每个边缘的边缘活动性进行测量。例如，可以以上述式[3]中针对a_p和a_q示出的方法来对边缘活动性进行测量。诸如图1中的去块效应部件125和165的测量装置可以执行步骤310。在步骤315，如果确定边缘活动性高于门限，那么在步骤320进行边缘增强。可以用诸如上述式[10]和[12]中的高频加强滤波来进行边缘增强，或者通过使用一个高通滤波器，将高通滤波器的输出覆盖(叠加)在增强的像素上。诸如图1中的去块效应部件125和165的增强装置可以进行步骤320。诸如去块效应部件125和165的比较装置可以执行步骤315。在步骤315中，如果确定边缘活动性不大于门限，则在步骤325对像素进行低通滤波。可以用诸如上述式[5]、[6]、[9]和[11]的低通滤波来进行低通滤波。滤波后，在步骤330将4×4块存储在存储器中。重复步骤305到330，直到对整个帧进行了低通滤波和/或高频加强滤波，此时步骤330将该帧存入存储器中或进行显示。重复步骤305到330直到完成编码比特流。
图4和5示出了处理过程300的变体。图4中的处理过程400不考虑边缘活动性测量，通过对4×4相邻块之间的每个边界进行高频加强滤波来进行边缘增强，步骤415。在步骤420，如果步骤410中所测量的边缘活动性等于或低于门限，那么对相邻的块进行低通滤波。图5中的处理过程500使用了两个门限。在步骤515，如果边缘活动性低于第一个门限，那么在步骤520对相邻的块进行低通滤波。该门限可以是上面讨论的、出现在式[9]、[10]、[11]和[12]中的标准β门限。如果边缘活动性等于或高于第一个门限，那么在步骤525将其与第二个门限相比较。如果该边缘活动性高于第二个门限，则在步骤530用高频加强滤波来对相邻块的像素进行边缘增强。如果步骤525确定了边缘活动性等于或低于第二个门限，则不进行滤波。
要认识到所描述的方法和装置可以通过在MSM中视频核的现有结构上进行修改从而得以实践，这些修改可以扩展到该特征的一般硬件实现。
在上述说明中，片(slice)可以表示一组连续的扫描行，而不仅仅是16个连续的扫描行。同时，如果可以将块进行再分割的话，数据块可以是n×m块，其中n不等于m。此外，可以使用具有相同数目或不同数目色分量的不同色空间来表示图像像素。但是为了解释说明，下面将使用16×16像素的块尺寸和YCbCr色空间。
如上所述，当系统允许时，图1中的去块效应部件125和165可以根据相邻块的特征选择不同的滤波器。这样，去块效应部件125和165可以包括一个或多个类型的滤波器，诸如FIR滤波器、平均滤波器、高斯(Gaussian)滤波器和/或多相(polyphase)滤波器，但并不局限于这些滤波器。
此外，如上所述，图1的变换部件115和155还可以包括除上述H.264整数变换以外的不同类型的变换。H.264整数变换在4×4像素块上进行操作。这样，需要对每个4×4块进行去块效应和/或边缘增强。另一类变换是ABSDCT(自适应块尺寸DCT)技术。下面将用16×16像素的块尺寸来说明使用ABSDCT的压缩技术。通常，将亮度和色度的每个分量传给块交织器。在一个实施例中，将16×16块提供给块交织器，其对16×16块中的像素采样进行排序以便为DCT分析产生各个数据块和组成的数据子块。将一个16×16DCT应用于第一次排序，将四个8×8DCT应用于第二次排序，将16个4×4DCT应用于第三次排序，以及将64个2×2DCT应用于第四次排序。DCT操作减少了源图像中固有的空间冗余。在进行DCT之后，大部分图像信号能量倾向于集中在少数DCT系数上。
对于16×16块和每个子块，对变换后的系数进行分析以便确定编码该块或子块所需的比特数。然后，选取需要最少编码比特数的块或子块的组合来表示图像片断。例如，可以选取两个8×8子块、六个4×4子块以及八个2×2子块来表示该图像片断。然后，依序排列所选取的块或子块组合。
对于16×16数据块，ABSDCT技术产生了已知为PQR信息的数据，该信息表示了在16×16块中块尺寸的分配。PQR信息是可变比特宽度数据，描述了再分割16×16块的程度。PQR字段的R比特表示是否将16×16块再分割为四个8×8块。
另外的四个比特称为‘Q’信息。Q的每个比特表示将一个8×8块再分割为四个4×4块的子分割。对于每个设定的Q比特，用另外四个‘P’比特来表示是否将任何4×4块再分割为2×2块。因此，PQR数据的长度可以是1到21比特长，这取决于在16×16块中的块尺寸的分配。这样，可以根据分配准则将每个块分为8×8、4×4和/或2×2尺寸的子块。
这样，可以产生PQR信息，并将其用于确定对哪些块尺寸进行去块效应(低通滤波和/或高频加强滤波)。将PQR信息用于确定图像中的边缘内容。块中边缘信息越多，块尺寸就越小，PQR码就越长。
上述方法和装置的多个示例包括：
用于对基于块的数字视频的去块效应和边缘增强的方法，包括：确定两个块共用一个共同边界，对该共同边界的边缘活动性进行测量，将测量的边缘活动性和第一个门限相比较，如果该边缘活动性低于第一个门限则用低通滤波器对两个块的一个或多个像素进行滤波，并且如果边缘活动性等于或高于第一个门限则对两个相邻块的一个或多个像素进行增强。
用于对基于块的数字视频进行去块效应和边缘增强的装置，其包括：用于确定两个块共用一个共同边界的装置，用于测量该共同边界的边缘活动性的装置，用于将测量的边缘活动性与第一个门限相比较的装置，如果边缘活动性低于第一个门限则用低通滤波器对两个块一个或多个像素进行滤波的装置，以及如果边缘活动性等于或高于第一个门限则对两个相邻块的一个或多个像素进行增强的装置。
用于对基于块的数字视频进行去块效应和边缘增强的电子设备，该电子设备配置被配置为：确定两个块共用一个共同边界，测量该共同边界的边缘活动性，将测量的边缘活动性与第一门限相比较，如果边缘活动性低于第一个门限则用低通滤波器对两个块的一个或多个像素进行滤波，如果边缘活动性等于或高于第一个门限则对两个相邻块的一个或多个像素进行增强。
使计算机执行对基于块的数字视频进行去块效应和边缘增强的方法的计算机可读介质实施装置，包括：确定两个块共用一个共同边界，测量该共同边界的边缘活动性，将测量的边缘活动性与第一个门限相比较，如果该边缘活动性低于第一个门限则用低通滤波器对两个块的一个或多个像素进行滤波，以及如果边缘活动性等于或高于第一个门限则对两个相邻块的一个或多个像素进行增强。
本领域的一般技术人员会理解，信息和信号可以用不同技术和技巧的任何一种变体来表示。例如，可以将上面说明中提到的数据、指令、命令、信息、信号、比特、符号以及码片表示为电压、电流、电磁波、磁场或粒子、光场或粒子、或其任何组合。
本领域的一般技术人员还会意识到可以将各种说明性的逻辑块、模块、以及与这里公开的示例相结合进行描述的算法步骤实现为电子硬件、计算机软件、或者二者组合。为了清楚表示硬件和软件的可交换性，在前面通常就其各自功能性描述了各个说明性部件、块、模块、电路和步骤。是否将这种功能性实现为硬件或软件，取决于施加在整个系统上的特定的应用和设计约束。熟练的技术人员可以针对每个特定应用来以各种方式实现所述功能性，但是不应该将这种实现决定解释为脱离本公开方法的范围。
结合此处所公开的各个示例描述的各种说明性逻辑块、模块以及电路可以由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件部件、或其中设计用于实现这里所述功能的任意组合来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。还可以将处理器实现为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、与DSP核结合的一个或多个微处理器、或者任何其它这样的配置。
可以将结合此处公开的示例进行描述的方法或算法的步骤直接实现在硬件中、由处理器执行的软件模块中、或者二者的组合中。软件模块可以存在于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、或者本领域已知的任何其它类型的存储媒介中。将示例性存储媒介连接到处理器，使得处理器可以从存储媒介读取信息并且将信息写入存储媒介中。可替换地，可以将存储媒介集成到处理器中。处理器和存储媒介可以存在于专用集成电路(ASIC)中。ASIC可以存在于在无线调制解调器中。可替换地，处理器和存储媒介可以作为分立部件存在于无线调制解调器中。
提供对所公开示例的上述说明，以便使本领域的任何一般技术人员都能够实现或使用所公开的方法和装置。对这些示例的各种修改对本领域的那些熟练技术人员来说是容易显然的，并且在不脱离本发明的精神或范围的情况下，可以将这里定义的一般原理应用到其它示例。
这样，已经描述了一种用于对基于块的视频进行去块效应和边缘增强的方法和装置，包括基于测量的块边界边缘活动性级别进行低通滤波和高频边缘增强。