用于视频编码器的预测方法、装置、和介质.pdf

一种预测方法、装置、和包括计算机可读代码的介质，其用于通过考虑到接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧间预测开销的平均值或帧内预测开销的平均值；使用计算的帧内预测开销和/或帧间预测开销的平均值来计算阈值；和基于计算的阈值来确定是否对后继图像执行帧内预测。因此，通过大量地减少需要经历帧内预测的宏块的数目，可大量地减少被传统地需求来编码图像的计算量，而对编码性能无任何恶化。

1、  一种预测方法，包括：
通过基于接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；
基于帧内预测开销的平均值或帧间预测开销的平均值来计算阈值；和
基于计算的阈值来确定是否对后继图像执行帧内预测。

2、  如权利要求1所述的预测方法，其中，在计算帧内预测开销的平均值或帧间预测开销的平均值时，如果接收的图像是I图像，则通过执行帧内预测来编码接收的图像，并且计算接收的图像的宏块的帧内预测开销的平均值。

3、  如权利要求2所述的预测方法，其中，在计算帧内预测开销的平均值或帧间预测开销的平均值时，从接收的图像的宏块的帧内预测开销的平均值的计算中排除比预定阈值大的帧内预测开销。

4、  如权利要求1所述的预测方法，其中，在计算帧内预测开销的平均值或帧间预测开销的平均值时，如果接收的图像是P图像，则通过执行帧间预测和帧内预测来编码接收的图像，并且计算接收的图像的宏块的帧间预测开销的平均值。

5、  如权利要求4所述的预测方法，其中，计算帧内预测开销的平均值或帧间预测开销的平均值还包括：
接收P图像的给定宏块，并且通过执行帧间预测来计算给定宏块的帧间预测开销；
如果给定宏块的帧间预测开销大于阈值与预定偏移的和，则通过执行帧内预测来计算给定宏块的帧内预测开销，如果给定宏块的帧内预测开销大于给定宏块的帧间预测开销，则选择帧间预测模式，和如果给定宏块的帧内预测开销不大于给定宏块的帧间预测开销，则选择帧内预测模式；和
通过执行接收另外的给定宏块并且计算各个帧间预测开销来计算P图像的宏块的帧间预测开销的平均值，基于各个帧间预测开销的大小来计算其它给定宏块的各个帧内预测开销，和基于其它给定宏块的帧间预测开销的大小来对P图像的每个宏块选择帧内预测模式。

6、  如权利要求5所述的预测方法，其中，如果给定宏块的帧间预测开销小于阈值与预定偏移的和，则帧间预测模式被选择，而不对P图像的给定宏块执行帧内预测。

7、  如权利要求1所述的预测方法，其中，计算阈值还包括：
基于INTRA_LOW_TH＝MAX(α^*avg_inter_cost，INTER_LOW_TH)来对接收的图像的宏块的帧间预测开销的平均值计算下界，其中，avg_inter_cost表示接收的图像的宏块的帧间预测开销的平均值，INTER_LOW_TH表示avg_inter_cost的下界；和
基于INTER_TH＝MAX(avg_intra_cost，INTRA_LOW_TH)来计算阈值，其中，INTER_TH表示阈值，avg_intra_cost表示接收的图像的宏块的帧内预测开销的平均值。

8、  如权利要求1所述的预测方法，其中，对其选择帧内预测模式的宏块的数目占据小于宏块总数的10％。

9、  一种预测装置，包括：
编码单元，通过考虑到接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；
阈值计算单元，使用计算的帧内预测开销或帧间预测开销的平均值来计算阈值；和
确定单元，基于由阈值计算单元获得的计算的阈值来确定是否对后继图像执行帧内预测。

10、  如权利要求9所述的预测装置，其中，如果接收的图像是I图像，则编码单元通过执行帧内预测来编码接收的图像，并且计算接收的图像的宏块的帧内预测开销的平均值。

11、  如权利要求9所述的预测装置，其中，如果接收的图像是P图像，则编码单元通过执行帧间预测和帧内预测来编码接收的图像，并且计算接收的图像的宏块的帧间预测开销的平均值。

12、  如权利要求9所述的预测装置，其中，编码单元包括：
帧间预测开销计算单元，其接收P图像的给定宏块，并且通过执行帧间预测来计算给定宏块的帧间预测开销；
帧内预测开销计算单元，如果给定宏块的帧间预测开销大于阈值与预定偏移的和，则其通过执行帧内预测来计算给定宏块的帧内预测开销。
预测模式确定单元，如果给定宏块的帧内预测开销大于给定宏块的帧间预测开销，则其选择帧间预测模式，如果给定宏块的帧内预测开销不大于给定宏块的帧间预测开销，则其选择帧内预测模式；和
平均值计算单元，其计算P图像的所有宏块的帧间预测开销的平均值。

13、  如权利要求12所述的预测装置，其中，如果给定宏块的帧间预测开销小于阈值与预定偏移的和，则预测模式确定单元选择帧间预测模式而不对P图像的给定宏块执行帧内预测。

14、  如权利要求9所述的预测装置，其中，确定单元：
基于INTRA_LOW_TH＝MAX(α^*avg_inter_cost，INTER_LOW_TH)计算接收的图像的宏块的帧间预测开销的平均值的下界，其中，avg_inter_cost表示接收的图像的宏块的帧间预测开销的平均值，INTER_LOW_TH表示avg_inter_cost的下界；和
基于INTER_TH＝MAX(avg_intra_cost，INTRA_LOW_TH)来计算阈值，其中，INTER_TH表示阈值，avg_intra_cost表示接收的图像的宏块的帧内预测开销的平均值。

15、  如权利要求9所述的预测装置，其中，对其选择帧内预测模式的宏块的数目占据小于宏块总数的10％。

16、  一种包括计算机可读代码的介质，该计算机可读代码用于控制：
通过考虑到接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；
基于计算的平均值来计算阈值；和
基于计算的阈值来确定是否对后继图像执行帧内预测。

17、  一种包括用于控制如权利要求1所述的预测方法的操作的计算机可读代码的介质。

18、  一种包括计算机可读代码的介质，计算机可读代码用于控制如权利要求9所述的预测装置，以计算帧内预测开销或帧间预测开销的平均值，计算阈值，和确定是否对后继图像执行帧内预测。

用于视频编码器的预测方法、装置、和介质
本申请要求已于2003年9月30日提交到韩国知识产权局的第2003-67908号韩国专利申请的优先权利益，在这里该申请全部公开作为参考。
                        技术领域
本发明涉及视频数据的编码，更具体地讲，涉及一种用于视频编码的预测方法及装置。
                        背景技术
图1是示出H.264编码器的方框图。参考图1，H.264编码器包括预测单元110、变换和量化单元120、和熵编码单元130。
预测单元110执行帧间预测和帧内预测。帧间预测或帧间图像预测是基于在被解码然后被去块滤波后存储在缓冲器中的参考图像的相应块来预测当前图像的块的处理。为了执行帧间预测，预测单元110包括运动估计器111和运动补偿器112。另一方面，帧内预测或帧内图像预测是通过使用与预定块邻近的块的像素数据来预测已经被解码的图像的预定块的处理。
变换和量化单元120变换和量化由预测单元预测的采样块，从而采样块被压缩。熵编码单元130以H.264比特流格式来熵编码量化的视频数据。
图2是示出图像组(GOP)200的结构的视图。以帧内编码图像(称作I图像)开始的一组图像称为GOP。更具体地讲，MPEG视频数据的GOP由三种不同类型图像组成，即：I图像，其为压缩的静止图像；预测图像(称作P图像)，其通过前向预测获得；和双向预测图像(称作B图像)，其通过前向和后向预测及双向预测获得。在GOP中，I图像被编码而不参考P或B图像。
使用它们的各个前I和P图像的信息来编码或解码P图像。如此P图像编码的概念是基于事实：在多数情况下，运动图像数据的连续图像彼此没有很大的不同，从而它们经常表示图像块的微小运动或较小改变，而不是显著的运动或改变。因此，由于存在图像块的微小运动，如果有的话，所以能够通过简单地编码它们的差来编码连续图像。
使用关于它们的各个前I和P图像及后继I和P图像的信息来编码和解码B图像。在如此B图像编码中，能够实现高压缩率。使用其前I和P图像的差及其后继I和P图像的差来产生每个B图像。
采用国际电信联盟-电信标准化组织(ITU-T)的H.263或国际标准化组织(ISO)/国际电工委员会(IEC)的MPEG-2/4的运动图像编码器通过使用对P图像逐宏块地执行运动估计的结果执行帧间预测和使用预定开销函数计算开销来对P图像确定运动预测模式。该开销能够以各种方式来计算，例如，使用运动补偿误差，即，绝对差值和(SAD)。更具体地讲，如果SAD小于当前宏块的特征值如宏块像素值的方差，则运动图像编码器选择帧间预测模式，并且如果SAD不小于当前宏块的特征值，则选择帧内预测模式。
采用ITU-T的H.264或ISO/IEC的MPEG-4 AV的运动图像编码器通过执行帧间预测和帧内预测操作来确定P图像的运动预测模式。换言之，对P图像的每个宏块执行帧内预测和帧间预测，然后比较作为帧内预测的结果获得的开销和作为帧间预测的结果获得的开销。此后，在帧间预测模式和帧内预测模式之间选择具有较小开销的一个。
上述H.264帧内预测方法提供了十三种预测模式。更具体地讲，在H.264帧内预测方法中，根据要被预测的块的大小，十三种预测模式大体上分为九种4×4块预测模式和四种16×16块预测模式。根据其中使用与要被预测的给定的4×4块邻近的块的像素值而获得预测的采样块的预测方向来区分4×4块预测模式或16×16块预测模式。在H.264帧内预测方法中，使用十三种预测模式中的每个来执行帧内预测，在十三种预测模式中选择具有最小开销的预测模式，然后将该最小开销与作为帧间预测的结果获得的开销比较，这导致相当大的计算量。
                        发明内容
本发明的实施例提供了预测方法、装置、和包括用于能够减少传统地需求的计算量的运动图像编码操作的计算机可读代码的介质。
将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明地实施而得知。
为了实现以上和/或其它方面和优点，本发明的实施例包括一种预测方法，该方法包括：通过基于接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；基于帧内预测开销的平均值或帧间预测开销的平均值来计算阈值；和基于计算的阈值来确定是否对后继图像执行帧内预测。
为了实现以上和/或另外的方面和优点，本发明的实施例包括一种预测装置，该装置包括：编码单元，通过考虑到接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；阈值计算单元，使用计算的帧内预测开销或帧间预测开销的平均值来计算阈值；和确定单元，基于通过由阈值计算单元获得的计算的阈值来确定是否对后继图像执行帧内预测。
为了实现以上和/或另外的方面和优点，本发明的实施例包括一种包含计算机可读代码的介质，该计算机可读代码用于控制：通过考虑到接收的图像的类型使用帧内预测和/或帧间预测编码接收的图像来计算接收的图像的宏块的帧内预测开销的平均值或帧间预测开销的平均值；基于计算的平均值来计算阈值；和基于计算的阈值来确定是否对后继图像执行帧内预测。
另外的实施例还可包括一种包含计算机可读代码的介质，该计算机可读代码用于控制本发明的实施例的预测方法的操作和控制本发明的实施例的预测装置以执行：计算帧内预测开销或帧间预测开销的平均值；计算阈值；和确定是否对后继图像执行帧内预测。
                        附图说明
通过结合附图对实施例进行下面的描述，本发明这些和/或其它方面和优点将会变得清楚和更易于理解，其中：
图1是示出H.264编码器的方框图；
图2是示出图像组(GOP)的视图；
图3是示出根据本发明实施例的预测方法的流程图；
图4是示出图3中的预测方法的详细的流程图；
图5是示出根据本发明实施例的计算I图像的帧内预测开销的平均值的方法的流程图；
图6是示出根据本发明实施例的计算P图像的帧间预测开销的平均值的方法的流程图；
图7是示出根据本发明实施例的预测装置的方框图；
图8是图7中的编码单元的详细的方框图；
图9A是示出当根据本发明实施例的预测方法应用到足球图像时，对其选择帧内预测的宏块的数目的视图；
图9B是示出当根据本发明实施例的预测方法应用到苏茜(Susie)图像时，对其选择帧内预测的宏块的数目的视图；
图10A是示出图9A的足球图像的峰值信噪比(PSNR)的变化的曲线图；
图10B是示出图9B的苏茜图像的PSNR的变化的曲线图。
                        具体实施方式
现在将详细地描述本发明的实施例，其例子显示在附图中，其中，相同的标号始终表示相同的部件。以下，通过参考附图来描述实施例以解释本发明。
在编码处理中，对其选择帧内预测模式的宏块的数目占据小于宏块总数的10％。因此，在本发明实施例中，通过对每个图像的大多数宏块执行帧间预测和仅仅对满足特定条件的一些宏块执行帧内预测来减少传统地需求以编码运动图像的计算量。
图3是示出根据本发明实施例的预测方法的流程图。参考图3，在操作S310中，接收图像，在操作S320中，将接收的图像编码。在接收的图像的编码期间，首先确定接收的图像是I图像或P图像，并且执行用于接收的图像的确定的类型的恰当的编码方法。换言之，如果接收的图像是I图像，则对接收的图像执行帧内预测。如果接收的图像是P图像，则对接收的图像执行帧间预测和帧内预测。通过使用在编码前图像的处理中已经获得的阈值可以省略帧间预测。以下将更详细地提供编码接收的图像的处理的描述。在将接收的图像编码以后，输出I图像的帧内预测开销的平均值和P图像的帧间预测开销的平均值。
在操作S330中，使用P图像的帧间预测开销的平均值来计算作为用于确定是否对下一个P图像执行帧内预测的基准的阈值。在操作S340中，确定接收的图像是否为给定的图像组(GOP)的最后图像。如果接收的图像不是给定的GOP的最后图像，则方法返回到操作S310。
图4是示出图3中的预测方法的详细的流程图。参考图4，操作S320包括：操作S321，其中确定接收的图像是否为I图像；操作S322，其中对接收的图像执行I图像编码；和操作S323，其中对接收的图像执行P图像编码。
更具体地讲，如果接收的图像是I图像，则在操作S322中，通过对接收的图像执行I图像编码来计算I图像的帧内预测开销的平均值(avg_intra_cost)。如果接收的图像是P图像，则在操作S323中，通过对接收的图像执行P图像编码来计算P图像的帧间预测开销的平均值(avg_inter_cost)。在I图像编码中，对接收的图像执行帧内预测。另一方面，在P图像编码中，对接收的图像执行帧间预测和帧内预测。然而，根据在将前图像编码的期间已经获得的阈值可以省略在P图像编码中执行的帧内预测。以下，将参考图5和图6来更加详细地描述avg_intra_cost和avg_inter_cost的计算。
其中计算阈值的操作S330，包括：操作S331，其中计算avg_intra_cost的下界(INTRA_LOW_TH)；和操作S332，其中计算作为用于确定是否对接收的图像执行帧间预测的基准的阈值(INTER_TH)。
在操作S331中，通过下面方程来计算下界(INTRA_LOW_TH)：INTRA_LOW_TH＝MAX(α*avg_inter_cost，INTER_LOW_TH)，其中，α和INTER_LOW_TH是常量。更具体地讲，INTER_LOW_TH是avg_inter_cost的下界。
在操作S332中，通过下面方程：INTR_TH＝MAX(avg_intra_cost，INTRA_LOW_TH)使用INTRA_LOW_TH和avg_intra_cost来获得阈值(INTER_TH)。
图5是示出计算I图像的帧内预测开销的平均值(avg_intra_cost)的方法的流程图。参考图5，在操作S510中，使用前P图像的帧间预测开销的平均值(avg_inter_cost)来计算阈值(INTRA_TH)。使用下面方程：INTRA_TH＝MIN(β*avg_intercost，INTRA_HIGH_TH)来计算阈值(INTRA_TH)，其中函数MIN(a，b)输出a和b之间的较小值，β和INTRA_HIGH_TH是常量。INTRA_HIGH_TH是INTRA_TH的上界。为了计算avg_intra_cost，变量sum_intra_cost和mb_count初始化为0。
在操作S520中，通过以不同的帧内预测模式对I图像的给定宏块执行帧内预测来确定具有最小intra_cost值的帧内预测模式，在帧内预测模式中选择具有最小intra_cost值的帧内预测模式，并且根据选择的帧内预测模式来计算给定宏块的intra_cost。在操作S530中，比较给定宏块的intra_cost和INTRA_TH。在操作S540中，如果给定宏块的intra_cost小于INTRA_TH，则将其累计。换言之，为计算作为I图像的每个宏块的intra_cost的平均值的avg_intra_cost，将具有比INTRA_TH小的值的不同intra_costs相加。
在操作S550中，确定给定的宏块是否为I图像的最后宏块。在操作S560中，通过将基于比INTRA_TH小的值的intra_cost的和(sum_intra_cost)除以已经用于计算sum_intra_cost的宏块的总数(mb_count)来获得avg_intra_cost。
图6是示出计算P图像的帧间预测开销的平均值(avg_inter_cost)的方法的流程图。参考图6，使用sum_inter_cost来计算avg_inter_cost。在操作S602中，sum_inter_cost被设置为0。在操作S604中，通过以不同的帧间预测模式对P图像的每个宏块执行帧间预测来确定具有最小inter_cost值的帧间预测模式，在不同的帧间预测模式中选择具有最小inter_cost值的帧间预测模式，并且根据选择的帧间预测模式来计算给定宏块的inter_cost。在操作S606中，通过累计inter_cost值来更新inter_cost的和(sum_inter_cost)。
在操作S608中，确定inter_cost是否大于INTER_TH+偏移(其中偏移是使得更多宏块经历帧间预测的常量)。如果inter_cost大于INTER_TH+偏移，则在操作S610中，通过将不同的帧内预测模式应用到给定宏块来对给定宏块执行帧内预测，在不同的帧内预测模式中选择具有最小开销(intra_cost)的帧内预测模式，并且计算给定宏块的intra_cost。在操作S612中，确定inter_cost是否小于intra_cost。如果inter_cost小于intra_cost，则在操作S614中，确定帧间预测模式作为给定宏块的预测模式。否则，在操作S616中，确定帧内预测模式作为给定宏块的预测模式。
如果inter_cost不大于INTER_TH+偏移，则在操作S618中，不对给定宏块执行帧内预测，在操作S620中，确定给定宏块的帧间预测模式。在操作S622中，确定给定宏块是否为P图像的最后宏块。在操作S624中，获得P图像的所有宏块的inter_cost值的和(sum_inter_cost)，然后除以P图像的宏块的总数(total_mb)。
在本发明的实施例中，开销是通过从要被预测的采样块的原始像素值减去预测的像素值而获得的残值，并且被用于计算平方差和(SSD)与绝对变换差和(SATD)，以下这将被详细地描述。
使用不同的开销函数如SAD、SATD、SSD、平均绝对差(MAD)、和拉格朗日函数能够以各种方式计算这样的开销。例如，SAD是4×4块的预测误差(即，残值)的绝对值的和。SATD是通过将哈达玛(Hadamard)变换应用到4×4块的预测误差而获得的系数的绝对值的和。SSD是4×4块的预测误差的平方和。MAD是4×4块的预测误差的绝对值的平均值。拉格朗日函数是包括比特流的长度信息的新开销函数。
图7是示出根据本发明实施例的预测装置的方框图。参考图7，该预测装置包括：图像输入单元710、编码单元720、阈值计算单元730、和确定单元740。
图像输入单元710接收图像。图像可以是I图像或P图像。编码单元720将接收的图像编码。
阈值计算单元730计算作为用于确定是否对接收的图像执行帧间预测的基准的阈值。以上已经描述了计算阈值的方法。此外，以上已经参考图6描述了是否对接收的图像执行帧间预测的确定。
图8是示出编码单元720的详细的方框图。参考图8，编码单元720包括：帧间预测开销计算单元810、帧内预测开销计算单元820、预测模式确定单元830、和平均值计算单元840。
帧间预测开销计算单元810通过对P图像的给定宏块执行帧间预测来获得帧间预测开销。如果帧间预测开销大于阈值与预定偏移的和，则帧内预测开销计算单元820对给定的宏块执行帧内预测。如果帧内预测开销大于帧间预测开销，则预测模式确定单元830选择帧间预测模式。否则，预测模式确定单元830选择帧内预测模式。平均值计算单元840计算P图像的所有宏块的帧间预测开销的平均值(avg_inter_cost)。更具体地讲，如果接收的图像是I图像，则对接收的图像执行帧内预测，如果接收的图像是P图像，则对接收的图像执行帧间预测。通过对接收的图像的每个宏块执行帧内预测来获得接收的图像的宏块的帧内预测开销的平均值(avg_intra_cost)，并且通过对接收的图像的每个宏块执行帧间预测来获得接收的图像的宏块的帧间预测开销的平均值(avg_inter_cost)。
图9A是示出当根据本发明实施例的预测方法应用到作为一般使用作为用于H.264的性能的评价的基准的标准图像的足球图像时，对其选择帧内预测的宏块的数目的视图，图9B是示出当根据本发明实施例的预测方法应用到也作为一般使用作为用于H.264的性能的评价的基准的标准图像的苏茜图像时，对其选择帧内预测的宏块的数目的视图。参考图9A和9B，对其执行帧内预测的宏块的数目大量减少，并且对其选择帧内预测模式的宏块的数目也大量减少。在将本发明应用到足球图像的情况下，实现需要被帧内预测的宏块的数目减少77.58％。在将本发明应用到苏茜图像的情况下，实现需要被帧内预测的宏块的数目减少99.85％。
图10A是示出足球图像的峰值信噪比(PSNR)的变化的曲线图，图10B是示出苏茜图像的PSNR的变化的曲线图。参考图10A和10B，本发明实施例使得可能对图像执行预测而不恶化整体编码性能。
本发明能够被实现为写在介质上的计算机可读代码。该介质可以是任何一种数据能够以计算机可读方式被写/转移其上的记录器件。例如，该计算机可读介质，即记录介质，包括：ROM、RAM、CD-ROM、磁带、硬盘、软盘、闪速存储器、光学数据存储、或甚至载波(如通过互联网数据传输)或波导。此外，计算机可读代码能够被分配到在网络中彼此连接的多个计算机系统，从而计算机可读代码以分布方式存储在介质或媒体中。
如上所述，根据本发明，通过大量地减少需要被帧内预测的宏块的数目可以大量地减少被传统地需求来编码图像的计算量，而没有任何恶化编码性能。
尽管显示和描述本发明某些实施例，但本领域的技术人员应该理解，在不脱离本发明的原则、精神和由所附权利要求和等同物所限定的范围的情况下，可以在实施例中做出改变。