运动图像处理系统、编码设备和解码设备.pdf

运动图像处理系统、编码设备和解码设备。编码设备基于所确定的编码方法对宏块进行编码。当确定为场预测编码时，编码设备通过使用同一经编码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场间预测编码。解码设备接收经编码的运动图像帧和编码信息，并且确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码。解码设备基于所确定的编码方法对宏块进行解码。当确定为场预测编码时，解码设备通过使用同一经解码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。

1.  一种运动图像处理系统，包括编码设备和解码设备，
所述编码设备包括：
预测编码确定单元，其通过搜索要处理的运动图像帧的运动来估计运动矢量，并且基于所估计的运动矢量确定对所述要处理的帧的每一宏块是执行帧预测编码还是执行场预测编码，
第一编码单元，其通过由所述预测编码确定单元确定的编码方法对宏块进行编码，
第二编码单元，当由所述预测编码确定单元确定的编码方法是场预测编码时，所述第二编码单元通过使用由所述第一编码单元编码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编码，
编码数据发送单元，其通过把要处理的运动图像帧的、由所述第一编码单元和所述第二编码单元编码的每一宏块的编码方法添加为编码信息来进行发送；并且
所述解码设备包括：
编码确定单元，其接收编码信息和由所述编码设备编码的运动图像帧，并且确定所述要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码，
第一解码单元，其通过与由所述编码确定单元确定的编码方法对应的解码方法对经编码的宏块进行解码，
第二解码单元，当由所述编码确定单元确定的编码方法是场预测编码时，所述第二解码单元通过使用由所述第一解码单元解码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。

2.  一种编码设备，包括：
预测编码确定单元，其通过搜索要处理的运动图像帧的运动来估计运动矢量，并且基于所估计的运动矢量确定对所述要处理的帧的每一宏块是执行帧预测编码还是执行场预测编码；
第一编码单元，其通过由所述预测编码确定单元确定的编码方法对宏块进行编码；
第二编码单元，当由所述预测编码确定单元确定的编码方法是场预测编码时，所述第二编码单元通过使用由所述第一编码单元编码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编码；
编码数据发送单元，其通过把要处理的运动图像帧的、由所述第一编码单元和所述第二编码单元编码的每一宏块的编码方法添加为编码信息来进行发送。

3.  一种解码设备，包括：
编码确定单元，其接收经编码的运动图像帧和表示编码方法的编码信息，并且确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码；
第一解码单元，其通过与由所述编码确定单元确定的编码方法对应的解码方法对经编码的宏块进行解码；
第二解码单元，当由所述编码确定单元确定的编码方法是场预测编码时，所述第二解码单元通过使用由所述第一解码单元解码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。

4.  一种编码方法，包括：
通过搜索要处理的运动图像帧的运动来估计运动矢量；
基于所估计的运动矢量确定对要处理的帧的每一宏块是执行帧预测编码还是执行场预测编码；
通过由所述确定所确定的编码方法对宏块进行编码；
当由所述确定所确定的编码方法是场预测编码时，通过使用同一经编码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编码；和
通过把要处理的经编码的运动图像帧的每一宏块的编码方法添加为编码信息来进行发送。

5.  一种解码方法，包括：
接收经编码的运动图像帧和表示编码方法的编码信息；
确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码；
通过与由所述确定所确定的编码方法对应的解码方法对经编码的宏块进行解码；和
当由所述确定所确定的编码方法是场预测编码时，通过使用同一经解码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。

运动图像处理系统、编码设备和解码设备
技术领域
本文讨论的实施例涉及一种运动图像处理系统，该运动图像处理系统包括：编码设备，其执行输入隔行(interlace)运动图像的要处理帧的帧间预测，生成通过编码获得的经编码的运动图像数据，并将生成的经编码的运动图像数据发送到解码设备；以及解码设备，其对接收自编码设备的经编码的运动图像数据进行解码，并获得原始的隔行运动图像。
背景技术
在传统上，已广泛使用运动图像处理系统，该运动图像处理系统包括对输入运动图像进行编码的编码设备，以及接收由编码设备编码的数据并对接收到的数据进行解码的解码设备。在该运动图像处理系统中发送和接收的运动图像的信息量非常大，而且，将该信息存储到介质中和通过直接使用运动图像数据而在网络中发送该信息是非常昂贵的。因此，在传统上已广泛进行使用可逆或不可逆系统执行运动图像的压缩编码的技术开发和标准化。它们的代表性示例为由运动图像专家组(MPEG)标准化的MPEG-1、MPEG-2、MPEG-4和MPEG-4 AVC/H.264。
这些标准采用帧间运动预测编码。在该帧间运动预测编码中，检测具有帧之间高相关性的部分，并且对帧之间的位置差(运动矢量)以及帧之间的像素值差(预测误差)进行编码。通常，运动图像在帧之间具有高相关性，并因此具有比原始像素值的像素差值更小的像素差值。因此，可以实现高压缩效率。
这些标准(除MPEG-1外)采用帧间预测编码，在帧间预测编码中，运动图像对应于隔行格式。具体地说，这些标准采用帧预测和场预测的动态选择。在帧预测的情况下，作为处理单元的宏块和参考帧二者都具有帧结构(其中，偶数场和奇数场在每一行交替出现)。另一方面，在场预测的情况下，作为处理单元的宏块和参考帧二者都仅具有场结构(奇数场和偶数场之一)。
接下来说明隔行格式、帧预测和场预测。隔行格式的运动图像是用于交替绘制一组奇数行的场(顶部场)和一组偶数行的场(底部场)的格式的运动图像，如图8A所示。如图8B所示的顶部场和底部场的交替绘制被称为帧。
帧预测表示通过参考与要处理的帧不同的一个时间(例如，两个帧之前)的帧上的、与要处理的帧的要处理的宏块对应的预测像素，对要处理的宏块与预测像素之间的差分(误差)图像进行的编码，如图9A所示。具体地说，如图9B所示，利用通过参考参考帧计算出的差分和用于估计图像的运动量的运动矢量，对要处理的帧的要处理的每一宏块进行编码。
场预测表示通过参考与要处理的场不同的一个时间(例如，两个场之前)的场上的、与要处理的场的要处理的宏块对应的预测像素，对要处理的宏块与预测像素之间的差分(误差)图像进行的编码，如图10A所示。具体地说，如图10B所示，利用通过参考参考场计算出的差分和用于估计图像的运动量的运动矢量，对要处理的场的要处理的每一宏块进行编码。
如上所述以宏块为单元进行帧预测和场预测的自适应切换的各种技术被公开(见日本公开专利公布第05-91500号)。近来，经常使用MPEG-4AVC/H.264中采用的被称为宏块自适应帧场(MBAFF)的编码方法。根据该方法，如图11A所示，在同一帧内，在垂直方向上连续的两个宏块(称为宏块对)被设置为编码单元。针对每一宏块对，选择两个帧预测宏块，或选择两个场预测宏块(一个顶部场宏块和一个底部场宏块)。
这种MBAFF使得可以以宏块为单元将帧图像内的宏块的运动预测系统改变为帧预测或者场预测。帧预测适合于接近静态图像的图像，而场预测适合于具有较大运动的图像的编码。通常，图像既包括静态部分又包括动态部分。因此，通过以宏块为单元切换预测系统能够改进编码效率，如图11B所示。
然而，根据上述传统技术，由于不能预测同一帧中所限定的场，所以运动预测效率差。具体地说，根据运动预测编码系统，作为帧间/场间预测编码的原则，参考画面需要毫无例外地在要处理的画面之前被进行编码和本地解码。此外，通过将高相关性的画面设置为预测画面，能够改进预测效率。该相关性与要处理的画面和参考画面之间的时间间隔成反比。因此，优选是尽可能参考时间接近的帧或场。
在由MBAFF系统进行处理的情况下，基于以上原则，帧预测宏块对参考时间接近的帧(例如在前或在后的帧；或者在编码顺序上领先的帧)。基于以上原则，在场预测宏块对中，属于时间上领先的场的宏块类似地参考在前或在后的场(在编码顺序上领先的场)。当场预测宏块对中属于时间上较后的场的其余宏块能够参考同一帧内在时间上领先的场时，能够改进预测效率。然而，根据传统MBAFF系统，宏块对的处理顺序是从屏幕的左上到右下，如图11C所示。屏幕内在处理顺序上领先的位置处的宏块不能参考在处理顺序上处于后面位置的像素。因此，属于时间上较后的场的宏块不能参考同一帧内在时间上领先的场。结果，运动预测的效率差。
发明内容
本发明的目的在于至少部分地解决传统技术中的问题。
根据实施例的一个方面，运动图像处理系统包括编码设备和解码设备。编码设备包括：预测编码确定单元，其通过搜索要处理的运动图像帧的运动来估计运动矢量，并且基于估计的运动矢量，确定对要处理帧的每一宏块是执行帧预测编码还是执行场预测编码；第一编码单元，其通过由预测编码确定单元确定的编码方法对宏块进行编码；第二编码单元，当由预测编码确定单元确定的编码方法是场预测编码时，第二编码单元通过使用由第一编码单元编码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编码；以及编码数据发送单元，其通过把要处理的运动图像帧的、由第一编码单元和第二编码单元编码的每一宏块的编码方法添加为编码信息来进行发送。解码设备包括：编码确定单元，其接收由编码设备编码的运动图像帧和编码信息，并确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码；第一解码单元，其通过与由编码确定单元确定的编码方法对应的解码方法对经编码的宏块进行解码；第二解码单元，当由编码确定单元确定的编码方法是场预测编码时，第二解码单元通过使用由第一解码单元解码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。
本发明(实施例)的其它目的和优点将在接下来的描述中被部分地阐述，并且根据描述将部分地变得容易理解，或者可以通过本发明的实践知悉。本发明的目的和优点将通过权利要求中具体指出的元素和组合来实现和获得。
应理解，前面的概述和以下的详细描述两者都是示例性和解释性的，而并非限制要求保护的本发明。
附图说明
图1A是用于说明根据实施例的运动图像处理系统的特性的示意图；
图1B是用于说明根据该实施例的运动图像处理系统的特性的示意图；
图2是根据该实施例的运动图像处理系统中的编码设备的配置的框图；
图3是由编码设备生成的经编码的运动图像数据的示例；
图4是根据实施例的运动图像处理系统中的解码设备的配置的框图；
图5是根据实施例的运动图像处理系统中的帧处理的流程图；
图6是根据实施例的运动图像处理系统中的宏块处理顺序确定处理的流程图；
图7A是执行编码程序的计算机系统的示例；
图7B是执行解码程序的计算机系统的示例；
图8A是用于说明根据传统技术的帧结构和场结构的示意图；
图8B是用于说明根据传统技术的帧结构和场结构的另一示意图；
图9A是用于说明根据传统技术的帧预测的示意图；
图9B是用于说明根据传统技术的帧预测的另一示意图；
图10A是用于说明根据传统技术的场预测的示意图；
图10B是用于说明根据传统技术的场预测的另一示意图；
图11A是用于说明MBAFF的示意图；
图11B是用于说明MBAFF的另一示意图；
图11C是用于说明MBAFF的又一示意图。
具体实施方式
以下将参照附图详细说明根据本发明的运动图像处理系统、编码设备、编码方法、编码程序、解码设备、解码方法和解码程序的示例性实施例。以下依次说明根据本发明第一实施例的运动图像处理系统的概述和特征以及运动图像处理系统的配置和处理流程。最后说明对第一实施例的各种修改。
在第一实施例中，说明是基于以下假设进行的，即，在帧内顶部场在时间上领先而底部场在时间上较后。当底部场在时间上领先时，可以通过将顶部场和底部场相互替换来读取顶部场和底部场。在MPEG-2中，也可以以宏块为单元在帧预测与场预测之间切换运动预测系统。然而，与MPEG-2不同的是，MPEG-4 AVC/H.264的MBAFF通过把场预测时的预测单元设置为宏块大小(16×16)，通过使用帧内垂直相邻的被称为宏块对的两个宏块单元执行处理，来改进编码效率。另一方面，MPEG-2使用的大小为16×8。
首先参照图1A和图1B说明根据第一实施例的运动图像处理系统的概述和特性。图1A和图1B是用于说明运动图像处理系统的示意图。
在第一实施例中，对运动图像处理系统进行说明，在该运动图像处理系统中，发送具有输入经编码运动图像的比特流的编码设备与对接收自编码设备的比特流进行解码的解码设备彼此连接，使得这些设备可以通过网络彼此通信。
如上所述，该运动图像处理系统具有以下概要操作：发送具有输入经编码运动图像的比特流，并且通过从编码设备接收比特流，对该比特流进行解码。具体地说，该运动图像处理系统具有以下主要特性：在对场间运动图像进行编码时改进图像质量。
具体地说，如图1A所示，在从左上到右下方向对宏块对(如帧内垂直相邻的两个宏块单元)进行编码时，代表要通过帧预测来进行编码的宏块对的帧预测宏块对被以正常方式进行编码，而代表要通过场预测来进行编码的宏块对的场预测宏块对被进行编码，使得首先只有顶部场宏块被进行编码。当在一个帧内从屏幕的左上到右下方向执行编码之后，对于场预测宏块的剩余底部场宏块，每一底部场宏块所对应的顶部场宏块被作为参考图像之一进行编码，如图1B所示。
此后，解码设备接收经如上所述编码的比特流，并且以与编码处理方法类似的方式，在一个帧中从屏幕的左上到右下方向对帧预测宏块和场预测宏块的顶部场宏块中的每一个首先进行解码。此后，对于场预测宏块的剩余底部场宏块，解码设备将每一底部场宏块所对应的顶部场宏块作为参考图像之一进行解码。
通过执行以上处理，屏幕内在处理顺序上领先的位置处的宏块可以参考在处理顺序上处于后面位置的像素。也就是说，可以通过将同一帧内在时间上领先的场作为参考场来执行场预测，从而改进运动预测的效率。结果，根据第一实施例的运动图像处理系统可以在对场间运动图像进行编码时改进图像质量。
接下来参照图2至图4说明图1A和图1B描述的运动图像处理系统的配置。该运动图像处理系统包括编码设备和解码设备，并且对每一设备的配置予以详细说明。
首先，参照图2说明运动图像处理系统中的编码设备的配置。图2是根据第一实施例的运动图像处理系统中的编码设备的配置的框图。
该编码设备包括：帧存储器10、减法器11、DCT/Q 12、速率控制13、VLC 14、IQ/IDCT 15、加法器16、帧存储器17、去块滤波器18、MC内部预测19、ME 20和顺序控制21。
帧存储器10临时存储输入运动图像。例如，帧存储器10临时存储从外部网络和外部设备(例如，存储设备，如光盘(CD)或硬盘驱动器(HDD))输入的运动图像的每一帧。
减法器11计算预测图像与输入运动图像中要编码的宏块之间的差，并且生成预测误差图像。具体地说，减法器11分别连接到帧存储器10、MC内部预测19和DCT/Q 12。减法器11通过计算由MC内部预测19(稍后描述)生成的预测图像与输入运动图像(作为帧存储器10中存储的一个帧)中要编码的宏块之间的差来生成预测误差图像。减法器11将生成的预测误差图像输出到DCT/Q 12。
DCT/Q 12对预测误差图像执行离散余弦变换(DCT)计算和量化。具体地说，DCT/Q 12分别连接到速率控制13、VLC 14和IQ/IDCT 15。DCT/Q 12利用从速率控制13(稍后描述)输入的量化值，针对从减法器11输入的预测误差图像执行DCT计算和量化，并且将计算结果分别输出到VLC 14和IQ/IDCT 15。
速率控制13是速率控制单元，并且，具体地说，速率控制13根据输入运动图像(作为帧存储器10中存储的一个帧)确定编码之后的比特数量，以及用于控制图像质量、将被用于由DCT/Q 12执行的量化的量化值。速率控制13将确定的量化值输出到DCT/Q 12。
VLC 14是可变长度编码单元。具体地说，VLC 14对经过DCT计算和量化的预测误差图像执行可逆编码，如游程/幅值转换(run/levelconversion)，并生成经编码的运动图像。例如，VLC 14对经过由DCT/Q12执行的DCT计算和量化的预测误差图像执行可逆编码，如游程/幅值转换，并生成经编码的运动图像数据。VLC 14将生成的经编码的运动图像数据作为比特流发送到解码设备，如图3所示。图3是由编码设备生成的经编码的运动图像数据的示例。
以下说明图3所示的经编码的运动图像数据。在图3中，附图标记200表示序列参数集(SPS)，序列参数集描述多个画面(序列)共同的参数，例如屏幕大小和画面类型(例如帧、场和MBAFF)。附图标记201表示画面参数集(PPS)，画面参数集描述用于每一画面的编码模式，例如熵编码模式。附图标记202表示分段(slice)。一个画面(帧或场)包括一个或多个场。附图标记203表示MBAFF标记，MBAFF标记描述是否以MBAFF模式对该序列内的帧进行编码。在MPEG-4 AVC/H.264中，该MBAFF标记对应于mb_adaptive_frame_field_flag(宏块自适应帧场标记)。附图标记204表示分立MB顺序标记(separate MB order flag，SMOF)，其描述是否以MBAFF模式在同一帧内执行场间参考。当分立MB顺序标记说明不执行场间参考时，这表示执行与MPEG-4 AVC/H.264的MBAFF编码相同的MBAFF编码。
附图标记205表示分段头，其中，分段头描述参考帧列表等等。附图标记206表示标识是通过帧模式对宏块对进行了编码还是通过场模式对宏块对进行了编码的标记。在MPEG-4 AVC/H.264中，该标记对应于mb_field_decoding_flag(宏块场解码标记)。附图标记207表示帧宏块对的宏块的数据或场宏块对的顶部场宏块的数据。该数据描述编码模式(内部/相互间)、参考帧标识符、运动矢量、量化系数、量化DCT系数等等。附图标记208表示指示“前一半”处理部分与“后一半”处理部分之间的边界的标记，将通过以下描述的流程对其进行说明。附图标记209表示场宏块对的底部场宏块的数据，并且该数据描述编码模式(内部/相互间)、参考帧标识符、运动矢量、量化系数、量化DCT系数等等。
参照图2，IQ/IDCT 15是连接到DCT/Q 12和加法器16的逆量化单元/逆离散余弦变换(IDCT)单元。IQ/IDCT 15对经过DCT计算和量化的预测误差图像执行逆量化和IDCT计算。加法器16连接到IQ/IDCT 15和帧存储器17，将稍后描述的MC内部预测19所输入的内部预测图像或相互间预测图像加到经过逆量化和IDCT计算的预测误差图像上，生成本地经解码的图像，并且将生成的本地经解码的图像存储到帧存储器17中。
帧存储器17是存储本地经解码的图像的帧存储器。具体地说，帧存储器17连接到加法器16、去块滤波器18、MC内部预测19和ME 20。帧存储器17接收由加法器16生成和输入的本地经解码的图像，并且存储所述接收到的本地经解码的图像。
去块滤波器18是通过将低通滤波器(去块滤波器)应用于本地经解码的图像的宏块边界而去除帧存储器17中存储的本地经解码的图像中的块失真的去块滤波器。
MC内部预测19根据帧存储器17中存储的本地经解码的图像生成预测图像。具体地说，MC内部预测19连接到减法器11、帧存储器17和ME 20。在对宏块进行内部编码时，MC内部预测19根据帧存储器17中积累的同一帧内已编码且本地解码的像素生成内部预测图像。在对宏块进行相互间编码时，MC内部预测19根据帧存储器17中积累的参考帧/场并且根据由ME 20估计和输入的运动矢量生成相互间预测图像。
ME 20估计运动矢量。具体地说，ME 20连接到帧存储器10、帧存储器17、MC内部预测19和顺序控制21。ME 20在要处理且积累在帧存储器10中的帧或场与经编码和本地解码并积累在帧存储器17中的帧或场之间执行运动矢量估计，并且计算运动矢量。ME 20于是将计算出的运动矢量输出到MC内部预测19和顺序控制21。
顺序控制21确定宏块处理顺序，并且具体地说，顺序控制21连接到帧存储器17和ME 20。顺序控制21基于由ME 20执行的运动矢量估计的结果，确定是要使用帧还是场对每一宏块对进行预测编码。顺序控制21还确定图像中的处理顺序和宏块地址。顺序控制21将每一处理顺序的宏块的宏块地址通知给帧存储器10和帧存储器17。顺序控制21的详细处理基于处理流程予以说明。
接下来参照图4说明运动图像处理系统中的解码设备的配置。图4是根据第一实施例的运动图像处理系统中的解码设备的配置的框图。
该解码设备包括VLD 50、IQ/IDCT 51、加法器52、帧存储器53、去块滤波器54、MC内部预测55和顺序控制56。VLD 50连接到IQ/IDCT51、MC内部预测55和顺序控制56。解码设备是可变长度解码单元，该可变长度解码单元对接收自编码设备的经编码的运动图像(见图3)执行可逆解码(例如游程/幅值转换)，并且生成经过DCT计算和量化的预测误差图像。VLD 50由经编码的运动图像获得每一宏块对的类型(帧或场)。
IQ/IDCT 51是连接到VLD 50和加法器52的逆量化单元/IDCT(逆离散余弦变换)单元。具体地说，IQ/IDCT 51对由VLD 50生成并输入的经过DCT计算和量化的预测误差图像执行逆量化和IDCT计算。加法器52连接到帧存储器53和MC内部预测55。加法器52通过将由稍后描述的MC内部预测55输入的内部预测图像或相互间预测图像加到由VLD50生成并输入的经过逆量化和IDCT计算的预测误差图像上，生成经解码的图像。加法器52将生成的经解码的图像存储到帧存储器53中。
帧存储器53是存储生成的经解码的图像的帧存储器。具体地说，帧存储器53连接到加法器52、去块滤波器54、MC内部预测55和顺序控制56。帧存储器53接收和存储由加法器52生成并输入的经解码的图像。去块滤波器54是通过将低通滤波器(去块滤波器)应用于经解码的图像的宏块边界而去除帧存储器53中存储的经解码的图像中的块失真的去块滤波器。
MC内部预测55根据帧存储器53中存储的经解码的图像生成预测图像。具体地说，MC内部预测55连接到VLD 50、加法器52和帧存储器53。在对宏块进行内部解码时，MC内部预测55根据帧存储器53中积累的同一帧内已解码的像素生成内部预测图像。在对宏块进行相互间解码时，MC内部预测55根据帧存储器53中积累的参考帧/场以及根据由VLD50解码的运动矢量生成相互间预测图像。MC内部预测55将生成的内部预测图像或相互间预测图像输出到加法器52。
顺序控制56确定宏块处理顺序，并且具体地说，顺序控制56连接到VLD 50和帧存储器53。顺序控制56根据由VLD 50解码的宏块对的类型确定图像中的处理顺序和宏块地址。顺序控制56将每一处理顺序的宏块的宏块地址通知给帧存储器53。
接下来参照图5和图6说明由运动图像处理系统执行的处理。以下说明根据第一实施例的运动图像处理系统的帧处理和宏块处理顺序确定处理。编码设备和解码设备的基本不同之处仅在于是执行编码还是执行解码，而它们的一般处理流程是相同的。因此，在此说明编码设备。
参照图5说明运动图像处理系统中的帧处理的流程。图5是根据第一实施例的运动图像处理系统中的帧处理的流程图。
如图5所示，当输入图像(步骤S100中为“是”)时，编码设备执行初始化以生成参考帧/场的列表(步骤S101)。
编码设备估计处理帧与参考帧/场之间的运动矢量(步骤S102)。具体地说，编码设备确定对宏块对是执行帧预测编码还是执行场预测编码。
编码设备执行对所有帧宏块对和所有顶部场宏块进行编码的“前一半”处理(步骤S103)。具体地说，编码设备将通过对所有帧宏块对和所有顶部场宏块进行编码而生成的可变长度编码的图像和本地经解码的图像写到帧存储器17中。
针对所有剩余底部场宏块，编码设备通过使用每一底部场宏块所对应的顶部场宏块作为参考图像之一执行编码处理(“后一半”处理)，生成经编码的运动图像(步骤S104)。此后，编码设备使用去块滤波器作为应用于宏块的边界的低通滤波器，对生成的经编码的运动图像执行去块滤波器处理(步骤S105)，并且将处理后的经编码的运动图像发送到解码设备。在H.264中，用于帧与场之间的预测的图像是在去块滤波器被应用于该图像之后的图像。然而，在第一实施例中，仅在从同一帧内的底部场到顶部场进行参考时，用于帧与场之间的预测的图像是在去块滤波器被应用于该图像之前的图像。
以下简要说明解码设备中的解码处理。解码设备不执行图5中步骤S102的处理。具体地说，在步骤S101，在接收到经编码的运动图像数据时，解码设备从经编码的运动图像中提取帧预测和场预测的信息。在步骤S103，解码设备执行对所有帧宏块对和所有顶部场宏块的解码处理。在步骤S104，解码设备将经解码的图像写入帧存储器53中。此后，解码设备使用去块滤波器执行去块滤波器处理。在结束“前一半”和“后一半”的编码和解码之后，在完成对整个帧的编码和解码之后，解码设备执行去块滤波器处理。
参照图6说明运动图像处理系统中的宏块处理顺序确定处理的流程。图6是根据第一实施例的运动图像处理系统中的宏块处理顺序确定处理的流程图。步骤S201至步骤S206的处理在帧编码或解码处理的“前一半”中执行。步骤S206至步骤S210的处理在帧编码或解码处理的“后一半”中执行。确定每一宏块是通过帧预测还是通过场预测被进行编码的方法在稍后描述，并且因此这里将省略其详细说明。
如图6所示，编码设备(在解码处理的情况下是“解码设备”，并且这在下文中相似地采用)初始化pair_count、mb_count、mb2_count(步骤S200)。具体地说，pair_count、mb_count、mb2_count分别表示处理宏块的积累数量、经编码(或解码)的宏块的积累数量、以及要在“后一半”中通过挂起该处理而被进行编码的宏块的积累数量。
编码设备执行确定第pair_count宏块对是帧预测还是场预测的分支处理(步骤S201)。MB_pair(num)表示第num宏块对的预测类型。
当第pair_count宏块对是帧预测时(步骤S201为“是”)，编码设备生成用于处理上宏块的信息(步骤S202)，并且生成用于处理下宏块的信息(步骤S203)。SEND_Frame(num，x，y)表示向帧存储器10和帧存储器17(帧存储器53用于解码处理)通知：第num帧预测宏块的、在屏幕内的地址是(x，y)。MB_WIDTH表示帧内横向方向上的宏块的数量。
此后，当第pair_count宏块对是场预测时(步骤S201为“否”)，编码设备生成处理顶部场宏块所需的信息(步骤S204)。SEND_Field(num，x，y)表示向帧存储器10和帧存储器17(帧存储器53用于解码处理)通知：第num场预测宏块的、在屏幕内的地址是(x，y)。
编码设备生成处理底部场宏块所需的信息(步骤S205)。在步骤S205，当第pair_count宏块对是场预测时，该信息在处理顶部场宏块对时生成。SAVE(num x，y)表示将第num场预测底部宏块的、在屏幕内的地址(x，y)存储到顺序控制21(顺序控制56用于解码处理)内的存储器区域中。
此后，编码设备确定在帧编码(或解码)的“前一半”中是否仍然存在要处理的宏块(步骤S206)。MB_HEIGHT表示帧内垂直方向上块的数量。
当在“前一半”中没有要处理的宏块时(步骤S206为“是”)，编码设备执行帧编码(或解码)的“后一半”之前的初始化(步骤S207)。NUM_MB2表示在“前一半”中被暂停处理且在“后一半”中被执行编码(或解码)的底部场宏块的总数。
编码设备获得在“后一半”的第mb2_count处被执行编码(或解码)的底部场宏块的地址信息(步骤S208)。该处理中的RESTORE(num，&x，&y)表示在顺序控制21(顺序控制56用于解码处理)内的存储器区域查询第num场预测底部场宏块的、在屏幕内的地址，并且存储(&X，&y)的查询的结果。
此后，编码设备通知在第mb2_count时间被编码(或解码)的底部场宏块的地址信息(步骤S209)，并且确定是否仍存在在帧编码(或解码)的“后一半”中要执行处理的底部场宏块(步骤S210)。当在“后一半”中不存在要处理的底部场宏块时，处理结束。
根据MPEG-4 AVC/H.264，可以从多个帧场当中以宏块为单元选择用于运动预测的帧和场。可以按分段为单元选择的帧和场的列表被称为参考帧列表。以宏块为单元的选择信息被称为参考帧标识符。
当SMOF关闭时，使用MPEG-4 AVC/H.264自身的参考帧列表(RefPicList0[]，RefPicList1[])。另一方面，当SMOF打开时，在“前一半”处理时间，RefPicList0[]和RefPicList1[]自身是列出参考帧的。在“后一半”处理时间，作为前向参考帧列表的RefPicList0[]被更新。具体地说，参考帧的参考值被输入第一条目。原始列表被逐一移到后续条目。
在底部场宏块中，通过将前向参考索引设置为“0”，在同一帧内参考场可以被设置为顶部场。当前向参考索引被设置成非“0”时，可以参考其它帧内的场。
下面说明场和帧确定处理，即确定是要通过场预测被还是要通过帧预测对宏块对进行编码。在本示例中，处理帧是B画面(参考两个方向)。在P画面的情况下(参考前向方向)，排除后向运动矢量。
在这种情形下，在步骤S101和步骤S102的处理中估计处理帧的运动矢量。此时，在每一宏块对中计算以下值。对于从多个可参考帧和场当中选择要参考的帧和场的方法，以及对于从参考帧和场以及处理帧当中估计优化运动矢量的方法，采用通常使用的已知方法。
计算下列值：在帧预测时间处上宏块和下宏块的前向参考帧索引(refIdxL0_Frame_Upper，refIdxL0_Frame_Lower)；在帧预测时间处上宏块和下宏块的后向参考帧索引(refIdxL1_Frame_Upper，refIdxL1_Frame_Lower)；在帧预测时间处上宏块和下宏块的前向运动矢量(mvL0_Frame_Upper，mvL0_Frame_Lower)；在帧预测时间处上宏块和下宏块的后向运动矢量(mvL1_Frame_Upper，mvL1_Frame_Lower)；在帧预测时间处上宏块和下宏块的运动预测误差(差分绝对值的总和)(cost_Frame_Upper，cost_Frame_Lower)；在场预测时间处顶部场宏块和底部场宏块的前向参考帧索引(refIdxL0_Field_Top，refIdxL0_Field_Bottom)；在场预测时间处顶部场宏块和底部场宏块的后向参考帧索引(refIdxL1_Field_Top，refIdxL1_Field_Bottom)；在场预测时间处顶部场宏块和底部场宏块的前向运动矢量(mvL0_Field_Top，mvL0_Field_Bottom)；在场预测时间处顶部场宏块和底部场宏块的后向运动矢量(mvL1_Field_Top，mvL1_Field_Bottom)；在场预测时间处顶部场宏块和底部场宏块的运动预测误差(差分绝对值的总和)(cost_Field_Top，cost_Field_Bottom)。
当满足条件“(cost_Frame_Upper+cost_Frame_Lower)＜＝(cost_Field_Top+cost_Field_Bottom)”时，在帧结构中设置处理宏块对。否则，在场结构中设置处理宏块对。
如上所述，根据第一实施例，通过搜索运动，编码设备估计要处理的运动图像帧的运动矢量。基于估计的运动矢量，编码设备确定对要处理的帧的每一宏块是执行帧预测编码还是执行场预测编码。编码设备通过确定的编码方法对每一宏块进行编码。当确定的编码方法是场预测编码时，编码设备使用同一经编码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场间预测编码。编码设备将要处理的经编码的运动图像帧中的每一宏块的编码方法添加为编码信息，并且发送所添加的信息。解码设备接收编码信息以及由编码设备编码的经编码的运动图像帧，并且确定要处理帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码。解码设备通过与确定的编码方法对应的解码方法对经编码的宏块进行解码。当确定的编码方法是场预测编码时，解码设备使用同一经解码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。因此，屏幕内在处理顺序上领先的位置处的宏块可以参考在处理顺序上在最后位置处的像素。也就是说，可以使用同一帧内在时间上领先的场作为参考场执行场预测，从而改进运动预测的效率。结果，可以改进执行场间运动图像编码时的图像质量。
尽管在上文说明了本发明的第一实施例，但是本发明还可以通过除了第一实施例之外的各种不同实施例来执行。下面基于以下三种分类来说明本发明的另一实施例：编码方法；系统配置等等；以及程序。
首先，将说明编码方法。在以上实施例中，说明了在帧内顶部场在时间上领先而底部场在时间上落后。然而，本发明不限于此。当底部场在时间上领先时，可交换地读取顶部场和底部场。
接下来，将说明系统配置等等。在附图中描述的各个设备的各个构成元件在功能上是概念性的，并且在物理上，相同配置并非总是必须的。也就是说，根据各种负载和使用状态，各设备的分散和集成的具体模式并不限于所描述的模式，并且其全部或部分在功能上或物理上能够分散或者被集成在任何单元中。此外，可以通过中央处理单元(CPU)或者由CPU分析和执行的程序来实现由各个设备执行的各个处理功能中的全部处理功能或任何部分处理功能，或者可以通过连线逻辑被实现为硬件。
在实施例中所说明的各个处理当中，被说明为自动执行的处理(例如图像输入处理)中的全部或部分处理可以被手动执行。除非另有说明，可以任意改变包括说明书和附图所描述的处理过程、控制过程、具体名称以及各种数据和参数的信息。
此外，将说明程序。通过使用个人计算机和计算机系统(例如工作站)执行预先准备的程序，可以执行第一实施例中说明的各种类型的处理。执行具有与第一实施例的功能类似的功能的程序的计算机系统在下面被说明为另一实施例。
首先说明执行编码程序的计算机系统的示例。图7A是执行编码程序的计算机系统的示例。如图7A所示，计算机系统100包括随机存取存储器(RAM)101、硬盘驱动器(HDD)102、只读存储器(ROM)103以及CPU 104。ROM 103预先存储呈现出与第一实施例的功能类似的功能的程序。也就是说，如图7A所示，ROM 103预先存储预测编码确定程序103a、第一编码程序103b、第二编码程序103c、以及经编码数据发送程序103d。
CPU 104读取这些程序103a至103c，并且执行这些程序，使得这些程序变为预测编码确定处理104a、第一编码处理104b、第二编码处理104c、以及经编码数据发送处理104d，如图7A所示。预测编码确定处理104a与图2中描述的顺序控制21对应。类似地，第一编码处理104b、第二编码处理104c、经编码数据发送程序103d与VLC 14对应。HDD 102存储输入运动图像和本地经解码的图像。
上述程序103a至103d并非一定要求被存储在ROM 103中。这些程序可以被预先存储在插入到计算机系统100中的“便携式物理介质”(例如软盘(FD)、光盘ROM(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、光磁盘、或集成电路(IC)卡)、被提供在计算机系统100内部或外部的“固定物理介质”(例如HDD)、以及经由公共线路、因特网、局域网(LAN)以及广域网(WAN)连接到计算机系统100的“其它计算机系统”中。计算机系统100可以从这些介质或系统读取这些程序，并且执行这些程序。
接下来说明执行解码程序的计算机系统的示例。图7B是执行解码程序的计算机系统的示例。如图7B所示，计算机系统200包括RAM 201、HDD 202、ROM 203和CPU 204。ROM 203预先存储呈现出与第一实施例的功能类似的功能的程序。也就是说，如图7B所示，ROM 203预先存储编码确定程序203a、第一解码程序203b、第二解码程序203c。
CPU 204读取程序203a至203d，并且执行这些程序，使得这些程序变为编码确定处理204a、第一解码处理204b、以及第二解码处理204c，如图7B所示。编码确定处理204a与图4中描述的顺序控制56对应。类似地，第一解码处理204b和第二解码处理204c与图4中描述的IQ/IDCT51和加法器52对应。HDD 202存储生成的经解码的图像等等。
上述程序203a至203d并非一定要求被存储在ROM 203中。这些程序可以预先被存储在插入到计算机系统200中的“便携式物理介质”(例如FD、CD-ROM、MO盘、DVD、光磁盘、或IC卡)、被提供在计算机系统200内部或外部的“固定物理介质”(例如HDD)以及经由公共线路、因特网、LAN和WAN连接到计算机系统200的“其它计算机系统”中。计算机系统200可以从这些介质或系统读取这些程序，并且执行这些程序。
根据本发明，可以改进运动预测的效率。
本文记载的所有示例和条件语言旨在用于教导性目的以帮助读者理解由发明人贡献出以促进本领域的发明和构思，并且应当被理解为不受限于这样的具体记载的示例和条件，说明书中这样的示例的组织也不与本发明的优势和劣势的示出有关。虽然已经详细描述了本发明的实施例，但是应当理解，在不脱离本发明精神和范围的情况下，可以对其进行各种改变、替代和改动。