处理视频信号的方法和设备.pdf

本发明公开了一种用于对视频信号进行编码或解码的方法和设备。根据本发明的用于处理视频信号的方法使用了合并模式，其中，使用了关于相邻单元的预测信息代替发送关于当前单元的预测信息，以便提高编译效率。在这种情况下，确定了在预定位置中的单元之中的用于合并的可用候选单元的数目，并且基于用于合并的可用候选单元的数目来获取用于合并模式的信息。使用用于合并模式的信息来确定待合并的单元，并且获取关于待合并的单元的预测信息。使用关于待合并的单元的预测信息来获取用于当前单元的预测值，并且使用所获取的预测值来恢复当前单元。

权利要求书1.  一种利用解码设备解码视频信号的方法，所述方法包括：从所述视频信号获得分割类型信息，所述分割类型信息指示将编译块分割成一个或者多个预测块的类型；从所述视频信号获得当前预测块的合并标志信息，所述合并标志信息指示所述当前预测块的预测信息是否从与所述当前预测块相邻近的邻近块的预测信息得到，所述预测信息包括运动矢量和参考图片索引；构造用于所述当前预测块的合并候选列表，所述合并候选列表包括多个合并候选，所述多个合并候选包括与所述当前预测块相邻近的多个邻近块，其中，如果根据所述分割类型信息，所述当前预测块的尺寸是2N x n，n大于N，并且所述当前预测块位于所述编译块的底部，则从所述合并候选列表排除顶部邻近块；从所述视频信号获得所述当前预测块的合并候选索引信息，获得的合并候选索引信息从构造的合并候选列表之中指定合并候选；基于所述构造的合并候选列表和所述获得的合并候选索引信息来得到所述当前预测块的预测信息；以及使用得到的预测信息来预测所述当前预测块。2.  根据权利要求1所述的方法，进一步包括：将所述顶部邻近块的预测信息与所述多个邻近块中的至少一个的预测信息相比较，其中，根据所述比较，从所述合并候选列表中排除具有与所述顶部邻近块相同的预测信息的邻近块。3.  根据权利要求2所述的方法，其中，具有与所述顶部邻近块相同的预测信息的邻近块是左部邻近块。4.  根据权利要求1所述的方法，其中，当所述合并候选的数目大 于1时，获得所述合并候选索引信息。5.  根据权利要求4所述的方法，其中，基于所述合并候选的位置来确定所述合并候选的数目。6.  根据权利要求1所述的方法，其中，所述多个邻近块包括左部邻近块、左顶部邻近块、右顶部邻近块以及左底部邻近块。7.  根据权利要求1所述的方法，其中，所述多个邻近块以帧间模式来编译。8.  根据权利要求1所述的方法，其中，通过所述获得的合并候选索引信息指定的合并候选的预测信息被用作所述当前预测块的预测信息。9.  根据权利要求1所述的方法，其中，所述编译块是2N x 2N块。10.  根据权利要求1所述的方法，其中，所述编译块被分割成顶部预测块和底部预测块，所述顶部预测块和所述底部预测块中的每一个具有比高度大的宽度，以及所述顶部预测块的高度小于所述底部预测块的高度，以及其中，所述当前预测块对应于所述底部预测块。11.  一种对视频信号进行解码的设备，所述设备包括：熵解码单元，所述熵解码单元被配置成从所述视频信号获得分割类型信息，所述分割类型信息指示将编译块分割成一个或者多个预测块的类型，以及被配置成从所述视频信号获得当前预测块的合并标志信息，所述合并标志信息指示所述当前预测块的预测信息是否从与所述当前预测块相邻近的邻近块的预测信息得到，所述预测信息包括运动矢量和参考图片索引；帧间预测单元，所述帧间预测单元被配置成构造用于所述当前预测块的合并候选列表，所述合并候选列表包括多个合并候选，所述多个合并候选包括与所述当前预测块相邻近的多个邻近块，其中，如果根据所述分割类型信息，所述当前预测块的尺寸是2N x n，n大于N，并且所述当前预测块位于所述编译块的底部，则从所述合并候选列表排除顶部邻近块；所述熵解码单元被配置成从所述视频信号获得所述当前预测块的合并候选索引信息，获得的合并候选索引信息从构造的合并候选列表之中指定合并候选；所述帧间预测单元被配置成基于所述构造的合并候选列表和所述获得的合并候选索引信息来得到所述当前预测块的预测信息，以及被配置成使用得到的预测信息来预测所述当前预测块。12.  根据权利要求11所述的设备，其中，所述帧间预测单元进一步被配置成将所述顶部邻近块的预测信息与所述多个邻近块中的至少一个的预测信息相比较，其中，根据所述比较，从所述合并候选列表中排除具有与所述顶部邻近块相同的预测信息的邻近块。13.  根据权利要求12所述的设备，其中，具有与所述顶部邻近块相同的预测信息的邻近块是左部邻近块。14.  根据权利要求11所述的设备，其中，当所述合并候选的数目大于1时，获得所述合并候选索引信息。15.  根据权利要求14所述的设备，其中，基于所述合并候选的位置来确定所述合并候选的数目。16.  根据权利要求11所述的设备，其中，所述多个邻近块包括左部邻近块、左顶部邻近块、右顶部邻近块以及左底部邻近块。17.  根据权利要求11所述的设备，其中，所述多个邻近块以帧间模式来编译。18.  根据权利要求11所述的设备，其中，通过所述获得的合并候选索引信息指定的合并候选的预测信息被用作所述当前预测块的预测信息。19.  根据权利要求11所述的设备，其中，所述编译块是2N x 2N块。20.  根据权利要求11所述的设备，其中，所述编译块被分割成顶部预测块和底部预测块，所述顶部预测块和所述底部预测块中的每一个具有比高度大的宽度，以及所述顶部预测块的高度小于所述底部预测块的高度，以及其中，所述当前预测块对应于所述底部预测块。

说明书处理视频信号的方法和设备
本申请是申请号为201180022511.8、申请日为2011年5月4日、标题为“处理视频信号的方法和设备”的专利申请的分案申请。
技术领域
本发明涉及一种用于处理视频信号的方法和设备，并且更特别地涉及一种用于对视频信号进行编码或解码的方法和设备。
背景技术
压缩编码指的是用于通过通信线路发送数字化信息或以适合于存储介质的形式来存储这样的信息的信号处理技术。语音、图像、信件等可以被压缩编码，并且特别地用于执行图像的压缩编码的技术被称作视频图像压缩。考虑到空间相关性、时间相关性以及概率相关性等，视频信号的压缩编码可以通过移除过剩信息来执行。然而，随着最近各种介质和数据传输介质的发展，存在着对高效率的视频信号处理方法和设备的需要。
发明内容
技术问题
被设计来解决该问题的本发明的目的在于通过凭借使用在当前单元的帧间预测中的另一已经恢复的单元的预测信息的合并模式恢复当前单元来减少发送的预测信息。
被设计来解决该问题的本发明的另一个目的在于有效率地实现预测模式和更精确地预测当前块的预测信息。
被设计来解决该问题的本发明的又一个目的在于考虑到当前单元 的特性和合并的邻居区域来选择适合的合并候选单元并且有效率地确定待合并的单元。
被设计来解决该问题的本发明的又一个目的在于提供用于提高用于实现预测模式的信令方法中的效率的方法。
技术解决方案
本发明已经被设计来解决上述问题，并且根据本发明的用于处理视频信号的方法使用了用于递归地将一个编译单元分割成若干个编译单元的结构及其方法。另外，这样的编译单元被划分成各种形式的预测单元，由此可以提高运动预测补偿的精确度。
本发明可以使用合并模式以用于提高编译效率。在这里，提供了一种在各种位置中选择合并候选单元的方法。
本发明提供了一种用于指定合并候选单元之中待合并的单元的有效率的信令方法。另外，本发明提供了一种用于在不发送信息的情况下导出待合并的单元的方法。为此，考虑到诸如当前单元和相邻单元的位置、单元尺寸、运动信息等的各种条件，可以使用适应性地确定待合并的单元的方法。
有益的效果
根据按照本发明的用于处理视频信号的方法，对获取当前单元的运动信息所需要的复杂性可以通过在执行帧间预测中单元之间的合并体(merger)来减少，并且编译效率可以通过不发送当前单元的预测信息来提高。
另外，图像的特性或图像内的对象可以由在各种单元尺寸和分区单元中的预测和合并体来更好地反映，并且更精确的预测是可能的。
另外，合并体的灵活性可以通过选择作为待合并的单元的各种位置的相邻单元来扩展，并且可以获取更精确的预测信息。
另外，考虑到诸如当前单元和相邻单元的位置、单元尺寸、运动信息等的各种条件，可以有效率且适应性地确定合并候选单元和/或待合并的单元。
另外，对于合并模式所需要的信息被设置成仅当需要时才发送，并且消除了不必要的冗余情况，从而提高了编译效率。
附图说明
图1是根据本发明的示例性实施例的视频信号编码器装置的示意框图。
图2是根据本发明的示例性实施例的视频信号解码器装置的示意框图。
图3图示了根据本发明的示例性实施例的分割编译单元的示例。
图4图示了预测单元的各种分割方法和分区类型的名称。
图5图示了不对称地分割预测单元的情况。
图6图示了用几何学分割预测单元的情况。
图7图示了在用于当前单元的各种位置的合并候选。
图8图示了用于考虑到单元尺寸来选择合并候选的方法。
图9是图示了用于当存在两个合并候选时选择待合并的单元的方法的流程图。
图10是图示了使用可用合并候选的数目来获得对于合并模式必要的信息的处理的流程图。
图11图示了用于确定当分区模式是NxN类型时可以使用邻近分区的运动信息合并的单元的方法。
图12至13图示了用于导出待合并的单元的方法。
图14至17图示了用于导出在特定分区中待合并的单元的方法。
具体实施方式
本发明的目的能够通过提供一种用于处理视频信号的方法来实现，该方法包括：确定可用合并候选单元的数目；如果可用合并候选单元的数目大于0，则获得指示当前单元是否使用合并模式的合并标志；如果合并标志指示当前的块是合并模式并且可用合并候选单元的数目大于1，则获得当前单元的合并信息；使用该合并信息来确定待合并的单元；获得待合并的单元的预测信息；使用待合并的单元的预测信息来获得当前单元的像素预测值；以及使用当前单元的像素预测值来恢复当前单元的像素值。
在这里，所述确定在被基于当前单元的位置而选择的多个候选单元之中确定可用单元的数目。
另外，候选单元包括由邻近当前单元的上部边框(outline)的单元组成的第一组、由邻近当前单元的左部边框的单元组成的第二组、由邻近当前单元的拐角的单元组成的第三组以及由位于不包括当前单元的另一个图像中的单元组成的第四组中的至少一个。
用于处理视频信号的方法进一步包括确定作为合并候选单元的组之中的单元中的每一个，其中，单元考虑了邻近当前单元的边框的长度、单元的区域或者单元的运动矢量。
另外，所述确定在候选单元之中计数已经被帧间模式进行编译并且具有预测信息、并且已经被在当前单元之前进行解码的单元的数目。
另外，合并信息是在其中合并候选的数目是2的情况下指示当前单元的特定方向相邻单元是否是待合并的单元的合并方向标志，并且合并信息是在其中合并候选的数目大于2的情况下指示待合并的单元的索引。另外，预测信息包括参考图像的索引和运动矢量信息。
用于本发明的模式
现将对本发明的优选实施例进行详细的参考，优选实施例的示例被图示在附图中。首先，在本说明书和权利要求中使用的术语或单词不被解释为限于一般的或字典意义，并且应该被基于发明人能够适当地定义术语的概念以最可能地描述发明而解释为具有与本发明的技术思想匹配的意义和概念。在本公开中所公开的实施例和在附图中所示出的配置仅是一个优选的实施例并且不代表本发明的所有技术思想。因此，要理解的是，本发明涵盖此发明的修改和变化，只要在提交本申请时它们落入所附权利要求和它们的等同物的范围内。
可以基于以下标准来理解本发明中的以下术语，并且甚至未公开的术语可以根据在下文所描述的意图来理解。“编译”可以被理解为根据情形进行编码或解码，以及“信息”包括值、参数、系数、元素等，并且可以被根据情形理解为适当的概念。“画面”或“图片”通常指的是用于指示在特定时区处的一个图像的单元，并且片、帧等是用于在编译实际的视频信号中形成图片的一部分的单元，但是可以是可切换的。“像素”或“象元(Pel)”指的是用于构成一个图像的最小单元。“样本”可以被用作用于指示特定的像素的值的术语。“样本”可以被划分成亮度(Luma)和色度(Chroma)元素，但是通常被用作包括两个元素的术语。在上文中，“色度”指示确定的颜色之间的差异，并且通常包括Cb和Cr。“单元”已经被用来意指图像处理的基本单元或者图像的特定位置，并且可以与诸如“块”或“区域”的术语一起使用。
本发明涉及一种用于对视频信号进行编码或解码的方法和设备。图1是根据本发明的示例性实施例的视频信号编码装置的示意框图。参考图1，本发明的编码装置100包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和/或熵编译单元160。
变换单元110通过变换输入视频信号的像素值来获取变换系数。 这样的变换方法的一些示例是离散余弦变换(DCT)、离散正弦变换(DST)小波变换等。变换单元110通过将输入图像信号分割成特定尺寸的单元来执行变换。在变换方面的基本单元被称作变换单元。可以根据变换区域内的值的分布和属性来改变编译效率。
量化单元115对从变换单元110输出的变换系数值进行量化。逆量化单元120对变换系数值进行逆量化，并且逆变换单元125使用逆量化的变换系数值来恢复像素值。
滤波单元130执行对于图像的客观或主观质量改进的滤波操作。在滤波单元中使用的滤波器的一些示例是去块滤波器和/或自适应环路滤波器等。存储单元156存储已经应用滤波的图像，以便输出图像或者将该图像作为参考图像来使用。
在通用视频编译中，图像信号不被编译为它本身以提高编译效率，但是使用了使用已经编译的区域来预测图像、并且通过将原始图像与所预测的图像之间的残余值添加到所预测的图像来获取恢复的图像的方法。用于预测图像的方法的一些示例是帧内预测(屏幕内的预测)、帧间预测(屏幕间预测)等，并且因此预测单元可以包括帧内预测单元152和帧间预测单元154。帧内预测单元152根据当前图像内的恢复的区域来执行帧内预测，从而将屏幕内的编码信息发送到熵编译单元160。帧间预测单元154获取当前区域的运动矢量值，并且使用所获取的运动矢量值、参考另一个恢复的图像的特定区域，即参考区域来执行屏幕间运动补偿。另外，帧间预测单元154将参考区域的位置信息(参考帧信息、运动矢量等)发送到熵编译单元160，使得该信息可以被包括在比特流中。
熵编译单元160通过熵编译量化的变换系数、帧间编译信息、帧内编译信息、参考区域信息等来生成视频信息比特流。熵编译单元160可以使用可变长度编译(VLC)、算术编译等。可变长度编译方法将 输入符号变换成连续的码字，并且码字的长度可以是可变的。例如，频繁地生成的符号被表示为短码字，而非频繁地生成的符号被表示为长码字。基于上下文的自适应可度长度编译(CAVLC)可以被用作可变长度编译方法。算术编译将连续的数据符号变换成一个质数，并且可以获得最佳的质数比特以表示每个符号。作为算术编译，可以使用基于上下文的自适应二进制算术编译(CABAC)。
图2是根据本发明的示例性实施例的视频信号解码装置200的示意框图。解码装置200的操作对应于编码器的每个部件的操作，并且执行相应操作的逆处理。参考图2，本发明的解码装置200可以包括熵解码单元210、逆量化单元220、逆变换单元225、滤波单元230和预测单元250等。
熵解码单元210对视频信号比特流进行熵解码，由此对于每个区域提取变换系数和预测信息等。逆量化单元220对熵解码的变换系数进行逆量化，并且逆量化单元220对熵解码的变换系数进行逆量化以及使用该逆量化的变换系数来恢复原始像素值。
另外，滤波单元230通过对图像进行滤波来改进图像质量。在这里，可以包括用于减少块失真现像的去块滤波器和/或用于去除整个图像的失真的自适应环路过滤器等。已经被滤波的图像被输出或者被存储在存储单元256中以被用作参考图像。
另外，本发明的预测单元250包括帧内预测单元252和帧间预测单元254，并且通过利用通过上文提到的熵解码单元210解码的诸如编码类型的信息、用于每个区域的变换系数、运动矢量等来恢复预测图像。
在这里，帧内预测单元252根据当前图像内的解码的样本来执行帧内预测，从而生成预测图像。帧间预测单元254使用运动矢量和在 存储单元256中存储的参考图像来生成预测图像。在获取运动矢量时，可以使用诸如运动矢量预测和运动矢量竞争等的方法。
通过将用于从逆变换单元恢复的每个像素的残余值添加到预测图像来生成恢复的视频帧，所述预测图像被从帧内预测单元252或帧间预测单元254输出。稍后将描述帧间预测单元254的操作，特别是在合并模式中的各种处理方法。
在下文中，将参考图3至图5来描述在编码装置100和解码装置200的操作中分割编译单元和预测单元等的方法。编译单元指的是在诸如处理视频信号的上述处理，例如帧内或帧间预测、变换、量化、熵编译等的处理中用于处理图像的基本单元。在对一个图像进行编译中使用的编译单元的尺寸可以不是一致的。编译单元可以具有四边形形式，并且一个编译单元可以被分割成若干编译单元。
图3图示了根据本发明的示例性实施例的分割编译单元的示例。例如，具有2Nx2N尺寸的一个编译单元可以被分割成具有NxN尺寸的四个编译单元。可以递归地执行这样的编译单元的分区，并且不是所有的编译单元都需要以相同的形式来分割。然而，为了方便在编译和处理过程中，可以存在对最大尺寸310和最小尺寸320的约束。如果确定了编译单元的最大尺寸，则该最大尺寸被称作最大编译单元尺寸，如果确定了最小尺寸，则该最小尺寸被称作最小编译单元尺寸。
关于编译单元是否被分割的信息可以被指示用于一个编译单元。例如，如果指示编译单元是否将被分割的标志值是1，则与节点相对应的块被再次分割成四个块，而如果标志值是0，则不再分割块，并且可以执行处理编译单元的处理。
块不必分割成四个前向区域。在这样的情况下，关于预定的分区方法的代码可以被利用分区信息来映射。例如，如果信息值是1，则块 可以被划分成两个水平的矩形子块，如果值是2，则块可以被划分成两个垂直的矩形子块，以及如果值是3，则块可以被划分成四个方形子块。这样的方法示出了分区方法的一些示例，但是本发明不限于此。
可以使用递归树结构来指示上文描述的编译单元的结构。也就是说，将一个图像或最大尺寸编译单元作为根来使用的、被分割成其它编译单元的编译单元开始具有与分割的编译单元的数目相对应的子节点。因此，未被进一步分割的编译单元变成叶节点。假定对于一个编译单元可以仅进行方形类型分割，一个编译单元可以被分割成最大4个的其它编译单元，并且因此指示该编译单元的树可以为四叉树形式。在下文中，为了方便解释，具有最大编译单元尺寸的编译单元被称作最大编译单元(LCU)，以及具有最小编译单元尺寸的编译单元被称作最小编译单元(SCU)。
在编码器中，最优编译单元尺寸可以被根据视频图像的特性(例如，分辨率)或者考虑到编译效率来选择，并且其信息和用于绘制相同的信息可以被包括在比特流中。例如，可以定义最大编译单元的尺寸和树的最大深度。在方形类型分割的情况下，编译单元的高度和宽度是父节点的编译单元的高度和宽度的一半，并且因此最小编译单元尺寸可以使用上述信息来计算。另外，以相反的方式，可以提前定义最小编译单元尺寸和树的最大深度，并且可以使用已定义的信息来导出最大编译单元的尺寸。在方形类型分区中，单元尺寸被改变成2的倍数的形式，并且因此实际的编译单元的尺寸被指示为以2为底的对数值，从而提高传输效率。
在解码器中，可以获取指示上文描述的当前编译单元是否已经被分割的信息。如果仅在特定的条件下获得(或者发送)这样的信息，则可以提高效率。例如，如果当前编译单元是最小编译单元尺寸，则该单元不被分割成更小的编译单元，并且因此在这样的情况下，不必获得关于该单元是否已经被分割的信息。
如果信息指示编译单元已经被分割，则待分割的编译单元的尺寸变成当前编译单元尺寸的一半，并且该编译单元被基于当前处理位置分割成四个方形类型编译单元。可以对于每个分割的编译单元重复上述处理。
对于未被进一步分割的编译单元(即，编译单元树的叶节点)执行了用于编译的图像预测。编译单元被划分成一个或多个预测单元(PU)、预测块或分区，并且这样的划分还被称作分区。一个单元已经被分割的方式可以由预测单元类型信息或分区类型信息等来指示。图4图示了预测单元的各种分区方法以及分区类型名称的示例。参考图4，具有2Nx2N尺寸的一个预测单元可以不被分割(类型2Nx2N)，可以被分割成具有2NxN(类型2NxN)尺寸的两个矩形分区，可以被分割成具有Nx2N(类型Nx2N)尺寸的两个矩形分区，或者可以被分割成具有NxN(类型NxN)尺寸的四个四边形分区。预测单元是用于执行预测的基本单元，并且在帧内编译单元和帧间编译单元中可以不同地定义可能的预测单元的分区形式。例如，在帧内编译单元中，可以启用仅2Nx2N或NxN类型分区，而在帧间编译单元中，可以启用2Nx2N、2NxN、Nx2N或NxN类型分区。
如果当前编译单元的尺寸大于预定的最小编译单元尺寸，则NxN类型分区可能不被允许，因为在这种情况下，可以像在其中编译单元被再次分割的情况下一样来获得相同的结果。
不必对称地执行分区。图5图示了不对称地分割预测单元的情况。
另外，预测单元用几何学也是可能的。如图6中所示，分区可以以除了四边形形式之外的各种形式来生成。在这种情况下，预测单元可以通过任意的分区线600而分割成两个分区610和620。分区信息可以被表示为离中心的距离(ρ)和从中心(O)到分区线的垂直线与基 轴(例如，x轴)之间的角度(θ)等。这样的各种形式的预测单元分区是有利的，在于更多精确的预测对于在图像中包括的各种形式的对象来说是可能的。
在本说明书中，待编译的单元被称作当前单元，并且包括当前单元的图像被称作当前图像。为了恢复当前单元，可以利用在当前图像内的解密信息或者可以利用其它图像的解密部分。使用仅当前图像用于恢复，即执行仅帧内预测(屏幕内的预测)的图像(片)被称作帧内图片或I图片(片)，使用最大一个运动矢量或参考索引来预测每个单元的图像(片)被称作预测图片或P图片(片)，以及使用最多两个运动矢量和参考索引的图像(片)被称作双预测图片或B图片(片)。
在帧内预测单元中，执行帧内预测，该帧内预测根据当前图像内的恢复的区域来预测目标单元(subject unit)的像素值。例如，可以在当前单元的基础上根据位于上、左、左上和/或右上侧的单元的编码的像素来预测当前单元的像素值。
根据其中在预测像素值中所使用的参考像素位于的参考区域的方向和预测方法，帧内模式可以被大体地分类成垂直模式、水平模式、DC模式、角度模式等。垂直模式使用目标单元的垂直邻近区域的值作为当前单元的预测值，而水平模式使用水平地邻近区域作为参考区域。在DC模式中，参考区域的平均值被用作预测值。另外，角度模式是其中参考区域位于在任意方向上的情况，并且该方向可以由当前像素与参考像素之间的角度来指示。为了方便，可以使用预定的角度和预测模式数目，并且可以根据目标单元的尺寸来改变所使用的角度的数目。
可以相对于这样的各种预测方法来定义和利用若干特定模式。预测模式可以通过指示该模式的值本身来发送，但是为了提高传输效率，可以利用预测当前单元的预测模式值的方法。在这里，可以基于关于预测模式的预测值在解码器中是否被用作它本身的信息以及与实际值 的差来获取当前单元的预测模式。
在帧间预测单元中，执行帧间预测，该帧间预测使用除了当前图像之外的已经存储的图像的信息来预测目标单元的像素值。在预测中使用的图像被称作参考图片。可以使用指示包括参考区域的参考图像的索引(在下文中，被称为“参考索引”)和运动矢量信息等来指示在帧间预测处理中哪一个参考区域被利用在预测当前单元中。
帧间预测(屏幕间预测)的一些示例是前向方向预测、后向方向预测以及双向预测。前向方向预测是使用在当前图片之前暂时地显示(或输出)的一个参考图片的预测，而后向预测是使用在当前图片之后暂时地显示(或输出)的一个参考图片的预测。为此，会需要一组运动信息(例如，运动矢量和参考图片索引)。在双向预测中，可以利用最大两个参考区域，并且这两个参考区域可以存在于相同的参考图片中，以及可以存在于不同的图片中。参考图片可以暂时地在当前图片之前和之后显示(或输出)。在双向预测方法中，可以利用最多两组运动信息(例如，运动矢量和参考图片索引)。
当前预测单元的运动信息可以包括运动矢量信息和参考图片索引。运动矢量信息可以意指运动矢量、运动矢量预测值或差分运动矢量，或者还可以意指指定运动矢量预测值的索引信息。差分运动矢量意指运动矢量与运动矢量预测值之间的差异。
可以使用运动矢量和参考图片索引来获取当前预测单元的参考块。参考块存在于具有参考图片索引的参考图片内。另外，由运动矢量所规定的块的像素值可以被利用为当前预测单元的预测器。也就是说，使用通过根据先前解码的图片估计运动来预测当前预测单元的图像的运动补偿。
除了当前图像之外，参考图像列表可以由用于帧间预测的图像来 构成。B片需要两个参考图像列表，并且该列表分别被称为参考列表0和参考列表1。在B片之中，其中参考列表0和参考列表1相同的片被特别地称作GPB片。
为了减少与运动矢量有关的传输量，可以使用已编译的单元的运动信息来获取运动矢量预测值，并且可以发送仅运动矢量差异。在解码器中，可以使用其它解码的单元的运动信息来获取当前单元的运动矢量预测值，并且可以使用已发送的差异来获取当前单元上的运动矢量值。在获取运动矢量预测值时，可以使用运动矢量竞争方法，该方法用于使用已经编译的单元的运动信息来获取各种运动矢量候选值，并且获取在候选值之中的一个运动矢量预测值。
在当前单元的帧间预测中需要的预测信息(例如，参考索引、运动矢量、预测方向等)在发送时未被直接地包括在比特流中，并且可以使用邻近单元来导出。通过使用这样的方法，可以通过使用分配给预测信息的比特的数目来提高压缩比。具体地，使用帧间预测而编译的相邻单元的预测单元可以被利用为当前单元的预测信息。当使用这样的方法时，表达的是当前单元已经与传递了预测信息的相邻单元合并，并且这样的预测方法被称作合并模式。
对于合并模式，比特流可以包括指示当前单元是否已经被合并的信息(例如，像merge_flag的标志)、指示哪一个相邻单元已经与当前单元合并的合并体信息(例如，指示当前单元是否已经与特定邻居合并的标志、或指示特定的邻居的索引信息等)等。指示哪一个邻近单元已经与当前单元合并的信息可以被设置为仅当指示当前单元已经被合并时(在上述示例中，在merge_flag是真或1时)获取。
另外，当使用帧间预测模式时，跳跃模式可以被应用在编译单元的单元中。跳跃模式是发送仅在用于当前单元的预测恢复的信息之中的特定信息(例如，指示将使用若干运动矢量预测候选中的哪一个的 信息)的预测方法。在这种情况下，其它已经编译的单元的信息可以被利用为它本身。当使用跳跃模式时，发送的信息的量可以被减少，并且因此首先，确定了编译单元是否在跳跃模式处等，可以使用另一个模式(例如，合并模式、直接预测模式或通用帧间预测模式)。
合并模式可以被应用在编译单元的单元中，或者可以被应用在预测单元的单元中。在其中合并模式被应用在编译单元的单元中的情况下，指示是否将合并体应用到使用帧间预测模式的每个最小编译单元的标志被发送。如上文所描述，跳跃模式可以被应用到编译单元，并且因此，在首先检查到跳跃模式是否将被应用在最小编译单元的单元之后(例如，使用诸如解析并且检查指示是否应用跳跃模式的标志的方法)，仅当不应用跳跃模式时，才可以获取合并模式应用标志。
如上文所描述，编译单元可以被在预测单元的单元中以各种形式来分割。在将合并模式应用在预测单元的单元中的情况下，对于跳跃模式(或直接预测模式)不应用于的所有帧间模式分区，分别获得该合并标志。
在下文中，描述合并模式的特定操作。当在合并模式中操作时，待作为目标的单元可以包括编译单元的单元和预测单元(分区)这两者。
可以与当前单元合并的单元被称作合并候选。合并候选可以被选择为与已经存储的单元之中的当前单元相邻近的单元。与当前单元，即带来预测信息的单元合并的单元被称作待合并的单元。为了确定待合并的单元，可以利用指示哪一个相邻单元已经被合并、从比特流获得的信息，以及可以使用特定的规则来导出待合并的单元。
在下文中，将参考图7和8来描述可以变成基于当前单元的合并候选的单元的类型，将参考图9和10来描述用于发送对于合并体所需 要的信息的方法，以及将参考图11至17来描述用于导出在合并候选单元之中的待合并的单元的各种实施例。
图7图示了用于当前单元的各种位置中的合并候选。合并候选可以存在于当前单元所位于的当前图像700内，或者可以存在于另一个已经恢复的图像750内。当前图像内的单元可以被称作空间合并候选，以及另一个图像内的单元可以被称作时间合并候选。空间合并候选的一些示例是与当前单元相邻近的左部区域的单元710、上部区域的单元720和/或拐角区域(C、C-1、C-2)的单元。时间合并候选可以变成位于另一个图像的特定位置，例如与当前单元相对应的位置等中的单元(D)。即使图7图示了特定尺寸的单元，每个单元的尺寸也可以根据如上文所描述的分割的级别而改变。
对于编译效率，合并候选可以被选择为考虑到编译效率和在位置之中的计算复杂性的特定数目的单元。
合并候选的一些示例是在左部区域的单元之中的最上单元(A)、在除了A之外的左部区域单元之中选择的单元(A-1)、在上部区域单元之中的最上单元(B)、在除了B之外的上部区域之中选择的单元(B-1)、在右上拐角处的单元(C)、在左下拐角处的单元(C-1)、在左上拐角处的单元(C-2)以及与另一个图像相对应的单元(D)。明显的是，当在左部或上部区域中存在与当前单元相邻近的仅一个单元时，不存在附加选择的单元。
类似地，可以利用从左部区域选择的单元、从上部区域选择的单元、拐角区域单元(C、C-1、C-2)以及与另一个图像相对应的单元(D)等来构成合并候选。在这里，在左部区域或上部区域中选择的单元的数目可以为优选的一个(在这种情况下，合并候选的最大数目将是6)，或者是预定的特定数目。还可以通过根据需要来选择单元中的仅一些来使用拐角区域单元。
为了简单化，更少数目的单元可以被确定为合并候选。例如，在左部区域的单元之中的最上的单元(A)、在上部区域单元之中的最左部的单元(B)、在右上拐角处的单元(C)、在左下拐角处的单元(C-1)以及与另一个图像相对应的单元(D)等可以变成合并候选。在这种情况下，合并候选的最大数目将是5。
最简单地，仅两个单元，例如，在左部区域的单元之中的最上的单元(A；在下文中，被称为上部相邻单元)以及在上部区域单元之中的最左部的单元(B；在下文中，被称为左部相邻单元)可以变成合并候选。
如上文所提到的，单元的尺寸可以根据分区的级别或分区模式来改变。因此，可以考虑到单元尺寸以及位置(最左的或最上的等)来确定合并候选。例如，可以基于与当前单元相邻近的边界的长度来做出选择。也就是说，选择了与邻近当前单元的左部区域或上部区域的单元之中的最长边框正切的单元。参考图8，例如，单元B、C以及D被定位在邻近当前单元X的上部区域中。如上文所描述，单元B和C可以是与单元D相比已经被再次分割的编译单元，或者可以以除了单元D的模式(2Nx2N)之外的模式(NxN)已经被分割。在单元B、C以及D中，单元D通过最长的边框与当前单元X正切，并且因此单元D被选择为在上部相邻单元之中的合并候选。还可以在上部相邻单元B、C以及D之中按照上述顺序来选择一个或多个单元。还可以考虑到除了邻近边框的长度之外的单元的区域来选择合并候选。
在其中合并候选的最大数目是2的情况下，关于两个候选中的哪一个将被合并的信息可以由一个位标志来指示。图9是图示了在其中左部相邻单元A或上部相邻单元B变成合并候选的上述示例中选择待合并的单元的处理的流程图。首先，获取了指示当前单元是否被编译在合并模式中的合并标志(merge_flag)(S901)。如果当前单元被基 于该合并标志信息(即，merge_flag＝真或1)编译在合并模式中，则获取了指示已经与哪一个单元合并了的合并方向标志(merge_left_flag)(S930)。合并方向标志当与左部相邻单元合并时具有真(或1)，并且当与上部相邻单元合并时具有假(或9)。因此，如果合并方向标志值是1(S940)，则左部相邻单元A的预测信息被用作当前单元X的预测信息(S950)，并且如果合并方向标志值是0，则上部相邻单元B的预测信息被用作当前单元X的预测信息(S970)。在其中合并标志指示除了合并模式之外的情况的情形下，使用通用预测模式来获取当前单元的预测信息(S960)。在上文中，合并方向标志仅仅是特定的实施例，并且因此这样的标志不必指示与左部相邻单元的合并体，并且可以被用作指示是否与合并候选之中的一个特定单元合并的形式。
在其中合并候选的最大数目是二或更大的情况下，待合并的单元不能够利用仅标志信息来指定，并且因此需要利用其它方法。例如，可以使用关于在合并候选之中的哪一个单元将被合并的索引信息(合并索引)，也就是说，指定待合并的单元的信息。索引可以以特定的顺序来固定，或者可以根据情形自适应地改变。
另外，根据本发明的示例性实施例，可以根据情况来更有效率地发送上述信息。也就是说，在其中上述信息不需要发送的特定条件下，可以省略这样的信息传输。
图10是图示了使用可用合并候选的数目来获得对于合并模式必要的信息的处理的流程图。首先，可以被当前单元使用的合并候选的数目(NumCandidate)通过检查上文描述的合并候选的位置来确定(S1010)。在这里可用意指当前单元可以从合并候选单元获得预测信息。也就是说，这是其中单元存在于位置中的情况，单元被在帧间模式中编译并且具有预测信息，以及已经被解码。如果可用合并候选的数目是0，则不能够应用合并模式，并且因此指示是否合并的合并标志(merge_flag)不需要发送。在这种情况下，使用通用帧间预测模式来 获得当前单元的预测信息(S1070)。因此，通过检查可用合并候选的数目(NumCandidate)的尺寸(S1020)，仅当合并候选的数目大于0时才获得合并标志(merge_flag)(S1030)。在其中合并候选的数目是1的情况下，一个合并候选可以被确定为待合并的单元。因此，关于当前单元与其合并的单元的信息(标志或索引)不需要单独地发送，并且因此仅在其中指示是否合并的标志是1并且合并候选的数目大于1的情况下(S1040)，获得这样的合并信息(S1050)。待合并的单元被基于所获得的合并信息来确定，并且待合并的单元的预测信息被用作当前单元的预测信息(S1060)。
在其中2Nx2N尺寸的编译单元的分区类型是2Nx2N的情况下，即，在其中编译单元由一个分区构成的情况下，可以使用直接预测模式。因此，在这种情况下，合并候选的数目(NumCandidates)被设置为0，无论邻近单元的运动信息如何，并且从而合并模式可以被设置成不应用于编译单元并且相关信息还可以被设置成不被发送。
然而，在这种情况下，对于当前单元的预测信息(预测方向、参考索引、运动矢量等)通过2Nx2N方向预测模式来表达会是不可能的。使用改进的方向预测模式以用于补偿在这样的情况下生成的损失也可以是必要的。
根据本发明的示例性实施例，可以根据合并候选的数目来执行可变信令。例如，在其中对于当前单元是可能的合并候选的数目是3的情况下，发送了用于区分0至2的信息，并且在其中可能的合并候选的数目是2的情况下，发送了仅用于区分0和1的信息。在这种情况下，存在当合并候选的数目小时可以减少分配给索引的比特的数目的优点。
可以使用在设置了候选的最大数目之后改变属于合并候选的单元的方法。例如，按顺序检查预定的位置，并且仅在数目上与候选的最 大数目相对应的单元变成合并单元以及待合并的单元被在仅合并候选之中选择。例如，假定候选的最大数目是4，并且按照A、B、C、C-1以及D的顺序检查合并候选。如果所有上述单元是可用的，则四个单元A、B、C以及C-1变成根据该顺序的合并候选。如果在上述示例中单元C不是可用的，则四个单元A、B、C-1以及D将被确定为合并候选。如果可用合并候选的数目小于候选的最大数目，则可以使用根据合并候选的数目的上文解释的可变信号方法。
当分区模式是NxN类型，即，编译单元由四个四边形分区构成时，用于确定可用合并候选的条件可以被添加在第四分区中。这样的条件可以被用在对可用合并候选的数目进行计数或导出待合并的单元的处理中。参考图11，例如，在分区3号的情况下，当前分区可以适应地与其合并的分区被根据其它三个分区(分区0至2号)的运动信息来确定。
例如，当分区0号和分区1号具有相同的运动信息并且分区2号具有不同的运动信息，分区3号可以不与分区2号合并，因为在这样的情况下，对于2NxN类型的分区来说分区将是冗余的。因此，在这种情况下，分区2号被从合并候选中排除。
当分区0号和分区2号具有相同的运动信息并且分区1号具有不同的运动信息时，分区3号可以不与分区1号合并，因为在这样的情况下，对于Nx2N类型的分区来说该分区将是冗余的。因此，在这种情况下，分区3号被从合并候选中排除。
在分区0号、分区1号以及分区3号全部具有相同的运动信息时，分区3号可以不与分区1号和分区2号合并，因为在这样的情况下，对于2Nx2N类型的分区来说该分区是冗余的。因此，在这种情况下，分区1号和分区2号被从合并候选中排除。
另外，为了减少用于确定待合并的单元的信息的传输的比特的数目，而不发送该信息，可以使用根据特定的规则来导出待合并的单元。在下文中，参考图12，将描述在可用合并候选单元之中确定待合并的单元的方法。在图12中，为了方便解释，假定仅单元A和B是合并候选单元，但是上文描述的各种位置的单元可以变成合并候选。
根据本发明的示例性实施例，可以在通过其使当前单元与邻近单元正切的边框的长度的基础上来选择待合并的单元。参考图12(a)，例如，当前单元X与上部邻近单元A之间的边框比当前单元A与左部相邻单元B之间的边框长，并且因此待合并的单元被选择为上部相邻单元A。也就是说，当前单元X与上部相邻单元A合并，并且上部相邻单元A的预测信息被用作当前单元X的预测信息。
根据本发明的示例性实施例，具有最类似于当前单元的相邻单元之中的特定位置(例如，左上部)的相邻单元的运动矢量的单元可以被选择为当前单元的待合并的单元。参考图12(b)，例如，上部相邻单元A具有比左部相邻单元B更类似于左上部相邻单元C的运动矢量，并且因此上部相邻单元A被选择为待合并的单元。
根据本发明的示例性实施例，在合并候选之中的较宽区域的单元可以被选择为待合并的单元。参考图12(c)，例如，左部相邻单元B的区域大于上部单元A，并且因此左部相邻单元B被选择为待合并的单元。
另外，可以用优先级的特定顺序来结合上述实施例。
根据本发明的示例性实施例，在使用合并模式时，当前单元被自动地用几何学分割，并且每个分区区域与邻近的相邻单元合并。参考图13，例如，当前单元被沿着分区线1300分割为X1和X2。使用作为合并候选的相邻单元A和B的欧几里德距离来确定分区线1300。因此， X1与A合并，而X2与B合并。
另外，在被分割的单元中，当不存在邻近区域或者仅存在一个邻近区域时，可以在没有发送特定信息的情况下导出待合并的单元。
根据本发明的示例性实施例，在几何分区的情况下，可以不存在邻近的恢复的区域。图14图示了其中当前单元已经被用几何学分割的情况。在这种情况下，当前单元被分割成两个分区，即X1和X2，并且X2不邻近重建的区。在这里，在分区X2的情况下，可以不允许与X1的合并。这是因为，在属于同一编译单元的X1和X2由于合并体而具有相同的预测信息时，不需要分区。因此，在这样的情况下，合并模式不能够适用于分区X2。在这种情况下，像在可用合并候选的数目为0的情况下一样，可以不获得指示是否合并的标志和指示待合并的单元的信息这两者。
图15图示了其中当前单元被分割成两个矩形分区的情况。参考图15(a)，在分区X2的情况下，上部区域邻近已恢复的区域，但是左部区域邻近属于同一编译单元的分区X1。类似于上述描述，其中分区X2与属于同一编译单元并且变成具有相同的预测信息的分区X1合并对于非分割的情况是冗余的，并且因此需要排除这样的情况。因此，在X2的情况下，可能需要应用合并模式，但是左部区域的单元可以不是合并候选。在对可用合并候选的数目进行计数时，可以考虑这样的点。如上文所描述的，如果仅两个种类，即左部单元和上部单元可以成为合并候选(也就是说，如果标志信息被发送以指示待合并的单元)，则指示待合并的单元的标志的发送相对于X2不是必需的。合并候选的数目是大的，并且在使用了上文所描述的自适应索引信息时，有利之处在于减少在索引中使用的信息的量。
另外，具有和另一个分区X1的预测信息相同的预测信息的单元不能是可用合并候选，该另一个分区X1属于和当前单元相同的编译单 元。当同一编译单元被分割成两个分区，即X1和X2时，其中X2与特定的单元合并并且变成具有与X2的预测信息相同的值的情况导致和在与X1合并中相同的结果。因此，在这种情况下，一个编译单元分割成X1和X2变得无意义。因此，在本发明中，在上文中可以变成预测候选的各种位置的合并候选单元之中搜索和X1相同的预测信息的单元被从可用合并单元候选中删除。也就是说，可以由当前分区使用的合并单元候选的数目被减少了具有与属于同一编译单元的另一个分区X1的预测信息相同的预测信息的合并候选的数目。按照这种方式，可用合并候选单元的数目变成0，可以不必发送指示是否应用合并模式的合并标志。例如，参考图15(a)，在其中上部相邻单元A的预测信息是与X1的预测信息相同的情况下，X2不能够与A和X1中的任何一个合并。因此，在这种情况下，由于不存在可用合并候选单元，所以不必发送指示是否应用合并模式的标志和指示待合并的单元的信息这两者。也就是说，这和其中可用合并候选的数目为0的情况相同。
与此相比，在图15(b)的情况下，分区X2的左侧邻近已恢复的区，但是上部侧不邻近已恢复的区并且变成邻近属于同一编译单元的另一个分区X1。因此，在这种情况下，X2不与X1合并，并且仅左部区域变成可用合并候选。在图15(b)的示例的情况下，剩余的合并候选仅是单元A，并且因此不必发送用于指定待合并的单元的标志信息。同样地，具有与X1相同的预测信息的单元不能够与X2合并，并且因此在其中X2的左部邻近区域A具有与X1的预测信息相同的预测信息的情况下，无可用合并候选单元剩余并且不必发送指示是否应用合并模式的合并标志信息。
图16图示了在其中单元被不对称地分割成两个分区的情况下的若干示例。在这里，占有更小区域的分区可以被设置为与仅邻近长边的单元合并。在图16(a)的情况下，X1的长边是左部区域，并且在其中选择了左部区域或上部区域中的一个的情况下，在没有发送指定该单元的标志(merge_left_flag)的情况下待合并的单元被确定为单元 A。在图16(b)的情况下，X1的长边是右部区域，以及在与上文相同的情况下待合并的单元被确定为单元A。
图17图示了在其中单元被用几何学分割成两个分区的情况下的若干示例。在这种情况下，可以根据分区类型来导出待合并的单元。在这里，可以使用分区与重建的区之间的边界线的长度来考虑分区类型。参考图17，相对于第一几何分区X1，假定X1与左部恢复的区域之间的边界线的长度为a，X1与上部恢复的区域之间的边界线的长度为b，以及c1和c2是预定的特定阈值。图17(a)和17(b)指示各种几何分区的分区类型，并且这可以使用a和b而被指定为特定值，例如像a/b一样的值。另外，使用这个值与阈值之间的关系来确定待合并的单元。
例如，如图17(a)中所示出的，在其中a/b大于c1(a/b>c1)的情况下，X1的待合并的单元被确定为A。与此相比，如图17(b)中所示出的，在其中a/b小于c2(a/b<c2)的情况下，X1的待合并的单元被确定为B。在这两个情况下，不必发送指示A和B中的哪一个被合并的信息。如图17(c)中所示出的，在其中a/b在c1与c2之间(c2<＝a/b<＝c1)的情况下，发送指示A和B中的哪一个为待合并的单元的单独的信息。
上文中所描述的示例性实施例是本发明的元素和特征的组合。除非另外提到，否则元素或特征可以被认为是选择性的。可以在不与其它元素或特征结合的情况下实践每个元素或特征。另外，本发明的实施例可以通过组合元素和/或特征的部分来解释。可以重新布置在本发明的实施例中描述的操作次序。任何一个实施例的一些结构可以被包括在另一实施例中并且可以利用另一实施例的相应的结构来代替。
本发明所应用于的解码/编码方法被使用用于计算机执行的程序来配置，然后被存储在计算机可读记录介质中。并且，具有本发明的 数据结构的多媒体数据能够被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储能够由计算机系统读取的数据的所有种类的存储装置。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且还包括用载波(例如，经由因特网的传输)实现的装置。并且，由编码方法生成的比特流被存储在计算机可读记录介质中或经由有线/无线通信网络发送。
本文中所描述的各种实施例可以被使用例如计算机软件、硬件、或其一些组合、以计算机可读介质来实现。对于硬件实现，本文中所描述的实施例可以被实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计成执行本文中所描述的功能的其它电子单元、或其选择性的组合内。在一些情况下，这样的实施例通过控制器来实现。
对于软件实施，本文中所描述的实施例可以使用单独的软件模块来实现，诸如过程或函数，其中的每一个都执行在本文中所描述的功能和操作中的一个或多个。软件代码能够使用以任何适合编程语言编写的软件应用来实现并且可以被存储在存储器中，并且由控制器来执行。
对本领域的技术人员而言将显而易见的是在不背离本发明的精神或范围的情况下，可以在本发明中做出各种修改和变化。因此，意图是本发明涵盖此发明的修改和变化，只要它们落入所附权利要求和它们的等同物的范围内。
工业适用性
本发明适用于对视频信号进行编码或解码。