图像处理装置和方法.pdf

本发明涉及能够在运动向量的编码或解码期间通过并行处理提高处理效率的图像处理装置和方法。对于适当的PU1，使用作为PU1下方相邻的PU的B1、C1和E1的运动向量信息，以及作为在CU中位于PU1上方的PU0下方相邻的A0和D0的运动向量信息。对于PU1，与A1对应的PU变为PU0，因此设定A0而非A1，作为PU1的相邻区域。本公开可以应用于例如图像处理装置。

1.  一种图像处理装置，包括：
相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，所述相邻区域设定单元基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；
预测运动向量生成单元，所述预测运动向量生成单元通过使用所述相邻区域设定单元设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及
运动向量解码单元，所述运动向量解码单元通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行解码。

2.  根据权利要求1所述的图像处理装置，
其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左侧或上侧的所述第二预测区域的第一相邻区域。

3.  根据权利要求2所述的图像处理装置，
其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第二相邻区域，替代与所述第一预测区域相邻的第二相邻区域。

4.  根据权利要求3所述的图像处理装置，
其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的下侧的预测区域，所述第二预测区域是位于所述编码区域中的上侧的预测区域，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域。

5.  根据权利要求3所述的图像处理装置，
其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的右侧的预测区域，所述第二预测区域是位于所述编码区域中的左侧的预测区域，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域。

6.  根据权利要求3所述的图像处理装置，
其中，在所述第一预测区域位于所述编码区域中的右侧和下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第一相邻区域，替代用作与所述编码区域中的左上侧相邻的所述第二预测区域的第一相邻区域。

7.  根据权利要求6所述的图像处理装置，
其中，在所述编码区域被分割成4×4个预测区域的情况下，当所述第一预测区域是位于所述编码区域中的右上侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域，
当所述第一预测区域是位于所述编码区域中的左下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域，以及
当所述第一预测区域是位于所述编码区域中的右下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左上侧相邻的相邻区域。

8.  根据权利要求3所述的图像处理装置，
其中，所述编码区域基于非对称运动划分被分割成多个预测区域。

9.  根据权利要求3所述的图像处理装置，进一步包括：
接收单元，所述接收单元接收编码流以及指示是否将执行所述空间相邻区域的设定的标志；以及
解码单元，所述解码单元对所述接收单元接收到的编码流进行解码以便生成所述图像，
其中所述相邻区域设定单元基于所述接收单元接收到的标志来执行所述空间相邻区域的设定。

10.  根据权利要求9所述的图像处理装置，
其中针对每个编码区域或预测区域设定所述标志。

11.  根据权利要求3所述的图像处理装置，
其中基于次序简档或级别来设定是否将执行所述空间相邻区域的设定，以及
其中所述相邻区域设定单元基于所述次序简档或级别来执行所述空间相邻区域的设定。

12.  一种图像处理方法，包括：
使图像处理装置
当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；
通过使用所设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及
通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行解码。

13.  一种图像处理装置，包括：
相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，所述相邻区域设定单元基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；
预测运动向量生成单元，所述预测运动向量生成单元通过使用所述相邻区域设定单元设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及
运动向量编码单元，所述运动向量编码单元通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行编码。

14.  根据权利要求13所述的图像处理装置，
其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左侧或上侧的所述第二预测区域的第一相邻区域。

15.  根据权利要求14所述的图像处理装置，
其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第二相邻区域，替代与所述第一预测区域相邻的第二相邻区域。

16.  根据权利要求15所述的图像处理装置，
其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的下侧的预测区域，所述第二预测区域是位于所述编码区域中的上侧的预测区域，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域。

17.  根据权利要求15所述的图像处理装置，
其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的右侧的预测区域，所述第二预测区域是位于所述编码区域中的左侧的预测区域，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域。

18.  根据权利要求15所述的图像处理装置，
其中，在所述第一预测区域位于所述编码区域中的右下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左上侧的所述第二预测区域的第一相邻区域。

19.  根据权利要求18所述的图像处理装置，
其中，在所述编码区域被分割成4×4个预测区域的情况下，当所述第一预测区域是位于所述编码区域中的右上侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域，
当所述第一预测区域是位于所述编码区域中的左下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域，以及
当所述第一预测区域是位于所述编码区域中的右下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左上侧相邻的相邻区域。

20.  根据权利要求15所述的图像处理装置，
其中，所述编码区域基于非对称运动划分被分割成多个预测区域。

21.  根据权利要求15所述的图像处理装置，进一步包括：
设定单元，所述设定单元设定指示是否将执行所述空间相邻区域的设定的标志；
编码单元，所述编码单元对所述图像进行编码以便生成编码流；以及
传送单元，所述传送单元传送由所述运动向量编码单元编码的运动向量、由所述编码单元生成的编码流以及由所述设定单元设定的标志，
其中所述相邻区域设定单元基于所述设定单元设定的标志来执行所述空间相邻区域的设定。

22.  根据权利要求21所述的图像处理装置，
其中所述设定单元针对每个编码区域或预测区域设定所述标志。

23.  根据权利要求15所述的图像处理装置，
其中基于次序简档或级别来设定是否将执行所述空间相邻区域的设定，以及
其中所述相邻区域设定单元基于所述次序简档或级别来执行所述空间相邻区域的设定。

24.  一种图像处理方法，包括：
使图像处理装置
当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；
通过使用所设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及
通过使用所述预测区域的预测运动向量来对所述对象区域的运动向量进行编码。

图像处理装置和方法
技术领域
本公开涉及图像处理装置和图像处理方法，更具体地，涉及能够通过并行处理来提高处理效率的图像处理装置和图像处理方法。
背景技术
近年来，通过采用如下编码方法对图像进行压缩和编码的装置已被广泛使用：其中图像信息被视为数字值，并且此时，使用图像信息特有的冗余，通过诸如离散余弦变换的正交变换以及运动补偿来压缩图像信息，以便高效率地传送和积累信息。该编码方法包括例如MPEG(移动屏幕专家组)等。
具体地，MPEG2(ISO(国际标准组织)/IEC(国际电工委员会)13818-2)被定义为通用图像编码方法，并且是覆盖隔行扫描图像和逐行扫描图像二者以及标准分辨率图像和高清晰度图像的标准。例如，MPEG2当前被广泛用在专业使用和消费者使用的大范围应用中。通过使用MPEG2压缩方法，例如可以对具有720×480个像素的标准分辨率的隔行扫描图像分配4Mbps至8Mbps的比特率。此外，通过使用MPEG2，例如可以对具有1920×1088个像素的高分辨率的隔行扫描图像分配18Mbps至22Mbps的比特率。因此，可以实现高压缩比以及良好的图像质量。
MPEG2主要瞄准适用于广播的高图像质量编码，而非应对低于MPEG1的比特率的编码方法，即较高压缩比的编码方法。随着便携式终端的广泛使用，认为对这样的编码方法的需要会增加，并且因此MPEG4编码方法被标准化以与之对应。关于图像编码方法，MPEG4的标准在1998年12月被批准成为题为ISO/IEC14496-2的国际标准。
对于其标准化进度表，该编码方法在2003年3月变成被命名为H.264和MPEG-4Part10(高级视频编码，以下被称为AVC)的国际标准。
此外，作为AVC方法的扩展，包括诸如RGB或4:2:2和4:4:4的用 在商业中的编码工具并且还包括在MPEG2中定义的量化矩阵或8×8DCT的保真度范围扩展(FRExt)在2005年2月被标准化。这实现了如下编码方法，其中可以使用AVC方法有利地表述影片中包括的均匀胶片噪声，并且因此导致了用于诸如Blu-Ray Disc(注册商标)的各种应用。
然而，近来，对较高压缩比编码的需要，诸如对具有约4000×2000个像素(是高画质图像的尺寸的四倍)的图像的压缩的需要或者对在诸如互联网的有限传输容量环境中递送高画质图像的需要，不断增加。出于该原因，当前在附属于以上ITU-T的视频编码专家组(VCEG)中正在进行提高编码效率的研究。
作为用于提高编码效率的方法之一，已提出了如下方法(以下称为MV竞争)，其中为了使用AVC方法中的中值预测来改进运动向量的编码，自适应地使用“时间预测符(predictor)”或“空间-时间预测符”作为AVC方法中定义的并且通过中值预测获得的“空间预测符”以外的预测运动向量信息(例如，参见非专利文献1)。
此外，在AVC方法中，被称为联合模型(JM)的、在使用AVC方法的参考软件中实现的高复杂度模式和低复杂度模式中的成本函数值被用于选择预测运动向量信息。
换言之，选择使用预测运动向量信息时的成本函数值，并且选择最优预测运动向量信息。在图像压缩信息中传送指示在每个块中使用哪个预测运动向量信息的信息的标志信息。
然而，存在如下考虑，16像素×16像素的宏块尺寸对于诸如超高清晰度(UHD；4000像素×2000像素)的较大的屏幕帧可能不是最优的，而超高清晰度将变为下一代编码方法的目标。
因此，目前，为了提高编码效率以高于AVC的编码效率，被称为高效视频编码(HEVC)的编码方法的标准化正在由联合协作团队-视频编码(JCTVC)进行，JCTVC是国际电信联盟电信标准化部门(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)的联合标准化组织(例如，参见非专利文献2)。
在HEVC编码方法中，定义编码单元(CU)，其是与AVC方法中的宏块相同的处理单位。不同于AVC方法的宏块，CU并非固定为16×16个像素的尺寸，并且在关于每个序列的图像压缩信息中被指定。此外，在每个序列中，规定了CU的最大编码单元(LCU)和最小编码单元(SCU)。
此外，作为运动信息的编码方法之一，已提出了被称为运动划分融合的方法(以下称为融合模式)(例如，参见非专利文献3)。在该方法中，在相应块的运动信息与相邻块的运动信息相同的情况下，仅传送标志信息，并且，在解码期间，通过使用相邻块的运动信息重建相应块的运动信息。
换言之，在融合模式中，还从相邻块获得空间预测符(空间预测运动向量)和时间预测符(时间预测运动向量)，并且从中确定最优预测运动向量。此外，在融合模式中，在相应块的运动信息和确定的预测运动向量彼此相同的情况下，仅传送标志信息。
同时，在以上MV竞争或融合模式中在运动向量编码或解码处理中获得作为处理对象的相应PU的空间预测符。在该情况下，已提出了一种方法，其中按与相应PU相邻的PU之间的预定位置关系与相应PU相邻的PU的运动向量被用作相应PU的空间预测符的候选。
具体地，作为与相应PU的左下侧相邻的PU的A₀的运动向量，以及在与相应PU的左侧相邻的PU中的、作为位于A₀的PU的A₁的运动向量，被用作候选。此外，作为与相应PU的左上侧相邻的PU的B₂的运动向量，作为与相应PU的右上侧相邻的PU的B₀的运动向量，以及在与相应PU的上侧相邻的PU中的、作为位于B₀左侧的PU的B₁的运动向量，被用作候选。
此外，按A₀和A₁的顺序以及B₀、B₁和B₂的顺序执行扫描，并且当检测到等同于相应PU的运动向量信息的具有参考帧的运动向量信息时，扫描结束。
非专利文献
非专利文献1：Joel Jung,Guillaume Laroche,"Competition-Based Scheme for Motion Vector Selection and Coding",VCEG-AC06,ITU-Telecommunications Standardization Sector STUDY GROUP16Question6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,17and18July,2006
非专利文献2：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft4of High-Efficiency Video Coding",JCTVC-F803,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting:Torino,IT,14to22July,2011
非专利文献3：Martin Winken,Sebastian Bosse,Benjamin Bross,Philipp Helle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,Simon Oudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,and Thomas Wiegand,"Description of video coding technology proposed by Fraunhofer HHI",JCTVC-A116,April,2010
发明内容
技术问题
然而，在将单个CU分割成例如2N×N的情况下，不能执行关于位于CU上侧的PU1的运动向量的上述编码或解码，除非关于位于CU下侧的PU0的运动向量信息是固定的。出于该原因，不能并行处理关于PU0和PU1的运动向量信息。
此外，对于将单个CU分割成N×2N的PU的情况，亦是如此。
考虑到这些情况做出了本公开，并且本公开用于在运动向量的编码或解码中通过并行处理来提高处理效率。
技术解决方案
根据本公开的一个方面，提供了一种图像处理装置，其包括：相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，相邻区域设定单元基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成；预测运动向量生成单元，其通过使用相邻区域设定单元设定的空间相邻区域的运动向量来生成预测区域的空间预测向量；以及运动向量解码单元，其通过使用预测区域的预测运动向量来对预测区域的运动向量进行解码。
在第一预测区域位于编码区域中的右侧或下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元可以设定第二预测区域的第一相邻区域，替代用作位于编码区域中的左侧或上侧的第二预测区域的第一相邻 区域。
在第一预测区域位于编码区域中的右侧或下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元可以设定第二预测区域的第二相邻区域，替代与第一预测区域相邻的第二相邻区域。
在编码区域被分割成2N×N个预测区域的情况下，第一预测区域是位于编码区域中的下侧的预测区域，第二预测区域是位于编码区域中的上侧的预测区域，第一相邻区域是与预测区域的上侧相邻的相邻区域，并且第二相邻区域是与预测区域的右上侧相邻的相邻区域。
在编码区域被分割成2N×N个预测区域的情况下，第一预测区域是位于编码区域中的右侧的预测区域，第二预测区域是位于编码区域中的左侧的预测区域，第一相邻区域是与预测区域的左侧相邻的相邻区域，并且第二相邻区域是与预测区域的左下侧相邻的相邻区域。
在第一预测区域位于编码区域中的右侧和下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作与编码区域中的左上侧相邻的第二预测区域的第一相邻区域。
在编码区域被分割成4×4个预测区域的情况下，当第一预测区域是位于编码区域中的右上侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的左侧相邻的相邻区域，并且第二相邻区域是与预测区域的左下侧相邻的相邻区域；当第一预测区域是位于编码区域中的左下侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的上侧相邻的相邻区域，并且第二相邻区域是与预测区域的右上侧相邻的相邻区域，以及当第一预测区域是位于编码区域中的右下侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的左上侧相邻的相邻区域。
编码区域基于非对称运动划分被分割成多个预测区域。
该图像处理装置可以进一步包括：接收单元，其接收编码流以及指示是否将执行空间相邻区域的设定的标志；以及解码单元，解码单元对接收单元接收到的编码流进行解码以便生成图像，并且相邻区域设定单元可以基于接收单元接收到的标志来执行空间相邻区域的设定。
针对每个编码区域或预测区域设定标志。
可以基于次序简档或级别来设定是否将执行空间相邻区域的设定，并且相邻区域设定单元可以基于次序简档或级别来执行空间相邻区域的设定。
根据本公开的该方面，提供了一种图像处理方法，包括：使图像处理装置：当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成；通过使用所设定的空间相邻区域的运动向量来生成预测区域的空间预测向量；以及通过使用预测区域的预测运动向量来对预测区域的运动向量进行解码。
根据本公开的另一方面，提供了一种图像处理装置，其包括：相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，相邻区域设定单元基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成；预测运动向量生成单元，预测运动向量生成单元通过使用相邻区域设定单元设定的空间相邻区域的运动向量来生成预测区域的空间预测向量；以及运动向量编码单元，运动向量编码单元通过使用预测区域的预测运动向量来对预测区域的运动向量进行编码。
在第一预测区域位于编码区域中的右侧或下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元可以设定第二预测区域的第一相邻区域，替代用作位于编码区域中的左侧或上侧的第二预测区域的第一相邻区域。
在第一预测区域位于编码区域中的右侧或下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元可以设定第二预测区域的第二相邻区域，替代与第一预测区域相邻的第二相邻区域。
在编码区域被分割成2N×N个预测区域的情况下，第一预测区域是位于编码区域中的下侧的预测区域，第二预测区域是位于编码区域中的上侧的预测区域，第一相邻区域是与预测区域的上侧相邻的相邻区域，并且第二相邻区域是与预测区域的右上侧相邻的相邻区域。
在编码区域被分割成2N×N个预测区域的情况下，第一预测区域是位于编码区域中的右侧的预测区域，第二预测区域是位于编码区域中的左 侧的预测区域，第一相邻区域是与预测区域的左侧相邻的相邻区域，并且第二相邻区域是与预测区域的左下侧相邻的相邻区域。
在第一预测区域位于编码区域中的右下侧的情况下，在第一预测区域的相邻区域中，相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作位于编码区域中的左上侧的第二预测区域的第一相邻区域。
在编码区域被分割成4×4个预测区域的情况下，当第一预测区域是位于编码区域中的右上侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的左侧相邻的相邻区域，并且第二相邻区域是与预测区域的左下侧相邻的相邻区域；当第一预测区域是位于编码区域中的左下侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的上侧相邻的相邻区域，并且第二相邻区域是与预测区域的右上侧相邻的相邻区域；以及当第一预测区域是位于编码区域中的右下侧的预测区域，并且第二预测区域是位于编码区域中的左上侧的预测区域时，第一相邻区域是与预测区域的左上侧相邻的相邻区域。
编码区域基于非对称运动划分被分割成多个预测区域。
该图像处理装置可以进一步包括：设定单元，设定单元设定指示是否将执行空间相邻区域的设定的标志；编码单元，编码单元对图像进行编码以便生成编码流；以及传送单元，传送单元传送由运动向量编码单元编码的运动向量、由编码单元生成的编码流以及由设定单元设定的标志，并且相邻区域设定单元可以基于设定单元设定的标志来执行空间相邻区域的设定。
设定单元可以针对每个编码区域或预测区域设定标志。
可以基于次序简档或级别来设定是否将执行空间相邻区域的设定，并且相邻区域设定单元可以基于次序简档或级别来执行空间相邻区域的设定。
根据本公开的另一方面，提供了一种图像处理方法，其包括：使图像处理装置：当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成；通过使用所设定的空间相邻区域的运动向量来生成预测区域的空间预测向量；以及通过使用预测区域的预测运动向量来对预测区 域的运动向量进行编码。
根据本公开的一个方面，当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成。此外，通过使用所设定的空间相邻区域的运动向量来生成预测区域的空间预测向量，并且通过使用预测区域的预测运动向量来对预测区域的运动向量进行解码。
根据本公开的另一方面，当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，基于预测区域在编码区域中的位置来设定空间相邻区域，使得并行地执行多个预测区域的空间运动向量的生成。此外，通过使用所设定的空间相邻区域的运动向量来生成预测区域的空间预测向量，并且通过使用预测区域的预测运动向量来对对象区域的运动向量进行编码。
此外，上述图像处理装置可以是单独的装置，并且可以是形成单个图像编码设备或图像解码设备的内部块。
本发明的有利效果
根据本公开的该方面，可以对图像解码。特别地，可以在运动向量的编码或解码中通过并行处理提高处理效率。
根据本公开的另一方面，可以对图像编码。特别地，可以在运动向量的编码或解码中通过并行处理提高处理效率。
附图说明
图1是图示图像编码设备的主要配置示例的框图。
图2是图示具有小数点像素精度的运动预测/补偿处理的示例的示图。
图3是图示宏块示例的示图。
图4是图示中值操作的示图。
图5是图示多参考帧的示图。
图6是图示时间直接模式的示图。
图7是图示运动向量编码方法的示图。
图8是编码单元的配置示例。
图9是图示运动划分融合的示图。
图10是在HEVC方法中生成空间预测运动向量的方法。
图11是在HEVC方法中生成空间预测运动向量的方法。
图12是图示在2N×N PU中生成本技术的空间预测运动向量的方法的示图。
图13是图示在N×2N PU中生成本技术的空间预测运动向量的方法的示图。
图14是图示在2N×2N PU中生成本技术的空间预测运动向量的方法的示图。
图15是图示HEVC方法中的非对称运动划分的示图。
图16是图示运动向量编码单元的主要配置示例的框图。
图17是图示编码处理的流程的示例的流程图。
图18是图示帧间运动预测处理的流程的示例的流程图。
图19是图示预测运动向量生成处理的流程的示例的流程图。
图20是图示图像解码设备的主要配置示例的框图。
图21是图示运动向量解码单元的主要配置示例的框图。
图22是图示解码处理的流程的示例的流程图。
图23是图示运动向量重建处理的流程的示例的流程图。
图24是图示多视图图像编码方法的示例的示图。
图25是图示被应用本技术的多视图图像编码设备的主要配置示例的示图。
图26是图示被应用本技术的多视图图像解码设备的主要配置示例的示图。
图27是图示层图像编码方法的示例的示图。
图28是图示被应用本技术的层图像编码设备的主要配置示例的示图。
图29是图示被应用本技术的层图像解码设备的主要配置示例的示 图。
图30是图示计算机的主要配置示例的框图。
图31是图示电视装置的示意性配置的示例的框图。
图32是图示移动电话的示意性配置的示例的框图。
图33是图示记录/再现装置的示意性配置的示例的框图。
图34是图示成像装置的示意性配置的示例的框图。
图35是图示使用可分级编码的示例的框图。
图36是图示使用可分级编码的另一示例的框图。
图37是图示使用可分级编码的又一示例的框图。
具体实施方式
在下文中，将描述本公开的实施例。此外，描述将以如下顺序进行。
1.第一实施例(图像编码设备)
2.第二实施例(图像解码设备)
3.第三实施例(多视图图像编码设备和多视图图像解码设备)
4.第四实施例(层图像编码设备和层图像解码设备)
5.第五实施例(计算机)
6.应用示例
7.可分级编码的应用示例
<1.第一实施例>
[图像编码设备]
图1是图示图像编码设备的主要配置示例的框图。
图1中所示的图像编码设备100例如通过使用符合高效视频编码(HEVC)的预测处理方法来对图像数据编码。在图像编码设备100中，通过使用CU(还被称为编码区域)作为处理单位执行编码。
如图1中所示，图像编码设备100包括A/D转换单元101、屏幕重排 缓冲器102、计算单元103、正交变换单元104、量化单元105、可逆编码单元106、积累缓冲器107、反量化单元108和逆正交变换单元109。此外，图像编码设备100包括计算单元110、解块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116以及速率控制单元117。
图像编码设备100进一步包括运动向量编码单元121和并行处理控制单元122。
A/D转换单元101对输入的图像数据执行A/D转换，并且将经转换的图像数据(数字数据)提供给屏幕重排缓冲器102并且将经转换的图像数据存储在屏幕重排缓冲器102中。屏幕重排缓冲器102根据图片组(GOP)将按照存储的显示顺序的帧的图像重排成用于编码的帧的顺序，并且将帧顺序被重排的图像提供给计算单元103。此外，屏幕重排缓冲器102还将帧顺序被重排的图像提供给帧内预测单元114和运动预测/补偿单元115。
计算单元103从读取自屏幕重排缓冲器102的图像中减去经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像，并且将其差信息输出到正交变换单元104。
例如，在被执行帧间编码的图像的情况下，计算单元103从读取自屏幕重排缓冲器102的图像中减去从运动预测/补偿单元115提供的预测图像。
正交变换单元104对从计算单元103提供的差信息执行正交变换，诸如离散余弦变换或卡胡南-洛夫(Karhunen-Loeve)变换。此外，可以使用任何正交变换方法。正交变换单元104将通过正交变换获得的变换系数提供给量化单元105。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于关于从速率控制单元117提供的比特率的目标值的信息来设定量化参数，并且对该参数进行量化。此外，可以使用任何量化方法。量化单元105将经量化的变换系数提供给可逆编码单元106。
可逆编码单元106通过使用任何编码方法来对在量化单元105中量化的变换系数进行编码。系数数据在速率控制单元117的控制下进行量化，并且因此比特率变为速率控制单元117设定的目标值(或接近该目标值)。
此外，可逆编码单元106从帧内预测单元114获取指示帧内预测模式的信息等，并且从运动预测/补偿单元115获取指示帧间预测模式的信息或 运动向量信息。
可逆编码单元106通过使用任何编码方法对各种信息进行编码，并且使用编码信息作为编码数据(还被称为编码流)的报头信息的一部分(复用)。可逆编码单元106将通过编码获得的编码数据提供给积累缓冲器107并且在积累缓冲器107中积累该编码数据。
例如，可变长度编码、算术编码等可以用作可逆编码单元106的编码方法。可变长度编码可以包括例如，在AVC方法中定义的上下文自适应可变长度编码(CAVLC)等。算术编码可以包括例如，上下文自适应二进制算术编码(CABAC)等。
积累缓冲器107临时保持从可逆编码单元106提供的编码数据。积累缓冲器107在预定定时将在其中保持的编码数据输出到例如，记录设备(记录介质)或后继阶段中的传输路径(未示出)。换言之，积累缓冲器107还用作传送编码数据的传输单元。
此外，在量化单元105中量化的变换系数也被提供给反量化单元108。反量化单元108通过与量化单元105中的量化对应的方法来对经量化的变换系数进行反量化。可以使用任何反量化方法，只要该方法与量化单元105中的量化处理对应即可。反量化单元108将获得的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过与正交变换单元104中的正交变换处理对应的方法，对从反量化单元108提供的变换系数执行逆正交变换。可以使用任何逆正交变换方法，只要其与正交变换单元104中的正交变换处理对应即可。经历逆正交变换的输出(恢复的差信息)被提供给计算单元110。
计算单元110使经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像与作为从逆正交变换单元109提供的逆正交变换结果的恢复的差信息相加，从而获得局部解码的图像(解码图像)。该解码图像被提供给解块滤波器111或帧存储器112。
解块滤波器111对从计算单元110提供的解码图像执行适当的解块滤波处理。例如，解块滤波器111对解码图像执行解块滤波处理以便从解码图像中去除块失真。
解块滤波器111将滤波处理结果(已经历滤波处理的解码图像)提供给帧存储器112。此外，如上文所述，从计算单元110输出的解码图像可以被提供给帧存储器112而不使用解块滤波器111。换言之，可以省略解 块滤波器111的滤波处理。
帧存储器112存储所提供的解码图像，并且在预定定时将存储的解码图像提供给选择单元113作为参考图像。
选择单元113选择从帧存储器112提供的参考图像的提供目的地。例如，在帧间预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给运动预测/补偿单元115。
帧内预测单元114通过使用作为经由选择单元113从帧存储器112提供的参考图像的处理对象图片中的像素值，来执行帧内预测(屏幕内预测)，用于生成具有作为处理单位的基本预测单元(PU)的预测图像。帧内预测单元114在预先准备的多个帧内预测模式下执行该帧内预测。
帧内预测单元114在所有候选帧内预测模式下生成预测图像，通过使用从屏幕重排缓冲器102提供的输入图像来评估每个预测图像的成本函数值，并且选择最优模式。如果选择了最优帧内预测模式，则帧内预测单元114将以最优模式生成的预测图像提供给预测图像选择单元116。
此外，如上文所述，帧内预测单元114适当地将指示所采用的帧内预测模式的帧内预测模式信息等提供给可逆编码单元106，以便允许该信息被编码。
运动预测/补偿单元115通过使用从屏幕重排缓冲器102提供的输入图像以及经由选择单元113从帧存储器112提供的参考图像，利用作为处理单位的基本PU来执行运动预测(帧间预测)。在下文中，预测单元(PU)还被称为预测区域。运动预测/补偿单元115将检测到的运动向量提供给运动向量编码单元121，并且根据检测到的运动向量执行运动补偿处理以便生成预测图像(帧间预测图像信息)。运动预测/补偿单元115在预先准备的多个帧间预测模式下执行帧间预测。
运动预测/补偿单元115将由于帧间预测获得的对象预测区域的运动向量信息提供给运动向量编码单元121。此外，运动预测/补偿单元115将PU(预测区域)的尺寸信息提供给并行处理控制单元122。PU的尺寸信息是指示PU如何形成CU，即PU的划分尺寸的信息。
运动预测/补偿单元115生成作为对象预测区域的运动向量和来自运动向量编码单元121的对象预测区域的预测运动向量之间的差的差运动向量。此外，运动预测/补偿单元115通过从屏幕重排缓冲器102提供的输入图像、关于所生成的差运动向量的信息等，来评估每个预测图像的成本 函数值，并且选择最优模式。如果选择了最优帧间预测模式，则运动预测/补偿单元115将在最优模式下生成的预测图像提供给预测图像选择单元116。
运动预测/补偿单元115将指示所采用的帧间预测模式的信息、在对编码数据进行解码时在帧间预测模式下执行处理所需的信息等，提供给可逆编码单元106以便允许该信息被编码。必要的信息包括例如，关于所生成的差运动向量的信息、包括指示预测运动向量的索引的标志的预测运动向量信息等。
预测图像选择单元116选择要被提供给计算单元103或计算单元110的预测图像的提供源。例如，在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的提供源，并且将从运动预测/补偿单元115提供的预测图像提供给计算单元103或计算单元110。
速率控制单元117基于在积累缓冲器107中积累的编码数据的比特率来控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。
运动向量编码单元121存储运动预测/补偿单元115获得的运动向量。运动向量编码单元121预测对象预测区域的运动向量。换言之，运动向量编码单元121生成用于对运动向量编码或解码的预测运动向量(预测符)。
这里，作为预测运动向量的类别，存在时间预测运动向量(时间预测符)和空间预测运动向量(空间预测符)。时间预测运动向量是通过使用在时间上与对象预测区域相邻的时间相邻区域的运动向量而生成的预测运动向量。空间预测运动向量是通过使用在空间上与对象预测区域相邻的空间相邻区域的运动向量而生成的预测运动向量。
具体地，运动向量编码单元121通过使用在时间上与对象预测区域相邻的时间相邻区域的运动向量来生成时间预测运动向量。此外，运动向量编码单元121通过使用在空间上与对象预测区域相邻的空间相邻区域的运动向量来生成空间预测运动向量。此时，通过使用由来自并行处理控制单元122的控制信号指定的相邻区域来生成空间预测运动向量。运动向量编码单元121将在所生成的预测运动向量中的、被视为最优的最优预测运动向量提供给运动预测/补偿单元115。
并行处理控制单元122设定对象PU的空间相邻PU。并行处理控制单元122设定对象PU的空间相邻PU，使得特别是在编码区域(CU)由多个预测区域(PU)形成的情况下，并行地执行对象预测区域的预测运 动向量生成处理。此外，设定对象PU的空间相邻PU具有与设定对象Pu的空间相邻PU的运动向量相同的含义，即用于生成预测运动向量。
具体地，并行处理控制单元122向运动向量编码单元121提供控制信号(地址等)，用于通过参考来自运动预测/补偿单元115的关于PU尺寸的信息，基于预测区域在编码区域中的位置，设定对象PU的空间相邻PU。
此外，在本实施例中，将对如下情况进行描述，运动向量的预测指示生成预测运动向量的处理，并且运动向量的编码指示生成预测运动向量并且通过使用所生成的预测运动向量获得差运动向量的处理。换言之，运动向量的编码处理包括运动向量的预测处理。相似地，将对如下情况进行描述，运动向量的解码指示生成预测运动向量并且通过使用所生成的预测运动向量重建运动向量的处理。换言之，运动向量的解码处理包括运动向量的预测处理。
此外，与对象预测区域相邻的上述相邻区域也是位于对象区域周围的相邻区域，并且在下文中将在这两个区域具有相同含义的假设下进行描述。
[1/4像素精度运动预测]
图2是图示在AVC方法中定义的具有1/4像素精度的运动预测/补偿处理的示例的示图。在图2中，每个方形指示像素。在这些方形中，A指示帧存储器112中存储的整数精度像素的位置；b、c和d指示1/2精度像素的位置；并且e1、e2和e3指示1/4精度像素的位置。
在下文中，如下式(1)中那样定义函数Clip1()：
[数学式1]

例如，在输入图像具有8位精度的情况下，式(1)的max_pix的值是255。
使用6抽头FIR滤波器如下式(2)和(3)中那样生成位置b和d处的像素值：
[数学式2]
F＝A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃    …(2)
[数学式3]
b,d＝Clip1((F+16)>>5)    …(3)
通过在水平方向和竖直方向上应用6抽头FIR滤波器如下式(4)至(6)中那样生成位置c处的像素值：
[数学式4]
F＝b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃    …(4)或者
[数学式5]
F＝d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃    …(5)
[数学式6]
c＝Clip1((F+512)>>10)    …(6)
此外，在水平方向和竖直方向两者上执行积和处理之后，执行一次Clip处理。
如下式(7)至(9)中那样通过线性内插生成e1至e3。
[数学式7]
e₁＝(A+b+1)>>1    ...(7)
[数学式8]
e₂＝(b+d+1)>>1    ...(8)
[数学式9]
e₃＝(b+c+1)>>1    ...(9)
[宏块]
图3是图示AVC方法中的宏块示例的示图。
在MPEG2中，对于运动预测/补偿处理的单位，在帧运动补偿模式的情况下以16×16个像素为单位执行运动预测/补偿处理。此外，在场运 动补偿模式的情况下，对于第一场和第二场中的每个以16×8个像素为单位执行运动预测/补偿处理。
相反，在AVC方法中，如图3中所示，由16×16个像素形成的单个宏块可以被分割成16×16、16×8、8×16和8×8中的任一个的分区。此外，允许各个子宏块彼此独立地具有运动向量信息。此外，如图3中所示，对于8×8分区，该分区可以被分割成8×8、8×4、4×8和4×4中的任一个的子宏块，允许这些子宏块具有独立的运动向量信息。
然而，如果通过与MPEG2相同的方式在AVC方法中执行这种运动预测/补偿处理，则考虑可能生成大量的运动向量信息。此外，如果按原样对所生成的运动向量信息进行编码，则考虑编码效率可能降低。
[运动向量的中值预测]
作为解决该问题的技术，在AVC方法中通过使用如下技术实现运动向量的编码信息的减少。
图4中所示的每条直线指示运动补偿块的边界。此外，在图4中，E指示从现在起要编码的相应的运动补偿块，并且A至D指示与E相邻的已被编码的运动补偿块。
这里，X的运动向量信息被设定为mvx，其中X＝A,B,C,D,和E。
首先，使用关于运动补偿块A、B和C的运动向量信息，基于中值运算如下式(10)中那样生成关于运动补偿块E的预测运动向量信息pmvE：
[数学式10]
pmv_E＝med(mv_A,mv_B,mv_C)    ...(10)
在由于诸如和范围的末端的原因，关于运动补偿块C的信息不可用的情况下，使用关于运动补偿块D的信息替换该信息。
通过使用pmvE在图像压缩信息中如下式(11)中那样生成被编码为运动补偿块E的运动向量信息的数据mvdE。
[数学式11]
mvd_E＝mv_E-pmv_E    ...(11)
此外，在实际处理中，针对运动向量信息的水平方向和竖直方向上的 各个分量独立地执行处理。
[多参考帧]
在AVC方法中，规定了在诸如MPEG2和H.263的相关技术的图像编码方法中没有规定的、被称为多参考帧的方法。
将参照图5对在AVC方法中规定的多参考帧进行描述。
换言之，在MPEG-2和H.263中，在P图片的情况下，通过参考帧存储器中存储的仅单个参考帧来执行运动预测/补偿处理。相反，在AVC方法中，如图5中所示，多个参考帧被存储在存储器中，并且因此对于每个宏块可以参考不同的存储器。
[直接模式]
接下来，将描述直接模式。在B图片中存在大量的运动向量信息，但是在AVC方法中准备被称为直接模式的模式。
在直接模式中，运动向量信息不存储在图像压缩信息中。在图像解码设备中，根据相邻块的运动向量信息，或者作为位于与参考帧中的处理对象块相同的位置处的块的并置块的运动向量信息，来计算相应块的运动向量信息。
直接模式包括在每帧中可以改变的空间直接模式和时间直接模式这两种类型。
在空间直接模式中，如在下式(12)中指示的，计算作为处理对象的运动补偿块E的运动向量信息mvE。
mvE＝pmvE    ...(12)
换言之，将通过中值预测生成的运动向量信息应用于相应块。
在下文中将参照图6描述时间直接模式。
在图6中，位于与相应块相同的空间地址的块被用作L0参考图片中的并置块，并且并置块的运动向量信息被设定为mvcol。此外，在相应图片与L0参考图片之间在时间轴上的距离被设定为TDB，并且L0参考图片与L1参考图片之间在时间轴上的距离被设定为TDD。
在该情况下，如下式(13)和式(14)中那样计算关于L0的运动向 量信息mvL0以及关于L1的运动向量信息mvL1。
[数学式12]
mvL0=TDBTDDmvcol...(13)]]>
[数学式13]
mvL1=TDD-TDBTDDmvcol...(14)]]>
此外，由于在AVC图像压缩信息中不存在指示在时间轴上的距离的信息TD，因此假设使用图片顺序计数(POC)来计算上式(12)和(13)。
此外，在AVC图像压缩信息中，可以通过16×16像素的宏块单位或8×8像素的宏块单位来定义直接模式。
[预测模式的选择]
接下来，将描述AVC方法中的预测模式的选择。在AVC方法中，如果要实现较高的编码效率，则重要的是选择适当的预测模式。
作为选择方法的示例，存在被称为联合模型(JM)的、在AVC方法中安装在参考软件中的方法(公布在http://iphome.hhi.de/suehring/tml/index.htm上)。
在JM中，可以选择两种模式确定方法，包括高复杂度模式和低复杂度模式。在这两种模式中，计算与每个预测模式相关的成本函数值，并且使成本函数值最小的预测模式被选为相应子宏块或相应宏块的最优模式。
高复杂度模式中的成本函数如下式(15)中那样表示：
Cost(Mode∈Ω)＝D+λ*R    ...(15)
这里，Ω指示用于对相应块或宏块编码的候选模式的全体集合，并且D指示当在相应模式中执行编码时在解码图像和输入图像之间的差能量。λ指示作为量化参数的函数给出的拉格朗日(Lagrange)未定义乘数。R指示在相应模式中执行编码时包括正交变换系数的总比特率。
换言之，由于计算参数D和R以便执行高复杂度模式中的编码，需要在所有候选模式中都执行一次临时编码处理，并且因此需要更大的计算量。
低复杂度模式中的成本函数如下式(16)中那样表示：
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit    …(16)
这里，不同于高复杂度模式的情况，D指示预测图像与输入图像之间的差能量。QP2Quant(QP)是作为量化参数QP的函数而给出的，而HeaderBit指示与报头中包括的诸如运动向量或模式且不包括正交变换系数的信息相关的比特率。
换言之，在低复杂度模式中，需要针对每个候选模式执行预测处理，但是解码图像不是必需的，并且因此不需要执行编码处理。出于该原因，较之高复杂度模式，可以通过较小的计算量来实现低复杂度模式。
[运动向量的MV竞争]
接下来，将描述运动向量的编码。如参照图4描述的，在非专利文献1中提出了以下方法以便改进使用中值预测的运动向的编码。
换言之，除了通过中值预测获得并在AVC方法中定义的“空间预测符(空间预测运动向量)”之外，自适应性地使用“时间预测符(时间预测运动向量)”和“空间-时间预测符(空间和时间预测运动向量)”中的任一个，作为预测运动向量信息。所提出的这种方法被称为AVC方法中的MV竞争。相反地，在HEVC方法中，这被称为高级运动向量预测(AMVP)，并且在下文中，所提出的这种方法被称为AMVP，其将被描述。
在图7中，“mvcol”指示关于相应块的并置块的运动向量信息。此外，mvtk(其中k＝0至8)指示其相邻块的运动向量信息，并且每条预测运动向量信息(预测符)由下式(17)至式(19)定义。此外，在相应图片所引用的参考图片中，关于相应块的并置块是具有与相应块相同的xy坐标的块。
时间预测符：
[数学式14]
mv_tm5＝median{mv_col,mv_t0,...,mv_t3}    …(17)
[数学式15]
mv_tm9＝median{mv_col,mv_t0,...,mv_t8}    …(18)
空间-时间预测符：
[数学式16]
mv_spt＝median{mv_col,mv_col,mv_a,mv_b,mv_c}    …(19)
在图像编码设备100中，计算使用每个块的每个预测运动向量信息时的成本函数值，并且选择最优预测模式向量信息。在图像压缩信息中，传送指示针对每个块使用哪个预测运动向量信息的信息(索引)的标志。
[编码单元]
接下来，将描述HEVC方法中规定的编码单元。16像素×16像素的宏块尺寸对于将成为下一代编码方法的对象的诸如超高清晰度(UHD；4000像素×2000像素)的大图片帧而言不是最优的。
因此，在AVC方法中，如图3中所示，规定了宏块和子宏块的层结构，但是例如，在HEVC方法中，如图8所示规定了编码单元(CU)。
还被称为编码树块(CTB)的CU是图片单位的图像的部分区域并且具有与AVC中的宏块相同的功能。后者固定为16×16个像素的尺寸，而前者的尺寸不是固定的，并且在每个序列中的图像压缩信息中被指定。
例如，在作为输出的编码数据中包括的序列参数集合(SPS)中，规定了CU的最大编码单元(LCU)和最小编码单元(SCU)。
在其中LCU不小于SCU的范围内将每个LCU设定为split_flag(分割标志)＝1，并且因此每个LCU可以被分割成尺寸更小的CU。在图8的示例中，LCU的尺寸是128，并且最大层深度为5。具有2N×2N的尺寸的CU被分割成，当split_flag的值为“1”时，具有N×N的尺寸的CU是低一级的层。
此外，CU被分割成预测单元(PU)，PU是用作帧内预测或帧间预测的处理单位的区域(图片单位的图像的部分区域)。此外，PU被分割成变换单元(TU)，TU是用作正交变换的处理单位的区域(图片单元中的图像的部分区域)。目前，在HEVC方法中，除了4×4和8×8之外，可以使用16×16和32×32的正交变换。
在帧间PU中，在单个CU具有2N×2N的尺寸的情况下，该尺寸可以被分割成2N×2N、2N×N、N×2N和N×N中的任一个的尺寸。此外，在上述序列参数集合中，定义inter_4×4_enable_flag(帧间4×4使能标志)，并且当其值被设定为0时，可以防止使用具有4×4块尺寸的帧间CU。
在其中定义CU并且如以上HEVC方法中那样以CU为处理单元执行各种处理的情况下，AVC方法中的宏块可以被视为对应于LCU，并且块(子块)可以被视为对应于CU。此外，AVC方法中的运动补偿块可以被视为PU。然而，由于CU具有层结构，因此最高级的层中的LCU的尺寸被设定为大于AVC方法中的宏块的尺寸，例如，如128×128个像素中那样。
因此，在下文中，假设LCU还包括AVC方法中的宏块，并且假设CU还包括AVC方法中的块(子块)。
[运动划分的融合]
接下来，将描述HEVC方法中的融合模式。作为参照图7描述的运动向量的编码方法之一，提出了如图9中所示的被称为运动划分融合的方法(融合模式)。在该方法中，传送包括Merge_flag(融合标志)和Merge_Left_Flag(融合左标志)的两个标志，作为关于融合模式的信息的融合信息。
标志Merge_Flag＝1指示相应区域X的运动信息与作为相应区域的顶邻居的相邻区域T或者作为相应区域的左邻居的相邻区域L的运动信息相同。此时，传送包括Merge_Left_Flag的融合信息。标志Merge_Flag＝0指示相应区域X的运动信息不同于相邻区域T和相邻区域L二者的运动信息。在这种情况下，传送相应区域X的运动信息。
在相应区域X的运动信息与相邻区域L的运动信息相同的情况下，Merge_Flag被设定为1，并且Merge_Left_Flag被设定为1。在相应区域X的运动信息与相邻区域T的运动信息相同的情况下，Merge_Flag被设定为1并且Merge_Left_Flag被设定为0。
换言之，在融合模式中，同样从相邻块获得空间预测运动向量和时间预测运动向量，并且从中确定最优预测运动向量。此外，在融合模式中，在所确定的预测运动向量与相应块的运动信息相同的情况下，仅传送标志 信息。
[空间预测运动向量(空间预测符)]
接下来，在参照图7描述的AMVP或者参照图9描述的融合模式中，生成空间预测运动向量(空间预测符)和时间预测运动向量(时间预测符)作为预测运动向量的候选。在两个向量中，将参照图10描述生成空间预测运动向量的处理。
在图10的示例中，图示了作为处理对象区域的当前PU(相应PU)以及作为按预定关系与相应PU相邻的PU的A至E。
A是与相应PU的左侧相邻的PU中的位于最下位置的PU。B是与相应PU的上侧相邻的PU中的位于最左位置的PU。C是与相应PU的右上侧相邻并且与B的左侧相邻的PU。D是与相应PU的左下侧相邻并且与A的下侧相邻的PU。E是与相应PU的左上侧相邻的PU。
在HEVC中，按照C、D、A、B和E的顺序对作为相应PU的空间预测运动向量的候选的相邻PU A至E执行如下扫描处理，并且确定关于相应PU的空间预测运动向量。
将描述扫描过程。第一，执行扫描以搜索是否存在相应PU的运动向量信息与列表(list)和参考帧信息相同的向量。第二，执行扫描以搜索是否存在相应PU的运动向量信息与列表相同但是与参考帧信息相同的向量。
第三，执行扫描以搜索是否存在相应PU的运动向量信息与列表相同但是与参考帧信息不同的向量。第四，执行扫描以搜索是否存在相应PU的运动向量信息与列表和参考帧信息不同的向量。
当检测到等同于相应PU的运动向量信息的两个向量时结束上述第一至第四扫描。换言之，如果在第一扫描中检测到两个向量，则不执行第二和后继扫描。以这种方式检测到的两个向量的最优向量被确定为相应PU的空间预测运动向量。
然而，如图11中所示，存在如下情况，其中作为单个编码区域的CU由例如作为两个预测区域的PU形成，就是说，CU被分割成2N×N的PU。在下文中，如图11中所示的PU被称为2N×N PU。
即使在该情况下，如上文所述确定空间预测运动向量。因此，除非关 于位于CU中的上侧的PU₀的运动向量信息是固定的，否则不能执行关于位于CU中的下侧的PU₁的运动向量的编码/解码(即，预测运动向量的生成)。出于该原因，不能并行执行关于PU₀和PU₁的运动向量信息。此外，可以认为，这对于其中CU被分割成N×2N的PU的情况(即，在N×2N的情况下)也是相同的。
[本技术的空间预测运动向量的生成方法]
因此，在运动向量编码单元121中，参照图10描述的空间预测运动向量的生成方法被应用于2N×2N PU。
相反，对于2N×N PU或N×2N PU，如图12和13中所示，对位于CU中的上侧或左侧的第一PU以及位于CU中的下侧或右侧的第二PU执行不同的处理。
图12的A是图示在PU具有2N×N的尺寸的情况下，在生成作为位于CU中的上侧的第一PU的PU₀的空间运动向量时引用的相邻区域的示图。参照图10描述的空间预测运动向量的生成方法被应用于PU₀。换言之，作为按如下位置关系与相应PU相邻的PU的A₀至E₀的运动向量信息被视为候选，并且确定关于相应PU₀的预测运动向量。
A₀是与相应PU₀的左侧相邻的PU中的位于最下位置的PU。B₀是与相应PU₀的上侧相邻的PU中的位于最左位置的PU。C₀是与相应PU的右上侧相邻并且与B₀的左侧相邻的PU。D₀是与相应PU₀的左下侧相邻并且与A₀的下侧相邻的PU。E₀是与相应PU₀的左上侧相邻的PU。
图12的B是图示在PU具有2N×N的尺寸的情况下，在生成作为位于CU中的下侧的第二PU的PU₁的空间运动向量时引用的相邻区域的示图。在相应PU₁的情况下，使用按如下位置关系与相应PU₁相邻的A₁、D₁和E₁以及按如下位置关系与在CU中位于相应PU₁的PU₀相邻的B₀和C₀的运动向量信息。
A₁是与相应PU₁的左侧相邻的PU中的位于最下位置的PU。B₀是与位于相应PU₁的PU₀的上侧相邻的PU中的位于最左位置的PU。C₀是与位于相应PU₁的PU₀的右上侧相邻并且与B₀的左侧相邻的PU。D₁是与相应PU₁的左下侧相邻并且与A₁的下侧相邻的PU。E₁是与相应PU₁的左上侧相邻的PU。
换言之，由于与B₁对应的PU是与相应PU₁相关的PU₀，因此在对 相应PU₁执行处理时有必要等待对PU₀的处理完成，并且因此这阻碍了并行处理。因此，将B₀而非B₁设定为相应PU₁的相邻区域。此外，可以进一步设定与B₀相邻的C₀而非与B₁相邻的C₁作为相应PU₁的相邻区域。
图13的A是图示在PU具有N×2N的尺寸的情况下，在生成作为位于CU中的左侧的第一PU的PU₀的空间运动向量时引用的相邻区域的示图。参照图10描述的空间预测运动向量的生成方法被应用于PU₀。换言之，作为按如下位置关系与相应PU相邻的PU的A₀至E₀的运动向量信息被视为候选，并且确定关于相应PU₀的预测运动向量。
A₀是与相应PU₀的左侧相邻的PU中的位于最下位置的PU。B₀是与相应PU₀的上侧相邻的PU中的位于最左位置的PU。C₀是与相应PU₀的右上侧相邻并且与B₀的左侧相邻的PU。D₀是与相应PU₀的左下侧相邻并且与A₀的下侧相邻的PU。E₀是与相应PU₀的左上侧相邻的PU。
图13的B是图示在PU具有2N×N的尺寸的情况下，在生成作为位于CU中的右侧的第二PU的PU₁的空间运动向量时引用的相邻区域的示图。在相应PU₁的情况下，使用按如下位置关系与相应PU₁相邻的B₁、C₁和E₁以及按如下位置关系与在CU中位于相应PU₁的PU₀相邻的A₀和D₀的运动向量信息。
A₀是与位于相应PU₁的PU₀的左侧相邻的PU中的位于最下位置的PU。B₁是与相应PU₁的上侧相邻的PU中的位于最左位置的PU。C₁是与相应PU₁的右上侧相邻并且与B₁的左侧相邻的PU。D₀是与位于相应PU₁的PU₀的左下侧相邻并且与A₀的下侧相邻的PU。E₁是与相应PU₁的左上侧相邻的PU。
换言之，由于与A₁对应的PU是与相应PU₁相关的PU₀，因此在对相应PU₁执行处理时有必要等待对PU₀的处理完成，并且因此这阻碍了并行处理。因此，将A₀而非A₁设定为相应PU₁的相邻区域。此外，可以进一步设定与A₀相邻的D₀而非与A₁相邻的D₁作为相应PU₁的相邻区域。
如上文所提及的，基于PU的尺寸(2N×N、N×2N、2N×2N)设定相邻区域，并且因此可以执行使用CU中的多个PU中的运动向量的并行处理，从而提高处理效率。
此外，在HEVC中，在CU尺寸是4×4的情况下可以仅使用N×N PU来执行预测。然而，这限于序列参数集合中的inter_4×4_enable_flag的值被设定为1的情况。
基于在CU中的位置如图14中所示执行该情况下的空间预测运动向量的生成。
图14的A是图示在PU具有N×N的尺寸的情况下，在生成作为位于CU中的左上侧的第一PU的PU₀的空间运动向量时引用的相邻区域的示图。参照图10描述的空间预测运动向量的生成方法被应用于PU₀。换言之，作为按如下位置关系与相应PU₀相邻的PU的A₀至E₀的运动向量信息被视为候选，并且确定关于相应PU₀的预测运动向量。
A₀是与相应PU₀的左侧相邻的PU中的位于最下位置的PU。B₀是与相应PU₀的上侧相邻的PU中的位于最左位置的PU。C₀是与相应PU₀的右上侧相邻并且与B₀的左侧相邻的PU。D₀是与相应PU₀的左下侧相邻并且与A₀的下侧相邻的PU。E₀是与相应PU₀的左上侧相邻的PU。
图14的B是图示在PU具有N×N的尺寸的情况下，在生成作为位于CU中的右上侧的第二PU的PU₁的空间运动向量时引用的相邻区域的示图。在相应PU₁的情况下，使用按如下位置关系与相应PU₁相邻的B₁、C₁和E₁以及按如下位置关系与在CU中位于相应PU₁的PU₀相邻的A₀和D₀的运动向量信息。
A₀是与位于相应PU₁的PU₀的左侧相邻的PU中的位于最下位置的PU。B₁是与相应PU₁的上侧相邻的PU中的位于最左位置的PU。C₁是与相应PU₁的右上侧相邻并且与B₁的左侧相邻的PU。D₀是与位于相应PU₁的PU₀的左下侧相邻并且与A₀的下侧相邻的PU。E₁是与相应PU₁的左上侧相邻的PU。
换言之，图14的B的示例与图13的B的示例相同。由于与A₁对应的PU是与相应PU₁相关的PU₀，在对相应PU₁执行处理时有必要等待对PU₀的处理完成，并且因此这阻碍了并行处理。因此，将A₀而非A₁设定为相应PU₁的相邻区域。此外，可以进一步设定与A₀相邻的D₀而非与A₁相邻的D₁作为相应PU₁的相邻区域。
图14的C是图示在PU具有N×N的尺寸的情况下，在生成作为位于CU中的左下侧的第二PU的PU₂的空间运动向量时引用的相邻区域的示图。在相应PU₂的情况下，使用按如下位置关系与相应PU₂相邻的A₂、D₂和E₂以及按如下位置关系与在CU中位于相应PU₂的PU₀相邻的B₀和C₀的运动向量信息。
A₂是与相应PU₂的左侧相邻的PU中的位于最下位置的PU。B₀是与 位于相应PU₂的PU₀的上侧相邻的PU中的位于最左位置的PU。C₀是与位于相应PU₂的PU₀的右上侧相邻并且与B₀的左侧相邻的PU。D₂是与相应PU₂的左下侧相邻并且与A₂的下侧相邻的PU。E₂是与相应PU₂的左上侧相邻的PU。
换言之，图14的C的示例与图12的B的示例相同。由于与B₂对应的PU是与相应PU₂相关的PU₀，在对相应PU₂执行处理时有必要等待对PU₀的处理完成，并且因此这阻碍了并行处理。因此，将B₀而非B₂设定为相应PU₂的相邻区域。此外，可以进一步设定与B₀相邻的C₀而非与B₂相邻的C₂作为相应PU₂的相邻区域。
图14的D是图示在PU具有N×N的尺寸的情况下，在生成作为位于CU中的右下侧的第二PU的PU₃的空间运动向量时引用的相邻区域的示图。在相应PU₃的情况下，使用按如下位置关系与在CU中位于相应PU₃的左侧的PU₂相邻的A₂和D₂的运动向量信息。此外，使用按如下位置关系与在CU中位于相应PU₃的PU₁相邻的B₁和C₁的运动向量信息。此外，使用按如下位置关系与在CU中位于相应PU₃的左上侧的PU₀相邻的E₀的运动向量信息。
A₂是与位于相应PU₃的左侧的PU₂的左侧相邻的PU中的位于最下位置的PU。B₁是与位于相应PU₃的PU₁的上侧相邻的PU中的位于最左位置的PU。C₁是与位于相应PU₃的PU₁的右上侧相邻并且与B₁的左侧相邻的PU。D₂是与位于相应PU₃的左侧的PU₂的左下侧相邻并且与A₂的下侧相邻的PU。E₂是与位于相应PU₃的左上侧的PU₀的左上侧相邻的PU。
换言之，图14的D的示例包括图12的B的示例和图13的B的示例。对于相应PU₃，与B₃对应的PU是PU₁，与A₃对应的PU是PU₂，并且与E₃对应的PU是PU₀。出于该原因，在对相应PU₃执行处理时有必要等待对PU₀、PU₁和PU₂的处理完成，并且因此这阻碍了并行处理。
因此，作为相应PU₂的相邻区域，设定B₁而非B₃，设定A₂而非A₃，并且设定E₀而非E₃。此外，作为相应PU₃的相邻区域，可以进一步设定与B₁相邻的C₁而非与B₃相邻的C₃，并且可以进一步设定与A₂相邻的D₂而非与A₃相邻的D₃。
如上文所述，本技术还可以应用于PU具有N×N的尺寸的情况。
此外，在HEVC中，如图15中所示，限定了非对称运动划分(AMP)， 其中形成CU的多个PU的尺寸彼此不同。本技术还可以应用于AMP的情况。
[运动向量编码单元的配置示例]
图16是图示运动向量编码单元121的主要配置示例的框图。
图16的示例中的运动向量编码单元121包括空间相邻运动向量缓冲器151、时间相邻运动向量缓冲器152、候选预测运动向量生成部153、成本函数值计算部154和最优预测运动向量确定部155。
从运动预测/补偿单元115将在所确定的最优预测模式中的关于运动向量的信息提供给空间相邻运动向量缓冲器151和时间相邻运动向量缓冲器152。此外，运动预测/补偿单元115搜索到的在每个确定模式中的关于运动向量的信息被提供给成本函数值计算部154。
这里，并行处理控制单元122引用来自运动预测/补偿单元115的关于PU尺寸的信息，并且基于预测区域在编码区域中的位置将用于设定对象PU的空间相邻PU的控制信号(地址等)提供给空间相邻运动向量缓冲器151。因此，在编码区域(CU)由多个预测区域(PU)形成的情况下，构成运动向量编码单元121的各个部分并行地执行生成对象预测区域的预测运动向量的处理。
空间相邻运动向量缓冲器151由线缓冲器形成。空间相邻运动向量缓冲器151积累来自运动预测/补偿单元115的运动向量信息，作为关于空间相邻的空间相邻区域的运动向量的信息。空间相邻运动向量缓冲器151读取指示针对与相应PU空间相邻的空间相邻PU而获得的运动向量的信息。此时，空间相邻运动向量缓冲器151读取来自并行处理控制单元122的控制信号(地址)所指示的PU的运动向量的信息。空间相邻运动向量缓冲器151将读取的信息(空间相邻运动向量信息)提供给候选预测运动向量生成部153。
时间相邻运动向量缓冲器152由存储器形成。时间相邻运动向量缓冲器152积累来自运动预测/补偿单元115的运动向量信息，作为关于时间相邻的时间相邻区域的运动向量的信息。此外，时间相邻区域是在时间轴上在不同图片中位于与相应区域(相应PU)相同的空间地址的区域(即，并置PU)。
时间相邻运动向量缓冲器152读取指示针对与相应PU时间相邻的时 间相邻PU而获得的运动向量的信息，并且将读取的信息(时间相邻运动向量信息)提供给候选预测运动向量生成部153。
候选预测运动向量生成部153基于使用参照图7或9描述的AMVP或融合模式的方法，通过引用来自空间相邻运动向量缓冲器151的空间相邻运动向量信息来生成用作相应PU的候选的空间预测运动向量。候选预测运动向量生成部153将指示所生成的空间预测运动向量的信息提供给成本函数值计算部154，作为候选预测运动向量信息。
候选预测运动向量信息153基于使用AMVP或融合模式的方法，通过引用来自时间相邻运动向量缓冲器152的时间相邻运动向量信息来生成用作相应PU的候选的时间预测运动向量。候选预测运动向量生成部153将指示所生成的时间预测运动向量的信息提供给成本函数值计算部154，作为候选预测运动向量信息。
成本函数值计算部154计算关于每个候选预测运动向量的成本函数值，并且将所计算的成本函数值连同候选预测运动向量信息一起提供给最优预测运动向量确定部155。
最优预测运动向量确定部155确定使来自成本函数值计算部154的成本函数值成为最小值的候选预测运动向量，作为关于相应PU的最优预测运动向量，并且将关于其的信息提供给运动预测/补偿单元115。
此外，运动预测/补偿单元115使用关于来自最优预测运动向量确定部155的最优预测运动向量的信息来生成作为相对于运动向量的差的差运动向量，并且计算每个预测模式的成本函数值。运动预测/补偿单元115从中确定使成本函数值成为最小值的预测方法，作为帧间最优预测模式。
运动预测/补偿单元115将在帧间最优预测模式中的预测图像提供给预测图像选择单元116。运动预测/补偿单元115将在帧间最优预测模式中的运动向量提供给空间相邻运动向量缓冲器151和时间相邻运动向量缓冲器152。此外，运动预测/补偿单元115将所生成的差运动向量信息提供给可逆编码单元106以便允许信息被编码。
[编码处理的流程]
接下来，将描述上文所述的图像编码设备100执行的每个处理的流程。首先，将参照图17的流程图描述编码处理的流程的示例。
在步骤S101中，A/D转换单元101对输入图像执行A/D转换。在步骤S102中，屏幕重排缓冲器102存储经A/D转换的图像，并且将图片的显示顺序重排成编码顺序。在步骤S103中，帧内预测单元114在帧内预测模式中执行帧内预测处理。
在步骤S104中，运动预测/补偿单元115、运动向量编码单元121和并行处理控制单元122执行帧间运动预测处理，其中运动预测或运动补偿在帧间预测模式中执行。后面将参照图18描述帧间运动预测处理。
由于步骤S104中的处理，搜索相应PU的运动向量，并且生成相应PU的每个预测运动向量。对于预测运动向量中的空间预测运动向量，在CU由多个PU形成的情况下，基于PU在CU中的位置设定的空间相邻PU的运动向量信息被视为候选，并且生成空间预测运动向量。此外，从所生成的时间预测运动向量和空间预测运动向量中确定对于相应PU最优的预测运动向量，以便允许确定最优帧间预测模式，并且在最优帧间预测模式中生成预测图像。
所确定的最优帧间预测模式中的预测图像和成本函数值被提供给运动预测/补偿单元115和预测图像选择单元116。此外，在后面描述的步骤S114中，关于所确定的最优帧间预测模式的信息、关于被视为最优的预测运动向量的信息、以及指示预测运动向量和运动向量之间的差的信息也被提供给可逆编码单元106，以便进行逆编码。
在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的各个成本函数值来确定最优模式。换言之，预测图像选择单元116选择帧内预测单元114生成的预测图像和运动预测/补偿单元115生成的预测图像中的任一个。
在步骤S106中，计算单元103计算由于步骤S102中的处理而重排的图像和由于步骤S105中的处理而选择的预测图像之间的差。差数据的数据量小于原始图像数据的数据量。因此，与图像按原样编码的情况相比，可以压缩数据量。
在步骤S107中，正交变换单元104对由于步骤S106中的处理而生成的差信息执行正交变换。具体地，执行诸如离散余弦变换或卡胡南-洛夫(Karhunen-Loeve)变换的正交变换，并且因此输出变换系数。
在步骤S108中，量化单元105使用来自速率控制单元117的量化参数对由于步骤S107中的处理而获得的正交变换系数进行量化。
由于步骤S108中的处理而量化的差信息被如下局部解码。换言之，在步骤S109中，反量化单元108通过与量化单元105的特性对应的特性，对由于步骤S108中的处理而生成的经量化的正交变换系数(还被称为量化系数)进行反量化。在步骤S110中，逆正交变换单元109通过与正交变换单元104的特性对应的特性，对由于步骤S109中的处理而获得的正交变换系数执行逆正交变换。
在步骤S111中，计算单元110使预测图像与局部解码的差信息相加以便生成局部解码的图像(对应于针对计算单元103的输入的图像)。在步骤S112中，解块滤波器111对由于步骤S111中的处理而获得的经局部解码的图像执行适当的解块滤波处理。
在步骤S113中，帧存储器112存储由于步骤S112中的处理而经历解块滤波处理的解码图像。此外，帧存储器112还存储从计算单元110提供的、未经历解块滤波器111中的滤波处理的图像
在步骤S114中，可逆编码单元106对由于步骤S108的处理而量化的变换系数进行编码。换言之，对差图像执行诸如可变长度编码或算术编码的无损编码。
此外，此时，可逆编码单元106对关于由于步骤S105中的处理而选择的预测图像的预测模式的信息进行编码，并且将编码结果添加到通过对差图像编码而获得的编码数据。换言之，可逆编码单元106还对从帧内预测单元114提供的最优帧内预测模式信息、与从运动预测/补偿单元115提供的最优帧间预测模式对应的信息等进行编码，并且将编码结果添加到编码数据。
此外，在由于步骤S106中的处理选择了帧间预测模式中的预测图像的情况下，关于差运动向量的信息或者指示在步骤S105中计算的预测运动向量的索引的标志也被编码。
在步骤S115中，积累缓冲器107对由于步骤S114中的处理而获得的编码数据进行累积。积累缓冲器107中积累的编码数据在适当的情况下被读取并且经由传输路径或记录介质被传送到解码侧。
在步骤S116中，速率控制单元117基于由于步骤S115中的处理而在积累缓冲器107中累积的编码数据的比特率(生成的比特率)来控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。
如果步骤S116中的处理完成，则编码处理结束。
[帧间运动预测处理的流程]
接下来，将参照图18的流程图描述在图17的步骤S104中执行的帧间运动预测处理的流程的示例。
在步骤S151中，运动预测/补偿单元115在每个帧间预测模式中执行运动搜索。运动预测/补偿单元115搜索到的运动向量信息被提供给成本函数值计算部154。
在步骤S152中，候选预测运动向量生成部153基于使用参照图7或9描述的AMVP或融合模式的方法，生成用作相应PU的候选的预测运动向量。后面将参照图19描述预测运动向量生成处理的详细描述。
由于步骤S152中的处理，通过引用来自空间相邻运动向量缓冲器151的空间相邻运动向量信息来生成用作相应PU的候选的空间预测运动向量。此时，在CU由多个PU形成的情况下，基于PU在CU中的位置设定的空间相邻PU的运动向量信息被视为候选，并且生成空间预测运动向量。此外，通过引用来自时间相邻运动向量缓冲器152的时间相邻运动向量信息来生成用作相应PU的候选的时间预测运动向量。
所生成的空间预测运动向量和经调整的时间预测运动向量中的最优向量被确定为提供给运动预测/补偿单元115的最优预测运动向量。
在步骤S153中，运动预测/补偿单元115计算关于每个帧间预测模式的成本函数值。
换言之，运动预测/补偿单元115生成作为来自最优预测运动向量确定部155的最优预测运动向量和运动向量之间的差的差运动向量。此外，运动预测/补偿单元115通过使用所生成的差运动向量信息、来自屏幕重排缓冲器102的输入图像等，基于上式(15)或(16)计算关于每个帧间预测模式的成本函数值。此外，在融合模式的情况下，未生成差运动向量。
在步骤S154中，运动预测/补偿单元115在各个预测模式中确定使成本函数值成为最小值的预测模式，作为最优帧间预测模式。在步骤S155中，运动预测/补偿单元115生成最优帧间预测模式中的预测图像，并且将预测图像提供给预测图像选择单元116。
在步骤S156中，运动预测/补偿单元115将关于最优帧间预测模式的信息提供给可逆编码单元106，使得关于最优帧间预测模式的信息被编 码。
此外，关于最优帧间预测模式的信息是例如关于最优帧间预测模式的信息、最优帧间预测模式的差运动向量信息、最优帧间预测模式的参考图片信息、关于预测运动向量的信息等。关于预测运动向量的信息包括指示预测运动向量的索引的标志。
为了对应于步骤S156中的处理而提供的这些信息在图17的步骤S114中被编码。
[预测运动向量生成处理的流程]
接下来，参照图19的流程图，将描述图18的步骤S152中的预测运动向量生成处理。此外，在图19的示例中，仅描述了空间预测运动向量的生成处理，但是实际上，还生成时间预测运动向量，计算成本函数值，并且从中确定最优预测运动向量。此外，在图19的示例中，省略了N×N PU的描述。
从运动预测/补偿单元115将指示作为处理对象的PU的分区尺寸(2N×2N PU)的信息提供给并行处理控制单元122。
在步骤S171中，并行处理控制单元122设定用于引用关于2N×2NPU的运动向量信息的相邻区域。并行处理控制单元122设定例如图10中所示的A、B、C、D和E作为相邻区域，并且将其地址提供给空间相邻运动向量缓冲器151作为控制信号。
空间相邻运动向量缓冲器151读取指示来自并行处理控制单元122的控制信号(地址)所指示的PU的运动向量的信息，并且将指示读取的运动向量的信息提供给候选预测运动向量生成部153。
在步骤S172中，候选预测运动向量生成部153生成并且确定2N×2NPU的空间预测运动向量。
换言之，候选预测运动向量生成部153通过引用图10的A、B、C、D和E的空间相邻运动向量信息来执行扫描处理，以便生成并确定用作2N×2N PU的候选的空间预测运动向量。候选预测运动向量生成部153将关于所确定的空间预测运动向量的信息提供给成本函数值计算部154作为候选预测运动向量信息。
在步骤S173中，成本函数值计算部154计算关于2N×2N PU的候选 预测运动向量的成本函数值，并且将所计算的成本函数值连同候选预测运动向量信息一起提供给最优预测运动向量确定部155。
从运动预测/补偿单元115将指示作为处理对象的PU的分区尺寸(2N×N/N×2N PU)的信息提供给并行处理控制单元122。
在步骤S174中，并行处理控制单元122通过并行处理设定用于引用关于2N×N/N×2N PU的运动向量信息的相邻区域。
在2N×N PU的情况下，并行处理控制单元122将例如图12的A中所示的A₀、B₀、C₀、D₀和E₀设定为作为第一PU的PU₀的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器151作为控制信号。与此并行地，并行处理控制单元122将例如图12的B中所示的A₁、B₀、C₀、D₁和E₁设定为作为第二PU的PU₁的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器151作为控制信号。
在N×2N PU的情况下，并行处理控制单元122将例如图13的A中所示的A₀、B₀、C₀、D₀和E₀设定为作为第一PU的PU₀的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器151作为控制信号。与此并行地，并行处理控制单元122将例如图13的B中所示的A₀、B₁、C₁、D₀和E₁设定为作为第二PU的PU₁的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器151作为控制信号。
空间相邻运动向量缓冲器151读取指示来自并行处理控制单元122的控制信号(地址)所指示的PU的运动向量的信息，并且将指示读取的运动向量的信息提供给候选预测运动向量生成部153。
在步骤S175中，候选预测运动向量生成部153通过并行处理生成并且确定2N×N/N×2N PU的空间预测运动向量。
换言之，在2N×N PU的情况下，候选预测运动向量生成部153通过引用图12的A的A₀、B₀、C₀、D₀和E₀的空间相邻运动向量信息来执行扫描处理，以便生成并确定用作2N×N PU₀的候选的空间预测运动向量。与此并行地，候选预测运动向量生成部153通过引用图12的B的A₁、B₀、C₀、D₁和E₁的空间相邻运动向量信息来执行扫描处理，以便生成并确定用作2N×N PU₁的候选的空间预测运动向量。
换言之，在N×2N PU的情况下，候选预测运动向量生成部153通过引用图13的A的A₀、B₀、C₀、D₀和E₀的空间相邻运动向量信息来执行扫描处理，以便生成并确定用作N×2N PU₀的候选的空间预测运动向量。 与此并行地，候选预测运动向量生成部153通过引用图13的B的A₀、B₁、C₁、D₀和E₁的空间相邻运动向量信息来执行扫描处理，以便生成并确定用作N×2N PU₁的候选的空间预测运动向量。
候选预测运动向量生成部153将关于所确定的空间预测运动向量的信息提供给成本函数值计算部154，作为候选预测运动向量信息。
在步骤S176中，成本函数值计算部154计算关于2N×N/N×2N PU的候选预测运动向量的成本函数值，并且将所计算的成本函数值连同候选预测运动向量信息一起提供给最优预测运动向量确定部155。
在步骤S177中，最优预测运动向量确定部155从候选预测运动向量中确定最优预测运动向量。换言之，最优预测运动向量确定部155确定使来自成本函数值计算部154的成本函数值成为最小值的候选预测运动向量，作为关于相应PU的最优预测运动向量，并且将该信息提供给运动预测/补偿单元115。
如上文所提及的，在图像编码设备100中，在编码区域(CU)由多个预测区域(PU)形成的情况下，基于预测区域在编码区域中的位置来设定用于引用运动向量的相邻区域。因此，可以并行地执行PU的预测运动向量生成处理并且因此可以提高处理效率。
<2.第二实施例>
[图像解码设备]
接下来，将描述如上文所述被编码的编码数据(编码流)的解码。图20是图示与图1的图像编码设备100对应的图像解码设备的主要配置示例的框图。
在图16中所示的图像解码装置200通过对应于编码方法的解码方法对图像编码装置100生成的编码数据进行解码。
如图20中所示，图像解码设备200包括积累缓冲器201、可逆解码单元202、反量化单元203、逆正交变换单元204、计算单元205、解块滤波器206、屏幕重排缓冲器207和D/A转换单元208。此外，图像解码设备200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。
此外，图像解码设备200包括运动向量解码单元221和并行处理控制 单元222。
积累缓冲器201是接收所传送的编码数据的接收单元。积累缓冲器201接收并积累所传送的编码数据，并且在预定定时将编码数据提供给可逆解码单元202。解码中所需的信息，诸如预测模式信息、运动向量差信息和预测运动向量信息，被添加到编码数据。可逆解码单元202通过使用与可逆编码单元106中的编码方法对应的方法，对图1的可逆编码单元106编码并且从积累缓冲器201提供的信息进行解码。可逆解码单元202将通过解码获得的差图像的量化系数数据提供给反量化单元203。
此外，可逆解码单元202确定选择帧内预测模式还是选择帧间预测模式作为最优预测模式。可逆解码单元202将关于最优预测模式的信息提供给帧内预测单元211和运动预测/补偿单元212中的被确定选择的模式侧。换言之，例如，在图像编码设备100中选择帧间预测模式作为最优预测模式的情况下，关于最优预测模式的信息被提供给运动预测/补偿单元212。
此外，可逆解码单元202将对运动向量解码所需的信息，诸如运动向量差信息和预测运动向量信息，提供给运动向量解码单元221。此外，尽管图20中没有示出，但是来自可逆解码单元202的PU的分区尺寸信息被提供给并行处理控制单元222。
反量化单元203通过使用与图1的量化单元105中的量化方法对应的方法，对通过可逆解码单元202解码并获得的量化系数数据执行反量化，并且将获得的系数数据提供给逆正交变换单元204。
逆正交变换单元204通过使用与图1的正交变换单元104中的正交变换方法对应的方法，对从反量化单元203提供的系数数据执行逆正交变换。由于逆正交变换处理，逆正交变换单元204获得与在图像编码设备100中经历正交变换之前的剩余数据对应的经解码的剩余数据。通过逆正交变换获得的经解码的剩余数据被提供给计算单元205。此外，来自帧内预测单元211或运动预测/补偿单元212的预测图像经由选择单元213被提供给计算单元205。
计算单元205使经解码的剩余数据与预测图像相加，以便获得与在图像编码设备100的计算单元103没有从中减去预测图像的图像数据对应的经解码的图像数据。计算单元205将经解码的图像数据提供给解块滤波器206。
解块滤波器206对所提供的解码图像执行适当的解块滤波处理，并且 将其结果提供给屏幕重排缓冲器207。解块滤波器206或环路滤波器206对解码图像执行解块滤波处理以便从解码图像去除块失真。
解块滤波器206将滤波处理结果(已经历滤波处理的解码图像)提供给屏幕重排缓冲器207和帧存储器209。此外，可以在不使用解块滤波器206的情况下将从计算单元205输出的解码图像提供给屏幕重排缓冲器207或帧存储器209。换言之，可以省略解块滤波器206的滤波处理。
屏幕重排缓冲器207对图像进行重排。换言之，通过图1中的屏幕重排缓冲器102重排成编码顺序的帧的顺序被重排成原始显示顺序。D/A转换单元208对从屏幕重排缓冲器207提供的图像进行转换，并且将经D/A转换的图像输出到显示器(未示出)并且在显示器上显示。
帧存储器209存储解码图像，并且在预定定时或基于来自诸如帧内预测单元211或运动预测/补偿单元212的外部元件的请求，将所存储的解码图像提供给选择单元210作为参考图像。
选择单元210选择从帧存储器209提供的参考图像的提供目的地。在对帧内编码图像进行解码的情况下，选择单元210将从帧存储器209提供的参考图像提供给帧内预测单元211。此外，在对帧间编码图像进行解码的情况下，选择单元210将从帧存储器209提供的参考图像提供给运动预测/补偿单元212。
通过对编码数据中包括的报头信息进行解码而获得的指示帧内预测模式的信息等从可逆解码单元202被适当地提供给帧内预测单元211。帧内预测单元211在图1的帧内预测单元114中使用的帧内预测模式中，通过使用从帧存储器209获取的参考图像来执行帧内预测，以便生成预测图像。帧内预测单元211将所生成的预测图像提供给选择单元213。
运动预测/补偿单元212从可逆解码单元202获取通过对报头信息进行解码而获得的信息(最优预测模式信息、参考帧信息等)。
运动预测/补偿单元212在从可逆解码单元202获取的最优预测模式信息指示的帧间预测模式中，通过使用从帧存储器209获取的参考图像来执行帧间预测，以便生成预测图像。此外，此时，运动预测/补偿单元212通过使用运动向量解码单元221重建的运动向量信息来执行帧间预测。
选择单元213将从帧内预测单元211提供的预测图像或者从运动预测/补偿单元212提供的预测图像提供给计算单元205。此外，计算单元205使通过使用运动向量生成的预测图像与来自逆正交变换单元204的经解 码的剩余数据(差图像信息)相加，以便对原始图像解码。换言之，运动预测/补偿单元212、可逆解码单元202、反量化单元203、逆正交变换单元204和接收单元205用作解码单元，其通过使用运动向量对编码数据进行解码以便生成原始图像。
运动向量解码单元221从可逆解码单元202获取在通过对报头信息解码而获得的信息中的、关于预测运动向量的索引的信息以及关于差运动向量的信息。这里，预测运动向量的索引是通过使用与每个PU时间和空间相邻的相邻区域中的、被执行运动向量的预测处理(预测运动向量的生成)的相邻区域的运动向量而指示的信息。关于差运动向量的信息是指示差运动向量的值的信息。
在预测运动向量是时间预测运动向量的情况下，运动向量解码单元221通过使用由预测运动向量的索引指示的相邻PU的运动向量来重建预测运动向量。在预测运动向量是空间预测运动向量的情况下，运动向量解码单元221通过使用来自并行处理控制单元122的控制信号指定的相邻PU中的、由预测运动向量的索引指示的相邻PU的运动向量，来重建预测运动向量。
运动向量解码单元221使重建的预测运动向量与来自可逆解码单元202的差运动向量相加以便重建运动向量。
并行处理控制单元222的配置方式基本上与图1的并行处理控制单元122相同，并且设定对象PU的空间相邻PU。并行处理控制单元222设定对象PU的空间相邻PU，使得并行地执行对象预测区域的预测运动向量生成处理，特别是在编码区域(CU)由多个预测区域(PU)形成的情况下。此外，设定对象PU的空间相邻PU具有与设定对象PU的空间相邻PU的运动向量相同的含义，用于生成预测运动向量。
具体地，并行处理控制单元222通过引用来自运动预测/补偿单元212的关于PU尺寸的信息，基于预测区域在编码区域中的位置，向运动向量解码单元221提供用于设定对象PU的空间相邻PU的控制信号(地址等)。
此外，运动向量解码单元221和并行处理控制单元222中的与本技术相关的基本操作原理与图1的运动向量编码单元121和并行处理控制单元122中的基本操作原理相同。然而，在图1的图像编码设备100中存在用作候选的2N×N和N×2N PU，并且根据本技术的方法被应用于生成其空间预测运动向量的情况。
同时，在图20的图像解码设备200中，从编码侧传送关于针对相应PU确定什么类型的预测运动向量的信息。在通过2N×N/N×2N PU对CU编码并且在编码期间对其应用空间预测运动向量的情况下，应用根据本技术的方法。
[运动向量解码单元的配置示例]
图21是图示运动向量解码单元221的主要配置示例的框图。
在图21的示例中，运动向量解码单元221包括预测运动向量信息缓冲器251、差运动向量信息缓冲器252、预测运动向量重建部253和运动向量重建部254。运动向量解码单元221进一步包括空间相邻运动向量缓冲器255和时间相邻运动向量缓冲器256。
预测运动向量信息缓冲器251积累包括可逆解码单元202已解码的对象区域(PU)的预测运动向量的索引等的信息(在下文中，称为关于预测运动向量的信息)。预测运动向量信息缓冲器251读取相应PU的预测运动向量信息，并且将读取的信息提供给预测运动向量重建部253。
差运动向量信息缓冲器252积累关于可逆解码单元202已解码的对象区域(PU)的差运动向量的信息。差运动向量信息缓冲器252读取关于对象PU的差运动向量的信息，并且将读取的信息提供给运动向量重建部254。
预测运动向量重建部253确定来自预测运动向量信息缓冲器251的信息指示的相应PU的预测运动向量是空间预测运动向量还是时间预测运动向量。
在相应PU的预测运动向量是时间预测运动向量的情况下，预测运动向量重建部253使时间相邻运动向量缓冲器256读取由来自预测运动向量信息缓冲器251的信息指示的相应PU的运动向量信息。此外，预测运动向量重建部253通过使用读取的运动向量信息，基于使用AMVP或融合模式的方法，生成并重建相应PU的预测运动向量。预测运动向量重建部253将关于重建的预测运动向量的信息提供给运动向量重建部254。
在相应PU的预测运动向量是空间预测运动向量的情况下，预测运动向量重建部253使空间相邻运动向量缓冲器255读取由来自预测运动向量信息缓冲器251的索引指示的相应PU的运动向量信息。此外，预测运动向量重建部253通过使用读取的运动向量信息，基于使用AMVP或融合 模式的方法，生成并重建相应PU的预测运动向量。预测运动向量重建部253将关于重建的预测运动向量的信息提供给运动向量重建部254。
运动向量重建部254使来自差运动向量信息缓冲器252的信息指示的相应PU的差运动向量与来自预测运动向量重建部253的相应PU的预测运动向量相加，以便重建运动向量。运动向量重建部254将关于重建的运动向量的信息提供给运动预测/补偿单元212、空间相邻运动向量缓冲器255和时间相邻运动向量缓冲器256。
此外，运动预测/补偿单元212通过使用运动向量重建部254重建的运动向量，使用从可逆解码单元202获取的最优预测模式信息指示的帧间预测模式中的参考图像来执行帧间预测，以便生成预测图像。
这里，并行处理控制单元222引用来自可逆解码单元202的关于PU的分区尺寸的信息，并且基于预测区域在编码区域中的位置，将用于设定对象PU的空间相邻PU的控制信号(地址等)提供给空间相邻运动向量缓冲器255。因此，在编码区域(CU)由多个预测区域(PU)形成的情况下，构成运动向量解码单元221的各个部分并行地执行生成对象预测区域的预测运动向量的处理。
空间相邻运动向量缓冲器255通过与图16的空间相邻运动向量缓冲器151相同的方式由线缓冲器形成。空间相邻运动向量缓冲器255积累由运动向量重建部254重建的运动向量信息，作为关于同一图片中的后继PU的预测运动向量信息的空间相邻运动向量信息。空间相邻运动向量缓冲器255读取由来自并行处理控制单元122的控制信号(地址)指示的PU中的、与来自预测运动向量重建部253的索引对应的PU的运动向量信息。
时间相邻运动向量缓冲器255通过与图16的时间相邻运动向量缓冲器152相同的方式由存储器形成。时间相邻运动向量缓冲器256积累由运动向量重建部254重建的运动向量信息，作为关于其他图片中的PU的预测运动向量信息的时间相邻运动向量信息。时间相邻运动向量缓冲器256读取与来自预测运动向量重建部253的索引对应的PU的运动向量信息。
[解码处理的流程]
接下来，将描述由上述图像解码设备200执行的每个处理的流程。首先，参照图22的流程图，将描述解码处理的流程的示例。
在步骤S201中，当开始解码处理时，积累缓冲器201积累所传送的编码数据(编码流)。在步骤S202中，可逆解码单元202对从积累缓冲器201提供的编码数据(经编码的差图像信息)进行解码。换言之，对已被图1的可逆编码单元106编码的I图片、P图片和B图片进行解码。
此时，对除了编码流中包括的差图像信息之外的各种信息，诸如报头信息，进行解码。可逆解码单元202获取包括例如，预测模式信息、关于差运动向量的信息和预测运动向量的索引的信息等。可逆解码单元202将所获取的信息提供给相应单元。
在步骤S203中，反量化单元203对由于步骤S202中的处理而获得的经量化的正交变换系数进行反量化。此外，在该反量化处理中使用由于后面描述的步骤S208中的处理而获得的量化参数。在步骤S204中，逆正交变换器204对在步骤S203中被反量化的正交变换系数执行逆正交变换。
在步骤S205中，可逆解码单元202基于关于在步骤S202中解码的最优预测模式的信息来确定作为处理对象的编码数据是否被帧内编码。如果确定编码数据被帧内编码，则处理前往步骤S206。
在步骤S206中，帧内预测单元211获取帧内预测模式信息。在步骤S207中，帧内预测单元211通过使用在步骤S206中获取的帧内预测模式信息来执行帧内预测以便生成预测图像。
此外，如果确定作为处理对象的编码数据未被帧内编码，就是说，编码数据在步骤S206中被帧间编码，则处理前往步骤S208。
在步骤S208中，运动向量解码单元221执行运动向量重建处理。后面将参照图23描述运动向量重建处理的细节。
由于步骤S208中的处理，关于解码的预测运动向量的信息被引用，并且因此相应PU的预测运动向量被重建。此时，在相应PU的预测运动向量是空间预测运动向量的情况下，当CU由多个PU形成时，通过使用基于PU在CU中的位置而设定的空间相邻PU的运动向量信息来重建预测运动向量。此外，通过使用相应PU的重建的预测运动向量来重建运动向量，并且将重建的运动向量提供给运动预测/补偿单元212。
在步骤S209中，运动预测/补偿单元212通过使用由于步骤S208中的处理而重建的运动向量来执行帧间运动预测处理，以便生成预测图像。所生成的预测图像被提供给选择单元213。
在步骤S210中，选择单元213选择在步骤S207或步骤S209中生成 的预测图像。在步骤S211中，计算单元205使在步骤S210中选择的预测图像与通过步骤S204中的逆正交变换获得的差图像信息相加。因此，原始图像被解码。换言之，通过使用运动向量生成预测图像，并且所生成的预测图像与来自逆正交变换单元204的差图像信息相加，使得原始图像被解码。
在步骤S212中，解块滤波器206对在步骤S211中获得的解码图像执行适当的解块滤波处理。
在步骤S213中，屏幕重排缓冲器207重排经历步骤S212中的滤波处理的图像。换言之，已被图像编码设备100的屏幕重排缓冲器102重排成编码顺序的帧的顺序被重排成原始显示顺序。
在步骤S214中，D/A转换单元208对顺序在步骤S213中被重排的图像进行D/A转换。这些图像被输出至显示器(未示出)，并且显示这些图像。
在步骤S215中，帧存储器209存储在步骤S212中经历滤波处理的图像。
如果步骤S215中的处理完成，则解码处理结束。
[运动向量重建处理的流程]
接下来，将参照图23描述在图22的步骤S208中执行的运动向量重建处理的流程的示例。此外，运动向量重建处理是通过使用从编码侧传送并且由可逆解码单元202解码的信息来对运动向量进行解码的处理。
在图22的步骤S202中，可逆解码单元202获取关于解码参数的信息等并且将所获取的信息提供给相应单元。
在步骤S251中，差运动向量信息缓冲器252从可逆解码单元202获取差运动向量信息，并且将所获取的信息提供给运动向量重建部254。
在步骤S252中，预测运动向量信息缓冲器251从可逆解码单元202获取预测运动向量信息，并且将所获取的信息提供给预测运动向量重建部253。此时，并行处理控制单元222从可逆解码单元202获取指示PU尺寸(分区尺寸)的信息。
在步骤S253中，并行处理控制单元222通过引用所获取的PU尺寸来确定相应PU是否是2N×2N PU。如果在步骤S253中相应PU是否是 2N×2N PU，则处理前往步骤S254。
在步骤S254中，并行处理控制单元222设定用于引用与2N×2N PU相关的运动向量信息的相邻区域。并行处理控制单元222设定例如图10中所示的A、B、C、D和E作为相邻区域，并且将其地址提供给空间相邻运动向量缓冲器255作为控制信号。
在步骤S255中，预测运动向量重建部253重建预测运动向量。
换言之，预测运动向量重建部253将来自预测运动向量信息缓冲器251的预测运动向量信息(索引)提供给空间相邻运动向量缓冲器255。空间相邻运动向量缓冲器255读取在并行处理控制单元222设定的相邻区域中的、由来自预测运动向量重建部253的索引指示的相邻区域的运动向量信息，并且将读取的信息提供给预测运动向量重建部253。预测运动向量重建部253通过使用从空间相邻运动向量缓冲器255读取的运动向量信息，基于使用AMVP或融合模式的方法，生成并重建相应PU的预测运动向量。重建的预测运动向量信息被提供给运动向量重建部254。
另一方面，如果在步骤S253中确定相应PU不是2N×2N PU，就是说，相应PU是2N×N或N×2N PU，则处理前往步骤S256。
在步骤S256中，并行处理控制单元222通过与2N×N/N×2N PU相关的第一PU和第二PU的并行处理设定用于引用运动向量信息的相邻区域。
在2N×N PU的情况下，并行处理控制单元222将例如图12的A中所示的A₀、B₀、C₀、D₀和E₀设定为作为第一PU的PU₀的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器255作为控制信号。与此并行地，并行处理控制单元222将例如图12的B中所示的A₁、B₀、C₀、D₁和E₁设定为作为第二PU的PU₁的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器255作为控制信号。
在N×2N PU的情况下，并行处理控制单元222将例如图13的A中所示的A₀、B₀、C₀、D₀和E₀设定为作为第一PU的PU₀的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器255作为控制信号。与此并行地，并行处理控制单元222将例如图13的B中所示的A₀、B₁、C₁、D₀和E₁设定为作为第二PU的PU₁的相邻区域，并且将其地址提供给空间相邻运动向量缓冲器255作为控制信号。
在步骤S255，预测运动向量重建部253通过第一PU和第二PU的并 行处理重建预测运动向量。
换言之，预测运动向量重建部253将来自预测运动向量信息缓冲器251的预测运动向量信息(索引)提供给空间相邻运动向量缓冲器255。空间相邻运动向量缓冲器255读取在并行处理控制单元222设定的相邻区域中的、由来自预测运动向量重建部253的索引指示的相邻区域的运动向量信息，并且将读取的信息提供给预测运动向量重建部253。预测运动向量重建部253通过使用从空间相邻运动向量缓冲器255读取的运动向量信息，基于使用AMVP或融合模式的方法，生成并重建相应PU的预测运动向量。重建的预测运动向量信息被提供给运动向量重建部254。该处理通过第一PU和第二PU的并行处理执行，并且因此第一PU和第二PU的预测运动向量信息被同时提供给运动向量重建部253。
在步骤S257中，运动向量重建部254重建相应PU的运动向量。
换言之，运动向量重建部254使来自差运动向量信息缓冲器252的信息指示的相应PU的差运动向量与来自预测运动向量重建部253的相应PU的预测运动向量相加，以便重建运动向量。运动向量重建部254将关于重建的运动向量的信息提供给运动预测/补偿单元212、空间相邻运动向量缓冲器255和时间相邻运动向量缓冲器256。
此外，图23图示了使用AMVP的方法的情况。在融合模式的情况下，未从编码侧传送差运动向量信息，并且因此省略了步骤S251。此外，在融合模式的情况下，在步骤S257中，来自预测运动向量重建部253的相应PU的预测运动向量变为相应PU的运动向量。
此外，在图23的示例中，仅描述了空间预测运动向量的生成处理，但是实际上，确定预测运动向量信息指示空间预测运动向量还是时间预测运动向量。此外，如果预测运动向量信息指示时间预测运动向量，则重建时间预测运动向量信息，并且随后重建运动向量。此外，在图23的示例中，省略了N×N PU的描述。
图像解码设备200可以通过执行如上文所述的每个处理，正确地对由图像编码设备100编码的编码数据进行解码，并且因此可以实现处理效率的提高。
换言之，在图像解码设备200中，在编码区域(CU)由多个预测区域(PU)形成的情况下，也基于预测区域在编码区域中的位置来设定用于引用运动向量的相邻区域。因此，可以并行地执行PU的预测运动向量 重建处理，并且因此可以提高处理效率。
此外，尽管在以上描述中，描述了其中并行处理控制单元122和并行处理控制单元222一直操作的示例，但是例如，在编码侧的并行处理控制单元122中，可以设定并行处理控制(相邻区域设定)的开(On)和关(Off)的状态，并且可以仅在开状态的情况下执行并行处理控制(相邻区域设定)。
编码侧的设定被例如可逆编码单元106设定为编码流的诸如序列参数集合的语法元素中的开/关标志，并且被从积累缓冲器107传送到解码侧。此外，在解码侧，开/关标志由积累缓冲器201接收以便被可逆解码单元202获取，并且被提供给并行处理控制单元222。在并行处理控制单元222中基于所提供的标志设定开状态或关状态，并且仅在开状态的情况下执行并行处理控制(相邻区域设定)。
此外，可以基于CU或PU的尺寸来设定开/关标志。换言之，在CU和PU被分割更小的情况下，需要处理更多块的运动向量信息，并且通过并行处理来实现这一点有利地用于构建能够实时执行处理的电路。
另一方面，相对于较大的CU或PU，如图12和13中所示，分立位置的运动向量信息被用作相邻信息，并且因此考虑可以减少与相应PU的运动信息的相关性并且这可能导致编码效率的降低。
此外，对于具有较大尺寸的序列，并行处理的必要性是较高的。出于该原因，没有如上文所述传送标志，但是可以基于编码流的序列的简档或级别来设定标志。
此外，尽管在以上描述中，描述了符合HEVC的情况，但是本技术可应用于使用其他编码方法的装置，只要该装置使用AMVP或融合模式来执行运动向量信息的编码处理和解码处理。
此外，本技术可应用于当经由诸如卫星广播、有线电视、互联网或移动电话的网络介质接收已通过诸如离散余弦变换的正交变换以及运动补偿被压缩的图像信息(位流)诸如例如MPEG或H.26x时使用的图像编码设备和图像解码设备。此外，本技术可应用于当在诸如光盘、磁盘和闪速存储器的存储介质上执行处理时使用的图像编码设备和图像解码设备。此外，本技术还可应用于图像编码设备和图像解码设备中包括的运动预测补偿设备。
<3.第三实施例>
[针对多视图图像编码和多视图图像解码的应用]
上述系列处理可以应用于多视图图像编码和多视图图像解码。图24是图示多视图图像编码方法的示例的示图。
如图24中所示，多视图图像包括多个视图处的图像，并且在多个视图中的特定视图处的图像被指定为基本视图图像。基本视图图像以外的各个视图处的图像被视为非基本视图图像。
在执行如图24中的多视图图像编码的情况下，可以在每个视图(同一视图)中设定上述并行处理控制(相邻区域设定)的开/关标志。此外，在其他视图中设定的并行处理控制的开/关标志可以在各个视图(不同视图)中共享。
在该情况下，在至少一个非基本视图中使用在基本视图中设定的并行处理控制的开/关标志。替选地，例如，在基本视图和非基本视图(view_id＝j)中的至少之一中使用在非基本视图(view_id＝i)中设定的并行处理控制的开/关标志。
因此，可以通过运动向量的编码或解码中的并行处理来提高处理效率。
[多视图图像编码设备]
图25是图示执行上述多视图图像编码的多视图图像编码设备的示图。如图25中所示，多视图图像编码设备600包括编码单元601、编码单元602和复用器603。
编码单元601对基本视图图像编码以便生成基本视图图像编码流。编码单元602对非基本视图图像编码以便生成非基本视图图像编码流。复用器603复用在编码单元601中生成的基本视图图像编码流和在编码单元602中生成的非基本视图图像编码流，以便生成多视图图像编码流。
图像编码设备100(图1)可应用于多视图图像编码设备600的编码单元601和编码单元602。在该情况下，多视图图像编码设备600设定由编码单元601设定的并行处理控制的开/关标志和由编码单元602设定的并行处理控制的开/关标志。
此外，如上文所述，由编码单元601设定的并行处理控制的开/关标 志可以被设定为由编码单元601和编码单元602共享并使用，并且可以被传送。相反，由编码单元602设定的并行处理控制的开/关标志可以被设定为由编码单元601和编码单元602共享并使用，并且可以被传送。
[多视图图像解码设备]
图26是图示执行上述多视图图像解码的多视图图像解码设备的示图。如图26中所示，多视图图像解码设备610包括解复用器611、解码单元612和解码单元613。
解复用器611对其中复用基本视图图像编码流和非基本视图图像编码流的多视图图像编码流进行解复用，以便提取基本视图图像编码流和非基本视图图像编码流。解码单元612对解复用器611提取的基本视图图像编码流进行解码以便获得基本视图图像。解码单元613对解复用器611提取的非基本视图图像编码流进行解码以便获得非基本视图图像。
图像解码设备200(图20)可应用于多视图图像解码设备610的解码单元612和解码单元613。在该情况下，多视图图像解码设备610通过使用由编码单元601设定并且由解码单元612解码的并行处理控制的开/关标志以及由编码单元602设定并且由解码单元613解码的并行处理控制的开/关标志来执行处理。
此外，如上文所述，存在如下情况，其中由编码单元601(或编码单元602)设定的并行处理控制的开/关标志被设定为由编码单元601和编码单元602共享并使用，并且可以被传送。在该情况下，多视图图像解码设备610通过使用由编码单元601(或编码单元602)设定并且由解码单元612(或解码单元613)解码的并行处理控制的开/关标志来执行处理。
<4.第四实施例>
[针对层图像编码和层图像解码的应用]
上述系列处理可以应用于层图像编码和层图像解码。图27图示了多视图图像编码方法的示例。
如图27中所示，层图像包括多个层(分辨率)的图像，并且多个层中的特定层的图像被指定为基本层图像。基本层图像以外的各个层的图像被视为非基本层图像。
在执行如图27中的层图像编码(空间可分级性)的情况下，可以在每个层(同一层)中设定上述并行处理控制(相邻区域设定)的开/关标志。此外，在其他层中设定的并行处理控制的开/关标志可以在各个层(不同层)中共享。
在该情况下，在至少一个非基本层中使用在基本层中设定的并行处理控制的开/关标志。替选地，例如，在基本层和非基本层(layer_id＝j)中的至少之一中使用在非基本层(layer_id＝i)中设定的并行处理控制的开/关标志。
因此，可以通过运动向量的编码或解码中的并行处理来提高处理效率。
[层图像编码设备]
图28是图示执行上述层图像编码的层图像编码设备的示图。如图28中所示，层图像编码设备620包括编码单元621、编码单元622和复用器623。
编码单元621对基本层图像编码以便生成基本层图像编码流。编码单元622对非基本层图像编码以便生成非基本层图像编码流。复用器623复用在编码单元621中生成的基本层图像编码流和在编码单元622中生成的非基本层图像编码流，以便生成层图像编码流。
图像编码设备100(图1)可应用于层图像编码设备620的编码单元621和编码单元622。在该情况下，层图像编码设备620设定由编码单元621设定的并行处理控制的开/关标志和由编码单元622设定的并行处理控制的开/关标志。
此外，如上文所述，由编码单元621设定的并行处理控制的开/关标志可以被设定为由编码单元621和编码单元622共享并使用，并且可以被传送。相反，由编码单元622设定的并行处理控制的开/关标志可以被设定为由编码单元621和编码单元622共享并使用，并且可以被传送。
[层图像解码设备]
图29是图示执行上述层图像解码的层图像解码设备的示图。如图29中所示，层图像解码设备610包括解复用器631、解码单元632和解码单 元633。
解复用器631对其中复用基本层图像编码流和非基本层图像编码流的层图像编码流进行解复用，以便提取基本层图像编码流和非基本层图像编码流。解码单元632对解复用器631提取的基本层图像编码流进行解码以便获得基本层图像。解码单元633对解复用器631提取的非基本层图像编码流进行解码以便获得非基本层图像。
图像解码设备200(图20)可应用于层图像解码设备630的解码单元632和解码单元633。在该情况下，层图像解码设备630通过使用由编码单元621设定并且由解码单元632解码的并行处理控制的开/关标志以及由编码单元622设定并且由解码单元633解码的并行处理控制的开/关标志来执行处理。
此外，如上文所述，存在如下情况，其中由编码单元621(或编码单元622)设定的并行处理控制的开/关标志被设定为由编码单元621和编码单元622共享并使用，并且可以被传送。在该情况下，层图像解码设备630通过使用由编码单元621(或编码单元622)设定并且由解码单元632(或解码单元633)解码的并行处理控制的开/关标志来执行处理。
<5.第五实施例>
[计算机]
上述系列处理可以通过硬件或软件来执行。当通过软件执行上述系列处理时，将构成软件的程序安装在计算机中。这里，计算机包括并入到专用硬件中的计算机，或者可以通过安装各种程序来执行各种功能的通用个人计算机等。
图30是图示根据程序执行上述系列处理的计算机的硬件的配置示例的框图。
在计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804彼此连接。
总线804还连接到输入和输出接口805。输入和输出接口805连接到输入单元806、输出单元807、存储单元508、通信单元509和驱动器810。
输入单元806包括键盘、鼠标、麦克风等。输出单元807包括显示器、扬声器等。存储单元808包括硬盘、非易失性存储器等。通信单元809包 括网络接口等。驱动器810驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质811。
在以该方式配置的计算机中，CPU801例如通过将存储单元808中存储的程序经由输入和输出接口805以及总线804加载到RAM803并且执行程序来执行上述系列处理。
计算机800(CPU801)执行的程序可以记录在例如作为套装介质的可移动介质811上，并且可以被提供。此外，可以经由诸如局域网、互联网或者数字卫星广播的有线或无线传输介质来提供程序。
在计算机中，可以通过将可移动介质811安装在驱动器810中经由输入和输出接口805将程序安装在存储单元808中。此外，程序可以由通信单元809经由有线或无线传输介质接收并且可以安装在存储单元808中。此外，程序可以预先安装在ROM802或存储单元808中。
此外，计算机执行的程序可以是根据本说明书中描述的顺序按时间序列执行处理的程序，并且可以是并行地或者在诸如被访问时的必要定时执行处理的程序。
此外，在本说明书中，用于描述记录在记录介质上的程序的步骤不仅包括根据所描述的顺序按时间序列执行的处理，而且还包括并行地或者分立地执行的处理，即便不一定按时间序列执行。
此外，在本说明书中，系统指的是包括多个设备的整体装置。
此外，在以上描述中，描述为单个设备(或处理单元)的配置可以被分成多个设备(或处理单元)或由多个设备(或处理单元)形成。相反，在以上描述中，描述为多个设备(或处理单元)的配置可以完全由单个设备(或处理单元)形成。此外，除了上述之外的配置可以被添加到每个设备(或每个处理单元)的配置。此外，一个设备(或处理单元)的配置的一部分可以包括在另一设备(或另一处理单元)的配置中，只要整体系统的配置和操作基本上相同即可。换言之，本技术不限于上述实施例，而是可以在不偏离本技术的精神的前提下在范围内进行各种修改。
根据上述实施例的图像编码设备和图像解码设备可应用于各种电子装置，诸如卫星广播、诸如有线电视的有线广播和互联网上的递送、以及通过蜂窝通信针对终端的递送中的发射器和接收器，将图像记录在诸如光盘、磁盘和闪速存储器的介质上的记录装置，以及从存储介质再现图像的再现装置。下文将描述四个应用示例。
<6.应用示例>
[第一应用示例：电视接收器]
图31图示了被应用上述实施例的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。
调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。此外，调谐器902将通过解调获得的经编码的位流输出至解复用器903。换言之，调谐器902用作电视装置900中的用于接收编码图像的编码流的传输部件。
解复用器903对来自编码流的观看对象节目的视频流和音频流进行解复用，并且将解复用的流输出至解码器904。此外，解复用器903还从编码位流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供给控制单元910。此外，当编码位流被加扰时，解复用器903可以执行解扰。
解码器904对从解复用器903输入的图像流和音频流进行解码。此外，解码器904将由于解码处理而生成的图像数据输出至视频信号处理单元905。此外，解码器904还将由于解码处理而生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的图像数据，使得在显示单元906上显示图像。此外，视频信号处理单元905可以将经由网络提供的应用屏幕显示在显示单元906上。此外，视频信号处理单元905可以根据其设定对图像数据执行诸如去噪的附加处理。此外，视频信号处理单元905可以生成诸如例如，菜单、按键或光标的图形用户接口(GUI)图像，并且可以将所生成的图像叠加在输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号进行驱动，并且将视频或图像显示在显示设备(例如，液晶显示器、等离子体显示器或有机致电发光显示器(OELD))的屏幕上。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，以便允许从扬声器908输出声音。此外，音频信号处理单元907可以对音频数据执行诸如去噪的附加处理。
外部接口909是用于将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对经由外部接口909接收的视频流或音频流进行解码。换言之，外部接口909还用作电视装置900中的用于接收编码图像的编码流的传输装置。
控制单元910包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在电视装置900启动时，CPU读取并执行存储在存储器中的程序。CPU执行程序，并且因此响应于例如从用户接口911输入的操作信号，控制电视装置900的操作。
用户接口911连接至控制单元910。用户接口911包括例如用于允许用户操作电视装置900的按键和开关、遥控信号的接收单元等。用户接口911通过检测用户经由这些构成元件执行的操作来生成操作信号，并且将所生成的操作信号输出至控制单元910。
总线912使调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910彼此连接。
在具有以上配置的电视装置900中，解码器904具有根据上述实施例的图像解码设备的功能。因此，在电视装置900中对图像解码时，可以通过运动向量的解码期间的并行处理来提高处理效率。
[第二应用示例：移动电话]
图32图示了被应用上述实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用器/解复用器928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921被连接至通信单元922。扬声器924和麦克风925被连接至音频编解码器923。操作单元932被连接至控制单元931。总线933使通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用器/解复用器928、记录/再现单元929、显示单元930和控制单元931彼此连接。
移动电话920在包括语音模式、数据通信模式、拍照模式以及视频电 话模式的各种操作模式中执行诸如传送和接收音频信号，传送和接收电子邮件或图像数据，拍摄图像以及记录数据的操作。
在语音模式中，通过麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并且通过A/D转换压缩经转换的音频数据。此外，音频编解码器923将压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以便生成传输信号。此外，通信单元922将所生成的传输信号经由天线921传送至基站(未示出)。此外，通信单元922还对经由天线921接收的无线电信号进行放大并且对其频率进行转换，以便获取接收信号。此外，通信单元922对接收信号进行解调和解码以便生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换以便生成模拟音频信号。此外，音频编解码器923将所生成的音频信号提供给扬声器924以便输出声音。
此外，在数据通信模式中，例如，控制单元931响应于用户使用操作单元932执行的操作，生成形成电子邮件的文本数据。此外，控制单元931还将文本显示在显示单元930上。此外，控制单元931响应于用户使用操作单元932进行的传输指令，生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以便生成传输信号。此外，通信单元922将所生成的传输信号经由天线921传送至基站(未示出)。此外，通信单元922还对经由天线921接收的无线信号进行放大并且对其频率进行转换以便获取接收信号。此外，通信单元922对接收信号进行解调和解码以便恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示单元930上并且将电子邮件数据存储在记录/再现单元929的存储介质上。
记录/再现单元929包括任何可读和可写存储介质。例如，存储介质可以是诸如RAM或闪速存储器的内建存储介质，并且可以是诸如硬盘、磁盘、磁光盘、光盘、未分配空间位图(USB)存储器或者存储卡的外部附接的存储介质。
此外，在拍照模式中，例如，相机单元926使物体成像以便生成图像数据，并且将生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码，并且将经编码的流存储在记录/再现单元929的存储介质中。
此外，在视频电话模式中，例如，复用器/解复用器928对图像处理单元927编码的图像流以及从音频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信单元922。通信单元922对该流进行编码和调制以便生成传输信号。此外，通信单元922将所生成的传输信号经由天线921传送至基站(未示出)。此外，通信单元922对经由天线921接收到的无线信号进行放大并且对其频率进行转换以便获取接收信号。传输信号和接收信号中可以包括编码流。此外，通信单元922对接收信号进行解调和解码以便恢复该流，并且将恢复的流输出至复用器/解复用器928。复用器/解复用器928将图像流和音频流从输入流中解复用，并且将视频流输出至图像处理单元927并将音频流输出至音频编解码器923。图像处理单元927对图像流进行解码以便生成图像数据。图像数据被提供给显示单元930以便允许将图像序列显示在显示单元930上。音频编解码器923对音频流进行解压和D/A转换以便生成模拟音频信号。此外，音频编解码器923将所生成的音频信号提供给扬声器924以便输出声音。
在具有以上配置的移动电话920中，图像处理单元927具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，在移动电话920中对图像编码和解码时，可以通过运动向量的编码或解码期间的并行处理来提高处理效率。
[第三应用示例：记录/再现装置]
图33是被应用上述实施例的记录/再现装置的示意性配置的示例。记录/再现装置940对例如接收到的广播节目的音频数据和图像数据进行编码，并且将编码数据记录在例如记录介质中。此外，记录/再现装置940可以对例如从其他装置获取的音频数据和图像数据进行编码，并且可以将编码数据记录在例如记录介质中。此外，例如响应于来自用户的指令，记录/再现装置940在监视器和扬声器上再现记录在记录介质上的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、同屏显示(OSD)948、控制单元949以及用户接口950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望频道的信号，并对所提取的信号进行解调。此外，调谐器941将通过解调获得 的编码位流输出至选择器946。换言之，调谐器941用作记录/再现装置940中的传输部件。
外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口、闪速存储器接口等。例如，经由外部接口942接收到的图像数据和音频数据被输入至编码器943。换言之，外部接口942用作记录/再现装置940中的传输部件。
在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对图像数据和音频数据进行编码。此外，编码器943将编码位流输出至选择器946。
HDD944将编码位流、各种程序以及其他数据存储在内部硬盘中，在该编码位流中诸如视频和音频的内容数据被压缩。此外，当再现视频和声音时，HDD944从硬盘读取该数据。
盘驱动器945记录并且将数据读入/读出安装在其中的记录介质。安装在盘驱动器945中的记录介质可以是例如DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW等)，Blu-ray(注册商标)盘等。
当记录视频和声音时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出至HDD944或盘驱动器945。此外，当再现视频和声音时，选择器946将从HDD944或盘驱动器945输入的编码位流输出至解码器947。
解码器947对编码位流进行解码以便生成视频数据和音频数据。此外，解码器904将所生成的视频数据输出至OSD948。解码器904还将所生成的音频数据输出至外部扬声器。
OSD948对从解码器947输入的视频数据进行再现以便显示图像。此外，OSD948可以将诸如例如菜单、按键或光标的CUI图像叠加在显示的图像上。
控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，当记录/再现装置940启动时，存储在存储器中的程序被CPU读取并执行。CPU执行程序，并且因此响应于例如从用户接口950输入的操作信号来控制记录/再现装置940的操作。
用户接口950连接至控制单元949。例如，用户接口950包括允许用户操作记录/再现装置940的按键和开关、遥控信号的接收单元等。用户接口950通过检测用户经由这些构成元件而执行的操作来生成操作信号，并且将所生成的操作信号输出至控制单元949。
在具有以上配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码设备的功能。此外，解码器947具有根据上述实施例的图像解码设备的功能。因此，在记录/再现装置940中对图像编码和解码时，可以通过运动向量的编码或解码期间的并行处理来提高处理效率。
[第四应用示例：成像装置]
图34图示了被应用上述实施例的成像装置的示意性配置的示例。成像装置960对物体成像以便生成图像，并且对图像数据进行编码以便将编码数据记录在记录介质上。
成像装置960包括光学模块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制单元970、用户接口971以及总线972。
光学模块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972使图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD969以及控制单元970彼此连接。
光学模块961包括聚焦透镜、光圈机构等。光学模块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。成像单元962随后将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，诸如拐点校正、伽马校正以及颜色校正。信号处理单元963将经历相机信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以便生成编码数据。此外，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。此外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以便生成图像数据。此外，图 像处理单元964然后将所生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以便显示图像。此外，图像处理单元964可以将从OSD969获取的显示数据叠加在输出至显示单元965的图像上。
OSD969可以生成诸如例如菜单、按键或光标的GUI图像并且将所生成的图像输出至图像处理单元964。
外部接口966由例如USB输入/输出端子形成。例如，当打印图像时，外部接口966将成像装置960连接至打印机。此外，在必要时，驱动器连接至外部接口966。诸如例如磁盘或光盘的可移动介质可以安装在驱动器中，并且从可移动介质读取的程序可以安装在成像装置960中。此外，外部接口966可以被配置成连接至诸如LAN或互联网的网络的网络接口。换言之，外部接口966用作成像装置960中的传输部件。
安装在介质驱动器968中的记录介质可以是任何可读/可写的可移动介质，诸如例如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式安装在介质驱动器968中，以便配置诸如例如内建硬盘驱动器或固态驱动器(SSD)的非便携式存储单元。
控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，在成像装置960启动时，CPU读取并执行存储在存储器中的程序。CPU执行程序，并且因此响应于例如从用户接口971输入的操作信号来控制成像装置960的操作。
用户接口971与控制单元970连接。用户接口971包括例如，允许用户操作成像装置960的按键和开关等。用户接口971通过检测用户经由这些部件而执行的操作来生成操作信号，并且将所生成的操作信号输出至控制单元970。
在具有以上配置的成像装置960中，图像处理单元964具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，在成像装置960中对图像编码和解码时，可以通过运动向量的编码或解码期间的并行处理来提高处理效率。
<7.可分级编码的应用示例>
[第一系统]
接下来，将参照图35描述通过参照图27至29描述的、使用可分级编码的可分级编码(层编码)数据的具体示例。如图35中所示的示例中的那样，可分级编码用于例如选择要传送的数据。
在图35中所示的数据传输系统1000中，递送服务器1002读取可分级编码数据存储单元1001中存储的可分级编码数据，并且将可分级编码数据经由网络1003递送到诸如个人计算机1004、AV装置1005、平板设备1006和移动电话1007的终端装置。
此时，递送服务器1002基于终端装置的性能、通信环境等选择并传送具有适当质量的编码数据。如果递送服务器1002不必要地传送了高质量数据，则不能称为在终端装置中获得了高质量图像，并且考虑可能出现延迟或上溢。此外，考虑高质量数据可能不必要地占用了通信带，并且可能不必要地增加了终端装置上的负担。相反，如果递送服务器1002不必要地传送了低质量数据，则考虑在终端装置中不能获得具有充分图像质量的图像。出于该原因，递送服务器1002从可分级编码数据存储单元1001读取并传送具有适合于终端装置的性能或通信环境的质量的可分级编码数据。
这里，假设可分级编码数据存储单元1001存储被可分级编码的可分级编码数据(BL+EL)1011。可分级编码数据(BL+EL)1011是包括基本层和增强层两者的编码数据，并且是允许通过解码获得基本层图像和增强层图像两者的数据。
递送服务器1002基于接收数据的终端装置的性能或者通信环境来选择适当的层，并且读取层的数据。例如，对于具有高处理性能的个人计算机1004或平板设备1006，递送服务器1002从可分级编码数据存储单元1001读取具有高质量的可分级编码数据(BL+EL)1011，并且原样传送该数据。相反，例如，对于具有低处理性能的AV装置1005或移动电话1007，递送服务器1002从可分级编码数据(BL+EL)1011中提取基本层数据，并且传送该数据作为可分级编码数据(BL)1012，可分级编码数据(BL)1012在内容方面是与可分级编码数据(BL+EL)1011相同的内容数据，但是具有比可分级编码数据(BL+EL)1011低的质量。
如上文所述，由于通过使用可分级编码数据可以容易地调整数据量，因此可以使延迟或上溢的出现最少或者使终端装置或通信介质上的负担的不必要的增加最小。此外，在可分级编码数据(BL+EL)1011中减少了层之间的冗余，并且因此较之每个层的编码数据被用作分立数据的情 况，可以进一步减少其数据量。因此，可以更高效地使用可分级编码数据存储单元1001的存储区域。
此外，可以采用从诸如个人计算机1004到移动电话1007的各种装置作为终端装置并且因此终端装置的硬件性能根据装置而不同。此外，存在由终端装置执行的各种应用，并且因此也存在其各种软件性能。此外，包括有线网络、无线网络或者这两种网络的所有通信线路网络，诸如例如，互联网或局域网(LAN)，可以被用作作为通信介质的网络1003，并且存在各种数据传输性能。此外，考虑数据传输性能会根据其他通信环境等而变化。
因此，在开始数据传输之前，递送服务器1002可以执行与作为数据的传输目的地的终端装置的通信，以便获得诸如终端装置的硬件性能以及由终端装置执行的应用(软件)的性能的关于终端装置的性能的信息，以及关于诸如网络1003的可用带宽的通信环境的信息。此外，递送服务器1002可以基于这里获得的信息选择适当的层。
此外，层的提取可以由终端装置执行。例如，个人计算机1004可以对所传送的可分级编码数据(BL+EL)1011进行解码并且可以显示基本层图像并且可以显示增强层图像。此外，例如，个人计算机1004可以从所传送的可分级编码数据(BL+EL)1011中提取基本层可分级编码数据(BL)1012以便存储该数据，将该数据传送到其他设备，或者对该数据解码用于显示基本层图像。
当然，可分级编码数据存储单元1001的数目、递送服务器1002的数目、网络1003的数目和终端装置的数目全是任意的。此外，在以上描述中，描述了其中递送服务器1002将数据传送到终端装置的示例，但是使用示例不限于此。数据传输系统1000可应用于任何系统，只要在被可分级编码的编码数据被传送到终端装置时，该系统基于终端装置的性能、通信环境等选择并传送适当的层即可。
此外，本技术还按照其应用于参照图27至29描述的层编码和层解码的方式相同的方式被应用于如图35中所示的上述数据传输系统1000，并且因此可以实现参照图27至29描述的效果。
[第二系统]
可分级编码用于例如如图36中所示的示例中的使用多个通信介质的 传输。
在图36中所示的数据传输系统1100中，广播站1101通过使用地面广播1111传送基本层可分级编码数据(BL)1121。此外，广播站1101经由有线网络、无线网络或这两种网络形成的任何网络1112传送(例如，打包并传送)增强层可分级编码数据(EL)1122。
终端装置1102具有接收由广播站1101广播的地面广播1111的功能，并且接收经由地面广播1111传送的基本层可分级编码数据(BL)1121。此外，终端装置1102进一步具有使用网络1112执行通信的通信功能，并且接收经由网络1112传送的增强层可分级编码数据(EL)1122。
终端装置1102可以例如响应于来自用户的指令，对经由地面广播1111获取的基本层可分级编码数据(BL)1121进行解码，以便获得基本层图像，存储该图像，并且将该图像传送到其他装置。
此外，例如，响应于来自用户的指令，终端装置1102可以将经由地面广播1111获取的基本层可分级编码数据(BL)1121与经由网络1112获取的增强层可分级编码数据(EL)1122组合以便获得可分级编码数据(BL+EL)，并且可以对该数据解码以便获得增强层图像，存储该图像，并且将该图像传送到其他装置。
如上文所述，可分级编码数据可以经由例如对于每个层不同的通信介质来传送。在该情况下，负担被分散，并且因此可以使延迟或上溢的出现最少。
此外，可以根据环境针对每个层选择用于传输的通信介质。例如，具有相对大的数据量的基本层可分级编码数据(BL)1121可以经由具有大带宽的通信介质传送，并且具有相对小的数据量的增强层可分级编码数据(EL)1122可以经由具有小带宽的通信介质传送。此外，例如，用于传送增强层可分级编码数据(EL)1122的通信介质可以根据网络1112的可用带宽在网络1112和地面广播1111之间改变。当然，这对于任何层的数据也是相同的。
如上文所述执行控制，并且因此可以进一步使数据传输中的负担的增加最小。
当然，层的数目是任意的，并且用于传输的通信介质的数目也是任意的。此外，用作数据传输目的地的终端装置1102的数目也是任意的。此外，在以上描述中，描述了作为示例的从广播站1101广播，但是使用示 例不限于此。数据传输系统1100可应用于任何系统，只要该系统以层为单位将可分级编码的编码数据分割成多个数据项并且经由多条线路传送这些数据项即可。
此外，本技术还按照其应用于参照图27至29描述的层编码和层解码的方式相同的方式被应用于如图36中所示的上述数据传输系统1100，并且因此可以实现参照图27至29描述的效果。
[第三系统]
如图37中所示的示例中的那样，可分级编码用于例如存储编码数据。
在图37中所示的成像系统1200中，成像装置1201可分级地对通过对物体1211成像而获得的图像数据进行编码，并且将结果数据提供给可分级编码数据存储设备1202作为可分级编码数据(BL+EL)1221。
可分级编码数据存储设备1202按照基于环境的质量存储从成像装置1201提供的可分级编码数据(BL+EL)1221。例如，在正常时间的情况下，可分级编码数据存储设备1202从可分级编码数据(BL+EL)1221提取基本层数据，并且存储该数据作为具有低质量的小数据量的基本层可分级编码数据(BL)1222。相反，例如，在注意时间的情况下，可分级编码数据存储设备1202从可分级编码数据(BL+EL)1221存储具有高质量的大数据量的可分级编码数据(BL+EL)1221。
因此，由于可分级编码数据存储设备1202可以仅按照需要保存具有高质量的图像，因此可以在使由于图像质量劣化引起的图像值的减少最小的同时使数据量的增加最小，并且因此提高了存储区域的使用效率。
例如，假设成像装置1201是监控相机。在拍摄图像中未反映监控对象(例如，侵犯者)的情况下(正常时间的情况)，拍摄图像的内容可能不重要的概率是高的，并且因此数据量的减少被优先考虑，并且以低质量存储图像数据(可分级编码数据)。相反，在拍摄图像中反映了作为物体1211的监控对象的情况下(注意时间的情况)，拍摄图像的内容可能重要的概率是高的，并且因此图像质量被优先考虑，并且以高质量存储图像数据(可分级编码数据)。
此外，正常时间和注意时间可以由例如分析图像的可分级编码数据存储设备1202确定。此外，正常时间和注意时间可以由例如成像装置1201确定，并且确定结果可以被传送到可分级编码数据存储设备1202。
此外，正常时间和注意时间的确定标准是任意的，并且用作确定标准的拍摄图像的内容是任意的。当然，除了拍摄图像的内容以外的条件可以用作确定标准。例如，正常时间和注意时间可以基于所记录的声音的幅度、波形等而改变，并且可以例如针对每个预定的时间间隔改变，或者通过诸如来自用户的指令的外部指令而改变。
此外，在以上描述中，描述了改变包括正常时间和注意时间的两个状态的示例，但是状态的数目是任意的，并且例如，可以改变三个或更多个状态，诸如正常时间、略微注意时间、注意时间、强烈注意时间。这里，改变的状态的数目的上限取决于可分级编码数据的层的数目。
此外，成像装置1201可以基于状态确定可分级编码层的数目。例如，在正常时间的情况下，成像装置1201可以生成具有少量低质量数据的基本层可分级编码数据(BL)1222，并且可以将该数据提供给可分级编码数据存储设备1202。此外，例如，在注意时间的情况下，成像装置1201可以生成具有大量高质量数据的基本层可分级编码数据(BL+EL)1221，并且可以将该数据提供给可分级编码数据存储设备1202。
在以上描述中，将监控相机作为示例进行了描述，但是成像系统1200的使用是任意的并且不限于监控相机。
此外，通过与参照图27至29描述的层编码和层解码相同的方式进行应用，本技术还应用于如图37中所示的上述成像装置1200，并且因此可以实现参照图27至29描述的效果。
此外，在本说明书中，对其中诸如预测运动向量的码数目、差运动向量信息、预测运动向量信息以及并行处理控制的开/关标志的各种信息被复用到编码流中，并且从编码侧传送到解码侧的示例进行了描述。然而，传送信息的方法不限于该示例。例如，信息可以作为与编码位流相关的分立数据而被传送或记录，而不复用到编码位流中。这里，术语“相关”指示位流中包括的图像(可以是诸如码片或块的图像的一部分)可以在解码期间被链接到与图像对应的信息。换言之，可以在与图像(或位流)不同的传输路径上传送信息。此外，信息可以被记录在与图像(或位流)不同的记录介质上(或者同一记录介质的不同记录区域上)。此外，信息和图像(或位流)可以按任何单位彼此相关，诸如例如，多个帧、一个帧、或者帧的一部分。
如上文所述，尽管已参照附图详细描述了本公开的优选实施例，但是 本公开不限于该示例。显然，本领域技术人员可以设想在权利要求中阐述的技术精神的范围内的各种修改或变更，并且应理解，它们在本质上也落在本公开的技术范围内。
此外，本技术可以具有如下配置。
(1)一种图像处理装置，包括：
相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，所述相邻区域设定单元基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；预测运动向量生成单元，所述预测运动向量生成单元通过使用所述相邻区域设定单元设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及运动向量解码单元，所述运动向量解码单元通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行解码。
(2)根据(1)所述的图像处理装置，其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左侧或上侧的所述第二预测区域的第一相邻区域。
(3)根据(2)所述的图像处理装置，其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第二相邻区域，替代与所述第一预测区域相邻的第二相邻区域。
(4)根据(3)所述的图像处理装置，其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的下侧的预测区域，所述第二预测区域是位于所述编码区域中的上侧的预测区域，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域。
(5)根据(3)所述的图像处理装置，其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的右侧的预测区域，所述第二预测区域是位于所述编码区域中的左侧的预测区域，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域。
(6)根据(3)所述的图像处理装置，其中，在所述第一预测区域位 于所述编码区域中的右侧和下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第一相邻区域，替代用作与所述编码区域中的左上侧相邻的所述第二预测区域的第一相邻区域。
(7)根据(6)所述的图像处理装置，其中，在所述编码区域被分割成4×4个预测区域的情况下，当所述第一预测区域是位于所述编码区域中的右上侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域，当所述第一预测区域是位于所述编码区域中的左下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域，以及当所述第一预测区域是位于所述编码区域中的右下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左上侧相邻的相邻区域。
(8)根据(1)至(5)中任一项所述的图像处理装置，其中，所述编码区域基于非对称运动划分被分割成多个预测区域。
(9)根据(1)至(8)中任一项所述的图像处理装置，进一步包括：接收单元，所述接收单元接收编码流以及指示是否将执行所述空间相邻区域的设定的标志；以及解码单元，所述解码单元对所述接收单元接收到的编码流进行解码以便生成所述图像，其中所述相邻区域设定单元基于所述接收单元接收到的标志来执行所述空间相邻区域的设定。
(10)根据(9)所述的图像处理装置，其中针对每个编码区域或预测区域设定所述标志。
(11)根据(1)至(10)中任一项所述的图像处理装置，其中基于次序简档或级别来设定是否将执行所述空间相邻区域的设定，以及其中所述相邻区域设定单元基于所述次序简档或级别来执行所述空间相邻区域的设定。
(12)一种图像处理方法，包括：使图像处理装置：当在用于对形成图像的编码区域的多个预测区域的运动向量进行解码的预测运动向量中生成空间预测运动向量时，基于预测区域在所述编码区域中的位置来设定 空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；通过使用所设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行解码。
(13)一种图像处理装置，包括：相邻区域设定单元，当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中生成空间预测运动向量时，所述相邻区域设定单元基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；预测运动向量生成单元，所述预测运动向量生成单元通过使用所述相邻区域设定单元设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及运动向量编码单元，所述运动向量编码单元通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行编码。
(14)根据(13)所述的图像处理装置，其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左侧或上侧的所述第二预测区域的第一相邻区域。
(15)根据(14)所述的图像处理装置，其中，在第一预测区域位于所述编码区域中的右侧或下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第二相邻区域，替代与所述第一预测区域相邻的第二相邻区域。
(16)根据(15)所述的图像处理装置，其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的下侧的预测区域，所述第二预测区域是位于所述编码区域中的上侧的预测区域，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域。
(17)根据(15)所述的图像处理装置，其中，在所述编码区域被分割成2N×N个预测区域的情况下，所述第一预测区域是位于所述编码区域中的右侧的预测区域，所述第二预测区域是位于所述编码区域中的左侧的预测区域，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域。
(18)根据(15)所述的图像处理装置，其中，在所述第一预测区域 位于所述编码区域中的右下侧的情况下，在所述第一预测区域的相邻区域中，所述相邻区域设定单元设定所述第二预测区域的第一相邻区域，替代用作位于所述编码区域中的左上侧的所述第二预测区域的第一相邻区域。
(19)根据(18)所述的图像处理装置，其中，在所述编码区域被分割成4×4个预测区域的情况下，当所述第一预测区域是位于所述编码区域中的右上侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的左下侧相邻的相邻区域，当所述第一预测区域是位于所述编码区域中的左下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的上侧相邻的相邻区域，并且所述第二相邻区域是与预测区域的右上侧相邻的相邻区域，以及当所述第一预测区域是位于所述编码区域中的右下侧的预测区域，并且所述第二预测区域是位于所述编码区域中的左上侧的预测区域时，所述第一相邻区域是与预测区域的左上侧相邻的相邻区域。
(20)根据(15)所述的图像处理装置，其中，所述编码区域基于非对称运动划分被分割成多个预测区域。
(21)根据(13)至(20)中任一项所述的图像处理装置，进一步包括：设定单元，所述设定单元设定指示是否将执行所述空间相邻区域的设定的标志；编码单元，所述编码单元对所述图像进行编码以便生成编码流；以及传送单元，所述传送单元传送由所述运动向量编码单元编码的运动向量、由所述编码单元生成的编码流以及由所述设定单元设定的标志，其中所述相邻区域设定单元基于所述设定单元设定的标志来执行所述空间相邻区域的设定。
(22)根据(21)所述的图像处理装置，其中所述设定单元针对每个编码区域或预测区域设定所述标志。
(23)根据(13)至(22)中任一项所述的图像处理装置，其中基于次序简档或级别来设定是否将执行所述空间相邻区域的设定，以及其中所述相邻区域设定单元基于所述次序简档或级别来执行所述空间相邻区域的设定。
(24)一种图像处理方法，包括：使图像处理装置：当在用于对形成图像的编码区域的多个预测区域的运动向量进行编码的预测运动向量中 生成空间预测运动向量时，基于预测区域在所述编码区域中的位置来设定空间相邻区域，使得并行地执行所述多个预测区域的空间运动向量的生成；通过使用所设定的空间相邻区域的运动向量来生成所述预测区域的空间预测向量；以及通过使用所述预测区域的预测运动向量来对所述预测区域的运动向量进行编码。
附图标记列表
100 图像编码设备，106 可逆编码单元，115 运动预测/补偿单元，121 运动向量编码单元，122 并行处理控制单元，151 空间相邻运动向量缓冲器，152 时间相邻运动向量缓冲器，153 候选预测运动向量生成部，154 成本函数值计算部，155 最优预测运动向量确定部，200 图像解码设备，202 可逆解码单元，212 运动预测/补偿单元，221 运动向量解码单元，222 并行处理控制单元，251 预测运动向量信息缓冲器，252 差运动向量信息缓冲器，253 预测运动向量重建部，254 运动向量重建部，255 空间相邻运动向量缓冲器，256 时间相邻运动向量缓冲器