用于视频编码的方法和装置.pdf

提供了一种方法、装置和计算机程序产品。在一些实施例中，将未压缩的图像编码到包括片的编码图像中；在一个或多个时间参考图像中确定针对片的预测参考候选的列表；将在所述列表中的每个预测参考候选与参考索引相关联；以及检查与所述列表中的第一参考索引相关联的预测参考候选是否能够用于针对所述片的时间运动向量预测。如果与所述第一参考索引相关联的预测参考候选不能用于针对所述片的时间运动向量预测，则检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选。如果所述列表包括与另一个参考索引相关联的另一个预测参考候选，则在片级别处或在更高级别处提供与所述另一个预测参考候选相关联的参考索引。所述方法涉及视频编码或解码，尤其是在高效视频编码(HEVC)或高级视频编码(AVC)的情景下。

权利要求书1.  一种方法，包括：确定参考图像的列表，所述参考图像是针对图像的片的预测参考候选；将在所述列表中的每个预测参考候选与参考索引相关联；在片级别处或在更高级别处获得与针对运动向量预测的选择的预测参考候选相关联的参考索引。2.  根据权利要求1所述的方法，所述方法包括：在合并编码模式中使用所述方法。3.  根据权利要求1或2所述的方法，所述方法包括：执行第一检查以确定与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述第一检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则执行第二检查以确定所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；如果所述第二检查指示的是，所述列表包括与所述另一个参考索引相关联的另一个预测参考候选，则确定与所述另一个参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述确定指示的是，与所述另一个参考索引相关联的预测参考候选是能够使用的，则使用与所述另一个预测参考候选相关联的参考索引作为与所选择的预测参考候选相关联的参考索引。4.  根据权利要求3所述的方法，所述方法包括，基于以下中的至少一个来确定所述预测参考候选是否能够用于运动向量预测：所述预测参考候选是长期参考图像；所述预测参考候选属于与所述片的相同层；所述预测参考候选属于与所述片的相同视图；所述预测参考候选的类型；图像顺序计数；编码模式。5.  根据权利要求1至4中的任何一项所述的方法，所述方法包括：获得针对所述片的图像顺序计数；以及将所述片的图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述片的图像顺序计数等于所述参考图像的图像顺序计数，则确定所述参考图像不能用于针对所述片的运动向量预测。6.  根据权利要求1至5中的任何一项所述的方法，所述方法包括：在所述片级别处或在所述更高级别处在语法元素中提供所述参考索引。7.  根据权利要求1至6中的任何一项所述的方法，所述方法包括：在所述片级别处或在所述更高级别处获得来自语法元素的所述参考索引。8.  根据权利要求1至7中的任何一项所述的方法，所述方法包括：将未压缩的图像编码到包括所述片的编码图像中。9.  根据权利要求1至8中的任何一项所述的方法，所述方法包括：将包括所述片的编码图像解码到解码图像中。10.  一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：确定参考图像的列表，所述参考图像是针对图像的片的预测参考候选；将在所述列表中的每个预测参考候选与参考索引相关联；在片级别处或在更高级别处获得与针对运动向量预测的预测参考候选相关联的参考索引。11.  根据权利要求10所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置使用合并编码模式中的方法。12.  根据权利要求10或11所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置执行第一检查以确定与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述第一检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则执行第二检查以确定所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；如果所述第二检查指示的是，所述列表包括与所述另一个参考索引相关联的另一个预测参考候选，则确定与所述另一个参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述确定指示的是，与所述另一个参考索引相关联的预测参考候选是能够使用的，则使用与所述另一个预测参考候选相关联的参考索引作为与所选择的预测参考候选相关联的参考索引。13.  根据权利要求12所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置基于以下中的至少一个来确定所述预测参考候选是否能够用于运动向量预测：所述预测参考候选是长期参考图像；所述预测参考候选属于与所述片的相同层；所述预测参考候选属于与所述片的相同视图；所述预测参考候选的类型；图像顺序计数；编码模式。14.  根据权利要求10至13中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置获得针对所述片的图像顺序计数；以及将所述片的图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述片的图像顺序计数等于所述参考图像的图像顺序计数，则确定所述参考图像不能用于针对所述片的运动向量预测。15.  根据权利要求10至14中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置在所述片级别处或在所述更高级别处在语法元素中 提供所述参考索引。16.  根据权利要求10至15中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置在所述片级别处或在所述更高级别处获得来自语法元素的所述参考索引。17.  根据权利要求10至16中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置将未压缩的图像编码到包括所述片的编码图像中。18.  根据权利要求10至17中的任何一项所述的装置，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置将包括所述片的编码图像解码到解码图像中。19.  一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：确定参考图像的列表，所述参考图像是针对图像的片的预测参考候选；将在所述列表中的每个预测参考候选与参考索引相关联；在片级别处或在更高级别处获得与针对运动向量预测的预测参考候选相关联的参考索引。20.  根据权利要求19所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置使用合并编码模式中的方法。21.  根据权利要求19或20所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置执行第一检查以确定与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述第一检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则执行第二检查以确定所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；如果所述第二检查指示的是，所述列表包括与所述另一个参考索引相关联的另一个预测参考候选，则确定与所述另一个参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；如果所述确定指示的是，与所述另一个参考索引相关联的预测参考候选是能够使用的，则使用与所述另一个预测参考候选相关联的参考索引作为与所选择的预测参考候选相关联的参考索引。22.  根据权利要求21所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置基于以下中的至少一个来确定所述预测参考候选是否能够用于运动向量预测：所述预测参考候选是长期参考图像；所述预测参考候选属于与所述片的相同层；所述预测参考候选属于与所述片的相同视图；所述预测参考候选的类型；图像顺序计数；编码模式。23.  根据权利要求19至22中的任何一项所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置获得针对所述片的图像顺序计数；以及将所述片的图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述片的图像顺序计数等于所述参考图像的图像顺序计数，则确定所述参考图像不能用于针对所述片的运动向量预测。24.  根据权利要求19至23中的任何一项所述的计算机程序产品，所 述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置在片级别处或在所述更高级别处在语法元素中提供所述参考索引。25.  根据权利要求19至24中的任何一项所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置在片级别处或在所述更高级别处获得来自语法元素的所述参考索引。26.  根据权利要求19至25中的任何一项所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置将未压缩的图像编码到包括所述片的编码图像中。27.  根据权利要求19至26中的任何一项所述的计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置将包括所述片的编码图像解码到解码图像中。28.  一种装置，包括：用于确定参考图像的列表的构件，所述参考图像是针对图像的片的预测参考候选；用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；用于在片级别处或在更高级别处获得与针对运动向量预测的选择的预测参考候选相关联的参考索引的构件。

说明书用于视频编码的方法和装置
技术领域
本发明一般涉及用于视频编码和解码的装置、方法和计算机程序。
背景技术
这部分旨在提供在权利要求书中陈述的本发明的背景或上下文。此处的描述可以包含可以被追求的构思，但其不是必须是先前已设想或追求的构思。因此，除非此处另外指出，否则这部分所述的内容不是本申请中的说明书和权利要求书的现有技术，并且不通过包含在这部分中而承认其为现有技术。
视频编码系统可以包括：编码器，其将输入视频变换为适合于存储/传输的压缩表示，以及解码器，其能够将被压缩的视频表示解压缩回到能够观看的形式。编码器可以丢弃原始视频序列中的一些信息，以便以更加紧凑的形式来表示该视频，例如，以使得能够以比以其他方式可能需要的比特率更低的比特率来存储/传输该视频信息。
当前正在探讨和开发用于提供三维(3D)视频内容的各种技术。特别地，密集的研究已经集中在各种多视角(multiview)应用上，其中观看者从特定的视点能够看到仅一对立体视频，以及从不同的视点看到另一对立体视频。针对此类多视角应用的其中一个最可行的方法已经被证明是这样的，其中仅有限数量的输入视图，例如单一(mono)或立体视频加上一些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染(即合成)以在显示器上显示。
一些视频编码标准引入了片层以及以下层处的头部，以及在片层之上的层处的参数的构思。参数集的实例可以包含：所有图像、图像组(GOP)以及序列级数据，诸如图像大小、显示窗口、使用的可选的编码模式、宏 块分配图以及其它。每个参数集实例可以包含：唯一的标识符。每个片层头部可以包含：至参数集标识符的引用，以及当解码该片时，可以使用所引用的参数集的参数值。参数集使得不频繁变化的图像，GOP以及来自序列，GOP和图像边界的序列级的数据的传输和解码顺序解耦合。能够使用可靠的传输协议在带外来传送参数集，只要在它们被引用之前将它们解码。如果在带内来传送参数集，则与传统视频编码方案相比，它们能够被重复多次以改进容错。可以在会话建立时间来传送这些参数集。然而，在一些系统中，主要是广播系统，参数集的可靠的带外传输可能是不可行的，而是在参数集NAL单元中在带内来运送参数集。
发明内容
根据本发明的一些示例实施例，提供了用于以合并模式提供时间运动向量预测器(predictor)的参考索引的方法、装置和计算机程序产品。可以例如在片头部中明确地通过信号传送该参考索引。以这种方式，能够使用时间运动向量预测，即使在等于0的参考索引处的图像将避免时间运动向量预测的导出。
在权利要求书中阐述了本发明的示例的各种方面。
根据本发明的第一方面，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的预测参考候选；
在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引。
根据本发明的第二方面，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
根据本发明的第三方面，提供了一种装置，所述装置包括至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的预测参考候选；
在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引。
根据本发明的第四方面，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
根据本发明的第五方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的预测参考候选；
在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引。
根据本发明的第六方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
根据本发明的第七方面，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于选择针对运动向量预测的预测参考候选的构件；
用于在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引的构件。
根据本发明的第八方面，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考的构件。
根据本发明的第九方面，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
根据本发明的第十方面，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
根据本发明的第十一方面，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
根据本发明的第十二方面，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
根据本发明的第十三方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在编码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
根据本发明的第十四方面，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
根据本发明的第十五方面，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于接收语法元素的构件，所述语法元素包含指示在解码中用于运动向量预测的预测参考候选的参考索引；
用于使用所述参考索引以选择用于解码所述片的预测参考的构件。
根据本发明的第十六方面，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考的构件。
附图说明
为了完全理解本发明的示例实施例，现在参照结合附图的以下描述，在附图中：
图1示出了根据示例实施例的视频编码系统的框图；
图2示出了根据示例实施例的用于视频编码的装置；
图3示出了根据示例实施例的用于视频编码的布置，该布置包括多个装置、网络和网络元素；以及
图4a示意性地示出了如被并入在编码器内的本发明的实施例；
图4b示意性地示出了根据本发明的一些实施例的预测参考列表生成和修改的实施例；
图5a示出了在合并模式中选择参考索引的方法的实施例的高级流程图；
图5b示出了在合并模式中编码选择的参考索引的方法的实施例的高级流程图；
图6a说明了预测单元的空间和时间预测的示例；
图6b说明了预测单元的空间和时间预测的另一个示例；
图7示意性地示出了如被并入在解码器内的本发明的实施例；以及
图8说明了编码单元的示例和编码单元的一些邻居块；以及
图9示出了在合并模式中由解码器接收参考索引的方法的实施例的高级流程图。
具体实施方式
在以下，将在一种视频编码设施的上下文中描述本发明的若干实施例。然而，注意的是，本发明不局限于这种特定布置。实际上，在要求改进参考图像处理的任何环境中，不同实施例具有广阔的应用。例如，本发明可以应用于视频编码系统，如流式传输系统、DVD播放器、数字电视接收器、个人视频记录器、在个人计算机上的系统和计算机程序、手持型计算机和通信设备以及网络元素，诸如处理视频数据的转码器和云计算设施。
H.264/AVC标准由国际电信联盟(ITU-T)的电信标准化部门的视频编码专家组(VCEG)的联合视频组(JVT)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图像专家组来开发。H.264/AVC标准由这两个母标准化组织来发布，以及它被称为ITU-T建议H.264和ISO/IEC国际标准14496-10，还被称为MPEG-4部分10高级视频编码(AVC)。已经有多种版本的H.264/AVC标准，每个版本的H.264/AVC标准将新的扩展或特征集成到规范中。这些扩展包含：可伸缩视频编码(SVC)和多视角视频编码(MVC)。
针对质量可伸缩性(还被称为信噪比或SNR)和/或空间可伸缩性的可伸缩视频编解码器可以被实现如下。对于基础层，使用传统的非可伸缩 视频编码器和解码器。基础层的重建/解码的图像被包含在针对增强层的参考图像缓冲器中。在H.264/AVC，HEVC和使用针对帧间预测的参考图像列表(多个)的类似的编解码器中，类似于增强层的解码参考图像，可以将基础层解码图像插入到用于编码/解码增强层图像的参考图像列表(多个)中。因此，编码器可以选择基础层参考图像作为帧间预测参考以及可以指示它的使用，例如使用在编码比特流中的参考图像索引。解码器从该比特流(例如从参考图像索引)解码：基础层图像用作针对增强层的帧间预测参考。当解码的基础层图像用作针对增强层的预测参考时，它被称为帧间预测参考图像。
当前正在探讨和开发MVC和用于提供三维(3D)视频内容的各种其它技术。特别地，密集的研究已经集中在各种多视角应用上，其中观看者从特定的视点能够看到仅一对立体视频，以及从不同的视点看到另一对立体视频。针对此类多视角应用的其中一个最可行的方法已经被证明是这样的，其中仅有限数量的输入视图，例如单一或立体视频加上一些补充数据，被提供给解码器侧，以及所有要求的视图于是由该解码器本地地渲染(即合成)以在显示器上显示。
在这个部分中，描述H.264/AVC和HEVC的一些关键定义、比特流和编码结构以及构思作为视频编码器、解码器、编码方法、解码方法以及比特流结构的示例，其中可以实现实施例。H.264/AVC的其中的一些关键定义、比特流和编码结构和构思与在HEVC的当前工作草案中的是相同的-因此，在以下，联合地描述它们。本发明的多个方面不局限于H.264/AVC或HEVC，而是针对一种可能的基础而给出该描述，在该基础上可以部分地或完全地实施本发明。
类似于许多较早的视频编码标准，在H.264/AVC和HEVC中指定了比特率语法和语义以及针对无差错比特率的解码过程。没有指定编码过程，但是编码器必须生成一致性的比特流。能够使用假想的参考解码器(HRD)来验证比特流和解码器的一致性。这些标准含有有助于处理传输错误和丢失的编码工具，但是在编码中这些工具的使用是可选的以及还没有针对错 误的比特流指定解码过程。
分别针对至H.264/AVC或HEVC编码器的输入以及H.264/AVC或HEVC解码器的输出的基本单元是图像。在H.264/AVC中，图像可以是帧或场。在HEVC的当前工作草案中，图像是帧。帧包括：亮度样本和对应的色度样本的矩阵。当源信号是交错的时，场是帧的交替样本行的集合以及可以用作编码器输入。当与亮度图像比较时，色度图像可以被子样本。例如，在4：2：0采样模式中，沿着两个坐标轴，色度图像的空间分辨率是亮度图像的空间分辨率的一半。
在H.264/AVC中，宏块是16x16的亮度样本块和对应的色度样本块。例如，在4：2：0采样模式中，宏块含有每个色度成分的一个8x8的色度样本块。在H.264/AVC中，图像被分割到一个或多个片组，以及片组含有一个或多个片。在H.264/AVC中，片由在一个特定片组内在光栅扫描中连续地排序的整数数目的宏块组成。
在草案HEVC标准中，视频图像被分成覆盖图像的区域的编码单元(CU)。CU由一个或多个预测单元(PU)和一个或多个变换单元(TU)组成，预测单元(PU)定义针对在该CU内的样本的预测过程，变换单元(TU)定义针对在该CU中的样本的预测误差编码过程。典型地，CU由样本的方形块组成，该样本的方形块具有从可能的CU大小的预定集合能够选择的大小。具有最大允许大小的CU典型地被称为CTU(编码树单元)，以及视频图像被分成不重叠的CTU。还能够将CTU分割到较小的CU的组合中，例如通过递归地分割CTU和生成的CU。每个生成的CU典型地具有与它相关联的至少一个PU和至少一个TU。还能够将每个PU和TU分割成更小的PU和TU，以便分别增加预测和预测误差编码过程的粒度。能够通过将CU分割成四个相同大小的方形PU或以对称或不对称的方式将CU垂直地或水平地分割成两个矩形PU，来实现PU切分。在比特流中典型地通过信号传送图像到CU中的切分以及CU到PU和TU中的划分，允许解码器重现这些单元的预期结构。
在草案HEVC标准中，图像能够被分割成图块(tile)，图块是矩形 以及含有整数数量的CTU。在HEVC的当前工作草案中，至图块的分割形成规则网格，其中图块的高度和宽度彼此不同，最大为一个CTU。在草案HEVC中，片由整数数量的CU组成。以在图块内或如果图块不使用，则在图像内的CTU的光栅扫描顺序来扫描CU。在CTU内，CU具有特定的扫描顺序。
在HEVC的工作草案(WD)5中，针对图像分割的一些关键的定义和构思被定义如下。分割被定义为将集合分成子集合，使得该集合的每个元素精确地在子集合中的一个子集合中。
在HEVC WD 5中的基本编码单元是树块。树块是具有三个样本数组的图像的NxN的亮度样本块和两个对应的色度样本块，或黑白图像或使用三个分离的彩色平面编码的图像的NxN的样本块。可以针对不同的编码和界面过程来分割树块。树块分割是从针对具有三个样本数组的图像的树块分割所产生的亮度样本块和两个对应的色度样本块，或从针对黑白图像或使用三个分离的彩色平面编码的图像的树块分割所产生的亮度样本块。每个树块被指派分割信令以标识针对帧内或帧间预测以及针对变换编码的块大小。分割是递归四叉树分割。四叉树的根与树块相关联。四叉树被分裂直到到达叶子，其被成编码节点。编码节点是两个树(预测树和变换树)的根节点。预测树指定预测块的方位和大小。预测树和相关联的预测数据被称为预测单元。变换树指定变换块的方位和大小。变换树和相关联的变换数据被称为变换单元。针对亮度和色度的分裂信息针对预测树而言是相同的，以及针对变换树而言可以相同或可以不相同。编码树和相关联的预测和变换单元一起形成编码单元。
在HEVC WD 5中，图像被分成片和图块。片可以是树块的序列但是(当提及所谓的细粒度片时)在树块内还可以具有它的边界，该边界位于变换单元和预测单元一致的位置。在片内的树块以光栅扫描顺序被编码和解码。对于基本编码图像，将每个图像分成片是分割。
在HEVC WD5中，图块被定义为同时出现在一列和一行中的、在该图块中以光栅扫描连续排序的整数树块。对于基本编码图像，每个图像分 成图块是分割。在图像内以光栅扫描连续排序图块。尽管片含有在图块内以光栅扫描连续的树块，但是这些树块在图像内不是必须以光栅扫描连续的。片和图块不需要含有相同的树块序列。图块可以包括被含有在超过一个片中的树块。类似地，片可以包括被含有在若干图块中的树块。
在H.264/AVC和HEVC中，跨域片边界可以禁用图像中预测。因此，片能够被认为是将编码图像独立分裂成能够解码的片的方式，以及因此片常常被认为是用于传输的基本单元。在许多情况下，编码器可以在比特流中指示跨域片边界关闭哪些类型的图像中预测(in-picture prediction)，以及解码器操作例如在推断哪些预测源是可以使用的时考虑这个信息。例如，如果邻居宏块或CU位于不同的片中，则对于帧内预测而言，来自邻居宏块或CU的样本可以被认为是不可以使用的。
语法元素可以被定义为在比特流中表示的数据元素。语法结构可以被定义为以特定顺序在比特流中一起呈现的零个或更多语法元素。
分别针对H.264/AVC或HEVC编码器的输出和H.264/AVC或HEVC解码器的输入的基本单元是网络抽象层(NAL)单元。针对面向分组的网络的传输或至结构化文件的存储，NAL单元可以被封装到分组或类似的结构中。在H.264/AVC和HEVC中，已经指定了针对不提供成帧结构的传输或存储环境的字节流格式。字节流格式通过在每个NAL单元的前面附着起始码使得NAL单元彼此分离。为了避免NAL单元边界的假检测，编码器可以运行面向字节的起始码歧义预防算法，如果起始码将以其他方式已经出现，则该算法将歧义预防字节添加到NAL单元有效载荷。为了在面向分组和面向流的系统之间启用简单的网关操作，可以总是执行起始码歧义预防，而不管字节流格式是否使用。
NAL单元由头部和有效载荷组成。在H.264/AVC和HEVC中，NAL单元头部指示NAL单元的类型以及被含有在该NAL单元中的编码片是否是参考图像或非参考图像的一部分。H.264/AVC包含：2比特的nal_ref_idc语法元素，当nal_ref_idc语法元素等于零时，该nal_ref_idc语法元素指示的是，被含有在NAL单元中的编码片是非参考图像的一部分，当 nal_ref_idc语法元素大于零时，该nal_ref_idc语法元素指示的是，被含有在NAL单元中的编码片是参考图像的一部分。草案HEVC包含：1比特的nal_ref_idc语法元素，还被称为nal_ref_flag，当nal_ref_idc语法元素等于零时，该nal_ref_idc语法元素指示的是，被含有在NAL单元中的编码片是非参考图像的一部分，当nal_ref_idc语法元素等于1时，该nal_ref_idc语法元素指示的是，被含有在NAL单元中的编码片是参考图像的一部分。针对SVC和MVC NAL单元的头部另外可以含有与可伸缩性和多视角层级有关的各种指示。在HEVC中，NAL单元头部包含temporal_id语法元素，temporal_id语法元素指定针对NAL单元的时间标识符。通过排除具有temporal_id大于或等于选择值的所有VCL NAL单元以及包含所有其他VCL NAL单元而创建的比特流保持一致性。因此，具有temporal_id等于TID的图像不使用具有temporal_id大于TID的任何图像作为帧间预测参考。在草案HEVC中，参考图像列表初始化局限于仅被标记为的“用于参考”和具有temporal_id小于或等于当前图像的temporal_id的参考图像。
NAL单元能够被分类成视频编码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元典型地是编码片NAL单元。在H.264/AVC中，编码片NAL单元含有表示一个或多个编码宏块的语法元素，该编码宏块中的每个编码宏块对应于在未压缩的图像中的样本块。在HEVC中，编码片NAL单元含有表示一个或多个CU的语法元素。在H.264/AVC和HEVC中，编码片NAL单元能够被指示为是在瞬时解码刷新(IDR)图像中的编码片或在非IDR图像中的编码片。在HEVC中，编码片NAL单元能够被指示为是在完全解码刷新(CDR)图像(其还可以被称为完全随机访问图像)中的编码片。
非VCL NAL单元可以是例如以下类型中的一个类型：序列参数集、图像参数集、补充增强信息(SEI)NAL单元、随机单元定界符、序列结束NAL单元、流结束NAL单元或填充数据NAL单元。对于解码图像的重建而言，可以需要参数集，然而，针对解码样本值的重建而言，许多其 它的非VCL NAL单元不是必须的。
通过编码视频序列而保持不变的参数可以被包含在序列参数集(SPS)。除了对解码过程而言是必不可少的参数之外，序列参数集可以非必须地含有视频使用性信息(VUI)，其包含对于缓冲、图像输出定时、渲染和资源预留而言是重要的参数。在H.264/AVC中指定了三种NAL单元以携带序列参数集：含有针对该序列中的H.264/AVC VCL NAL单元的所有数据的序列参数集NAL单元、含有针对辅助编码图像的数据的序列参数集扩展NAL单元、以及针对MVC和SVC VCL NAL单元的子集序列参数集。图像参数集(PPS)含有此类参数，该参数在若干编码图像中有可能未变。
在草案HEVC中，还有第三类型的参数集，这里被称为自适应参数集(APS)，其包含在若干编码片中有可能未变的参数。在草案HEVC中，APS语法结构包含：与基于上下文的自适应二进制算术编码(CABAC)、自适应样本偏移、自适应环路过滤以及去块过滤有关的参数或语法元素。在草案HEVC中，APS是NAL单元以及在不使用来自任何其他NAL单元的参考或预测的情况下被编码。标识符(被称为aps_id语法元素)被包含在APS NAL单元中，以及被包含在片头部中以及在该片头部中使用以引用特定APS。
H.264/AVC和HEVC语法允许许多参数集实例，以及使用唯一的标识符来标识每个实例。在H.264/AVC中，每个片头部包含图像参数集的标识符，对于含有该片的图像的解码而言该图像参数集是活动的，以及每个图像参数集含有活动的序列参数集的标识符。因此，图像和序列参数集的传输不是必须与片的传输精确地同步。相反，在活动的序列和图像参数集被引用之前在任何时刻接收它们是足够的，与用于片数据的协议相比，这允许使用更可靠的传输机制的“带外”的参数集的传输。例如，参数集能够被包含作为在针对实时传输协议(RTP)会话的会话描述中的参数。如果在带内传送参数集，则能够使它们重复以改进误差鲁棒性。
SEI NAL单元可以含有一个或多个SEI消息，这些SEI参数对于输出图像的解码而言不是必须的，但是有助于有关过程，诸如图像输出定时、 渲染、误差检测、误差消除以及资源预留。在H.264/AVC和HEVC中指定了若干SEI消息，以及用户数据SEI消息使得能够组织和公司来指定针对他们自己使用的SEI消息。H.264/AVC和HEVC含有针对指定的SEI消息的语法和语义但是没有定义针对在接收器中用于处理该消息的过程。因此，当编码器创建SEI消息时，要求编码器遵从H.264/AVC标准或HEVC标准，分别地不要求遵照H.264/AVC标准或HEVC标准的解码器处理针对输出顺序一致性的SEI消息。在H.264/AVC和HEVC中包含SEI消息的语法和语义的其中一个原因是允许不同的系统规范来同一地解释补充信息以及从而可以互操作。旨在的是，系统规范能够要求在编码端中和在解码端中都使用特定的SEI消息，以及另外能够指定在接收器中用于处理特定SEI消息的过程。
编码图像是图像的编码表示。在H.264/AVC中的编码图像包括对于图像进行解码而言所需要的VCL NAL单元。在H.264/AVC中，编码图像可以是基本编码图像或冗余编码图像。在有效的比特流的解码过程中使用基本编码图像，而冗余的编码图像是冗余表示，该冗余表示仅应当在基本编码图像不能成功地被解码时被解码。在草案HEVC中，还没有指定冗余编码图像。
在H.264/AVC和HEVC中，访问单元包括基本编码图像和与它相关联的那些NAL单元。在H.264/AVC中，在访问单元内的NAL单元的出现顺序被约束如下。非必需的访问访问单元定界符NAL单元可以指示访问单元的开始。它由零或更多SEI NAL单元跟随。接下来出现基本编码图像的编码片。在H.264/AVC中，基本编码图像的编码片可以由针对零个或更多冗余编码图像的编码片跟随。冗余编码图像是图像或图像的一部分的编码表示。如果例如由于传输中的丢失或物理存储介质中的破坏，基本编码图像没有被解码器接收，则冗余编码图像可以被解码。
在H.264/AVC中，访问单元还可以包含：辅助编码图像，其是补充基本编码图像的图像，以及可以在例如显示过程中被使用。辅助编码图像可以例如用作指定在解码图像中的样本的透明水平的阿尔法通道或平面。阿 尔法通道或平面可以在分层合成或渲染系统中使用，其中由在彼此上至少部分透明的覆盖图像来形成输出图像。辅助编码图像具有与黑白冗余编码图像相同的语法和语义限制。在H.264/AVC中，辅助编码图像含有与基本编码图像相同数量的宏块。
编码的视频序列被定义为是在从IDR访问单元(包含)到下一个IDR访问单元(不包含)或到比特流的结束(无论哪个最早出现)的解码序列中的连续访问单元的序列。
图像组(GOP)和它的特点可以被定义如下。GOP能够被解码，而不管任何先前的图像是否被解码。开放GOP是这样的图像组，其中当解码从该开放GOP的初始帧内图像开始时，在输出顺序中的初始帧内图像之前的图像可能不能被正确地解码。也就是说，开放GOP的图像(在帧间预测中)可以参考属于先前GOP的图像。H.264/AVC解码器能够从H.264/AVC比特流中的恢复点SEI消息来识别起始开放GOP的帧内图像。HEVC解码器能够识别起始开放GOP的帧内图像，因为特定的NAL单元类型、CDR NAL单元类型用于它的编码片。封闭GOP是这样的图像组，其中当解码从封闭GOP的初始帧内图像开始时，所有的图像能够被正确地解码。也就是说，在封闭GOP中没有图像参考先前GOP中的任何图像。在H.264/AVC和HEVC中，封闭GOP从IDR访问单元开始。因此，与开放GOP结构相比，封闭GOP结构具有更多的容错潜力，然而，代价是压缩效率中的可能降低。开放GOP编码结构在压缩中潜在地更加高效，由于在参考图像的选择中的更大灵活性。
H.264/AVC和HEVC的比特流语法指示特定图像是否是针对任何其他图像的帧间预测的参考图像。在H.264/AVC和HEVC中，任何编码类型(I，P，B)的图像能够是参考图像或非参考图像。NAL单元头部指示NAL单元的类型以及被含有在NAL单元中的编码片是否是参考图像或非参考图像的一部分。
许多混合视频编解码器，包含H.264/AVC和HEVC，在两个阶段中对视频信息进行编码。在第一阶段中，在某一图像区域或“块”中的像素 或样本值被预测。例如能够通过运动补偿机制来预测这些像素或样本值，运动补偿机制涉及找到和指示先前编码视频帧中的一个编码视频帧中的区域，该区域与正在被编码的块十分接近。另外，能够通过空间机制来预测像素或样本值，空间机制涉及找到和指示空间区域关系。
使用来自先前编码图像的图像信息的预测方法还能够被称为帧间预测方法，其还可以被称为时间预测和运动补偿。使用在相同图像内的图像信息的预测方法还能够被称为帧内预测方法。
第二阶段是对像素或样本的预测块与像素或样本的原始块之间的误差进行编码的阶段。这可以通过使用指定的变换来变换像素或样本值中的差异来完成。这种变换可以是例如离散余弦变换(DCT)或其变型。在变换该差异后，所变换的差异被量化和熵编码。
通过变化量化过程的保真度，编码器能够控制像素或样本表示的准确性(即，图像的视觉质量)与所生成的编码视频表示的大小(即，文件大小或传输比特率)之间的平衡。
解码器通过应用类似于由编码器使用的预测机制的预测机制来重建输出视频，以便形成该像素或样本块的预测表示(使用由编码器创建的并且被包含在图像的压缩表示中的运动或空间信息)和预测的误差解码(预测误差编码的反操作以恢复在空间域中的量化预测误差信号)。
在应用像素或样本预测和误差解码过程后，解码器将预测和预测误差信号(像素或样本值)组合以形成输出视频帧。
解码器(以及编码器)还可以应用另外过滤过程，以便在将输出视频传送以用于显示和/或存储作为针对视频序列中的即将到来的影像的预测参考之前，改进输出视频的质量。
在许多视频编解码器中，包含H.264/AVC和HEVC，由与每个运动补偿图像块相关联的运动向量来指示运动信息。这些运动补偿向量中的每个运动补偿向量表示将被编码(在编码器中)或被解码(在解码器处)的图像中的图像块与在先前的编码或解码影像(或图像)中的一个编码或解码影像中的预测源块的位移。H.264/AVC和HEVC，如许多其它视频压缩 标准，将图像分成矩形网格，针对矩形中的每个矩形，在参考图像中的一个参考图像中的类似块被指示用于帧间预测。预测框的位置被编码为运动向量，该运动向量指示预测块相对于被编码的块的方位。
H.264/AVC和HEVC包含图像顺序计数(POC)的构思。针对每个图像导出POC的值，以及该POC的值随着输出顺序中的图像方位的增加是非减的。因此，POC指示图像的输出顺序。可以在例如针对双向预测片的时间直接模式中的运动向量的隐式伸缩、针对加权预测中的隐式导出权重以及针对参考图像列表初始化的解码过程中使用POC。此外，可以在输出顺序一致性的验证中使用POC。在H.264/AVC中，相对于先前的IDR图像或含有将所有图像标记为“不用于参考”的存储器管理控制操作的图像，来指定POC。
可以使用以下因素中的一个或多个因素来描述帧间预测过程的特点。
运动向量表示的准确性。例如，运动向量可以具有四分之一像素准确性，以及可以使用有限脉冲响应(FIR)过滤器来获得分数像素方位中的样本值。
针对帧间预测的块分割。许多编码标准，包含H.264/AVC和HEVC，允许选择块的大小和形状(针对该块的大小和形状，运动向量被应用于编码器中的运动补偿预测)，以及在比特流中指示所选择的大小和形状，以便解码器能够重现在该编码器中进行的运动补偿预测。
针对帧间预测的参考图像的数量。帧间预测的源是先前解码图像。许多编码标准，包含H.264/AVC和HEVC，使得能够存储针对帧间预测的多个参考图像以及以块为基础选择所使用的参考图像。例如，在H.264/AVC中可以以宏块或宏块分割为基础来选择参考图像，以及在HEVC中以PU或CU为基础来选择参考图像。许多编码标准，诸如H.264/AVC和HEVC，在比特流中包含语法结构，该语法结构使得解码器能够创建一个或多个参考图像列表。针对参考图像列表的参考图像索引可以用于指示多个参考图像中的哪个参考图像用于针对特定块的帧间预测。在一些帧间编码模式中，可以由编码器将参考图像索引编码到比特流中， 或在一些情况帧间编码模式中，可以例如使用邻居块(通过编码器和解码器)来导出参考图像索引。
运动向量预测。为了在比特流中高效地表示运动向量，可以关于块特定的预测运动向量来区分地对运动向量进行编码。在许多视频编解码器中，以预定义的方式，例如通过计算相邻的块的编码或解码运动向量的中间值，来创建预测的运动向量。创建运动向量预测的另一种方式，有时被称为高级运动向量预测(AMVP)，是从时间参考图像中的相邻块和/或共位块生成候选预测列表以及通过信号传送所选择的候选作为运动向量预测器。除了预测运动向量值之外，能够预测先前编码/解码的图像的参考索引。可以例如从时间参考图像中的相邻块和/或共位块来预测参考索引。可以跨越片的边界禁用运动向量的区分编码。
多假设运动补偿预测。H.264/AVC和HEVC使得在P片(本申请中被称为单向预测片)中能够使用单个预测块，或针对双向预测片能够使用两个运动补偿预测块的线性组合，双向预测片还被称为B片。在B片中的个体块可以是双向预测的、单向预测的或帧内预测的，以及在P片中的个体块可以是单向预测的或帧内预测的。针对双向预测图像的参考图像可以不局限于是在输出顺序中的随后图像和先前图像，而是相反可以使用任何参考图像。在许多编码标准中，诸如H.264/AVC和HEVC，针对P片构建一个参考图像列表，还被称为参考图像列表0，以及针对B片构建两个参考图像列表，列表0和列表1。对于B片，在前向方向中的预测可以参考来自参考图像列表0中的参考图像的预测，以及在后向方向中的预测可以参考来自参考图像列表1中的参考图像，即使用于预测的参考图像可以具有与彼此或与当前图像有关的任何解码或输出顺序。
加权预测。许多编码标准针对帧间(P)图像的预测块使用1的预测权重，以及针对B图像的每个预测块使用0.5的预测权重(导致取平均)。H.264/AVC允许针对P和B片两者的加权预测。在隐式的加权预测中，权重与图像顺序计数(POC)成比例，尽管在显式加权预测中，显式地指示预测权重。
在许多视频编解码器中，在运动补偿后的预测残差首先使用变换内核(如DCT)被变换以及接着被编码。针对这个的原因在于在残差之间常常仍然存在一些相关，以及在许多情况下，变换能够有助于降低这种相关以及提供更高效的编码。
在草案HEVC中，每个PU具有与它相关联的预测信息，该预测信息定义什么类型的预测将被应用于该PU内的像素(例如，针对帧间预测的PU的运动向量信息，以及针对帧内预测的PU的帧内预测方向性信息)。类似地，每个TU与描述针对该TU内的样本的预测误差解码过程的信息(包含例如DCT系数信息)相关联。可以在CU级通过信号传送预测误差编码是否应用于每个CU。在没有与该CU相关联的预测误差残差的情况下，能够认为没有针对CU的TU。
在一些编码格式和编解码器中，在所谓的短期和长期参考图像之间进行区分。这个区分可以影响一些解码过程，诸如在时间直接模式中的运动向量伸缩或隐式加权预测。如果用于时间直接模式的参考图像中的两个参考图像是短期参考图像，则可以根据当前图像和参考图像中的每个参考图像之间的图像顺序计数差异，来伸缩在预测中使用的运动向量。然而，如果针对时间直接模式的至少一个参考图像是长期参考图像，则可以使用运动向量的默认伸缩，例如可以使用将该运动伸缩到一半。类似地，如果短期参考图像用于隐式加权预测，则可以根据当前图像的POC和参考图像的POC之间的POC差异来伸缩预测权重。然而，如果长期参考图像用于隐式加权预测，则可以使用默认的预测权重，诸如在针对双向预测块的隐式加权预测中的0.5。
一些视频编码格式，诸如H.264/AVC，包含frame_num语法元素，其用于与多个参考图像有关的各种解码过程。在H.264/AVC中，针对IDR图像的frame_num的值是0。针对非IDR图像的frame_num的值等于在解码顺序中先前参考图像的frame_num加1(在模运算中，即在frame_num的最大值后，frame_num的值绕回到0)。
H.264/AVC指定针对解码参考图像标记的过程，以便控制解码器中的 存储器消耗。在序列参数集中确定用于帧间预测的参考图像的最大号码，还被称为M。当对参考图像进行解码时，它被标记为“用于参考”。如果参考图像的解码导致超过M个图像被标记为“用于参考”，则至少一个图像被标记为“不用于参考”。存在用于解码参考图像标记的两种类型的操作：自适应存储器控制和滑动窗口。以图像为基础来选择针对解码参考图像标记的操作模式。自适应存储器控制使得能够明确地通过信号传送哪些图像被标记为“不用于参考”，以及还可以将长期索引指配给短期参考图像。自适应存储器控制可以要求在比特流中存在存储器管理控制操作(MMCO)参数。可以将MMCO参数包含在解码参考图像标记语法结构中。如果滑动窗口操作模式处于使用中，以及有M个图像被标记为“用于参考”，则在被标记为“用于参考”的那些短期参考图像之中是第一解码图像的短期参考图像被标记为“不用于参考”。也就是说，滑动窗口操作模式导致在短期参考图像中的先进先出缓冲操作。
在H.264/AVC中的其中一种存储器管理控制操作使得所有参考图像(除了当前的图像之外)被标记为“不用于参考”。瞬时解码刷新(IDR)图像含有仅帧内编码片以及导致参考图像的类似“重置”。
在草案HEVC中，出于类似的目的，已经使用参考图像集(RPS)语法结构和解码过程来替换参考图像标记语法结构和有关的解码过程。针对图像有效或活动的参考图像集包含用作针对该图像的参考的所有参考图像，以及保持被标记为针对解码顺序中的任何随后图像的“用于参考”的所有参考图像。存在参考图像集的六个子集，它们被称为RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll。这六个子集的注释如下。“Curr”指的是被包含在当前图像的参考图像列表中的参考图像，以及因此可以用作针对当前图像的帧间预测参考。“Foll”指的是没有被包含在当前图像的参考图像列表中的参考图像，但是可以在解码顺序中在随后的图像中用作参考图像。“St”指的是短期参考图像，一般可以通过它们的POC值的最低有效位的某一数字来标识短期参考图像。“Lt”指的是长期参考图像，长期参考图像被 特定的标识以及一般具有比能够由提及的最低有效位的某一数字所表示的POC值的差异更大的相对于当前图像的POC值的差异。“0”指的是具有比当前图像的POC值更小的POC值的哪些参考图像。“1”指的是具有比当前图像的POC值更大的POC值的哪些参考图像。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0和RefPicSetStFoll1统称为参考图像集的短期子集。RefPicSetLtCurr和RefPicSetLtFoll统称为参考图像集的长期子集。
在HEVC中，参考图像集可以在图像参数集中被指定以及通过至参考图像集的索引在片头部中投入使用。参考图像集还可以在片头部中被指定。参考图像集的长期子集一般仅在片头部中被指定，而相同参考图像集的短期子集可以在图像参数集或片头部中被指定。参考图像集可以被独立地编码或可以从另一个参考图像集(被称为RPS间预测)来预测。当参考图像集被独立地编码时，语法结构包含：在三种类型的参考图像上迭代的至多三个环路；具有比当前图像低的POC值的短期参考图像，具有比当前图像高的POC值的短期参考图像，以及长期参考图像。每个环路条目指定将被标记为“用于参考”的图像。一般地，该图像被指定为具有不同的POC值。RPS间预测利用的事实是，当前图像的参考图像集能够从先前解码的图像的参考图像集来预测。这是因为当前图像的所有参考图像是先前图像的参考图像或是先前解码的图像本身。仅需要指示这些图像中的哪些图像应当是参考图像以及用于当前图像的预测。在两种类型的参考图像集编码中，针对每个参考图像另外地发送标志(used_by_curr_pic_X_flag)，该标志指示该参考图像是由当前图像用于参考(被包含在*Curr列表中)还是不由当前图像用于参考(被包含在*Foll列表中)。被包含在由当前片使用的参考图像集的图像被标记为“用于参考”，以及没有在由当前片使用的参考图像集中的图像被标记为“不用于参考”。如果当前图像是IDR图像，则RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr和RefPicSetLtFoll全被设置为空。
解码图像缓冲器(DPB)可以在编码器中和/或在解码器中使用。有两 个原因来缓冲解码的图像，用于在帧间预测中的参考以及用于将解码图像重新排序到输出顺序中。因为H.264/AVC和HEVC提供针对参考图像标记和输出重新排序两者的更大的灵活性，因此针对参考图像缓冲和输出图像缓冲的各自的缓冲器可能浪费存储器资源。因此，DPB可以包含：针对参考图像和输出重新排序的统一的解码图像缓冲过程。当解码图像不再用作参考以及对于输出而言不需要时，可以从DPB移除解码图像。
在H.264/AVC和HEVC的许多编码模式中，使用至参考图像列表的索引来指示针对帧间预测的参考图像。可以使用CABAC和可变长度编码来编码该索引。一般地，索引越小，则对应的语法元素可以变得更短。在H.264/AVC和HEVC中，针对每个双向预测(B)片生成两个参考图像列表(参考图像列表0和参考图像列表1)，以及针对每个帧间编码(P)片形成一个参考图像列表(参考图像列表0)。另外，针对在草案HEVC标准中的B片，在已经构建了最终的参考图像列表(列表0和列表1)之后可以构建组合列表(列表C)。该组合列表能够用于B片内的单向预测(还被称为单一方向预测)。
可以在两个步骤中构建参考图像列表，诸如参考图像列表0和参考图像列表：首先，生成初始参考图像列表。可以例如以frame_num、POC、temporal_id或关于预测层级(诸如GOP结构)的信息或它们的任何组合为基础，来生成该初始参考图像列表。第二，可以通过图像列表重新排序(RPLR)命令(还被称为参考图像列表修改语法结构，其可以被含有在片头部中)来重新排序初始参考图像列表。RPLR命令指示被排序到各自参考图像列表的开始的图像。这个第二步骤还可以被称为参考图像列表修改过程，以及RPLR命令可以被包含在参考图像列表修改语法结构中。如果使用参考图像集，则参考图像列表0可以被初始化以首先含有RefPicSetStCurr0，由RefPicSetStCurr1跟随，由RefPicSetLtCurr跟随。参考图像列表1可以被初始化以首先含有RefPicSetStCurr1，由RefPicSetStCurr0跟随。可以通过参考图像列表修改语法结构来修改初始参考图像列表，其中可以通过至该列表的条目索引来标识在初始参考图像 列表中的图像。
因为多视角视频提供编码器和解码器使用视角间冗余的可能性，因此，解码的视角间的帧也可以被包含在参考图像列表(多个)中。
可以如下来构建在HEVC中的组合列表。如果针对该组合列表的修改标志是零，则通过隐式机制来构建该组合列表；否则通过被包含在比特流中的参考图像组合命令来构建它。在隐式机制中，以从列表0的第一条目开始，由列表1的第一条目跟随以及诸如此类的交织的方式，将在列表C中的参考图像映射到来自列表0和列表1的参考图像。不再次映射在列表C中已经被映射的任何参考图像。在显式机制中，通过信号传送在列表C的条目的数量，由从列表0中的条目至列表C的每个条目的映射跟随。另外，当列表0和列表1是相同的时，编码器具有以下选项：将ref_pic_list_combination_flag设置为0以指示没有来自列表1的参考图像被映射，以及列表C等同于列表0。
许多高效视频编解码器(诸如草案HEVC编解码器)使用另外的运动信息编码/解码机制，常常被称为合并/合并模式/过程/机制，其中不使用任何修改/校正来预测和使用块/PU的所有运动信息。针对PU的上述运动信息可以包括：1)‘PU是使用仅参考图像列表0单向预测’还是‘PU是使用仅参考图像列表1单向预测’还是‘PU是使用参考图像列表0和列表1两者的双向预测’的信息；2)对应于参考图像列表0的运动向量值；3)在参考图像列表0中的参考图像索引；4)对应于参考图像列表1的运动向量值；以及5)在参考图像列表1中的参考图像索引。类似地，使用在时间参考图像中的相邻块和/或共位块的运动信息来执行预测运动信息。可以通过包含与可以使用的相邻/共位块相关联的的运动预测候选来构建通常被称为合并列表的列表，以及通过信号传送在该列表中的选择的预定预测候选的索引，以及将所选择的候选的运动信息复制到当前PU的运动信息。当针对整个CU使用合并机制时，针对该CU的预测信号用作重建信号，即不处理预测残差，对CU进行这种类型的编码/解码典型地被称为跳过模式或基于合并的跳过模式。除了跳过模式之外，也可以针对个体PU (不必是如在跳过模式中的整个CU)使用合并机制，以及在这种情况下，预测残差能够用于改进预测质量。这种类型的预测模式典型地被称为合并间模式(inter-merge mode)。
可以例如使用被包含在片头部语法中的参考图像列表组合语法结构，基于参考图像列表0和/或参考图像列表1来生成合并列表。可以存在参考图像列表组合语法结构，由编码器将该图像列表组合语法结构创建到比特流中以及由解码器从该比特流将该图像列表组合语法结构进行解码，图像列表组合语法结构指示合并列表的内容。该语法结构可以指示的是，参考图像列表0和参考图像列表1被组合成用于正在被单一方向预测的预测单元的另外的参考图像列表组合。该语法结构可以包含标志，当该标志等于某一值时，该标志指示的是，参考图像列表0和参考图像列表1是相同的，因此参考图像列表0用作参考图像列表组合。该语法结构可以包含：条目的列表，每个条目指定参考图像列表(列表0和列表1)以及至指定的列表的参考索引，其中条目指定将被包含在合并列表中的参考图像。
针对(解码的)参考图像标记的语法结构可以存在于视频编码系统中。例如，当已经完成图像的解码时，解码的参考图像标记语法结构(如果存在)可以用于自适应地将图像标记为“不用于参考”或“用于长期参考”。如果解码的参考图像标记语法结构不存在，以及被标记为“用于参考”的图像的数量不能再增加，则可以使用滑动窗口参考图像标记，滑动窗口参考图像标记基本上将最早的(在解码顺序中)解码参考图像标记为不用于参考。
在可伸缩视频编码中，能够将视频信号编码到基础层和一个或多个增强层中。增强层可以增强由另一个层或其部分表示的视频内容的时间分辨率(例如，帧速率)、空间分辨率或仅质量。每个层连同所有它的依赖层是以某一空间分辨率、时间分辨率和质量等级的视频信号的一种表示。在这个文档中，本发明人将可伸缩层连同所述它的依赖层称为“可伸缩层表示”。对应于可伸缩层表示的可伸缩比特流的一部分能够被提取和解码以产生以某一保真度的原始信号的表示。
SVC使用层间预测机制，其中能够从不同于当前重建层或下一个较低层的层来预测某些信息。能够被层间预测的信息包含：内部纹理、运动和残差数据。层间运动预测包含：块编码模式的预测、头部信息等，其中来自较低层的运动可以用于较高层的预测。在帧内编码的情况下，来自周围宏块或来自较低层的共位宏块的预测是可能的。这些预测技术不使用来自较早编码访问单元的信息，以及因此被称为帧内预测技术。此外，来自较低层的残差数据也能够用于当前层的预测。
如较早指出的，MVC是H.264/AVC的扩展。H.264/AVC的许多定义、构思、语法结构、语义和解码过程也同样地或具有某些一般化或约束应用于MVC。在以下描述MVC的一些定义、构思、语法结构、语义和解码过程。
在MVC中的访问单元被定义为NAL单元的集合，该NAL单元在解码的顺序中是连续的以及含有恰好一个基本编码图像，该基本编码图像由一个或多个视图成分组成。除了基本编码图像之外，访问单元还可以含有一个或多个冗余编码图像、一个辅助编码图像或不含有编码图像的片和片数据分割的其它NAL单元。访问单元的解码导致由一个或多个解码视图成分组成的一个解码图像，当解码误差时，可能影响该解码的比特流误差或其它误差不会出现。也就是说，在MVC中的访问单元含有针对一个输出时刻的视图的视图成分。
在MVC中的视图成分被称为在单个访问单元中的视图的编码表示。
视图间预测可以在MVC中使用以及指的是从相同访问单元的不同视图成分的解码样本的视图成分的预测。在MVC中，类似于帧间预测来实现视图间预测。例如，视图间参考图像被放置在相同的参考图像列表(多个)中作为针对帧间预测的参考图像，以及针对视图间和参考图像间来类似地编码或推断参考索引以及运动向量。
锚图像是编码图像，其中所有片可以参考仅相同访问单元内的片，即可以使用视图间预测(inter-view prediction)，而不是使用帧间预测，以及在输出顺序中的所有跟随的编码图像不使用来自在解码顺序中的编码图像 之前的任何图像的帧间预测。可以针对IDR视图成分使用视图间预测，该IDR视图成分是非基础视图的一部分。在MVC中的基础视图是在编码视图序列中具有最小值的视图顺序索引的视图。基础视图能够独立于其它视图被解码，以及不使用视图间预测。能够由支持仅单个视图档次(profile)的H2.64/AVC解码器来解码基础视图，诸如H.264/AVC的基线档次或高级档次。
在MVC标准中，MVC解码过程的子过程中的许多子过程，通过分别由“视图成分”、“帧视图成分”和“场视图成分”来替换项目“图像”、“帧”和“场”，来使用H.264/AVC标准的各自子过程。同样地，在以下中，项目“图像”、“帧”和“场”常常分别用于意味着“视图成分”、“帧视图成分”和“场视图成分”。
在可伸缩多视角编码中，相同比特流可以含有多视图的编码的视图成分，以及可以使用质量和/或空间可伸缩性来编码至少一些编码视图成分。
许多视图编码器使用拉格朗日代价函数以找到率失真最优编码模式，例如期望的宏块模式和相关联的运动向量。这种类型的代价函数使用加权向量或λ(lambda)以将由于有损编码方法导致的精确或估计的图像失真与表示图像区域中的像素/样本值所要求的信息的精确或估计的数量绑在一起。拉格朗日代价函数可以由以下方程式来表示：
C＝D+λR
其中C是将被最小化的拉格朗日代价，D是当前考虑了模式和运动向量的图像失真(例如，在原始图像块中和在编码图像块中的像素/样本值之间的均方误差)，λ是拉格朗日系数，以及R是表示所要求的数据以在解码器中重建图像块(包含表示候选运动向量的数据数量)所需要的比特数量。
高级运动向量预测可以例如如下进行操作，然而例如使用不同的候选方位集合和具有候选方位集合的候选位置的高级运动向量预测的其它类似实现方式也是可能的。可以导出两个空间运动向量预测器(MVP)，以及可以导出时间运动向量预测器(TMVP)。在图8中示出的方位之中可以选 择它们：位于在当前预测块上面的三个空间运动向量预测器候选方位(B0、B1、B2)，以及在左面的两个(A0、A1)。在每个候选方位集合(B0、B1、B2)或(A0、A1)的预定义顺序中可以使用的第一运动向量预测器(例如位于相同片中，是帧间编码的，等)可以被选择以表示在运动向量竞争中的预测方向(向上或左)。针对时间运动向量预测器的参考索引可以由编码器在片头部中来指示(例如，如collocated_ref_idx语法元素)。可以根据时间运动向量预测器的参考图像、共位图像以及当前图像的图像顺序计数差异的比例，来伸缩从共位图像获得的运动向量。此外，可以在候选中执行冗余检查以移除相同候选，其能够导致在候选列表中包含零运动向量。可以例如通过指示空间运动向量预测器的方向(上或左)或时间运动向量预测器候选的选择，在比特流中指示运动向量预测器。
除了预测运动向量值之外，能够预测先前编码/解码的图像的参考索引。可以从相邻块和/或从时间参考图像中的共位块来预测该参考索引。
在一些情况下，当运动编码模式是合并模式时，在合并列表中针对时间运动向量预测的参考索引在HEVC中被设置为0。然而，在一些情况下，诸如当在HEVC的设想可伸缩性或多视角扩展中的层间或视图间参考图像具有参考索引0时，在参考索引0的图像可以导致无效的时间运动向量预测器。在这种情况中，不能使用时间运动向量预测器，以及可能发生在编码效率中损失。
当在使用时间运动向量预测的HEVC中的运动编码模式是高级运动向量预测模式时，通过信号明确地传送参考索引值。
当设置参考索引值时，可以如下来导出时间运动向量预测的运动向量值：计算与当前预测单元的右下邻居共位的块处的运动向量值。根据片头部中的通过信号传送的参考索引来确定该共位块位于的地方中的图像。相对于共位块图像与在该共位块中的运动向量的参考图像之间的图像顺序计数以及在当前图像和在时间运动向量预测参考处的图像之间的图像顺序计数差异，来伸缩在共位块处的所确定的运动向量。
可以进行参考图像列表的排序，以尽可能短地制作针对高级运动向量 预测的参考图像索引的码字。例如，从高级运动向量预测的率失真性能的视点，可以有益的是，针对可伸缩编码而言，层间参考图像可以占据参考索引0，针对多视点编码而言，视图间参考图像可以占据参考索引0，以及针对深度增强多视角编码而言，视图合成参考图像可以占据参考索引0。
在合并模式中，如果参考索引0导致具有与当前图像的图像顺序计数相同的图像顺序计数的图像(例如，层间，视图间或视图合成参考图像)，或导致在图像中运动向量伸缩是不可能的该图像，则不能根据图像顺序计数差异来伸缩时间运动向量预测。此外，如果参考索引0导致不具有可以使用的运动向量数据的图像，例如视图合成参考图像或使用另一个编码标准或方案生成的参考图像，则使用参考索引0的时间运动向量预测是不可以使用的。然而，可能的是，存在与大于0的参考索引相关联的一个或多个参考图像，从该一个或多个参考图像能够导出时间运动向量预测。
一种可能的解决方案是，在高级运动向量预测方法中的时间运动向量预测能够与不同的参考索引结合使用。然而，在这种情况下，针对使用时间运动向量预测的每个预测单元而言，应当明确地通过信号传送参考索引，这可以导致编码效率中的损失。此外，不能保证的是，针对每个预测单元的高级运动向量预测列表将具有时间运动向量预测。
另一种可能的解决方案是，不根据图像顺序计数差异来伸缩时间运动向量预测。然而，如果参考索引0用于视图合成参考图像或来自另一个编码标准的参考图像，则这种可能的解决方案可能不工作。
在一些实施例中，可以例如在片头部中明确地通过信号传送在合并模式中的时间运动向量预测器的参考索引。以这种方式，与将它总是设置为0相比，能够使用时间运动向量预测，即使在等于0的参考索引处的图像将避免导出时间运动向量预测。
因此，在合并模式中的时间运动向量预测参考图像的导出不与参考图像列表的排序耦合。
在一个实现方式中，在片头部中通过信号传送针对合并模式的时间运动向量预测的参考索引。还能够实现的是，使得在比片级别更高的级别(诸 如自适应参数集、图像参数集和/或序列参数集)处通过信号传送参考索引。在一些实施例中，在活动参数集中指示存在片头部级别信令，该活动参数集可以具有任何类型，诸如自适应参数集、图像参数集和/或序列参数集。
在一些实施例中，可以基于当前参考列表和在该列表中的图像的属性，自动地导出针对片的参考索引。一种可能性是将时间运动向量预测的参考索引(ref_idx)固定到例如在相同层/视图内的绝对值图像顺序计数差异方面上的最近图像的参考索引(ref_idx)。另一种可能性是选择在索引0处或在索引0之后处的第一可以使用的参考图像。例如，当以下条件中的一个或多个条件是真时，可以确定可以使用的参考索引：
1)参考索引指向某些类型的参考图像之中的图像(例如，在时间参考图像中，或在时间、层间和视图间的参考图像之中，但是不包括例如视图合成参考图像和/或来自另一个解码器/比特流的层间参考图像)。
2)参考索引关联到具有不同于当前图像的图像顺序计数的图像顺序计数的图像。
3)针对与参考索引相关联的图像中的时间运动向量预测导出的共位块具有编码模式(例如，非帧内模式)，该编码模式启用时间运动向量预测导出。
在一些实施例中，针对时间运动向量预测器的参考图像的类型或“方向”由编码器例如在片头部中通过信号来传送，以及由解码器用于导出针对时间运动向量预测器的参考图像。参考图像的类型或“方向”可以例如包含以下中的一些或全部但是不局限于它们：时间(在相同层和视图内的图像)，视图间(不同视图的图像)，层间(来自不同层的图像)。编码器可以例如使用率失真优化来选择针对时间运动向量预测器的参考图像的类型或“方向”，其中在所测试的类型或“方向”之中选择导致最佳率失真性能的类型或“方向”。编码器和解码器可以使用指示的类型或“方向”以例如如下来选择针对时间运动向量预测器的参考图像：让RefPicList为参考图像列表，从该参考图像列表选择针对时间运动向量预测器的参考图像，i为针对在0(包含)到该参考图像列表中的图像的数目(不包含)的 范围中的参考图像列表的索引，以及RefPicList[i]为在参考图像列表中的第i个图像。编码器和解码器可以选择最小值的i，针对该最小值的i，RefPicList[i]具有指示的类型或“方向”。在一些实施例中，类型或“方向”的集合可以由编码器指示并且由解码器使用。例如，编码器可以指示时间和层间参考图像类型，以及编码器和解码器可以在特定参考图像列表(诸如参考图像列表0)内的时间和层间参考图像之中，选择针对时间运动向量预测器的参考图像。
在一些实施例中，编码器可以在候选图像中在针对参考索引的超过一个导出过程中进行选择，编码器可以例如使用在片头部中或在比片级别更高的级别(自适应参数集、图像参数集和/或序列参数集)处的一个或多个语法元素在比特流内指示所选择的导出过程，解码器可以对指示针对参考索引的导出过程的一个或多个语法元素进行解码，以及解码器可以在解码过程中使用所指示的导出过程。以上提及的候选图像可以是在缺少针对时间运动向量预测器的参考索引的指示的情况下自动导出的那些图像，或它们可以是具有针对在特定参考图像列表(诸如参考图像列表0)内的时间运动向量预测器的所指示的类型或“方向”的那些图像。以上已经描述了针对参考索引的导出过程的示例。例如，如果候选图像包含时间参考图像，则针对参考索引的导出过程可以选择例如在相同层/视图内的绝对值图像顺序计数差异方面上最近的图像。另一种可能性是选择在索引0处或在索引0后的第一可以使用的参考索引。
在一些实施例中，针对当前预测单元的共位块的方位的导出可以依赖于针对时间运动向量预测器的参考图像的类型或“方向”。例如，当层间参考图像用作针对时间运动向量预测器的源时，共位块可以被选择为在与当前预测单元相同的空间位置处(当质量可伸缩性或诸如此类在使用中)，或考虑了当前图像和参考图像之间图像范围的空间伸缩比率的相同空间位置处(当空间可伸缩性在使用中)。在另一个示例中，共位块可以被选择为在由视差值移动的当前预测单元的方位处，其中该视差值可以例如是当前图像和参考图像之间的全局视差，或可以由编码器来指示，或可以从深 度或视差图像或多个图像来导出。
在一些实施例中，时间运动向量预测器的伸缩可以依赖于针对时间运动向量预测器的参考图像的类型或“方向”。例如，如果时间运动向量预测器起源于层间参考图像，则(当质量可伸缩性或诸如此类在使用中时)可能不能对它进行伸缩，或(当空间可伸缩性在使用中时)可能不能根据当前图像和参考图像之间的图像范围的比率对它进行伸缩。在另一个示例中，如果时间运动向量预测器起源于时间参考图像，则可以例如如图6说明的来执行根据图像顺序计数差异的伸缩。
在一些实施例中，时间运动向量预测器的伸缩可以依赖于在共位块中的运动向量的类型或“方向”。例如，如果在共位块中的运动向量的类型或“方向”是视图间，则可以根据相机(例如，依照相机的物理分离)，相机或视图顺序(例如，从左到右)，视图标识符差异或视图顺序索引差异之间的转换来进行运动向量的伸缩。在另一个示例中，如果在共位块中的运动向量的类型或“方向”是时间的以及参考图像的类型是视图间或层间，则可以不伸缩运动向量。在另一个示例中，如果在共位块中的运动向量的类型或“方向”是时间的以及参考图像的类型是时间的，则可以例如如图6所说明的来执行根据图像顺序计数差异的伸缩。
在一些实施例中，编码和解码过程可以使用针对时间运动向量预测器的超过一个合并候选，以及不同的实施例可以应用于这些合并候选中的一个或多个合并候选。例如，可以在片头部中指示针对使用时间运动向量预测器的不同合并候选的超过一个参考索引。
图4a和图4b示出了根据示例实施例的针对视频编码和解码的框图。
图4a将编码器示出为包括：像素预测器302、预测误差编码器303和预测误差解码器304。图4a还将像素预测器302的实施例示出为包括帧间预测器306、帧内预测器308、模式选择器310、过滤器316和参考帧存储器318。在这个实施例中，模式选择器310包括：块处理器381和代价评估器382。编码器还可以包括用于对比特流进行熵编码的熵编码器330。
图4b描绘了帧间预测器306的实施例。帧间预测器306包括：用于 选择参考帧或多个参考帧的参考帧选择器360、运动向量定义器361、预测列表形成器363和运动向量选择器364。这些单元或它们中的一些单元可以是预测处理器362的一部分，或可以通过使用其它构件来实现它们。
像素预测器302接收图像300，该图像300将在帧间预测器306(其确定该图像和运动补偿参考帧318之间的差异)和帧内预测器308(其仅基于当前帧或图像的已经处理的部分来确定针对图像块的预测)两者处被编码。帧间预测器和帧内预测器两者的输出被传递给模式选择器310。帧间预测器306和帧内预测器308两者可以具有超过一个帧内预测模式。因此，可以针对每个模式来执行帧间预测和帧内预测，以及可以将所预测的信号提供给模式选择器310。模式选择器310还接收图像300的副本。
模式选择器310确定哪个编码模式用于编码当前块。如果模式选择器310决定使用帧间预测模式，则它将帧间预测器306的输出传递给模式选择器310的输出。如果模式选择器310决定使用帧内预测模式，则它将帧内预测器的输出传递给模式选择器310的输出。
模式选择器310可以在代价评估块382中使用例如拉格朗日代价函数以在编码模式和它们的参数值(诸如运动向量、参考索引和帧内预测方向，典型地以块为基础)之间进行选择。这种类型的代价函数使用加权因子lambda以将由于有损的编码方法导致的(精确的或估计的)图像失真和表示图像区域中的像素值所要求的(精确的或估计的)信息量连接到一起：C＝D+lambda x R，其中C是将被最小化的拉格朗日代价，D是具有模式和它们的参数的图像失真(例如，均方误差)，以及R是表示所要求的数据以在解码器中重建该图像块所需的比特数量(例如，包含表示候选运动向量的数据量)。
模式选择器的输出被传递给第一求和设备321。第一求和设备可以从图像300减去像素预测器302的输出以产生第一预测误差信号320，该第一预测误差信号320被输入给预测误差编码器303。
像素预测器302还从初步重建器339接收图像块312的预测表示和预测误差解码器304的输出338的组合。初步重建图像314可以被传递给帧 内预测器308和过滤器316。接收初步表示的过滤器316可以过滤初步表示以及输出最后的重建图像340，该最后的重建图像340可以被存储在参考帧存储器318中。参考帧存储器318可以连接到帧间预测器316，以用作针对在帧间预测操作中与它进行比较的将来图像300的参考图像。在许多实施例中，参考帧存储器318可以能够存储超过一个解码图像，以及解码图像中的一个或多个解码图像可以由帧间预测器306用作在帧间预测操作中与它进行比较的将来图像300的参考图像。在一些情况下，参考帧存储器318还可以被称为解码图像缓冲器。
像素预测器302的操作可以被配置为执行在本领域中已知的任何已知的像素预测算法。
像素预测器302还可以包括：过滤器385以在从像素预测器302输出预测值之前过滤预测值。
下文将更详细地描述预测误差编码器302和预测误差解码器304的操作。在以下示例中，编码器依照预测单元(诸如16x16像素宏块，它们将形成整个影像或图像)来生成影像。然而，注意的是，图4a不局限于16x16的块大小和宏块，而是一般能够使用任何块大小和形状，以及同样地，图4a不局限于将图像分割到宏块，而是可以使用分割到块(诸如编码单元)的任何其他图像。因此，对于以下示例，像素预测器302输出一连串的大小16x16像素的预测宏块，以及第一求和设备321输出一连串的16x16像素残差数据宏块，其可以表示在影像300中的第一宏块针对预测宏块(像素预测器302的输出)之间的差异。
预测误差编码器303包括：变换块342和量化器344。变换块342将第一预测误差信号320变换到变换域。该变换是例如DCT变换或它的变型。量化器344量化变换域信号(例如，DCT系数)以形成量化系数。
预测误差解码器304接收来自预测误差编码器303的输出，以及产生解码的预测误差信号338，该解码的预测误差信号338当与在第二求和设备339处的图像块312的预测表示组合时产生初步重建图像314。预测误差解码器可以被认为包括：反量化器346，其将量化的系数值(例如，DCT 系数)反量化以近似重建变换信号，以及反变换块348，其针对所重建的变换信号执行反变换，其中反变换块348的输出含有重建块(多个)。预测误差解码器还可以包括：宏块过滤器(未示出)，其可以根据另外的解码信息和过滤器参数来过滤所重建的宏块。
在以下中，将更详细地描述帧间预测器306的示例实施例的操作。帧间预测器306接收针对帧间预测的当前块。假设的是，针对当前块，已经存在已经被编码的一个或多个邻居块，已经针对它们定义了运动向量。例如，在左侧上的块和/或在当前块上面的块可以是此类块。例如通过使用编码的邻居块和/或在相同片或帧中的非邻居块的运动向量，使用空间运动向量预测的线性或非线性函数，使用具有线性或非线性操作的各种空间运动向量预测器的组合，或通过不使用时间参考信息的任何其它适当的手段，能够形成针对当前块的空间运动向量预测。还可能的是，通过将一个或多个编码块的空间和时间预测信息两者组合来获得运动向量预测器。这些类型的运动向量预测器还可以被称为时空运动向量预测器。
在编码邻居块中使用的参考帧已经被存储到参考帧存储器404。参考帧可以是短期参考或长期参考，以及每个参考帧可以具有指示在参考帧存储器中的参考帧的位置的唯一索引。当参考帧不再用作参考帧时，则可以从参考帧存储器移除该参考帧，或将它标记为非参考帧，其中可以由新的参考帧来占据该参考帧的存储位置。除了邻居块的参考帧之外，参考帧选择器360还可以选择一个或多个其它帧作为潜在的参考帧以及将它们存储到参考帧存储器。
编码块的运动向量信息也被存储到该存储器中，以便帧间预测器306在处理针对当前块的运动向量候选时能够检索该运动向量信息。
在一些实施例中，可以有两个或更多运动向量预测过程，以及每个过程可以具有它自己的候选集创建过程。在一个过程中，使用仅运动向量值。在另一个过程中，如以上已经提及的，该过程可以被称为合并/融合模式/过程/机制，每个候选元素可以包括：1)‘块是使用仅列表0被单向预测’还是‘块是使用仅列表1被单向预测’还是‘块是使用列表和列表1被双 向预测’的信息；2)针对参考图像列表0的运动向量值；3)在参考图像列表0中的参考图像索引；4)针对参考图像列表1的运动向量值；以及5)在参考图像列表1中的参考图像索引。因此，每当将两个预测候选进行比较时，不但比较运动向量值，而且可以将上述5个值进行比较以确定它们是否彼此对应。在另一方面，如果比较中的任何比较指示的是，预测候选不具有相等的运动信息，则可以不需要另外的比较。
运动向量定义器361通过使用在相同帧中的当前块的一个或多个邻居块和/或其它块的和/或在一个或多个其它帧中当前块的共位块和/或其它块的运动向量中的一个或多个运动向量，来定义针对当前帧的候选运动向量。在图5a中使用框500说明了这种情况。这些候选运动向量能够被称为候选预测器集合或预测器集合。每个候选预测器因此表示一个或多个已经编码的块的运动向量。在一些实施例中，如果当前块和邻居块参考针对该列表的相同参考帧，则候选预测器的运动向量被设置为等于针对相同列表的邻居块的运动向量。此外，针对时间预测，可以有一个或多个先前编码的帧，其中在先前编码的帧中的共位块或其它块的运动向量能够被选择作为针对当前块的候选预测器。能够通过使用不同于当前帧的帧的任何构件来生成时间运动向量预测器候选。
还能够通过使用一个或多个其它块(诸如当前块的邻居块和/或在一个或多个其它帧中的共位块)中的超过一个运动向量，来获得候选运动向量。作为示例，可以使用在当前块的左边的块的运动向量、在当前块上面的块的运动向量以及在当前块的右上角处的块的运动向量的任何组合(即，在当前块上面的块的右边的块)。该组合可以是运动向量的中间值或通过使用其它方程式来计算。例如，可以由伸缩因子来伸缩在组合中使用的运动向量中的一个或多个运动向量，可以添加偏移，和/或可以添加恒定运动向量。在一些实施例中，所组合的运动向量基于时间和空间运动向量两者，例如当前块的邻居块或其它块中的一个或多个块的运动向量以及在另一个帧中的共位块或其它块的运动向量。
如果邻居块不具有任何运动向量信息，则可以替代地使用诸如零运动 向量的默认运动向量。
图8说明了编码单元800的示例，以及该编码单元的一些邻居块801-805。如从如8能够看出，如果编码单元800表示当前块，则被标记为A0、A1、B0、B1和B2的邻居块801-805能够是在获得空间候选运动向量时可以使用的此类邻居块。
当候选的当前数量是有限的或不充足时，可以需要基于先前添加的预测器创建另外或额外的运动向量预测。能够通过组合先前两个预测和/或通过缩放或添加偏移和/或添加具有各种参考索引的零运动向量来处理一个先前的候选，来执行这种类型的创建另外的候选。因此，运动向量定义器361可以检查能够定义多少运动向量候选以及针对当前块存在多少潜在的候选运动向量。如果潜在的运动向量候选的数量小于阈值，则运动向量定义器361可以创建另外的运动向量预测。
为了使当前块与编码/解码块(该编码/解码块的运动向量被用作候选运动向量)进行区分，在本申请中，那些编码/解码块还被称为参考块。
在一些实施例中，不但获得(例如通过复制)参考块(多个)的运动向量信息，而且可以将在参考图像列表中的参考块的参考索引复制到候选列表。块是使用仅列表0被单向预测或该块是使用仅列表1被单向预测的或该块是使用列表0和列表1被双向预测的信息也可以被复制。候选列表还可以被称为候选集或运动向量预测候选的集合。
图6a说明了预测单元的空间和时间预测的示例。描绘了帧600中的当前块601和已经被编码的邻居块602。运动向量定义器361已经定义了针对邻居块602的运动向量603，其指向前一个帧605中的块604。这种运动向量能够用作针对当前块的潜在的空间运动向量预测610。图6a描绘的是，在先前帧605中的共位块606，即该块与当前帧相比在相同的位置但是在前一个帧中，具有指向另一个帧608中的块609的运动向量607。这种运动向量607能够用作针对当前帧的潜在的时间运动向量预测611。
图6b说明了预测单元的空间和时间预测的另一个示例。在这个示例中，先前帧605的块606基于在帧605之间的帧的块609以及在当前帧600 的之后的块612，使用双向预测。可以通过使用运动向量607、614两者或它们中的任何一个来形成针对当前块601的时间运动向量预测。
在以下，将更详细地描述根据示例实施例的针对运动信息编码的合并过程。编码器创建运动预测候选的列表，通过信号传送来自该列表的候选中的一个候选作为针对当前编码单元或预测单元的运动信息。在图5a中使用框502说明了这种情况。运动预测候选可以由若干空间运动预测以及没有、一个或多个时间运动预测组成。能够从例如空间邻居块A0、A1、B0、B1、B2(它们的运动信息用作空间候选运动预测)的运动信息来获得空间候选。可以通过处理不同于当前帧的帧中的块的运动，来获得时间运动预测候选(多个)。
在这个示例中，空间运动预测候选是空间邻居块A0、A1、B0、B1、B2。当编码/解码顺序是从将被编码/解码的帧、片或另一个实体的左到右以及从上到下时，空间运动向量预测候选A1位于预测单元的左侧。分别地，空间运动向量预测候选B1位于预测单元之上。第三；空间运动向量预测候选B0在空间运动向量预测候选B1的右侧；空间运动向量预测候选A0在空间运动向量预测候选A1的下面；以及空间运动向量预测候选B2位于与空间运动向量预测候选A1相比相同的列上以及在与空间运动向量预测候选B1相比在相同的行上。也就是说，如例如从图8能够看出，空间运动向量预测候选B2与预测单元的对角线邻接。
能够以预定顺序(例如，A1、B1、B0、A0和B2)来处理这些空间运动向量候选。因此被选择以用于进一步检查的第一空间运动预测候选是A1。在针对所选择的空间运动预测候选执行进一步检查之前，可以确定该合并列表是否已经含有最大数量的空间运动预测候选。因此，预测列表修改器363将在该合并列表中的空间运动预测候选的数量与最大数量进行比较，以及如果在该合并列表中的空间运动预测候选的数量不小于该最大数量，则不将所选择的空间运动预测候选包含在该合并列表中，以及可以停止构建合并列表的过程。在另一方面，如果在该合并列表中的空间运动预测候选的数量小于该最大数量，则可以执行所选择的空间运动预测候选的进一 步分析，或可以将该空间运动预测候选添加到该合并列表而不进一步分析。
其中的一些运动预测候选可以具有相同的运动信息，导致冗余。因此，当合并的候选具有相同的运动信息(例如，相同的运动向量和相同的参考索引)时，对于合并列表而言，可以丢弃这些合并候选，除了具有最小处理顺序的合并候选之外。以这种方式，在丢弃冗余候选之后，含有剩余的候选的该列表能够被称为原始合并列表。如果在原始合并列表中的候选的数量小于合并候选的最大数量，则另外的运动预测候选可以被生成以及被包含在该合并列表中，以便使得候选的总数量等于最大数量。总之，最终的合并列表包括：在原始合并列表中的候选和以各种方式获得的另外的候选。生成另外的候选的其中一种方式是，通过将对应于原始列表中的候选的参考图像列表0的运动信息与对应于在原始合并列表中的另外的候选的参考图像列表1的运动信息进行组合，来创建新的候选。以这种方式生成的候选可以被称为组合候选。
可以通过比较运动信息的所有元素，来执行比较两个块它们是否具有相同的运动，即1)‘预测单元是使用仅参考图像列表0被单向预测’还是‘预测单元是使用仅参考图像列表1被单向预测’还是‘预测单元是使用参考图像列表0和参考图像列表1被双向预测’的信息；2)对应于参考图像列表0的运动向量值；3)在参考图像列表0中的参考图像索引；4)对应于参考图像列表1的运动向量值；以及5)在参考图像列表1中的参考图像索引。
合并列表候选的最大数量可以是任何非零值。在以上示例中，合并列表候选是空间邻居块A0、A1、B0、B1、B2以及时间运动预测候选，但是可以有超过一个时间运动预测候选和还可以有不同于空间邻居块的其它空间运动预测候选。在一些实施例中，还可以有不同于块A0、A1、B0、B1、B2的其它空间邻居块。
还可能的是，被包含在该列表中的空间运动预测候选的最大数量能够不同于4。
在一些实施例中，合并列表的最大数量和被包含在该列表中的空间运 动预测候选的最大数量能够取决于时间运动向量候选是否被包含在该列表中。
能够处理在当前帧中位于各种位置处的不同数量的空间运动预测候选。这些位置可以与A1、B1、B0、A0和B2相同或与它们不同。
可以以A1、B1、B0、A0、B2的任何顺序或独立并行地做出针对候选的决策。
与当前和/或先前的片和/或当前和/或邻居块的各种属性有关的另外的条件能够用于确定是否将候选包含在该列表中。
能够通过比较整个运动信息的子集来实现运动比较。例如，能够比较仅针对一些或全部参考图像列表的运动向量值和/或针对一些或全部参考图像列表的参考索引和/或被分配给每个块以表示它的运动信息的标识符值。该比较能够是同一性或等同性检查或比较针对阈值的(绝对)差异或任何其它类似的度量。
在移除冗余候选的过程期间，在运动向量预测器候选之间的比较还能够基于不同于运动向量值的任何其它信息。例如，它可以基于运动向量值的线性或非线性函数、在帧/(最大)编码单元/宏块中的空间位置、块是否与块共享相同运动的信息、块是否在相同编码/预测单元中的信息，等。
在一些实施例中，当合并模式在使用中时，时间运动向量候选(其可以已经被包含在该列表中)可以被设置为不同于0的值。例如，运动向量定义器361可以发现在该列表中的哪个/哪些图像具有不同于当前片/编码单元的图像顺序计数的图像顺序计数，以及从那些参考图像选择在图像顺序计数中具有最小差异的那个参考图像，即最接近于当前片的图像。于是可以提供所选择的图像的参考索引作为时间运动向量预测的参考索引。
在一些其它实施例中，运动向量定义器361可以例如以参考索引增加的顺序(从索引0开始)来检查在该列表中的参考图像(多个)，以及选择能够用于时间运动向量预测的第一参考图像。例如可以基于参考图像的类型、图像顺序计数和/或编码模式来确定可使用性。例如，如果参考索引指向时间参考图像中或时间、层间或视图间的参考图像中的图像，则可以 选择此类参考图像。另外或可替代地，如果在该列表中存在与不同于当前编码单元的图像顺序计数的图像顺序计数相关联的图像，则它可以被选择作为时间运动向量预测。使用图5a中的框504-512来说明这些步骤。
当运动向量定义器361已经选择了针对时间运动向量预测的参考索引时，运动向量定义器361可以例如向块处理器381通知该参考索引，其中块处理器381或编码器的另一个单元可以使用514所选择的参考图像作为针对当前块的预测参考。
在一些实施例中，通过信号将参考索引传送给解码器，以便该解码器不需要确定该参考索引而是能够使用通过信号传送的参考索引以找出编码器已经选择用作参考图像的参考图像。可以例如如下来执行该信令。当运动向量定义器361已经选择针对时间运动向量预测的参考索引时，运动向量定义器361可以例如向块处理器381通知该参考索引，其中块处理器381或编码器的另一个单元可以将该参考索引添加522到例如片头部，或添加到比片级别更高的另一个级别处的语法元素，诸如自适应参数集、图像参数集和/或序列参数集。另外，在一些实施例中，可以在活动参数集中指示存在片头部级别信令，活动参数集可以具有诸如自适应参数集、图像参数集和/或序列参数集的任何类型。可以例如如图5a的框500-512中说明的，或通过一些其它方式来执行该选择。在图5b中，使用框516、518和520说明了一般化的合并列表构建和预测参考选择过程。
在一些实施例中，通过信号将针对时间运动向量预测器的参考图像的类型或“方向”传送给解码器，以便该解码器不需要确定参考索引而是能够使用所导出的参考索引以发现编码器已经选择用作预测参考的参考图像。例如可以如下来执行该信令。当运动向量定义器361已经在不同类型或“方向”的可能候选之中选择了针对时间运动向量预测的参考索引(例如，在相同类型的图像之中的参考图像列表内具有最小参考索引的每个类型的参考图像)时，运动向量定义器361可以例如向块处理器381通知该参考索引，其中块处理器381或编码器的另一个单元可以将该参考图像的类型或“方向”添加522到例如片头部，或添加到比片级别更高的另一个级别处 的语法元素，诸如自适应参数集、图像参数集和/或序列参数集。另外，在一些实施例中，可以在活动参数集中指示存在片头部级别信令，活动参数集可以具有诸如自适应参数集、图像参数集和/或序列参数集的任何类型。
在以下，参照图7更详细地描述解码器600的示例实施例的操作。
在解码器侧，执行类似的操作以重建图像块。图7示出了用于使用本发明的实施例的视频解码器700的框图。可以从编码器、从网络元素、从存储介质或从另一个源来接收将被解码的比特流。解码器知道该比特流的结构，以便它能够确定熵编码码字的含义，以及可以通过熵解码器701来解码该比特流，熵解码器701对所接收的信号执行熵解码。熵解码器因此执行上述编码器的熵编码器330的反操作。熵解码器701将熵解码的结果输出给预测误差解码器702和像素预测器704。
在一些实施例中，可以不使用熵编码，而是可以使用另一个信道编码，或可以将编码的比特流提供给解码器700而没有信道编码。解码器700可以包括对应的信道解码器以从所接收的信号获得编码码字。
像素预测器704接收熵解码器701的输出。熵解码器701的输出可以包含关于在编码当前块中使用的预测模式的指示。在像素预测器704内的预测器选择器714确定将执行帧内预测还是帧间预测。此外，预测器选择器714可以将图像块716的预测表示输出给第一组合器713。图像块716的预测表示结合重建的预测误差信号712一起使用，以生成初步重建图像718。初步重建图像718可以在预测器714中使用，或可以被传递给过滤器720。过滤器720(如果使用)应用过滤，该过滤输出最终的重建信号722。最终的重建信号722可以被存储在参考帧存储器724中，参考帧存储器724还连接到用于预测运算的预测器714。
此外，预测误差解码器702接收熵解码器701的输出。预测误差解码器702的反量化器792可以对熵解码器701的输出进行反量化，以及反变换块793可以执行对由反量化器792输出的反量化信号执行反变换操作。商解码器701的输出还可以指示的是，将不应用预测误差信号，以及在这种情况下，预测误差解码器输出全零输出信号。
解码器选择编码单元以进行重建。这种编码单元还被称为当前块。
解码器可以接收关于在当前块的编码中使用的编码模式的信息。该指示被解码(当需要时)，以及被提供给预测选择器714的重建处理器791。重建处理器791检查该指示以及选择以下中的一个：帧内预测模式(多个)(如果该指示指示的是，已经使用帧内预测对该块进行了编码)，或帧间预测模式(如果该指示指示的是，已经使用帧间预测对该块进行了编码)。帧间预测模式还可以包含视图间模式和/或层间模式。
对于帧间预测模式，重建处理器791可以包括：对应于编码器的预测处理器362的一个或多个单元，诸如运动向量定义器、预测列表修改器和/或运动向量选择器。
重建处理器791使用与编码器在构建运动向量候选列表中类似的原理，基于接收的和解码的信息来重建(在图9中使用框900和902来说明)运动向量预测候选列表。
当已经构建了合并列表，则解码器可以使用828可能从编码器接收904的运动向量的指示，以选择908针对解码当前块的运动向量。该指示可以是例如针对合并列表的索引。
在合并模式中，在一些实施例中，重建处理器791可以接收来片头部或来自在更高级别处的语法元素的所选择的时间运动向量预测的参考索引。在一些其它实施例中，解码器可以不接收参考索引，而是执行与编码器类似或相同的分析或导出，以确定编码器已经选择作为针对当前块的参考的时间运动向量预测图像的参考索引。
在一些实施例中，解码器可以具有或可以从比特流解码参数，该参数指示是否在比特流中是否通过信号传送所选择的时间运动向量预测的参考索引(例如，在如图5b的框514中说明的语法元素中)，或解码器是否应当确定所选择的时间运动向量预测的参考索引。在一些其它实施例中，例如在一些语法元素中，可以通过信号将指示在比特流中是否通过信号传送所选择的时间运动向量预测的参考索引的参数传送给解码器。
在一些实施例中，在合并模式的情景中，重建处理器791可以接收来 片头部或来自更高级别处的语法元素的针对时间运动向量预测的所选择的参考图像的参考图像的类型或“方向”。解码器于是可以类似于或等同于编码器如何导出参考索引，从所指示的类型或“方向”导出参考索引。以上已经描述了从类型或“方向”来导出参考索引的示例实施例。
基本上，在重建处理器791已经重建原始合并列表和可能包含组合候选的合并列表后，如果重建处理器791具有与编解码所具有的相同的可以使用的信息，则这些列表将与原始合并列表和可能包含由编码器构建的组合候选的合并列表相对应。如果在从编码器向解码器传送消息期间已经丢失了一些信息，则可能影响在解码器700中的合并列表的生成。
以上示例描述了主要在合并模式中的操作，但是编码器和解码器还可以在其它模式中进行操作。
在一些实施例中，可以如下指定语法结构、语法元素的语义和解码过程。在比特流中的语法元素被表示成粗体类型。每个语法元素由它的名称(具有下划线字符的所有小写字母)，非必须地它的一个或多个语法类别以及针对编码表示的它的方法的一个或两个描述符，来描述。解码过程根据语法元素的值和先前解码的语法元素的值来进行行为。当在语法表或文本中使用语法元素的值时，它表现出规则(即，非粗体)类型。在一些情况下，语法表可以使用从语法元素值导出的其它变量的值。此类变量出现在语法表或文本中，由小写和大小字母的混合并且没有下划线字符来命名。针对当前语法结构和所有依赖的语法结构的解码而导出以大写字母开始的变量。以大写字母开始的变量可以在没有提及的变量的原始语法结构情况下在针对后来的语法结构的解码过程中使用。以小写字母开始的变量仅在它们被导出的情景内使用。在一些情况下，针对语法元素值或变量值的“助记”名字与它们的数值被交替地使用。在文本中指定了值和名字的关联。从由下划线字符分离的一组或多组字母来构建名字。每个组从大写字母开始以及可以含有更多的大写字母。
在一些实施例中，可以使用例如如在H.264/AVC或草案HEVC中指定的针对算术运算符、逻辑运算符、关系运算符、比特式运算符、赋值运 算符以及范围符号的常用符号。此外，可以使用例如在H.264/AVC或草案HEVC中指定的常用数学函数，以及可以使用例如如在H.264/AVC或草案HEVC中指定的常用优先顺序和运算符的执行顺序(从左到右或从右到左)。
在示例实施例中，可以使用以下描述符以指定每个语法元素的解析过程。
-b(8)：具有任何模式比特串的字节(8比特)。
-se(v)：具有左位在先的有符号整数指数哥伦布编码的语法元素。
-U(n)：使用n比特的无符号整数。当n是语法表中的“v”时，比特的数量以取决于其它语法元素的值的方式而变化。针对这个描述符的解析过程由来自比特流的被解释为具有最高位先写入的无符号整数的二进制表示的下n个比特来指定。
-ue(v)：具有左位在先的无符号整数指数哥伦布编码语法元素。
例如使用下表可以将指数哥伦布比特串转变到码号(codeNum)：
比特串码号1001010112001003001014001105001116000100070001001800010109……
例如可以使用下表将对应于指数哥伦布比特串的码号转变到se(v)。
码号语法元素值00112-1324-2
536-3……
在示例实施例中，可以使用以下来指定语法结构。被封闭在波形括号中的一组语句是复合语句，以及功能上作为单个语句来对待。“while”结构指定条件是否为真的测试，以及如果真，则重复指定语句(或复合语句)的评估直到该条件不再为真。“do…while”结构指定一次的语句评估，跟随着条件是否为真的测试，以及如果真，则指定重复的语句评估直到该条件不再为真。以及“if…else”结构指定条件是否为真的测试，以及如果条件为真，则指定主要语句的评估，否则指定可替代语句的评估。如果不需要可替代语句的评估，则省略该结构的“else”部分和相关联的可替代语句。“for”结构指定初始语句的评估，跟随着条件的测试，以及如果该条件为真，则指定由随后语句跟随的主要语句的重复评估直到该条件不再为真。
如上所述，在一些实施例中，可以通过信号将针对时间运动向量预测器的参考索引传送给解码器，以便解码器不需要确定该参考索引而是能够使用通过信号传送的参考索引，以发现编码器已经选择用作预测参考的参考图像。可以例如在片头部语法结构中由编码器执行该信令。例如，可以如下将merge_tmvp_ref_idx语法元素添加到片头部语法结构：

merge_tmvp_ref_idx可以指示在参考图像列表(诸如参考图像列表0)内的参考图像的索引，从其可以导出时间运动向量预测器。例如，针对时间合并候选的参考索引(即，使用时间运动向量预测的合并候选)可以被设置为等于在编码和/或解码过程中的merge_tmvp_ref_idx。
如上所述在一些实施例中，例如在片头部中由编码器通过信号来传送 针对时间运动向量预测器的参考图像的类型或“方向”。例如可以如下将merge_tmvp_ref_type语法元素添加到片头部语法结构。

merge_tmvp_ref_type可以指示在参考图像列表(诸如参考图像列表0)内的参考图像的类型或“方向”，从其可以导出时间运动向量预测器，merge_tmvp_ref_type等于0可以指示时间参考图像，即在与当前图像相同层和视图中的参考图像。merge_tmvp_ref_type等于1可以指示视图间参考图像，即在与当前图像不同的视图上的参考图像，merge_tmvp-_ref_type等于2可以指示层间参考图像，即与当前图像不同层的参考图像。例如，在编码和/或解码过程中，针对时间合并候选(即使用时间运动向量预测的合并候选，)的参考索引可以被设置为等于在参考图像列表0中具有所指示的类型的参考图像的最小索引。
如上所述在一些实施例中，可以例如在片头部中或在比片级别更高级别处(诸如自适应参数集、图像参数集和/或序列参数集)由编码器通过信号来传送针对时间运动向量预测器的参考索引的导出过程。例如，可以如下将merge_tmvp_derivation_type语法元素添加到图像参数集语法结构：

merge_tmvp_derivation_type可以指示导出过程以用于导出在参考图像列表(诸如参考图像列表0)内的参考图像的参考索引，从其导出时间运动向量预测器，等于0的merge_tmvp_derivation_type可以指示的是使 用在参考图像列表(诸如参考图像列表0)内的具有被推断或指示适用于或能够用于导出时间运动向量预测器的类型或“方向”的最小索引。如果推断了类型或“方向”，则它们可以例如包括仅时间参考图像。如果指示了类型或“方向”，则可以例如使用如上所述的针对merge_tmvp_ref_type的语法来进行该指示，等于1的merge_tmvp_derivation_type可以指示的是，例如在在相同层/视图内的绝对值图像顺序计数差异方面上的最近的参考图像用于导出时间运动向量预测器。如果有两个图像具有相对于当前图像的相同绝对值的图像顺序计数差异，则定解条件能够用于在这两个图像之间进行选择，例如总是选择相对于当前图像具有正符号图像顺序计数差异的图像。
如上所述，在一些实施例中，可以在活动参数集中指示存在片头部级别信令(例如，如上所述的merge_tmvp_ref_idx语法元素)，活动参数集可以具有诸如自适应参数集、图像参数集和/或序列参数集的任何类型。例如，可以使用以下来附加图像参数集语法结构或诸如此类：

merge_tmvp_ref_idx_present_flag等于0可以指示的是，不存在相关的片头部级别语法元素，诸如merge_tmvp_ref_idx。merge_tmvp_ref_idx_present_flag等于1可以指示的是，存在相关的片头部级别语法元素。随着merge_tmvp_ref_idx_present_flag或类似的被添加到参数集语法结构，片头部语法可以被改变为例如如下：


图1将根据示例实施例的视频编码系统的框图示出为示例性的装置或电子设备50的示意性框图，该装置或电子设备50可以并入根据本发明的实施例的编解码器。图2示出了根据示例实施例的装置的布局。下面将解释图1和图2的单元。
电子设备50例如可以是无线通信系统的移动终端或用户设备。然而，将理解的是，可以在可以要求编码和解码或编码或解码视频图像的任何电子设备或装置内实现本发明的实施例。
装置50可以包括：用于容纳和保护该设备的壳体30。装置50还可以包括以液晶显示器形式的显示器32。在本发明的其它实施例中，显示器可以是适合于显示图像或视频的任何合适的显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中，可以使用任何合适的数据或用户接口机构。例如，用户接口可以被实现成作为触摸敏感显示器的一部分的虚拟键盘或数据输入系统。装置可以包括麦克风36或任何合适的音频输入器，其可以是数字或模拟信号输入器。装置50还可以包括音频输出设备，在本发明的实施例中，所述音频输出设备可以是以下中的任何一个：耳机38、扬声器、或模拟音频或数字音频输出连接件。装置50还可包括电池40(或者在本发明的其它实施例中，可以由任何合适的移动能量设备，诸如太阳能电池、燃料电池或发条发电机，向该设备提供电力)。装置还可以包括红外线端口42以用于至其它设备的短距视线通信。在其它实施例中，装置50还可以包括任何合适的短距通信解决方案，诸如例如蓝牙无线连接或USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或处理器。控制器56可以连接到存储器58，在本发明的实施例中，存储器58可以存储以图像和音频数据形式的数据，并且/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接到编解码电路54，该编解码电路54适用于执行对音频和/或视频数据的编码和解码或帮助由控制器56执行的编码和解码。
装置50还可以包括卡阅读器48和智能卡46，UICC和UICC阅读器 以用于提供用户信息并且适用于提供用于在网络上对用户进行认证和授权的认证信息。
装置50可以包括：无线电接口电路52，其连接到控制器并且适用于生成例如用于与蜂窝通信网络、无线通信系统和/或无线局域网进行通信的无线通信信号。装置50还可以包括：天线44，其连接到无线电接口电路52以用于将在无线电接口电路52处生成的射频信号传送给其它装置(多个)以及用于接收来自其它装置(多个)的射频信号。
在本发明的一些实施例中，装置50包括：相机，其能够记录或检测个体帧，该个体帧然后被运送给用于处理的编解码器54或控制器。在本发明的一些实施例中，装置可以在传输和/或存储之前接收来自另一个设备的用于处理的视频图像数据。在本发明的一些实施例中，装置50可以无线地或通过有线连接接收用于编码/解码的图像。
图3示出了根据示例实施例的针对视频编码的布置，该布置包括：多个装置，网络和网络单元。关于图3，示出了系统的示例，在该系统内能够使用本发明的实施例。系统10包括：多个通信设备，它们能够通过一个或多个网络进行通信。系统10可以包括有线网络或无线网络的任何组合，有线网络或无线网络包括但不限于：无线蜂窝电话网络(诸如GSM、UMTS、CDMA网络等)，无线局域网(WLAN)，诸如由IEEE 802.x标准中的任何标准定义的WLAN，蓝牙个域网，以太网局域网，令牌环局域网，广域网以及互联网。
系统10可以包含：适用于实现本发明的实施例的有线和无线通信设备两者或装置50。
例如，在图3中示出的系统示出了移动电话网络11和互联网28的表示。至互联网28的连通性可以包含但不限于：长距无线连接，短距无线连接，以及各种有线连接，包括但不限于电话线，电缆线，电力线，和类似的通信路径。
在系统10中示出的示例性通信设备可以包含但不限于：装置或装置50，个人数字助理(PDA)和移动电话的组合14，PDA 16，集成消息发 送设备(IMD)18，桌面计算机20，笔记本计算机22。装置50可以是固定的或当由移动中的个体携带时是移动的。装置50还可以位于任何模式的交通工具中，交通工具包含但不限于汽车、卡车、出租车、公交车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
一些或其它装置可以发送和接收呼叫和消息，并且通过至基站24的无线连接25与服务提供者通信。基站24可以连接到网络服务器26，其允许移动电话网络11和互联网28之间的通信。系统可以包含附加的通信设备和各种类型的通信设备。
通信设备可以使用各种传输技术来通信，各种传输技术包括但不限于：码分多址接入(CDMA)，全球移动通信系统(GSM)，通用移动通信系统(UMTS)，时分多址接入(TDMA)，频分多址接入(FDMA)，传输控制协议-互联网协议(TCP-IP)，短消息服务(SMS)，多媒体消息服务(MMS)，电子邮件，即时消息服务(IMS)，蓝牙，IEEE 802.11和任何类似的无线通信技术。在实现本发明的各种实施例中涉及的通信设备可以使用各种介质进行通信，各种介质包含但不限于：无线电，红外线，激光，电缆连接，和任何合适的连接。
在以上中，已经参照编码器描述了示例实施例，但是需要理解的是，所产生的比特流和解码器在它们之中具有对应的单元。同样，在已经参照解码器描述了示例实施例的地方，需要理解的是，编码器具有用于生成由该解码器解码的比特流的结构和/或计算机程序。
尽管以上示例描述了在电子设备内的编解码器内操作的本发明的实施例，但是将了解的是，如下描述的本发明可以被实现作为任何视频编解码器的一部分。因此，例如，本发明的实施例可以在视频编解码器中实现，该视频编解码器实现在固定或有线通信路径上的视频编码。
因此，用户设备可以包括：视频编解码器，诸如以上在本发明的实施例中描述的那些视频编解码器。应当了解的是，术语用户设备旨在涵盖任何合适类型的无线用户设备，诸如移动电话、便携式数据处理设备或便携式网络浏览器。
此外，公共陆地移动网络(PLMN)的单元也可以包括如上所述的视频编解码器。
一般地，可以将本发明的各种实施例实现成硬件或专用电路、软件、逻辑和它们的任何组合。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在固件或软件中，该固件或软件可以由控制器、微处理器或其它计算设备来运行，尽管本发明不限制于此。虽然本发明的各种方面被说明和描述成框图、流程图或使用一些其它图形表示，但是很好理解的是，本文中所述的这些框、装置、系统、技术或方法可以被实现在，作为非限制性示例，硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其一些组合中。
可以由移动设备的数据处理器(诸如在处理器实体中)可执行的计算机软件，或由硬件，或由软件和硬件的组合来实现本发明的实施例。此外，就这点而言，应当注意的是，如在附图中的逻辑流的任何框可以表示程序步骤，或互连的逻辑电路，块和功能，或程序步骤和逻辑电路、块和功能的组合。可以将软件存储在此类物理介质上，诸如存储芯片，或实现在处理器内的存储块，磁介质，诸如硬盘或软盘，以及光介质，诸如例如DVD和其数据变型CD。
可以借助于计算机程序代码来实现本发明的各种实施例，该计算机程序代码驻留在存储器中以及使得相关装置实现本发明。例如，终端设备可以包括：用于处理、接收和传送数据的电路和电子产品，在存储器中的计算机程序代码以及处理器，当该处理器运行该计算机程序代码时，该处理器使得终端设备实现实施例的特征。此外，网络设备可以包括用于处理、接收和传送数据的电路和电子产品，在存储器中的计算机程序代码以及处理器，当该处理器运行该计算机程序代码时，该处理器使得网络设备实现实施例的特征。
存储器可以具有适合于本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储设备，磁存储设备和系统，光存储设备和系统，固定存储器和可移动存储器。数据处理器可以 具有适合于本地技术环境的任何类型，并且可以包含作为非限制性示例的下列中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器。
可以在各种组件中，诸如在集成电路模块中，实践本发明的实施例。一般而言，集成电路的设计基本上是高度自动化的过程。复杂和功能强大的软件工具可用于将逻辑级的设计转换成准备将要被蚀刻和形成在半导体衬底上的半导体电路设计。
程序，诸如由加利福尼亚的山景城的新思科技(Synopsys,Inc.of Mountain View,California)和加利福尼亚的圣何塞的凯登斯设计(Cadence Design,of San Jose,California)所提供的那些程序，使用良好建立的设计规则以及预存储的设计模块的库在半导体芯片上自动化路由导体和定位组件。一旦已经完成了针对半导体电路的设计，则所生成的设计可以以标准化电子形式(例如，Opus，GDSII等)传送给半导体制造厂或用于制造的简写的“fab”。
上述描述已经通过示例性和非限制性的示例提供了本发明示例性实施例的全面和教示性的描述。然而，当结合附图和所附权利要求书阅读时，鉴于上述描述，对于相关领域的技术人员来说，各种修改和适应是明显的。然而，本发明的教示中的所有此类或类似的修改仍然将落入本发明的范围内。
在以下中，将提供一些示例。
根据第一示例，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的预测参考候选；
在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引。
在所述方法的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在一些实施例中，所述方法包括：在合并编码模式中使用所述方法。
在一些实施例中，所述方法包括：针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执行所述运动向量预测。
在所述方法的一些实施例中，所述选择包括：检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则在所述语法元素中提供与另一个预测参考候选相关联的参考索引。
在一些实施例中，所述方法包括：提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在一些实施例中，所述方法包括：以参考索引的增加顺序来检查所述预测参考候选的列表；以及选择能够用于时间运动向量预测的第一参考图像。
在一些实施例中，所述方法包括：基于以下中的一项或多项来确定可用性：
参考图像的类型；
图像顺序计数；
编码模式。
在所述方法的一些实施例中，在片头部处通过信号传送所述语法元素。
在一些实施例中，所述方法包括：在自适应参数集、图像参数集或序列参数集中通过信号传送存在所述片头部。
在所述方法的一些实施例中，在以下中的一个中通过信号传送所述语 法元素：
自适应参数集；
图像参数集；
序列参数集。
在一些实施例中，所述方法包括：将未压缩的图像编码到包括所述片的编码图像中。
根据第二示例，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
在所述方法的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及运动向量预测是时间运动向量预测。
在所述方法的一些实施例中，所述选择包括：检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进行编码中的预测参考。
在一些实施例中，所述方法包括：提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在一些实施例中，所述方法包括：检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在所述方法的一些实施例中，所述检查包括：检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在所述方法的一些实施例中，所述检查包括：检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第三示例，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的与参考索引相关联的预测参考候选；
在片级别或更高级别处在语法元素中提供与所述预测参考候选相关联的所述参考索引。
在所述装置的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置使用合并编码模式中的方法。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执行所述运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选 不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则在所述语法元素中提供与另一个预测参考候选相关联的参考索引。
在所述装置的一些实施例中，提供针对所述图像的图像顺序计数，其中所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置以参考索引的增加顺序来检查所述预测参考候选的列表；以及选择能够用于时间运动向量预测的第一参考图像。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置基于以下中的一项或多项来确定可用性：
参考图像的类型；
图像顺序计数；
编码模式。
在所述装置的一些实施例中，在片头部处通过信号传送所述语法元素。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置在自适应参数集、图像参数集或序列参数集中通过信号传送存在所述片头部。
在所述装置的一些实施例中，在以下中的一个中通过信号传送所述语法元素：
自适应参数集；
图像参数集；
序列参数集。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置将未压缩的图像编码到包括所述片的编码图像中。
根据第四示例，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
在所述装置的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进行编码中的预测参考。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的 是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第五示例，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
选择针对运动向量预测的与参考索引相关联的预测参考候选；
在片级别或更高级别处在语法元素中提供与所述预测参考候选相关联的所述参考索引。
在所述计算机程序产品的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个 序列时，所述一个或多个指令的一个或多个序列使得所述装置使用合并编码模式中的方法。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执行所述运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则在所述语法元素中提供与另一个预测参考候选相关联的参考索引。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置以参考索引的增加顺序来检查所述预测参考候选的列表；以及选择能够用于时间运动向量预测的第一参考图像。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置基于以下中的一项或多项来确定可用性：
参考图像的类型；
图像顺序计数；
编码模式。
在所述计算机程序产品的一些实施例中，在片头部处通过信号传送所述语法元素。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置在自适应参数集、图像参数集或序列参数集中通过信号传送存在所述片头部。
在所述计算机程序产品的一些实施例中，在以下中的一个中通过信号传送所述语法元素：
自适应参数集；
图像参数集；
序列参数集。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置将未压缩的图像编码到包括所述片的编码图像中。
根据第六示例，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考。
在所述计算机程序产品的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及运动向量预测是时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进行编码中的预测参考。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个 序列时，所述一个或多个指令的一个或多个序列使得所述装置检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第七示例，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于选择针对运动向量预测的预测参考候选的构件；
用于在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引的构件。
根据第八示例，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行编码中的预测参考的构件。
根据第九示例，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在解码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
在所述方法的一些实施例中，所述预测参考候选的列表包括：一个或 多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在一些实施例中，所述方法包括：在合并编码模式中使用所述方法。
在一些实施例中，所述方法包括：针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执行所述运动向量预测。
在所述方法的一些实施例中，在片头部处通过信号传送所述语法元素。
在一些实施例中，所述方法包括：在自适应参数集、图像参数集或序列参数集中接收存在所述片头部的指示。
在所述方法的一些实施例中，在以下中的一个中通过信号传送所述语法元素：
自适应参数集；
图像参数集；
序列参数集。
根据第十示例，提供了一种方法，所述方法包括：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
在所述方法的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及运动向量预测是时间运动向量预测。
在所述方法的一些实施例中，所述检查包括：检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进行解码中的预测参考。
在一些实施例中，所述方法包括：提供针对所述图像的图像顺序计数， 其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在所述方法的一些实施例中，所述检查包括：检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在所述方法的一些实施例中，所述检查包括：检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在所述方法的一些实施例中，所述检查包括：检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第十一示例，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在解码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
在所述装置的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置使用合并编码模式中的方法。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执 行所述运动向量预测。
在所述装置的一些实施例中，在片头部处通过信号传送所述语法元素。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置在自适应参数集、图像参数集或序列参数集中接收存在所述片头部的指示。
在所述装置的一些实施例中，在以下中的一个中通过信号传送所述语法元素：
自适应参数集；
图像参数集；
序列参数集。
根据第十二示例，提供了一种装置，所述装置包含至少一个处理器和包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所述至少一个处理器使得所述装置：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
在所述装置的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进 行解码中的预测参考。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在所述装置的一些实施例中，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码还使得所述装置检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第十三示例，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
接收语法元素，所述语法元素包含指示在解码中用于运动向量预测的预测参考候选的参考索引；
使用所述参考索引以选择用于解码所述片的预测参考。
在所述计算机程序产品的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置使用合并编码模式中的方法。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置针对一个或多个片，一个或多个编码单元，一个或多个帧或一个或多个图像执行所述运动向量预测。
在所述计算机程序产品的一些实施例中，在片头部处通过信号传送所述语法元素。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置在自适应参数集、图像参数集或序列参数集中接收存在所述片头部的指示。
在所述计算机程序产品的一些实施例中，在以下中的一个中通过信号传送所述语法元素：
自适应参数集；
图像参数集；
序列参数集。
根据第十四示例，提供了一种计算机程序产品，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得装置至少执行以下：
在一个或多个参考图像中确定针对图像的片的预测参考候选的列表；
将在所述列表中的每个预测参考候选与参考索引相关联；
通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考。
在所述计算机程序产品的一些实施例中，所述预测参考候选的列表包括：一个或多个时间参考图像；以及所述运动向量预测是时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查与第一参考索引相关联的预测参考候选是否能够用于针对所述片的运动向量预测；
如果所述检查指示的是，具有所述第一参考索引的所述预测参考候选不能用于针对所述片的运动向量预测，则进一步检查所述列表是否包括与另一个参考索引相关联的另一个预测参考候选；
如果所述进一步检查指示的是，所述列表包括与另一个参考索引相关联的另一个预测参考候选，则选择所述预测参考候选作为在对所述图像进行解码中的预测参考。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置提供针对所述图像的图像顺序计数，其中所述检查包括将所述图像的所述图像顺序计数与参考图像的图像顺序计数进行比较，以及如果所述比较指示的是，所述图像的所述图像顺序计数等于所述参考图像的所述图像顺序计数，则确定所述参考图像不能用于针对所述片的时间运动向量预测。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查每个参考图像是否是长期参考图像以确定针对运动向量预测的预测参考候选的可用性。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检查每个参考图像是否是属于与当前图像相同的层以确定针对运动向量预测的预测参考候选的可用性。
在一些实施例中，所述计算机程序产品包含一个或多个指令的一个或多个序列，当由一个或多个处理器执行所述一个或多个指令的一个或多个序列时，所述一个或多个指令的一个或多个序列使得所述装置检验每个参考图像是否属于当前图像的相同视图以确定针对运动向量预测的预测参考候选的可用性。
根据第十五示例，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于选择在解码中针对运动向量预测的预测参考候选的构件；
用于在片级别或更高级别处在语法元素中提供与所选择的预测参考候选相关联的参考索引的构件。
根据第十六示例，提供了一种装置，所述装置包括：
用于在一个或多个参考图像中确定针对图像的片的预测参考候选的列表的构件；
用于将在所述列表中的每个预测参考候选与参考索引相关联的构件；
用于通过检查所述预测参考候选，选择所述预测参考候选中的一个预测参考候选作为在对所述图像进行解码中的预测参考的构件。