用于仅HLS可缩放视频译码的层间参考图片产生.pdf

一种用于译码视频信息的设备可包含：存储器单元，其经配置以存储与图片相关联的视频信息；及处理器，其与所述存储器单元通信，所述处理器经配置以对参考图片的视频信息再取样以获得经再取样图片，所述经再取样图片具有多个切片及与待编码的图片不同的图片大小。此外，所述处理器可确定所述经再取样图片中的切片的切片定义。所述经再取样图片的所述切片可对应于所述参考图片的切片。所述处理器可基于所述切片定义而确定所述经再取样图片的切片是否满足一或多个切片定义规则。响应于确定所述经再取样图片的所述切片不满足至少一个切片定义规则，所述处理器可修改所述切片的所述切片定义以便满足所述切片定义规则。

1.  一种用于译码视频信息的设备，所述设备包括：
存储器单元，其经配置以存储与图片相关联的视频信息；
处理器，其与所述存储器单元通信，其中所述处理器经配置以：
对参考图片的视频信息再取样以获得经再取样图片，所述参考图片具有多个切片且具有与待编码的图片不同的图片大小；
确定所述经再取样图片中的多个切片的切片定义，所述经再取样图片的所述多个切片对应于所述参考图片的多个切片；
至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则；及
响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，修改所述经再取样图片中的所述多个切片中的不满足所述至少一个切片定义规则的至少一些切片的所述切片定义以便满足所述切片定义规则。

2.  根据权利要求1所述的设备，其中所述处理器进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含第一列中的所述切片的高度与前一列中的所述切片的高度之间的大于一个最大译码单元LCU的视差而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

3.  根据权利要求1所述的设备，其中所述处理器进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含一个以上不完整扫描线而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

4.  根据权利要求1所述的设备，其中所述处理器进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片中的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

5.  根据权利要求4所述的设备，其中所述处理器进一步经配置以通过舍入所述部分LCU而修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。

6.  根据权利要求5所述的设备，其中舍入所述部分LCU包括修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以从所述切片定义移除所述部分LCU。

7.  根据权利要求5所述的设备，其中舍入所述部分LCU包括修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以在所述切片定义中包含对应于所述部分LCU的所述整个LCU。

8.  根据权利要求1所述的设备，其中所述处理器进一步经配置以通过将所述多个经再取样切片中的至少一个切片划分为多个子切片而修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。

9.  根据权利要求8所述的设备，其中对于所述多个子切片中的至少一些子切片，所述处理器进一步经配置以使包含在所述经再取样图片中的所述多个切片中的所述至少一个切片的切片标头中的信息中的至少一些信息与所述子切片的切片标头相关联。

10.  根据权利要求1所述的设备，其中所述参考图片是用于单层视频编解码器的参考图片。

11.  根据权利要求10所述的设备，其中所述处理器进一步经配置以将所述经再取样图片添加到用于待编码的当前图片的参考图片列表。

12.  根据权利要求10所述的设备，其中所述处理器进一步经配置以将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。

13.  根据权利要求1所述的设备，其中所述参考图片是来自比将在多层视频编解码器中编码的图片低的层的参考图片。

14.  根据权利要求13所述的设备，其中所述处理器进一步经配置以使用所述经再取样图片来执行层间预测。

15.  根据权利要求13所述的设备，其中所述处理器进一步经配置以将所述经再取样图片添加到用于所述待编码的图片的参考图片列表。

16.  根据权利要求13所述的设备，其中所述处理器进一步经配置以将所述参考图片用作用于时间运动向量导出的并置图片。

17.  根据权利要求1所述的设备，其中所述处理器进一步经配置以使用所述经再取样图片来编码所述待编码的图片。

18.  根据权利要求1所述的设备，其中所述处理器进一步经配置以使用所述经再取样图片来解码所述图片。

19.  根据权利要求1所述的设备，其中所述处理器进一步经配置以使所述经再取样图片中的每一块与包含所述参考图片中的并置块的所述切片的切片标头相关联。

20.  根据权利要求19所述的设备，其中块大小是16×16。

21.  根据权利要求1所述的设备，其进一步包括以下各者中的一或多者：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或视频流式传输装置。

22.  一种译码视频信息的方法，所述方法包括：
对待编码的图片的参考图片的视频信息再取样以获得经再取样图片，所述参考图片具有多个切片且具有与所述待编码的图片不同的图片大小；
确定所述经再取样图片中的多个经再取样切片的切片定义，所述经再取样图片的所述多个切片对应于所述参考图片的多个切片；
至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则；及
响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定 义扫描规则的至少一些切片的所述切片定义以满足所述至少一个切片定义规则。

23.  根据权利要求22所述的方法，其中所述确定包括通过确定来自所述经再取样图片中的所述多个切片的切片是否包含第一列中的所述切片的高度与前一列中的所述切片的高度之间的大于一个最大译码单元LCU的视差而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

24.  根据权利要求22所述的方法，其中所述确定包括通过确定来自所述经再取样图片中的所述多个切片的切片是否包含一个以上不完整扫描线而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

25.  根据权利要求22所述的方法，其中所述确定包括通过确定来自所述经再取样图片的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片中的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

26.  根据权利要求25所述的方法，其中所述修改包括舍入所述部分LCU。

27.  根据权利要求26所述的方法，其中舍入所述部分LCU包括修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以从所述切片定义移除所述部分LCU。

28.  根据权利要求26所述的方法，其中舍入所述部分LCU包括修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以在所述切片定义中包含对应于所述部分LCU的所述整个LCU。

29.  根据权利要求22所述的方法，其中所述修改包括将所述多个切片中的至少一个切片划分为多个子切片。

30.  根据权利要求29所述的方法，其中对于所述多个子切片中的至少一些子切片，所述方法进一步包括使包含在所述经再取样图片中的所述多个切片中的所述至少一个切片的切片标头中的信息中的至少一些信息与所述子切片的切片标头相关联。

31.  根据权利要求22所述的方法，其中所述参考图片是用于单层视频编解码器的参考图片。

32.  根据权利要求31所述的方法，其进一步包括将所述经再取样图片添加到用于所述待编码的图片的参考图片列表。

33.  根据权利要求31所述的方法，其进一步包括将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。

34.  根据权利要求22所述的方法，其中所述参考图片是来自比将在多层视频编解码器中编码的图片低的层的参考图片。

35.  根据权利要求34所述的方法，其进一步包括使用所述经再取样图片来执行层间预测。

36.  根据权利要求34所述的方法，其进一步包括将所述经再取样图片添加到用于所述待编码的图片的参考图片列表。

37.  根据权利要求34所述的方法，其进一步包括将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。

38.  根据权利要求22所述的方法，其进一步包括使用所述经再取样图片来编码所述待编码的图片。

39.  根据权利要求22所述的方法，其进一步包括使用所述经再取样层来解码所述图片的经编码副本。

40.  根据权利要求22所述的方法，其进一步包括使所述经再取样图片中的每一块与包含所述参考图片中的并置块的所述切片的切片标头相关联。

41.  根据权利要求40所述的方法，其中块大小是16×16。

42.  一种具有存储在其上的指令的非暂时性计算机可读存储媒体，所述指令在被执行时致使包括至少一个处理器的设备：
对参考图片的视频信息再取样以获得经再取样图片，所述参考图片具有多个切片且具有与待编码的图片不同的图片大小；
确定所述经再取样图片中的多个切片的切片定义，所述经再取样图片的所述多个切片对应于所述参考图片的多个切片；
至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则；及
响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，修改所述经再取样图片中的所述多个切片中的不满足所述至少一个切片定义规则的至少一些切片的所述切片定义以满足所述切片定义规则。

43.  根据权利要求42所述的非暂时性计算机可读存储媒体，其中所述设备进一步经配置以通过确定来自所述经再取样图片的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。

44.  根据权利要求43所述的非暂时性计算机可读存储媒体，其中所述设备进一步经配置以通过以下操作来修改所述经再取样图片的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义：修改所述多个切片中的包含部分块的至少一个切片的所述切片定义以(1)从所述切片定义移除所述部分LCU；或(2)在所述切片定义中包含对应于所述部分LCU的整个LCU。

45.  根据权利要求42所述的非暂时性计算机可读存储媒体，其中所述设备进一步经配置以通过将所述经再取样切片的所述多个切片中的至少一个切片划分为多个子切片而修改所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。

46.  一种经配置以译码视频信息的设备，所述设备包括：
用于存储与图片相关联的视频信息的装置；
用于对所述图片的视频信息再取样以获得经再取样图片的装置，所述图片具有多 个切片；
用于确定所述经再取样图片的多个切片的切片定义的装置，所述经再取样图片的所述多个切片对应于所述图片的所述多个切片；
用于至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则的装置；及
用于响应于确定所述经再取样图片的所述多个切片中的至少一者不满足所述一或多个切片定义规则中的至少一者而修改所述经再取样图片的所述多个切片中的至少一些切片的所述切片定义的装置。

47.  根据权利要求46所述的设备，其中所述用于存储视频信息的装置、用于再取样的装置、用于确定切片定义的装置、用于确定的装置及用于修改的装置中的至少两者包括相同的装置。

48.  根据权利要求46所述的设备，其中所述用于确定的装置进一步经配置以通过确定来自所述经再取样图片的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义扫描规则。

49.  根据权利要求48所述的设备，其中所述用于修改的装置进一步经配置以通过以下操作来修改所述经再取样图片的所述多个切片中的至少一些切片的所述切片定义：修改所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以(1)从所述切片定义移除所述部分LCU；或(2)在所述切片定义中包含对应于所述部分LCU的整个LCU。

50.  根据权利要求46所述的设备，其中所述用于修改的装置进一步经配置以通过将所述多个切片中的至少一个切片划分为多个子切片而修改所述经再取样层的所述多个切片中的至少一些切片的所述切片定义。

用于仅HLS可缩放视频译码的层间参考图片产生
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所界定的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地传输、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(例如，图片内)预测及/或时间(例如，图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可涉及参考帧。
空间或时间预测导致对块的预测块进行译码。所述预测块可由编码器或解码器使用以确定残差数据。残差数据表示待译码的原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指示经译码块与预测块之间的差的残差数据编码的。经帧内译码块是根据帧内译码模式及残差数据来编码。为了实现进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置为二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多压缩。
发明内容
为了概述本发明的目的，本文中已描述某些方面、优势和新颖特征。应理解，根据本文中揭示的任何特定实施例，不一定可实现所有此些优势。因此，可以按照如本文所教示来实现或优化一个优点或一组优点而不一定实现如本文可教示或建议的其它优点的方式来体现或执行本文中揭示的特征。
根据本发明的一些实施例，呈现一种用于译码视频信息的设备。所述设备可包含存储器单元，其经配置以存储与图片相关联的视频信息。此外，所述设备可包含处理器，其与所述存储器单元通信。所述处理器可经配置以对参考图片的视频信息再取样以获得经再取样图片。此参考图片可具有多个切片且具有与待编码的图片不同的图片大小。此外，所述处理器可确定所述经再取样图片中的多个切片的切片定义。所述经再取样图片的所述多个切片可对应于所述参考图片的多个切片。另外，所述处理器可至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则。响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，所述处理器可修改所述经再取样图片中的所述多个切片中的不满足所述至少一个切片定义规则的至少一些切片的所述切片定义以便满足所述切片定义规则。
在某些实施例中，所述处理器可进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含第一列中的所述切片的高度与前一列中的所述切片的高度之间的大于一个最大译码单元(LCU)的视差而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。此外，所述处理器可进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含一个以上不完整扫描线而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。
另外，所述处理器可进一步经配置以通过确定来自所述经再取样图片中的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片中的所述多个切片中的每一者是否满足所述一或多个切片定义规则。此外，所述处理器可进一步经配置以通过舍入所述部分LCU而修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。舍入所述部分LCU可包含修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以从所述切片定义移除所述部分LCU。此外，舍入所述部分LCU可包含修改所述经再取样图片 中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以在所述切片定义中包含对应于所述部分LCU的所述整个LCU。
另外，所述处理器可进一步经配置以通过将所述多个经再取样切片的至少一个切片划分为多个子切片而修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。此外，对于所述多个子切片中的至少一些子切片，所述处理器可进一步经配置以使包含在所述经再取样图片中的所述多个切片中的所述至少一个切片的切片标头中的信息中的至少一些信息与所述子切片的切片标头相关联。
在一些实施例中，所述参考图片是用于单层视频编解码器的参考图片。此外，所述处理器可进一步经配置以将所述经再取样图片添加到用于待编码的当前图片的参考图片列表。此外，所述处理器可进一步经配置以将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。
在一些实施例中，所述参考图片是来自比将在多层视频编解码器中编码的图片低的层的参考图片。此外，所述处理器可进一步经配置以使用所述经再取样图片来执行层间预测。此外，所述处理器可进一步经配置以将所述经再取样图片添加到用于待编码的当前图片的参考图片列表。此外，所述处理器可进一步经配置以将所述参考图片用作用于时间运动向量导出的并置图片。
此外，所述处理器可进一步经配置以使用所述经再取样图片来编码待编码的图片。此外，所述处理器可进一步经配置以使用所述经再取样图片来解码所述图片。所述处理器还可经配置以使所述经再取样图片中的每一块与包含所述参考图片中的并置块的切片的切片标头相关联。在一些情况下，块大小是16×16。在某些实施例中，所述设备可进一步包含以下各者中的一或多者：桌上型计算机、笔记本计算机、膝上型计算机、平板计算机、机顶盒、电话手持机、智能电话、智能板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台或视频流式传输装置。
根据本发明的某些实施例，呈现一种译码视频信息的方法。所述方法可包含对待编码的图片的参考图片的视频信息重新取样以获得经再取样图片。所述参考图片可具有多个切片及与待编码的图片不同的图片大小。此外，所述方法可包含确定所述经再取样图片中的多个经再取样切片的切片定义。所述经再取样图片的所述多个切片可对应于所述参考图片的多个切片。所述方法可进一步包含至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则。响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，所述方法 可包含修改所述经再取样图片中的所述多个切片中的不满足所述至少一个切片定义规则的至少一些切片的所述切片定义以便满足所述切片定义规则。
在一些情况下，所述确定可包含通过确定来自所述经再取样图片中的所述多个切片的切片是否包含第一列中的所述切片的高度与前一列中的所述切片的高度之间的大于一个最大译码单元(LCU)的视差而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。此外，所述确定可包含通过确定来自所述经再取样图片中的所述多个切片的切片是否包含一个以上不完整扫描线而确定所述经再取样图片的所述多个切片中的每一者是否满足所述一或多个切片定义规则。
另外，所述确定可包含通过确定来自所述经再取样图片中的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片中的所述多个切片中的每一者是否满足所述一或多个切片定义规则。此外，所述修改可包含舍入所述部分LCU。舍入所述部分LCU可包含修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以从所述切片定义移除所述部分LCU。此外，舍入所述部分LCU可包含修改所述经再取样图片中的所述多个切片中的包含所述部分LCU的至少一个切片的所述切片定义以在所述切片定义中包含对应于所述部分LCU的所述整个LCU。
另外，所述修改可包含将所述多个切片中的至少一个切片划分为多个子切片。此外，对于所述多个子切片中的至少一些子切片，所述方法可进一步包含使包含在所述经再取样图片中的所述多个切片中的所述至少一个切片的切片标头中的信息中的至少一些信息与所述子切片的切片标头相关联。
在一些实施例中，所述参考图片是用于单层视频编解码器的参考图片。此外，所述方法可包含将所述经再取样图片添加到用于待编码的图片的参考图片列表。此外，所述方法可包含将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。
在一些实施例中，所述参考图片是来自比将在多层视频编解码器中编码的图片低的层的参考图片。此外，所述方法可包含使用所述经再取样图片来执行层间预测。此外，所述方法可包含将所述经再取样图片添加到用于待编码的图片的参考图片列表。此外，所述方法可包含将所述经再取样的参考图片用作用于时间运动向量导出的并置图片。
此外，所述方法可包含使用所述经再取样图片编码待编码的所述图片。此外，所述方法可包含使用所述经再取样层来解码所述图片的经编码副本。另外，所述方法可包含使所述经再取样图片中的每一块与包含所述参考图片中的并置块的切片的切片标头相关联。所述块可具有16×16的块大小。
在本发明的某些实施例中，一种具有存储在其上的指令的非暂时性计算机可读存储 媒体，所述指令在被执行时致使包括至少一个处理器的设备对参考图片的视频信息再取样以获得经再取样图片。所述参考图片可具有多个切片及与待编码的图片不同的图片大小。此外，所述设备可确定所述经再取样图片中的多个切片的切片定义。所述经再取样图片的所述多个切片可对应于所述参考图片的多个切片。另外，所述设备可至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则。响应于确定所述经再取样图片的所述多个切片中的至少一者不满足至少一个切片定义规则，所述设备可修改所述经再取样图片中的所述多个切片中的不满足所述至少一个切片定义规则的至少一些切片的所述切片定义以便满足所述切片定义规则。
在一些情况下，所述设备进一步经配置以通过确定来自所述经再取样图片的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片中的所述多个切片中的每一者是否满足所述一或多个切片定义规则。此外，所述设备可进一步经配置以通过以下操作来修改所述经再取样图片的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的切片定义：修改所述多个切片中的包含部分块的至少一个切片的切片定义以(1)从所述切片定义移除部分LCU；或(2)在所述切片定义中包含对应于所述部分LCU的整个LCU。另外，所述设备可进一步经配置以通过将所述多个经再取样切片的至少一个切片划分为多个子切片而修改所述经再取样图片中的所述多个切片中的不满足至少一个切片定义规则的至少一些切片的所述切片定义。
在本发明的某些实施例中，呈现一种经配置以译码视频信息的设备。所述设备可包含用于存储与图片相关联的视频信息的装置及用于对所述图片的视频信息再取样以获得经再取样图片的装置。所述图片可具有多个切片。此外，所述设备可包含用于确定所述经再取样图片的多个经再取样切片的切片定义的装置。所述经再取样图片的所述多个切片可对应于所述图片的多个切片。另外，所述设备可包含用于至少部分基于所述切片定义而确定所述经再取样图片的所述多个切片中的每一者是否满足一或多个切片定义规则的装置。此外，所述设备可包含用于响应于确定所述经再取样图片的所述多个切片中的至少一者不满足所述一或多个切片定义规则中的至少一者而修改所述经再取样图片的所述多个切片中的至少一些切片的切片定义的装置。
在一些情况下，所述用于存储视频信息的装置、用于再取样的装置、用于确定切片定义的装置、用于确定的装置及用于修改的装置中的至少两者包括相同的装置。此外，所述用于确定的装置可进一步经配置以通过确定来自所述经再取样图片的所述多个切片的切片是否包含部分LCU而确定所述经再取样图片的所述多个切片中的每一者是否 满足所述一或多个切片定义规则。另外，所述用于修改的装置可进一步经配置以通过以下操作来修改所述经再取样图片的所述多个切片中的至少一些切片的切片定义：修改所述多个切片中的包含部分LCU的至少一个切片的切片定义以(1)从切片定义移除部分LCU；或(2)在切片定义中包含对应于部分LCU的整个LCU。此外，所述用于修改的装置可进一步经配置以通过将所述多个切片中的至少一个切片划分为多个子切片而修改所述经再取样层的所述多个切片中的至少一些切片的所述切片定义。
附图说明
在整个图式中，参考数字被再使用以指示参考元件之间的对应关系。提供图式以说明本文中描述的发明性标的物的实施例，且不限制其范围。
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统的框图。
图2A是说明可实施根据本发明中描述的方面的技术的单层视频编码器的实例的框图。
图2B是说明可实施根据本发明中描述的方面的技术的多层视频编码器的实例的框图。
图3A是说明可实施根据本发明中描述的方面的技术的单层视频解码器的实例的框图。
图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器的实例的框图。
图4A到4C说明产生经再取样图片(例如，经上取样的基础层图片)的第一实例。
图5A到5C说明产生经再取样图片(例如，经上取样的基础层图片)的第二实例。
图6呈现说明用于对基础层图片上取样的过程的第一实例的流程图。
图7呈现说明用于对基础层图片上取样的过程的第二实例的流程图。
具体实施方式
本发明中描述的技术一般涉及视频译码、可缩放视频译码(SVC，SHVC)、多视图译码及3D视频译码。例如，所述技术可与高效率视频译码(HEVC)及其可缩放视频译码(SVC，SHVC)扩展相关，且与其一起使用或在其内。如上文所提及，在根据SVC扩展而被译码的视频中，可存在多层视频信息。在极底层级处的层可充当基础层(BL)，且在极顶部处的层可充当增强型层(EL)。“增强型层”有时被称作“增强层”，且这些术语可 互换地使用。所有在中间的层可充当EL或BL，或其两者。例如，在中间的层可为在其下方的层(例如基础层或任何介入增强层)的EL，且同时充当在其上方的增强层的BL。
仅出于说明的目的，本发明中描述的技术是使用仅包含两个层(例如，例如基础层等较低层级的层及例如增强型层等较高层级的层)的实例进行描述的。应理解，本发明中描述的实例也可扩展到具有多个基础层及增强层的实例。
多视图视频译码(MVC)是H.264/AVC的扩展。在一些实施例中，MVC也是指3维或3D译码。本文中描述的方法及装置适用于MVC及其它多视图视频译码标准及实施方案。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，即高效率视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。截至2012年6月7日，可从http://wg11.sc29.org/jct/doc_end_user/current_document.php？id＝5885/JCTVC-I1003-v2得到HEVC的最近草案。截至2012年6月7日，可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下载被称作“HEVC工作草案7”的HEVC标准的另一最近草案。对HEVC工作草案7的完全引用是布洛斯等人的文献HCTVC-I1003“高效率视频译码(HEVC)文本规范草案7(High Efficiency Video Coding(HEVC)Text Specification Draft 7)”，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第9次会议：瑞士日内瓦，2012年4月27日到2012年5月7日。这些参考文献中的每一者以全文引用的方式并入本文中。
可缩放视频译码(SVC)可用于提供质量(还被称作信噪比(SNR))可缩放性、空间可缩放性及/或时间可缩放性。增强型层可具有与基础层不同的空间分辨率。举例来说，EL与BL之间的空间纵横比可为1.0、1.5、2.0或其它不同比率。换句话说，EL的空间方面可等于BL的空间方面的1.0、1.5或2.0倍。在一些实例中，EL的缩放因数可大于BL。举例来说，EL中的图片的大小可大于BL中的图片的大小。以此方式，可有可能(但不限制)EL的空间分辨率大于BL的空间分辨率。
在对H.264的SVC扩展中，可使用针对SVC提供的不同层来执行对当前块(例如，EL中的当前块)的预测。此预测可被称为层间预测。可在SVC中利用层间预测方法以便减少层间冗余，借此提高译码效率且降低计算资源要求。层间预测的一些实例可包含层间帧内预测、层间运动预测及层间残差预测。层间帧内预测使用基础层中的位于同一地 点的块的重构来预测增强层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预测使用基础层的残差来预测增强层的残差。
在一些实施例中，可基于基础层创建增强层。例如，上取样滤波(有时被称作再取样滤波)可应用于基础层以便增加基础层的空间分辨率以创建或用于创建(例如，作为参考图片)增强层。此过程可被称为空间可缩放性。
可将基础层划分成可包含一或多个译码树单元的若干切片。通常(虽然不一定)，可由遵循光栅扫描模式的系统(例如，编码器或解码器)处理切片。在遵循光栅扫描模式处理切片时，可一次一行地逐块地处理构成切片的译码树单元。
在基础层经上取样以创建或将用于创建增强层时，可类似地增加切片的大小。换句话说，如果基础层增加了两倍，那么基础层的每一切片可增加两倍。因此，可不再组织增强层的切片以满足光栅扫描处理规则。换句话说，在一些情况下，当在增强层的处理期间遵循光栅扫描次序时，可掺杂切片的块，以使得可在已经完全处理第一切片之前处理来自第二切片的块。此外，在一些情况下，创建经上取样的层可产生包含部分译码树单元的切片。一般来说，每一切片与包含切片专有信息的切片标头相关联。在跨越切片拆分编码树单元时，确定包含编码树单元的切片的适当的切片标头信息可为复杂的，且导致译码低效及其它不合意的结果。
有利的是，本发明的实施例可修改或重新组织可为增强层及/或可用于创建增强层的经上取样的基础层的切片定义，从而维持光栅扫描处理次序。本发明的方法可分析经上取样的层或增强层的切片定义，且划分切片以使得可在处理另一切片之前使用光栅扫描处理时整体地处理每一切片及新创建的切片。此外，本文中揭示的技术可修改增强层中的切片的划分以防止将部分译码树单元包含在切片中。
下文参考附图更充分地描述新颖系统、设备及方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。而是，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过技术方案的一或多个要素来体现本文中所揭示的任何方面。
尽管本文描述了特定方面，但这些方面的许多变化和排列属于本发明的范围。尽管提及优选方面的一些益处及优点，但本发明的范围无意限于特定益处、用途或目标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络和传输协议，其中的一些是作为实例而在图中以及在优选实施例的以下描述中得以说明。详细描述和图式仅说明本发明，而不是限制由所附权利要求书及其等效者界定的本发明的范围。
实例视频编码和解码系统
图1为说明可利用根据本发明中描述的方面的技术的实例视频编码及解码系统10的框图。例如，系统10的各种模块可经配置以执行下文相对于图4到7更详细地描述的增强层创建技术。
如图1中所示，系统10包含源装置12，所述源装置12提供经编码视频数据以在稍后时间由目的地装置14解码。具体来说，源装置12可经由计算机可读媒体16将视频数据提供给目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或其类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线路。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据传输 到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器，等等)，或适合于存取存储于文件服务器上的经编码视频数据的以上两者的组合。经编码视频数据从存储装置的传输可能是流式传输、下载传输或两者的组合。
本发明的技术不必限于无线应用或环境。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包含集成显示装置。
图1的所说明的系统10只是一个实例。用于确定当前块的运动向量预测符的候选列表的候选者的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可通过视频预处理器来执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供传输到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频存档及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装 置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。在每一种情况下，可由视频编码器20编码所俘获、经预先俘获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可例如经由网络传输、直接有线通信等从源装置12接收经编码视频数据且将经编码视频数据提供给目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码视频数据并且生产容纳经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20界定的语法信息，所述语法信息还供视频解码器30使用，所述语法信息包含描述块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可以根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准，包含但不限于上文所列的标准中的任一者。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。虽然在图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当的MUX-DEMUX单元或其它硬件及软件，以处置对共同数据流或单独数据流中的音频及视频两者的编码。如果适用的话，MUX-DEMUX单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多 个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如蜂窝式电话。
一些HEVC标准化工作是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码装置根据(例如)ITU-T H.264/AVC相对于现有装置的若干额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述视频帧或图片可以分成包含亮度及色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单元(LCU，其在像素数目方面为最大译码单元)的大小。切片包含呈译码次序的多个连续树块。视频帧或图片可以被分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供相对应的CU的语法数据。举例来说，四叉树中的一节点可包含一分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。CU的语法元素可以递归地界定，且可以取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的显式分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，那么这四个8×8子CU将也被称作叶CU，虽然16×16CU从未分裂。在一些实施例中，可将CU拆分成两个子CU，或某一其它数目的子CU。
CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以界定树块可以分裂的最大次数，被称作最大CU深度，并且还可界定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指代在HEVC的情况下的CU、PU或TU或在其它标准的情况下的类似数据结构(例如，H.264/AVC中的宏块及其子块)中的任一者。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以在从8×8像素直 到具有最大64×64像素或更大的树块的大小的范围内。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树被分割为一或多个TU。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU界定的给定CU内的PU的大小而设置，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可以使用被称为“残差四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，可以将所述变换系数量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残差四叉树(RQT)中，残差四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含界定PU的一或多个运动向量的数据。界定PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考帧，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它的子TU。当TU未经进一步分裂时，其可被称作叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，一般应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残差值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可以与相同CU的相对应的叶TU并置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残差四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU 被称作叶TU。一般来说，除非以其它方式提及，否则本发明分别使用术语CU及TU来指叶CU及叶TU。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它处的语法数据，其描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％及75％。CU的对应于25％分区的部分由“n”继之以“上”、“下”、“左”或“右”的指示来指示。因此，例如，“2N×nU”是指经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。
在本发明中，“N×N”与“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代视频块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，并且在水平方向上具有16个像素(x＝16)。同样地，N×N块一般在垂直方向上具有N个像素，且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可按行及列布置。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M像素，其中M未必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后，视频编码器20可以计算CU的TU的残差数据。PU可包括描述产生空间域(还被称作像素域)中的预测性像素数据的方法或模式的语法数据且TU可包括在对残差视频数据应用变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)之后的变换域中的系数。残差数据可以对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残差数据的TU，并且接着变换TU以产生用于CU的变换系数。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些系数或全部相关联的位深度。举例来说，可在量化期间将n位值向下舍入 到m位值，其中n大于m。
视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的帧的数目，且帧语法数据可指示用以编码相对应的帧的编码/预测模式。
实例视频编码器
图2A为说明可实施根据本发明中描述的方面的技术的视频编码器20的实例的框图。视频编码器20可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频编码器20可经配置以执行本发明的技术中的任一者或全部。图2A中所描绘的实例是针对单层编解码器。然而，如将关于图2B进一步描述，可复制视频编码器20中的一些或全部以用于多层编解码器的处理。
视频编码器20可执行视频切片内的视频块的帧内及帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频帧内的当前视频块。在图2的实例中，视频编码器20包含再取样单元90、模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包含反量化单元58、反变换单元60，及求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重构视频移除成块性假影。必要时，解块滤波器通常将对求和器62的输出进行滤波。除解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未展示此类滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。在一些情况下，再取样单元90可对所接收的视频帧的基础层上取样以(例如)创建增强层。再取样单元90可对与帧的所接收的基础层相关联的特定信息上取样，但不对其它信息上取样。例如，再取样单元90可对基础层的空间大小或像素数目上取样，但切片的数目或图片次序计数可保持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例如，在一些情况下，模式选择单元40可执 行上取样。在一些实施例中，再取样单元90经配置以对层上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。例如，再取样单元90可经配置以执行下文相对于图4A到7所描述的方法。虽然主要描述为对基础层或存取单元中的较低层上取样，但在一些情况下，再取样单元90可对层下取样。例如，如果在视频的流式传输期间减小带宽，那么可对帧下取样而不是上取样。
运动估计单元42及运动补偿单元44相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行对所接收的视频块的帧内预测译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，以便为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可起初将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。在一些实施例中，分割单元48可为基于参考帧、参考图片列表、先前帧及/或与帧自身相关联的信息来预测帧的分区的预测分割单元48。模式选择单元40可进一步产生指示将LCU分割成若干子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残差块数据，并且提供到求和器62以便重构经编码块用作参考帧。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息及其它此类语法信息)提供到熵编码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的移位。预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算经帧间译码 切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可以涉及基于由运动估计单元42确定的运动向量提取或产生预测块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44便可以在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测或计算。明确地说，帧内预测单元46可以确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独编码回合期间使用各种帧内预测模式对当前块进行编码，且帧内预测单元46(在一些实例中，或为模式选择单元40)可从所测试的模式中选择将使用的适当的帧内预测模式。
举例来说，帧内预测单元46可以使用速率失真分析计算针对各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪种帧内预测模式对于所述块展现最佳速率失真值。
在选择了用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示所选帧内预测模式的信息进行编码。视频编码器20可在所传输的位流中包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个修改的帧内预测模式索引表(还被称作码字映射表)、编码用于各种块的上下文的界定，及用于所述上下文中的每一者的最可能的帧内预测模式、帧内预测模式索引表及修改的帧内预测模式索引表的指示。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据形成残差视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子频带变换或其它类型的变换。在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域，例如频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54将变换系数量化以进一步减小位速率。量化过程可减少与系数中的一些系数或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。
在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下，上下文可以基于相邻块。在熵编码单元56的熵译码之后，可以将经编码位流传输到另一装置(例如视频解码器30)，或者将所述视频存档用于以后传输或检索。
反量化单元58及反变换单元60分别应用反量化及反变换以在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可以通过将残差块添加到参考帧存储器64的帧中的一者的预测块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重新构造的残差块以计算子整数像素值以用于运动估计。求和器62将经重构的残差块添加到由运动补偿单元44产生的经运动补偿的预测块以产生经重构参考块以供存储在参考帧存储器64中。经重构视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
实例多层视频编码器
图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器21的实例的框图。视频编码器21可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频编码器21可经配置以执行本发明的技术中的任一者或全部。
视频编码器21包含视频编码器20A及视频编码器20B，其中的每一者可经配置为视频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所指示，视频编码器20A、20B可包含系统及子系统中的至少一些以作为视频编码 器20。虽然将视频编码器21说明为包含两个视频编码器20A、20B，但视频编码器21不被如此限制且可包含任何数目的视频编码器20层。在一些实施例中，视频编码器21可包含用于存取单元中的每一图片或帧的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的视频编码器处理或编码。在一些实施例中视频编码器21可包含比存取单元中的帧更多的编码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。
除了视频编码器20A、20B之外，视频编码器21可包含经配置以从较低层编码器(例如，视频编码器20A)的参考帧存储器64接收图片或帧(或与所述图片相关联的图片信息)且对所述图片(或所接收的图片信息)再取样的再取样单元90。随后可将经再取样图片提供到较高层编码器(例如，视频编码器20B)的模式选择单元40，所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的图片。在一些情况下，较高层编码器为从较低层编码器移除的一个层。在其它情况下，在图2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。视频编码器21的再取样单元90可包含相对于视频编码器20的再取样单元90所描述的实施例中的一些或全部。例如，再取样单元90可经配置以对从视频编码器20A的参考帧存储器64接收的图片上取样或下取样。
在一些情况下，可省略或绕过再取样单元90。在此些情况下，可直接提供来自视频编码器20A的参考帧存储器64的图片，或至少不提供到再取样单元90，不提供到视频编码器20B的模式选择单元40。例如，如果提供到视频编码器20B的视频数据及来自视频编码器20A的参考帧存储器64的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频编码器20B而不需要再取样。
在一些实施例中，视频编码器21使用下取样单元94对将提供到较低层编码器的视频数据下取样，之后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够对视频数据上取样或下取样的再取样单元90。在又其它实施例中,可省略下取样单元94。
如图2B中所说明，视频编码器21可进一步包含多路复用器98或mux。mux 98可输出来自视频编码器21的组合位流。可通过从视频编码器20A、20B中的每一者取得位流且使在给定时间处输出位流交替而创建所述组合位流。同时在一些情况下，可一次一位地交替来自两个(或在两个以上视频编码器层的情况下更多)位流的位，在许多情况下，不同地组合所述位流。例如，可通过一次一块地交替选定位流而创建输出位流。在另一实例中，可通过从每一视频编码器20A、20B输出非1:1比率的块而创建输出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一 些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从视频编码器21外部的系统(例如从源装置12上的处理器)接收的控制信号而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、基于计算机可读媒体16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定从视频编码器21输出的所要的分辨率的任何其它因素而产生控制信号。
实例视频解码器
图3A是说明可实施根据本发明中描述的方面的技术的视频解码器30的实例的框图。视频解码器30可经配置以处理视频帧的单层(例如针对HEVC)。此外，视频解码器30可经配置以执行本发明的技术中的任一者或全部。图3A中所描绘的实例是针对单层编解码器。然而，如将关于图3B进一步描述，可复制视频编码器30中的一些或全部以用于多层编解码器的处理。
在图3的实例中，视频解码器30包含再取样单元92、熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储器82及求和器80。视频解码器30在一些实例中可执行一般与关于视频编码器20(图2)所描述的编码回合互逆的解码回合。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间，视频解码器30从视频编码器20接收表示经解码视频切片和相关联的语法元素的视频块的经编码视频位流。视频解码器30的熵解码单元70熵解码位流以产生经量化的系数、运动向量或帧内预测模式指示符及其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可以接收在视频切片层级和/或视频块层级处的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发送的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频帧被译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于运动向量及从熵解码单元70接收的其它语法元素而产生用于当前视频切片的视频块的预测块。可以从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于参考帧存储器82中的参考图片使用默认建构技术来建构参考帧列表：列表0及列表1。
在一些实施例中，上取样单元92可对所接收的视频帧的基础层上取样以创建将添加到用于帧或存取单元的参考图片列表的增强型层。可将此增强型层存储在参考帧存储 器82处。在一些实施例中，上取样单元92可包含相对于再取样单元90所描述的实施例中的一些或全部。在一些实施例中，上取样单元92经配置以对层上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片边界规则及/或光栅扫描规则。例如，上取样单元92可经配置以执行下文相对于图4A到7所描述的方法。在一些情况下，上取样单元92可为经配置以对所接收的视频帧的层上取样及/或下取样的再取样单元。
运动补偿单元72通过解析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测块。举例来说，运动补偿单元72使用所接收的语法元素中的一些语法元素来确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的建构信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态，及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在编码视频块期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据所接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，例如解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应该应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残差块。
在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测块之后，视频解码器30通过对来自反变换模块78的残差块与由运动补偿单元72产生的对应预测块求和而形成经解码视频块。求和器80表示可执行此求和运算的组件。必要时，还可应用解块滤波器以对经解码块进行滤波以便移除成块性假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器或参考帧存储器82中，其存储参考图片用于后续运动补偿。参考帧存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
实例多层解码器
图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例的 框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。此外，视频解码器31可经配置以执行本发明的技术中的任一者或全部。
视频解码器31包含视频解码器30A及视频解码器30B，其中的每一者可经配置为视频解码器30且可执行上文相对于视频解码器30所描述的功能。此外，如再使用参考数字所指示，视频解码器30A、30B可包含系统及子系统中的至少一些以作为视频解码器30。虽然将视频解码器31说明为包含两个视频解码器30A、30B，但视频解码器31不被如此限制且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器31可包含用于存取单元中的每一图片或帧的视频解码器30。例如，可由包含五个解码器层的视频解码器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器31可包含比存取单元中的帧更多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
除了视频解码器30A、30B之外，视频解码器31可包含经配置以从较低层解码器(例如，视频解码器30A)的参考帧存储器82接收图片或帧(或与所述图片相关联的图片信息)且对所述图片(或所接收的图片信息)上取样的上取样单元92。随后可将此经上取样的图片提供到较高层解码器(例如，视频解码器30B)的运动补偿单元72，所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。视频解码器31的上取样单元92可包含相对于视频解码器30的上取样单元92所描述的实施例中的一些或全部。例如，上取样单元92可经配置以对从视频解码器30A的参考帧存储器82接收的图片上取样。
在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接提供来自视频解码器30A的参考帧存储器82的图片，或至少不提供到上取样单元92，不提供到视频解码器30B的运动补偿单元72。例如，如果提供到视频解码器30B的视频数据及来自视频解码器30A的参考帧存储器82的参考图片具有相同的大小或分辨率，那么可将参考图片提供到视频解码器30B而不需要上取样。在一些实施例中，可将来自上取样单元92的经上取样的参考图片提供到视频解码器30B的帧内预测单元74以作为运动补偿单元72的替代或补充。另外，在一些实施例中，上取样单元92可为经配置以对从视频解码器30A的参考帧存储器82接收的参考图片上取样或下取样的再取样单元90。
如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。demux 99可将经编码视频位流拆分为多个位流，其中由demux 99输出的每一位流被提供到不同的视频解码器30A、30B。可通过接收位流及视频解码器30A、30B在给定时间处接收 的位流的一部分而创建多个位流。虽然在一些情况下，可在视频解码器(例如，在视频解码器30的实例中的视频解码器30A及30B)中的每一者之间一次一位地交替来自在demux 99处所接收的位流的位，但在许多情况下，不同地划分所述位流。例如，可通过一次一块地交替视频解码器接收的位流而划分所述位流。在另一实例中，可通过非1:1比率的块将位流划分给每一视频解码器30A、30B。举例来说，可针对提供到视频解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux 99对位流的划分。在其它实施例中，demux 99可基于从视频解码器31的外部的系统(例如从目的地装置14上的处理器)接收的控制信号而划分所述位流。可基于来自输入接口28的视频的分辨率或位速率、基于计算机可读媒体16的带宽、基于与用户相关联的预订(例如，付费预订对免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生控制信号。
第一实例经上取样基础层
图4A到4C说明产生可包含在参考图片列表中、可以用于产生增强层及/或可以用于利用经上取样层的任何其它过程中的经上取样层(例如，经上取样的基础层)的第一实例。在图4A到4C的实例中，所描绘的帧可表示相同的帧，但不一定是帧内的相同层。换句话说，所描绘的帧可为相同存取单元的部分。图4A中说明的层402可表示帧的基础层。然而，在其它情况下，所述层可为任何其它层，例如若干增强层中的一者。
如图4A中所说明，层402可包含若干切片404A、406A。可从两个切片404A、406A之间的切片边界430A识别所述两个切片之间的划分。可通过与将帧划分为译码单元的栅格线相比增加的厚度的切片边界430A来区分切片边界430A与所述栅格线。
切片中的每一者可与切片专有的信息及/或切片专有的语法信息相关联。此切片信息可包含在用于每一切片404A、406A的切片标头中或可存储在其它地方且例如经由映射表或其它数据结构而与切片相关联。所述切片信息可包含可与切片相关联的任何类型的信息，例如图片次序计数、彩色平面、切片中的第一译码树块的地址等。此切片信息可由HEVC标准定义。然而，所述切片信息不被如此限制且可包含其它基于标准的信息及/或可与或可不与特定标准相关联的应用专有信息。
可将层402划分成若干译码单元或译码树单元(CTU)，如由栅格线所指示。译码单元可具有不同的像素大小。例如，译码单元可为16×16像素或64×64像素。在一些情况下，所述译码单元可被称为最大译码单元(LCU)。切片404A、406A可包含若干LCU。在所描绘的实例中，切片404A包含5个LCU且切片406A包含11个LCU。虽然将层402的每一块或CTU描绘为相等大小，但在一些实施例中，层402的CTU可在大小上 变化。
一般来说，层402可表示基础层。然而，层402不被如此限制。在一些情况下，层402可为包含在与下文描述的层412相同的存取单元中的任何层。
图4B描绘层402、层412的经上取样版本。层412可表示可包含在与对应的基础层(例如，层402)相关联的参考图片列表中的参考层或参考图片。在一些情况下，此经上取样层412可用于产生增强层。此外，层412可为与和层402相同的存取单元及/或时间点相关联的层间参考图片。如图4B中所说明，层412表示通过2×对层402的上取样，或并矢上取样。在一些情况下，上取样可包含缩放。例如，在应用2×上取样时，层412内的每一方框或译码单元可为层402中的每一方框或译码单元的长的2×和宽的2×。在其它情况下，经上取样层412的每一方框或译码单元可为与层402中的方框或译码单元相同的大小。在一些情况下，上取样被约束到特定尺度，例如整数尺度(例如，2×、3×、5×等)。在其它情况下，上取样可不受限制且可包含基于非整数的上取样(例如，1.5×、3.3×等)。此外，虽然本文中的实施例主要使用上取样来描述，但一些实施例可包含下取样(例如，0.5×)。
与层402一样，可将层412划分成若干切片404B、406B。可从两个切片404B、406B之间的切片边界430B识别所述两个切片之间的划分。这些切片404B\406B可对应于从其对层412上取样的层(其在所说明的实例中是层402)的切片。因此，在图4B的实例中，切片404B对应于切片404A且包含至少一些与404A相同的切片信息，且切片406B对应于切片406A且包含至少一些与406A相同的切片信息。此外，切片边界430B可以对应于切片边界430A如何划分层402的方式划分层412。因此，切片404B可包含与切片404A按比例相等数目的LCU，且切片406B可包含与切片406A按比例相等数目的LCU。例如，可与层402的上取样成比例地对切片404A及406A上取样，以使得经上取样的切片404B、406B及基础层切片404A、406A之间的空间尺度与经上取样的参考层412与基础层402之间的尺度相同。
以光栅扫描次序(例如，从左到右及从上到下)存取帧的LCU常常是合意的且在一些情况下是所需的。此外，整体地处理一切片之后处理另一切片常常是合意的且在一些情况下是所需的。这些要求有时被称作光栅扫描处理规则。其它规则也可以包含在光栅扫描处理规则集合中。满足光栅扫描处理规则常常是合意的(如果不要求)，使得子系统(例如，译码/解码系统或处理器)可与预先存在的系统一起作用。换句话说，不满足光栅扫描处理规则的编码器可能不可与现有的图像处理系统一起操作。层412不满足光栅扫描处理规则，因为(例如)然而，从对层402上取样获得的层412不允许整体地处理切片 404B(例如，编码、解码等)，之后在处理切片406B的同时以光栅扫描次序维持处理。换句话说，以光栅扫描次序处理层412的第三行LCU将导致在完全处理切片404B之前处理切片406B的第一行块。
在某些实施例中，可重新定义切片以促进以光栅扫描次序处理经上取样层412且致使在处理后续切片之前完全处理每一切片。图4C说明修改层412以获得层422的实例，其满足光栅扫描处理规则。在图4C的实例中，划分层412的切片以在层422中创建两个新切片。换句话说，重新定义层422的切片以使得可以光栅扫描次序整体地处理每一切片。此外，包含在来自层412的对应切片的切片标头中的切片信息可与层422的切片相关联。因此，切片440A可包含切片404B中所包含的切片信息中的至少一些，且切片440B可包含切片404B中所包含的切片信息中的至少一些。同样，切片442A可包含切片406B中所包含的切片信息中的至少一些，且切片442B可包含切片406B中所包含的切片信息中的至少一些。此外，在一些情况下，切片440A及440B可在它们的相应的切片标头中包含相同的切片信息。相对于图6更详细地描述用于对层402上取样及重新定义层402的经上取样的版本的切片的过程。
第二实例经上取样的基础层
图5A到5C说明产生可包含在参考图片列表中、可以用于产生增强层及/或可以用于利用经上取样层的任何其它过程中的经上取样层(例如，经上取样的基础层)的第二实例。在图5A到5C的实例中，所描绘的帧可表示相同的帧，但不一定是帧内的相同层。换句话说，所描绘的帧可为相同存取单元的部分。图5A中说明的层502可表示帧的基础层。然而，在其它情况下，所述层可为任何其它层，例如若干增强层中的一者。在一些情况下，参考层可用作增强层或用于导出增强层。
如图5A中所说明，层502可包含若干切片504A、506A。可从两个切片504A、506A之间的切片边界530A识别所述两个切片之间的划分。如先前相对于图4A到4C所描述，切片504A、506A中的每一者可与可在切片标头或与每一切片相关联的数据结构中的切片专有的信息及/或语法信息相关联。此外，如相对于图4A到4C所描述，每一切片504A、506A可由一或多个LCU组成。
图5B描绘层502的经上取样版本，层512。层512可表示可包含在与对应的基础层(例如，层502)相关联的参考图片列表中的参考层。此外，层512可为包含在与层502相同的存取单元及/或时间点中的层间参考图片。如图5B中所说明，层512表示通过1.5×对层502的上取样。此外，如上文相对于图4B所描述，可基于受约束的一组上取样选项对层502上取样。替代地，可通过任何速率对层502上取样。此外，在一些情况下， 可对层502下取样。
与层502很相似，可将层512划分成若干切片504B、506B。可从切片边界530B识别所述两个切片之间的划分。在一些情况下，切片504B、506B分别对应于层502的切片504A、506A。一般来说，切片504B、506B共享来自对应切片504A、506A的切片信息中的至少一部分。此外，与切片边界430B一样，切片边界530B可以对应于切片边界530A如何划分层502的方式来划分层512。因此，例如，切片504B可包含与层502的切片504A相等百分比的总层512。在某些实施例中，对层502上取样可导致切片边界530B将LCU中的至少一些划分为分数，如图5B中所说明。
如先前论述，在处理另一切片之前整体地处理一切片常常是合意的。此外，需要以光栅扫描次序处理切片。另外，切片包括整个LCU常常是合意的。由整个LCU而不是部分LCU定义切片的一个原因是防止多个切片在其切片标头中虑及LCU。在某些实施例中，在LCU之间不拆分块是合意的，因为一些处理操作(例如一些帧内预测操作)包含确定邻近块是否共享LCU。在跨越切片边界划分块时，可难以识别哪一块是相邻者及/或邻近块是否与正被处理的块共享切片。此外，通过确保块未被切片边界划分，可在一些情况下使用较少的处理资源执行解码及编码。此外，为了更有效地译码视频信息，需要视频信息满足光栅扫描处理规则，其包含在一些情况下以光栅扫描次序整体地处理每一块。
在某些实施例中，可重新定义切片以包含整个或全部LCU而不是包含部分LCU。重新定义切片可包含上舍入或附加未包含在切片中的LCU的一部分，使得所述切片包含整个LCU块。或者，重新定义切片可包含下舍入或排除包含在切片中的部分LCU。在一些情况下，重新定义切片可包含附加LCU的一部分及排除另一LCU的一部分的组合。此外，在某些情况下，可以在使对切片的改变的数目最小化的同时满足光栅扫描处理规则的方式来重新定义切片。
图5C说明修改层512以获得层522(其仅包含整个LCU)的实例。重新定义层522的切片以使得每一切片仅包含完整或整个LCU。此外，包含在来自层512的对应切片的切片标头中的切片信息可与层522的切片相关联。因此，切片504C可包含切片504B中所包含的切片信息中的至少一些。同样，切片506C可包含切片506B中所包含的切片信息中的至少一些。此外，在一些情况下，层522的切片中的一些可按比例地比层512的对应切片更大或更小。举例来说，在所说明的实例中，切片504C大于504B，但切片506C小于506B。相对于图7更详细地描述用于对层502上取样及重新定义层502的经上取样的版本的切片的过程。
在图5C的实例中，通过在层522中向右下方移动层512的切片边界530B来修改切片。然而，在一些情况下，有可能以其它方式调整切片边界530B。例如，可能已经向左下方移动切片边界530B以使得LCU 562包含在切片506C而不是切片504C中。在一些情况下，可修改切片边界530B及/或切片以使译码单元关联中的改变最小化。或者，或另外，可修改切片边界530B及/或切片以得到更接近相等大小的切片。在一些情况下，可修改切片边界530B及/或切片以使得特定切片是最大切片、最小切片或与某一其它切片成比例。在其它情况下，可修改切片边界530B及/或切片以使得仅切片边界530B的与LCU相交以使得LCU不完全包含在单一切片中的部分被修改。
应注意，虽然出于两个单独的目的将图4A到4C及5A到5C描述为用于重新定义参考层的切片的两个单独的实例，但可组合所述两个实例。换句话说，可修改参考层的切片以仅包含整个LCU块，且可进一步划分切片以维持光栅扫描次序处理。因此，下文相对于图6及7描述的过程可相对于相同的帧及/或存取单元而组合及/或执行。此外，虽然已主要使用上取样来描述所述实例，但应理解，本文中描述的系统及过程可适于在对图片或帧下取样时使用。
用于对基础层上取样的第一实例过程
图6呈现说明用于从经上取样的基础层产生参考层的过程600的第一实例的流程图。可由可对层上取样的任何系统实施过程600。例如，可由视频编码器20、视频解码器30、再取样单元90、运动估计单元42、运动补偿单元44、帧内预测单元46、分割单元48、上取样单元92、运动补偿单元72及帧内预测单元74(仅列举数例)来整体或部分地实施过程600。虽然任何数目的系统可整体或部分地实施过程600，但为了简化论述，将相对于特定系统描述过程600。在一些情况下，系统可对层上取样以用于从基础层创建增强层图片。
过程600开始于框602处，其中(例如)再取样单元90或其它单元对帧的基础层或存取单元上取样以获得所述帧的参考层。如先前描述，可通过任何比率(例如1.5×、2×、3×等)对基础层上取样。此外，可在一些情况下对基础层下取样。对基础层上取样可包含对基础层的尺度或空间分辨率、层的明度及色度(或YUV)数据、层的运动参数及层的可经上取样的任何其它数据中的一或多者上取样。在2013年9月24日申请的且标题为“用于可缩放视频译码的预测模式信息上取样(PREDICTION MODE INFORMATION UPSAMPLING FOR SCALABLE VIDEO CODING)”的第14/035,129号美国申请案中描述用于对层上取样的额外实施例，其在此以全文引用的方式并入。
虽然已主要相对于对帧的基础层上取样来描述本文中描述的实施例，但本发明的实 施例可应用于帧的其它层。例如，可对增强层上取样以获得参考层，所述参考层在一些情况下可用于产生帧的另一增强层。
在框604处，分割单元48或其它单元确定在框602处所产生的参考层的切片分割模式。确定切片分割模式可包含存取与参考层相关联的一或多个切片标头。或者，或另外，确定切片分割模式可包含存取与参考层相关联的元数据。此元数据可与参考层一起存储及/或存储在经配置以存储一或多个层及/或帧的元数据的数据结构处。
在决策框606处，分割单元48或其它单元确定每一切片是否满足光栅扫描模式。一般来说，为满足光栅扫描模式，切片经配置成以水平次序从左到右及从上到下逐排地处理。然而，本发明不被如此限制，且其它模式是可能的。例如，可垂直地而不是水平地配置切片，且可从上到下(或反之亦然)及从左到右(或反之亦然)处理每一切片。作为第二实例，可从左到右处理一组交替扫描线且可从右到左处理第二组交替扫描线。作为第三实例，可以对角线扫描次序处理LCU。不管所利用的特定光栅扫描模式如何，在利用基于光栅扫描的处理时，一般整体地处理一切片，之后处理另一切片。然而，在一些实施例中，可至少部分并联地处理多个切片。例如，在基于多处理器的系统中，可并联地处理至少一些切片。
确定每一切片是否满足光栅扫描模式可包含存取与每一切片切片标头相关联。在一些情况下，确定每一切片是否满足光栅扫描模式可包含确定由切片的最高列中的块或LCU的数目所测得的切片的高度是否不大于一个块或LCU、多于切片的最短列的高度。如图4B中所说明，如果应用水平扫描，那么切片404B及切片406B都将因为每一切片的列之间的视差大于一而不满足光栅扫描模式。换句话说，列1或列2(例如，HT1)及列3或后续列(例如，HT2)的高度之间的差是两个LCU。然而，层422的切片确实满足光栅扫描模式。虽然在以上实例中使用高度，但在其它实施例中可使用长度。一般来说，可以LCU块为单位测量高度。然而，在一些实施例中，可通过其它单位(例如像素数目)测量高度。在此类实施例中，确定每一切片是否满足光栅扫描模式可包含确定列之间的高度视差是否不多于使用光栅扫描模式处理的单一行的高度。
此外，在一些情况下，框606可通过确定切片是否包含一个以上不完整的扫描线而确定每一切片是否满足光栅扫描模式。不完整的扫描线可包含小于可包含在划分成LCU的层的一行中的LCU的总数的若干LCU。在一些情况下，决策框606可一次一个地分析每一切片或可并联地分析所述切片中的一些或全部。
如果分割单元48或其它单元在决策框606处确定切片中的至少一者不满足光栅扫描模式，那么所述单元在框608处将不满足光栅扫描模式的至少一个切片划分为满足光 栅扫描模式的多个切片。块608可包含基于将提供的切片的模式将至少一个切片划分为两个或更多个切片。如先前所指示，可基于与切片相关联的切片标头来确定切片模式。在框608处划分切片以便满足用于新创建的子切片的光栅扫描模式。在图4C中说明将切片划分为多个切片以满足光栅扫描模式的一个实例。
如图6中所说明，在完成与块608相关联的过程之后，过程600可返回到决策框606，其中分割单元48可确定用于参考层的经更新的切片分割模式是否满足光栅扫描模式。或者，过程600可在完成框608之后前进到框610。
如果在决策框606处，分割单元48确定参考层的每一切片确实满足光栅扫描模式，那么过程600前进到框610。在框610处，对于参考层的每一切片，分割单元48或其它单元将基础层中的位于同一地点的切片的切片信息指派或关联到参考层的切片。将位于同一地点的切片的切片信息指派或关联到参考层的对应切片可包含配置参考层的对应切片的切片标头以包含来自基础层中的位于同一地点的切片的切片标头的信息中的至少一些。
在一些实施例中，分割单元48或其它单元可将参考层添加到帧的参考图片列表。在一些实施例中，参考图片列表可以用于促进编码及/或解码帧。或者，另外，参考图片列表可以用于产生增强层。
用于对基础层上取样的第二实例过程
图7呈现说明用于从经上取样的基础层产生参考层的过程700的第二实例的流程图。可由可对层上取样的任何系统实施过程700。例如，可由视频编码器20、视频解码器30、再取样单元90、运动估计单元42、运动补偿单元44、帧内预测单元46、分割单元48、上取样单元92、运动补偿单元72及帧内预测单元74(仅列举数例)来整体或部分地实施过程700。虽然任何数目的系统可整体或部分地实施过程700，但为了简化论述，将相对于特定系统描述过程700。在一些情况下，系统可对层上取样以用于从基础层创建增强层图片。
过程700开始于框702处，其中(例如)再取样单元90对帧的基础层或存取单元上取样以获得帧的参考层。在某些实施例中，框702可包含相对于框602描述的实施例中的一些或全部。举例来说，框702可包含对增强层上取样以获得参考层，所述参考层在一些情况下可以用于创建帧的另一增强层。
在框704处，分割单元48或其它单元确定在框702处所产生的参考层的切片分割模式。类似于框702，框704可包含相对于框604描述的实施例中的一些或全部。举例来说，框704可包含通过存取与参考层相关联的一或多个切片标头而确定切片分割模式。
在决策框706处，分割单元48或其它单元确定参考层的切片中的任一者是否包含部分译码单元块。在某些实施例中，决策框706可包含先前相对于框606描述的实施例中的一或多者。例如，决策框706可通过存取与切片相关联的切片标头而确定切片是否包含部分译码单元块。此外，在一些实施例中，确定参考层的切片中的任一者是否包含部分译码单元块包含确定所述切片是否满足光栅扫描模式。此外，确定参考层的切片中的任一者是否包含部分译码单元块可包含确定切片边界(例如，切片边界530B)是否与LCU相交，以使得LCU部分包含在多个切片中(例如，如图5B中所说明)。
如果分割单元48确定切片确实包含部分译码单元块，那么在框708处，分割单元48或其它单元修改参考层的切片分割模式以仅包含整个译码单元块。与框708相关联的过程可包含扩展或修改切片以使得切片的一或多个部分译码单元块变得完全包含在切片内。此外，与框708相关联的过程可包含减小或修改切片以使得从切片排除切片的一或多个部分译码单元块。在图5C中说明修改切片以仅包含整个译码单元块的一个实例。
虽然未说明，但在一些情况下，框708可前进回到决策框706以确定经更新的切片分区及/或任何额外的切片是否包含任何部分译码单元块。
如果分割单元48确定没有切片包含部分译码单元块，那么过程700前进到框710。另外，过程700可在相对于至少一个切片完成框708之后前进到框710。在框710处，对于参考层的每一切片，分割单元48将基础层中的位于同一地点的切片的切片信息指派到参考层的切片。将位于同一地点的切片的切片信息指派到参考层的对应切片可包含配置参考层的对应切片的切片标头以包含来自基础层中的位于同一地点的切片的切片标头的信息中的至少一些。
在一些实施例中，分割单元48或其它单元可将参考层添加到帧的参考图片列表。在一些实施例中，参考图片列表可以用于促进编码及/或解码帧。或者，另外，参考图片列表可以用于产生增强层。
虽然独立地描述过程600及700，但在一些实施例中，可组合过程600及700。例如，可至少部分作为相同操作的部分、并行地或按顺序执行框606及706。此外，可至少部分作为相同操作的部分、并行地或按顺序执行框608及708。例如，框708可包含修改参考层的切片分割模式以仅包含整个译码单元块，同时满足光栅扫描处理规则，其可包含执行与框608相关联的过程以将一或多个切片划分为额外切片。
术语
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作 或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘使用激光以光学方式重现数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但不必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互 操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。