用于视频译码中的422样本格式的经译码块旗标CBF译码.pdf

本发明揭示用于视频译码的系统、方法和装置，所述系统、方法和装置可获得具有第一和第二正方形子块的矩形色度块。这些系统、方法和装置还可解码用于所述第一正方形子块的第一经译码块旗标CBF以指示所述第一正方形子块是否包含至少一个非零变换系数。这些系统、方法和装置还可解码用于所述第二正方形子块的第二CBF以指示所述第二正方形子块是否包含至少一个非零变换系数，且不解码用于所述矩形色度块的CRF。

权利要求书1.  一种解码视频数据的方法，所述方法包括： 获得具有第一和第二正方形子块的矩形色度块； 解码用于所述第一正方形子块的第一经译码块旗标CBF以指示所述第一正方形 子块是否包含至少一个非零变换系数； 解码用于所述第二正方形子块的第二CBF以指示所述第二正方形子块是否包含 至少一个非零变换系数；以及 不解码用于所述矩形色度块的CBF。 2.  根据权利要求1所述的方法，其中所述第一子块包括所述矩形色度块的顶部子块且 所述第二子块包括所述矩形色度块的底部子块。 3.  根据权利要求1所述的方法，其中所述矩形色度块具有4∶2∶2取样格式。 4.  根据权利要求1所述的方法，其中所述第一正方形子块是所述矩形色度块的顶部块 且所述第二正方形子块是所述矩形色度块的底部块。 5.  根据权利要求1所述的方法，其进一步包括： 使用所述变换系数产生残余数据；以及 使用所述残余数据重构经译码视频数据。 6.  一种编码视频数据的方法，所述方法包括： 将矩形色度块叶分裂为第一和第二正方形子块； 编码用于所述第一正方形子块的第一经译码块旗标CBF以指示所述第一正方形 子块是否包含至少一个非零变换系数； 编码用于所述第二正方形子块的第二CBF以指示所述第二正方形子块是否包含 至少一个非零变换系数；以及 不编码用于所述矩形色度块的CBF。 7.  根据权利要求6所述的方法，其中所述第一子块包括所述矩形色度块的顶部子块且 所述第二子块包括所述矩形色度块的底部子块。 8.  根据权利要求6所述的方法，其中所述矩形色度块具有4∶2∶2取样格式。 9.  根据权利要求6所述的方法，其中所述第一正方形子块是所述矩形色度块的顶部块 且所述第二正方形子块是所述矩形色度块的底部块。 10.  根据权利要求6所述的方法，其进一步包括： 使用所述变换系数产生残余数据；以及 使用所述残余数据编码视频数据。 11.  一种用于解码视频数据的设备，其包括： 一或多个处理器，其经配置以： 获得具有第一和第二正方形子块的矩形色度块； 解码用于所述第一正方形子块的第一经译码块旗标CBF以指示所述第一正方形 子块是否包含至少一个非零变换系数； 解码用于所述第二正方形子块的第二CBF以指示所述第二正方形子块是否包含 至少一个非零变换系数；以及 不解码用于所述矩形色度块的CBF。 12.  根据权利要求11所述的设备，其中所述第一子块包括所述矩形色度块的顶部子块 且所述第二子块包括所述矩形色度块的底部子块。 13.  根据权利要求11所述的设备，其中所述矩形色度块具有4∶2∶2取样格式。 14.  根据权利要求11所述的设备，其中所述第一正方形子块是所述矩形色度块的顶部 块且所述第二正方形子块是所述矩形色度块的底部块。 15.  根据权利要求11所述的设备，所述一或多个处理器进一步经配置以： 使用所述变换系数产生残余数据；以及 使用所述残余数据重构经译码视频数据。 16.  一种用于编码视频数据的设备，其包括： 一或多个处理器，其经配置以： 将矩形色度块分裂为第一和第二正方形子块； 编码用于所述第一正方形子块的第一经译码块旗标CBF以指示所述第一正方形 子块是否包含至少一个非零变换系数； 编码用于所述第二正方形子块的第二CBF以指示所述第二正方形子块是否包含 至少一个非零变换系数；以及 不编码用于所述矩形色度块的CBF。 17.  根据权利要求16所述的设备，其中所述第一子块包括所述矩形色度块的顶部子块 且所述第二子块包括所述矩形色度块的底部子块。 18.  根据权利要求16所述的设备，其中所述矩形色度块具有4∶2∶2取样格式。 19.  根据权利要求16所述的设备，其中所述第一正方形子块是所述矩形色度块的顶部 块且所述第二正方形子块是所述矩形色度块的底部块。 20.  根据权利要求16所述的设备，其中所述一或多个处理器进一步经配置以： 使用所述变换系数产生残余数据；以及 使用所述残余数据编码视频数据。 21.  一种用于对视频数据进行译码的设备，其包括： 用于获得具有第一和第二正方形子块的矩形色度块的装置； 用于对用于所述第一正方形子块的第一经译码块旗标CBF进行译码以指示所述 第一正方形子块是否包含至少一个非零变换系数的装置；以及 用于对用于所述第二正方形子块的第二CBF进行译码以指示所述第二正方形子 块是否包含至少一个非零变换系数的装置， 其中所述用于对所述第一CBF进行译码的装置和所述用于对所述第二CBF进行 译码的装置都不对用于所述矩形色度块的CBF进行译码。 22.  根据权利要求21所述的设备，其中所述用于对所述第一CBF进行译码的装置或所 述用于对所述第二CBF进行译码的装置进一步经配置以处理包括所述矩形色度块 的顶部子块的所述第一子块且处理包括所述矩形色度块的底部子块的所述第二子 块。 23.  根据权利要求21所述的设备，其进一步包括用于处理包括具有4∶2∶2取样格式的色 度块的所述第一子块和包括具有4∶2∶2取样格式的色度块的所述第二子块的装置。 24.  根据权利要求21所述的设备，其中所述第一正方形子块是所述矩形色度块的顶部 块且所述第二正方形子块是所述矩形色度块的底部块。 25.  根据权利要求21所述的设备，其中获得具有第一和第二正方形子块的矩形色度块 包括接收所述第一和第二正方形子块。 26.  根据权利要求21所述的设备，其中获得具有第一和第二正方形子块的矩形色度块 包括将所述矩形色度块分裂为所述第一和第二正方形子块。 27.  一种存储指令的非暂时性计算机可读存储媒体，所述指令在由一或多个处理器执行 后即刻致使所述一或多个处理器： 获得具有第一和第二正方形子块的矩形色度块； 对用于所述第一正方形子块的第一经译码块旗标CBF进行译码以指示所述第一 正方形子块是否包含至少一个非零变换系数； 对用于所述第二正方形子块的第二CBF进行译码以指示所述第二正方形子块是 否包含至少一个非零变换系数；以及 不对用于所述矩形色度块的CBF进行译码。 28.  根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述第一子块包括所 述矩形色度块的顶部子块且所述第二子块包括所述矩形色度块的底部子块。 29.  根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述矩形色度块具有 4∶2∶2取样格式。 30.  根据权利要求27所述的非暂时性计算机可读存储媒体，其中所述第一正方形子块 是所述矩形色度块的顶部块且所述第二正方形子块是所述矩形色度块的底部块。

说明书用于视频译码中的4:2:2样本格式的经译码块旗标(CBF)译码
本申请案主张2012年10月1日申请的第61/708,582号美国临时申请案的权益，所 述申请案特此以全文引用的方式并入本文中。
技术领域
本发明涉及视频译码，且更具体地说涉及与残余数据的分割相关的技术。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、 数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式 或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式发射装置及其 类似者。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC) 定义的标准、高效率视频译码(HEVC)标准，及此些标准的扩展。视频装置可通过实施此 类视频压缩技术来更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列 中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分) 可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用相对于同 一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进 行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块 中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测而编码。图片 可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致对块的预测性块进行译码。残余数据表示待译码的原始块与预 测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量及指 示经译码块与预测块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式和 残余数据来编码的。为了实现进一步压缩，可以将残余数据从像素域变换到变换域，从 而产生残余变换系数，接着可以对残余变换系数进行量化。初始地以二维阵列布置的经 量化变换系数可经扫描以便产生变换系数的一维向量，且可将熵译码应用于所述变换系 数以实现进一步压缩。
发明内容
本发明涉及用于视频译码过程中的色度分量的变换单元分割的技术，其使用产生矩 形色度块的例如4：2：2的颜色样本格式。所述技术可包含将矩形色度块分裂为正方形子 块，允许正方形变换用于色度块中的残余数据。在一些实例中，所述技术可包含处理用 于正方形子块的相应经译码块旗标(CBF)，其指示子块中非零变换系数的存在或不存在。 所述技术同样或可替代地在一些实例中可包含基于从对矩形色度块的一个正方形子块 (例如顶部正方形子块)进行帧内译码获得的经重构样本对对应于所述矩形色度块的另一 正方形子块(例如底部正方形子块)的样本进行帧内译码。
在一个实例中，本发明描述一种解码视频数据的方法，所述方法包含：获得具有第 一和第二正方形子块的矩形色度块；解码用于所述第一正方形子块的第一经译码块旗标 (CBF)以指示所述第一正方形子块是否包含至少一个非零变换系数；解码用于所述第二 正方形子块的第二CBF以指示所述第二正方形子块是否包含至少一个非零变换系数；以 及不解码用于所述矩形色度块的CBF。
在一个实例中，本发明描述一种解码视频数据的方法，所述方法包含：将矩形色度 块叶分裂为第一和第二正方形子块；编码用于所述第一正方形子块的第一经译码块旗标 (CBF)以指示所述第一正方形子块是否包含至少一个非零变换系数；编码用于所述第二 正方形子块的第二CBF以指示所述第二正方形子块是否包含至少一个非零变换系数；以 及不编码用于所述矩形色度块的CBF。
在另一实例中，本发明描述一种用于解码视频数据的设备，其包含一或多个处理器， 所述一或多个处理器经配置以：获得具有第一和第二正方形子块的矩形色度块；解码用 于所述第一正方形子块的第一经译码块旗标(CBF)以指示所述第一正方形子块是否包含 至少一个非零变换系数；解码用于所述第二正方形子块的第二CBF以指示所述第二正方 形子块是否包含至少一个非零变换系数；以及不解码用于所述矩形色度块的CBF。
在另一实例中，本发明描述一种用于编码视频数据的设备，其包含一或多个处理器， 所述一或多个处理器经配置以：将矩形色度块分裂为第一和第二正方形子块；编码用于 所述第一正方形子块的第一经译码块旗标(CBF)以指示所述第一正方形子块是否包含至 少一个非零变换系数；编码用于所述第二正方形子块的第二CBF以指示所述第二正方形 子块是否包含至少一个非零变换系数；以及不编码用于所述矩形色度块的CBF。
在另一实例中，本发明描述一种用于对视频数据进行译码的设备，其包含：用于获 得具有第一和第二正方形子块的矩形色度块的装置；用于对用于所述第一正方形子块的 第一经译码块旗标(CBF)进行译码以指示所述第一正方形子块是否包含至少一个非零变 换系数的装置；以及用于对用于所述第二正方形子块的第二CBF进行译码以指示所述第 二正方形子块是否包含至少一个非零变换系数的装置，其中所述用于对所述第一CBF 进行译码的装置和所述用于对所述第二CBF进行译码的装置都不对用于所述矩形色度 块的CBF进行译码。
在另一实例中，本发明描述一种计算机可读存储媒体。具有存储于其上的指令的计 算机可读存储媒体，所述指令在执行后即刻致使一或多个处理器：获得具有第一和第二 正方形子块的矩形色度块；对用于所述第一正方形子块的第一经译码块旗标(CBF)进行 译码以指示所述第一正方形子块是否包含至少一个非零变换系数；对用于所述第二正方 形子块的第二CBF进行译码以指示所述第二正方形子块是否包含至少一个非零变换系 数；以及不对用于所述矩形色度块的CBF进行译码。
一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从所述描 述及所述图式以及从权利要求书显而易见。
附图说明
图1是图解说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框 图。
图2是图解说明可实施本发明中描述的技术的实例视频编码器的框图。
图3是图解说明可实施本发明中描述的技术的实例视频解码器的框图。
图4A-4C是说明用于译码单元的亮度和色度分量的不同颜色样本格式的概念图。
图5是说明根据4：2：2颜色样本格式格式化的16x16译码单元的概念图。
图6是说明变换单元的四叉树分解结构的概念图。
图7是说明四叉树分解层级的概念图。
图8A-8B是说明用于视频块的变换单元分割的技术的概念图。
图9是说明根据本文所描述的系统和方法的用于解码视频数据的实例方法的流程 图。
图10是说明根据本文所描述的系统和方法的用于编码视频数据的另一实例方法的 流程图。
图11是说明根据本文所描述的系统和方法的用于解码视频数据的实例方法的流程 图。
图12是说明根据本文所描述的系统和方法的用于编码视频数据的实例方法的流程 图。
具体实施方式
根据一些视频译码标准，译码单元(CU)，包含其亮度分量和其色度分量，可共享用 于变换单元(TU)分割的相同四叉树分解结构。在不同颜色取样格式下，对应色度分量块 可具有与亮度块相比不同的大小和形状。高效率视频译码(HEVC)标准的最终版本可使用 4：2：0格式。HEVC标准的最终版本当与所考虑的HEVC范围扩展的实例组合时可包含 其它格式，例如4：2：2。对于正考虑的HEVC范围扩展，当使用(例如)4：2：2格式时，并 非可由TU分割引起的变换的所有不同大小和形状都经界定且可用于色度分量块。为了 准许正方形变换的使用，用于色度分量的变换系数的矩形块可分裂成正方形子块，如本 发明中所描述。举例来说，矩形色度块可具有顶部正方形子块和底部正方形子块。
在一些实例中，本申请案涉及使用例如4：2：2和4：4：4颜色子取样等颜色格式的译码。 举例来说，一个实例提供用于HEVC中的4：2：2颜色取样模式的正方形变换的使用。
被称作“HEVC工作草案10”或“WD10”的HEVC标准的最近草案在布洛斯等人 的文献JCTVC-L1003v34“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼 叫)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组 (JCT-VC)，瑞士日内瓦第12次会议，2013年1月14-23日)中描述，其从2013年6月6 日起可从http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC- L1003-v34.zip下载。
被称作“HEVC工作草案6”或“WD6”的HEVC的另一最近工作草案(WD)在布洛 斯等人的文献JCTVC-H1003“高效率视频译码(HEVC)文本规范草案6”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，美国加利福尼亚 圣何塞第8次会议，2012年2月)中描述，其从2012年9月24起可从 http：//phenix.int-evry.fr/jct/doc_end_user/documents/8_San％20Jose/wg11/JCTVC-H1003-v22.zip 下载。
被称作“HEVC工作草案8”或“WD8”的HEVC的另一最近工作草案(WD)在布洛 斯等人的文献JCTVC-J1003“高效率视频译码(HEVC)文本规范草案8”(ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，瑞典斯德哥尔摩 第10次会议，2012年7月11-20日)中描述，其从2012年9月24日起可从 http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip 下载。
HEVC范围扩展在福林(Flynn)等人的文献JCTVC-N1005_v3“高效率视频译码 (HEVC)范围扩展文本规范：草案4”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的 视频译码联合合作小组(JCT-VC)，韩国仁川第13次会议，2013年4月18-26日)中描述， 其从2013年9月22起可从http：//phenix.it-sudparis.eu/jct/doc_end_user/ current_document.php？id＝8139下载。
JCT-VC视为作为HEVC范围扩展的部分的4：2：2和4：4：4颜色格式的新简档。对于 4：2：2格式，与亮度分量相比在水平方向上以因数2将色度分量向下取样。在垂直方向上 不存在向下取样。
根据HEVC，帧可划分成最大译码单元(LCU)，其可包括(例如)32x32像素块或64x64 像素块，或其它大小的块。总的来说，LCU可以分割成子译码单元(子CU)，子CU中 的每一者可以进一步分割。总的来说，术语译码单元(CU)可以指LCU或其任何子CU(例 如，LCU的子CU或另一子CU的子CU)。CU可以分割成四个正方形的非重叠块。LCU 可以对应于四叉树数据结构，其包含一或多个节点，其中四叉树的根节点对应于LCU 本身并且其它节点对应于LCU的子CU。未分割的CU总体上对应于四叉树的叶节点(也 就是说，四叉树的不具有任何子节点的节点)。所以，未分割的CU可被称为叶节点CU。 叶节点CU大体上包含描述如何预测用于所述CU的数据的一或多个预测单元(PU)，以 及对应于残余数据的一或多个变换单元(TU)，也就是说，CU的预测数据与CU的原始 数据之间的逐像素差。
用于未分割CU的叶节点可包含指示用于CU的PU的预测模式的信息。在一些实 例中，可为叶节点CU提供残余四叉树(RQT)(也被称作变换单元(TU)四叉树)。残余四叉 树还可包含根节点，以及一或多个叶节点。RQT可包含信息，例如指示用于对应于对应 叶节点CU的一部分的TU的预测模式和/或其它预测信息的信息。在任何情况下，CU 的信息可指示用于所述CU的一或多个部分的预测模式。
RQT中提供的模式信息可指示特定类型的帧内预测模式。举例来说，RQT中提供 的信息可指示是否使用DC预测模式，或是否使用方向性帧内预测模式。在DC预测模 式中，用于经先前译码块的相邻像素的值可经聚集且用以形成用于当前CU的像素的预 测值。在方向性预测模式中，用于经先前译码块的相邻像素的值可在特定方向中应用以 形成用于当前CU的像素的预测值。
一般来说，HEVC变换系数译码的设计并不支持其中变换单元(TU)的所有变换系数 是零的情况。因此，在HEVC中，通常经译码块旗标(CBF)用以用信号表示TU中非零 系数的存在或不存在。本发明的一些实例涉及直接发送和/或接收或者编码和/或解码用 于矩形色度块的两个正方形色度子块中的每一者的相应CBF，例如无需发送用于所述矩 形色度块的CBF旗标。
举例来说，视频数据可通过例如在四叉树叶处将矩形色度块分裂为第一和第二正方 形子块或获得包含第一和第二正方形子块的矩形色度块而经译码。所述第一和第二正方 形子块可(例如)为矩形块的顶部正方形子块和底部正方形子块。第一CBF可经译码以用 于第一正方形子块以指示所述第一正方形子块是否包含至少一个非零变换系数。与第一 CBF分开的第二CBF也可以经译码以用于第一正方形子块以指示第二正方形子块是否 包含至少一个非零变换系数。
在一些实例中，CBF大体上不针对矩形色度块、即不针对第一和第二正方形子块的 组合而译码。以此方式，矩形色度块的每一正方形子块具有其自身的的指示，即其自身 的CBF，其经处理以确定相应子块是否包含非零变换系数。因此，不需要产生用于总矩 形色度块的CBF。
在一个特定实例中，如果色度CU大小是8×16且其经细分为4个4×8变换单元(TU)， 那么对于每一色度分量，CBF将大体上不在4×8块层级用信号表示。实际上，4x8(即， 矩形)色度块可进一步细分为两个4x4(即，正方形)子块。在此实例中，CBF是针对每一 4×4块但不针对4x8块而译码。
JCT-VC视为用于4：2：2和4：4：4颜色格式的新简档。根据用于4：2：2格式的一些提议， 与亮度分量相比在水平方向上以因数2将色度分量向下取样。在垂直方向上不存在向下 取样。
此类型的子取样影响TU大小。举例来说，考虑16(宽度)×16(高度)大小的CU。考 虑残余四叉树将所述CU细分为用于亮度的4个8×8TU。随后，对于色度分量，TU的 大小是4×8。如果最大和最小亮度变换大小分别是32×32和4×4，那么对于4：2：2色度分 量，16×32、8×16和4×8变换可为必要的。在扩展色度格式软件中，可使用对应于这些 大小的矩形变换。这对硬件复杂性具有影响。在硬件中，每一变换大小通常实施为单独 的块。因此，矩形变换的添加增加了硬件复杂性。此外，这些大小的矩形变换的使用也 使对量化的改变(将QP调整±3)成为必要。
如上文所描述将矩形色度块分裂为正方形子块可呈现用于此类子块的帧内译码的 一些考虑。本发明中描述的技术在一些实例中同样或可替代地基于从对另一正方形子块 (例如，矩形色度块的顶部正方形子块)进行帧内译码获得的经重构样本而可包含对应于 矩形色度块的一个正方形子块(例如，底部正方形子块)的帧内译码样本。在一实例中， 对视频数据进行译码的方法可包含接收包含第一正方形子块和第二正方形子块的矩形 色度块。在一些实例中，矩形色度块可为未经变换的矩形色度块，即，未经变换矩形色 度块。在其它实例中，矩形色度块可为经变换的矩形色度块，即，矩形色度变换块。类 似地，在一些实例中，正方形子块可为未经变换的正方形子块，即，未经变换正方形子 块。在其它实例中，正方形子块可为经变换的正方形子块，即，正方形变换子块。因此， 矩形色度块可为经变换的矩形色度块或未经变换的矩形色度块。类似地，正方形子块可 为经变换的正方形子块或未经变换的正方形子块。另外，其它块可或可不经变换。因此， 在某些情况下针对各种块可跳过变换。
可使用经帧内预测色度数据的第一块和从第一正方形子块获得的第一残余数据重 构色度数据的第一块。可从色度数据的经重构第一块的参考样本针对第二正方形子块产 生经帧内预测色度数据的第二块。可使用经帧内预测色度数据的第二块和来自第二正方 形子块的第二残余数据重构色度数据的第二块。
在HEVC帧内预测性RQT译码的情况下，1)帧内预测和2)变换-量化-解量化-逆变 换的步骤是交错的。在本发明中，图解说明两个实例。在一个实例中，视频编码器或视 频编码器中的预测模块可对用于RQT结构中(例如帧内预测模块中)的每一矩形叶的矩 形色度块执行帧内预测。随后，视频编码器可将帧内预测残余分裂为两个正方形块且将 正方形变换应用于每一块。在另一实例中，视频编码器可如在HEVC主简档的情况下使 预测和变换的过程交错。在此情况下，将矩形叶块划分成两个正方形色度块(顶部和底 部)。
编码器对顶部正方形色度子块执行帧内预测以产生帧内预测块，即，经帧内预测色 度数据的块，以及表示经帧内预测色度数据块的像素与顶部正方形色度子块的像素之间 的差的帧内预测残余数据。帧内预测残余数据在编码器中经历变换、量化、逆量化和逆 变换。在逆量化和逆变换以再生残余数据之后，求和器可将所得残余数据加回到帧内预 测块以形成色度数据的经重构顶部正方形子块。随后，将来自顶部正方形子块的经重构 样本(和/或其它经重构样本)用作帧内预测样本以执行用于底部正方形子块的帧内预测。 举例来说，译码器可使用来自经重构顶部正方形色度子块的参考样本产生用于底部正方 形色度子块的色度数据的经帧内预测块。随后，在一个实例中，视频编码器产生用于底 部正方形色度子块的残余数据，其表示底部正方形色度子块数据与针对底部正方形子块 产生的色度数据的经帧内预测块之间的差。编码器执行用于底部正方形子块的残余数据 的变换、量化和熵译码，例如用于由解码器使用。视频解码器解码顶部正方形子块，且 使用来自顶部正方形子块的经重构像素数据作为帧内预测参考样本以在解码器侧产生 用于底部正方形子块的经帧内预测块，获得用于底部正方形子块的残余数据，且随后通 过将经帧内预测块和残余数据相加而重构底部正方形子块。
因此，在此帧内译码实例中，视频编码器可将矩形色度块划分为顶部和底部正方形 子块。视频编码器可选择用于顶部正方形子块的帧内译码模式，且应用所述帧内译码模 式以产生用于顶部正方形子块的色度数据的经帧内预测块。可(例如)使用来自在空间上 邻近于顶部正方形子块的一或多个块(例如作为左边块或上方块)的帧内预测参考样本产 生色度数据的经帧内预测块。视频编码器基于顶部正方形子块的原始色度数据与色度数 据的经帧内预测块之间的差而产生残余数据块。视频编码器将用于顶部正方形子块的残 余数据块变换为变换系数且量化表示残余数据的变换系数。视频编码器对用于顶部正方 形子块的帧内译码模式信息进行熵编码以准许解码器的色度数据的经帧内预测块的产 生，且对经量化变换系数进行熵编码以准许解码器获得残余数据。
在编码器侧，为了使用来自顶部正方形子块的帧内预测参考样本对底部正方形子块 进行帧内编码，视频编码器逆量化且逆变换变换系数以获得用于色度数据的顶部正方形 子块的残余数据，产生用于色度数据的顶部正方形子块的色度数据的经帧内预测块，且 随后通过将残余数据加到色度数据的经帧内预测块而重构色度数据的顶部正方形块。来 自经重构顶部正方形子块的一些色度数据可随后用作帧内预测参考样本以对色度数据 的底部正方形子块进行帧内译码。
举例来说，编码器可选择用于底部正方形子块的帧内译码模式，且应用所述帧内译 码模式以产生用于底部正方形子块的色度数据的经帧内预测块。用于底部正方形子块的 色度数据的经帧内预测块可(例如)使用来自顶部正方形子块的经重构帧内预测参考样本 和/或使用来自另一在空间上邻近块(例如左边邻近块)的帧内预测参考样本而产生。如果 使用来自顶部正方形子块的帧内预测样本，那么视频编码器基于来自顶部正方形子块的 帧内预测样本产生用于底部正方形子块的色度数据的帧内预测性块。
视频编码器可基于底部正方形子块的原始色度数据与用于底部正方形子块的色度 数据的经帧内预测块之间的差而产生残余数据块。视频编码器可将用于底部正方形子块 的残余数据块变换为变换系数且量化表示残余数据的变换系数。视频编码器可对用于底 部正方形子块的帧内译码模式信息进行熵编码以准许解码器的用于底部正方形子块的 色度数据的经帧内预测块的产生，且对经量化变换系数进行熵编码以准许解码器获得用 于底部正方形子块的残余数据。
在解码器侧，解码器接收经译码位流且获得划分成顶部正方形子块和底部正方形子 块的矩形色度块。解码器对顶部正方形子块进行帧内解码。举例来说，解码器使用来自 一或多个在空间上邻近块的参考样本产生用于顶部正方形子块的色度数据的经帧内预 测块，逆量化且逆变换用于顶部正方形子块的变换系数以产生用于顶部正方形子块的残 余数据，且随后通过将色度数据的经帧内预测块和残余数据求和而重构色度数据的顶部 正方形子块。随后，经重构顶部正方形子块可以用于底部正方形子块的帧内预测。
举例来说，视频解码器可使用来自色度数据的经重构顶部正方形子块的帧内预测参 考样本产生用于底部正方形子块的色度数据的经帧内预测块。视频解码器逆量化且逆变 换用于底部正方形子块的变换系数以产生用于底部正方形子块的残余数据，且随后通过 将色度数据的经帧内预测块和用于底部正方形子块的残余数据求和而重构色度数据的 底部正方形子块。在一些实例中，或者或另外，可使用来自其它在空间上邻近块(例如左 边相邻块)的参考样本单独或与来自顶部正方形子块的参考样本组合地帧内预测底部正 方形子块。以上文所描述的方式，顶部正方形子块可用以帧内预测矩形色度块的底部正 方形子块。
现将描述视频译码过程的各种方面。一般来说，数字视频装置实施视频压缩技术以 更高效地对数字视频信息进行编码和解码。可以根据视频译码标准来定义视频压缩技 术。视频译码标准的实例包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或 ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也称为 ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。此 外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专 家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开 发。
HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM 假定当前视频译码装置相对于在其它先前视频译码标准(例如，ITU-T H.264/AVC)的开发 期间可获得的视频译码装置的能力的改善。举例来说，尽管H.264提供9个帧内预测编 码模式，但HEVC提供至多三十五个帧内预测编码模式。
HEVC标准也可被称作ISO/IEC 23008-HEVC，其既定是HEVC的已交付版本的标 准号。在本申请案中出于说明的目的将描述根据正在开发的HEVC标准的目前所提议的 方面中的一些的译码。然而，本发明中描述的技术也可以用于和应用于其它视频译码过 程，例如根据ITU-T H.264或其它标准定义的视频译码过程或专有视频译码过程。
根据例如HEVC WD10等视频译码标准操作的典型视频编码器将原始视频序列的每 一帧(即，图片)分割为称为“块”或“译码单元”的连续矩形区。可以通过应用空间(帧 内)预测和/或时间(帧间)预测技术来减少或移除视频序列中固有的冗余而对这些块进行 编码。空间预测可被称为“帧内模式”(I模式)，并且时间预测可被称为“帧间模式”(P 模式或B模式)。预测技术产生视频数据的预测性块。将待译码的原始视频数据块与预 测性块比较。
视频数据的原始块的像素值与预测性块的像素值之间的差可被称为残余数据。残余 数据可包含用于亮度分量和色度分量的残余数据。残余数据通常是预测性块与视频数据 的原始块的像素值之间的差的阵列。可以在译码过程期间向残余数据应用例如离散余弦 变换(DCT)、整数变换、小波变换或概念上类似的变换等变换以产生对应一组变换系数。 因而，通过对变换系数执行逆变换和将残余数据添加到预测性块而重构原始视频块。还 可对变换系数进行量化。也就是说，变换系数的值可根据经界定位深度表示为位串。在 某些情况下，量化可导致为零的低值变换系数的表示。经量化变换系数可被称为变换系 数层级。
对于根据HEVC的视频译码，作为一个实例，可以将视频帧分割成译码单元。译码 单元(CU)总体上是指充当基本单元的矩形图像区，各种译码工具被应用于所述基本单元 以进行视频压缩。CU通常是正方形，且可以认为是类似于例如ITU-T H.264等其它视 频译码标准中描述的所谓的“宏块”。CU可以视为视频样本值阵列。视频样本值也可 被称作图片元素、像素(pixel或pel)。CU的大小可根据水平和垂直样本的数目来界定。 因而，CU可以描述为NxN或NxM CU。
在本发明中，“NxN”及“N乘N”可以互换使用以指在垂直尺寸及水平尺寸方面 的视频块的像素尺寸，例如，16x16像素或16乘16像素。大体来说，16x16块将在垂 直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN 块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示 非负整数值。块中的像素可按行及列布置。此外，块未必需要在水平方向与垂直方向上 具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。
为实现更好的译码效率，CU可取决于视频内容而具有可变大小。通常具有一个亮 度分量，表示为Y，和两个色度分量，表示为U和V。两个色度分量U和V还可分别 通过Cb和Cr表示。此外，根据HEVC，位流内的语法数据可界定最大译码单元(LCU)， 其为帧或图片在样本数目方面的最大CU。CU的大小通常是根据水平和垂直亮度样本的 数目而界定。通常，LCU包含64x64亮度样本。通过将LCU递归地分割成子CU，可以 产生其它尺寸的CU。位流的语法数据可定义LCU可以分裂的最大次数，这被称作CU 深度。因此，位流还可定义最小译码单元(SCU)。通常，SCU包含8x8个亮度样本。因 此，在一个实例中，通过将64x64LCU分割为四个子CU来产生四个32x32CU，且可 将所述32x32CU中的每一者进一步分割为十六个8x8CU，或在另一实例中，可将32x32 块(图1)分割为四个16x16块(图2)。
也可被称作色度格式或颜色样本格式的视频取样格式可相对于CU中包含的亮度样 本的数目界定CU中包含的色度样本的数目。取决于色度分量的视频取样格式，U及V 分量的大小(依据样本的数目)可与Y分量的大小相同或不同。在H.264/AVC和HEVC  WD10视频译码标准中，称为chroma_format_idc的值经界定以指示相对于亮度分量的色 度分量的不同取样格式。表1说明chroma_format_idc的值与相关联的色度格式之间的 关系。
chroma_format_idc 色度格式 SubWidthC SubHeightC 0 单色 - - 1 4：2：0 2 2 2 4：2：2 2 1 3 4：4：4 1 1
表1：H.264/AVC中定义的不同色度格式
在表1中，变量SubWidthC及SubHeightC可用以指示用于亮度分量的样本的数目 与用于每一色度分量的样本的数目之间的水平及垂直取样速率比。在表1中所描述的色 度格式中，两个色度分量具有相同的取样速率。
在表1的实例中，对于4：2：0格式，用于亮度分量的取样速率为用于水平及垂直方 向的色度分量的取样速率的两倍。因此，对于根据4：2：0格式格式化的译码单元，用于 亮度分量的样本阵列的宽度及高度为用于色度分量的每一样本阵列的宽度及高度的两 倍。类似地，对于根据4：2：2格式格式化的译码单元，用于亮度分量的样本阵列的宽度 为用于每一色度分量的样本阵列的宽度的两倍，但用于亮度分量的样本阵列的高度等于 用于每一色度分量的样本阵列的高度。对于根据4：4：4格式格式化的译码单元，用于亮 度分量的样本阵列具有与用于每一色度分量的样本阵列相同的宽度及高度。
图1为说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。 确切地说，视频译码系统10可经配置以执行用于当利用4：2：2样本格式时亮度与色度分 量的样本之间的TU分割的技术。如图3中所示，系统10包含视频编码器20，其产生 在稍后时间由视频解码器30解码的经编码视频数据。源装置12和目的地装置14可包 括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板 计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、 电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类 似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够 将经编码视频数据从视频编码器20移动到视频解码器30的任何类型的媒体或装置。在 一个实例中，链路16可包括用以使得视频编码器20能够将经编码视频数据直接实时发 射到视频解码器30的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议) 来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射 频(RF)频谱或一或多个物理发射线路。通信媒体可能形成基于包的网络(例如局域网、广 域网或全球网络，例如因特网)的一部分。通信媒体可包含可用于促进从源装置12到目 的地装置14的通信的路由器、交换器、基站或任何其它设备。
替代地，可将经编码数据从输出接口22输出到存储装置34。类似地，输入接口28 可从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存 储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失 性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另 一实例中，存储装置34可对应于文件服务器或可保持由视频编码器20产生的经编码视 频的另一中间存储装置。目的地装置14可经由通过输入接口28的流式传输或下载从存 储装置34存取存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所 述经编码视频数据发射到视频解码器30的任何类型的服务器。实例文件服务器包含网 络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。 视频解码器30可通过任何标准数据连接(包含因特网连接)存取经编码视频数据。此可包 含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存 取存储于文件服务器上的经编码视频数据的两者的组合。经编码的视频数据从存储装置 34的发射可为流式发射、下载发射或两者的组合。
本发明的技术不必限于无线应用或设置。所述技术可应用于视频译码以支持多种多 媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发 射(例如，经由因特网)、编码数字视频以存储于数据存储媒体上、解码存储于数据存储 媒体上的数字视频，或其它应用。在一些实例中，系统10可经配置以支持单向或双向 视频发射，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一 些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包 含例如视频俘获装置(例如，摄像机)、含有先前俘获的视频的视频存档、用于从视频内 容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机 图形系统或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置 12及目的地装置14可以形成所谓的摄像机电话或视频电话。然而，本发明中所描述的 技术一般来说可适用于视频译码，且可应用于无线和/或有线应用。
视频编码器20对从视频源18接收的俘获、预先俘获或计算机生成的视频进行编码。 所述俘获、预先俘获或计算机生成的视频可根据上述样本格式中的任一者格式化，包含 4：2：0、4：2：2或4：4：4样本格式。视频编码器20可对根据4：2：0、4：2：2或4：4：4样本格式 中的任一者格式化的视频执行视频译码。在某些情况下，视频编码器20可对所述俘获、 预先俘获或计算机生成的视频进行向上取样或向下取样，作为译码过程的部分。举例来 说，俘获的视频可根据4：4：4样本格式格式化，视频编码器20可将俘获的视频向下取样 到4：2：2格式且对经向下取样视频执行视频编码。经编码视频数据可经由源装置20的输 出接口22直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置 34上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下， 输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16 接收经编码视频数据。经由链路16传送或在存储装置34上提供的经编码视频数据可包 含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解 码视频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服 务器中的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目 的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中， 目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户， 且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光 二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据例如当前在开发的高效率视频译码(HEVC) 标准等视频压缩标准而操作，且可大体上符合当前HEVC测试模型(HM)或未来HM。
替代地，视频编码器20和视频解码器30可以根据其它专属或行业标准来操作，所 述标准例如ITU-T H.264标准，替代地被称为MPEG-4第10部分高级视频编码(AVC)， 或这些标准的修订或扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标 准的其它实例包含MPEG-2和ITU-T H.263。
尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音 频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件， 以处置对共同数据流或单独数据流中的音频及视频两者的编码。在一些实例中，如果可 适用，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据 报协议(UDP)的其它协议。
视频编码器20和视频解码器30各自可经实施为例如一或多个微处理器、数字信号 处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬 件、固件或其任何组合的多种合适编码器电路中的任一者。当部分地用软件实施所述技 术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多 个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中 的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成 为相应装置中的组合编码器/解码器(CODEC)的部分。
如上文所描述，在HEVC WD10中，视频帧或图片可划分成包含亮度和色度样本的 树块或最大译码单元(LCU)的序列。LCU可递归地分裂成包含相关联PU和TU的CU。 在一些实例中，CU的大小可从8x8样本变动直到具有最大64x64样本或更大的树块的 大小。此外，在HEVC WD10中，视频帧或图片可分割为一或多个切片，其中切片包含 按译码次序的许多连续LCU。视频帧可基于与切片中包含的CU相关联的译码模式而分 割为切片。举例来说，切片可经界定以使得所述切片中包含的所有CU共享共同译码模 式，例如：跳过模式、直接模式、帧内预测模式或帧间预测模式。
一系列视频帧或图片可作为图片群组的经译码视频序列的部分而经译码。图片群组 (GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者 的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片 可包含描述用于相应切片的编码模式的切片语法数据。如本文中所描述，视频编码器20 通常对个别视频切片内的视频块操作以便编码所述视频数据。然而，视频编码器20也 可执行较高层级视频译码处理，例如将视频帧分割为切片和/或产生GOP层级或切片层 级语法。
如上文所描述，与CU相关联的语法数据可描述将CU分割为一或多个PU。与CU 相关联的语法数据还可描述(例如)根据四叉树将CU分割为一或多个TU。在一些实例中， PU或TU可为正方形或非正方形的形状。一般来说，PU包含与预测过程有关的数据。 举例来说，当PU经帧内模式编码时，PU可包含描述PU的帧内预测模式的数据。作为 另一实例，当PU经帧间模式编码时，PU可包含界定PU的运动信息的数据。界定PU 的运动信息的数据可描述(例如)具有水平分量、垂直分量、分辨率(例如，四分之一像素 精度或八分之一像素精度)的运动向量、指示用于所述运动向量的参考图片列表(例如， 列表0、列表1或列表C)的预测方向，以及指示所述运动向量在参考图片列表内指向的 参考图片的参考图片索引。因此，PU可视为用于载运与预测过程相关的信息的基本单 元。在一个实例中，视频编码器20可经配置以根据由HEVC测试模型(HM)支持的PU 结构对视频数据进行编码。
作为实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM 支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称 PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的 帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割 成25％及75％。CU的对应于25％分区的部分由“n”继之以“上方”、“下方”、“左 侧”或“右侧”指示来指示。因此，例如，“2NxnU”是指经水平分割的2Nx2N CU， 其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。
如上文所描述，TU是用于变换和量化过程的基本单元。具有一或多个PU的给定 CU还可包含一或多个变换单元(TU)。此外，在HEVC WD10中，TU可基于RQT分区 而设定大小。换句话说，RQT分区可界定变换大小且可针对CU指定且可在一些实例中 独立于PU分区，但情况可能并非总是这样。在一些实例中，TU可为与PU相同的大小 或小于PU。在一些实例中，例如对于帧间模式，TU可甚至大于PU。在此情况下，执 行预测的大小可与应用变换的大小相同。在一些实例中，对应于CU的残余样本可以使 用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为 变换单元(TU)。
在帧内或帧间预测之后，视频编码器20可计算对应于PU的残余视频数据。残余值 包括表示待译码原始块的像素值与由帧内或帧间预测形成的预测性块的像素值之间的 差的像素差值。预测单元中的残余视频数据(即，残余像素差值)可根据TU结构变换成 变换系数以产生变换系数。因此，残余数据可从像素域经变换到变换域。在某些情况下 (例如，变换-跳过模式)，可跳过变换。
在进行用于产生变换系数的任何变换之后，视频编码器20可执行变换系数的量化。 量化一般是指将变换系数量化以可能减少用以表示系数的数据量从而提供进一步压缩 的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，可在量化 期间将n位值向下舍入到m位值，其中n大于m。
在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以 产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。 在扫描经量化的变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自 适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下 文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维 向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵 编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上 下文。上下文可涉及(例如)符号的相邻值是否为非零。为了执行CAVLC，视频编码器 20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对较短的 码对应于更有可能的符号，而较长的码对应于不太可能的符号。(例如)与对待发射的每 一符号使用等长度码字的情形相比较，以此方式，使用VLC可实现位节省。概率确定 可基于指派给符号的上下文。
如上文所描述，HEVC变换系数译码并不支持当所有系数是零时的情况。HEVC未 经设计以剖析仅具有零值系数的块。因此，HEVC可需要能够跳过仅具有零值系数的块。 这可通过使用经译码块旗标(CBF)而实现，所述CBF通常用以用信号表示非零系数的存 在或不存在。在本发明的一些实例中，视频编码器20直接用信号表示用于矩形块的色 度子块的两个CBF，针对变换系数的两个正方形色度子块中的每一者一个CBF，而无需 发送用于所述矩形块的CBF旗标。视频解码器30可随后接收两个CBF，针对两个正方 形色度子块中的每一者一个CBF。视频编码器20并不在用于矩形块的经编码位流(在此 实例中)中用信号表示任何CBF，并且因此视频解码器30在经编码位流中将不接收用于 矩形色度块的任何CBF。更具体来说，源装置12内的视频编码器20可针对每一块直接 编码两个CBF，针对两个块中的每一者一个CBF，而无需编码用于矩形块的CBF旗标。 用于矩形块的CBF将指示子块中的至少一者包含非零系数。在一些实例中，然而在针对 子块中的每一者具有个别CBF的情况下，用于矩形块的CBF是不必要的。然而在其它 实例中，仍可发送矩形CBF。如果矩形CBF是零，那么可跳过发送用于正方形子块的 CBF。CBF可存储到存储装置34上用于由目的地装置14或其它装置稍后存取，用于解 码和/或重放。在另一实例中，这些CBF可在经由链路16通过输出接口22发射的位流 中经编码和/或记录在存储装置34上的经编码位流存储装置中。目的地装置14中的视频 解码器30可随后在输入接口28从链路16和/或存储装置34接收所述两个CBF。视频 解码器30可随后解码所述CBF。
举例来说，通过例如在进入第一和第二正方形子块的四叉树叶处分裂例如根据4：2：2 颜色样本格式产生的矩形色度块而对视频数据进行译码。CBF可经译码以用于第一正方 形子块以指示所述第一正方形子块是否包含至少一个非零变换系数。另一CBF也可以经 译码用于第二正方形子块以指示所述第二正方形子块是否包含至少一个非零变换系数。 在此实例中，CBF大体上不经译码用于矩形色度块，即用于色度分量的第一和第二正方 形子块的组合。
在一个特定实例中，如果色度CU大小是8×16且其细分为四个4×8变换单元，那 么对于每一色度分量，CBF将大体上不在4×8块层级用信号表示。4x8矩形色度块可进 一步细分为两个4x4正方形子块。CBF经译码用于每一4×4正方形色度子块。确切地说， 视频编码器20可编码用于子块中的每一者的CBF，且视频解码器30解码用于子块中的 每一者的CBF。
在另一实例中，如果色度CU大小是8×16且其可进一步细分为四个4×8变换单元， 那么对于每一色度分量，可在8×16层级用信号表示一个CBF旗标，其指示是否4个4×8 变换块中的任一者具有非零系数。如果所述4个4×8变换块中的任一者具有非零系数， 那么对于每一4×8块，可发送另一CBF旗标。一个实例保持此结构，同时仅改变在RQT 叶层级用信号表示CBF的方式。在第一实例中，当在四叉树叶的矩形块分裂成两个正方 形变换块时，可针对每一正方形变换块发送一个CBF旗标。因此，在以上实例中，针对 8×16块发送一个CBF旗标，且随后针对每一4×8叶块发送两个CBF旗标。在另一实例 中，对于叶块，阶层式地用信号表示CBF。在此情况下，对于每一4×8叶块，发送一个 CBF旗标以用信号表示是否存在任何非零变换系数。如果此旗标是一，那么发送两个额 外CBF旗标，针对每一正方形变换块一个。应注意这两个实例方法甚至当直接用信号表 示色度CBF(如对于亮度)时或改为在阶层式地用信号表示色度CBF的情况下也可使用。 在此情况下，仅发送用于RQT叶块的CBF。
色度分量可包含第一和第二色度分量，例如Cr和Cb色度分量或U和V色度分量。 对第一和第二子块进行译码包含对第一矩形色度块的第一和第二正方形子块进行译码 且对第二矩形色度块的第一和第二正方形子块进行译码。
然而在另一实例中，CBF可阶层式地经译码。在CBF的阶层式译码的此实例中， 视频编码器20可发送用于整个矩形块的一个CBF。此矩形块可划分成两个正方形块且 视频编码器20可当矩形块CBF非零时发送用于所述正方形块中的每一者的额外CBF旗 标。视频解码器30可接收用于整个矩形块的一个CBF。此矩形块可划分成两个正方形 块且视频解码器30可当矩形块CBF非零时接收用于所述正方形块中的每一者的额外 CBF旗标。
更具体来说，源装置12的视频编码器20可编码用于整个矩形块的一个CBF。此矩 形块可划分成两个正方形块且视频编码器20可当矩形块CBF非零时编码用于所述正方 形块中的每一者的额外CBF。CBF可存储到存储装置34上用于由目的地装置14或其它 装置稍后存取，用于解码和/或重放。或者，这些CBF可通过输出接口22发射到链路 16和/或存储装置34。CBF可由目的地装置14的输入接口28接收可接收用于整个矩形 块的一个CBF以及当矩形块CBF非零时用于所述正方形块中的每一者的额外CBF。当 矩形块CBF是零时将不存储、发射或接收额外CBF。
涉及对视频数据进行译码的另一实例可包含发射和/或接收矩形色度块。举例来说， 源装置12的输出接口22可发射矩形色度块且目的地装置14的输入接口28可接收矩形 色度块。更具体来说，源装置12的视频编码器20可编码矩形色度块且其可通过输出接 口22发射到链路16和/或存储在存储装置34上用于由例如视频解码器30等解码器稍后 检索。经编码矩形色度块可在目的地装置14的输入接口28处从链路16和/或存储装置 34接收且由视频解码器30解码。经编码视频数据还可(或替代地)存储到存储装置34上 以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
在本发明的一些实例中，视频解码器30可获得划分成第一正方形子块和第二正方 形子块的矩形色度块，如上文所描述。如上文所描述将矩形色度块分裂为正方形子块可 呈现用于此类子块的帧内译码的一些考虑。所述技术在一些实例中同样或可替代地可包 含基于从对矩形色度块的一个正方形子块进行帧内译码获得的经重构样本的对应于所 述矩形色度块的另一正方形子块的样本进行帧内译码。经帧内预测色度数据的第一块可 使用帧内预测样本的第一块和从第一正方形子块获得的第一残余数据来重构。举例来 说，在对顶部块进行帧内解码之后，视频解码器30通过产生帧内预测性块和残余而对 底部子块进行帧内解码。帧内预测样本的第二块可从经帧内预测色度数据的第一块产 生。经帧内预测色度数据的第二块可使用帧内预测样本的第二块和来自第二正方形子块 的第二残余数据来重构。举例来说，视频解码器30可使用来自顶部块的经重构样本对 底部块进行帧内译码。
在HEVC帧内预测性RQT译码的情况下，1)帧内预测和2)变换-量化-解量化-逆变 换的步骤是交错的。根据本发明，图解说明两个实例。在一个实例中，对于RQT结构 中的每一矩形叶，视频编码器20的预测模块或视频解码器30的预测模块可对矩形块执 行帧内预测。随后，预测模块可将帧内预测残余分裂为两个正方形块且将正方形变换应 用于每一块。在另一实例中，预测和变换的过程是交错的，如例如上文所描述的HEVC 主简档的情况中。在此情况下，视频编码器20的预测模块或视频解码器30的预测模块 可将矩形叶块划分为两个正方形块(顶部和底部)或获得划分成两个正方形块的矩形叶 块。视频编码器20或视频解码器30的预测模块可对顶部正方形子块执行帧内预测。举 例来说，视频编码器20可通过产生帧内预测性块对顶部子块进行帧内译码。帧内预测 残余经历变换、量化、逆量化和逆变换。视频编码器20中的求和器可将所得块加回到 帧内预测块以形成经重构顶部正方形子块。随后，来自顶部块的经重构样本(以及其它经 重构样本)用以执行用于底部正方形子块的帧内预测。举例来说，视频编码器20可使用 来自顶部正方形子块的经重构样本对底部正方形子块进行帧内译码。在另一实例中，视 频解码器30可在对顶部正方形子块进行解码之后执行对应功能。举例来说，视频解码 器30可重构经帧内预测顶部正方形子块且使用顶部正方形子块的经重构参考样本来产 生用于底部正方形子块的经帧内预测色度数据。视频解码器30随后可通过将用于底部 正方形子块的残余数据添加到用于底部正方形子块的经帧内预测色度数据而重构底部 正方形子块。
图2是说明可实施本发明中描述的技术的实例视频编码器20的框图。视频编码器 20可以执行视频切片内的视频块的帧内译码及帧间译码。帧内译码依赖于空间预测来减 少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或 去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于 空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指 代若干基于时间的压缩模式中的任一者。
在图2的实例中，视频编码器20包含预测模块41、参考图片存储器64、求和器50、 变换模块52、量化模块54和熵编码模块56。预测模块41包含运动估计模块42、运动 补偿模块44，和帧内预测模块46。为了视频块重构，视频编码器20还包括逆量化模块 58、逆变换模块60和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进 行滤波，以从经重构视频移除成块效应假象。必要时，解块滤波器通常将对求和器62 的输出进行滤波。除了解块滤波器之外，还可使用额外环路过滤器(环路内或环路后)。
如图2中示出，视频编码器20接收视频数据，且预测模块41将数据分割为视频块。 在某些情况下，预测模块41可基于速率失真分析分割视频数据。接收的视频数据可根 据上述样本格式中的任一者格式化。举例来说，视频数据可根据4：2：2样本格式格式化。 分割可包含将视频数据分割成切片、瓦片或其它较大单元，以及视频块分割(例如根据 LCU及CU的四叉树结构)。
视频编码器20大体说明编码待编码视频切片内的视频块的组件。所述切片可划分 成多个视频块(且可能划分成被称作瓦片的视频块集合)。预测模块41可基于错误结果(例 如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如多种帧 内译码模式中的一者或多种帧间译码模式中的一者。预测模块41可将所得经帧内或帧 间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重构经编码块以用 作参考图片。
预测模块41内的帧内预测模块46可相对于与待译码当前块在相同的帧或切片中的 一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测模块41内 的运动估计模块42及运动补偿模块44相对于一或多个参考图片中的一或多个预测性块 执行当前视频块的帧间预测性译码以提供时间压缩。
运动估计模块42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预 测模式。预定模式可将序列中的视频切片指明为P切片或B切片。运动估计模块42与 运动补偿模块44可以高度集成，但出于概念目的分开加以说明。运动估计模块42执行 的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量 可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的移位。
用于帧间译码的预测性块可为被发现在像素差方面与待译码视频块的PU密切匹配 的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。或者， 用于帧内译码的预测性块可为基于相对于来自一或多个相邻块的像素值的空间预测形 成的块。在一些实例中，对于帧间预测，视频编码器20可计算存储在参考图片存储器 64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片 的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计模 块42可以相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精 确度的运动向量。
运动估计模块42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧 间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0) 或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考图片存储 器64中的一或多个参考图片。运动估计模块42将所计算的运动向量发送到熵编码模块 56和运动补偿模块44。
由运动补偿模块44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素 精确度的内插)确定的运动向量取出或产生预测性块。在接收到当前视频块的PU的运动 向量后，运动补偿模块44即刻可以在参考图片列表中的一者中定位所述运动向量指向 的预测性块。
视频编码器20通过从正译码的当前视频块的像素值减去预测性块的像素值而形成 像素差值来形成用于帧间或帧内译码的残余视频块。像素差值形成所述块的残余数据， 且可包含亮度和色度差分量两者。求和器50表示执行此减法运算的一或多个组件。运 动补偿模块44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的 视频块进行解码时使用的语法元素。
帧内预测模块46可对当前块进行帧内预测，以作为对如上文所描述的由运动估计 模块42和运动补偿模块44执行的帧间预测的替代。明确地说，帧内预测模块46可以 确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测模块46可以例 如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测模块 46(或在一些实例中为模式选择模块40)可以从所述测试模式中选择适当帧内预测模式来 使用。
举例来说，帧内预测模块46可以使用速率失真分析计算用于各种经测试帧内预测 模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测 模式。速率-失真分析大体上确定经编码块与经编码以产生所述经编码块的原始未编码块 之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测模块 46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所 述块展现最佳速率失真值。应注意，速率失真分析可对颜色分量的组合执行。
在任何状况下，在选择用于块的帧内预测模式之后，帧内预测模块46可将指示用 于块的所选帧内预测模式的信息提供到熵编码模块56。熵编码模块56可根据本发明的 技术编码指示所选帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数 据，其可包含多个帧内预测模式指数表及多个经修改的帧内预测模式指数表(也称为码字 映射表)，对用于各种块的上下文进行编码的定义，及对最可能帧内预测模式、帧内预测 模式指数表及经修改的帧内预测模式指数表的指示以用于所述上下文中的每一者。位流 还可(或可替代地)存储到存储装置34上用于稍后由目的地装置14或其它装置存取，用 于解码和/或重放。
在预测模块41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视 频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。残余块中的残余 视频数据可包含在一或多个TU中且应用到变换模块52。应注意，变换模块52指代视 频编码器20的组件、模块或功能单元，且不应与作为用于变换和量化过程的数据的基 本单元的TU混淆。变换模块52使用例如离散余弦变换(DCT)或概念上类似的变换的变 换将残余视频数据变换成残余变换系数。变换模块52可将残余视频数据从像素值域转 换到变换域，例如频域。变换模块52可以将所得变换系数发送到量化模块54。
在一些实例中，当使用4：2：2格式时经帧间或帧内译码的CU产生正方形亮度分量 和矩形色度分量。变换模块52可产生用于矩形色度TU的正方形子块。如上文所描述将 矩形色度块分裂为正方形子块可呈现针对此类子块的帧内译码的一些考虑。所述技术在 一些实例中同样或可替代地可包含基于从对矩形色度块的一个正方形子块进行帧内译 码获得的经重构样本的对应于所述矩形色度块的另一正方形子块的样本进行帧内译码。
如上文所描述，视频编码器20可直接编码两个CBF，针对矩形色度变换系数块的 两个正方形子块中的每一者一个CBF，而无需用于所述矩形块的CBF旗标。举例来说， 视频编码器20内的熵编码模块56可直接编码两个CBF，针对用于矩形色度分量块的两 个子块中的每一者一个CBF，而无需编码用于矩形块的CBF旗标。在一些实例中，变 换模块52可例如在四叉树叶处将矩形色度变换系数块分裂为第一和第二正方形子块。 在包含RQT模块或RQT块的实例中，此模块或块可执行将矩形色度变换系数块分裂为 第一和第二正方形子块。熵编码模块56或视频编码器20的另一功能单元可将CBF编码 为用于第一正方形子块的语法元素以指示第一正方形子块是否包含至少一个非零变换 系数。熵编码模块56还可将CBF编码为用于第二正方形子块的语法元素以指示第二正 方形子块是否包含至少一个非零变换系数。熵编码模块56大体上并不编码CBF用于矩 形色度块，即第一和第二正方形子块的组合。CBF可在经编码位流中提供以指示给定子 块是否包含或不包含非零变换系数。如果CBF指示子块确实包含非零变换系数，那么视 频解码器30剖析所述子块以处理非零变换系数。否则，如果CBF并不指示所述子块包 含非零变换系数，那么视频解码器30可跳过剖析所述子块以处理变换系数。
在一个特定实例中，如果色度CU大小是8×16且其细分为4个4×8变换单元，那 么对于每一色度分量，熵编码模块56将大体上不编码CBF且CBF将大体上不在4×8 块层级用信号表示。4x8块可进一步细分为两个4x4子块。熵编码模块56可针对每一4×4 块编码CBF。在一个实例中，色度分量可包含第一和第二色度分量，例如Cb和Cr或U 和V。对第一和第二子块进行译码包含对第一矩形色度块的第一和第二正方形子块进行 译码且对第二矩形色度块的第一和第二正方形子块进行译码。
然而在另一实例中，熵编码模块56可阶层式地编码CBF。在CBF的阶层式编码的 此实例中，源装置12的视频编码器20可发送用于整个矩形块的一个CBF，例如，熵编 码模块56可编码用于整个矩形块的一个CBF。此矩形块可划分成两个正方形块且当矩 形块CBF非零时源装置12可发送用于所述正方形块中的每一者的额外CBF旗标，例如， 视频编码器20可当矩形块CBF非零时编码用于所述正方形块中的每一者的额外CBF旗 标。
涉及编码视频数据的另一实例可包含发射矩形色度块。举例来说，源装置12可发 射矩形色度块。更具体来说，视频编码器20的熵编码模块56可编码矩形色度块且其可 通过输出接口22发射到链路16。或者，视频编码器20可编码矩形色度块且其可存储在 存储装置34中，例如存储在某种存储媒体或存储器上。大体上许多此类矩形色度块将 使用存储装置34存储，例如以形成完整图片或完整的一系列图片。一或多个存储的矩 形色度块可稍后从存储装置34读取，例如从所述矩形色度块已存储于其上的任何媒体 读出。将理解在一些实例中，源装置12可使用不同存储装置34存储来自由目的地装置 14用以检索矩形色度块的存储装置的所述矩形色度块。
在一些实例中，视频解码器30可将矩形色度块划分为第一正方形子块和第二正方 形子块。视频解码器30通过产生帧内预测性块和残余而对顶部子块进行帧内解码。如 上文所描述，经帧内预测色度数据的第一正方形子块可使用经帧内预测色度数据的第一 块和从第一正方形子块获得的第一残余数据而重构。举例来说，视频解码器30可使用 来自顶部正方形子块的经重构样本作为帧内预测样本而对矩形色度块的底部正方形子 块进行帧内解码。用于第二正方形子块的经帧内预测色度数据可根据从色度数据的第一 正方形子块获得的参考样本产生。可使用经帧内预测色度数据的第二块和来自第二正方 形子块的第二残余数据重构色度数据的第二正方形子块。
在一些实例中，视频编码器20中第一和第二子块的编码可包含对第一矩形色度块 的第一和第二正方形子块进行编码以及对第二矩形色度块的第一和第二正方形子块进 行解码。在一些实例中，所述第一子块可为如图8A中所示的矩形色度块的顶部子块且 所述第二子块可为底部子块。在一些实例中，矩形色度块具有4：2：2取样格式，如图4B 和5中所示。
在一些实例中，视频编码器20的一部分，例如逆量化模块58和/或逆变换模块60 可解码视频数据。举例来说，视频编码器20可例如在逆量化模块58和/或逆变换模块 60中接收矩形色度块，其中所述矩形色度块划分成第一正方形子块和第二正方形子块。 逆量化模块58和/或逆变换模块60可使用经帧内预测色度数据的第一块和从第一正方形 子块获得的第一残余数据重构色度数据的第一块。色度数据的经重构第一块可存储在参 考图片存储器64中。预测模块41可基于从色度数据的经重构第一块获得的参考样本产 生第二子块的经帧内预测色度数据的第二块，且基于第二子块与经帧内预测色度数据之 间的差而产生残余数据。因此，使用来自重构第一子块的帧内预测参考样本来帧内预测 第二子块。逆量化模块58和/或逆变换模块60可使用经帧内预测色度数据的第二块和来 自第二正方形子块的第二残余数据重构色度数据的第二子块，例如用于存储在参考图片 存储器64中。在其它实例中，视频编码器20的其它部分可执行这些功能中的一些或全 部。
在一实例中，视频编码器20，例如逆量化模块58和/或逆变换模块60，逆量化第一 正方形子块的变换系数，逆变换所述经逆量化变换系数以产生第一残余数据，且将第一 残余数据添加到经帧内预测色度数据的第一块以重构色度数据的第一块。视频编码器20 例如在预测模块41中随后使用来自色度数据的经重构第一子块的帧内预测参考样本对 色度数据的第二正方形子块进行帧内编码。
在一些实例中，视频编码器20可使用来自例如左边相邻块等额外空间相邻块的帧 内预测参考样本单独地或与来自经重构第一正方形子块的帧内预测参考样本组合地对 色度数据的第二正方形子块进行帧内编码。如上所提到，在一些实例中，所述额外相邻 块可为左边相邻块。在其它实例中，可使用其它相邻块。
图3是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图3的实 例中，视频解码器30包含熵解码模块80、预测模块81、逆量化模块86、逆变换模块 88、求和器90和参考图片存储器92。预测模块81包含运动补偿模块82和帧内预测模 块84。在一些实例中，视频解码器30可执行大体上与关于来自图2的视频编码器20描 述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频 块及相关联语法元素的经编码视频位流。视频解码器30的熵解码模块80对位流进行熵 解码以产生经量化系数、运动向量和其它语法元素。熵解码模块80将运动向量及其它 语法元素转发到预测模块81。视频解码器30可在视频切片层级和/或视频块层级接收语 法元素。
当视频切片经译码为经帧内译码(I)切片时，预测模块81的帧内预测模块84可以基 于发信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当 前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B或P)切片时， 预测模块81的运动补偿模块82基于从熵解码模块80接收的运动向量和其它语法元素 产生用于当前视频切片的视频块的预测性块。可以从参考图片列表中的一者内的参考图 片中的一者产生预测性块。视频解码器30可以基于存储在参考图片存储器92中的参考 图片使用默认构造技术构造参考帧列表(列表0及列表1)。
运动补偿模块82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频 块的预测信息，并且使用所述预测信息产生用于经解码的当前视频块的预测性块。举例 来说，运动补偿模块82使用所接收语法元素中的一些来确定用以对视频切片的视频块 进行译码的预测模式(例如，多个帧间预测模式中的一者)、帧间预测切片类型(例如，B 切片或P切片)、用于所述切片的参考图片列表中的一或多者的构造信息、所述切片的 每一经帧间编码视频的运动向量、所述切片的每一经帧间译码视频块的帧间预测状态， 以及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿模块82还可基于内插滤波器执行内插。运动补偿模块82可使用由视频编 码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。 在这种情况下，运动补偿模块82可根据接收的语法信息元素而确定由视频编码器20使 用的内插滤波器且使用所述内插滤波器来产生预测性块。
逆量化模块86将在位流中提供且由熵解码模块80解码的经量化变换系数逆量化， 即解量化。逆量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算以 确定应应用的量化程度和同样逆量化程度的量化参数。
逆变换模块88接收变换系数且将例如逆DCT、逆整数变换或概念上相似的逆变换 过程等逆变换应用于所述变换系数以便产生像素域中的残余块。在一些实例中，逆变换 模块88可接收由视频编码器基于变换单元分割技术产生的变换系数。
在运动补偿模块82或帧内预测模块84基于运动向量和其它语法元素产生用于当前 视频块的预测性块之后，视频解码器30通过将来自逆变换模块88的残余块与由运动补 偿模块82产生的对应预测性块求和而形成经解码视频块。求和器90表示执行此求和运 算的一或多个组件。
必要时，还可应用解块滤波器以对经解码块进行滤波以便去除成块效应假象。还可 使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它 方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92 中，参考图片存储器92存储用于后续运动补偿的参考图片。参考图片存储器92还存储 经解码视频以供稍后呈现在显示装置(例如，图1的显示装置32)上。
如上文所描述，视频解码器30可解码两个CBF，包含用于矩形色度变换系数块的 一个正方形子块的第一CBF和用于第二正方形子块的第二CBF。因此，视频解码器30 可直接接收用于正方形子块的CBF而无需接收用于所述子块驻留于其中的矩形块的 CBF旗标。举例来说，视频解码器30内的熵解码模块80可直接解码两个CBF，针对两 个块中的每一者一个CBF，而无需用于矩形块的CBF旗标。如上文所描述，在一些实 例中，视频编码器20中的模块，例如预测模块41可例如在四叉树叶处将矩形色度块分 裂为第一和第二正方形子块。因此，视频解码器30可接收对应于两个正方形子块的CBF 和系数。熵解码模块80可解码用于第一正方形子块的CBF以指示第一正方形子块是否 包含至少一个非零变换系数。熵解码模块80还可解码用于第二正方形子块的CBF以指 示第二正方形子块是否包含至少一个非零变换系数。熵解码模块80大体上并不解码CBF 用于矩形色度块，即第一和第二正方形子块的组合，因为在此实例中不接收用于矩形块 的CBF。
在一个特定实例中，如果色度CU大小是8×16且其细分为4个4×8变换单元，那 么对于每一色度分量，熵解码模块80将大体上不解码CBF，且CBF将大体上不在4×8 矩形块层级用信号表示。4x8块可进一步细分为两个4x4正方形子块。熵解码模块80可 解码用于每一4×4块的CBF。在一个实例中，色度分量包含第一和第二色度分量。对第 一和第二子块进行解码包含对第一矩形色度块的第一和第二正方形子块进行解码且对 第二矩形色度块的第一和第二正方形子块进行解码。通常，CBF用以用信号表示非零系 数的存在或不存在。在本发明的一些实例中，视频编码器20直接用信号表示用于色度 子块的两个CBF，针对变换系数的矩形块的两个正方形色度子块中的每一者一个CBF， 而无需发送用于所述矩形块的CBF旗标。视频解码器30可随后接收两个CBF，针对两 个正方形色度子块中的每一者一个CBF。视频编码器20在经编码位流中不用信号表示 CBF(在此实例中)用于矩形块，并且因此视频解码器30在经编码位流中将不接收用于矩 形色度块的CBF。如果CBF指示子块确实包含非零变换系数，那么视频解码器30剖析 所述子块以处理非零变换系数。否则，如果CBF并不指示所述子块包含非零变换系数， 那么视频解码器30可跳过剖析所述子块以处理变换系数。
然而在另一实例中，熵解码模块80可阶层式地解码CBF。在CBF的阶层式解码的 此实例中，目的地装置14的视频解码器30可接收用于整个矩形块的一个CBF，例如熵 解码模块80可编码用于整个矩形块的一个CBF。此矩形块可能已例如在视频编码器20 处划分成两个正方形块，且源装置12的视频编码器20可能已当矩形块CBF非零时发送 用于正方形块中的每一者的额外CBF旗标，例如熵解码模块80可当矩形块CBF非零时 解码用于正方形块中的每一者的额外CBF旗标。在此情况下，用于矩形块的CBF指示 所述子块中的任一者是否包含非零系数。如果是，那么视频解码器30接收个别子块的 CBF，其指示每一相应子块是否包含非零系数。
视频解码器30表示经配置以接收且处理已在(例如)视频编码器20处划分成第一正 方形子块和第二正方形子块的矩形色度块的解码器的实例。如上文所描述，经帧内预测 色度数据的第一正方形子块可使用经帧内预测色度数据的第一块和从第一正方形子块 获得的第一残余数据而重构。用于第二子块的经帧内预测色度数据的第二块可从经帧内 预测色度数据的第一块产生。可使用经帧内预测色度数据的第二块和来自第二正方形子 块的第二残余数据重构色度数据的第二子块。
如上文所论述，在一些实例中，视频解码器30表示经配置以获得例如在四叉树叶 处划分为第一和第二正方形子块的矩形色度块的解码器的实例。视频解码器30，例如熵 解码模块80，可解码用于第一正方形子块的第一CBF以指示第一正方形子块是否包含 至少一个非零变换系数。视频解码器30中的熵解码模块80还可解码用于第二正方形子 块的第二CBF以指示第二正方形子块是否包含至少一个非零变换系数。如本文中所描 述，在一些实例中，视频解码器30大体上并不解码用于矩形色度块的CBF。
在一些实例中，色度分量可包含第一和第二色度分量。视频解码器30中第一和第 二正方形子块的解码可包含对第一矩形色度块的第一和第二正方形子块进行解码以及 对第二矩形色度块的第一和第二正方形子块进行解码。在一些实例中，第一子块可为如 图8A中所示的矩形色度块的顶部正方形子块且第二子块可为底部正方形子块。在一些 实例中，矩形色度块具有4：2：2取样格式，如图4B和5中所示。
在一些实例中，视频解码器30的一部分，例如熵解码模块80可对视频数据进行熵 解码。举例来说，熵解码模块80可接收矩形色度块，其中所述矩形色度块划分成第一 正方形子块和第二正方形子块。预测模块81可使用经帧内预测色度数据的第一块和从 第一正方形子块获得的第一残余数据重构色度数据的第一正方形子块。预测模块81可 基于经重构第一正方形子块中的参考样本产生用于第二正方形子块的经帧内预测色度 数据的第二块，且使用经帧内预测色度数据的第二块和来自第二正方形子块的第二残余 数据重构经帧内预测色度数据的第二正方形子块。在其它实例中，视频解码器30的其 它部分可执行这些功能中的一些或全部。因此，来自顶部正方形子块的帧内预测性参考 样本可用以产生用于矩形色度块的底部正方形子块的经帧内预测块。
在一实例中，视频解码器30，例如逆量化模块86和/或逆变换模块88逆量化第一 正方形子块的变换系数，且逆变换所述经逆量化变换系数以产生第一残余数据。求和器 90可将第一残余数据加到经帧内预测色度数据的第一块以重构色度数据的第一正方形 子块。
在一些实例中，视频解码器30可通过使用来自额外空间相邻块的帧内预测参考样 本单独地或与来自第一正方形子块(例如顶部正方形子块)的帧内预测参考样本组合地产 生色度数据的经帧内预测块而重构色度数据的第二子块。在一些实例中，所述额外相邻 块可为左边相邻块。在其它实例中，可使用其它相邻块。
图4A-4C是说明用于译码单元的亮度和色度分量的不同样本格式的概念图。图4A 是说明4：2：0样本格式的概念图。如图4A中所说明，对于4：2：0样本格式，色度分量的 大小为亮度分量的大小的四分之一。因此，对于根据4：2：0样本格式格式化的CU，对于 色度分量的每个样本来说存在4个亮度样本。图4B是说明4：2：2样本格式的概念图。如 图4B中所说明，对于4：2：2样本格式，色度分量的大小为亮度分量的大小的二分之一。 因此，对于根据4：2：2样本格式格式化的CU，对于色度分量的每个样本来说存在2个亮 度样本。图4C是说明4：4：4样本格式的概念图。如图4C中所说明，对于4：4：4样本格 式，色度分量的大小与亮度分量的大小相同。因此，对于根据4：4：4样本格式格式化的 CU，对于色度分量的每个样本存在一个亮度样本。
图5是说明根据4：2：2样本格式格式化的16x16译码单元的实例的概念图。如上文 所描述，CU通常是根据水平及垂直亮度样本的数目来定义。因此，如图5中所说明， 根据4：2：2样本格式格式化的16x16CU包含亮度分量的16x16样本及每一色度分量的 8x16样本。另外，如上文所描述，CU可分割成较小CU。举例来说，图5中所说明的 CU可分割成4个8x8CU，其中每一CU包含用于亮度分量的8x8样本及用于每一色度 分量的4x8样本。
此外，在一些视频译码标准中，译码单元可分割为较小单元以用于预测或变换的目 的。根据HEVC，CU可包含一或多个预测单元(PU)及/或一或多个变换单元(TU)。本发 明还使用术语“块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一般来 说，“部分”可指视频帧的任何子集。另外，本发明通常使用术语“视频块”来指CU 的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以 及PU及TU的树块，即，LCU或CU。因而，视频块可以对应于CU内的译码节点，并 且视频块可以具有固定或变化的大小，并且根据指定译码标准可以具有不同大小。
PU可以表示对应CU的全部或一部分，并且可包含用于检索PU的参考样本的数据。 PU可以具有正方形或矩形形状。举例来说，如果图5中的CU是使用帧间预测而经译码， 那么其可划分成四个矩形PU，其中每一PU包含识别在时间上邻近帧中的集合参考样本 的信息。所述参考样本的集合可以组合以形成预测性视频块。如上所述，可以从CU减 去预测性视频块以形成残余数据。
如上所述，可以向残余数据应用变换以将残余数据从像素域变换到变换域。变换块 或TU可对应于变换所应用的残余数据的集合。TU表示用于执行变换且产生变换系数的 对应集合的像素差值的集合的大小。TU的大小可以与CU的大小相同，或者CU可以分 割成多个TU。举例来说，在图5中说明的CU上，可对与亮度样本的16x16阵列相关 联的残余值执行变换或可对亮度样本的四个8x8阵列中的每一者执行变换。总地来说， 较大TU提供在经重构图像中具有更容易察觉的“成块效应”的更多压缩，而较小TU 总地来说提供具有不容易察觉的“成块效应”的较少压缩。TU大小的选择可以基于速 率失真优化分析。
类似于LCU，TU可递归地分割为较小TU。从将TU分割为较小TU得到的TU可 被称为变换块结构。变换块结构的实例是所谓的树结构。树结构可将变换块译码为整个 TU或划分成许多较小TU。此过程可在每个不同分解层级针对每一块递归地完成。
图6是说明其中CU在连续层级经分裂或不分裂成四个四分之一大小块的四叉树分 解结构的概念图。在图6中，整个块可对应于原始CU。虚线指示根据四叉树结构的变 换块分解的一个结果。应注意，图6中所说明的分解是几个可能分解结果中的一个。如 图6中所示，存在变换分解的三个层级。在第一层级(即，层级1分解)，整个变换块分 裂成四个四分之一大小的块。随后，在第二层级(即，层级2)，第二四分之一大小的块 进一步分裂成四个1/16大小的块。随后，在第三层级(即，层级3)，第四1/16大小的块 进一步分裂成四个甚至更小的变换块。在编码过程期间，视频编码器可以基于速率失真 优化分析确定变换块是否应进一步分裂。
图6中说明的分解技术称为四叉树分解结构，在此情况下块经分裂或不分裂成四个 四分之一大小的块。在图6中，块仅分裂成正方形形状的子块。然而，在其它分解技术 中，例如HEVC WD10中描述的那些技术，块也可分裂成矩形形状的子块用于变换目的。
图7是说明四叉树分解的层级图。图7说明可用于用信号表示图6中所说明的四叉 树分解的层级图的一个实例。因此，图7提供表达分解结构的替代方法。如图7中所说 明，在不同分解层级，可以如下用信号表示变换分裂旗标：
层级0：1
层级1：0，1，0，0
层级2：0，0，0，1
层级3：0，0，0，0
在层级0(其是译码单元层级)处，用信号表示旗标1，因为变换有待进一步分裂。在 层级1处，仅仅第二四分之一大小的块进一步分裂，因此在视频编码器编码的位流中发 送旗标0，1，0，0。在层级2处，因为其它块不进一步分裂，所以仅仅需要视频编码器进 一步用信号表示第二四分之一大小的块。在第二四分之一大小的块中，仅仅第4块有待 进一步分裂，所以视频编码器在层级2处发送旗标0，0，0，1。在层级3处，没有块有待 进一步分裂，所以发送旗标0，0，0，0。为了清楚，应提到在本发明中，较小层级值意味 着分解结构中的较高层级(即，较靠近根层级的层级)。如图6和图7中所示，层级0是 根层级或顶部层级。
图8A-8B图解说明用于根据4：2：2样本格式格式化的视频块的变换单元分割的不同 情况。在图8A-8B中的每一者中，色度分量可分割为顶部和底部子块。在一个实例中， 首先，可遵循亮度四叉树以将色度分量划分为矩形块(例如，针对4：2：2)。随后，可将叶 色度块划分成顶部和底部正方形子块。通过将用于色度分量的矩形块分割为顶部和底部 正方形子块，在与其中色度分量不是首先分割为顶部和底部子块的情况相比时可产生用 于色度分量的替代的TU形状和大小。举例来说，可能产生正方形TU形状以使得可使 用正方形变换。
图8A-8B中的视频块可对应于遵循大小4x4、8x8、16x16、32x32和64x64中的任 一者的视频块或CU。一般来说，通过将色度分量分割为顶部和底部子块，与其中色度 分量不分割为顶部和底部子块的情况相比产生用于色度分量的多达两倍的TU。此外， 通过将色度分量分割为顶部和底部子块，在与其中色度分量不分割为顶部和底部子块的 情况相比时可产生其中TU的垂直或水平尺寸除以二的TU。下文详细描述当色度分量分 割为顶部和底部子块时将CU分割为TU的一些特定的情况。然而应注意，出于简洁起 见可从将色度分量分割为顶部和底部子块导出的所有可能的TU分区组合没有详细描 述，但相对于图8A-8B描述的分割技术可在各种分解层级处应用。
图8A图解说明基于分割结构的实例变换单元，其中色度分量分割为顶部和底部子 块且不应用基于亮度分量的额外分割。如图8A中所示，亮度块不进一步分裂且对应色 度块中的每一者分割为矩形色度块的顶部子块和底部子块。在图8A中说明的实例中， 在色度块分割为矩形色度块的顶部子块和底部子块之后进一步分割色度分量的确定可 基于亮度分量的分割。因此，在图8A中说明的实例中，色度分量中的每一者可不进一 步分裂，因为亮度块不进一步分裂。
在一个实例中，与图8A中说明的TU分割相关联的CU可为8x8CU。在此情况下， 将色度分量分割为顶部和底部子块导致用于亮度分量的一个8x8TU和用于色度分量的 两个4x4TU。此情况可对照其中色度分量不分割为顶部和底部子块的情况，后一种情况 将导致用于亮度分量的一个8x8TU和用于色度分量的一个4x8TU。如上文所描述，4x4 TU可针对HEVC界定，而4x8TU可不界定或不可用。因此，将色度分量分割为顶部和 底部子块可导致更有用的TU形状和大小。
再次，由于HEVC变换系数译码并不支持当所有系数是零时的情况，因此通常，CBF 用以用信号表示非零系数的存在或不存在。在HEVC中，色度CBF可阶层式地经译码。 在CBF的阶层式编码的此实例中，针对整个矩形块可发送一个CBF旗标。此块可划分 成两个正方形块，且例如仅当矩形块CBF非零时可针对所述正方形块中的每一者发送额 外CBF旗标。
在单独的实例中，如果色度CU大小是8×16且其细分为四个4×8变换单元，那么 对于每一色度分量，在4×8块层级用信号表示一个CBF。4x8块可进一步细分为两个4x4 块。在4x8块层级用信号表示的CBF指示是否所述4×4变换块中的任一者具有非零系 数。如果所述4×4变换块中的任一者具有非零系数，那么对于每一4×4块，发送另一 CBF。
一般来说，与图8A中说明的TU分区相关联的CU可描述为N乘N CU。与在其中 色度分量不分割为顶部和底部子块的情况下的一个N/2乘N TU相反，将色度分量分割 为顶部和底部子块导致两个N/2乘N/2TU，其可准许使用正方形变换来处理块。因此， 与在其中色度分量不分裂成顶部和底部子块的情况下具有1比2的纵横比的一个矩形 TU相比，将色度分量分割为顶部和底部子块导致两个正方形TU。如上文指出，在此实 例中，色度子块中的每一者具有与亮度块相同的纵横比。应注意在其它实例中，相对于 图8A描述的技术可应用于4x4、16x16、32x32或64x64CU。出于简洁起见，用于可能 的CU大小的对应亮度和色度TU大小不再详细地描述。如本文中所描述，译码器可对 用于顶部子块和底部子底部的CBF进行译码。另外，如本文中所描述，在另一实例中， 译码器可使用经重构顶部子块来产生用于矩形色度块的底部子块的帧内预测性样本。
图8B图解说明基于分割结构的实例变换单元，其中应用四叉树分割且色度分量分 割为顶部和底部子块。如图8B中所示，亮度块分裂成四个正方形形状的子块用于变换 目的。对应色度块各自分割为均为正方形的顶部子块和底部子块，且随后所述顶部和底 部子块中的每一者进一步分割为具有甚至更小大小的四个正方形形状的块。一般来说， 图8B中的CU可描述为N乘N CU。亮度分量的分割导致四个N/2乘N/2TU。与在其 中色度分量不分割为顶部和底部子块的情况下的四个N/4乘N/2TU相反，将色度分量 分割为顶部和底部子块导致八个N/4乘N/4TU。因此，与在其中TU不分裂成顶部和底 部子块的情况下具有1比2的纵横比的四个矩形TU相比，将色度分量分割为顶部和底 部子块导致八个正方形TU。应注意图8B中的CU可为4x4、8x8、16x16、32x32或64x64 CU。在一个实例中，色度分量包含第一和第二色度分量，例如顶部和底部。对第一和第 二子块进行译码包含对第一矩形色度块的第一和第二正方形子块进行译码且对第二矩 形色度块的第一和第二正方形子块进行译码。
在译码视频数据的一个实例方法中，视频编码器20或视频解码器30可例如在四叉 树叶处将矩形色度块分裂为第一和第二正方形子块，如图8B中所示。视频编码器20或 视频解码器30可解码用于第一正方形子块的第一CBF以指示第一正方形子块是否包含 至少一个非零变换系数。视频编码器20或视频解码器30还可解码用于第二正方形子块 的第二CBF以指示第二正方形子块是否包含至少一个非零变换系数。视频编码器20或 视频解码器30大体上并不解码用于矩形色度块的CBF。在一些实例中，第一子块可为 矩形色度块的顶部子块且第二子块可为底部子块。矩形色度块具有4：2：2取样格式。
图9是说明根据本文所描述的系统和方法的用于解码视频数据的实例方法的流程 图。在图9中说明的解码视频数据的实例方法中，例如视频解码器30的解码器其中色 度数据以矩形色度块布置的视频数据，其中第一和第二正方形子块一起构成矩形色度块 (902)。举例来说，视频解码器30的预测模块81获得例如在四叉树叶处划分成第一正方 形子块和第二正方形子块的矩形色度块。
在一些实例中，第一子块包括矩形色度块的顶部子块且第二子块包括底部子块。另 外，在一些实例中，矩形色度块具有4：2：2取样格式。
视频解码器30对用于第一正方形子块的第一经译码块旗标(CBF)进行译码以指示第 一正方形子块是否包含至少一个非零变换系数(904)。举例来说，视频解码器30的熵解 码模块80可解码用于第一正方形子块的第一CBF以指示第一正方形子块是否包含至少 一个非零变换系数。
视频解码器30还对用于第二正方形子块的第二CBF进行译码以指示第二正方形子 块是否包含至少一个非零变换系数(906)，同时不对用于矩形色度块(即，用于总矩形色 度块)的CBF进行译码。举例来说，视频解码器30的熵解码模块80可解码用于第一正 方形子块的第一CBF以指示第一正方形子块是否包含至少一个非零变换系数，且可解码 用于第二正方形子块的第二CBF以指示第二正方形子块是否包含至少一个非零变换系 数。
在一些实例中，色度分量包含第一和第二色度分量，其中解码第一和第二子块包括 解码第一矩形色度块的第一和第二正方形子块以及解码第二矩形色度块的第一和第二 正方形子块。视频解码器30，例如熵解码模块80，可解码用于第一正方形子块的第一 CBF以指示第一正方形子块是否包含至少一个非零变换系数。视频解码器30中的熵解 码模块80还可解码用于第二正方形子块的第二CBF以指示第二正方形子块是否包含至 少一个非零变换系数。如本文中所描述，在一些实例中，视频解码器30大体上并不解 码用于矩形色度块的CBF。
图10是说明根据本文所描述的系统和方法的用于编码视频数据的实例方法的流程 图。在图10中说明的编码视频数据的实例方法中，例如视频编码器20的编码器将例如 在四叉树叶处的矩形色度块分裂为第一正方形子块和第二正方形子块(1002)。举例来说， 视频编码器20的预测模块41将例如在四叉树叶处的矩形色度块分裂为第一正方形子块 和第二正方形子块。
在一些实例中，第一子块包括矩形色度块的顶部子块且第二子块包括底部子块。另 外，在一些实例中，第一子块和第二子块包括具有4：2：2取样格式的色度块。
视频编码器20对用于第一正方形子块的第一经译码块旗标(CBF)进行译码以指示第 一正方形子块是否包含至少一个非零变换系数(1004)。举例来说，视频编码器20的熵编 码模块56可编码用于第一正方形子块的第一CBF以指示第一正方形子块是否包含至少 一个非零变换系数。
视频编码器20还编码用于第二正方形子块的第二CBF以指示第二正方形子块是否 包含至少一个非零变换系数(1006)，同时不编码用于矩形色度块的CBF。举例来说，视 频编码器20的熵编码模块可编码用于第二正方形子块的第二CBF以指示第一正方形子 块是否包含至少一个非零变换系数。
图11是说明根据本文所描述的系统和方法的用于解码视频数据的实例方法的流程 图。在图11的实例方法中，视频解码器30接收矩形色度块。视频解码器30可将矩形 色度块划分成第一正方形子块和第二正方形子块(1102)。在一实例中，视频解码器30接 收矩形色度块，其中所述矩形色度块划分成第一正方形子块和第二正方形子块。第一正 方形子块可为矩形色度块的顶部正方形子块，且第二正方形变换块可为底部正方形子 块。
视频解码器30重构第一正方形变换块(1104)。在一些实例中，重构第一正方形变换 块可包含使用经帧内预测色度数据的第一块和从第一正方形子块获得的第一残余数据。 在一实例中，视频解码器30使用经帧内预测视频数据的第一块和从第一正方形子块获 得的第一残余数据对经帧内预测色度数据的第一块(例如顶部正方形子块)进行帧内解 码。
视频解码器30使用来自经重构第一正方形子块的参考样本帧内预测第二正方形子 块(1106)。帧内预测第二正方形子块可包含使用来自经重构第一正方形子块的参考样本 产生经帧内预测色度数据的第二块且使用经帧内预测色度数据的第二块和所述第二正 方形子块的第二残余数据重构第二正方形变换子块(1108)。
视频解码器30可使用经帧内预测色度数据的第二块和来自第二正方形子块的第二 残余数据重构第二正方形子块。举例来说，视频解码器30可使用经帧内预测色度数据 的第二块和来自第二正方形子块的第二残余数据重构色度数据的第二块(例如底部正方 形子块)。
在一些实例中，视频解码器可逆量化第一正方形子块的变换系数，逆变换所述经逆 量化变换系数以产生第一残余数据，且将第一残余数据加到经帧内预测色度数据的第一 块以产生色度数据的第一块。用于第一正方形子块的经帧内预测色度数据的第一块可使 用来自一或多个空间相邻块的帧内预测预测样本而产生。来自第一子块的帧内预测参考 样本随后可用以帧内预测用于第二正方形子块的色度数据的块。
在一些实例中，除由色度数据的第一块(例如顶部正方形子块)提供的帧内预测样本 的块之外，视频解码器30可另外或替代地使用来自额外相邻块的帧内预测样本重构色 度数据的第二块(例如底部正方形子块)。例如在各种方向性帧内模式中，一些帧内预测 模式可单独地或与来自另一空间相邻块的像素样本组合地使用来自待经帧内译码的块 (在此实例中例如底部正方形子块)上方的在空间上邻近的顶部块(在此实例中例如顶部 正方形子块)的像素样本。在一些实例中，所述额外相邻块包括相对于待译码块的左边相 邻块，例如邻近于色度分量的底部正方形子块。
图12是说明根据本文所描述的系统和方法的用于编码视频数据的实例方法的流程 图。在图12的实例方法中，视频编码器20接收矩形色度块。视频编码器20可将矩形 色度块划分成第一正方形子块和第二正方形子块(1202)。举例来说，视频编码器20的预 测模块41可接收矩形色度块，且将所述矩形色度块划分为第一正方形子块和第二正方 形子块。第一正方形子块可为矩形色度块的顶部正方形子块，且第二正方形变换块可为 底部正方形子块。
视频编码器20重构第一正方形变换块(1204)。在一些实例中，重构第一正方形变换 块可包含使用经帧内预测色度数据的第一块和第一正方形子块的第一残余数据。举例来 说，视频编码器20对第一块(例如顶部正方形子块)进行帧内编码，并且在第一块的重构 之后即刻使用经重构数据对第二块(例如底部正方形子块)进行帧内编码。确切地说，视 频编码器20可通过产生经帧内预测色度数据的块和表示经帧内预测色度数据的像素值 与第一块的像素值之间的差的残余数据的块而编码第一块。视频编码器20可将残余数 据变换为变换系数块且量化所述变换系数。视频编码器20可逆量化且逆变换所述系数 以重构残余数据，且随后通过产生用于第一正方形子块的经帧内预测色度数据的第一块 且将经帧内预测色度数据添加到从第一正方形子块获得的第一残余数据而重构色度数 据的第一正方形子块。视频编码器20还对残余数据和帧内译码模式信息进行熵译码以 在经译码视频位流中发射到视频解码器30。
为了对第二正方形子块(例如，底部正方形子块)进行帧内编码，视频编码器20使用 来自第一正方形子块的帧内预测参考样本产生经帧内预测色度数据的块，且随后产生指 示经帧内预测色度数据与第二正方形子块的色度数据之间的差的残余数据。视频编码器 20随后对残余数据和模式信息进行熵译码且在经编码视频位流中包含经熵译码数据用 于由视频解码器30用于解码操作。以此方式，来自经重构顶部正方形子块的一些色度 数据可用作帧内预测参考样本以对色度数据的底部正方形子块进行帧内译码。
视频编码器20使用来自经重构第一正方形子块的参考样本帧内预测第二正方形子 块(1206)。帧内预测第二正方形子块可包含基于第一正方形子块中的帧内预测样本产生 经帧内预测色度数据的第二块和第二正方形子块的残余数据；以及使用经帧内预测色度 数据的第二块和第二残余数据编码第二正方形变换子块(1208)。
视频编码器20可使用经帧内预测色度数据的第二块和来自第二正方形子块的第二 残余数据重构色度数据的第二块，例如底部正方形子块。在一些实例中，视频译码器例 如在视频编码器20的重构环路中可逆量化第一正方形子块的变换系数，逆变换经逆量 化变换系数以产生第一残余数据，且将第一残余数据加到经帧内预测色度数据的第一块 以产生色度数据的第一块。用于第一正方形子块的经帧内预测色度数据的第一块可使用 来自一或多个空间相邻块的帧内预测预测样本而产生。来自第一子块的帧内预测参考样 本随后可用以帧内预测用于第二正方形子块的色度数据的块。
在一些实例中，除由色度数据的第一块(例如顶部正方形子块)提供的帧内预测样本 的块之外，视频编码器20可另外或替代地使用来自额外相邻块的帧内预测样本重构色 度数据的第二块(例如底部正方形子块)。例如在各种方向性帧内模式中，一些帧内预测 模式可单独地或与来自另一空间相邻块的像素样本组合地使用来自待经帧内译码的块 (在此实例中例如底部正方形子块上方的在空间上邻近的顶部块(在此实例中例如顶部正 方形子块)的像素样本。在一些实例中，所述额外相邻块包括相对于待译码块的左边相邻 块，例如邻近于色度分量的底部正方形子块。
一些实例包含提供甚至在4：2：2格式视频的情况下使用正方形变换的译码系统。可 保持基本HEVC四叉树结构以使得4：2：2色度分量的每一矩形块可进一步分裂为4个矩 形块。举例来说，16×32色度块可分裂成4个8×16块。所述8×16中的每一者可进一步 细分为4个4×8块。在四叉树的叶处，也就是说，当块不作任何进一步分裂时，用于4：2：2 色度分量的矩形块分裂成2个正方形块且应用正方形变换。举例来说，2个8×8变换用 于8×16叶块。QP选择过程可从HEVC主简档不变。不执行对QP的±3的调整。例如 4：2：2色度分量的分裂矩形块可(例如)在视频解码器处接收。因此，视频编码器和视频解 码器两者可对第一正方形子块和第二正方形子块操作。视频编码器可将矩形色度块分裂 为第一和第二正方形子块。视频解码器可接收这些第一和第二正方形子块。
在一或多个实例中，所描述的功能可以用硬件、软件、固件或其任何组合来实施。 如果用软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或 传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体， 其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另 一处的媒体(例如，根据通信协议)的通信媒体。以此方式，计算机可读媒体一般可对应 于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存 储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描 述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机 可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、 CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何 其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。同 样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、 双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或 其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电 和微波等无线技术包括在媒体的定义中。然而，应理解，计算机可读存储媒体和数据存 储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形 存储媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字 多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘 使用激光以光学方式复制数据。以上的组合也应包含在计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处 理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它 等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或 适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本 文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或 者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或 IC的集合(即，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行 所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所 描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过 互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例在所附权利要求书的范围内。