《色度子采样格式的块分割方法和装置.pdf》由会员分享，可在线阅读，更多相关《色度子采样格式的块分割方法和装置.pdf（24页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104221376A43申请公布日20141217CN104221376A21申请号201380017887922申请日2013041261/623,16220120412US61/705,82920120926US61/720,41420121031USH04N19/176201401H04N19/86201401H04N19/6120140171申请人联发科技（新加坡）私人有限公司地址新加坡启汇城大道一号索拉斯大厦三楼之一72发明人刘杉雷少民74专利代理机构北京万慧达知识产权代理有限公司11111代理人张金芝杨颖54发明名称色度子采样格式的块分割方法和装置57摘要本发明揭。
2、示一种用于具有YUV422或YUV444格式视频的视频数据处理方法和装置。在一个实施方式中，对于具有YUV422格式的2NX2N亮度编码单元，变换处理分割对应于2NX2N的亮度编码单元和NX2N的色度编码单元的残差数据为正方形亮度和色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度和色度编码单元相关的残差数据。变换处理不依赖于与预测处理相关的预测区块尺寸和预测模式。在另一实施方式中，预测处理分割编码单元为两个预测区块。应用变换处理于对应于色度编码单元的色度残差数据，以形成一个或多个色度变换单元，其中变换处理依赖于编码的尺寸、预测区块尺寸、或编码单元尺寸和预测区块尺寸。30优。
3、先权数据85PCT国际申请进入国家阶段日2014092986PCT国际申请的申请数据PCT/CN2013/0741322013041287PCT国际申请的公布数据WO2013/152736EN2013101751INTCL权利要求书4页说明书11页附图8页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书11页附图8页10申请公布号CN104221376ACN104221376A1/4页21一种在视频编码系统中处理视频数据的方法，其特征在于，该视频数据使用YUV422或YUV444色度子采样模式，该在视频编码系统中处理视频数据的方法包括接收与具有尺寸为2NX2N的亮度编码单元。
4、相关的视频数据，其中N为正整数；接收与具有尺寸为NX2N或2NX2N尺寸的色度编码单元相关的视频数据，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；通过对与该亮度编码单元相关的视频数据应用预测处理，来产生对应于该亮度编码单元的亮度残差数据；通过对与该色度编码单元相关的视频数据应用预测处理，来产生对应于该色度编码单元的色度残差数据；对该亮度残差数据应用变换处理，以形成一个或多个亮度变换单元，该亮度残差数据对应于该亮度编码单元；对该色度残差数据应用变换处理，以形成一个或多个色度变换单元，该色度残差数据对应于该色度编码单元，其中该变换处理不依赖于与该预测处理相关的预测区块尺寸或预测模式。
5、，并限制该色度变换单元的形状为正方形；通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据，以产生每一个亮度变换单元的亮度变换系数；以及通过应用两维变换至对应于每一个色度变换单元的色度残差数据，以产生每一个色度变换单元的色度变换系数。2根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，使用YUV444色度子采样模式的该视频数据的该色度编码单元的变换处理形成具有尺寸为2NX2N的0级色度变换单元；其中利用四叉树将在当前级的每一个色度编码单元分割为下一级的4个更小的正方形色度变换单元。3根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，该色度变换单元尺寸依赖。
6、于该亮度编码单元尺寸、该色度编码单元尺寸、或该亮度编码单元尺寸和该色度编码单元尺寸。4根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，0级亮度变换单元尺寸为2NX2N，以及0级色度变换单元尺寸为NXN。5根据权利要求4所述的在视频编码系统中处理视频数据的方法，其特征在于，1级亮度变换单元尺寸为NXN，以及1级色度变换单元尺寸为NXN或N/2XN/2。6根据权利要求5所述的在视频编码系统中处理视频数据的方法，其特征在于，利用四叉树将该1级亮度变换单元或该1级色度变换单元分割为四个更小的正方形变换单元，直到达到预定的最小变换单元尺寸为止。7根据权利要求6所述的在视频编码系统中处。
7、理视频数据的方法，其特征在于，该预定的最小变换单元尺寸为4X4。8根据权利要求1所述的在视频编码系统中处理视频数据的方法，其特征在于，指示是否分割该亮度变换单元和该色度变换单元的标志包括于已压缩的视频数据中。9一种在视频编码系统中处理视频数据的方法，其特征在于，该视频数据使用YUV422色度子采样模式，该在视频编码系统中处理视频数据的方法包括接收与具有尺寸为2NX2N的亮度编码单元相关的视频数据，其中N为正整数；权利要求书CN104221376A2/4页3接收与具有尺寸为NX2N尺寸的色度编码单元相关的视频数据，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；通过对与该亮度编码单元。
8、相关的该视频数据应用预测处理，来产生对应于该亮度编码单元的亮度残差数据；通过对与该色度编码单元相关的该视频数据应用预测处理，来产生对应于该色度编码单元的色度残差数据；对该亮度残差数据应用变换处理，以形成一个或多个亮度变换单元，该亮度残差数据对应于该亮度编码单元；对该色度残差数据应用变换处理，以形成一个或多个色度变换单元，该色度残差数据对应于该色度编码单元，其中该变换处理依赖于编码单元尺寸和与该预测处理相关的预测区块尺寸、或依赖于编码单元尺寸和与该预测处理相关的预测模式，其中该编码单元尺寸于该亮度编码单元、该色度编码单元、或该亮度编码单元和该色度编码单元相关；通过应用第一两维变换至对应于每一个亮。
9、度变换单元的亮度残差数据，以产生每一个亮度变换单元的亮度变换系数；以及通过应用第二两维变换至对应于每一个色度变换单元的色度残差数据，以产生每一个色度变换单元的色度变换系数。10根据权利要求9所述的在视频编码系统中处理视频数据的方法，其特征在于，对于通过预测处理产生的正方形色度预测单元，对该色度残差数据应用变换处理，以产生一个或多个第一正方形或矩形色度变换单元，该色度残差数据对应于该正方形色度预测单元；以及对于通过预测处理产生的矩形色度预测单元，对该色度残差数据应用该变换处理，以产生一个或多个第二正方形或矩形色度变换单元，该色度残差数据对应于该矩形色度预测单元。11根据权利要求9所述的在视频编码。
10、系统中处理视频数据的方法，其特征在于，当与该亮度编码单元的预测处理相关的预测分割模式对应于2NXN、2NXNU、2NXND、NX2N、NLX2N或NRX2N时，该变换处理强制0级亮度变换单元分割为更小的1级亮度变换单元；其中，通过利用该预测分割模式的该亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。12根据权利要求11所述的在视频编码系统中处理视频数据的方法，其特征在于，当该亮度编码单元的预测分割模式对应于2NXN、2NXNU或2NXND时，1级亮度变换单元尺寸为2NXN/2，以及1级色度变换单元尺寸为NXN。13根据权利要求12所述的在视频编码系统中处理视频数据的方法，其。
11、特征在于，该1级亮度变换单元被分割为具有尺寸为NXN/4的四个2级亮度变换单元，以及该1级色度变换单元被分割为具有尺寸为N/2XN/2或NXN/4的四个2级色度变换单元。14根据权利要求11所述的在视频编码系统中处理视频数据的方法，其特征在于，当该亮度编码单元的预测分割模式对应于NX2N、NLX2N或NRX2N时，1级亮度变换单元尺寸为2NXN/2，以及1级色度变换单元尺寸为NXN。15根据权利要求14所述的在视频编码系统中处理视频数据的方法，其特征在于，1级亮度变换单元被分割为四个具有尺寸为N/4XN的2级亮度变换单元，以及1级色度变换单元被分割为四个具有尺寸为N/4XN的2级色度变换单元。。
12、权利要求书CN104221376A3/4页416根据权利要求9所述的在视频编码系统中处理视频数据的方法，其特征在于，当该亮度编码单元的预测分割模式对应于2NXNU或2NXND时，该变换处理强制0级亮度变换单元分割为具有尺寸为2NXN/2的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为NXN/4的1级色度变换单元；其中，通过利用该预测分割模式的该亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。17根据权利要求16所述的在视频编码系统中处理视频数据的方法，其特征在于，1级亮度变换单元被分割为四个具有尺寸为NXN/4的2级亮度变换单元，以及1级色度变换单元被分割为四个具。
13、有尺寸为N/2XN/8或N/4XN/4的2级色度变换单元。18根据权利要求9所述的在视频编码系统中处理视频数据的方法，其特征在于，当该亮度编码单元的预测分割模式对应于NLX2N或NRX2N时，该变换处理强制0级亮度变换单元分割为具有尺寸为N/2X2N的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为N/4XN的1级色度变换单元；其中，通过利用该预测分割模式的该亮度编码单元的该预测处理，产生与亮度预测单元相关的0级亮度变换单元。19一种在视频编码系统中处理视频数据的装置，其特征在于，该视频数据使用YUV422或YUV444色度子采样模式，该在视频编码系统中处理视频数据的装置包括用于接收与。
14、具有尺寸为2NX2N的亮度编码单元相关的视频数据的装置，其中N为正整数；用于接收与具有尺寸为NX2N或2NX2N尺寸的色度编码单元相关的视频数据的装置，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；用于通过对与该亮度编码单元相关的该视频数据应用预测处理来产生对应于该亮度编码单元的亮度残差数据的装置；用于通过对与该色度编码单元相关的该视频数据应用预测处理来产生对应于该色度编码单元的色度残差数据的装置；用于对该亮度残差数据应用变换处理以形成一个或多个亮度变换单元的装置，该亮度残差数据对应于该亮度编码单元；用于对该色度残差数据应用变换处理以形成一个或多个色度变换单元的装置，该色度残差数。
15、据对应于该色度编码单元；其中该变换处理不依赖于与该预测处理相关的预测区块尺寸或预测模式，以及限制该色度变换单元的形状为正方形；用于通过应用两维变换至对应于每一个亮度变换单元的亮度残差数据以产生每一个亮度变换单元的亮度变换系数的装置；用于通过应用两维变换至对应于每一个色度变换单元的色度残差数据以产生每一个色度变换单元的色度变换系数的装置。20一种在视频解码器中的视频数据区块的处理方法，其特征在于，该视频数据使用YUV422或YUV444色度子采样模式，该在视频解码器中的视频数据区块的处理方法包括接收与具有尺寸为2NX2N的亮度编码单元相关的每一个亮度变换单元的亮度变换系数，其中N为正整数；接收与。
16、具有尺寸为NX2N或2NX2N的色度编码单元相关的每一个色度变换单元的色度变换系数，其中该色度编码单元对应于与该亮度编码单元相关的相同像素区域；通过对每一个亮度变换单元的该亮度变换系数应用逆两维变换，来产生每一个亮度变权利要求书CN104221376A4/4页5换单元的亮度残差区块，其中所有的亮度变换单元为正方形；通过对每一个色度变换单元的该色度变换系数应用逆两维变换，来产生每一个色度变换单元的亮度残差区块，其中所有的色度变换单元为正方形；自于该色度编码单元相关的该色度变换单元的色度残差区块产生与该色度编码单元相关的色度残差区块；以及对与该色度编码单元相关的该色度残差区块应用预测处理，以重建与。
17、该色度编码单元相关的该视频数据；其中，与该色度编码单元相关的该色度变换单元不依赖于与该预测处理相关的预测区块尺寸和预测模式。权利要求书CN104221376A1/11页6色度子采样格式的块分割方法和装置0001交叉引用0002本发明主张在2012年04月12日提出的申请号为61/623,162、标题为“ANEWBIGCUCODINGMETHODFORVIDEOCODINGINHEVC”的美国临时专利申请的优先权；主张在2012年09月26日提出的申请号为61/705,829、标题为“CODING,PREDICTIONANDTRANSFORMBLOCKSTRUCTUREFORVIDEOCOMPR。
18、ESSIONINYUV422FORMAT”的美国临时专利申请的优先权；以及主张在2012年10月31日提出的申请号为61/720,414、标题为“CODING,PREDICTIONANDTRANSFORMBLOCKSTRUCTUREFORYUV422FORMAT”的美国临时专利申请的优先权。因此在全文中合并参考这些美国临时专利申请案。技术领域0003本发明是有关于视频编码系统，特别是有关于一种具有YUV422/444子采样SUBSAMPLING格式的视频编码区块、预测区块和变换区块的块结构的方法和装置。背景技术0004运动补偿是一种在视频序列中采用时间冗余TEMPORALREDUNDANCY的。
19、有效的帧间编码INTERFRAMECODING技术。运动补偿帧间编码已广泛用于各种国际视频编码标准。在各种编码标准中采用的运动估计通常为基于区块的技术，在此技术中确定每一个宏块MACROBLOCK或相似区块配置的运动信息例如，编码模式和运动向量。此外，也自适应地应用帧内编码INTRACODING，在帧内编码中处理图片不需要参考其他图片。帧间预测INTERPREDICTED或帧内预测INTRAPREDICTED残差通常通过变换、量化或熵编码等进一步处理来产生已压缩的视频比特流。在编码过程中，提出了编码伪影CODINGARTIFACT，特别是在量化过程中。为了减轻编码伪影，对重建的视频应用额外的处。
20、理过程以提高在新的编码系统中的图片质量。通常在环内操作INLOOPOPERATION中配置额外的处理过程，以使得编码器和解码器得到相同的参考图片以获得改善的系统性能。0005图1A为基于使用自适应帧间/帧内预测的高效率视频编码HIGHEFCIENCYVIDEOCODING,HEVC的视频编码器的系统方框图。对于帧间预测来说，运动估计/运动补偿112用于基于自其他图片的视频数据来提供预测数据。开关114选择帧内预测110的数据或帧间预测的数据并且已选择的预测数据被提供至加法器116，以形成预测误差，也称为残差。然后，通过变换118以及紧接着的量化120来处理预测误差。然后通过熵编码器122来编码。
21、已变换和已量化的残差，以形成对应于已压缩视频数据的视频比特流。然后，将与变换系数相关的比特流和边信息SIDEINFORMATION例如，运动、模式以及与图像区域相关的其他信息一起封装。也可以熵编码边信息以降低需要的带宽。如图1A所示，相应地，与边信息相关的数据被提供至熵编码器122。当使用帧内预测模式时，在编码器端也要重建参考图片。因此，通过逆量化124和逆变换126来处理已变换和已量化的残差，以恢复残差。然后，将残差在重建128处与预测数据136相加，以重建视频数据。已重建的视频数据可以存储于参考图片缓冲器134中并用于其他帧的预测。说明书CN104221376A2/11页70006如图1A。
22、所示，输入视频数据在编码系统中接受一系列的处理。由于这一系列的处理，来自重建128的重建视频数据可以遭受各种损伤IMPAIRMENTS。相应地，为改善视频质量，在将已重建的视频数据存储于参考图片缓冲器134之前，将各种环内处理应用于已重建的视频数据。在开发的HEVC标准中，已开发解区块滤波器130和采样自适应偏移131，来提高图片质量。环内滤波器信息可以包含于比特流中，以使得解码器可以适当地恢复需要的信息。因此，来自采样自适应偏移的环内滤波器信息被提供至熵编码器122，以便纳入比特流中。在图1A中，首先对重建的视频应用解区块滤波器130，然后对已解区块滤波处理的视频应用采样自适应偏移131。0。
23、007与图1A中编码器对应的解码器如图1B所示。通过视频解码器142解码视频比特流，来恢复已变换和已量化的残差、采样自适应偏移/ALF信息和其他系统信息。在解码器侧，仅执行运动补偿113，而不是运动估计/运动补偿。解码处理相似于在编码器侧的重建环RECONSTRUCTIONLOOP。已重建的已变换和已量化的残差、采样自适应偏移/ALF信息和其他系统信息用于重建视频数据。通过解区块滤波器130和采样自适应偏移131来处理已重建的视频，以产生最终提高的已解码视频。0008在HEVC系统中，通过灵活的区块FLEXIBLEBLOCK称为编码单元CODINGUNIT,CU代替H264/AVC的固定尺寸的。
24、宏块。在编码单元中的像素共享相同的编码参数，以改善编码效率。编码单元可以开始于一个最大编码单元LARGESTCU,LCU，也称为在HEVC中的编码树单元CODEDTREEUNIT,CTU。然后利用四叉树QUADTREE来分割初始编码单元。通常，编码系统利用率失真优化RATEDISTORTIONOPTIMIZATION,RDO来确定编码单元是否被进一步分割。在通过四叉树分割编码单元之后，除非编码单元达到预先指定的最小编码单元尺寸，可以利用四叉树进一步分割由此产生的编码单元。相应地，图片的四叉树分割的集合形成可变尺寸编码单元，并且该集合组成分割地图PARTITIONMAP以用于处理输入图像的编码器。
25、。分割地图被传送至解码器，以使得可以执行相应地解码处理。在HEVC中，亮度分量即，Y的CTU尺寸可以达到64X64。编码单元尺寸通常称为2NX2N。当通过四叉树分割编码单元时，将产生四个NXN编码单元。0009除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦完成编码单元层次树HIERARCHICALTREE的分割，根据预测类型和预测单元分割，每一个叶编码单元LEAFCU被进一步分割为预测单元。在HEVC中帧间/帧内预测处理应用于预测单元。对于每一个2NX2N叶编码单元，选择分割尺寸来分割编码单元。当选择帧间模式时，2NX2N预测单元可以被分割为2NX2N、2NXN、或NX2N的预测。
26、单元。当2NX2N预测单元为帧内编码时，预测单元可以被分割为一个2NX2N或四个NXN。0010在HEVC标准中，完成编码配置CODINGPROLE，也称为主配置MAINPROLE，并且主配置仅支持YUV420色度子采样CHROMASUBSAMPLING格式中的彩色视频COLORVIDEO。彩色视频包括多个颜色分量，并且亮度和色度形式的颜色分量通常用于视频编码领域中。在各种颜色分量格式中，YUV或YCRCB通常用于视频编码。YUV色度子采样格式对亮度分量即，Y应用全采样以及对色度分量即，CR或CB应用21水平子采样和21垂直子采样。图2为与YUV420、YUV422和YUV444色度子采样格式。
27、相关的采样格式的示例。如区块210所示的颜色采样区域4像素X2行用于YUV420色度子采样。对应的Y分量的全采样如区块211所示。对于每一个色度分量即，CR或CB，仅形成两个采样，如区块说明书CN104221376A3/11页8212所示的4X2颜色像素区域中的阴影区域1和阴影区域2所示。尽管YUV420格式广泛用于一般消费者应用，但是在一些维护消费者权益PROCONSUMER和专业的应用中，期望较高的颜色保真度DELITY并使用YUV422和YUV444格式。对于区块220所示的4X2颜色像素区域的YUV422色度子采样，Y分量221的采样与之前描述的YUV420色度子采样的对应的Y分量的采。
28、样相同。然而，对于色度分量，子采样形成2X2子采样模式PATTERN222。对于区块230所示的4X2颜色像素区域的YUV444色度子采样，Y分量231的采样与之前的采样相同。然而，对于色度分量，利用全采样即，11子采样来形成4X2子采样模式232。色度分量的采样位置可以与亮度采样对齐。然而，色度分量的采样位置也可以与亮度采样水平地、垂直地、或水平和垂直地存在偏移。0011在HEVC主配置中，四叉树分割应用于变换区块，其中将变换过程应用于每一个编码单元并将编码单元尺寸作为初始变换单元尺寸。每一个变换单元可以通过四叉树分割。图3为变换单元的四叉树分割的示意图。区块310对应于最大编码树区块的四叉。
29、树分割，其中每一个正方形对应于一个叶编码单元。变换处理应用于与通过粗线区块312指示的编码单元相关的残差。CTB可以为64X64、32X32、16X16或8X8。初始变换单元320对应于选择的编码单元即，区块312的残差。初始变换单元320通过四叉树来分割，以形成下一级的变换单元330。变换单元330可以通过四叉树进一步分割，以形成变换单元340。HEVC的变换尺寸可以为32X32、16X16、8X8或4X4。当使用YUV422或YUV444格式时，需要用于所有这些色度子采样格式的视频编码工具和方案。举例来说，H264/MPEG4高级视频编码标准包括命名为保真度范围扩展FIDELITYRANG。
30、EEXTENSIONS,FREXT的配置，该配置可以通过支持增加像素比特深度和较高的分辨率颜色格式例如，YUV422和YUV444色度子采样而具有较高质量的视频编码。因此，需要开发编码工具，例如，用于与HEVC编码系统的YUV422和YUV444色度子采样格式相关的编码单元、预测单元和变换单元的结构和分割方法。发明内容0012本发明揭示一种在视频编码系统中处理视频数据的方法和装置。其中，视频数据使用YUV422或YUV444色度子采样模式。在本发明的一个实施方式中，对于YUV422视频数据的2NX2N的亮度编码单元和NX2N的色度编码单元，变换处理分割对应于2NX2N的亮度编码单元和NX2N的。
31、色度编码单元的残差数据为正方形亮度变换单元和正方形色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度和色度编码单元相关的残差数据。变换处理不依赖于与预测处理相关的预测区块尺寸和预测模式。对于2NX2N亮度编码单元，0级亮度变换单元尺寸为2NX2N以及色度变换单元尺寸为NXN。0级2NX2N亮度变换单元被分割为四个1级NXN亮度变换单元。1级NXN亮度变换单元可以进一步被分割为四个2级N/2XN/2亮度变换单元。0级NXN色度变换单元可与1级色度变换单元相同即，尺寸为NXN。1级NXN色度编码单元可被进一步分割为四个2级N/2XN/2色度变换单元。可选地，0级NXN色度变换单。
32、元可被进一步分割为四个1级N/2XN/2色度变换单元。1级N/2XN/2色度变换单元可被进一步分割为四个2级N/4XN/4色度变换单元。0013在另一个实施方式中，对于YUV422视频数据的2NX2N的亮度编码单元和NX2N的说明书CN104221376A4/11页9色度编码单元，预测处理垂直或水平地分割编码单元为两个区块即，两个预测单元。变换处理分割对应于亮度预测单元的残差数据为一个或多个亮度变换单元，以及变换处理分割对应于色度预测单元的残差数据为一个或多个色度变换单元。通过对亮度编码单元和色度编码单元应用预测处理，产生与亮度编码单元和色度编码单元相关的残差数据。变换处理依赖于编码单元尺寸和。
33、与预测处理相关的预测区块尺寸，或依赖于编码单元尺寸或与预测处理相关的预测模式，其中编码单元尺寸与亮度编码单元、色度编码单元、或亮度编码单元和色度编码单元相关。对于2NX2N亮度编码单元，当与亮度编码单元的预测处理相关的预测分割模式对应于2NXN、2NXNU、2NXND、NX2N、NLX2N或NRX2N时，变换处理强制0级亮度变换单元分割为更小的1级亮度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，产生与亮度预测单元相关的0级亮度变换单元。当亮度编码单元的预测分割模式对应于2NXN、2NXNU或2NXND时，1级亮度变换单元尺寸为2NXN/2以及1级色度变换单元尺寸为NXN。1级。
34、亮度变换单元可以被分割为四个具有尺寸为NXN/4的2级亮度变换单元，以及1级色度变换单元被分割为四个具有尺寸为N/2XN/2或NXN/4的2级色度变换单元。当亮度编码单元的预测分割模式对应于NX2N、NLX2N或NRX2N时，1级亮度变换单元尺寸为2NXN/2以及1级色度变换单元尺寸为NXN。1级亮度变换单元可被进一步分割为具有尺寸为N/4XN的2级亮度变换单元，以及1级色度变换单元可被进一步分割为具有尺寸为N/4XN的2级色度变换单元。0014在又一实施方式中，当亮度编码单元的预测分割模式对应于2NXNU或2NXND时，变换处理强制0级亮度变换单元分割为具有尺寸为2NXN/2的1级亮度变换单。
35、元，并强制0级色度变换单元分割为具有尺寸为NXN/4的1级色度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，产生与亮度预测单元相关的0级亮度变换单元。1级亮度变换单元可被分割为四个具有尺寸为NXN/4的2级亮度变换单元，以及1级色度变换单元可以被分割为四个具有尺寸为N/2XN/8或N/4XN/4的2级色度变换单元。当亮度编码单元的预测分割模式对应于NLX2N或NRX2N时，变换处理强制0级亮度变换单元分割为具有尺寸为N/2X2N的1级亮度变换单元，并强制0级色度变换单元分割为具有尺寸为N/4XN的1级色度变换单元。其中，通过利用预测分割模式的亮度编码单元的预测处理，来产生与亮度。
36、预测单元相关的0级亮度变换单元。1级亮度变换单元被分割为具有尺寸为NXN/4的2级亮度变换单元，以及1级色度变换单元被分割为具有尺寸为N/2XN/8或N/4XN/4的2级色度变换单元。0015用于指示是否分割亮度变换单元的第一标志和用于指示是否分割色度变换单元的第二标志可以包括于已压缩的视频数据中。其中，独立地确定第一标志和第二标志。在另一实施方式中，一个标志用于指示是否分割亮度和色度变换单元，该亮度和色度变换单元覆盖亮度和色度平面PLANE投影的相同区域。附图说明0016图1A为与HEVC编码系统相关的自适应帧间/帧内视频编码器的示意图。0017图1B为与HEVC编码系统相关的自适应帧间/帧。
37、内视频解码器的示意图。0018图2为用于YUV420、YUV422和YUV444色度子采样格式的采样模式的示意图。0019图3为编码单元的四叉树分割的示意图，其中通过利用残差四叉树的变换过程处说明书CN104221376A5/11页10理与一个叶编码单元相关的残差数据。0020图4为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。0021图5为根据本发明实施方式的YUV422色度子采样格式的编码单元分割和变换过程的示意图，其中所有变换单元为正方形。0022图6为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换。
38、过程的示意图，其中编码单元被垂直分割为两个相等的预测单元。0023图7为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个相等的预测单元。0024图8为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被垂直分割为两个不对称的预测单元。0025图9为根据本发明实施方式的YUV422色度子采样格式的编码单元分割、预测过程和变换过程的示意图，其中编码单元被水平分割为两个不对称的预测单元。0026图10为包括本发明实施方式的编码单元分割、预测过程和变换过程的视频编码系统的示范性流程。
39、图。0027图11为包括本发明实施方式的编码单元分割、预测过程和变换过程的视频编码系统的另一示范性流程图。具体实施方式0028在HEVC中，引入编码单元、预测单元以及变换单元以改善压缩效率。在HEVC中，变换处理依赖于编码单元尺寸。YUV420格式的编码单元变换单元之间的关系如表1所示。在HEVC中，允许最大变换的单元尺寸为32X32。因此，当编码单元尺寸为64X64时，不存在0级变换单元。另一方面，允许的最小变换单元尺寸为4X4。因此，不存在4X4色度编码单元的2级变换单元。0029表100300031在本发明中，揭示了新的编码单元预测单元变换单元结构以用于利用YUV422和YUV444色度。
40、子采样格式的视频数据的视频压缩。以下将在HEVC的内容中详述。然而，新的编码单元预测单元变换单元结构也可以用于其他视频编码系统。在一实施方式中，揭示了编码单元预测单元变换单元结构，以用于具有YUV444格式的视频数据。其中，在具有YUV420格式的HEVC压缩中，色度区块即，CB和CR利用与亮度区块Y相同的编码单元预测单元变换单元结构。说明书CN104221376A106/11页110032在另一实施方式中，YUV422压缩的编码单元变换单元结构如表2所示。在此结构中，变换单元尺寸仅依赖编码单元尺寸，而不依赖预测单元尺寸。此外，仅允许正方形变换单元。在一个实施方式中，这些正方形变换单元利用正方。
41、形变换例如，2维离散余弦变换DISCRETECOSINETRANSFORM,DCT和2维离散正弦变换DISCRETESINETRANSFORM,DST。举例来说，如图4所示，当编码单元尺寸为2NX2N时，包括2NX2N亮度采样、NX2NCBU采样以及NX2NCRV采样。对于根即，0级变换处理ROOTTRANSFORMPROCESS，0级亮度变换单元对应于2NX2N亮度残差数据，而每一个NX2N色度区块被垂直分割为两个NXN色度变换区块。NXN变换可以应用于两个色度变换区块中的每一个。在下一级即，1级变换过程中，图4中的示例描述了2NX2N亮度变换单元被分割为四个NXN亮度变换单元，其中，上述分。
42、割与YUV420格式的视频数据的HEVC编码相同。然而，在下一级即，1级中的色度变换单元尺寸仍然与0级的色度变换单元尺寸相同。亮度区块的2级变换过程与在HEVC编码中用于YUV420格式的视频数据的变换过程相同，然而在1级中的每一个NXN色度变换单元可以利用四叉树进一步分割为4个色度变换单元。如图4所示，一个NXN色度区块被进一步分割为4个N/2XN/2色度区块在另一实施方式中，0级变换过程和图4描述的相同。然而，如图5所示，对于1级变换过程来说，在0级中的每一个NXN色度变换单元被进一步分割为4个N/2XN/2的变换单元。因此，如图5所示，与2NX2N亮度编码单元相关的NX2NCB或CR采样。
43、被分割为八个N/2XN/2色度变换单元。八个N/2XN/2色度变换单元中的每一个被进一步分割为4个N/4XN/4色度变换单元。图5所示的示例描述了八个N/2XN/2色度变换单元中的每一个被分割为4个N/4XN/4色度变换单元。如表2所示，在HEVC主配置中，对于亮度组分和色度组分，均允许最大变换尺寸为32X32、最小变换尺寸为4X4。用于HEVC主配置的变换单元尺寸限制也可以用于本发明。因此，当编码单元大于32X32时，对应的变换单元被自动地分割为具有尺寸为32X32或更小的下一级变换单元。并且，当变换单元尺寸为最小尺寸4X4时，自动停止变换单元四叉树分割。0033表200340035如表3所。
44、示，在本发明的又一实施方式中，揭示了具有YUV422格式视频数据的视频压缩系统的编码单元预测单元变换单元结构。在此结构中，变换单元尺寸依赖于编码单元尺寸和预测单元尺寸。允许非正方形变换单元和变换。对于2NX2N编码单元，若预测单元为正方形，即预测分割模式为2NX2N或NXN，则变换单元结构与图4图5和表2所示的相同。当预测单元为非正方形，即预测分割模式为2NXN、NX2N、2NXNU、2NXND、NLX2N或说明书CN104221376A117/11页12NRX2N，则变换单元结构如表3所示。2NXNU和2NXND称为不对称垂直分割。其中，2NXNU对应于具有较窄上区块的分割，以及2NXND对。
45、应于具有较窄下区块的分割。NLX2N和NRX2N称为不对称水平分割。其中，NLX2N对应于具有较窄左区块的分割，以及NRX2N对应于具有较窄右区块的分割。0036表3003700380039对于2NX2N编码单元，若预测单元尺寸或分割模式为2NXN、2NXNU或2NXND以及当使能非正方形变换单元和非正方形变换时，对应的根即，0级亮度变换单元被强制分割为下一级即，1级变换单元。1级亮度变换单元尺寸为2NXN/2。其中，N为16或更小。当N为32时，通常严格限制变换单元尺寸，以使得其在水平和垂直方向上不会超过32。如图6所示，对于1级亮度变换单元，每一个2NXN亮度预测单元包括两个亮度变换单元。。
46、通常强制1级色度变换单元尺寸为NXN。因此，如图6所示，每一个NXN色度预测单元对应于在一个1级的NXN色度变换单元。1级变换单元通常被进一步分割为下一级即，2级更小的变换单元。每一个具有尺寸为2NXN/2的1级亮度变换单元可以进一步分割为四个NXN/4亮度变换单元。有两个选择进一步分割1级色度变换单元。在一个实施方式中，说明书CN104221376A128/11页13NXN色度变换单元可以进一步分割为四个N/2XN/2色度变换单元。在另一个实施方式中，如图6所示，NXN色度变换单元可以进一步分割为四个NXN/4色度变换单元。0040如图7所示，对于2NX2N编码单元，若预测单元尺寸或分割模式。
47、为NX2N、NLX2N或NRX2N以及当使能非正方形变换时，根即，0级变换单元被强制分割为下一级即，1级变换单元。1级亮度变换单元尺寸为N/2X2N。其中，N为16或更小。当N为32时，通常严格限制变换单元尺寸，以使得其在水平和垂直方向上不会超过32。对于1级亮度变换单元，一个NX2N亮度预测单元包括两个N/2X2N亮度变换单元。1级色度变换单元尺寸也可为N/2X2N以及一个N/2X2N色度预测单元对应于一个N/2X2N色度变换单元。1级变换单元被进一步分割为下一级即，2级更小的变换单元。每一个1级N/2X2N亮度变换单元被进一步分割为四个N/4XN亮度变换单元。如图7所示，每一个1级N/2X。
48、2N色度变换单元也可进一步被分割为四个N/4XN色度变换单元。0041在本发明的又一实施方式中，揭示了如图4所示的具有YUV422格式视频数据的视频压缩系统的编码单元预测单元变换单元结构。根据此实施方式，变换单元尺寸依赖于编码单元尺寸和预测单元尺寸。允许非正方形变换单元和变换。对于2NX2N编码单元，若预测分割是对称的，即预测分割模式对应于2NX2N、2NXN、NX2N或NXN，则变换单元结构与图6图7和表3所示的相同。当预测分割是非对称的，即分割模式为2NXNU、2NXND、NLX2N和NRX2N，变换单元结构如表4所示定义。0042表400430044对于2NX2N编码单元，若预测单元尺寸。
49、或分割模式为2NXNU或2NXND以及当使能非正方形变换时，根即，0级变换单元被强制分割为下一级即，1级变换单元。如图8所示，1级亮度变换单元尺寸为2NXN/2以及1级色度变换单元尺寸为NXN/4。1级变换单元可被进一步分割为下一级即，2级更小的变换单元。每一个1级亮度变换单元可以进一步分割为四个NXN/4亮度变换单元。有两个选择进一步分割1级色度变换单元。在一个实施方式中，NXN/4色度变换单元可以进一步分割为四个N/2XN/8色度变换单元。在另一个实施方式中，如图8所示，NXN/4色度变换单元可以进一步分割为四说明书CN104221376A139/11页14个N/4XN/4色度变换单元。0045对于2NX2N编码单元，若预测单元尺寸或分割模式为NLX2N或NRX2N以及当使能非正方形变换时，根即，0级变换单元被强制分割为下一级即，1级变换单元。如图9所示，1级亮度变换单元尺寸为N/2X2N以及1级色度变换单元尺寸为N/4XN。1级变换单元可被进一步分割为下一级即，2级更小的变换单元。有两个选择进一步分割色度变换单元。在一个实施方式中，N/4XN色度变换单元可以进一步分割为四个N/8XN/2色度变换单元。在另一个实施方式中，如图9所示，N/4XN色度变换单元可以进一步分割为四个N/4XN/4色度变换单元。0046在SILCOCK等“EXTENSIONOFHM7TOSU。