《对色度数据进行解块以用于视频译码.pdf》由会员分享,可在线阅读,更多相关《对色度数据进行解块以用于视频译码.pdf(36页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104054344A43申请公布日20140917CN104054344A21申请号201380005788922申请日2013011861/588,55420120119US61/705,52520120925US13/744,01920130117USH04N19/186201401H04N19/117201401H04N19/82201401H04N19/8520140171申请人高通股份有限公司地址美国加利福尼亚州72发明人格尔特范德奥维拉翔林王马尔塔卡切维奇74专利代理机构北京律盟知识产权代理有限责任公司11287代理人宋献涛54发明名称对色度数据进行解块以用于视频。
2、译码57摘要一种视频译码装置经配置以获得样本值阵列。所述样本值可根据420、422或444色度格式而被格式化。所述视频译码装置确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值。所述视频译码装置确定是否将第二滤波器应用于与经界定的垂直边缘相关联的多列色度样本值。所述水平和垂直边缘可根据解块栅格被若干色度样本分离。30优先权数据85PCT国际申请进入国家阶段日2014071786PCT国际申请的申请数据PCT/US2013/0222112013011887PCT国际申请的公布数据WO2013/109936EN2013072551INTCL权利要求书4页说明书20页附图。
3、11页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书20页附图11页10申请公布号CN104054344ACN104054344A1/4页21一种用于对经重构视频数据进行滤波的方法,所述方法包括获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值,其中所述经界定的水平边缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色度样本值分离。2根据权利要求1所述的方法,其中确定是否应用所述第二滤波器是至少部分。
4、基于是否应用所述第一滤波器的所述确定。3根据权利要求2所述的方法,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中在应用所述第一滤波器的情况下不应用所述第二滤波器。4根据权利要求1所述的方法,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多四列色度样本值。5根据权利要求1所述的方法,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。6根据权利要求1所述的方法,其中所述第一滤波器修改与经界定的水平边缘相关联的至。
5、多四行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。7根据权利要求1所述的方法,其中获得样本值阵列包含对视频数据的残余块和视频数据的对应预测块进行求和。8一种用于对经重构视频数据进行滤波的设备,所述设备包括视频译码装置,所述视频译码装置经配置以获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值,其中所述经界定的水平边缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色度样本值分离。9根。
6、据权利要求8所述的设备,其中确定是否应用所述第二滤波器是至少部分基于是否应用所述第一滤波器的所述确定。10根据权利要求9所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中在应用所述第一滤波器的情况下不应用所述第二滤波器。11根据权利要求8所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多四列色度样本值。12根据权利要求8所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。权利要求。
7、书CN104054344A2/4页313根据权利要求8所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多四行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。14根据权利要求8所述的设备,其中获得样本值阵列包含对视频数据的残余块和视频数据的对应预测块进行求和。15根据权利要求8所述的设备,其中所述视频译码装置是视频解码装置,且进一步包括以下各者中的至少一者集成电路;或微处理器。16根据权利要求8所述的设备,其中所述视频译码装置是视频编码装置,且进一步包括以下各者中的至少一者集成电路;或微处理器。17一种包括计算机可读存储媒体的计算机程序产品,所述计。
8、算机可读存储媒体上存储有指令,所述指令在被执行时致使用于对经重构视频数据进行滤波的装置的一或多个处理器获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值,其中所述经界定的水平边缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色度样本值分离。18根据权利要求17所述的计算机程序产品,其中确定是否应用所述第二滤波器是至少部分基于是否应用所述第一滤波器的所述确定。19根据权利要求18所述的计算机程序产品,其中所述第一滤波器修。
9、改与经界定的水平边缘相关联的至多六行色度样本值,且其中在应用所述第一滤波器的情况下不应用所述第二滤波器。20根据权利要求17所述的计算机程序产品,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多四列色度样本值。21根据权利要求17所述的计算机程序产品,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。22根据权利要求17所述的计算机程序产品,其中所述第一滤波器修改与经界定的水平边缘相关联的至多四行色度样本值,且其中所述第二滤波器修改与。
10、经界定的垂直边缘相关联的至多两列色度样本值。23根据权利要求17所述的计算机程序产品,其中所述指令获得经重构样本值的多个相邻阵列包含指令对视频数据的残余块和视频数据的对应预测块进行求和。24一种用于对经重构视频数据进行滤波的设备,所述设备包括用于获得样本值阵列的装置,其中所述阵列是根据422色度格式而被格式化;权利要求书CN104054344A3/4页4用于确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值的装置,其中所述经界定的水平边缘被十六个色度样本值分离;及用于确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值的装置,其中所述经界定。
11、的垂直边缘被八个色度样本值分离。25根据权利要求24所述的设备,其中确定是否应用所述第二滤波器是至少部分基于是否应用所述第一滤波器的所述确定。26根据权利要求25所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中在应用所述第一滤波器的情况下不应用所述第二滤波器。27根据权利要求24所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多四列色度样本值。28根据权利要求24所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多六行色度样本值,且其中所述第二滤波器修改与经界定。
12、的垂直边缘相关联的至多两列色度样本值。29根据权利要求24所述的设备,其中所述第一滤波器修改与经界定的水平边缘相关联的至多四行色度样本值,且其中所述第二滤波器修改与经界定的垂直边缘相关联的至多两列色度样本值。30根据权利要求24所述的设备,其中用于获得样本值阵列的装置包含用于对视频数据的残余块和视频数据的对应预测块进行求和的装置。31一种用于对经重构视频数据进行滤波的方法,所述方法包括确定视频块是否根据420、422或444色度格式中的一者而被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据42。
13、2色度格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。32根据权利要求31所述的方法,其中确定视频块是否根据420、422或444色度格式中的一者而被格式化包含确定包含于序列参数集SPS中的色度格式索引值的值。33一种用于对经重构视频数据进行滤波的设备,所述设备包括视频译码装置,所述视频译码装置经配置以确定视频块是否根据420、422或444色度格式中的一者而被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式。
14、化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。34根据权利要求33所述的设备,其中确定视频块是否根据420、422或444色度格式中的一者而被格式化包含确定包含于序列参数集SPS中的色度格式索引值的值。35一种包括计算机可读存储媒体的计算机程序产品,所述计算机可读存储媒体上存储有指令,所述指令在被执行时致使用于对经重构视频数据进行滤波的装置的一或多个处权利要求书CN104054344A4/4页5理器确定视频块是否根据420、422或444色度格式中的一者而被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根。
15、据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。36根据权利要求35所述的计算机程序产品,其中确定视频块是否根据420、422或444色度格式中的一者而被格式化包含确定包含于序列参数集SPS中的色度格式索引值的值。37一种用于对经重构视频数据进行滤波的设备,所述设备包括用于确定视频块是否根据420、422或444色度格式中的一者而被格式化的装置;及用于基于所述所确定的色度格式对色度边缘进行解块的装置,其中解块在所述视频块是根据420色度格式被格式化。
16、的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。38根据权利要求37所述的设备,其中用于确定视频块是否根据420、422或444色度格式中的一者而被格式化的装置包含用于确定包含于序列参数集SPS中的色度格式索引值的值的装置。权利要求书CN104054344A1/20页6对色度数据进行解块以用于视频译码0001本申请案主张以下申请案的权益00022012年1月19日申请的第61/588,554号美国临时申请案;及00032012年9月25申请的第61/705,525号美国临。
17、时申请案,所述申请案中的每一者的全部内容以引用的方式并入本文中。技术领域0004本发明涉及视频译码,且更特定来说,涉及用于重构视频数据的技术。背景技术0005数字视频能力可并入到大范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理PDA、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频会议装置、视频串流装置等等。数字视频装置实施视频压缩技术,例如由MPEG2、MPEG4、ITUTH263、ITUTH264/MPEG4第10部分高级视频译码AVC、目前在开发中的。
18、高效率视频译码HEVC标准界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术。ITUT研究组在2005年3月在ITUT推荐H264“用于通用视听服务的高级视频译码ADVANCEDVIDEOCODINGFORGENERICAUDIOVISUALSERVICES”中描述了H264标准,其在本文中可被称作H264标准或H264规范或H264/AVC标准或规范。联合视频小组JVT继续致力于对H264/MPEG4AVC的扩展。视频装置可通过实施此些视频压缩技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。0006高效率视频译码HEVC测试模型HM处理被称作译码单元CU的视频数据块。可将最。
19、大译码单元LCU分割为四个子CU,还可将其中的每一者进一步分割为四个子CU。LCU及其子CU一股被简称为CU。在四叉树数据结构中用信号通知LCU及其子CU的分割。因此,LCU的未分割的CU对应于四叉树数据结构的叶节点。发明内容0007一股来说,本发明描述用于对视频数据进行解块的技术。具体来说,本发明描述可用于对根据422或444色度格式而被格式化的视频数据进行滤波的技术。0008在一个实例中,一种用于对经重构视频数据进行滤波的方法包括获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值,其中所述经界定的水平边。
20、缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色度样本值分离。0009在一个实例中,一种用于对经重构视频数据进行滤波的设备包括视频译码装置,所述视频译码装置经配置以获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色说明书CN104054344A2/20页7度样本值,其中所述经界定的水平边缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色。
21、度样本值分离。0010在一个实例中,一种计算机程序产品包括计算机可读存储媒体,所述计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使用于对经重构视频数据进行滤波的装置的一或多个处理器获得样本值阵列,其中所述阵列是根据422色度格式而被格式化;确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值,其中所述经界定的水平边缘被十六个色度样本值分离;及确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值,其中所述经界定的垂直边缘被八个色度样本值分离。0011在一个实例中,一种用于对经重构视频数据进行滤波的设备包括用于获得样本值阵列的装置,。
22、其中所述阵列是根据422色度格式而被格式化;用于确定是否将第一滤波器应用于与所述阵列内的经界定的水平边缘相关联的多行色度样本值的装置,其中所述经界定的水平边缘被十六个色度样本值分离;及用于确定是否将第二滤波器应用于与所述阵列内的经界定的垂直边缘相关联的多列色度样本值的装置,其中所述经界定的垂直边缘被八个色度样本值分离。0012在一个实例中,一种用于对经重构视频数据进行滤波的方法包括确定视频块是否根据420、422或444色度格式中的一者被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度。
23、格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。0013在一个实例中,一种用于对经重构视频数据进行滤波的设备包括视频译码装置,所述视频译码装置经配置以确定视频块是否根据420、422或444色度格式中的一者被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。0014在一个实例中,一种计算机程序产品包括计算机。
24、可读存储媒体,所述计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时致使用于对经重构视频数据进行滤波的装置的一或多个处理器确定视频块是否根据420、422或444色度格式中的一者被格式化;及基于所述所确定的色度格式对色度边缘进行解块,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式化的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。0015在一个实例中,一种用于对经重构视频数据进行滤波的设备包括用于确定视频块是否根据420、422或444色度格式中的一者被格式化的装置。
25、;及用于基于所述所确定的色度格式对色度边缘进行解块的装置,其中解块在所述视频块是根据420色度格式被格式化的情况下是基于88解块栅格,在所述视频块是根据422色度格式被格式化说明书CN104054344A3/20页8的情况下是基于816解块栅格,且在所述视频块是根据444色度格式被格式化的情况下是基于1616解块栅格。0016一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图和从权利要求书中显而易见。附图说明0017图1A到1C是说明用于视频数据的不同样本格式的概念图。0018图2是说明根据420样本格式而被格式化的1616译码单元的概念图。0019图3是说明根据42。
26、2样本格式而被格式化的1616译码单元的概念图。0020图4是说明解块栅格的概念图。0021图5是包含于H264标准推荐中的图的重现。0022图6是说明两个相邻视频块之间的边界的概念图。0023图7为说明可利用本文中所描述的用于对经重构视频数据块进行滤波的技术的实例性视频编码及解码系统的框图。0024图8为说明可利用本文中所描述的用于对经重构视频数据块进行滤波的技术的实例性视频编码器的框图。0025图9为说明可利用本文中所描述的用于对经重构视频数据块进行滤波的技术的实例性视频解码器的框图。0026图10是说明实例性解块器的组件的框图。0027图11为说明根据本文中所描述的技术对经重构视频数据块。
27、进行滤波的概念图。0028图12为说明本文中所描述的用于对经重构视频数据块进行滤波的技术的流程图。具体实施方式0029一股来说,HEVC界定用于根据420色度格式而被格式化的视频数据的解块滤波器。然而,HEVC不界定用于根据422或444色度格式中的任一者而被格式化的视频数据的解块滤波器。在HEVC中的界定的解块滤波器可能不递送根据422或444色度格式中的任一者而被格式化的经重构视频数据的充分主观质量。此外,在先前视频译码标准中界定的解块滤波器和针对HEVC而提出的解块滤波器对于对根据HEVC而重构的视频数据进行解块滤波可为低效的。本文中描述可用于对例如422和/或444色度格式的经重构视频。
28、数据进行解块滤波的技术。0030当前正在努力开发新的视频译码标准当前被称作高效视频译码HEVC。即将到来的标准还被称作H265。HEVC标准还被称作ISO/IEC23008HEVC,其既定为HEVC的递交版本的标准编号。HEVC标准化工作是基于被称作HEVC测试模型HM的视频译码装置模型。HM假设相对于在先前视频译码标准的开发期间可用的视频译码装置的视频译码装置的能力上的提高。举例来说,尽管H264提供九种帧内预测编码模式,但HEVC提供多达三十五种帧内预测编码模式。0031HEVC的最近工作草案WD被称作“HEVC工作草案5”或“WD5”描述于布洛斯BROSS等人的文献JCTVCG1103_。
29、D3“高效率视频译码HEVC文本规范草案说明书CN104054344A4/20页95HIGHEFCIENCYVIDEOCODINGHEVCTEXTSPECICATIONDRAFT5”中,ITUTSG16WP3和ISO/IECJTC1/SC29/WG11的视频译码联合合作小组JCTVC,瑞士日内瓦第7届会议。此外,HEVC的另一最近工作草案工作草案8被称作“HEVC工作草案8”或“WD8”描述于布洛斯BROSS等人的文献HCTVCJ1003_D7“高效率视频译码HEVC文本规范草案8HIGHEFCIENCYVIDEOCODINGHEVCTEXTSPECICATIONDRAFT8”中,ITUTSG。
30、16WP3和ISO/IECJTC1/SC29/WG11的JCTVC,第10次会议2012年7月,瑞典斯德哥尔摩。应注意,HEVC测试模型可对应于特定HEVC工作草案。在此情况下,测试模型将用编号识别。举例来说,HM5可对应于HEVCWD5。0032根据视频译码标准例如,即将到来的HEVC标准而操作的典型视频编码器将原始视频序列的每一帧即,图片分割为被称为“块”或“译码单元”的邻接矩形区。这些块可通过应用空间帧内预测和/或时间帧间预测技术进行编码,以减少或移除视频序列中所固有的冗余。空间预测可被称作“帧内模式”I模式,且时间预测可被称作“帧间模式”P模式或B模式。预测技术产生视频数据的预测块,其。
31、还可被称作参考样本块。将待译码的原始视频数据块与预测块进行比较。原始视频数据块与预测块之间的差异可被称作残余数据。残余数据通常是预测块和原始视频数据块的像素值之间的差的阵列。0033可在译码过程期间将例如离散余弦变换DCT、整数变换、小波变换或概念上类似的变换的变换应用于残余数据以产生对应组的变换系数。因此,可通过对变换系数执行反变换且将残余数据添加到预测块来重构原始视频块。还可对变换系数进行量化。也就是说,可根据经界定的位深度将变换系数的值表示为位串。在一些情况下,量化可导致将低值变换系数表示为零。经量化变换系数可被称作变换系数水平。为了进一步压缩,可根据无损熵编码方法对经量化变换系数进行熵。
32、编码。0034为了根据HEVC进行视频译码,可将视频帧分割为译码单元。译码单元CU一股指代用作向其应用各种译码工具以进行视频压缩的基本单元的矩形图像区。CU通常是正方形的,且可被视为类似于在例如ITUTH264等其它视频译码标准中所描述的所谓的“宏块”。然而,不同于宏块,CU不限于1616大小。可将CU视为视频样本值阵列。视频样本值还可被称作图片元素、像素或图元。可根据水平和垂直样本的数目来界定CU的大小。因此,可将CU可描述为NN或NMCU。0035在本发明中,“NN”与“N乘N”可以可互换地使用,以在垂直和水平尺寸方面指代视频块的像素尺寸,例如1616像素或16乘16像素。一股来说,161。
33、6块将具有在垂直方向上的16个像素Y16和在水平方向上的16个像素X16。同样地,NN块一股具有在垂直方向上的N个像素和在水平方向上的N个像素,其中N表示非负整数值。一块中的像素可布置在若干行和若干列中。此外,块无需一定在水平方向上具有与在垂直方向上相同数目的像素。举例来说,块可包括NM个像素,其中M不一定等于N。0036为了实现更佳的译码效率,CU可具有取决于视频内容的可变大小。CU通常具有亮度分量表示为Y,以及两个色度分量,表示为U和V。所述两个色度分量可对应于红色调和蓝色调且还可通过CB和CR来表示。根据HEVC,位流内的语法数据可界定最大译码单元LCU,其为帧或图片的在样本数目方面的最。
34、大CU。通常根据水平和垂直亮度样本的数目来界定CU的大小。通常,LCU包含6464或3232亮度样本。可通过递归地将LCU分割为若干子CU来产生其它尺寸的CU。位流的语法数据可界定LCU可被分裂的最大倍数,被称作说明书CN104054344A5/20页10CU深度。因此,位流还可界定最小译码单元SCU。通常,SCU包含88亮度样本。因此,在一个实例中,可通过将6464LCU分割为四个子3232CU而产生四个CU,且3232CU中的每一者可进一步被分割为十六个88CU。一股来说,术语译码单元CU可指代LCU或其任何子CU例如,LCU的子CU或另一子CU的子CU。0037LCU可对应于包含一或多个。
35、节点的四叉树结构,其中所述四叉树的根节点对应于LCU本身,且其它节点对应于LCU的子CU。因此,LCU还可被称作译码树单元CTU。四叉树数据结构可被称作残余四叉树RQT。未经分割的CU一股对应于四叉树的叶节点即,四叉树的不具有任何子节点的节点。0038叶节点CU一股包含描述如何预测CU的数据的一或多个预测单元PU和一或多个变换单元TU。PU可表示对应CU的全部或一部分,且可包含用于检索PU的参考样本的数据。PU可具有正方形或矩形形状。举例来说,如果使用帧内预测对CU进行译码,那么其可包含四个矩形PU,其中每一PU包含识别时间邻近的帧中的一组参考样本的信息。所述组参考样本可经组合以形成预测视频块。
36、。如上文所描述,可从CU减去预测视频块以形成残余数据。HEVCWD5包含以下界定的PU类型2N2N、NN、2NN、N2N、2NNU、2NND、NR2N及NL2N。此外,应注意,ITUTH264标准支持各种块大小例如,针对亮度分量的16乘16、8乘8或4乘4,和针对色度分量的88的帧内预测,以及各种块大小例如,针对亮度分量的1616、168、816、88、84、48和44,和针对色度分量的对应缩放的大小的帧间预测。0039如上文所描述,可将变换应用于残余数据以将残余数据从像素域变换为变换域。TU或变换块可对应于向其应用变换一组残余数据。TU表示用于执行变换且产生对应组的变换系数的目的的一组像素差。
37、值的大小。TU的大小可与CU的大小相同,或可将CU分割为多个TU。举例来说,可对与亮度样本的1616阵列相关联的残余值执行一个变换,或可对亮度样本的四个88阵列中的每一者执行变换。较大的TU一股提供对经重构的图像中的更可感知的“成块性”的更多压缩,而较小的TU一股提供对较不可感知的“成块性”的较少压缩。TU大小的选择可基于速率失真优化分析。速率失真分析一股确定经重构块与原始块即,未编码的块以及用于编码所述块的位速率即,位数目之间的失真或误差量。0040类似于LCU,可将TU递归地分割为较小的TU。将TU分割为较小的TU而产生的TU可被称作变换块结构。变换块结构的实例是所谓的树结构。所述树结构可。
38、将变换块译码为整个TU或被划分为若干较小的TU。此过程可在每个不同分解水平处针对每一块递归地进行。0041因此,根据HEVC,CU可包含一或多个预测单元PU和/或一或多个变换单元TU。本发明还使用术语“块”、“分区”或“部分”来指代CU、PU或TU中的任一者。一股来说,“部分”可指代视频帧的任何子组。此外,本发明通常使用术语“视频块”来指代CU的译码节点。在一些特定情况下,本发明还可使用术语“视频块”来指代树块,即,LCU或CU,其包含译码节点及PU和TU。因此,视频块可对应于CU内的译码单元,且视频块可具有固定或变化的大小,且大小可根据指定的译码标准而不同。0042视频取样格式其还可被称作色。
39、度格式可相对于包含于CU中的亮度样本的数目来界定包含于CU中的色度样本的数目。取决于色度分量的视频取样格式,U和V分量的说明书CN104054344A106/20页11大小依据样本数目可与Y分量的大小相同或不同。在H264/AVC和HEVCWD5视频译码标准中,界定被称为CHROMA_FORMAT_IDC的值以指示色度分量相对于亮度分量的不同取样格式。在HEVCWD8中,使用序列参数集SPS来用信号通知CHROMA_FORMAT_IDC。表1说明CHROMA_FORMAT_IDC的值与相关联的色度格式之间的关系。0043CHROMA_FORMAT_IDC色度格式SUBWIDTHCSUBHEIG。
40、HTC0单色1420222422213444110044表1在H264/AVC中界定的不同色度格式0045在表1中,可使用变量SUBWIDTHC和SUBHEIGHTC来指示亮度分量的样本的数目与每一色度分量的样本的数目之间的水平和垂直取样速率比率。在表1中所描述的色度格式中,两个色度分量具有相同的取样速率。0046在表1的实例中,对于420格式,对于水平方向和垂直方向两者,亮度分量的取样速率是色度分量的取样速率的两倍。因此,对于根据420格式而被格式化的译码单元,亮度分量的样本的阵列的宽度和高度是色度分量的样本的每一阵列的宽度和高度的两倍。类似地,对于根据422格式而被格式化的译码单元,亮度分。
41、量的样本的阵列的宽度是每一色度分量的样本的阵列的宽度的两倍,但亮度分量的样本的阵列的高度等于每一色度分量的样本的阵列的高度。对于根据444格式而被格式化的译码单元,亮度分量的样本的阵列具有与每一色度分量的样本的阵列相同的宽度和高度。应注意,除了YUV色彩空间之外,可根据RGB空间色彩来界定视频数据。以此方式,本文中所描述的色度格式可适用于YUV或RGB色彩空间任一者。RGB色度格式通常经取样以使得红色样本的数目、绿色样本的数目和蓝色样本的数目是相等的。因此,如本文中所使用的术语“444色度格式”可指代YUV色彩空间或RGB色彩空间任一者,其中样本的数目对于所有色彩空间是相等的。0047图1A到。
42、1C是说明用于视频数据的不同样本格式的概念图。图1A是说明420样本格式的概念图。如图1A中所说明,对于420样本格式,色度分量是亮度分量的大小的四分之一。因此,对于根据420样本格式而被格式化的CU,针对色度分量的每个样本存在四个亮度样本。图1B是说明422样本格式的概念图。如图1B中所说明,对于422样本格式,色度分量是亮度分量的大小的二分之一。因此,对于根据422样本格式而被格式化的CU,针对色度分量的每个样本存在两个亮度样本。图1C是说明444样本格式的概念图。如图1C中所说明,对于444样本格式,色度分量是亮度分量的相同大小。因此,对于根据444样本格式而被格式化的CU,针对色度分量。
43、的每个样本存在一个亮度样本。0048图2是说明根据420样本格式而被格式化的1616译码单元的实例的概念图。图2说明CU内色度样本相对于亮度样本的相对位置。如上文所描述,通常根据水平和垂直亮度样本的数目来界定CU。因此,如图2中所说明,根据420样本格式而被格式化的说明书CN104054344A117/20页121616CU包含亮度分量的1616样本和每一色度分量的88样本。此外,如上文所描述,CU可被分割为若干较小的CU。举例来说,图2中所说明的CU可被分割为四个88CU,其中每一88CU包含亮度分量的88样本和每一色度分量的44样本。0049图3是说明根据422样本格式而被格式化的1616。
44、译码单元的实例的概念图。图3说明CU内色度样本相对于亮度样本的相对位置。如上文所描述,通常根据水平和垂直亮度样本的数目来界定CU。因此,如图3中所说明,根据422样本格式而被格式化的1616CU包含亮度分量的1616样本和每一色度分量的816样本。此外,如上文所描述,CU可被分割为若干较小的CU。举例来说,图3中所说明的CU可被分割为四个88CU,其中每一CU包含亮度分量的88样本和每一色度分量的48样本。0050HEVC提供使用解块滤波器进行的解块以移除“成块性”假影。在将帧划分为若干块LCU及其子CU、对所述块进行译码且随后对所述块进行解码之后,可能在块之间的边界处出现可感知的假影。成块假。
45、影通常出现在TU或PU边界处。解块或解块滤波是指修改经重构视频块的边界样本的值以便移除帧的成块性假影的出现的过程。举例来说,CU的边界样本和邻近CU的边界样本可被“平滑”,使得从一个CU到另一CU的过渡对观看者较不明显。0051此外,视频编码器可对帧的视频数据进行编码,随后对经编码视频数据进行解码,且随后将解块滤波器应用于经解码视频数据以用作参考视频数据。参考数据可为来自一或多个帧的视频编码器可用于例如对随后译码的视频数据的帧间预测的数据。视频编码器可将一或多个帧存储在参考图片存储装置内以用于帧间预测。在存储经解码视频数据以用作参考数据之前由例如视频编码器或视频解码器等视频译码装置执行的此类解。
46、块滤波一股被称作“环路内”滤波。在“环路内”滤波中,视频编码器或解码器可在视频环路内执行解块。视频编码器可开始于接收原始视频数据、对视频数据进行编码、对数据进行解块,以及将经解块的帧存储在参考图片存储装置中。0052视频解码器可经配置以对所接收的视频数据进行解码,且随后将相同的解块滤波器应用于经解码视频数据,以用作待解码的后续视频数据的参考。通过配置编码器和解码器以应用相同的解块技术,可使编码器和解码器同步,使得解块将经解块视频数据用于参考不会对随后译码的视频数据引入错误。此外,视频解码器可经配置以对经重构视频数据进行解块以用于显示视频数据。在此情况下,视频解码器可执行解块以增强经重构视频数据。
47、的主观质量。在此情况下,视频解码器可依赖于包含于经编码视频数据中的信息来确定如何执行解块。此外,视频解码器可分析经重构视频数据且根据后处理操作而执行解块。可将此类型的解块称作后环路解块。0053可对垂直边界、水平边界或垂直和水平边界两者执行解块。在HEVC中,是否对边界进行滤波的确定是基于所谓的边界滤波强度变量BS。BS主要基于用于重构CU的预测模式来确定。举例来说,当与边界相邻的块的亮度分量是帧内译码时,BS的值至少为二。应注意,HEVC仅描述对根据420样本格式而被格式化的CU的解块,且未描述对根据422或444样本格式而被格式化的CU的解块。0054解块栅格可界定可被解块的边缘。图4是说。
48、明可被解块的样本值和可能边缘的阵列的概念图。图4中所说明的阵列可对应于CU的组合,如上文所描述。举例来说,根据以下色度格式420、422或444中的任一者而被格式化的以下大小44、88、1616、说明书CN104054344A128/20页133232或6464中的任一者的CU的组合可形成NN样本值的阵列。如图4中所说明,针对所述阵列界定五个垂直边缘即,V0V4和五个水平边缘即,H0H4。解块栅格可指示对边界V0V4和H0H4中的何者进行解块。0055图5是包含于H264标准推荐“推荐ITUTH264用于通用视听服务的高级视频译码RECOMMENDATIONITUTH264ADVANCEDVI。
49、DEOCODINGFORGENERICAUDIOVISUALSERVICES”,ITUT,2010年3月其以全文引用的方式并入中的图8到10的重现。在H264标准推荐中使用图8到10以指示何时对宏块的边界进行解块。如上文所描述,H264中的宏块是1616像素。因此,图8到10中所说明的每一块包含44亮度样本。基于宏块是否根据相应的420、422和444色度格式被格式化,每一块中的色度样本的数目是22、24或44中的一者。H264标准推荐指定可依据色度格式和变换大小将环路内解块滤波器应用于边界。在H264中,可用的变换大小包含44和88。以下是来自H264标准推荐的摘录0056当依据TRANSFORM_SIZE_88_FLAG将图5中的边缘解译为亮度边缘时,适用以下内容。0057如果TRANSFORM_SIZE_88_FLAG等于0,那么对粗实线和粗虚线两种类型亮度边缘进行滤波。0058否则TRANSFORM_SIZE_88_FLAG等于1,仅对粗实线亮度边缘进行滤波。0059当依据CHROMAARRAYTYPE将图5中的边缘解译为色度边缘时,适用以下内容。0060如果CHROMAARRAYTYPE等于1420格式,那么仅对粗实线色度边缘进行滤波。0061否则,如果CHROMAARRAYTYPE等于2422格式,那么对粗实线垂直色度边缘进行滤波,且对粗实线和粗虚线两种类型。