分层视频编码的等级信令.pdf

《分层视频编码的等级信令.pdf》由会员分享，可在线阅读，更多相关《分层视频编码的等级信令.pdf（19页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104205813A43申请公布日20141210CN104205813A21申请号201380018332622申请日2013032561/621,09320120406USH04N5/9320060171申请人维德约股份有限公司地址美国新泽西州72发明人J博伊斯D洪J翁坎普S温格74专利代理机构上海专利商标事务所有限公司31100代理人宋静娴54发明名称分层视频编码的等级信令57摘要公开了确定分层比特流中的等级ID以使相同等级ID可用于可分级比特流的所有层的技术。还公开了信令可指示比用于分层比特流的等级ID更低的计算要求的子比特流的等级ID的技术。30优先权数据85PCT。

2、国际申请进入国家阶段日2014093086PCT国际申请的申请数据PCT/US2013/0336462013032587PCT国际申请的公布数据WO2013/151814EN2013101051INTCL权利要求书2页说明书11页附图5页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书11页附图5页10申请公布号CN104205813ACN104205813A1/2页21一种用于确定解码视频的能力的方法，所述视频包括参考层和引用所述参考层的增强层，所述方法包括解码所述参考层的至少一个等级指示符；解码所述增强层的至少一个等级指示符；对于所述参考层的至少一个等级指示符，确定用于。

3、所述参考层的解码的至少一个计算要求，对所述增强层的至少一个等级指示符，确定用于所述增强层的解码的至少一个计算要求，结合用于所述参考层的解码的至少一个计算要求与用于所述增强层的解码的至少一个计算要求来生成组合；以及将所述组合与预定能力相比较；其中如果所述组合小于所述预定能力，则所述视频可被解码。2如权利要求1所述的方法，其特征在于，所述结合包括求和，且所述组合包括和。3如权利要求1所述的方法，其特征在于，所述参考层包括基层。4如权利要求1所述的方法，其特征在于，所述计算要求包括每秒的像素数量。5如权利要求1所述的方法，其特征在于，所述计算要求包括每图像的像素数量。6如权利要求1所述的方法，其特征。

4、在于，所述计算要求包括比特率。7如权利要求1所述的方法，其特征在于，所述结合包括使用媒体知晓网络要素MANE。8如权利要求7所述的方法，其特征在于，还包括在确定所得和超出所述预定能力后丢弃所述增强层。9如权利要求8所述的方法，其特征在于，所述预定能力包括耦合至所述MANE的解码器的能力。10如权利要求8所述的方法，其特征在于，所述预定能力包括所述MANE和解码器之间的网络链路的能力。11如权利要求1所述的方法，其特征在于，还包括在确定所得和超出所述预定能力之后丢弃所述增强层。12如权利要求1所述的方法，其特征在于，所述等级标识符被编码在序列参数集中。13一种用于确定解码视频的能力的系统，所述视。

5、频包括参考层和引用所述参考层的增强层，所述系统包括解码设备，其被配置成解码所述参考层的至少一个等级指示符，解码所述增强层的至少一个等级指示符，对于所述参考层中的至少一个等级指示符来确定解码所述参考层的至少一个计算要求；对于所述增强层的至少一个等级指示符，确定来解码所述增强层的至少一个计算要求；结合来解码所述参考层的至少一个计算要求和来解码所述增强层的至少一个计算要求以生成组合；以及将所述组合与预定能力相比较；其中如果所述组合小于所述预定能力，则所述视频可被解码。14一种用于确定解码包括至少一个层和一个时间子层的视频比特流的时间子层的能权利要求书CN104205813A2/2页3力的方法，所述方。

6、法包括解码与所述层相关联的概况ID、等级ID、和层级ID中的至少一个；解码与所述时间子层相关联的概况ID、等级ID、和层级ID中的至少一个；以及如果与所述时间子层相关联的所述概况ID、等级ID、和层级ID中的至少一个指示所述时间子层的比特流复杂度比由所述层的概况ID、等级ID、或层级ID指示的比特流复杂度更低，则将时间子层确定为可解码的。15如权利要求14所述的方法，其特征在于，子层的概况ID、等级ID、和层级ID中的至少一个被编码在补充增强信息SEI消息。16一种用于确定解码包括至少一个层和一个时间子层的视频比特流中的时间子层的能力的系统，所述系统包括解码设备，其被配置成解码与所述层相关联的。

7、概况ID、等级ID、和层级ID中的至少一个；解码与所述时间子层相关联的概况ID、等级ID、和层级ID中的至少一个；以及如果与所述时间子层相关联的所述概况ID、等级ID、和层级ID中的至少一个指示所述时间子层的比特流复杂度比由所述层的概况ID、等级ID、或层级ID指示的比特流复杂度更低，则将时间子层确定为可解码的。17一种非瞬态计算机可读介质，其包括一组可执行指令以引导处理器执行如权利要求112或1415中一项所述的方法。权利要求书CN104205813A1/11页4分层视频编码的等级信令0001说明0002相关申请的交叉引用0003本申请要求2012年4月6日提交的题为“LEVELSIGNAL。

8、INGFORLAYEREDVIDEOCODING分层视频编码的等级信令”的美国序列号NO61/621,093的优先权，该文献的公开通过引用全部结合至此。技术领域0004所公开的主题涉及视频编码，更特定地，涉及与分层比特流中的等级或要求的解码器容量的其它指示的信令关联的信息表示。背景技术0005视频编码是指其中一系列未经压缩的图像被转换成压缩的视频比特流的技术。视频解码是指相反过程。存在许多标准指定了图像和视频解码操作的技术，例如ITUTRECH264“用于通用视听服务的先进视频编码”03/2010，可从瑞士CH1211日内瓦20，PLACEDENATION的国际电信联盟ITU或HTTP/WWW。

9、ITUINT/REC/TRECH264获得，并通过引用全部结合至此，或者高效率视频编码HEVCBBROSS等人“高效率视频编码HEVC文本规范草案9”，可从HTTP/PHENIXINTEVRYFR/JCTDOC_END_USER/DOCUMENTS/LL_SHANGHAI/WGL1/JCTVCKL003V13ZIP获得，2012年12月，它在下文中被称为“WD9”，该文献通过引用全部结合至此。0006分层视频编码，也被称为可分级视频编码，是指其中视频比特流可被分成两个或更多个子比特流被称为层的视频编码技术。各层可形成层阶级，藉此基层可被独立地编码，而增强层可与基层和/或较低的增强层结合地被编码。

10、。0007一些视频解码标准，例如H264或HEVC，利用概况等级系统PROLELEVELSYSTEM以在比特流中发信息通知解码器必须具备以解码比特流的能力。概况PROLE一般指视频编码标准中指定的编码技术也称“工具”的选择，而等级一般指每秒解码特定数量的像素、块、宏块、树块、编码单元、或类似单元的要求。因此，等级可表达解码器在特定帧速率下解码高达给定的未编码图像尺寸的比特流的能力。在应用标准中，概况和等级可在诸如H264或HEVC之类的视频编码标准中被指定，或者可由标准过程之外的卖方VENDOR同意。0008H264在其附录G中包括对支持分层编码的扩展，被称为可分级视频编码或SVC。附录H包括。

11、多视图扩展，在下文中称其为多视图视频编码或MVC。没有能用的附录G或H的H264被称为AVC。0009在SVC中，可对多个空间、质量、或时间层编码，并可依赖于另一个层对一个层进行编码。基层独立于任何其它层，并向后兼容AVC。SVC可对相互编码的宏块使用单环解码，并对内编码的宏块使用多环解码。0010在MVC中，可对多个视图进行编码，并可依赖于另一视图对一视图进行编码。基视说明书CN104205813A2/11页5图独立于任何其它视图，并向后兼容AVC。MVC使用多环解码，其中如果视图A是对视图B的引用，则必须对视图A和视图B两者进行解码以输出视图B。0011H264包括序列参数集，它包含与视频。

12、序列中所有编码图像有关的信息。在序列参数集中的是概况和等级指示符的句法要素。类似地，在SVC和MVC中，子集序列参数集具有用于概况和等级指示符的句法要素。子集序列参数集被用于非基层或视图，而序列参数集被用于基层或视图。0012SVC和MVC扩展提供对目标层表示或视图表示的子比特流提取的机制，它们的输出是包括与目标层表示本身相关联的NAL单元的有效编码的视频比特流以及具有目标依存性_ID、质量_ID、时间_ID和优先级_ID的更低值或相等值的所有层。0013在H264中，在每个编码的片报头部内存在图像参数集ID句法要素，它被称为图像参数集PPS。PPS包含对整个编码图像保持恒定、但在两个图像之间。

13、变化的参数。PPS中的一个句法要素是对序列参数集ID的索引，这称为序列参数集SPS。在SVC中相同层或MVC中相同视图中的所有编码的片，在编码的视频序列中，是指同一SPS或子集序列参数集。0014序列参数集可包含关于图像分辨率、视频可用信息等的信息以及概况和等级指示符。允许MVC中的一个以上的视图引用同一序列参数集。类似地，允许一个以上SVC层引用同一序列参数集。0015H264通过其概况和等级指示符对顺应COMPLIANT编码的比特流施加多种限制。概况和等级指示符可指定一致点，并且在比特流中的概况和等级信息的存在可允许解码器或媒体感知网络元素MANE确定它是否有能力解码或以其它方式处理特定比。

14、特流。概况一般指定这组支持的编码工具，而等级一般指定影响计算要求的约束。0016参照等级，H264提供将每个可允许的等级ID值映射至参数上的约束诸如最大图像尺寸、比特率、以及宏块吞吐量的表。特定地，宏块吞吐量限制约束了每秒最大数量宏块或MAXMBPS。在宏块的尺寸为1616个采样时，MAXMBPS紧密地关联于每秒像素率，此外MAXMBPS计算考虑每个编码的图像必须包含整数数量的宏块，并因此垂直和水平分辨率必须被圆整至最近的宏块尺寸。0017对于包括那些用作SVC基层或MVC基视图的单层/视图AVC概况，假设最大MB吞吐量被限制以使等级极限MAXMBPSPICSIZELNMBSFRAMERATE。

15、。注意，标准文档中的等级极限的约束条件的描述不假设固定的帧速率，并被表达为对帧之间的最小输出时间的限制。前述方程是H264描述它允许可变的帧速率的简化假设固定的帧速率。0018对于与其中多个可分级层或视图将被解码的SVC和MVC相关联的概况，基于层或视图的数量，每秒最大MB吞吐量的解释被修正，如下文所述。0019在SVC扩展中，在非基层的子集序列参数集中，等级极限表达约束最大MB吞吐量MAXMBPSSVCPICSIZELNMBSFRAMERATE，其中SVCPICSIZELNMBS的值基于层的数量、和有效层及其参考层的图像尺寸，同样在固定帧速率的假设下。0020参见图1，示出一种层阶级，其具有。

16、基层101、使用基层101作为它们的参考层的两个空间或SNR增强层102和103、以及使用基层101和增强层102作为其参考层的第三空间或SNR增强层104。根据H264，每个层101到104具有关联的等级分别为105108，它被编码为序列参数集中的等级ID字段。与基层101关联的等级说明书CN104205813A3/11页6105可指示通过引用H264中指定的等级表所表达的孤立基层的计算要求。特定地，根据H264，可由编码器如此选择基层101的编码的等级ID，以使得与该等级关联的所有编码参数例如最大图像尺寸、每秒宏块吞吐量等等大于或等于根据该等级解码比特流的要求。0021根据H264，增强层。

17、102104的等级106108可被解码以使与编码等级关联的计算要求大于结合地解码所研究的增强层102104以及其所有参考层的计算要求。例如，增强层104的等级指示符108被选择为使得对于通过等级指示符108指示的所有计算要求而言，相应计算复杂性大于组合地解码所有层104及其参考层102和101所需的计算复杂性。在图1中，这由围绕着层101、102和104的虚线110表示。类似地，在增强层103的序列参数集内编码的等级指示器107可被选择为使组合地解码增强层103和基层101的计算要求低于等级指示符107中指示的计算要求。这是通过在层101、103周围的间断线111表示的。0022在MVC扩展中。

18、，在对于非基视图的子集序列参数集中，等级极限表示最大MB吞吐量的约束MAXMBPSNUMVIEWS/2PICSIZELNMBSFRAMERATE，其中NUMVIEWS是指解码目标输出视图所需的视图数，同样在固定帧速率的假设下。0023在MVC中，由于MB吞吐量基线基于视图数，其SPS参数值相同例如，具有相同的图像分辨率和VUI数据的多视图层对于它们的等级指示符值可不同。如果它们不同，它们可指向不同的SPSID，因为在H264中，每个SPS可仅包含单个等级指示符。替代物ALTERNATIVE，是指REFERRINGTO具有足够高以指示足以解码所有视图即便例如仅解码基视图的计算资源的等级指示符的相。

19、同SPS，可能是成问题的。例如，如果正在编码比基视图必需还更高的等级指示符，由于等级指示符指示比单视图解码所需的更高等级以容纳多视图，该基视图其巧合地可能与适于非多视图解码的AVC比特流完全一致潜在地可能没有在具有充分计算资源的设备上被解码。0024对于SVC和MVC两者，出于一些原因，每个层或视图的一个SPS可能是低效的。为了描述这些原因，对H264的参数集引用机制简单地予以描述。参见图2，其示出片报头部、PPS、和SPS之间的关系。片报头部201可包含可变长度扩展GOLOMB编码的字段202，该字段指示将使用的PPS203。对具有ID0的PPS203，字段202长度为1比特。对于值1或2，。

20、字段长度为3比特。对于3和更大的值，其长度至少为5比特。在PPS中，可存在指示SPS205的指示204。在SPS205内，可存在自引用206在其转换过程中可被用于标识SPS。注意，视频流可包含许多SPS和PPS，并且在每图像或每视频序列基础上，编码器可通过对片报头部201中的适宜PPSID202编码而切换它们。0025对于第一个原因，在H264中，可能需要在比特流中包括多个SPS207或发送它们至带外，这些SPS仅由等级指示符208区别。然而，SPS的许多其它句法要素也可必需与标准一致。这可导致潜在地许多SPS句法要素的冗余发送其结果对编码效率有影响，以允许对不同层或视图信令不同的等级。其次，。

21、SPS没有被从片报头部或其它编码的图像高等级句法要素被引用，而是通过间接的一个等级片报头部引用PPS，而PPS引用SPS。为了参照适宜的SPS，应当存在包括对相应SPS的参照的至少一个PPS。PPS进而可仅通过PPSID与其它PPS209区别，PPSID可以是不同的，因为如前所述需要不同的PPS信令不同的等级。作为结果，可能不仅需要如前所述包含潜在很多冗余值的多个SPS，而且还需要说明书CN104205813A4/11页7具有很多冗余参数的许多PPS。第三，为了信令片报头部中的不同PPS，当需要信令更多不同PPSID时，用于信令PPSID202的可变长度码字的平均长度可以更长。第四，PPS中涉。

22、及REFERTOSPS204的码字也是可变长度编码的并且当需要很多SPS时可以更长。且第五，这同样分别适用于SPS205和PPS203内的自引用206210。0026SVC包括可分级性SCALABILITY信息SEI消息SSEI消息。根据H264或HEVC，解码器不要求解码并基本作用于所有SEI消息包括SSEI消息，尽管在SEI消息上不编码和作用可能消极地影响用户体验。然而，对于诸如资源管理之类的机制，解码器可使用比特流中发现的SSEI消息中可用的信息，并可依赖于包含在正确的SEI消息中的值。SSEI消息提供尤其是关于出现在编码的视频序列中的层数的信息。对于那些层中的每一个，SSEI消息可直接。

23、或间接地提供层ID值对优先级、依存性、质量、和时间ID值的映射，这些值可组合地描述该层在层阶级中的位置，以及描述每个层的很多其它参数。该附加参数中的一些即便在SEI消息中也是任选的，包括概况和等级信息以及平均比特率。SSEI消息中的概况和等级信息可指示与由层ID值标识的目标层表示相关联的子比特流的解码能力。可以相同方式解释等级极限，就像序列参数集中包含相同的等级指示符值那样。同时，当被以此方式使用时，SSEI包括足够的信息以允许解码器获得每个可分级层的概况和等级信息，PPS和SPS的前述潜在冗余副本在解码器处可能是必要的对编码效率具有结果的消极影响以与H264一致。0027类似地，在MVC中，。

24、视图可分级性信息SEI消息提供关于编码的视频序列中存在的视图数的信息，并任选地提供与目标图表示关联的子比特流的概况和等级信息。0028类似于H264，HEVC在序列参数集中具有概况和等级指示符句法要素。等级极限直接地基于像素率相比H264的MB率，但在其它方面功能是相称的。表1示出根据HEVC对于等级的最大像素率和图像尺寸。同样假设固定帧速率，对像素吞吐量具有限制，以使等级极限像素吞吐量MAXLUMAPRPICSIZELUMAFRAMERATE帧速率，其中PICSIZELUMA指像素中的图像的亮度分量表10029级别像素率图象尺寸1552,96036,86423,686,400122,8803。

25、13,762,560458,7523133,177,600983,040462,668,8002,088,9604162,668,8002,088,96042133,693,4402,228,224说明书CN104205813A5/11页843133,693,4402,228,2245267,386,8808,912,89651267,386,8808,912,89652534,773,7608,912,89661,002,700,80033,423,360612,005,401,60033,423,360624,010,803,20033,423,3600030对于BOYCE等人的HEVC中。

26、的可分级和多视图扩展“HIGHLEVELSYNTAXHOOKSFORFUTUREEXTENSIONS对未来扩展的高级句法钩”，2012年1月，JCTVCH0388，可从HTTP/PHENIXITSUDPARISEU/JCT/DOC_ENDUSER/CURRENT_DOCUMENTPHPID4691获得并通过引用全部结合至此，上面内容公开了类似地，即作为层处理可分级层和多视图。层可通过其层ID值来标识。属于给定层的片的片报头部可包含句法要素以引用图像参数集ID。包括在图像参数集中的是充当对序列参数集的引用的句法要素。0031在JBOYCE等人中，“EXTENSIBLEHIGHLAYERSYNTA。

27、XFORSCALABILITY对于可分级性的可扩充高层句法”，JCTVCE279，2011年3月，可从HTTP/PHENIXINTEVRYFR/JCT/DOC_END_USER/CURRENT_DOCUMENTPHPID2209获得并通过引用全部结合至此，其中，序列参数集可包括可适用于编码视频序列的所有层的依赖层参数集，它可包含关于每个层的附加信息。该信息可包括解码特定层所需的参考层多个的指示。从前述意义上来说，时间层被认为是子层而不是完整的层。目标层的子比特流提取的结果可以是被称为层组的子比特流，并且它可包含与特定目标层关联的NAL单元以及解码所要求的所有参考层的NAL单元。提取的层组本身就。

28、是一致的比特流。子比特流提取可考虑目标层和目标时间ID两者，导致子层组，其本身也是一致的比特流。0032将前面的建议直接整合入HEVC可导致与在MVC背景下提到的情形相似的亏空DECIT。特定地，SPS中的等级指示符的编码可能导致低效的编码，因为许多SPS的要求彼此之间仅略有区别例如区别仅在于等级ID句法要素，这可能导致需要很多PPS、片报头部中不必要长的可变码字以参考这些多个PPS，并导致编码低效。0033因此需要一种在分层编码中用于等级信令的改进技术。发明内容0034在一个实施例中，所公开的主题提供了确定分层比特流中的等级ID的技术，这允许对比特流的所有层而言所有等级ID是相同的，这进而允。

29、许对所有层使用相同的序列参数集。0035在某些实施例中，可对比SPS中的等级ID更低的分层比特流的子比特流信令其等级。0036在同一或另一实施例中，可对子比特流信令概况。说明书CN104205813A6/11页90037在同一或另一实施例中，概况或等级信令可以在SEI消息中。0038附图简述0039所公开的主题的进一步特征、性质和各优势将从下面的详细说明和附图中变得更为显著，其中0040图1示出层阶级；0041图2示出片报头部、PPS、和SPS之间的关系；0042图3示出根据所公开主题的示例性实施例的层阶级；0043图4示出根据所公开主题的示例性实施例的视频传输系统；0044图5示出根据所公开。

30、主题的示例性实施例的句法图；以及0045图6是适于实现所公开主题的示例性实施例的计算机系统的示图。0046附图被纳入并作为本公开的一部分。贯穿附图，相同的附图标记和字符，除非另有声明，用来表示相同特征、元件、组件或图示实施例的部分。此外，尽管现在参见附图详细描述所公开的主题，然而它是结合解说性实施例完成的。具体实施方式0047描述了用于视频解码的方法和系统以及在分层比特流中信令等级的相应技术。0048所公开的主题的方面适用于可分级和/或多视图编解码，其具有基层和一个或多个非基层在下文中称其为增强层以表示附加的可分级层或视图。每个层的片报头部可包含直接或间接地引用SPS的句法要素。句法要素可以是。

31、直接引用，例如片报头部中的SPSID句法要素；或者是间接引用，例如片报头部中引用PPS的图像参数集ID值，该图像参数集ID值进而包括引用SPS的SPSID句法要素。0049在所公开的主题的一个方面，具有相同空间分辨率的多个层可引用相同的序列参数集，尽管它们具有不同的像素吞吐量要求以解码与目标层关联的多个不同子比特流。0050在一实施例中，由所有层的SPS中的等级指示符指定的像素吞吐量限制约束被定义为使得其仅依赖于各层的SPS参数。如前所述，在H264中，对给定层指示的等级被选择以使其允许解码目标层和目标层所依赖的所有层的计算复杂性。0051参见图3，其示出如图1所示的相同层结构。一个基层301。

32、具有其相关的等级305，且三个增强层302304具有其相关的各个等级指示符306308。根据同一或另一实施例，由针对增强层分别为302304指示的等级指示符306308指示的等级被选择以使通过等级指示符306308指示的计算要求大于孤立解码该增强层所需的计算复杂性，没有计算解码参考层多个如果有的话的计算要求。例如，通过与增强层304相关的等级指示符308指示的可被选择以使它仅反映在参考层301和302已被解码的假设下解码增强层304所需的计算资源。0052在每个层中仅编码用于解码该层的等级可允许具有相同空间分辨率的多个视图或多个可分级层引用相同的序列参数集，而不需要如前所述不必要地指定高等级。。

33、这样做使得对SVC和MVC的宏块吞吐量的等级限制约束作出区别，这是考虑依赖的层或视图的吞吐量要求作出计算的。为了明确本文描述的等级指示符的不同语义，这一新的等级指示符可安装标准文本作出注释，例如将其称为“层等级指示符”。0053通过减少SPS、PPS的数量、以及片报头部中的PPSID的平均尺寸和需要被转换的说明书CN104205813A7/11页10PPS中的SPSID，上文描述的新颖等级指示符相比使用之前使用的等级标识符可提高编码效率。然而，可能存在一些情形，即当解码器将拒绝比特流时，它可基于吞吐量要求进行解码。这是因为它可能需要在最坏的情形假设下工作，所述最坏的情形是所有层运用在该等级ID。

34、内信令的所有可用吞吐量资源并且解码器不能处理这样的吞吐量。0054例如，如果基层具有吞吐量要求TPB而增强层具有更高的吞吐量要求TPE，单个SPS将需要信令允许TPE的等级。由于存在两个层基层和增强层，所信令的吞吐量要求将是2TPE。然而，事实上的吞吐量要求将仅为TPBTPE，这将低于2TPE。如果解码器能够以大于TPBTPE但低于2TPE的吞吐量要求解码比特流，则它将不知道它能够基于可用信息解码比特流，并因此可能拒绝比特流，即使它能解码该比特流。0055为了减轻这种情况，在同一或另一实施例中，可信令子比特流的解码复杂性的进一步约束的子比特流等级指示符可包含在比特流中。根据同一或另一实施例，子。

35、比特流等级指示符可以高级句法结构形式被编码，例如子比特流信息SEI消息。可携带相似信息的其它高级句法结构包括视频参数集、序列参数集、图像参数集、适应参数集或片报头部。此后，将SEI消息的格式描述为其中可携带相关信息的许多句法结构中的一个。0056可在编解码规范中定义每个等级ID值映射至可应用于层等级和子比特流等级两者的像素吞吐量极限的表格。根据一个实施例，通过序列参数集中的层等级指示符作用在一致比特流上的像素吞吐量等级限制约束的解释可基于处理特定的个别层。约束可以是，像素吞吐量层等级极限为MAXLUMAPRPICSIZELUMAFRAMERATE，对于基层或视图以及非基层和视图两者均如此，其中。

36、PICSIZELUMA是从序列参数集中的图像水平和垂直尺寸句法要素计算出的。0057参见图4，示出的是视频传输系统，其包括比特流源401例如编码器、解码器402以及媒体知晓网络要素MANE403。比特流源401、解码器402和MANE403可在网络上连接，例如诸如因特网的IP网未示出。0058解码器402或MANE403可通过考虑每个层的等级极限约束来检查其处理可分级或多视图比特流的能力。例如，假设解码器或MANE可支持特定等级，这意味着尤其它具有处理每秒特定数量经编码像素的能力，然后解码器或MANE可对由开始于最底基层的每个层中的等级指示的计算要求进行求和，直至计算出的计算要求之和超出其本身。

37、的能力的点为止。比那种能力更高的层可能对解码器或MANE提出无法应付的计算要求并例如可被丢弃。丢弃层的另一原因可以是MANE403和解码器402之间的链路可能不具有传输增强层的能力。0059在一些场景中，解码器或MANE可知道它不需要解码所有层，例如因为目标层是已知的。那例如可以是当在具有低于最高增强层的平面分辨率的设备上解码空间可分级比特流时的情形。在这一场景下，可期望仅解码直至目标层这对解码器或MANE可能是已知的，例如通过用户接口或调用控制协议。在这一情形下，由增强层的等级指示器指示的计算要求的求和可停止在目标层，因为所有其它层由于应用需要而无论如何不被解码。0060求和操作的复杂性可进。

38、一步受到限制，因为依赖层的数量可能从较高层参数集例如依赖参数集中已知或可从较高参数集中可得的信息中推导出。0061参见图5，在同一或另一实施例中，子比特流信息SEI消息可包含每个可允许目标层未示出的等级ID值。说明书CN104205813A108/11页110062在同一或另一实施例中，SEI消息可进一步包括等级ID值501以将目标层与目标层的时间子层中的每一个结合。该等级ID值可用来信令一起施加至子比特流的约束条件，该子比特流包含与目标层关联的整个层组。SEI以不同的方式解释SEI消息中的等级指示符可与SPS中的等级指示符，并因此，它可使用与前面提到的子比特流等级指示符相反的不同指示DESI。

39、GNATION。0063在同一或另一实施例中，SEI消息还可包括子比特流概况信息502。0064在同一或另一实施例中，SEI消息害可包括每个子比特流的扩充EXTENSION机制503。0065在同一或另一实施例中，等级信息501、概况信息502、和扩充机制503可被编码到两个嵌套环504、505中，其中外环可覆盖所有非时间层或视图504且内环可覆盖所有时间层505。0066在同一或另一实施例中，可通过标志506、507或者通过概况和等级分别的单独的标志对每个子比特流通过目标非时间层和目标时间层限定分别指示概况和等级信息的存在。标志可允许“跳过”不是该比特流的一部分的子比特流，例如因为子比特流将。

40、包括不作为比特流一部分的非时间层或时间层。0067在同一或另一实施例中，可通过分别对于概况和等级的两个独立标志或者通过在等级信令默认地完成的同时指示概况信令存在的单个标志，对每个子比特流通过目标非时间层和目标时间层限定分别指示概况和等级信息的存在。具有不同目标时间层的同一编码的比特流的不同子比特流可能需要不同的等级，即便它们具有相同的概况。允许信令等级而不信令概况，提供了编码效率益处。类似地，概况存在标志可对关联于空间层或质量层的概况和等级子比特流信令，由此允许等级对层信令而不要求同时发送概况。当概况不变但等级对于不同的子比特流而不同时，与空间层或质量层以及目标时间层两者关联的子比特流的概况存。

41、在标志能通过避免概况信令而提供编码效率益处。0068除了已描述过的基于标志的机制，存在其它方式来表示子比特流的等级和/或概况信息的缺乏。例如，包含在存在标志中的信息可以可变长度码字被结合和编码。或者，概况和等级信息可以是可变长度编码的，并且短码字可被选择以指示等级或概况ID不存在。替代地，句法可包括关于两个环较早终结而不是在标准所允许的最大数的非时间或时间层上运行这些环的信息。这些替代落在所公开的主题的范围内。0069这种手法不同于SVC可分级性信息SEI消息中的概况和等级指示符，该SVC可分级性信息SEI消息包含单个标志以信令概况和等级两者的存在。0070贯穿由目标层IDI和目标时间IDJ的。

42、子比特流等级指示符引用的子比特流的像素吞吐量上的约束可根据方程1表示00710072其中K循环通过包含在与层I、LSI关联的层组中的所有层，而FRAMERATEKJJ是第K层的第J时间子层的帧速率，假设该帧速率对于每个层的每个时间子层是固定的。这种约束也可对于可变帧速率予以表达。说明书CN104205813A119/11页120073子比特流SEI消息中的子比特流概况和等级指示符不必要一定匹配于序列参数集中的层等级指示符，即使当特定子比特流和层包含相同编码的比特流数据，例如当子比特流包含基层时。相反，编码的比特流应当与由序列参数集中的层概况和等级指示符两者所指示的约束一致，并且当存在时，与SE。

43、I消息中的子比特流概况和等级约束一致。0074使得子比特流概况和等级信息在每层序列参数集之前可发送的SEI消息中可用，有利于解码器或MANE一旦接收到SEI消息就确定处理那些经编码的比特流的层和时间子层的能力。0075表2给出对于具有3个时间子层的3视图多视图比特流的本发明用途的示例性例子。0076表200770078在该例中，每个层具有19201080的分辨率。对于所有3个层，时间层0是15FPS，时间层1是30FPS，而时间层2是60FPS。在表中计算每个个别层INDIVIDUALLAYER的像素率。考虑表1的HEVC约束，计算每个层的等级极限，因为它们具有相同的分辨率、具有相同的等级在序。

44、列参数集中被发信令。层1、2可指相同的序列参数集。附加的列表示与每个可能的目标层ID和时间ID关联的子比特流的像素率。使用表1的HEVC约束计算出每个子比特流的等级。这些子比特流等级约束可在子比特流SEI消息中被信令。0079考虑该例的子比特流信息SEI消息的句法，2的MAX_LAYERS_MINUSL和2的MAX_TEMPORAL_LAYERS_MINUSL在较高等级参数集中被发送。对于I和J的所有值，SUB_BITSTREAM_PROLE_INFO_PRESENT_FLAGIJ为0，因为概况对于层的时间子层不变。对说明书CN104205813A1210/11页13于I和J的所有值，SUB_。

45、BITSTREAM_LEVEL_INFO_PRESENT_FLAGIJ为1，并且与表2最右列中表示的等级关联的等级指示符被发送。0080计算机系统0081前述确定层、子层或分层比特流的方法可实现为使用计算机可读指令并物理地存储在计算机可读介质中的计算机软件。计算机软件可使用任何适当的计算机语言来编码。软件指令可在多种类型的计算机上被执行。例如，图6示出适于实现本公开的实施例的计算机系统600。0082图6所示对于计算机系统600的组件本质上是示例性的并且不旨在暗示对实现本公开的实施例的计算机软件的用途或功能的范围构成任何限制。任一个不应当将组件的配置解释成关联于计算机系统的示例性实施例中示出的。

46、组件的任何一个或组合关联的任何依存性或要求。0083计算机系统600可具有许多物理形式，包括集成电路、印刷电路板、小型手持设备诸如移动电话或PDA、个人计算机、或超级计算机。0084计算机系统600包括显示器632、一个或多个输入设备633如键区、键盘、鼠标、指示笔等、一个或多个输出设备634例如扬声器、一个或多个存储设备635、多种类型的存储介质636。0085系统总线640链接多种子系统。如本领域内技术人员理解的那样，“总线”指服务通用功能的多个数字信号线。系统总线640可以是若干类型的总线结构中的任何一个，包括使用众多总线架构的存储器总线、外围总线和本地总线。通过示例的方式而非限制，这些。

47、架构包括工业标准架构ISA总线、增强ISAEISA总线、微信道架构MCA总线、视频电子标准协会本地VLB总线、外围组件互连PCI总线、PCIEXPRESS总线PCIX、以及加速图形端口AGP总线。0086处理器多个601也被称为中央处理单元或CPU可任选地包含高速缓存单元602，用于指令、数据或计算机地址的瞬态本地存储。处理器601耦合至包括存储器603的存储设备。存储器603包括随机存取存储器RAM604和只读存储器ROM605。如本领域内技术人员已知的，ROM605用于单向地转移数据和指令至处理器601，而RAM604被典型地用来以双向方式转移数据和指令。这些类型的存储器均可包括下面描述的。

48、任何适宜计算机可读介质。0087固定存储608也可选择地经由存储控制单元607双向地耦合至处理器601。它提供附加数据存储容量并也可包括下面描述的任一计算机可读介质。存储608可用来存储操作系统609、EXEC610、应用程序612、数据611等，并一般是比主存储更慢的二级存储介质诸如硬盘。应当理解，留存在存储608中的信息在适当的情形下可以标准方式纳入作为存储器603中的虚拟存储器。0088处理器多个601还耦合至多个接口，例如图形控制621、视频接口622、输入接口623、输出接口624、存储接口625，并且这些接口进而耦合至适当设备。一般来说，输入/输出设备可以是下列任何一个视频显示器、。

49、跟踪球、鼠标、键盘、麦克风、触敏显示器、换能器读卡器、磁带或纸带读取器、平板电脑、指示笔、语音或手写识别器、生物特征读取器或其它计算机。处理器多个610可使用网络接口620耦合至另一计算机或电信网络630。通过这一网络接口620，构想使CPU601在执行前述方法过程中可从网络630接收信息或可将说明书CN104205813A1311/11页14信息输出至网络。此外，本公开的方法实施例可单单在CPU601上执行或者可与共享一部分处理的远程CPU601结合地在诸如因特网的网络630上执行。0089根据各实施例，当在网络环境中时，即当计算机系统600连接至网络630时，计算机系统600可与同样连接至网络630的其它设备通信。通信可经由网络接口620被送至和或来自计算机系统600。例如，诸如来自另一设备的请求或响应以一个或多个分组的形式的入站通信可在网络接口620从网络630接收并被存储在存储器603的选定区段以供处理。诸如对另一设备的请求或响应同样以一个或多个分组的形式的出站通信也可被存储在存储器603的选定区段并在网络接口620被送出至网络630。处理器601可访问存储在存储器603中的这些通信分组以处理。0090另外，本公开的实施例进一步关联于具有计算机可读介质的计算机存储产品，其上具有计算机代码以执行各种计算机实现的操作。介质和计算机代码可以是为本公开。