用于使用假设参考解码器的超低延迟模式的方法和装置.pdf

《用于使用假设参考解码器的超低延迟模式的方法和装置.pdf》由会员分享，可在线阅读，更多相关《用于使用假设参考解码器的超低延迟模式的方法和装置.pdf（16页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104185992A43申请公布日20141203CN104185992A21申请号201280069014822申请日2012122061/596,51920120208USH04N19/44201401H04N19/7020140171申请人汤姆逊许可公司地址法国伊西莱穆利诺72发明人朱立华理查德埃德温格德肯加勒特詹姆斯博伦达74专利代理机构中科专利商标代理有限责任公司11021代理人赵伟54发明名称用于使用假设参考解码器的超低延迟模式的方法和装置57摘要提供了用于使用假设参考解码器的超低延迟模式的方法和装置。在视频解码器中提供了该方法，该方法包括定义320假设参考解码器。

2、定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。该方法还包括基于假设参考解码器定时模型，针对与假设参考解码器缓冲区的要求的符合，来评估325视频比特流。30优先权数据85PCT国际申请进入国家阶段日2014080486PCT国际申请的申请数据PCT/US2012/0709432012122087PCT国际申请的公布数据WO2013/119325EN2013081551INTCL权利要求书1页说明书10页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求。

3、书1页说明书10页附图4页10申请公布号CN104185992ACN104185992A1/1页21一种视频解码器中的方法，包括定义320假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束，所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的；以及基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估325所述视频比特流。2根据权利要求1所述的方法，其中，所述假设参考解码器定时模型在可变比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。3根据权利要求。

4、1所述的方法，其中，所述假设参考解码器定时模型在恒定比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。4根据权利要求1所述的方法，其中，所述假设参考解码器定时模型使用漏桶技术来确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。5根据权利要求1所述的方法，其中，所述假设参考解码器定时模型被配置为确认所述视频比特流是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。6根据权利要求1所述的方法，其中，关于所述视频比特流的所述超低延迟模式的激活基于标记。7根据权利要求1所述的方法，其中，基于对所选的假设参考解码器访问单元应用的所述假设参考解码器定时模型来。

5、评估所述视频比特流。8根据权利要求7所述的方法，其中，基于对所选的假设参考解码器访问单元的统计数据应用的所述假设参考解码器定时模型来评估所述视频比特流。9根据权利要求8所述的方法，其中，所述统计数据包括所选的假设参考解码器访问单元的比特率、大小和结构。10一种视频解码器，包括假设参考解码器定时模型277，被定义为基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束，所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的；以及假设参考解码器要求符合评估器204，用于基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符。

6、合，来评估所述视频比特流。11根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型277在可变比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。12根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型277在恒定比特率测试情况下确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。13根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型277使用漏桶技术来确定所述视频比特流是否符合所述假设参考解码器缓冲区的所述要求。14根据权利要求10所述的视频解码器，其中，所述假设参考解码器定时模型277被配置为确认所述视频比特流。

7、是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。权利要求书CN104185992A1/10页3用于使用假设参考解码器的超低延迟模式的方法和装置0001相关申请的交叉引用0002本申请要求于2012年2月8日提交的美国临时申请NO61/596,519的优先权，其以全文引用的方式并入本文。技术领域0003本原理总体上涉及视频编码和解码，更具体地，涉及用于使用假设HYPOTHETICAL参考解码器的超低延迟模式的方法和装置。背景技术0004假设参考解码器HRD符合是大多数视频压缩标准的规范部分。HRD给出了对比特流的一组要求。HRD验证器是用于通过检查比特流、检测是否存在任何HRD错误、。

8、并且如果存在则报告这些错误，来验证比特流符合这组要求的软件和/或硬件。0005在以下视频编码标准和推荐中，如果比特流遵循在标准和/或推荐中具体实现的语法和语义规则，则确定比特流是符合的国际标准化组织/国际电工技术委员会ISO/IEC运动画面专家组1MPEG1标准、ISO/IECMPEG2标准、ISO/IECMPEG4标准、国际电信联盟电信标准局ITUTH263推荐、ISO/IECMPEG4第10部分的高级视频编码AVC标准/ITUTH264推荐下文中的“MPEG4AVC标准”、以及ISO/IECMPEG高效视频编码HVEC标准/下文中的“HEVC标准”或简称为“HEVC”。一种此类规则集合通过。

9、解码器的数学或假设模型采用比特流的成功流SUCCESSFULFLOW的形式，该解码器在概念上连接到编码器的输出并且从编码器接收比特流。这种模型解码器在一些标准中被称作假设参考解码器HRD或者在其他标准中被称作视频缓冲验证器VBV。换言之，HRD规定了由视频编码器产生的比特流必须遵循的规则，该规则是针对被视为符合给定标准的这种编码器的。HRD是大多数视频编码标准的规范部分，因此给定标准下的任何比特流必须遵循HRD规则和约束，并且真实的解码器可以假设已经符合此类规则并且已经满足此类约束。0006在国际标准化组织/国际电工技术委员会ISO/IEC运动画面专家组高效视频编码HVEC标准下文中的“HEV。

10、C标准”中已经针对假设参考模型提出了超低延迟应用。在与超低延迟应用有关的现有技术方案中，针对HRD操作引入了树块TREEBLOCK以替代画面使用。画面在概念上被划分为一些组。每一个组包括相同数量的树块。在视频效用信息VUI消息的缓冲时段内信号通知该组。在现有技术方案中，画面N中的第I个组的移除时间被如下重新定义0007TRN，ITRN1TRNTRN1I/M0008其中，TRN，I是第N个画面的第I个子画面的移除时间，并且M是画面中的子画面的数量。0009先前的现有技术方案使得难以实现在HEVC标准中规定的当前HRD。例如，现有技术方案未考虑针对到达时间和提早到达时间的定时模型。此外，先前的现有。

11、技术方案未保证约束到达时间模型。此外，先前的现有技术方案还添加了针对上下文自适应二元算术编说明书CN104185992A2/10页4码CABAC中的结束段BIN的约束，这将导致性能损失。发明内容0010通过本原理解决了现有技术的这些和其他缺陷和缺点，本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。0011根据本原理的一个方面，提供了一种视频解码器中的方法。所述方法包括定义假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。所述方法还包括基于。

12、所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估所述视频比特流。0012根据本原理的另一方面，提供了一种视频解码器。所述视频解码器包括假设参考解码器定时模型，被定义为基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。所述假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。所述视频解码器还包括假设参考解码器要求符合评估器，用于基于所述假设参考解码器定时模型，针对与所述假设参考解码器缓冲区的要求的符合，来评估所述视频比特流。0013通过以下将结合附图来阅读的示例实施例的详细描述，本原理的这些和其他方面、特。

13、征和优点将变得显而易见。附图说明0014可以根据以下示例附图更好地理解本原理，在附图中0015图1示出了根据本原理实施例的可以应用本原理的示例视频编码器100；0016图2示出了根据本原理实施例的可以应用本原理的示例视频解码器200；0017图3示出了根据本原理实施例的用于使用假设参考解码器的超低延迟模式的示例方法300；以及0018图4示出了根据本原理实施例的可以应用本原理的示例缓冲装置400。具体实施方式0019本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。0020本描述说明了本原理。因此，将清楚的是，尽管本文没有明确地描述或示出，但是本领域技术人员能够设想具体实现本原理以及。

14、包括在其精神和范围内的各种布置。0021本文记载的所有示例和条件语言旨在用于说明的目的，以帮助读者理解发明人为了改进现有技术而贡献的本原理和构思，并且本文记载的所有示例和条件语言应被解释为不限于这些具体记载的示例和条件。0022此外，本文记载本原理的原理、方案、实施例及其具体示例的所有陈述旨在涵盖其结构等同物和功能等同物二者。此外，这些等同物旨在包括当前已知的等同物及未来开发的等同物，即所开发的执行相同功能的任何要素，而不论结构如何。0023因此，例如，本领域技术人员将清楚的是，本文所示的框图表示具体实现本原理的说明性电路的概念图。类似地，应当清楚的是，任何流程表、流程图、状态转换图、伪代码等。

15、说明书CN104185992A3/10页5表示可以实质上在计算机可读介质中表示的、且由计算机或处理器如此执行的各种进程，而不论是否明确示出了该计算机或处理器。0024可以通过使用专用硬件以及结合适当软件的能够执行软件的硬件来提供附图所示各要素的功能。当由处理器提供时，可以由单个专用处理器、单个共享处理器、或者多个单独处理器其中的一部分可以共享来提供功能。此外，术语“处理器”或“控制器”的显式使用不应当被解释为排他性地指代能够执行软件的硬件，而是可以隐式地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、和非易失性存储器。0025还可以包括其。

16、他常规硬件和/或其他定制硬件。类似地，附图所示的任何开关只是概念性的。可以通过程序逻辑的操作、专用逻辑、程序控制与专用逻辑的交互、或者甚至手动地来执行其功能，如根据上下文更具体理解的，具体技术可以由实施者来选择。0026在本文的权利要求中，表达为用于执行指定功能的装置的任何要素旨在涵盖执行该功能的任何方式，包括例如，A执行该功能的电路元件的组合、或者B任何形式的软件，因此包括诸如固件、微代码等，与用于执行该软件以执行该功能的适当电路相结合。由这些权利要求限定的本原理在于以下事实按照权利要求所要求的方式将由各种所述装置提供的功能结合且放在一起。因此，应认为，能够提供这些功能的任何装置与本文所示的。

17、这些装置是等同的。0027在说明书中对本原理的“一个实施例”或“实施例”及其其他变形的引用是指结合该实施例所述的特定特征、结构、特性等被包含在本原理的至少一个实施例中。因此，在说明书的各个位置中出现的短语“在一个实施例中”或“在实施例中”以及任何其他变形的出现不一定均是指相同的实施例。0028将清楚的是，后文中对“/”、“和/或”、和“中的至少一个”例如，在“A/B”、“A和/或B”、和“A和B中的至少一个”的情况下中的任意一个的使用旨在涵盖仅选择第一个列出的选项A、或者仅选择第二个列出的选项B、或者选择两个选项A和B。举另一个例子，在“A、B和/或C”以及“A、B和C中的至少一个”的情况下，。

18、此类短语旨在涵盖仅选择第一个列出的选项A、或者仅选择第二个列出的选项B、或者仅选择第三个列出的选项C、或者仅选择第一个列出的选项和第二个列出的选项A和B、或者仅选择第一个列出的选项和第三个列出的选项A和C、或者仅选择第二个列出的选项和第三个列出的选项B和C、或者选择所有三个选项A、B和C。如本领域和相关领域普通技术人员容易清楚的是，这可以扩展至与所列出的选项一样多。0029此外，如本文所使用的，词“画面”和“图像”被互换使用并且指代来自视频序列的静态图像或画面。众所周知，画面可以是帧或字段。0030如上所述，本原理涉及用于使用假设参考解码器的超低延迟模式的方法和装置。0031为了说明和描述的目。

19、的，本文在对国际标准化组织/国际电工技术委员会ISO/IEC运动画面专家组高效视频编码HEVC标准下文的“HEVC标准”的改进的上下文中使用HEVC标准作为用于本描述和解释对HEVC标准的改进和扩展的基础来描述了示例。然而，将清楚的是，本原理不局限于HEVC标准和/或其扩展例如，MPEGHEVC可扩缩视频编码SVC和多视角视频编码MVC。考虑到本文提供的本原理的教导，本领域和相关领域普通技术人员将容易理解的是，当应用于其他标准的扩展时或者当应用于和/或并入到说明书CN104185992A4/10页6还未开发的标准中时，本原理同样适用并且将至少提供类似的益处。也即是说，本领域技术人员将容易清楚的。

20、是，其他标准可以用作描述本原理以及作为对该标准或任何其他标准的改变和改进的其新颖要素的起点。还将清楚的是，本原理也适用于不符合标准而符合专有定义的视频编码器和视频解码器。0032关于本文使用的术语“遵照”和“符合”，应当注意的是，遵照是旨在表示编码的比特流满足给定编码标准或者推荐、专有方案等的规范的非正式术语，而“符合”是旨在表示编码系统确实产生可以满足给定编码标准或者推荐、专有方案等的规范的比特流的正式术语。0033将清楚的是，本领域普通技术人员可以在各种配置下实现本原理。例如，可以在视频编码器中以单独的方式实现本原理。例如，这种视频编码器可以仅包括视频编码器，或者可以可选择地在其中包括视频。

21、解码器。此外，可以实现本原理，使得与编码器分离的相应解码器可以向编码器提供反馈，以实现本原理。考虑到本文提供的本原理的教导，本领域普通技术人员容易确定这些和其他配置。0034转向图1，通过附图标记100总体指示可以应用本原理的示例视频编码器。视频编码器100包括画面划分设备102，该画面划分设备102的输出连接到四叉树判定设备104的第一输入。四叉树判定设备104的输出被选择性地连接到PU内处理器108的输入或者PU间处理器110的第一输入。PU内处理器108和PU间处理器110的相应输出以信号通信的方式与TU变换和量化器112的输入相连。TU变换和量化器的第一输出以信号通信的方式与熵编码器1。

22、16的第一输入相连。熵编码器116的第一输出以信号通信的方式与HRD片级调度器114的输入相连。HRD片级调度器114的输出以信号通信的方式与画面划分设备102的第二输入相连。TU变换和量化器112的第二输出以信号通信的方式与TU反变换和反量化器118的输入相连。TU反变换和反量化器118的输出以信号通信的方式与PU预测器120的第一输入相连。PU预测器120的输出以信号通信的方式与速率失真判定设备122的输入相连。速率失真判定设备122的第一输出以信号通信的方式与四叉树判定设备104的第二输入相连。速率失真判定设备122的第二输出以信号通信的方式与熵编码器116的第二输入和环路内INLOOP。

23、解块滤波器124的输入相连。环路内解块滤波器124的输出以信号通信的方式与自适应环路滤波器126的输入相连。自适应环路滤波器126的输出以信号通信的方式与采样自适应偏移SAO设备128的输入相连。采样自适应偏移SAO设备128的输出以信号通信的方式与画面参考缓存130的输入相连。画面参考缓存130的第一输出以信号通信的方式与PU间处理器110的第二输入相连。画面参考缓存130的第二输出以信号通信的方式与PU预测器120的第二输入相连。熵编码器116的第二输出可用作视频编码器100的输出。画面划分设备102的第一输入可用作视频编码器100的输入。0035转向图2，通过附图标记200总体指示可以应。

24、用本原理的示例视频解码器。视频解码器200包括编码画面缓冲区CPB202，该CPB202的第一输出以信号通信的方式与HRD片符合检查器204的第一输入相连并且该CPB202的第二输出以信号通信的方式与比特流解析器206的输入相连。HRD片符合检查器204的输出以信号通信的方式与HRD错误报告器288的输入相连。HRD定时模型277的输出以信号通信的方式与HRD片符合检查器204的第二输入相连。比特流解析器206的输出以信号通信的方式与TU反量化和反变换器208的输入相连。TU反量化和反变换器208的输出以信号通信的方式与PU预测器210的第一说明书CN104185992A5/10页7输入相连。。

25、PU预测器210的输出以信号通信的方式与环路内解块滤波器212的输入相连。环路内解块滤波器212的输出以信号通信的方式与自适应环路滤波器214的输入相连。自适应环路滤波器214的输出以信号通信的方式与采样自适应偏移SAO设备216的输入相连。采样自适应偏移SAO设备216的输出以信号通信的方式与画面参考缓存218的输入相连。画面参考缓存218的输出以信号通信的方式与PU预测器210的第二输入相连。编码画面缓冲区CPB202的输入可用作视频解码器200的输入。PU预测器210的输出可用作视频解码器200的输出。0036关于HRD定时模型277，虽然将HRD定时模型277示出为与HRD片符合检查器。

26、204相分离的元件，但是在一个实施例中，HRD定时模型277可以与HRD片符合检查器204合并在一起。考虑到本文提供的本原理的教导，本领域普通技术人员容易设想图2的元件以及图1的元件的这些和其他变形。0037转向图3，通过附图标记300总体指示使用假设参考解码器的超低延迟模式的示例方法。方法300包括起始框301，起始框301将控制传递到功能框303。功能框303接收要检查HRD符合的输入比特流例如，视频、音频和元数据，并且将控制传递到判定框305。判定框305确定当前模式是否是超低延迟模式。如果是，则将控制传递到功能框310。否则，将控制传递到功能框345。0038功能框310将用于HRD符。

27、合确定的访问单元设置为片单元HRD单元，并且将控制传递到功能框315。功能框315对片单元执行HRD操作以确定例如比特率、大小和结构，并且将控制传递到功能框320。功能框320定义/配置要应用于由功能框310和345设置的访问单元的定时模型，并且根据判定框305的哪一个分支是活动的将控制传递到功能框325和功能框355之一。功能框325检查片单元中的HRD违例，并且将控制传递到功能框330。功能框330对片单元进行解码，并且将控制传递到功能框335。功能框335执行片缓冲以构造一个或多个画面，并且将控制传递到功能框340。功能框340显示/输出画面，并且将控制传递到结束框399。0039功能框。

28、345将用于HRD符合确定的访问单元设置为画面单元HRD单元，并且将控制传递到功能框350。功能框350对画面单元执行HRD操作以确定例如比特率、大小和结构，并且将控制传递到功能框320。功能框355检查画面单元中的HRD违例，并且将控制传递到功能框360。功能框360对画面单元进行解码，并且将控制传递到功能框340。0040参照判定框305，确定输入的一个或多个比特流中包含的HRD语法中是否存在特定标记。因此，HRD符合检查器可以基于该标记来获知当前模式是否是超低延迟模式。根据本原理的实施例，按照如下方式修改MPEG4AVC标准的语法E110041IFNAL_HRD_PARAMETERS_P。

29、RESENT_FLAG|VCL_HRD_PARAMETERS_PRESENT_FLAGLOW_DELAY_HRD_FLAG0042其中，LOW_DELAY_HRD_FLAG按照MPEG4AVC标准的附录C中规定的来规定HRD操作模式。当XED_PIC_RATE_FLAG等于1时，LOW_DELAY_HRD_FLAG应当等于0。当LOW_DELAY_HRD_FLAG不存在时，其值被推断为等于1XED_PIC_RATE_FLAG。当LOW_DELAY_HRD_FLAG等于2时，这指示当前比特流可以支持超低延迟解码，并且HRD操作应当基于片而不是说明书CN104185992A6/10页8画面。004。

30、3在该实施例中，基于MPEG4AVC/264标准添加超低延迟模式以用于HEVC标准，例如用于支持超低延迟模式的LOW_DELAY_HRD_FLAG。如果判定框305检测到标记，则与使用基于画面的访问单元即，按照功能框345相反，将使用基于片的访问单元即，按照功能框310作为检查单元来执行HRD符合确定。应当注意的是，判定框305包括两个分支，基于对前述标记的检测来选择分支之一。关于功能框315和350，功能框315和350根据活动分支来确定所选的访问单元即，片单元或画面单元的统计数据。该统计数据可以包括但不限于比特率、大小其可以是访问单元的大小、NAL单元、片单元、和结构例如，画面组GOP、主。

31、画面等。0044关于功能框320，在一个实施例中，可以使用与例如，在MPEG4/H264标准中用于基于画面的访问单元的定时模型相同的定时模型，但是当片分支是活动的时，定时模型的定时单元访问单元基于片。0045此外，关于功能框320，在一个实施例中，可以动态地定义/配置定时模型以应用于所选的访问单元片访问单元或画面访问单元。在另一实施例中，已经针对每一种类型的访问单元定义了相应的定时模型，并且根据哪一个分支是活动的来选择相关的定时模型用于检查HRD违例按照功能框325和355。0046此外，关于功能框320和325，可以将定时模型选择性地配置为采用可变比特率或恒定比特率来确定比特流是否符合HRD。

32、的要求。也即是说，假设参考解码器定时模型在可变比特率测试情况和/或恒定比特率测试情况下确定比特流是否符合假设参考解码器缓冲区的要求。测试情况与用于对评估的比特流进行编码的编码类型有关。此外，在一个实施例中，可以使用漏桶LEAKYBUCKET技术来确定比特流是否符合HRD的要求。在例如分组交换计算机网络中使用这种漏桶技术来检查具有分组形式的数据传输符合对带宽和突发性定义的限制。0047与按照功能框355基于画面相反，HRD违例检查器然后可以按照功能框325基于片。在一个实施例中，与用于MPEG4AVC/H264标准中的画面的公式相同的公式可以用于HRD违例检查，但是当片分支是活动的时，考虑片单元。

33、。因此，功能框325和355基于将定时模型应用于所选的访问单元来提供HRD违例确定。0048参见功能框330，因为解码基于片而不是画面，因此片缓冲区/存储器将按照功能框335存储临时片以构造画面，然后可以按照功能框340输出画面或者显示画面。0049此外，关于修改的语法E11，HEVC的当前工作草案中的LOW_DELAY_HRD_FLAG仅指示无延迟模式和延迟模式，并且我们将LOW_DELAY_HRD_FLAG扩展为支持超低延迟模式。因此，LOW_DELAY_HRD_FLAG具有三个意思，并且当LOW_DELAY_HRD_FLAG为0或1时，它将保持与ITUH264相同的功能。当LOW_DEL。

34、AY_HRD_FLAG为2时，这意味着当前比特流支持超低延迟模式。然后，所有HRD操作应当基于片单元而不是画面单元。定时模型和HRD违例检查器也基于片单元。0050转向图4，通过附图标记400总体指示可以应用本原理的示例缓冲装置。在一个实施例中，缓冲装置400在概念上被连接到编码器的输出。备选地，可以关于解码器侧例如，在解码器的HRD符合检查器中实现缓冲装置400。当然，可以在维持本原理的精神的同时使用其他装置。缓冲装置400包括传输缓冲区410，传输缓冲区410的输出以信号通说明书CN104185992A7/10页9信的方式与复用缓冲区420的输入相连。复用缓冲区420的输出以信号通信的方式。

35、与假设参考解码器基本缓冲区430的输入相连。传输缓冲区410的输入可用作缓冲装置400的输入。假设参考解码器基本缓冲区430的输出可用作缓冲装置400的输出。在图4中，RT表示进入传输缓冲区的比特率，RM表示进入复用缓冲区的比特率，并且RE表示进入HRD缓冲区也称作基本缓冲区的比特率。注意，HRD基本缓冲区430在本文中被简称为“基本缓冲区”。0051提出了用于在第五届JCTVC会议中由广播业请求的超低延迟模式的超低延迟机制。与交互视频编辑或浏览有关的服务提供商非常支持这种超低延迟。超低延迟指示对解码画面的总延迟操作应当小于30MS100MS，其中该总延迟操作包括经由一个或多个信道的传输时间和。

36、进入缓冲区并且从缓冲区取回以进行解码所需的时间。也即是说，超低延迟指示画面的解码时间小于一个帧周期1/帧每秒。考虑到MPEG4AVC标准或HEVC标准中的HRD的约束到达模型，针对解码时间的最小约束应当是一个帧周期，因此MPEG4AVC标准中的HRD无法在小于一个帧周期的情况下对帧进行解码。国际标准化组织/国际电工技术委员会ISO/IEC运动画面专家组4MPEG4第10部分高级视频编码AVC标准/国际电信联盟电信标准局ITUTH264推荐下文中的“MPEG4AVC标准”中的假设参考解码器模型不支持这种情况。因此，在广播中用于编辑目的的具有超低延迟的假设参考解码器模型应当被创建并且集成到HEVC。

37、标准中。0052根据本原理的实施例，提出了用于设计HRD的新方案。在HEVC标准的当前版本中，访问单元用作定时模型的基本操作单元。因为访问单元基于画面级，因此访问单元将引起HRD的显著延迟。因此，根据本原理的实施例，将访问单元的基本操作单元改变为HRD单元。例如，HRD单元可以是片或网络抽象层NAL单元，并且可以足够灵活以便以最短的延迟从缓冲区中被移除。0053HRD是由信道比特率、缓冲区大小、初始解码器移除延迟以及HRD单元移除延迟来表征的。HEVC标准还描述了HRD的片的初始到达时间的定义和操作。按如下方式得到HRD单元的初始到达时间TAI0054可以在缓冲时段SEI消息中的任意一个时初始。

38、化HRD。在初始化之前，CPB为空。0055变量TC是按如下方式得到的并且被称作时钟计时单位0056TCNUM_UNITS_IN_TICKTIME_SCALEC10057应当注意的是，在初始化之后，不会通过任何后续缓冲时段SEI消息再次初始化HRD。0058每一个HRD单元被称作HRD单元N，其中数字N标识特定的HRD单元。与初始化CPB的缓冲时段SEI消息相关联的HRD单元被称作HRD单元0。按解码顺序针对每一个后续HRD单元将值N递增1。0059HRD单元N的第一比特开始进入编码画面缓冲区CPB的时间被称作初始到达时间TAIN。0060按照如下方式得到HRD单元的初始到达时间0061如果H。

39、RD单元是HRD单元0，则TAI00，0062否则HRD单元是HRD单元NN0，并且以下情况适用0063如果CBR_FLAGSCHEDSELIDX等于1，则HRD单元N的初始到达时间等于HRD单说明书CN104185992A8/10页10元N1的最终到达时间按如下方式得到，即0064TAINTAFN1C20065否则CBR_FLAGSCHEDSELIDX等于0，并且按如下方式得到HRD单元N的初始到达时间0066TAINMAXTAFN1，TAI，EARLIESTNC30067其中，TAI，EARLIESTN是按如下方式得到的0068如果HRD单元N不是后续缓冲时段的第一HRD单元，则按如下方式。

40、得到TAI，EARLIESTN0069TAI，EARLIESTNTR，NNINITIAL_CPB_REMOVAL_DELAYSCHEDSELIDXINITIAL_CPB_REMOVAL_DELAY_OFFSETSCHEDSELIDX90000C40070其中TR，NN是在HEVC标准的子条款C12中规定的HRD单元N从CPB的额定移除时间，INITIAL_CPB_REMOVAL_DELAYSCHEDSELIDX和INITIAL_CPB_REMOVAL_DELAY_OFFSETSCHEDSELIDX是在先前的缓冲时段SEI消息中规定的。0071否则HRD单元N是后续缓冲时段的第一HRD单元，00。

41、72TAI，EARLIESTN是按如下方式得到的0073TAI，EARLIESTNTR，NNINITIAL_CPB_REMOVAL_DELAYSCHEDSELIDX900000074C50075其中，INITIAL_CPB_REMOVAL_DELAYSCHEDSELIDX是在与HRD单元N相关联的缓冲时段SEI消息中规定的。0076按如下方式得到HRD单元N的最终到达时间0077TAFNTAINBNBITRATESCHEDSELIDXC60078其中，BN是HRD单元N的以比特为单位的大小，其对类型I符合点的VCLNAL单元和填充数据LLERDATANAL单元的比特或者类型II符合点的类型II。

42、比特流的所有比特进行计数，其中在HEVC标准的图C1中示出了类型I和类型II符合点。0079按如下方式约束SCHEDSELIDX、BITRATESCHEDSELIDX和CPBSIZESCHEDSELIDX的值。0080如果HRD单元N和HRD单元N1是不同编码视频序列的一部分并且两个编码视频序列的活动序列参数集的内容不同，则HSS从为包括HRD单元N的编码视频序列提供的SCHEDSELIDX的值中选择SCHEDSELIDX的值SCHEDSELIDX1，从而得到两个编码视频序列中的第二个包括HRD单元N的BITRATESCHEDSELIDX1或CPBSIZESCHEDSELIDX1。BITRAT。

43、ESCHEDSELIDX1或CPBSIZESCHEDSELIDX1的值可以与用于包含HRD单元N1的编码视频序列的SCHEDSELIDX的值SCHEDSELIDX0的BITRATESCHEDSELIDX0或CPBSIZESCHEDSELIDX0值不同。0081否则，HSS继续使用SCHEDSELIDX、BITRATESCHEDSELIDX和CPBSIZESCHEDSELIDX的先前值操作。0082当HSS选择与先前的HRD单元的BITRATESCHEDSELIDX或CPBSIZESCHEDSELIDX值不同的BITRATESCHEDSELIDX或CPBSIZESCHEDSELIDX值时，以下情。

44、况适用0083变量BITRATESCHEDSELIDX在时间TAIN开始生效，说明书CN104185992A109/10页110084变量CPBSIZESCHEDSELIDX按如下方式开始生效。0085如果CPBSIZESCHEDSELIDX的新值超过旧CPB大小，则它在时间TAIN开始生效，0086否则，CPBSIZESCHEDSELIDX的新值在时间TRN开始生效。0087编码画面移除的定时0088针对HRD单元0，按如下方式规定HRD单元从CPB的额定移除时间0089TR，N0INITIAL_CPB_REMOVAL_DELAYSCHEDSELIDX90000C70090针对未初始化HRD。

45、的缓冲时段的第一HRD单元，按如下方式规定HRD单元从CPB的额定移除时间0091TR，NNTR，NNBTCCPB_REMOVAL_DELAYNC80092其中，TR，NNB是先前缓冲时段的第一HRD单元的额定移除时间，CPB_REMOVAL_DELAYN是在与HRD单元N相关联的画面定时SEI消息中规定的CPB_REMOVAL_DELAY的值。0093当HRD单元N是缓冲时段的第一HRD单元时，在HRD单元N的移除时间将NB设置为等于N。0094按如下方式给出不是缓冲时段的第一HRD单元的HRD单元N的额定移除时间TR，NN0095TR，NNTR，NNBTCCPB_REMOVAL_DELAY。

46、NC90096其中，TR，NNB是当前缓冲时段的第一HRD单元的额定移除时间，CPB_REMOVAL_DELAYN是在与HRD单元N相关联的画面定时SEI消息中规定的CPB_REMOVAL_DELAY的值。0097按如下方式规定HRD单元N的移除时间。0098如果LOW_DELAY_HRD_FLAG等于0或者TR，NNTAFN，则按如下方式规定HRD单元N的移除时间0099TRNTR，NNC100100否则LOW_DELAY_HRD_FLAG等于1或者TR，NNTAFN，按如下方式规定HRD单元N的移除时间0101TRNTR，NNTCCEILTAFNTR，NNTCC110102将清楚的是，后一。

47、种情况指示HRD单元N的大小BN很大使得它防止在额定移除时间进行移除。0103现在将给出本发明的很多伴随的优点/特征中的一些的描述，已经在上文中提到了其中一些优点/特征。例如，一个优点/特征是视频解码器中的方法。该方法包括定义假设参考解码器定时模型，以基于视频比特流中包括的假设参考解码器访问单元关于假设参考解码器缓冲区的到达时间和移除时间，来规定定时约束。假设参考解码器访问单元是从片访问单元和画面访问单元中选择的。该方法还包括基于假设参考解码器定时模型，针对与假设参考解码器缓冲区的要求的符合，来评估视频比特流。0104另一优点/特征是上文所述的方法，其中假设参考解码器定时模型在可变比特率测试情。

48、况下确定视频比特流是否符合假设参考解码器缓冲区的要求。0105另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型在恒定比特说明书CN104185992A1110/10页12率测试情况下确定视频比特流是否符合假设参考解码器缓冲区的要求。0106另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型使用漏桶技术来确定视频比特流是否符合假设参考解码器缓冲区的要求。0107此外，另一个优点/特征是上文所述的方法，其中假设参考解码器定时模型被配置为确认视频比特流是否符合将画面的解码时间约束为小于一个帧周期的超低延迟模式。0108此外，另一个优点/特征是上文所述的方法，其中关于视频比特流的。

49、超低延迟模式的激活基于标记。0109此外，另一个优点/特征是上文所述的方法，其中基于对所选的假设参考解码器访问单元应用的假设参考解码器定时模型来评估视频比特流。0110此外，另一个优点/特征是上文所述的方法，其中如上所述基于对所选的假设参考解码器访问单元应用的假设参考解码器定时模型来评估视频比特流，其中基于对所选的假设参考解码器访问单元的统计数据应用的假设参考解码器定时模型来评估视频比特流。0111此外，另一个优点/特征是上文所述的方法，其中统计数据包括所选的假设参考解码器访问单元的比特率、大小和结构。0112基于本文的教导，相关领域的普通技术人员可以容易确定本原理的这些和其他特征和优点。将理解的是，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本原理的教导。0113更优选地，本原理的教导被实现为硬件和软件的组合。此外，软件可以实现为有形地具体实现在程序存储单元上的应用程序。应用程序可以上传到包括任何适合的架构的机器并且由该机器来执行。优选地，机器被实现在计算机平台上，该计算机平台具有硬件，例如，一个或多个中央处理单元“CPU”、随机存取存储器“RAM”、和输入/输出“I/O”接口。计算机平台还可以包括操作系统和微指令代码。本文所述的各种进程和功能可以是可以由CPU执行的微指令代码的一部分或者应用程序的一部分或者其。