用于多层视频系统的复杂度自适应可伸缩解码及流处理.pdf

描述了自适应解码、流处理多层视频系统及方法。该解码系统包括基本层解码器和一个或更多个增强层解码器。该流处理系统包括基本层打包器和一个或更多个增强层打包器。解码适配器控制基本层解码器和/或增强层解码器的操作。打包适配器控制基本层打包器和/或增强层打包器的操作。

权利要求书一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及解码适配器，所述解码适配器与所述基本层解码器和所述一个或更多个增强层解码器连接，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据权利要求1所述的系统，还包括：一个或更多个处理模块，所述一个或更多个处理模块用于向所述一个或更多个增强层解码器提供来自所述基本层解码器的滤波预测，其中，所述解码适配器还控制所述一个或更多个处理模块的操作。根据权利要求1或2所述的系统，其中，所述解码适配器基于从从一个或更多个所述基本层解码器和所述一个或更多个增强层解码器收集的信息，来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据上述权利要求中任一项所述的系统，还包括后处理模块，其中，所述解码适配器基于从所述后处理模块收集的信息，来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据权利要求4所述的系统，其中，所述后处理信息包括与所述基本层解码器和所述一个或更多个增强层解码器有关的编码时间信息。根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器通过简化所述基本层解码器和/或所述一个或更多个增强层解码器的操作，来控制所述基本层解码器和/或所述一个或更多个增强层解码器的操作。根据权利要求6所述的自适应解码多层视频系统，其中，所述基本层解码器和所述一个或更多个增强层解码器各自包括残余解码模块和环路滤波模块，并且其中，通过简化或去除所述基本层解码器和/或所述一个或更多个增强层解码器的所述残余解码模块和所述环路滤波模块中的一个或更多个，来进行所述基本层解码器和/或所述一个或更多个增强层解码器的简化。根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，参考图像、图像的部分、切片、图像序列和图片组（GOP）中的一个或更多个，控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据权利要求8所述的自适应解码多层视频系统，其中，所述解码适配器控制非参考图像和/或参考图像的操作。根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于复杂度估计来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于平均解码时间来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据上述权利要求中任一项所述的自适应解码多层视频系统，其中，所述解码适配器基于解码质量估计来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。根据权利要求10、11或12所述的自适应解码多层视频系统，其中，所述解码适配器还基于元数据信息来控制所述基本层解码器和所述一个或更多个增强层解码器的操作。一种用于多层视频系统的自适应解码的方法，包括如下步骤：读取视频信息；基于先前解码的视频信息的解码时间，针对所述视频信息从多个解码模式中选择解码模式；根据所选择的解码模式对所述多层系统的一个或更多个层的所述视频信息进行解码；在每次解码后，更新所述先前解码的视频信息的解码时间；以及如果可获得更多的视频信息，则重复所述读取步骤、所述选择步骤以及所述解码步骤。根据权利要求14所述的方法，其中，所述先前解码的视频信息的解码时间是平均解码时间。根据权利要求14或15所述的方法，其中，所述多个解码模式包括最快解码模式，所述方法还包括：当选择所述最快解码模式时，对所述最快解码模式的解码复杂度进行估计。根据权利要求16所述的方法，其中，关于以所述最快解码模式对所述多层系统的哪个层进行解码的决定基于所估计的所述最快解码模式的解码复杂度。根据权利要求17所述的方法，其中，关于是否针对所述多层系统的一个或更多个层使用简化的解码的决定也基于所估计的所述最快解码模式的解码复杂度。根据权利要求18所述的方法，其中，所述决定还基于图像质量考虑。根据权利要求14或15所述的方法，其中，所述视频信息包括非参考图片信息和参考图片信息，所述方法还包括：当选择包括参考图片信息的视频信息的解码模式时，对所述解码模式的解码复杂度进行估计。根据权利要求20所述的方法，其中，关于以所述解码模式对所述多层系统的哪个层进行解码的决定基于所估计的所述解码模式的解码复杂度。根据权利要求21所述的方法，其中，关于是否针对所述多层系统的一个或更多个层使用简化的解码的决定也基于所估计的所述解码模式的解码复杂度。根据权利要求22所述的方法，其中，所述决定还基于图像质量考虑。根据权利要求14至23中任一项所述的方法，其中，所述视频信息包括：图片、图片的部分或图片系列。根据权利要求24所述的方法，其中，所述图片的部分是切片，且所述图片系列是图片组（GOP）。根据权利要求14至25中任一项所述的方法，其中，所述多层系统包括基本层和一个或更多个增强层。根据权利要求26所述的方法，其中，所述多层系统包括适于将来自所述基本层的解码信息传输至所述增强层中的一个或更多个的参考处理器。根据权利要求14所述的方法，其中：所述多个解码模式基于要对所述多层系统的一个或更多个层执行的解码操作的简化量而彼此不同，以及所述解码模式的选择是通过将先前实现的解码操作的平均解码时间与目标阈值进行比较而进行的。根据权利要求28所述的方法，其中，所述解码模式的选择是在以下之间选择的：保持先前选择的解码模式；选择较快解码模式；以及选择较慢解码模式。根据权利要求28或29所述的方法，其中，所述解码模式的选择还取决于图像质量考虑。一种适于将视频包通过网络发送到客户端的自适应多层视频服务器，包括：基本层视频打包器；一个或更多个增强层视频打包器；以及打包适配器，所述打包适配器与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。根据权利要求31所述的视频服务器，其中，通过关于通过所述基本层视频打包器和所述一个或更多个增强层视频打包器经由网络发送或不发送哪些包的决定，控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。根据权利要求31或32所述的视频服务器，其中，所述打包适配器的控制是基于服务器生成的信息的。根据权利要求31或32所述的视频服务器，其中，所述打包适配器的控制是基于客户端生成的信息的。一种视频处理架构，包括：根据权利要求31所述的视频服务器和根据权利要求1所述的解码系统。

说明书用于多层视频系统的复杂度自适应可伸缩解码及流处理
相关申请的交叉引用
本申请要求于2010年1月6日提交的美国专利临时申请No.61/292,741的优先权，其全部内容通过引用合并到本申请中。
技术领域
本公开内容涉及多层视频系统。更具体地，本公开内容涉及用于多层视频系统的复杂度自适应可伸缩解码及流处理。
背景技术
近年来，出现了考虑用于视频媒介的传输的多层方法的若干应用及系统。这些应用及系统可以包括SNR或分辨率、或时间可伸缩系统，并且还可以包括多视点或3D/立体视频、位深与高动态范围（HDR）应用等。这些应用或系统可能需要大量的计算资源来解码，或可能在传输期间受到网络中的带宽变化的影响。
立体视频的传输是内容提供商的一贯目标。显示技术的最新创新如具有3D功能的DLP（见参考文献1，其全部内容通过引用合并到本申请中），和诸如三菱及三星的等离子显示器的等离子显示器，增加了开发用于传输立体视频的有效技术的紧迫性。
附图说明
图1A和图1B示出了3D视频解码框架的系统概况。
图2A和图2B示出了根据本公开内容的示教的可伸缩解码架构的框图。
图3示出了根据本公开内容的实施方式的完全解码模式（FDM‑0）。
图4示出了图片的解码依赖性。
图5示出了根据本公开内容的另外的解码模式（FDM‑1）。
图6示出了根据本公开内容的另一解码模式（FDM‑2）。
图7示出了根据本公开内容的再一解码模式（FDM‑3）。
图8示出了图7的解码模式的省略简化。
图9示出了根据本公开内容的又一解码模式4（FDM‑4）。
图10示出了图9的解码模式的省略简化。
图11示出了根据本公开内容的示教的可伸缩解码算法。
图12示出了用于说明本公开内容的示教的操作模式的高级语言程序。
图13示出了根据本公开内容的另外的实施方式的可伸缩的打包架构的框图。
具体实施方式
根据第一实施方式，提供了一种自适应解码多层视频系统，包括：基本层解码器；一个或更多个增强层解码器；以及与所述基本层解码器和所述一个或更多个增强层解码器连接的解码适配器，所述解码适配器控制所述基本层解码器和所述一个或更多个增强层解码器的操作。
根据第二实施方式，提供了一种用于多层视频系统的自适应解码的方法，包括：读取视频信息；基于先前解码的视频信息的解码时间来针对所述视频信息从多个解码模式中选择解码模式；根据所选择的解码模式对所述多层系统的一个或更多个层的视频信息进行解码；在每次解码后，更新所述先前解码的视频信息的解码时间；以及如果可获得更多的视频信息，则重复上述读取、选择和解码步骤。
根据第三实施方式，提供了一种适于通过网络将视频打包发送到客户端的自适应多层视频服务器，包括：基本层视频打包器；一个或更多个增强层视频打包器；以及与所述基本层视频打包器和所述一个或更多个增强层视频打包器连接的打包适配器，所述打包适配器控制所述基本层视频打包器和所述一个或更多个增强层视频打包器的操作。
在本申请的说明书、附图和权利要求中提供了本公开内容的其它实施方式。
图1A和图1B示出了解码系统的概况，其示出了基本层解码器和增强层解码器。采用图1A的解码系统的示例性架构是MPEG‑4 AVC/H.264标准的SHP规范（Stereo High Profile）。该规范是在标准规格中添加了立体视频支持的、MPEG‑4AVC的多视点视频编码（MVC）扩展的特殊情况。参见，例如参考文献2，其全部内容通过引用合并到本申请中。采用图1B的解码系统的示例性架构是杜比的帧兼容全分辨率（FCFR）系统。参见，例如，于2009年4月20日提交的题为“Directed Interpolation and Data Postprocessing”的美国临时专利申请No.61/170,995，以及于2009年7月4日提交的题为“Encoding and Decoding Architectures for Format Compatible 3D Video Delivery”的美国临时专利申请No.61/223,027，两者的全部内容通过引用合并到本申请中。在MPEG‑4AVC SHP中，每个视点被存储在单独的层中。杜比FCFR的基本层存储来自每个视点的一半数量的样本，并且可以通过不同的交叉存取方法来构造，如棋盘和并排交叉存储等。增强层提供两个视点的残余信息（针对每个视点的另一半样本）。该解码系统将组合来自两个层的图片输出以生成全分辨率的两个视点。
在图1B的系统中，示出了参考处理单元（RPU）。RPU处理来自基本层的输出图片以生成高质量的参考，该参考随后可以用于增强层的运动补偿预测。还可以包括也在图1B中示出的后处理单元。在3D应用示例中，后处理单元可以通过组合两个解码器的输出来产生每个视点的全分辨率图片。
本公开内容的实施方式涉及随后参考图13讨论的复杂度自适应解码与流处理技术。如上面已经提到的，这些技术可以用于，例如，从高端到低端的处理系统范围内的各种平台上的3D视频流编码系统的实时回放和流处理。本公开内容的示教可以应用到其它类似的可伸缩方案（诸如由如Sensio和Real‑D等公司提出的3D方案）或使用类似的可伸缩概念的其它方案。本领域的普通技术人员还应当理解，本公开内容的示教不限于3D应用，而且可以包括质量可伸缩系统、位深可伸缩性，除此之外还包括高动态范围的可伸缩方案等。
本公开内容的另外的应用涉及穿过异质和变化的网络的无缝视频流，如在参考文献3到参考文献5中所描述的那些，其全部内容通过引用合并到本申请中。
根据本公开内容的若干实施方式，提供了复杂度度量与自适应机制。图2A和图2B示出了控制基本层解码器、RPU和增强层解码器的操作的解码自适应模块。在图2A的实施方式中，示出了基本层解码器和一个或更多个增强层解码器。在图2B的实施方式中，还考虑了RPU的存在。
具体地，针对每个基本层解码器和增强层解码器，解码自适应模块能够使能完全解码模式、简化的解码模式，或甚至使能跳过所有模式。类似地，对于RPU，解码自适应模块能够使能完全滤波、部分滤波或完全跳过RPU步骤。
图2A和图2B的解码自适应模块适于从所有其它块（如基本解码器、增强解码器和RPU）接收反馈。传递到解码自适应模块的信息可以包括关于解码复杂度、块或编码单元之间的依赖性（通过比特流分析或甚至可能存在于比特流中的元数据）的信息，以及关于电源使用和视频质量的信息。质量因素可以包括目前为止引入的失真以及如果稍后做出某些决定可能引起的失真。所有这些信息都在模块中进行处理以进行解码自适应，从而决定哪个模块应该受到了影响以及受到多大的影响。参考流处理实施方式可以做出类似的考虑（包括网络特性），如稍后参考图13所讨论的。
在以下段落所示的示例中，考虑了具有不同复杂度的六种不同解码模式。但是，本领域普通技术人员应当理解，可以考虑任何数量的不同解码模式。尽管以下附图的示例示出了一个增强层和一个RPU，但是本领域普通技术人员应当理解，RPU是可选的，并且如果期望，可以设置有不止一个增强层。
图3示出了解码模式的第一示例，其中，将计算最复杂的模式（也称为完全解码模式）应用于基本层和增强层两者。在本公开内容全文中，这种模式将被称为FDM‑0。当使用快速解码模式时，图片质量会降低，但是在这种情况下，质量的损失是受控的。
图4示出了解码过程中的图片依赖性。作为示例，可自由使用的双向预测图片（B）依赖于预测图片（P），但是不用作参考，因此，在对这些图片进行解码时所发生的错误不会影响其它图片的解码过程。P图片可以用作参考图片以接替P图片和B图片。P图片中的错误将传播到依赖于其的后面的P图片和B图片，甚至更糟，这种错误将在整个图片组（GOP）内传播。此处注意，B编码图片可以是可自由使用的但也可以用作针对运动补偿预测的参考（在本示意图中标记为RB图片）。这对于帧内编码图片（I）或单向预测编码图片（P）也是正确的。尽管在过去的编码标准中，I与P总是用作参考并且B图片被视为可自由使用的，但是在MPEG‑4AVC/H.264中，不再是这种情况。任何类型的图片均可以被标识为可自由使用的。
通常可以独立地解码的两个帧内（I）编码的图片之间的图像一般被认为属于单个GOP。在MPEG‑4AVC中，帧内编码的图片可能必须是即时解码器刷新（IDR）图片，或被标识为随机存取单元。结果，对于所示的示例编码结构，P图片比B编码的图片更重要。如果使用具有固定或自适应GOP的层级编码结构，则可以存在类似的依赖性。
因此，根据本公开内容的一些实施方式，将初始尝试减小可自由使用的图片的解码复杂度。如果解码速度依然比目标解码速度慢并且当前参考图片的解码复杂度大于给定的阈值，则还依据参考图片对GOP中的将来图片的影响减小参考图片的解码复杂度。代替仅基于图片等级，还可以基于较高的等级（如GOP等级）确定解码模式。换言之，代替每次针对一张图片做出决定，系统可以每次在GOP等级或针对每N张图片做出决定。即，解码器（或稍后在图13中说明的流处理情况中的服务器）可以对复杂度性能（或流处理实施方式中的网络带宽）进行评估并且立即做出影响当前GOP中的所有这些图片的决定。即，可以这么说：可以针对所有的增强层图片跳过解块，或将不对GOP中的所有图片进行增强层的解码（或针对图13的流处理情况不传输任何增强层信息），或甚至分析GOP中的依赖性并且基于该依赖性来确定哪些图片应当完全解码、哪些图片地部分解码（以及在何等级）或哪些图片完全不解码。在这些情况下，在全局等级做出决定。但是，这不能排除也可以在局部等级（图片或切片）处做出的额外的改良。因此，该过程可以是局部的、全局的或局部与全局的组合。
图5示出了比FDM‑0模式简单的第二解码模式，该模式在本文中被称为FDM‑1模式。根据这种模式，简化了增强层处的解码。通过该示例，可以简化或甚至消除非参考图片（通常是B图片）的解块过程。例如，可以通过使用比由系统指定的解块滤波机制更简单的解块滤波机制仅简化或禁用某些颜色组分的解块过程或甚至简化或禁用仅针对某些切片的解块过程，来简化该解块过程。
关于何时与如何修改解块过程的决定可以不仅取决于复杂度而且还取决于针对图片如何影响质量。该决定可基于在解码期间收集的关于图片和图片组的信息。通过示例，该决定可基于图片或切片的运动或基于标志信息（诸如向比特流中的该过程提供线索的元数据）。
通过使用图5所示的FDM‑1模式，以通常很小的图片质量损失为代价，解码过程相较于FDM‑0而加速。由于该模式仅影响可自由使用的非参考图片，由该简化的解码过程导致的错误不会传播给后续解码的图片。
图6示出了与FDM‑1相比更简单的解码模式，该模式被称为FDM‑2。根据这种模式，简化了基本层和增强层两者处的解码。通过示例的方式，简化或甚至跳过了基本层和增强层两者处的非参考图片的解块过程。尽管由于RPU提供的参考的变更可能导致增强层中的一些其它失真以及基本层中的一些失真，然而，由于这些帧没有用作任何其它图片的参考，因此在解码期间不会产生漂移。应当理解，基础层和增强层的简化方法可以不同，并且可以是上面参考FDM‑1所讨论的简化方法中的任何一种。
如果解码速度略微低于目标速度，则可以使用图5和图6中示出的解码方法FDM‑1和FDM‑2。
图7到图10示出了两种另外的快速解码模式（称为FDM‑3和FDM‑4），其可以导致解码过程的进一步简化。
图7示出了解码模式FDM‑3，其中，通过在对非参考图片或可自由使用的图片解码时另外简化其残余解码过程来简化增强层。该残余解码过程包括如熵解码、逆变换和逆量化等的子过程。因此，通过简化上述一种或更多种子过程，存在可以简化该过程的不同方式。另外，可以针对不同的切片简化残余解码，其中，每个切片可以使用基于元数据或分析的不同简化方法。
在具体的实施方式中，可以跳过整个残余解码过程，如图8所示。在这种情况下，RPU过程的输出被视为增强层的输出。在3D视频编码的情况下，通过在后处理步骤中将基本层的输出与RPU单元的输出多路复用在一起，解码器将生成全分辨率的图片。
由于存储在压缩的比特流的残余部分中的一些高频信号不会与编码器侧的高频信号匹配，因此解码模式FDM‑3将引入一些另外的失真。然而，将发生无错传播。此外，在使用元数据来促进简化方法或如果该简化方法是内容自适应的实施方式中可以很好地控制该错误。例如，可以基于切片等级在编码器侧测量残余解码过程简化的质量失真，并且可以将该信息嵌入到比特流中作为元数据。在解码器处，解码器可以做出使能某些简化或不根据失真信息的决定。代替失真信息，还可以设置不同切片或图片之间的依赖性，而如果考虑简化的解码方法，失真信息可以是可引入到比特流中的潜在失真的估计。在图13中稍后讨论的流处理实施方式中，可以通过不标志某些信息进行错误控制。
在不同的实施方式中，可以仅选择图片中的某些切片进行解码，或者可以在经过一定时间之后或在已对这些切片中的一定数量的宏块进行解码之后开始及停止所有切片的并行解码。针对还没有解码的残余区域，如图8所示，相反可以使用来自RPU的信号。
图9示出了另一解码模式，其在本文中被称为FDM‑4模式。根据该实施方式，可以简化RPU过程、增强层解码（如残余解码和解块）和增强层处的非参考图片的后处理。具体地，该简化过程可涉及：使用与指定的插值滤波器不同的插值滤波器，不对使用昂贵的亚像素定位的一些宏块解码并恢复到RTU处理的信号，以及不对使用双向预测或加权预测等的宏块解码。可以对每个子过程或每个切片进行该简化。还可以通过使用与指定的滤波器不同的滤波器简化RPU过程。例如，可以使用较短的滤波器来代替较长的滤波器，可以使用一维滤波器替代二维滤波器，可以使用固定滤波器代替显式滤波器等。可以针对整个图片、区域（针对不同的区域可以在RPU中标志不同的滤波器）或甚至在颜色分量等级处选择这些滤波器。
图10示出图9的实施方式的特殊情况，其中，跳过了RPU过程、残余解码过程和解块过程。假设已完全跳过了增强层并且基本层属于非参考图片，则FDM‑4处理还可以扩展到基本层。
在使用上面的一种或更多种实施方式依然不会产生充分的解码器复杂度或期望的流处理处理功能的情况下，上面的图和实施方式中所示的简化过程还可以扩展到参考图片。将上述实施方式扩展到参考图片的解码模式在本文中将被称为FDM‑5。这是最快的解码模式并且可以用在基本层、增强层或两者上。在这种情况下，如果简化不是以受控的方式来完成，则可能发生差的伪像。例如，考虑图片处于GOP中何处、因任何解码简化将导致质量受到多远和多大的影响以及复杂度和流处理中的含义可以显著地帮助选择应该应用于该图片的过程，如果任何。一张图片（例如靠近GOP的末端）即使是参考图片，由于其质量不会传播到更多的图片，因而其相较于GOP中早先的其它图片可能更容易被舍弃。此外，期望在影响基本层中的参考图片之前作用于增强层中的参考图片（通过简化或跳过）。
具体地，当当前图片是参考图片时，将估计该图片的解码复杂度（如稍后在后续段落中所说明的），以尽可能多地减小质量损失同时将解码速度的增加最大化。
一旦已知或估计了该图片的解码复杂度，如果没有指示图片的失真的边信息（通过例如元数据来提供），可以如下来处理解码过程。如果该图片的解码过程的估计复杂度小于第一阈值（表示复杂度对于系统的解码能力而言是足够低的），则在解码过程中不发生变化。否则，如果估计的复杂度高于第一阈值而低于第二阈值（表示复杂度既不是太低也不是太高），则进行解码过程的初始简化，如解块过程的简化。另一方面，如果复杂度高于第二阈值则进行进一步的简化，如残余解码过程和解块过程的简化。
在图片等级处描述了上述实施方式。但是，可以提供不同的实施方式，其中，可以在例如为子图片等级/区域等级的切片等级处应用所有提出的解码模式。切片等级的应用可以针对参考图片和非参考图片两者进行。可以基于比特流的解码期间的先前观察、针对解码一张图片预算的平均时间以及为确保将进行解码而不超出该预算当前图片需要多少时间等，来计算用于参考图片的上述阈值。
另外，代替每次考虑单张图片或切片，如果需要，系统可以决定将多个图片分在一组并且针对这些图片联合地作出这种决定。通过跳过或减少针对多个图片的解码器复杂度的复杂度节省可以导致用于其它图片的节省，该可能对于主观质量具有比当前的节省更重要的影响。关于是否跳过多个图片的决定可以基于图片相似度，图片相似度可设置于比特流元数据中或甚至可以根据诸如比特流中可获得的运动矢量的给定比特流信息推论出来。例如，如果两个顺序的图片的运动矢量类似，则知道这些图片也会是相似的并且可以使用类似的方法一起简化（如，跳过）。
图11示出了可控地应用上述简化的可伸缩解码过程的实施方式。在读取图片后，初始地设置解码模式。将参考稍后描述的图12示出如何设置解码模式的示例。如果所选择的解码模式是最快解码模式FDM‑5（如上所述，其还提供参考图片的简化），则还对解码复杂度进行估计。如上面参考解码模式FDM‑5的描述已指出的，对解码复杂度的估计和随后与阈值参数的比较允许在这种解码模式内执行简化的受控选择。然后，根据所选择的解码模式对切片、图片或GOP进行解码。然后，根据稍后将要描述的公式来更新平均解码时间。然后，重复该过程直到解码终止。
现在转到图12，将描述根据本公开内容的待使用的解码模式设置算法的示例。如果平均解码时间（DecTimeAvg）大于第一阈值T0，则可以通过将解码模式改变成简化版本（DecMode=DecMode+1）来减小解码复杂度。如果平均解码时间大于第二阈值T2（T2>T0）（这表示当前解码非常慢），则将解码模式设置成最简单的模式，如上面讨论的FDM‑5模式（DecMode=FDM_5）。如果平均解码时间不大于阈值T0并且小于阈值T1（这表示解码足够快），则将增加解码复杂度以确保更好的图片质量。另一方面，如果平均解码时间不大于阈值T0并且不大于阈值T1，则将保持先前使用的解码复杂度（保持DecMode）。
在以下段落中，将讨论四个公式以更好地理解图11和图12中包含的处理。公式（1）将描述在图11的流程图中如何更新平均解码时间。另一方面，公式（2）到公式（4）将描述如何估计解码复杂度。
具体地，公式（1）描述了如何更新平均解码时间DecTimeAvg的示例。α是控制更新速度的因子，其可以取决于图片组（GOP）的长度。通过示例，α可以随着GOP长度的增加而减小。
DecTimeAvg＝LastPicDecTime·α+DecTimeAvg·(1‑α)        (1)
现在回到图11的解码复杂度的估计步骤，该步骤可以包括两部分。
在第一部分中，对RPU处理的复杂度进行估计。该复杂度取决于滤波器的类型和分区面积，并且例如可以通过公式（2）来计算。整个图片的RPU过程的复杂度是所有分区的复杂度之和。