传输数据流中的灵活子流参考.pdf

1、10申请公布号CN102017624A43申请公布日20110413CN102017624ACN102017624A21申请号200880128790422申请日20081203PCT/EP2008/00338420080425EPH04N7/2420060171申请人弗劳恩霍夫应用研究促进协会地址德国慕尼黑72发明人托马斯斯切尔科内留斯赫尔奇卡斯滕古恩伯格74专利代理机构中科专利商标代理有限责任公司11021代理人王玮54发明名称传输数据流中的灵活子流参考57摘要可以导出一种具有第一数据流和第二数据流的视频序列的表示，第一数据流包括第一数据部分，第一数据部分包括第一定时信息，第二数据流包括具

2、有第二定时信息的第二数据部分。关联信息与第二数据流的第二部分相关联，关联信息指示第一数据流的预定第一数据部分。产生包括第一和第二数据流的传输流作为视频序列的表示。30优先权数据85PCT申请进入国家阶段日2010102286PCT申请的申请数据PCT/EP2008/0102582008120387PCT申请的公布数据WO2009/129838EN2009102951INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书10页附图9页CN102017636A1/3页21一种用于导出依赖于参考数据部分的第二数据部分的解码策略的方法，第二数据部分是传输流的第二数据流的一部分，

3、传输流包括第二数据流和包括第一数据部分的第一数据流，第一数据部分包括第一定时信息，第二数据流的第二数据部分包括第二定时信息和指示第一数据流的预定第一数据部分的关联信息，所述方法包括使用第二定时信息作为第二数据部分的处理时间的指示，并使用第一数据流的被参考的预定第一数据部分作为参考数据部分，来导出第二数据部分的解码策略。2根据权利要求1的方法，其中，第二数据部分的关联信息是预定第一数据部分的第一定时信息。3根据权利要求1或2的方法，还包括在第二数据部分之前对第一数据部分进行处理。4根据权利要求1至3的方法，还包括输出第一和第二数据部分，其中，在第二数据部分之前输出被参考的预定第一数据部分。5根据

4、权利要求4的方法，其中，将输出的第一和第二数据部分提供至解码器。6根据权利要求1至5的方法，其中，对除了包括第二定时信息以外还包括关联信息的第二数据部分进行处理。7根据权利要求1至6的方法，其中，对具有不同于第二定时信息的关联信息的第二数据部分进行处理。8根据前述任一权利要求的方法，其中，第二数据部分的依赖性在于，第二数据部分的解码需要包含在第一数据部分内的信息。9根据前述任一权利要求的方法，其中，第一数据流的第一数据部分与分层视频数据流的第一层的已编码视频帧相关联；以及第二数据流的数据部分与可伸缩视频数据流的第二较高层的已编码视频帧相关联。10根据权利要求9的方法，其中，第一数据流的第一数据

5、部分与可伸缩视频数据流的一个或多个NAL单元相关联；以及其中第二数据流的数据部分与可伸缩视频数据流的一个或多个不同的第二NAL单元相关联。11根据权利要求9或10的方法，其中，使用所述预定第一数据部分的解码时间戳作为关联信息将第二数据部分与所述预定第一数据部分相关联，解码时间戳指示可伸缩视频数据流的第一层内的所述预定第一数据部分的处理时间。12根据权利要求9至11中任意一项的方法，其中，使用所述预定第一数据部分的呈现时间戳作为关联信息将第二数据部分与所述预定第一数据部分相关联，呈现时间戳指示可伸缩视频数据流的第一层内的所述预定第一数据部分的呈现时间。13根据权利要求11或12的方法，还使用指示

6、可伸缩视频数据流内可能的不同视图之一的视图信息、或指示第一数据部分的多描述编码媒体流的不同的可能分区之一的分区信息，作为关联信息。14根据前述任一权利要求的方法，还包括估计与第二数据流相关联的模式数据，该模式数据指示第二数据流的解码策略模式，其中权利要求书CN102017624ACN102017636A2/3页3如果指示第一模式，则根据权利要求1到8之一导出解码策略；以及如果指示第二模式，则使用第二定时信息作为处理的第二数据部分的处理时间并使用第一数据流的第一数据部分作为参考数据部分，来导出第二数据部分的解码策略，其中第一数据流的第一数据部分具有与第二定时信息相同的第一定时信息。15一种视频数

7、据表示，包括包括第一和第二数据流的传输流，其中第一数据流的第一数据部分包括第一定时信息；以及第二数据流的第二数据部分包括第二定时信息和指示第一数据流的预定第一数据部分的关联信息。16根据权利要求15的视频数据表示，还包括与第二数据流相关联的模式数据，所述模式数据指示针对第二数据流从至少两个解码策略模式中选出的解码策略模式。17根据权利要求15或16的视频数据表示，其中，预定第一数据部分的第一定时信息用作第二数据部分的关联信息。18一种用于产生视频序列的表示的方法，所述视频序列包括第一数据流和第二数据流，第一数据流包括第一数据部分，第一数据部分包括第一定时信息，第二数据流包括第二数据部分，第二数

8、据部分具有第二定时信息，所述方法包括将关联信息与第二数据流的第二数据部分相关联，所述关联信息指示第一数据流的预定第一数据部分；以及产生包括第一和第二数据流的传输流作为所述视频序列的表示。19根据权利要求18的用于产生视频序列的表示的方法，其中，将关联信息引入第二数据部分中作为附加数据字段。20根据权利要求18的用于产生视频序列的表示的方法，其中，将关联数据引入第二数据部分的现有数据字段中。21根据权利要求18至20中任意一项的用于产生视频序列的表示的方法，还包括将模式数据与第二数据流相关联，该模式数据指示针对第二数据流的、来自至少两个可能的解码策略模式的解码策略模式。22根据权利要求21的用于

9、产生视频序列的表示的方法，其中，将模式数据引入第二数据流的第二数据部分作为附加数据字段。23根据权利要求21的用于产生视频序列的表示的方法，其中，将关联信息引入第二数据流的第二数据部分的现有数据字段中。24一种针对依赖于参考数据部分的第二数据部分的解码策略生成器，第二数据部分是传输流的第二数据流的一部分，传输流包括第二数据流和包括第一数据部分的第一数据流，第一数据部分包括第一定时信息，并且第二数据流的第二数据部分包括第二定时信息和指示第一数据流的预定第一数据部分的关联信息，所述解码策略生成器包括参考信息生成器，适于使用第一数据流的预定第一数据部分来导出针对第二数据部分的参考数据部分；以及策略生

10、成器，适于使用第二定时信息作为第二数据部分的处理时间的指示，并使用由参考信息生成器导出的参考数据部分，来导出第二数据部分的解码策略。25一种适于产生视频序列的表示的视频表示生成器，视频序列包括第一数据流和第权利要求书CN102017624ACN102017636A3/3页4二数据流，第一数据流包括第一数据部分，第一数据部分包括第一定时信息，第二数据流包括具有第二定时信息的第二数据部分，所述视频表示生成器包括参考信息生成器，适于将关联信息与第二数据流的第二数据部分相关联，所述关联信息指示第一数据流的预定第一数据部分；以及复用器，适于产生包括第一和第二数据流以及关联信息的传输流，作为视频序列的表示

11、。26一种用于导出依赖于参考数据部分的第二数据部分的处理调度的方法，第二数据部分是传输流的第二数据流的一部分，传输流包括第二数据流和包括第一数据部分的第一数据流，第一数据部分包括第一定时信息，第二数据流的第二数据部分包括第二定时信息和指示第一数据流的预定第一数据部分的关联信息，所述方法包括导出具有处理顺序的处理调度，使得在第一数据流的预定第一数据部分之后对第二数据部分进行处理。27根据权利要求26的用于导出处理调度的方法，还包括接收第一和第二数据部分；以及在输出比特流中，将第二数据部分附加到第一数据部分。28一种数据分组调度器，适于产生依赖于参考数据部分的第二数据部分的处理调度，第二数据部分是

12、传输流的第二数据流的一部分，传输流包括第二数据流和包括第一数据部分的第一数据流，第一数据部分包括第一定时信息，第二数据流的第二数据部分包括第二定时信息和指示第一数据流的预定第一数据部分的关联信息，所述数据分组调度器包括处理顺序生成器，适于产生具有处理顺序的处理调度，使得在第一数据流的预定第一数据部分之后对第二数据部分进行处理。29根据权利要求28的数据分组调度器，还包括接收机，适于接收第一和第二数据部分；以及重排序器，适于在第一数据部分之后输出第二数据部分。30一种具有程序代码的计算机程序，当所述计算机程序运行在计算机上时，所述程序代码用于执行权利要求1、18、26中的任一项。权利要求书CN1

13、02017624ACN102017636A1/10页5传输数据流中的灵活子流参考技术领域0001本发明的实施例涉及传输数据流中不同子流的灵活参考单独数据部分，所述传输数据流包含两个或多个子流。具体地，若干实施例涉及一种识别包含参考画面信息的参考数据部分的方法和装置，当将具有不同定时属性的视频流组合成一个单个传输流时，需要所述参考画面信息来对可伸缩视频流SCALABLEVIDEOSTREAM的更高层的视频流进行解码。背景技术0002有许多将多个数据流组合成一个传输流的应用。通常需要这种不同数据流的组合或复用，以便能够仅使用一个单个物理传输信道来传送所产生的传输流，以传送全部信息。0003例如，在

14、用于多个视频节目的卫星传送的MPEG2传输流中，每一个视频节目包含在一个基本流ELEMENTARYSTREAM中。即，将一个具体基本流的数据部分被分组在所谓的PES分组中与其他基本流的数据部分相交错。此外，由于例如可以使用一个音频基本流和一个分离的视频基本流来传送节目，不同的基本流或子流可以属于一个单个节目。因此，音频和视频基本流彼此相关。当使用可伸缩视频编码SVC时，相互的依赖性变得更加复杂，这是由于可以通过添加附加信息所谓的SVC子比特流来增强后向兼容AVC高级视频编解码基层H264/AVC的视频，所谓的SVC子比特流可以在保真度、空间分辨率和/或时间分辨率方面增强AVC基层的质量。即，在

15、增强层附加的SVC子比特流中，可以传送视频帧的附加信息，以便增强其感知质量。0004对于重构，在对相应的视频帧进行解码之前，从不同流中收集属于一个单个视频帧的所有信息。不同流内包含的属于一个单个帧的信息被称作NAL单元网络提取层单元。甚至可以通过不同传送信道来传送属于一个单个画面的信息。例如，一个分离的物理信道可以用于每一个子比特流。然而，单独子比特流的不同数据分组彼此相关。通常通过比特流语法的一个特定语法元素DEPENDENCY_IDDID来表示依赖性。即，在具有不同PID编号分组标识符的传输流中传输SVC子比特流在H264/SVCNAL单元报头语法元素DID方面不同，SVC子比特流在可能的

16、可伸缩性尺寸保真度、空间或时间分辨率中的至少一个方面，能够增强AVC基层或一个较低子比特流。也就是说，以传输针对相同节目的不同媒体类型例如，音频或视频的相同方式，来传输SVC子比特流。这些子流的存在是在与传输流关联的传输流分组报头中限定的。0005然而，为了对图像和关联的音频数据进行重构和解码，在解码之前或之后，必须使不同的媒体类型同步。通常通过所谓的“呈现时间戳”PTS的传送来实现解码后的同步，该“呈现时间戳”分别指示视频帧或音频帧的实际输出/呈现时间TP。如果解码画面缓冲器DPB用来在解码之后暂时存储传输的视频流的解码画面帧，则呈现时间戳TP指示从相应的缓冲器中移除解码画面。由于可以使用不

17、同的帧类型，例如，P类型预测和B类型双向帧，不需要必须以视频帧的呈现顺序对视频帧进行解码。说明书CN102017624ACN102017636A2/10页6因此，通常传送所谓的“解码时间戳”，来指示最新可能的帧解码时间，以便保证提供后续帧的全部信息。0006当接收到的传输流信息在基本流缓冲器EB内缓冲时，解码时间戳DTS指示从基本流缓冲器EB中移除正在考虑的信息的最新可能的时间。因此，根据系统层的假定缓冲模型TSTD和视频层的缓冲模型HRD，来限定传统的解码处理。可以将系统层理解成传输层，即，为了在一个单个传输流内提供不同节目流或基本流而需要的复用和解复用所需的精确定时是至关重要的。可以将视频

18、层理解成所使用的视频编解码器所需的分组和参考信息。系统层再次对视频层的数据分组信息进行分组和组合，以便允许传输信道的连续传送。0007图1中示出了利用单个传输信道的MPEG2视频传送所使用的假定缓冲模型的一个示例。视频层的时间戳和系统层的时间戳在PES报头中指示将指示相同的时刻。然而，如果视频层和系统层的时钟频率不同通常是这种情况，则在两个不同缓冲器模型STD和HRD所使用的不同时钟给出的最小容限内，该时间应当相等。0008在图1所示的模型中，从传输流中把在时刻TI到达接收机处的传输流数据分组2解复用成不同的独立流4A4D，其中，通过出现在每一传输流分组报头内的不同PID编号来区分不同的流。0

19、009传输流数据分组存储在传输缓冲器6TB中，并且然后被转移至复用缓冲器8MB。可以使用固定的速率，执行从传输缓冲器TB至复用缓冲器MB的转移。0010在将明码PLAIN视频数据传送至视频解码器之前，移除由系统层传输层添加的附加信息，即PES报头。这可以在将数据转移至基本流缓冲器10EB之前进行。即，当将数据从MB转移至EB时，应当存储已移除的相应时间信息例如解码时间戳TD和/或呈现时间戳TP作为用于进一步处理的辅助信息。为了允许按顺序的重构，如PES报头中所携带的解码时间戳所示，不迟于TDJ地将访问单元AJ的数据与一个特定帧相对应的数据从基本流缓冲器10中移除。同样，由于视频层的解码时间戳由

20、每一访问单元AJ的所谓SEI消息所示在视频流内不会以明文传送，应当强调的是，系统层的解码时间戳应当等于视频层中的解码时间戳。因此，利用视频层的解码时间戳将需要视频流的进一步解码，从而使简单并高效的复用实现方式变得难以实施。0011解码器12对明码视频内容进行解码，以便提供解码的画面，解码的画面存储在解码画面缓冲器14中。如上所述，由视频编解码器提供的呈现时间戳用来控制呈现，即，控制存储在解码画面缓冲器14DPB中的内容的移除。0012如上所述，用于可伸缩视频编码SVC传输的当前标准将子比特流的传输限定为具有包括不同PID编号的传输流分组的基本流。这需要包含在传输流分组中的基本流数据的附加重排序

21、，以导出表示单个帧的单独访问单元。0013图2中示出了该重排序方案。解复用器4将具有不同PID编号的分组解复用成分离的缓冲链20A至20C。即，当传送SVC视频流时，向不同缓冲链20A至20C的不同的依赖性表示DEPENDENCYREPRESENTATION缓冲器DRBN提供不同子流中传输的相同访问单元的部分。最后，应当将数据提供至公共基本流缓冲器10EB，并在提供至解码器22之前对数据进行缓冲。然后将已解码的画面存储在公共解码画面缓冲器24中。0014换言之，将不同子比特流中的相同访问单元的部分还被称作依赖性表示DR说明书CN102017624ACN102017636A3/10页7初步存储在

22、依赖性表示缓冲器DRB中，直到将其传送至基本流缓冲器10DB中以用于移除。NAL单元报头内所指示的具有最高语法元素“DEPENDENCY_ID”DID的子比特流包括具有最高帧速率的所有访问单元或一部分访问单元具有依赖性表示DR。例如，由DEPENDENCY_ID2标识的子流可以包含以50HZ帧速率编码的图像信息，而具有DEPENDENCY_ID1的子流可以包含25HZ帧速率的信息。0015根据本实现方式，将具有相同解码时间TD的子比特流的所有依赖性表示传送至解码器，作为具有DID的最高可用值的依赖性表示的一个具体访问单元。即，当对具有DID2的依赖性表示进行解码时，考虑具有DID1和DID0的

23、依赖性表示的信息。使用具有相同解码时间戳TD的三个层的所有数据分组来形成访问单元。向解码器提供不同依赖性表示的顺序由所考虑的子流的DID来限定。如图2所示执行解复用和重排序。访问单元缩写为A。DBP指示解码画面缓冲器，并且DR指示依赖性表示。将依赖性表示临时存储在依赖性表示缓冲器DRB中，并且在将重新复用的流传送至解码器22之前将其存储在基本流缓冲器EB中。MB表示复用缓冲器，并且PID表示每一单独子流的节目ID。TB指示传输缓冲器，并且TD指示编码时间戳。0016然而，上述方法始终假设，相同的时间信息出现在与相同访问单元帧相关联的子比特流的所有依赖性表示内。然而，这无论对于由SVC定时所支持

24、的解码时间戳还是呈现时间戳都不是真实的，或不可利用SVC内容而实现。0017由于H264/AVC标准的附录A定义了若干不同简档和等级，就会产生该问题。通常，简档定义了与该特定简档兼容的解码器必须支持的特征。等级定义了解码器内不同缓冲器的大小。此外，所谓的“假定参考解码器”HRD被定义为对解码器的期望行为、特别是对所选等级的关联缓冲器的期望行为进行仿真的模型。还在编码器处使用HRD模型，以便确保由编码器引入到已编码视频流中的定时信息不会破坏HRD模型的约束，以及解码器处的缓冲器大小。因此，这将使利用标准兼容解码器进行解码成为不可能。SVC流可以支持不同子流内的不同等级。即，对视频编码的SVC扩展

25、提供了创建具有不同定时信息的不同子流的可能。例如，可以帧速率在SVC视频流的单独子流内以不同的帧速率进行编码。0018H264/AVCSVC的可伸缩扩展允许将具有不同帧速率的可伸缩流编码到每一子流中。帧速率可以是彼此的倍数，例如基本层为15HZ，而时间增强层为30HZ。此外，SVC还允许在子流之间具有移动的帧速率比，例如基本层提供25HZ，增强层提供30HZ。注意，SVC扩展ITUTH2220标准系统层应当能够支持这样的编码结构。0019图3给出了传输视频流的两个子流内的不同帧速率的一个示例。基本层第一数据流40可具有30HZ的帧速率，而信道2的时间增强层42第二数据流可具有50HZ的帧速率。

26、对于基本层，传输流的PES报头中的定时信息DTS和PTS或视频流的SEI中的定时足以对基本层的较低帧速率进行解码。0020如果视频帧的完整信息包括在增强层的数据分组中，则PES报头中的时间信息或增强层中流内SEI中的时间信息也足以用来对较高帧速率进行解码。然而，由于MPEG通过引入P帧或I帧而提供了复杂的参考机制REFERENCINGMECHANISM，增强层的数据分组可以利用基层的数据分组作为参考帧。即，从增强层解码的帧利用与基层提供的帧有关的信息。在图3中示出了这种情况，其中，基层40的两个所示数据部分40A和40B说明书CN102017624ACN102017636A4/10页8具有与呈

27、现时间相对应的解码时间戳，以满足用于相当慢的基层解码器的HRD模型的需求。为了对完整帧进行完全解码，数据模块44A至44D给出了增强层解码器所需的信息。0021以较高的帧速率重构第一帧44A需要基层的第一帧40A的完整信息以及增强层的前三个数据部分42A的完整信息。以较高的帧速率对第二帧44B进行解码需要基层的第二帧40B的完整信息以及增强层的数据部分42B的完整信息。0022传统解码器将具有相同解码时间戳DTS或呈现时间戳PTS的基层和增强层的所有NAL单元进行组合。最高层第二数据流的DTS将给出从基本缓冲器中移除所产生的访问单元AU的时间。然而，由于相应数据分组的值不同，不同层内根据DTS

28、或PTS值的关联不再是可能的。为了保持根据PTS或DTS值的关联是可能的，理论上向基层的第二帧40B给予如基层的假定帧40C所示的解码时间戳值。然而，由于关联缓冲器太小或处理能力太慢，以至于不能对具有减少的解码时间偏移的两个后续帧进行解码，仅与基层标准兼容的解码器与基层相对应的HRD模型甚至不再能够对基层进行解码。0023换言之，传统技术不可能灵活地使用较低层中先前的NAL单元帧40B的信息作为参考帧，来对较高层的信息进行解码。然而，需要这种灵活性，特别是当传输具有不同帧速率的视频时，所述不同帧速率根据SVC流的不同层具有不均匀的比值。例如，一个重要示例可以是，可伸缩视频流在增强层中的帧速率为

29、24帧/秒使用在电影产品中，在基层中的帧速率为20帧/秒。在这样的情况下，可以极大地节省比特，从而根据基层的I帧0将增强层的第一帧编码成P帧。然而，这两个层的帧明显具有不同的时间戳。使用上述段落中描述的传统技术和现有传输流机制，不可能获得为后续解码器提供正确顺序的帧序列的适当解复用和重排序。由于两个层包含对于不同帧速率的不同定时信息，用于传输可伸缩视频或彼此相关数据流的MPEG传输流标准和其他已知的比特流传输机制不能提供所需的灵活性，以允许在不同层中限定或参考相同画面的相应NAL单元或数据部分。0024存在这样的需求提供包含相互关联数据部分的不同子流的不同数据部分之间的更灵活的参考方案。发明内

30、容0025根据本发明的一些实施例，通过针对属于传输流内第一和第二数据流的数据部分导出解码或关联策略的方法，来提供这种可能性。不同的数据流包含不同的定时信息，限定该定时信息使得一个单个数据流内的相对时间是一致的。根据本发明的一些实施例，通过将关联信息包括在第二数据流中来实现不同数据流的数据部分之间的关联，第二数据流需要参考第一数据流的数据部分。根据一些实施例，关联信息参考第一数据流的数据分组的已存在数据字段之一。因此，第二数据流的数据分组可以明确地参考第一数据流内的单独分组。0026根据本发明的其他实施例，第二数据流的数据部分所参考的第一数据部分的信息是第一数据流内的数据部分的定时信息。根据其他

31、实施例，参考第一数据流的第一数据部分的其他明确信息，例如，连续分组ID编号等。0027根据本发明的其他实施例，没有将附加数据引入到第二数据流的数据部分中，同时按顺序有差别地利用已存在的数据字段，以便包括关联信息。即，例如，可以利用说明书CN102017624ACN102017636A5/10页9为第二数据流的定时信息所保留的数据字段，以包含允许明确参考不同数据流的数据部分的附加关联信息。0028一般地，本发明的一些实施例还提供产生包括第一和第二数据流的视频数据表示的可能性，其中，传输流内不同数据流的数据部分之间的灵活参考是可行的。附图说明0029以下将参考附图，对本发明的若干实施例进行描述，在

32、附图中0030图1是传输流解复用的示例；0031图2是SVC传输流解复用的示例；0032图3是SVC传输流的示例；0033图4是用于产生传输流表示的方法的实施例；0034图5是用于产生传输流表示的方法的另一实施例；0035图6A是用于导出解码策略的方法的实施例；0036图6B是用于导出解码策略的方法的另一实施例；0037图7是传输流语法的示例；0038图8是传输流语法的另一示例；0039图9是解码策略生成器的实施例；0040图10是数据分组调度器的实施例。具体实施方式0041图4示出了本发明方法的可能实现方式，该方法产生传输数据流100内的视频序列的表示。将具有第一数据部分102A至102C的

33、第一数据流102与具有第二数据部分104A和104B的第二数据流104进行组合，以便产生传输数据流100。产生关联信息，关联信息使第一数据流102的预定的第一数据部分与第二数据流的第二数据部分106相关联。在图4的示例中，通过将关联信息108嵌入第二数据部分104A中来实现关联。在图4所示的实施例中，关联信息108例如通过包括指针或复制定时信息作为关联信息，来参考第一数据部分102A的第一定时信息112。毫无疑问，其他实施例可以利用其他关联信息，例如，唯一报头ID编号、MPEG流帧编号等。0042然后，包括第一数据部分102A和第二数据部分106A的传输流可以通过按照其原始定时信息的顺序对数据

34、部分进行复用而产生。0043代替引入关联信息作为需要附加比特空间的新数据字段，可以利用诸如包含第二定时信息110的已存在数据字段来接收关联信息。0044图5简要概述了一种方法的实施例，该方法用于产生具有包括第一数据部分的第一数据流和包括包括第二数据部分的第二数据流的视频序列的表示，其中第一数据部分具有第一定时信息，第二数据部分具有第二定时信息。在关联步骤120中，关联信息与第二数据流的第二数据部分相关联，关联信息指示第一数据流的预定的第一数据部分。0045在解码器侧，如图6A所示，可以针对所产生的传输流210导出解码策略。图6A示出了，根据参考数据部分402，导出针对第二数据部分200的解码策

35、略的总体概念，第说明书CN102017624ACN102017636A6/10页10二数据部分200是传输流210的第二数据流的一部分，该传输流包括第一数据流和第二数据流，第一数据流的第一数据部分202包括第一定时信息212，并且第二数据流的第二数据部分200包括第二定时信息214以及指示第一数据流的预定第一数据部分202的关联信息216。具体地，关联信息包括第一定时信息212或第一定时信息212的参考或指针，因此允许明确地识别第一数据流内的第一数据部分202。0046使用第二定时信息214作为针对第二数据部分的处理时间解码时间或呈现时间的指示，并且使用第一数据流的被参考的第一数据部分202作

36、为参考数据部分，来导出第二数据部分200的解码策略。即，一旦在策略产生步骤220中导出解码策略，还可以通过后续解码方法230进一步对数据部分进行处理或解码在视频数据的情况下。当第二定时信息214用作处理时间T2的指示时，并且当已知具体的参考数据部分时，可以在正确时间以正确顺序向解码器提供数据部分。即，首先将与第一数据部分202相对应的数据内容提供至解码器，接着将与第二数据部分200相对应的数据内容提供至解码器。第二数据部分200的第二定时信息214给出了将两项数据内容提供至解码器232的时刻。0047一旦导出解码策略，可以在第二数据部分之前对第一数据部分进行处理。在一个实施例中的处理可以意味着

37、，在第二数据部分之前访问第一数据部分。在另一实施例中，访问可以包括提取用于在后续解码器中对第二数据部分进行解码所需的信息。例如，这可以是与视频流相关联的辅助信息。0048在以下段落中，通过将数据部分的灵活参考的本发明概念应用至MPEG传输流标准ITUTRECH2200|ISO/IEC1381812007EPDAM32SVC扩展，ANTALYA，TURKEY，2008年1月3ITUTRECH264200X第四版SVC|ISO/IEC1449610200X第四版SVC，来描述具体实施例。0049如上所述，本发明的实施例可以包含或添加用于识别具有较低DID值的子流数据流例如，包括两个数据流的传输流的

38、第一数据流中的时间戳的附加信息。当存在两个以上的数据流时，具有较高DID值第二数据流或具有最高DID的子流给出重排序的访问单元AJ的时间戳。当具有系统层最高DID的子流的时间戳可用于解码和/或输出定时，通过指示具有其他DID值例如，下一较低值的子流中相应的依赖性表示的附加定时信息TREF来实现重排序。在图7中示出了该过程。在一些实施例中，附加信息可以在附加数据字段中例如SVC依赖性表示定界符中携带，或者例如作为PES报头中的扩展。可选地，当另外通知应当可选地使用相应的数据字段的内容时，附加信息可以在现有定时信息字段中携带例如，PES报头字段。在专为图6B中所示的MPEG2传输流设计的实施例中，

39、可以如以下所述执行重排序。图6B示出了多种结构，其功能由以下缩写来描述0050ANJ在TDNJN对子比特流N的第J个访问单元进行解码，其中N0指示基层0051DIDN子比特流N中的NAL单元报头语法元素DEPENDENCY_ID0052DPBN子比特流的解码画面缓冲器0053DRNJN子比特流N中第JN个依赖性表示0054DRBN子比特流N中依赖性表示0055EBN子比特流N的基本流缓冲器说明书CN102017624ACN102017636A7/10页110056MBN子比特流N的复用缓冲器0057PIDN传输流中子比特流N的节目ID0058TBN子比特流N的传输缓冲器0059TDNJN子比特

40、流N中第JN个依赖性表示的解码时间戳0060TDNJN可以不同于相同访问单元ANJ中的至少一个TDMJM0061TPNJN子比特流N中第JN个依赖性表示的呈现时间戳0062TPNJN可以不同于相同访问单元ANJ中的至少一个TPMJM0063TREFNJN子比特流N中第JN个依赖性表示的较低子比特流的时间0064戳参考直接参考，其中，除了TPNJN以外，TREFTREFN0065JN也被携带在PES分组中，例如，被携带在SVC依赖0066性表示定界符NAL中0067如下对接收到的传输流300进行处理。0068按照子流N中DRNJN的接收顺序JN，所有依赖性表示DRZJZ以最高值开始，ZN。即，如

41、单独的PID编号所示，解复用器4对子流进行解复用。将接收到的数据部分的内容存储在不同子比特流的单独的缓冲链的DRB中。以Z的顺序提取DRB中的数据，根据以下规则来创建子流N的第JN个访问单元ANJN0069以下，假设子比特流Y比子比特流X具有更高的DID。即，子比特流Y中的信息取决于子比特流X中的信息。对每两个相应的DRXJX和DRYJY，TREFYJY必须等于TDXJX。向MPEG2传输流标准应用该示教，例如，这可以通过如下来实现0070通过在PES报头扩展中添加字段来指示关联信息TREF，未来的可伸缩/多视图MULTIVIEW编码标准也可以使用该关联信息。对于要估计的相应字段，可以将PES

42、_EXTENSION_FLAG和PES_EXTENSION_FLAG_2设置为一，并且STREAM_ID_EXTENSION_FLAG可以设置为0。通过使用PES扩展部分的保留比特来发信号通知关联信息T_REF。0071可以进一步决定对附加PES扩展类型进行限定，还可以提供未来的扩展。0072根据另一实施例，可以将关联信息的附加数据字段添加至SVC依赖性表示定界符。然后，可以引入信令比特来指示SVC依赖性表示内新字段的存在。例如，可以将这样的附加比特引入SVC描述符或分级描述符中。0073根据一个实施例，可以通过使用如下现有标记或通过引入以下附加标记，来实现PES分组报头的扩展0074TIME

43、STAMPREFERENCE_FLAG这是1比特的标记，当设置为10075时，指示存在。0076PTS_DTS_REFERENCE_FLAG这是1比特标记。0077PTR_DTR_FLAGS这是2比特字段。当将PTR_DTR_FLAGS字段设置为10时，下面的PTR字段包含另一SVC视频子比特流或AVC基层中的PTS字段的参考，该AVC基层具有出现在SVC视频子比特流中的NAL单元报头语法元素DEPENDENCY_ID的次较低值，该SVC视频子比特流在PES报头中包含该扩展。当将PTR_DTR_FLAGS字段设置为01时，下面的DTR字段包含另一SVC视频子比特流或AVC基层中的DTS字段的参

44、考，该AVC基层具有出现在SVC视频子比特流中的NAL单元报头语法元素DEPENDENCY_ID的次较低值，该SVC视频子比特流在PES报头中包含该扩展。当将PTR_DTR_FLAGS说明书CN102017624ACN102017636A8/10页12字段设置为00时，没有PTS或DTS参考出现在PES分组报头中。值11是禁止的。0078PTR呈现时间参考这是在三个分离字段中编码的33比特数字。这是另一SVC视频子比特流或AVC基层中的DTS字段的参考，该AVC基层具有出现在SVC视频子比特流中的NAL单元报头语法元素DEPENDENCY_ID的次较低值，该SVC视频子比特流在PES报头中包含

45、该扩展。0079DTR呈现时间参考这是在三个分离字段中编码的33比特数字。这是另一SVC视频子比特流或AVC基层中的DTS字段的参考，该AVC基本层具有出现在SVC视频子比特流中的NAL单元报头语法元素DEPENDENCY_ID的次较低值，该SVC视频子比特流在PES报头中包含该扩展。0080图7中给出了利用现有和其他附加数据标记的相应语法的示例。0081在图8中给出了当实现前述第二选项时可以使用的语法的示例。为了实现附加关联信息，可以向以下语法元素分配以下数字或值0082SVD依赖性表示定界符NAL单元的语义0083FORBIDDEN_ZEROBIT应当等于0X000084NAL_REF_I

46、DC应当等于0X000085NAL_UNIT_TYPE应当等于0X180086T_REF320应当等于如PES报头中所示的依赖性表示的解码时间戳DTS，依赖性表示具有SVC视频子比特流或AVC基层中相同访问单元的NAL单元报头语法元素DEPENDENCY_ID的次较低值。其中，相对于参考依赖性表示的DTS，将T_REF设置如下DTS140等于T_REF140，DTS2915等于T_REF2915，以及DTS3230等于T_REF3230。0087MAKER_BIT是1比特字段并应当等于“1”。0088本发明的其他实施例可以实现为专用硬件或在硬件电路中实现。0089例如，图9示出了根据参考数据部

47、分的第二数据部分的解码策略生成器，第二数据部分是包括第一和第二数据流的传输流的第二数据流的一部分，其中，第一数据流的第一数据部分包括第一定时信息，而且第二数据流的第二数据部分包括第二定时信息以及指示第一数据流的预定第一数据部分的关联信息。0090解码策略生成器400包括参考信息生成器402以及策略生成器404。参考信息生成器402适于使用第一数据流的被参考的预定第一数据部分来导出第二数据部分的参考数据部分。策略生成器404适于使用作为第二数据部分的处理时间的指示的第二定时信息、以及由参考信息生成器402导出的参考数据部分，来导出第二数据部分的解码策略。0091根据本发明的另一实施例，视频解码器

48、包括如图9所示的解码策略生成器，以便为包含在与不同等级的可伸缩视频编解码器相关联的不同数据流的数据分组内的视频数据部分创建解码顺序策略。0092因此，本发明的实施例允许创建高效编码的视频流，该视频流包括与已编码的视频流的不同质量有关的信息。由于灵活参考，因为可以避免单个层内信息的重复发送，所以能够保持高比特率。说明书CN102017624ACN102017636A9/10页130093不同数据流的不同数据部分之间的灵活参考的应用不仅可以用在视频编码的情况下。通常，其还可以应用于不同数据流的各种数据分组。0094图10示出了数据分组调度器500的实施例，包括处理顺序生成器502、可选接收机504

49、和可选重排序器506。该接收机适于接收包括具有第一和第二数据部分的第一数据流和第二数据流的传输流，其中，第一数据部分包括第一定时信息，并且第二数据部分包括第二定时信息和关联信息。0095处理顺序生成器502适于产生具有处理顺序的处理调度，从而在第一数据流的被参考的第一数据部分之后处理第二数据部分。重排序器506适于在第一数据部分450之后输出第二数据部分452。0096如图10中所示，第一和第二数据流没有必要包含在一个复用的传输数据流中，如选项A所示。相反，还可能如图10的选项B所示，传送第一和第二数据流作为分离的数据流。0097通过在前述段落中引入的灵活参考，可以增强多个传送和数据流的情况。以下段落给出其他应用情况。0098具有可伸缩、或多视图、或多描述、或任何其他属性，并且允许将媒体分成逻辑子集的媒体流，通过不同信道传输或存储在不同存储容器内。分离媒体流还可能需要分离单独的媒体帧或访问单元，从总体上说，这些单独的媒体帧或访问单元是解码成子部分所需的。为了在通过不同信道传送或存储在不同存储容器中之后恢复帧或访问单元的解码顺序，需要用于解码顺序恢复的处理，这是因为依赖于不同信道中的传送顺序或不同存储容器中的存储顺序可能不允许恢复完整媒体流或完整媒体流的任何独立可用子集的解码顺序。从访问单元的具体子部分，将完整媒体流的子集