在MPEG2系统中组合多视角视频译码子位流.pdf

1、(10)申请公布号 CN 102804773 A (43)申请公布日 2012.11.28 CN 102804773 A *CN102804773A* (21)申请号 201080029011.2 (22)申请日 2010.06.28 61/221,449 2009.06.29 US 12/709,323 2010.02.19 US H04N 7/26(2006.01) H04N 7/50(2006.01) H04N 21/2343(2011.01) H04N 21/2362(2011.01) H04N 21/434(2011.01) H04N 21/845(2011.01) (71)申请人

2、高通股份有限公司 地址 美国加利福尼亚州 (72)发明人 陈英 马尔塔卡切维奇 陈培松 (74)专利代理机构 北京律盟知识产权代理有限 责任公司 11287 代理人 宋献涛 (54) 发明名称 在 MPEG-2 系统中组合多视角视频译码子位 流 (57) 摘要 一种多路分用器可组合子位流的视角分量。 在一个实例中， 一种设备包含多路分用器， 所述多 路分用器从包含主要子位流和嵌入子位流的所接 收位流中产生符合多视角视频译码 MVC 标准的位 流。 为产生所述符合MVC标准的位流， 所述多路分 用器确定所述主要子位流的视角分量是否具有比 所述嵌入子位流的视角分量的视角次序索引大的 视角次序索引，

3、 并将来自视角次序索引较低的子 位流的视角分量添加到所述所产生的位流。所述 所接收的位流可在每一视角分量之间包含定界符 网络抽象层 NAL 单元以区别所述视角分量。所述 设备可进一步包含视频解码器以解码由所述多路 分用器产生的所述位流。 (30)优先权数据 (85)PCT申请进入国家阶段日 2011.12.27 (86)PCT申请的申请数据 PCT/US2010/040230 2010.06.28 (87)PCT申请的公布数据 WO2011/002723 EN 2011.01.06 (51)Int.Cl. 权利要求书 4 页 说明书 26 页 附图 8 页 (19)中华人民共和国国家知识产权局

4、 (12)发明专利申请 权利要求书 4 页 说明书 26 页 附图 8 页 1/4 页 2 1. 一种产生视频位流的方法， 其包含 ： 通过客户端装置从包含主要子位流和所述主要子位流的嵌入子位流的所接收的位流 中产生符合多视角视频译码 MVC 标准的位流， 其中产生所述符合 MVC 标准的位流包含 ： 确定所述主要子位流的视角分量是否具有大于所述嵌入子位流的视角分量的视角次 序索引的视角次序索引 ； 当所述主要子位流的所述视角分量的所述视角次序索引大于所述嵌入子位流的所述 视角分量的所述视角次序索引时， 将所述嵌入子位流的所述视角分量添加到所述所产生的 位流 ； 及 当所述主要子位流的所述视角

5、分量的所述视角次序索引不大于所述嵌入子位流的所 述视角分量的所述视角次序索引时， 将所述主要子位流的所述视角分量添加到所述所产生 的位流 ； 以及 将所述所产生的位流输出到视频解码器。 2. 根据权利要求 1 所述的方法， 其进一步包含 ： 确定所述主要子位流不具有剩余视角分量 ； 以及 将所述嵌入子位流的所有剩余视角分量添加到所述所产生的子位流。 3. 根据权利要求 1 所述的方法， 其进一步包含 ： 确定所述嵌入子位流不具有剩余视角分量 ； 以及 将所述主要子位流的所有剩余视角分量添加到所述所产生的子位流。 4. 根据权利要求 1 所述的方法， 其中将所述嵌入子位流的所述视角分量添加到所述

6、所 产生的位流包含 ： 从所述嵌入子位流检索网络抽象层 NAL 单元直到在所述嵌入子位流中到达定界符 NAL 单元为止 ； 以及 将所述所检索的NAL单元中除所述定界符NAL单元外的每一单元添加到所述所产生的 位流。 5. 根据权利要求 1 所述的方法， 其中将所述主要子位流的所述视角分量添加到所述所 产生的位流包含 ： 从所述主要子位流检索网络抽象层 NAL 单元直到在所述主要子位流中到达定界符 NAL 单元为止 ； 以及 将所述所检索的NAL单元中除所述定界符NAL单元外的每一单元添加到所述所产生的 位流。 6. 根据权利要求 1 所述的方法， 其进一步包含 ： 根据所述视角分量的所述视角

7、次序索引产生包含所述所接收的位流的所述视角分量 的有序表示的分级结构层索引列表 ； 且 其中将所述所产生的位流输出到所述视频解码器包含将所述分级结构层索引输出到 所述视频解码器。 7. 根据权利要求 1 所述的方法， 其中产生所述符合 MVC 标准的位流包含在不将包括于 所述主要子位流中的视角的视角识别符与包括于所述嵌入子位流中的视角的视角识别符 进行比较的情况下产生所述符合 MVC 标准的位流。 8. 一种用于产生视频位流的设备， 其包含 ： 权 利 要 求 书 CN 102804773 A 2 2/4 页 3 输入接口， 其接收包含主要子位流和所述主要子位流的嵌入子位流的位流 ； 多路分用

8、器， 其从所述所接收的位流中产生符合多视角视频译码 MVC 标准的位流， 其 中为产生所述符合 MVC 标准的位流， 所述多路分用器确定所述主要子位流的视角分量是否 具有大于所述嵌入子位流的视角分量的视角次序索引的视角次序索引， 当所述主要子位流 的所述视角分量的所述视角次序索引大于所述嵌入子位流的所述视角分量的所述视角次 序索引时， 将所述嵌入子位流的所述视角分量添加到所述所产生的位流， 且当所述主要子 位流的所述视角分量的所述视角次序索引不大于所述嵌入子位流的所述视角分量的所述 视角次序索引时， 将所述主要子位流的所述视角分量添加到所述所产生的位流 ； 以及 视频解码器， 其解码由所述多路

9、分用器产生的所述位流。 9. 根据权利要求 8 所述的设备， 其中所述多路分用器在确定所述主要子位流不具有剩 余视角分量后即刻将所述嵌入子位流的所有剩余视角分量添加到所述所产生的子位流。 10. 根据权利要求 8 所述的设备， 其中所述多路分用器在确定所述嵌入子位流不具有 剩余视角分量后即刻将所述主要子位流的所有剩余视角分量添加到所述所产生的子位流。 11. 根据权利要求 8 所述的设备， 其中为将所述嵌入子位流的所述视角分量添加到所 述所产生的位流， 所述多路分用器从所述嵌入子位流检索网络抽象层 NAL 单元直到在所述 嵌入子位流中到达定界符 NAL 单元为止， 且接着将所述所检索的 NAL

10、 单元中除所述定界符 NAL 单元外的每一单元添加到所述所产生的位流。 12. 根据权利要求 8 所述的设备， 其中为将所述主要子位流的所述视角分量添加到所 述所产生的位流， 所述多路分用器从所述主要子位流检索网络抽象层 NAL 单元直到在所述 主要子位流中到达定界符 NAL 单元为止， 且将所述所检索的 NAL 单元中除所述定界符 NAL 单元外的每一单元添加到所述所产生的位流。 13. 根据权利要求 8 所述的设备， 其中所述多路分用器进一步根据所述视角分量的所 述视角次序索引产生包含所述所接收的位流的所述视角分量的有序表示的分级结构层索 引列表， 且将所述分级结构层索引作为所述所产生的位

11、流的一部分输出到所述视频解码 器。 14. 根据权利要求 8 所述的设备， 其中所述多路分用器在不将包括于所述主要子位流 中的视角的视角识别符与包括于所述嵌入子位流中的视角的视角识别符进行比较的情况 下产生所述符合 MVC 标准的位流。 15. 根据权利要求 8 所述的设备， 其中所述设备包含以下各物中的至少一者 ： 集成电 路 ； 微处理器， 以及 包括所述视频编码器的无线通信装置。 16. 一种用于产生视频位流的设备， 其包含 ： 用于从包含主要子位流和所述主要子位流的嵌入子位流的所接收位流产生符合多视 角视频译码 MVC 标准的位流的装置， 其包含 ： 用于确定所述主要子位流的视角分量是

12、否具有大于所述嵌入子位流的视角分量的视 角次序索引的视角次序索引的装置， 用于当所述主要子位流的所述视角分量的所述视角次序索引大于所述嵌入子位流的 所述视角分量的所述视角次序索引时将所述嵌入子位流的所述视角分量添加到所述所产 权 利 要 求 书 CN 102804773 A 3 3/4 页 4 生的位流的装置， 以及 用于当所述主要子位流的所述视角分量的所述视角次序索引不大于所述嵌入子位流 的所述视角分量的所述视角次序索引时将所述主要子位流的所述视角分量添加到所述所 产生的位流的装置 ； 以及 用于将所述所产生的位流输出到视频解码器的装置。 17. 根据权利要求 16 所述的设备， 其进一步包

13、含 ： 用于确定所述主要子位流不具有剩余视角分量的装置 ； 以及 用于将所述嵌入子位流的所有剩余视角分量添加到所述所产生的子位流的装置。 18. 根据权利要求 16 所述的设备， 其进一步包含 ： 用于确定所述嵌入子位流不具有剩余视角分量的装置 ； 以及 用于将所述主要子位流的所有剩余视角分量添加到所述所产生的子位流的装置。 19. 根据权利要求 16 所述的设备， 其中所述用于将所述嵌入子位流的所述视角分量添 加到所述所产生的位流的装置包含 ： 用于从所述嵌入子位流检索网络抽象层 NAL 单元直到在所述嵌入子位流中到达定界 符 NAL 单元为止的装置 ； 以及 用于将所述所检索的NAL单元中

14、除所述定界符NAL单元外的每一单元添加到所述所产 生的位流的装置。 20. 根据权利要求 16 所述的设备， 其中所述用于将所述主要子位流的所述视角分量添 加到所述所产生的位流的装置包含 ： 用于从所述主要子位流检索网络抽象层 NAL 单元直到在所述主要子位流中到达定界 符 NAL 单元为止的装置 ； 以及 用于将所述所检索的NAL单元中除所述定界符NAL单元外的每一单元添加到所述所产 生的位流的装置。 21. 根据权利要求 16 所述的设备， 其进一步包含 ： 用于根据所述视角分量的所述视角次序索引产生包含所述所接收的位流的所述视角 分量的有序表示的分级结构层索引列表的装置 ； 且 其中所述

15、用于将所述所产生的位流输出到所述视频解码器的装置包含用于将所述分 级结构层索引输出到所述视频解码器的装置。 22. 根据权利要求 16 所述的设备， 其中所述用于产生所述符合 MVC 标准的位流的装置 包含用于在不将包括于所述主要子位流中的视角的视角识别符与包括于所述嵌入子位流 中的视角的视角识别符进行比较的情况下产生所述符合 MVC 标准位流的装置。 23. 一种编码有指令的计算机可读存储媒体， 所述指令用于致使客户端装置的处理器 执行以下动作 ： 从包含主要子位流和所述主要子位流的嵌入子位流的所接收的位流中产生符合多视 角视频译码 MVC 标准的位流， 其中所述用以产生所述符合 MVC 标

16、准的位流的指令包含用以 执行以下动作的指令 ： 确定所述主要子位流的视角分量是否具有大于所述嵌入子位流的视角分量的视角次 序索引的视角次序索引 ； 当所述主要子位流的所述视角分量的所述视角次序索引大于所述嵌入子位流的所述 权 利 要 求 书 CN 102804773 A 4 4/4 页 5 视角分量的所述视角次序索引时， 将所述嵌入子位流的所述视角分量添加到所述所产生的 位流 ； 以及 当所述主要子位流的所述视角分量的所述视角次序索引不大于所述嵌入子位流的所 述视角分量的所述视角次序索引时， 将所述主要子位流的所述视角分量添加到所述所产生 的位流 ； 以及 将所述所产生的位流从所述客户端装置输

17、出到视频解码器。 24. 根据权利要求 23 所述的计算机可读存储媒体， 其进一步包含用以执行以下动作的 指令 ： 确定所述主要子位流不具有剩余视角分量 ； 以及 将所述嵌入子位流的所有剩余视角分量添加到所述所产生的子位流。 25. 根据权利要求 23 所述的计算机可读存储媒体， 其进一步包含用以执行以下动作的 指令 ： 确定所述嵌入子位流不具有剩余视角分量 ； 以及 将所述主要子位流的所有剩余视角分量添加到所述所产生的子位流。 26. 根据权利要求 23 所述的计算机可读存储媒体， 其中所述用以将所述嵌入子位流的 所述视角分量添加到所述所产生的位流的指令包含用以执行以下动作的指令 ： 从所述

18、嵌入子位流检索网络抽象层 NAL 单元直到在所述嵌入子位流中到达定界符 NAL 单元为止 ； 以及 将所述所检索的NAL单元中除所述定界符NAL单元外的每一单元添加到所述所产生的 位流。 27. 根据权利要求 23 所述的计算机可读存储媒体， 其中所述用以将所述主要子位流的 所述视角分量添加到在所述所产生的位流的指令包含用以执行以下动作的指令 ： 从所述主要子位流检索网络抽象层NAL单元直到所述主要子位流中到达定界符NAL单 元为止 ； 以及 将所述所检索的NAL单元中除所述定界符NAL单元外的每一单元添加到所述所产生的 位流。 28. 根据权利要求 23 所述的计算机可读存储媒体， 其进一步

19、包含用以执行以下动作的 指令 ： 根据所述视角分量的所述视角次序索引产生包含所述所接收的位流的所述视角分量 的有序表示的分级结构层索引列表， 其中所述用以将所述所产生的位流输出到所述视频解码器的指令包含用以将所述分 级结构层索引输出到所述视频解码器的指令。 29. 根据权利要求 23 所述的计算机可读存储媒体， 其中所述用以产生所述符合 MVC 标 准的位流的指令包含用以在不将包括于所述主要子位流中的视角的视角识别符与包括于 所述嵌入子位流中的视角的视角识别符进行比较的情况下产生所述符合 MVC 标准的位流 的指令。 权 利 要 求 书 CN 102804773 A 5 1/26 页 6 在

20、MPEG-2 系统中组合多视角视频译码子位流 0001 相关申请案 0002 本申请案主张 2009 年 6 月 29 日申请的第 61/221,449 号美国临时申请案和 2009 年 6 月 12 日申请的第 61/186,613 号美国临时申请案的权益， 所述两个临时申请案的全部 内容的相应全文在此以引用的方式明确地并入本文中。 0003 相关申请案的交叉参考 0004 本专利申请案与以下共同待决美国专利申请案相关 ： 由 Ying Chen 与本案同 时申请的 “MPEG-2 系统上的多视角视频译码 (MULTIVIEW VIDEO CODING OVER MPEG-2 SYSTEMS

21、)” ， 所述专利申请案代理人案号为 092514， 转让给本受让人， 且以引用的方式明确 地并入本文中。 技术领域 0005 本发明涉及经编码的视频数据的传送。 背景技术 0006 数字视频能力可并入到广泛装置中， 包括数字电视、 数字直播系统、 无线广播系 统、 个人数字助理 (PDA)、 膝上型或台式计算机、 数码相机、 数字记录装置、 数字媒体播放器、 视频游戏装置、 视频游戏控制台、 蜂窝式或卫星无线电电话、 视频电传会议装置等。数字视 频装置实施视频压缩技术， 例如由MPEG-2、 MPEG-4、 ITU-T H.263或ITU-T H.264/MPEG-4第 10 部分先进视频译

22、码 (AVC) 所定义的标准和此类标准的扩展版中描述的技术， 以更有效地 发射和接收数字视频信息。 0007 视频压缩技术执行空间预测和 / 或时间预测以减少或移除视频序列中固有的冗 余。对于基于块的视频译码， 可将视频帧或片段分割成宏块。每一宏块可经进一步分割。 帧内译码 (I) 帧或片段中的宏块使用相对于相邻宏块的空间预测来编码。帧间译码 (P 或 B) 帧或片段中的宏块可使用相对于同一帧或片段中的相邻宏块的空间预测或相对于其它 参考帧的时间预测。 0008 在已编码视频数据后， 视频数据可由多路复用器来包化以供发射或存储。MPEG-2 包括 “系统” 部分， 其定义用于许多视频编码标准的

23、传送层。MPEG-2 传送层系统可由 MPEG-2 视频编码器或其它符合不同视频编码标准的视频编码器使用。举例来说， MPEG-4 指定不同 于 MPEG-2 的编码和解码方法的编码和解码方法， 但实施 MPEG-4 标准的技术的视频编码器 仍可利用 MPEG-2 传送层方法。一般来说， 对 “MPEG-2 系统” 的提及指代由 MPEG-2 所指定的 视频数据的传送层。由 MPEG-2 所指定的传送层在本发明中也称为 “MPEG-2 传送流” 或简称 为 “传送流” 。同样， MPEG-2 系统的传送层还包括节目流。传送流和节目流通常包括用于传 递类似数据的不同格式， 其中传送流包含包括音频

24、数据与视频数据两者的一个或一个以上 “节目” ， 而节目流包括包含音频数据与视频数据两者的一个节目。 0009 MPEG-2 系统规范描述可如何将经压缩的多媒体 ( 视频和音频 ) 数据流与其它 数据一起多路复用以形成适合于数字发射或存储的单一数据流。在 2006 年 5 月的 “信 说 明 书 CN 102804773 A 6 2/26 页 7 息技术 - 动画和相关联音频的一般译码 ： 系统， 推荐 H.222.0 ； 国际标准化组织， ISO/IEC JTC1/SC29/WG11 ； 动画和相关联音频的译码 (Information Technology-Generic Coding o

25、f Moving Pictures and Associated Audio ： Systems， Recommendation H.222.0 ； International Organisation for Standardisation， ISO/IEC JTC1/SC29/WG11 ； Coding of Moving Pictures and Associated Audio)” 中指定 MPEG-2 系统的最新规范。MPEG 最 近针对 MPEG-2 系统设计了 MVC 的传送标准， 且此规范的最新版本为 “ISO/IEC 13818-1 的 研究 ： MVC 的 2007/FPD

26、AM4 传送 (Study of ISO/IEC 13818-1 ： 2007/FPDAM4 Transport of MVC)” ， MPEG doc.N10572， MPEG of ISO/IEC JTC1/SC29/WG11， 美国夏威夷毛伊岛 (Maui， Hawaii， USA)， 2009 年 4 月。 发明内容 0010 大体上， 本发明描述用于改进 MPEG-2( 动画专家组 ) 系统中多视角视频译码的技 术。本发明的技术大体来说相对于多视角视频译码 (MVC) 而扩展 MPEG-2 传送层 ( 例如， MPEG-2 传送流和 MPEG-2 节目流 ) 的能力。举例来说， 本发

27、明的技术使得 MVC 视频流的不连 续视角的发射能够在传送层处发射。本发明的技术进一步使得传送流 ( 或节目 ) 的子位流 各自能够包括不连续视角。所述技术还使得接收装置在接收到包含多个子位流 ( 每一子位 流具有不连续视角 ) 的传送层流后能够即刻重新布置子位流中的视角， 使得传送流经适当 地定序 ( 即， 根据视角次序索引按递增次序 )， 以使得解码器可适当地解码所述视角中的每 一者的帧。 0011 在一个实例中， 一种方法包括通过源装置建构数据结构， 所述数据结构用于信令 相应MPEG-2(动画专家组)系统标准位流包含场景的与第一视角次序索引相关联的第一视 角和所述场景的与第二视角次序索

28、引相关联的第二视角， 其中所述第一视角次序索引和所 述第二视角次序索引为不连续的。 所述方法还包括输出所述数据结构， 例如， 将所述数据结 构发射到目的地装置或将所述数据结构存储到计算机可读媒体。 0012 在另一实例中， 一种设备包括 ： 视频编码器， 其编码场景的多个视角 ； 多路复用 器， 其建构数据结构， 所述数据结构用于信令相应MPEG-2(动画专家组)系统标准位流包含 所述场景的所述多个视角中的与第一视角次序索引相关联的第一视角和所述场景的所述 多个视角中的与第二视角次序索引相关联的第二视角， 其中所述第一视角次序索引和所述 第二视角次序索引为不连续的 ； 以及输出接口， 其输出所

29、述数据结构。 0013 在另一实例中， 一种设备包括 ： 用于通过源装置建构数据结构的装置， 所述数据结 构用于信令相应MPEG-2(动画专家组)系统标准位流包含场景的与第一视角次序索引相关 联的第一视角和所述场景的与第二视角次序索引相关联的第二视角， 其中所述第一视角次 序索引和所述第二视角次序索引为不连续的 ； 以及用于输出所述数据结构的装置。 0014 在另一实例中， 一种计算机可读存储媒体以多个指令进行编码， 所述指令致使处 理器建构数据结构并输出所述数据结构， 所述数据结构用于信令相应 MPEG-2( 动画专家 组 ) 系统标准位流包含场景的与第一视角次序索引相关联的第一视角和所述场

30、景的与第 二视角次序索引相关联的第二视角， 其中所述第一视角次序索引和所述第二视角次序索引 为不连续的。 0015 在又一实例中， 一种方法包括通过客户端装置从包含主要子位流和所述主要子位 说 明 书 CN 102804773 A 7 3/26 页 8 流的嵌入子位流的所接收位流产生符合多视角视频译码 (MVC) 标准的位流， 其中产生所述 符合 MVC 标准的位流包括确定所述主要子位流的视角分量是否具有大于嵌入子位流的视 角分量的视角次序索引的视角次序索引， 当主要子位流的视角分量的视角次序索引大于嵌 入子位流的视角分量的视角次序索引时， 将嵌入子位流的视角分量添加到所产生的位流， 且当主要

31、子位流的视角分量的视角次序索引不大于嵌入子位流的视角分量的视角次序索 引时， 将主要子位流的视角分量添加到所产生的位流。所述方法进一步包括将所产生的位 流输出到视频解码器。 0016 在另一实例中， 一种设备包括 ： 输入接口， 其接收包含主要子位流和所述主要子位 流的嵌入子位流的位流 ； 多路分用器， 其从所接收的位流产生符合多视角视频译码 (MVC) 标准的位流， 其中为了产生所述符合 MVC 标准的位流， 所述多路分用器确定所述主要子位 流的视角分量是否具有大于嵌入子位流的视角分量的视角次序索引的视角次序索引， 当主 要子位流的视角分量的视角次序索引大于嵌入子位流的视角分量的视角次序索引

32、时将嵌 入子位流的视角分量添加到所产生的位流， 且当主要子位流的视角分量的视角次序索引不 大于嵌入子位流的视角分量的视角次序索引时将主要子位流的视角分量添加到所产生的 位流 ； 以及视频解码器， 其解码由多路分用器产生的位流。 0017 在另一实例中， 一种设备包括 ： 用于从包含主要子位流和所述主要子位流的嵌入 子位流的所接收位流产生符合多视角视频译码 (MVC) 标准的位流的装置 ； 用于确定所述主 要子位流的视角分量是否具有大于嵌入子位流的视角分量的视角次序索引的视角次序索 引的装置 ； 用于当主要子位流的视角分量的视角次序索引大于嵌入子位流的视角分量的视 角次序索引时将嵌入子位流的视角

33、分量添加到所产生的位流的装置 ； 以及用于当主要子位 流的视角分量的视角次序索引不大于嵌入子位流的视角分量的视角次序索引时将主要子 位流的视角分量添加到所产生的位流的装置 ； 以及用于将所产生的位流输出到视频解码器 的装置。 0018 在另一实例中， 一种计算机可读存储媒体以指令进行编码， 所述指令用于致使客 户端装置的可编程处理器从包含主要子位流和所述主要子位流的嵌入子位流的所接收位 流产生符合多视角视频译码 (MVC) 标准的位流并将所产生的位流输出到视频解码器， 包含 用以确定所述主要子位流的视角分量是否具有大于嵌入子位流的视角分量的视角次序索 引的视角次序索引的指令， 当主要子位流的视

34、角分量的视角次序索引大于嵌入子位流的视 角分量的视角次序索引时， 将嵌入子位流的视角分量添加到所产生的位流， 且当主要子位 流的视角分量的视角次序索引不大于嵌入子位流的视角分量的视角次序索引时， 将主要子 位流的视角分量添加到所产生的位流。 0019 附图和下文描述中阐述一个或一个以上实例的细节。其它特征、 目标和优点将从 描述内容和图式以及从权利要求书而显而易见。 附图说明 0020 图 1 为说明其中音频 / 视频 (A/V) 源装置将音频和视频数据传送到 A/V 目的地装 置的实例系统的框图。 0021 图 2 为说明多路复用器的组件的实例布置的框图。 0022 图 3 为说明节目特定信

35、息表的实例集合的框图。 说 明 书 CN 102804773 A 8 4/26 页 9 0023 图 4 为说明可包括于多视角视频译码 (MVC) 扩展描述符中的实例数据集的框图。 0024 图 5 为说明可包括于分级结构描述符中的实例数据集的框图。 0025 图 6 为说明实例 MVC 预测图案的概念图。 0026 图 7 为说明用于从服务器将具有拥有不连续视角次序索引的视角的子集的 MPEG-2 系统流发送到客户端的实例方法的流程图。 0027 图 8 为说明用于组合两个或两个以上子位流的视角分量以产生位流使得所述视 角分量具有递增视角次序索引的实例方法的流程图。 具体实施方式 0028

36、本发明的技术大体来说针对增强 MPEG-2( 动画专家组 ) 系统 ( 即， 就传送层细节 来说符合 MPEG-2 的系统 ) 中的多视角视频译码 (MVC)。举例来说， MPEG-4 提供用于视频编 码的标准， 但通常假定遵从 MPEG-4 标准的视频编码器将利用 MPEG-2 传送层系统。因此， 本 发明的技术适用于符合 MPEG-2、 MPEG-4、 ITU-T H.263、 ITU-T H.264/MPEG-4 或利用 MPEG-2 传送流和 / 或节目流的任何其它视频编码标准的视频编码器。 0029 特定来说， 本发明的技术可用以修改用于 MPEG-2 传送流和节目流的传送层处的 语

37、法元素。举例来说， 本发明的技术包括在传送流中发射以特定地识别在传送流中发送的 多视角视频数据的每一视角的描述符。 举例来说， 服务器装置可提供各种服务， 所述服务中 的每一者包含多视角视频译码视频数据的特定视角的相应子集， 其中可基于由客户端装置 执行的应用程序、 由客户端装置执行的解码器的能力、 由客户端装置表达的偏好或其它选 择标准来选择服务的视角子集。 0030 根据本发明的技术， 服务器装置可提供具有不连续视角次序索引的视角的子集。 在一个实例中， 服务器装置在可包括于节目映射表 (PMT) 或节目流映射 (PSM) 中的 MVC 扩 展描述符中特定地信令将包括于传送流中的所述视角中

38、的每一者。 0031 在一些实例中， 服务器装置可在单一传送流或节目流中发送多个子位流。通过使 得位流的视角能够为不连续的， 本发明的技术还使对应于每一子位流的视角的视角次序索 引能够为不连续的。虽然这些技术使得每一子位流中的视角次序索引能够为不连续的， 但是仍需要视角次序索引在子位流中递增， 以便符合现有位流标准 ( 例如， MPEG-2 系统标 准 )。然而， 因为第一子位流和第二子位流的视角可各自为不连续的， 所以所述视角相对于 视角次序索引来说可能无序地到达客户端装置。 本发明的技术还使得客户端装置能够处理 此种传送流以有效地重新定序第一子位流和第二子位流的视角， 使得所述视角的视角次

39、序 索引递增。具有不连续视角次序索引的视角组合可用于实现视角可调能力， 其对于带宽调 适、 解码器效率可能有用并提供其它此类优点。 举例来说， 与将需要将所有视角发送到客户 端装置且客户端装置解码具有连续视角次序索引的每一视角的常规技术相比， 本发明的技 术使得能够仅发送客户端装置特别需要的那些视角， 即使在此导致具有不连续视角次序索 引的视角时也如此。 以此方式， 客户端装置可仅接收特定服务所需的那些视角， 而非具有介 入视角次序索引的所有视角。 0032 虽然在各个部分中本发明可个别地提及 “传送流” 或 “节目流” ， 但应理解， 本发明 的技术大体来说适用于 MPEG-2 传送流和节目

40、流中的任一者或两者。大体上， 本发明描述用 于执行本发明的技术的实例描述符。描述符用以扩展流的功能性。本发明的描述符可由传 说 明 书 CN 102804773 A 9 5/26 页 10 送流与节目流两者使用以实施本发明的技术。 0033 本发明还使用以下术语， 且提议将这些术语连同如所指示的术语的语义一起包括 于当前 MPEG-2 系统标准的修订版中 ： 0034 AVC 视频子位流 ： MVC 位流的基本视角。 0035 MVC 的 AVC 视频子位流 ： 舍弃前置 NAL 单元的 MVC 位流的基本视角。 0036 MVC 基本视角子位流 ： MVC 的 AVC 视频子流或 AVC 视

41、频子位流。 0037 MVC 视角分量子集 ： 一个视角分量的 NAL 单元。 0038 MVC view_id 子集 ： 一个视角的 NAL 单元。 0039 MVC 视频子位流 ： 非基本视角的 NAL 单元。 0040 图 1 为说明其中音频 / 视频 (A/V) 源装置 20 将音频和视频数据传送到 A/V 目的 地装置 40 的实例系统 10 的框图。图 1 的系统 10 可对应于视频电传会议系统、 服务器 / 客 户端系统、 广播装置 / 接收器系统， 或将视频数据从源装置 ( 例如， A/V 源装置 20) 发送到 目的地装置 ( 例如， A/V 目的地装置 40) 的任何其它系

42、统。在一些实例中， A/V 源装置 20 和 A/V 目的地装置 40 可执行双向信息交换。即， A/V 源装置 20 和 A/V 目的地装置 40 可能能 够编码与解码 ( 以及发射和接收 ) 音频和视频数据。在一些实例中， 音频编码器 26 可包含 语音编码器， 也称为声码器。 0041 在图 1 的实例中， A/V 源装置 20 包含音频源 22 和视频源 24。音频源 22 可包含 (例如)麦克风， 其产生表示待由音频编码器26编码的所俘获音频数据的电信号。 或者， 音 频源 22 可包含存储先前记录的音频数据的存储媒体、 例如计算机化合成器等音频数据产 生器， 或任何其它音频数据源。

43、视频源 24 可包含产生待由视频编码器 28 编码的视频数据 的视频相机、 编码有先前记录的视频数据的存储媒体、 视频数据产生单元或任何其它视频 数据源。原始音频和视频数据可包含模拟或数字数据。模拟数据可在由音频编码器 26 和 / 或视频编码器 28 编码之前经数字化。音频源 22 可在发言参与者发言的同时从所述发言 参与者获得音频数据， 且视频源 24 可同时获得发言参与者的视频数据。在其它实例中， 音 频源 22 可包含包括所存储的音频数据的计算机可读存储媒体， 且视频源 24 可包含包括所 存储的视频数据的计算机可读存储媒体。以此方式， 本发明中所描述的技术可应用于直播 串流实时音频和

44、视频数据或应用于归档的预先记录的音频和视频数据。 0042 对应于视频帧的音频帧通常为含有与由视频源 24 俘获的含于视频帧中的视频数 据同时由音频源 22 俘获的音频数据的音频帧。举例来说， 在发言参与者通常通过发言而产 生音频数据的同时， 音频源 22 俘获音频数据， 且视频源 24 同时 ( 即， 在音频源 22 正俘获音 频数据的同时 ) 俘获发言参与者的视频数据。因此， 音频帧可在时间上对应于一个或一个 以上特定视频帧。因此， 对应于视频帧的音频帧通常对应于其中音频数据和视频数据被同 时俘获且音频帧和视频帧分别包含同时被俘获的音频数据和视频数据的情境。 0043 在一些实例中， 音频

45、编码器 26 可在每一经编码音频帧中编码时间戳， 所述时间戳 表示记录经编码音频帧的音频数据的时间， 且类似地， 视频编码器 28 可在每一经编码视频 帧中编码时间戳， 所述时间戳表示记录经编码视频帧的视频数据的时间。 在此类实例中， 对 应于视频帧的音频帧可包含包括时间戳的音频帧和包含相同时间戳的视频帧。A/V 源装置 20 可包括内部时钟， 音频编码器 26 和 / 或视频编码器 28 可从所述内部时钟产生时间戳， 或音频源22和视频源24可使用所述内部时钟来分别使音频数据和视频数据与时间戳相关 说 明 书 CN 102804773 A 10 6/26 页 11 联。在一些实例中， 音频源

46、 22 可对应于记录音频数据的时间而将数据发送到音频编码器 26， 且视频源24可对应于记录视频数据的时间而将数据发送到视频编码器28。 在一些实例 中， 音频编码器 26 可在经编码音频数据中编码序列识别符以指示经编码音频数据的相对 时间定序， 而无需指示记录音频数据的绝对时间， 且类似地， 视频编码器 28 也可使用序列 识别符来指示经编码视频数据的相对时间定序。 类似地， 在一些实例中， 序列识别符可与时 间戳映射或以其它方式与所述时间戳相关。 0044 本发明的技术大体来说针对经编码多媒体(例如， 音频和视频)数据的传送， 以及 所传送多媒体数据的接收和随后解译以及解码。 本发明的技术

47、尤其适用于多视角视频译码 (MVC) 数据 ( 即， 包含多个视角的视频数据 ) 的传送。如图 1 的实例中所示， 视频源 24 可将 场景的多个视角提供到视频编码器 28。MVC 对于产生将由三维显示器 ( 例如， 立体或自动 立体三维显示器 ) 使用的三维视频数据可为有用的。 0045 A/V 源装置 20 可将 “服务” 提供到 A/V 目的地装置 40。服务通常对应于 MVC 数据 的可用视角的子集。举例来说， MVC 数据可用于定序为零到七的八个视角。一个服务可对 应于具有两个视角的立体视频， 而另一服务可对应于四个视角， 且又一服务可对应于全部 八个视角。大体上， 一服务对应于可用

48、视角的任何组合 ( 即， 任何子集 )。一服务还可对应 于可用视角以及音频数据的组合。 0046 根据本发明的技术， A/V 源装置 20 能够提供对应于包括不连续视角次序索引的视 角的子集的服务。通常， 视角由视角识别符 ( 也称为 “view_id” ) 表示。视角识别符通常包 含可用以识别视角的语法元素。 当编码视角时， MVC编码器提供所述视角的view_id。 view_ id 可由 MVC 解码器使用以用于视角间预测或由其它单元使用以用于其它用途 ( 例如， 用于 呈现 )。 0047 视角间预测是一种用于参考在共同时间位置处的一个或一个以上帧将帧的 MVC 视频数据译码为不同视角

49、的经编码帧的技术。图 6( 下文较详细论述 ) 提供用于视角间预 测的实例译码方案。通常， 在空间上、 在时间上和 / 或参考在共同时间位置处的其它视角的 帧来预测性地编码 MVC 视频数据的经编码帧。因此， 参考视角 ( 从其预测其它视角 ) 通常 在参考视角充当其参考的视角之前被解码， 以使得这些经解码的视角可在解码参考视角时 用于参考。解码次序无需对应于 view_id 的次序。因此， 使用视角次序索引描述视角的解 码次序。视角次序索引为指示接入单元中的相应视角分量的解码次序的索引。 0048 每一个别数据流 ( 无论是音频还是视频 ) 被称为基本流。基本流为节目的单一经 数字译码 ( 可能经压缩 ) 的分量。举例来说， 节目的经译码视频或音频部分可为基本流。 基本流可在经多路复用成节目流或传送流之前转换成包化基本流 (PES)。在同一节目内， 流 ID 用以区分属于一个基本流的 PES 包与其它包。基本流的数据的基本单位为包化基本 流 (PES) 包。因而， MVC 视频数据的每一视角对应于相应基本流。类似地， 音频数据对应于 相应基本流。在图 1 的实例中， 多路复用器