《用于非对称立体视频的帧封装.pdf》由会员分享，可在线阅读，更多相关《用于非对称立体视频的帧封装.pdf（51页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102918836 A (43)申请公布日 2013.02.06 C N 1 0 2 9 1 8 8 3 6 A *CN102918836A* (21)申请号 201180023830.0 (22)申请日 2011.05.13 61/334,253 2010.05.13 US 61/366,436 2010.07.21 US 61/433,110 2011.01.14 US 13/035,448 2011.02.25 US H04N 7/26(2006.01) H04N 7/46(2006.01) H04N 7/50(2006.01) H04N 13/00(2006.。
2、01) (71)申请人高通股份有限公司 地址美国加利福尼亚州 (72)发明人陈盈 马尔塔卡切维奇 (74)专利代理机构北京律盟知识产权代理有限 责任公司 11287 代理人宋献涛 (54) 发明名称 用于非对称立体视频的帧封装 (57) 摘要 经译码视频位流的非对称帧可包含左视图的 全分辨率图片以及右视图的降低分辨率图片，其 中所述左和右视图形成用于三维视频播放的立体 视图对。在一个实例中，一种设备包含视频编码 器，所述视频编码器经配置以：接收场景的第一 视图的第一图片，所述第一图片具有第一分辨率； 接收所述场景的第二视图的第二图片，所述第二 图片具有相对于所述第一分辨率降低的分辨率； 形成包。
3、括所述第一图片和所述第二图片的非对称 帧；以及对所述非对称帧进行编码。以此方式，不 同能力的解码器可接收同一位流，且所述位流与 具有立体视图对的全分辨率图片的一个或一个以 上位流相比可消耗较少带宽。所述位流可具有比 具有经二次取样图片的位流好的质量。 (30)优先权数据 (85)PCT申请进入国家阶段日 2012.11.13 (86)PCT申请的申请数据 PCT/US2011/036499 2011.05.13 (87)PCT申请的公布数据 WO2011/143599 EN 2011.11.17 (51)Int.Cl. 权利要求书6页 说明书32页 附图12页 (19)中华人民共和国国家知识产。
4、权局 (12)发明专利申请 权利要求书 6 页 说明书 32 页 附图 12 页 1/6页 2 1.一种对视频数据进行编码的方法，所述方法包括： 接收场景的第一视图的第一图片，所述第一图片具有第一分辨率； 接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低 的分辨率； 形成包括所述第一分辨率图片和所述降低分辨率图片的非对称帧； 对所述非对称帧进行编码；以及 输出所述非对称帧。 2.根据权利要求1所述的方法，其中所述第二图片的所述已降低分辨率是所述第一图 片的所述第一分辨率的一半，所述方法进一步包括输出指示所述非对称帧中的所述第二图 片包括所述第一图片的所述第一分辨率的一。
5、半的信息。 3.根据权利要求1所述的方法，其中形成所述非对称帧包括以并排布置来布置所述第 一图片和所述第二图片，所述方法进一步包括输出指示所述非对称帧是以所述并排布置形 成且所述第一图片和所述第二图片具有相同高度的信息。 4.根据权利要求1所述的方法，其中非对称封装的图片以上下布置来形成帧，所述方 法进一步包括输出指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二 图片具有相同宽度的信息。 5.根据权利要求1所述的方法，其进一步包括输出补充增强信息SEI消息，所述SEI消 息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值， 其指示所述第一图片和所述第二图。
6、片具有并排布置和上下布置之一以及在所述非对称帧 中所述第一图片相对于所述第二图片的位置。 6.根据权利要求1所述的方法，其中输出所述经编码的非对称帧包括输出以下至少 一项：符合ISO基本媒体文件格式的文件、符合ISO基本媒体文件格式的扩展的文件、符合 MPEG-2传输流的数据、用于MPEG-2传输流的标头信息，以及依照超文本传输协议HTTP流式 传输格式的数据。 7.一种用于对视频数据进行编码的设备，所述设备包括视频编码器，所述视频编码器 经配置以：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场 景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低的分辨率；形。
7、成 包括所述第一图片和所述第二图片的非对称帧；以及对所述非对称帧进行编码。 8.根据权利要求7所述的设备，其中所述第二图片的所述已降低分辨率是所述第一图 片的所述第一分辨率的一半，且其中所述视频编码器经配置以输出指示所述非对称帧中的 所述第二图片包括所述第一图片的所述第一分辨率的一半的信息。 9.根据权利要求7所述的设备，其中所述视频编码器经配置以将所述第一图片和所述 第二图片以并排布置来布置在所述非对称帧中，且产生指示所述非对称帧是以所述并排布 置形成且所述第一图片和所述第二图片具有相同高度的信息。 10.根据权利要求7所述的设备，其中所述视频编码器经配置以将所述第一图片和所 述第二图片以上。
8、下布置来布置在所述非对称帧中，且产生指示所述非对称帧是以所述上下 布置形成且所述第一图片和所述第二图片具有相同宽度的信息。 11.根据权利要求7所述的设备，其中所述视频编码器经配置以产生补充增强信息SEI 消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧 权 利 要 求 书CN 102918836 A 2/6页 3 封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及 在所述非对称帧中所述第一图片相对于所述第二图片的位置。 12.根据权利要求7所述的设备，其中所述视频编码器经配置以按以下至少一项的形 式输出所述经编码的非对称帧：符合I。
9、SO基本媒体文件格式的文件、符合ISO基本媒体文件 格式的扩展的文件、符合MPEG-2传输流的数据、用于MPEG-2传输流的标头信息，以及依照 超文本传输协议HTTP流式传输格式的数据。 13.根据权利要求7所述的设备，其中所述设备包括以下至少一项： 集成电路； 微处理器；以及 包含所述视频编码器的无线通信装置。 14.一种用于对视频数据进行编码的设备，所述设备包括： 用于接收场景的第一视图的第一图片的装置，所述第一图片具有第一分辨率； 用于接收所述场景的第二视图的第二图片的装置，所述第二图片具有相对于所述第一 分辨率降低的分辨率； 用于形成包括所述第一图片和所述第二图片的非对称帧的装置；以及。
10、 用于对所述非对称帧进行编码的装置。 15.根据权利要求14所述的设备，其中所述第二图片的所述已降低分辨率是所述第一 图片的所述第一分辨率的一半，所述设备进一步包括用于输出指示所述非对称帧中的所述 第二图片包括所述第一图片的所述第一分辨率的一半的信息的装置。 16.根据权利要求14所述的设备，其中所述用于形成所述非对称帧的装置包括用于将 所述第一图片和所述第二图片以并排布置来布置在所述非对称帧中的装置，所述设备进一 步包括用于产生指示所述非对称帧是以所述并排布置形成且所述第一图片和所述第二图 片具有相同高度的信息的装置。 17.根据权利要求14所述的设备，其中所述用于形成所述非对称帧的装置包括。
11、用于将 所述第一图片和所述第二图片以上下布置来布置在所述非对称帧中的装置，所述设备进一 步包括用于产生指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二图 片具有相同宽度的信息的装置。 18.根据权利要求14所述的设备，其进一步包括用于产生补充增强信息SEI消息的装 置，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封 装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及在 所述非对称帧中所述第一图片相对于所述第二图片的位置。 19.一种计算机程序产品，其包括上面存储有指令的计算机可读存储媒体，所述指令在 被执行时使用于对视频数据。
12、进行编码的装置的处理器： 接收场景的第一视图的第一图片，所述第一图片具有第一分辨率； 接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低 的分辨率； 形成包括所述第一图片和所述第二图片的非对称帧； 对所述非对称帧进行编码；以及 输出所述经编码的非对称帧。 权 利 要 求 书CN 102918836 A 3/6页 4 20.根据权利要求19所述的计算机程序产品，其中所述第二图片的所述已降低分辨率 是所述第一图片的所述第一分辨率的一半，所述计算机程序产品进一步包括使所述处理器 输出指示所述非对称帧中的所述第二图片包括所述第一图片的所述第一分辨率的一半的 信息的指令。 21.。
13、根据权利要求19所述的计算机程序产品，其中使所述处理器形成所述非对称帧的 所述指令包括使所述处理器以并排布置来布置所述第一图片和所述第二图片的指令，所述 计算机程序产品进一步包括使所述处理器输出指示所述非对称帧是以所述并排布置形成 且所述第一图片和所述第二图片具有相同高度的信息的指令。 22.根据权利要求19所述的计算机程序产品，其中使所述处理器形成所述非对称帧的 所述指令包括使所述处理器以上下布置来布置所述第一图片和所述第二图片的指令，所述 计算机程序产品进一步包括使所述处理器输出指示所述非对称帧是以所述上下布置形成 且所述第一图片和所述第二图片具有相同宽度的信息的指令。 23.根据权利要求。
14、19所述的计算机程序产品，其进一步包括使所述处理器输出补充增 强信息SEI消息的指令，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是 非对称帧；以及帧封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和 上下布置之一以及在所述非对称帧中所述第一图片相对于所述第二图片的位置。 24.根据权利要求19所述的计算机程序产品，其中使所述处理器输出所述经编码的 非对称帧的所述指令包括使所述处理器输出以下至少一项的指令：符合ISO基本媒体文件 格式的文件、符合ISO基本媒体文件格式的扩展的文件、符合MPEG-2传输流的数据、用于 MPEG-2传输流的标头信息，以及依照超文本传输协议。
15、HTTP流式传输格式的数据。 25.一种对视频数据进行解码的方法，所述方法包括： 接收经编码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片以及所 述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨 率降低的分辨率； 对所述非对称帧进行解码； 将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片； 对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图 片；以及 输出所述第一图片和所述第二图片，其中所述第一图片和所述第二图片形成立体图像 对。 26.根据权利要求25所述的方法，其进一步包括接收指示所述非对称帧具有上下封装 布。
16、置和并排封装布置之一的信息。 27.根据权利要求26所述的方法，其中，当所述信息指示所述非对称帧具有所述上下 封装布置时，分离所述经解码的非对称帧包含将所述非对称帧分离成顶部部分和底部部 分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低 分辨率图片。 28.根据权利要求26所述的方法，其中，当所述信息指示所述非对称帧具有所述并排 封装布置时，分离所述经解码的非对称帧包含将所述非对称帧分离成左边部分和右边部 分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低 权 利 要 求 书CN 102918836 A 4/6页 5 分辨率图片。 29。
17、.根据权利要求26所述的方法，其中接收所述信息包括接收补充增强信息SEI消息， 所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布 置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上 下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片 的位置。 30.根据权利要求25所述的方法，其中接收所述非对称帧包括经由经配置以接收非对 称帧的高清晰度多媒体接口HDMI来接收所述非对称帧。 31.一种用于对视频数据进行解码的设备，所述设备包括视频解码器，所述视频解码器 经配置以：接收经编码的非对称帧，所述非对称帧包括场景。
18、的第一视图的第一分辨率图片 以及所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第 一分辨率降低的分辨率；对所述非对称帧进行解码；将所述经解码的非对称帧分离成所述 第一分辨率图片和所述降低分辨率图片；以及对所述降低分辨率图片进行上取样以产生所 述场景的具有所述第一分辨率的第二图片，其中所述第一经解码图片和所述第二经解码图 片形成立体图像对。 32.根据权利要求31所述的设备，其进一步包括三维视频显示器，所述三维视频显示 器经配置以实质上同时显示所述第一经解码图片和所述第二经解码图片以显示三维视频 数据。 33.根据权利要求31所述的设备，其中所述视频解码器经配置以接收指。
19、示所述非对称 帧具有上下封装布置和并排封装布置之一的信息。 34.根据权利要求33所述的设备，其中所述视频解码器经配置以，当所述信息指示所 述非对称帧具有所述上下封装布置时，将所述经解码的非对称帧分离成顶部部分和底部部 分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低 分辨率图片。 35.根据权利要求33所述的设备，其中所述视频解码器经配置以，当所述信息指示所 述非对称帧具有所述上下封装布置时，将所述经解码的非对称帧分离成左边部分和右边部 分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低 分辨率图片。 36.根据权利要求33所述的设备。
20、，其中所述信息包括补充增强信息S EI消息，所述S EI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类 型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布 置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位 置。 37.根据权利要求31所述的设备，其进一步包括高清晰度多媒体接口HDMI，所述接口 经配置以接收非对称帧且经配置以将所述非对称帧提供到所述视频解码器。 38.根据权利要求31所述的设备，其中所述设备包括以下至少一项： 集成电路； 微处理器；以及 包含所述视频解码器的无线通信装置。 权 利 要 求 书。
21、CN 102918836 A 5/6页 6 39.一种用于对视频数据进行解码的设备，所述设备包括： 用于接收非对称帧的装置，所述非对称帧包括场景的第一视图的第一分辨率图片以及 所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分 辨率降低的分辨率； 用于对所述非对称帧进行解码的装置； 用于将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片的 装置；以及 用于对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第 二图片的装置，其中所述第一经解码图片和所述第二经解码图片形成立体图像对。 40.根据权利要求39所述的设备，其进一步包括用于接收。
22、指示所述非对称帧具有上下 封装布置和并排封装布置之一的信息的装置。 41.根据权利要求40所述的设备，其中在所述信息指示所述非对称帧具有所述上下封 装布置时，所述分离装置包括用于将所述非对称帧分离成顶部部分和底部部分的装置，其 中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低分辨率 图片。 42.根据权利要求40所述的设备，其中在所述信息指示所述非对称帧具有所述并排封 装布置时，所述分离装置包括用于将所述非对称帧分离成左边部分和右边部分的装置，其 中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低分辨率 图片。 43.根据权利要求40所述的方法，其。
23、中所述信息包括补充增强信息SEI消息，所述 SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类 型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布 置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位 置。 44.根据权利要求39所述的设备，其中所述用于接收所述非对称帧的装置包括用于经 由经配置以接收非对称帧的高清晰度多媒体接口HDMI来接收所述非对称帧的装置。 45.一种计算机程序产品，其包括上面存储有指令的计算机可读存储媒体，所述指令在 被执行时使用于对视频数据进行解码的装置的处理器： 接收非对称帧，所述。
24、非对称帧包括场景的第一视图的第一分辨率图片以及所述场景的 第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨率降低的 分辨率； 对所述非对称帧进行解码； 将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片； 对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图 片；以及 输出所述第一图片和所述第二图片，其中所述第一图片和所述第二图片形成立体图像 对。 46.根据权利要求45所述的计算机程序产品，其进一步包括使所述处理器接收指示所 述非对称帧具有上下封装布置和并排封装布置之一的信息的指令。 权 利 要 求 书CN 102918836 A 6。
25、/6页 7 47.根据权利要求46所述的计算机程序产品，其中在所述信息指示所述非对称帧具 有所述上下封装布置时，所述指令使所述处理器将所述非对称帧分离成顶部部分和底部部 分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低 分辨率图片。 48.根据权利要求46所述的计算机程序产品，其中在所述信息指示所述非对称帧具 有所述并排封装布置时，所述指令使所述处理器将所述非对称帧分离成左边部分和右边部 分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低 分辨率图片。 49.根据权利要求46所述的计算机程序产品，其中接收所述信息包括接收补充增强信 息S。
26、EI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧； 以及帧封装布置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排 布置和所述上下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降 低分辨率图片的位置。 50.根据权利要求45所述的计算机程序产品，其中使所述处理器接收所述非对称帧的 所述指令包括使所述处理器经由经配置以接收非对称帧的高清晰度多媒体接口HDMI来接 收所述非对称帧的指令。 权 利 要 求 书CN 102918836 A 1/32页 8 用于非对称立体视频的帧封装 0001 本申请案主张于2010年5月13日递交的第61/。
27、334,253号美国临时申请案、于 2010年7月21日递交的第61/366,436号美国临时申请案以及于2011年1月14日递交的 第61/433,110号美国临时申请案的权益，前述各案以引用方式全文并入本文中。 技术领域 0002 本发明涉及视频译码。 背景技术 0003 数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电话、视频电话会议装置等。 数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H。
28、.263或ITU-T H.264/ MPEG-4第10部分高级视频译码(AVC)定义的标准以及此些标准的扩展中所描述的那些视 频压缩技术，以更有效地发射和接收数字视频信息。 0004 视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗 余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏 块。使用关于相邻宏块的空间预测来对经帧内译码的(I)帧或切片中的宏块进行编码。经 帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测 或关于其它参考帧的时间预测。 0005 已致力于开发基于H.264/AVC的新视频译码标准。一个此种标。
29、准是可分级视频 译码(SVC)标准，其是H.264/AVC的可分级扩展。另一标准是多视点视频译码(MVC)，其已 变成H.264/AVC的多视点扩展。MVC的联合草案描述于2008年7月在德国汉诺威第28次 JVT会议上提出的JVT-AB204，“多视点视频译码的联合草案8.0”中，所述草案的获得地址 是http:/wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip。AVC标 准的版本描述于2009年2月在瑞士日内瓦第30次JVT会议上提出的JVT-AD007，“编者对 ITU-T Rec.H.264|ISO/IEC 14。
30、496-10高级视频译码的草案修订-为ITU-T SG 16AAP同意 (综合形式)作准备(Editorsdraft revision to ITU-T Rec.H.264|ISO/IEC14496-10 Advanced Video Coding-in preparation for ITU-T SG 16 AAP Consent(in integrated form)”，所述修订的获得地址是http:/wftp3.itu.int/av-arch/jvt-site/2009_01_ Geneva/JVT-AD007.zip。JVT-AD007文档将SVC和MVC整合在AVC规范中。 发明内容。
31、 0006 一般来说，本发明描述用于支持立体视频数据(例如用以产生三维(3D)效果的视 频数据)的技术。为了在视频中产生三维效果，要同时或几乎同时显示场景的两个视图，例 如左眼视图和右眼视图。本发明的技术包含形成具有经封装的帧的位流，其中经封装的帧 对应于具有用于场景的两个视图的数据的单个帧。明确地说，本发明的技术包含对经封装 说 明 书CN 102918836 A 2/32页 9 的帧进行编码，所述经封装的帧具有场景的一个视图的全分辨率帧以及所述场景的另一视 图的降低分辨率帧。可相对于另一视图的帧对降低分辨率帧进行编码。以此方式，本发明 还提供用于为经封装的帧的降低分辨率帧执行视图间预测的技。
32、术。 0007 在一个实例中，一种方法包含：接收场景的第一视图的第一图片，所述第一图片具 有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨 率来说降低了的分辨率；形成包括第一分辨率图片和降低分辨率图片的非对称帧；对所述 非对称帧进行编码；以及输出所述非对称帧。 0008 在另一实例中，一种用于对视频数据进行编码的设备包含视频编码器，所述视频 编码器经配置以：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收 所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨率来说降低了的分辨 率；形成包括所述第一图片和所述第二图片的非对称帧；以及对所述非对称。
33、帧进行编码。 0009 在另一实例中，一种设备包含：用于接收场景的第一视图的第一图片的装置，所述 第一图片具有第一分辨率；用于接收所述场景的第二视图的第二图片的装置，所述第二图 片具有相对于第一分辨率来说降低了的分辨率；用于形成包括所述第一图片和所述第二图 片的非对称帧的装置；以及用于对所述非对称帧进行编码的装置。 0010 在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒 体，所述指令在被执行时使处理器：接收场景的第一视图的第一图片，所述第一图片具有第 一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨率来 说降低了的分辨率；形成包括所述第一图片和。
34、所述第二图片的非对称帧；对所述非对称帧 进行编码；以及输出经编码的非对称帧。 0011 在另一实例中，一种方法包含：接收经编码的非对称帧，所述非对称帧包括场景的 第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨 率图片具有相对于第一分辨率来说降低了的分辨率；对所述非对称帧进行解码；将经解码 的非对称帧分离成第一分辨率图片和降低分辨率图片；对降低分辨率图片进行上取样以产 生所述场景的具有第一分辨率的第二图片；以及输出第一图片和第二图片，其中所述第一 图片和所述第二图片形成立体图像对。 0012 在另一实例中，一种设备包含视频解码器，所述视频解码器经配置以：接收经编 。
35、码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片和所述场景的第二视 图的降低分辨率图片，其中所述降低分辨率图片具有相对于第一分辨率来说降低了的分辨 率；对所述非对称帧进行解码；将经解码的非对称帧分离成第一分辨率图片和降低分辨率 图片；以及对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片， 其中所述第一经解码图片和所述第二经解码图片形成立体图像对。 0013 在另一实例中，一种设备包含：用于接收非对称帧的装置，所述非对称帧包括场景 的第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分 辨率图片具有相对于第一分辨率来说降低了的分辨率；用于对所。
36、述非对称帧进行解码的装 置；用于将经解码的非对称帧分离成第一分辨率图片和降低分辨率图片的装置；以及用于 对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片的装置，其中 所述第一经解码图片和所述第二经解码图片形成立体图像对。 0014 在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒 说 明 书CN 102918836 A 3/32页 10 体，所述指令在被执行时使处理器：接收非对称帧，所述非对称帧包括场景的第一视图的第 一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相 对于第一分辨率来说降低了的分辨率；对所述非对称帧进行解码；将。
37、经解码的非对称帧分 离成第一分辨率图片和降低分辨率图片；对降低分辨率图片进行上取样以产生所述场景的 具有第一分辨率的第二图片；以及输出第一图片和第二图片，其中所述第一图片和所述第 二图片形成立体图像对。 0015 在另一实例中，一种方法包含：对场景的第一视图的第一图片进行编码以产生具 有第一分辨率的经编码图片；相对于第一视图的参考图片对所述场景的第二视图的第二图 片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图 片；以及在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片。 0016 在另一实例中，一种设备包含视频编码器，所述视频编码器经配置以：对场景的。
38、第 一视图的第一图片进行编码以产生具有第一分辨率的经编码图片；相对于第一视图的参考 图片对所述场景的第二视图的第二图片的至少一部分进行编码以产生具有相对于第一分 辨率来说降低了的分辨率的经编码图片；以及在共同的位流中输出经编码的第一分辨率图 片和经编码的降低分辨率图片。 0017 在另一实例中，一种设备包含：用于对场景的第一视图的第一图片进行编码以产 生具有第一分辨率的经编码图片的装置；用于相对于第一视图的参考图片对所述场景的第 二视图的第二图片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分 辨率的经编码图片的装置；以及用于在共同的位流中输出经编码的第一分辨率图片和经编 码的降低。
39、分辨率图片的装置。 0018 在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒 体，所述指令在被执行时使处理器：对场景的第一视图的第一图片进行编码以产生具有第 一分辨率的经编码图片；相对于第一视图的参考图片对所述场景的第二视图的第二图片的 至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图片；以 及在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片。 0019 在另一实例中，一种方法包含：从共同的位流中接收场景的第一视图的第一分辨 率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片，其中所述降低分辨率 的经编码图片具有相对于第一分。
40、辨率来说降低了的分辨率；对第一分辨率的经编码图片进 行解码以产生第一经解码图片；相对于第一视图的参考图片对降低分辨率的经编码图片的 至少一部分进行解码；对降低分辨率的图片进行上取样以产生所述场景的具有第一分辨率 的第二经解码图片；以及输出第一经解码图片和第二经解码图片，其中第一经解码图片和 第二经解码图片形成立体图像对。 0020 在另一实例中，一种设备包含视频解码器，所述视频解码器经配置以：从共同的位 流中接收场景的第一视图的第一分辨率的经编码图片和所述场景的第二视图的降低分辨 率的经编码图片，其中所述降低分辨率的经编码图片具有相对于第一分辨率来说降低了的 分辨率；对第一分辨率的经编码图片进。
41、行解码以产生第一经解码图片；相对于第一视图的 参考图片对降低分辨率的经编码图片的至少一部分进行解码；对降低分辨率图片进行上取 样以产生所述场景的具有第一分辨率的第二经解码图片；以及输出第一经解码图片和第二 经解码图片，其中第一经解码图片和第二经解码图片形成立体图像对。 说 明 书CN 102918836 A 10 4/32页 11 0021 在另一实例中，一种设备包含：用于从共同的位流中接收场景的第一视图的第一 分辨率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片的装置，其中所述 降低分辨率的经编码图片具有相对于第一分辨率来说降低了的分辨率；用于对第一分辨率 的经编码图片进行解码以产。
42、生第一经解码图片的装置；用于相对于第一视图的参考图片对 降低分辨率的经编码图片的至少一部分进行解码的装置；用于对降低分辨率的图片进行上 取样以产生所述场景的具有第一分辨率的第二经解码图片的装置；以及用于输出第一经 解码图片和第二经解码图片的装置，其中第一经解码图片和第二经解码图片形成立体图像 对。 0022 在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒 体，所述指令在被执行时使处理器：从共同的位流中接收场景的第一视图的第一分辨率的 经编码图片和所述场景的第二视图的降低分辨率的经编码图片；对第一分辨率的经编码图 片进行解码以产生第一经解码图片；相对于第一视图的参考图片对降。
43、低分辨率的经编码图 片的至少一部分进行解码；对降低分辨率的图片进行上取样以产生所述场景的具有第一分 辨率的第二经解码图片；以及输出第一经解码图片和第二经解码图片，其中第一经解码图 片和第二经解码图片形成立体图像对。 0023 一个或一个以上实例的细节陈述于附图以及以下描述中。其它特征、目标以及优 势将从描述和附图以及从权利要求书中显而易见。 附图说明 0024 图1是说明实例视频编码和解码系统的框图，所述视频编码和解码系统可利用用 于形成非对称封装的帧的技术，非对称封装的帧包含来自一场景的两个对应视图的图片。 0025 图2是说明视频编码器的实例的框图，所述视频编码器可实施用于产生非对称封 装。
44、的帧的技术。 0026 图3是说明视频解码器的实例的框图，所述视频解码器对经编码的视频序列进行 解码。 0027 图4是说明左眼视图和右眼视图的图片通过视频编码器组合以形成具有上下帧 封装布置的非对称封装的帧的概念图。 0028 图5是说明左眼视图和右眼视图的图片通过视频编码器组合以形成具有并排帧 封装布置的非对称封装的帧的概念图。 0029 图6是说明用于形成非对称封装的帧的实例过程的概念图，所述非对称封装的帧 包含编码为场的降低分辨率图片。 0030 图7是说明对图片进行场编码以产生降低分辨率的经编码图片以供包含在非对 称封装的帧中的概念图。 0031 图8是说明非对称封装的帧的降低分辨率。
45、的经编码图片的块的视图间预测的概 念图。 0032 图9是说明用于对两个不同视图的两个图片进行编码以及将所述图片组合以形 成非对称封装的帧的实例方法的流程图。 0033 图10是说明用于对非对称帧进行解码的实例方法的流程图。 0034 图11是说明用于根据本发明的技术执行帧场交错译码的实例方法的流程图。 说 明 书CN 102918836 A 11 5/32页 12 0035 图12是说明用于根据本发明的技术对经帧场交错译码的位流进行解码的实例方 法的流程图。 具体实施方式 0036 一般来说，本发明涉及用于支持立体视频数据(例如用以产生三维效果的视频数 据)的技术。为了在视频中产生三维效果，。
46、要同时或几乎同时显示场景的两个视图，例如左 眼视图和右眼视图。可从稍有不同的水平位置捕捉同一场景的两个图片(对应于场景的左 眼视图和右眼视图)，所述水平位置表示观看者的左眼与右眼之间的水平偏离。通过同时或 几乎同时显示这两个图片，使得左眼视图图片被观看者的左眼感知到且右眼视图图片被观 看者的右眼感知到，观看者可体验到三维视频效果。 0037 本发明提供用于形成包含经封装的帧的位流的技术。经封装的帧可对应于视频数 据的单个帧，所述单个帧具有用于与场景的不同视图对应的两个图片的数据。明确地说，本 发明的技术包含对经封装的帧进行编码，所述经封装的帧具有场景的一个视图的全分辨率 图片以及所述场景的另一。
47、视图的降低分辨率图片。包含场景的第一视图的全分辨率图片以 及所述场景的不同的第二视图的降低分辨率图片的经封装的帧可被称作非对称封装的帧， 或简称作非对称帧。 0038 一般来说，术语“图片”与“帧”可互换使用。本发明大体上将图片认为是视图的 样本。本发明大体上将帧认为是包括一个或一个以上图片，所述图片将被译码为表示特定 时刻的接入单元。因此，一个帧可对应于一个视图的一个样本(即，单个图片)，或在经封装 的帧的情况下，包含来自多个视图的多个样本(即，两个或两个以上图片)。 0039 作为实例，两个视图图片可被封装成具有上下格式的帧。在这个实例中，一个视图 图片可被布置在另一图片之上。每一图片可具。
48、有w个像素的相同宽度。全分辨率图片可具 有h个像素的高度，而降低分辨率图片可具有h/2个像素的高度。作为另一实例，两个视图 图片可被封装成具有并排格式的帧。在这个实例中，两个视图图片可布置在彼此旁边。每 一图片可具有h个像素的相同高度。全分辨率图片可具有w个像素的宽度，而降低分辨率 图片可具有w/2个像素的宽度。 0040 以此方式形成非对称帧可提供若干优点。举例来说，可将同一位流发送到经配置 以呈现三维视频数据的装置以及只限于二维视频数据的装置。具有三维视频能力的装置可 将非对称帧分离成构成视图，对降低分辨率视图进行上取样，且同时或几乎同时显示所述 两个视图。具有二维视频能力的装置可将降低分。
49、辨率视图移除且只显示全分辨率视图。以 此方式，视频内容提供商(例如基于网络的服务器或广播装置)只需要形成一个位流，且具 有变动能力的装置可各自接收同一位流。此外，所述位流与包括两个或两个以上视图中的 每一者的全分辨率图片的位流相比可能需要较少带宽，同时引入可忽略的主观质量降级。 0041 因此，本发明的技术可支持与不能够呈现三维视频数据的旧式装置的向后兼容 性。不同于可接收且解码对称封装的帧的装置，其中对称封装的帧包含两个经二次取样的 图片，根据本发明的技术接收非对称封装的帧的装置可接收全分辨率图片和降低分辨率图 片。因此，所述装置无需只为了产生二维视频呈现而对图片进行上取样。此外，根据本发明 的技术的位流(例如，包含非对称封装的帧)与具有用于三维视频数据的两个全分辨率图 片的位流相比可能消耗较少带宽。 说 明 书CN 102918836 A 12 6/32页 13 0042 在一些实例中，可相对于另一视图的帧来对降低分辨率帧进行编码。即，编码器可 为非对称封装的帧的降低分辨率图片执行视图间预测。本发明描述用于将降低分辨率图片 编码为场且使用位移向量对降低分辨率图片进行视图间编码的技术。以此方式，本发明还 。