使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf

上传人:n****g 文档编号:470906 上传时间:2018-02-18 格式:PDF 页数:51 大小:13.95MB
返回 下载 相关 举报
摘要
申请专利号:

CN201380005801.0

申请日:

2013.01.16

公开号:

CN104094604A

公开日:

2014.10.08

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||专利申请权的转移IPC(主分类):H04N 19/52登记生效日:20160922变更事项:申请人变更前权利人:松下电器(美国)知识产权公司变更后权利人:太阳专利托管公司变更事项:地址变更前权利人:美国加利福尼亚变更后权利人:美国纽约|||实质审查的生效IPC(主分类):H04N 19/52申请日:20130116|||公开

IPC分类号:

H04N19/52(2014.01)I; H04N19/46(2014.01)I; H04N19/44(2014.01)I; H04N19/172(2014.01)I; H04N19/30(2014.01)I

主分类号:

H04N19/52

申请人:

松下电器(美国)知识产权公司

发明人:

乃苏孟德; 袁明亮; 林宗顺; 孙海威; 温觉觉; 西孝启; 笹井寿郎; 柴原阳司; 杉尾敏康; 谷川京子; 松延彻; 寺田健吾

地址:

美国加利福尼亚

优先权:

2012.01.20 US 61/589,261

专利代理机构:

永新专利商标代理有限公司 72002

代理人:

张晰;王英

PDF下载: PDF下载
内容摘要

一种用于利用时间运动矢量预测将视频编码成经编码的视频比特流的方法,所述方法包括:确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;以及将所述标志写入子图片单元的头部或图片的头部;其中,如果标志指示使用了时间运动矢量预测,那么所述方法还包括:创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;针对所述子图片单元中的预测单元,从第一列表中选择运动矢量预测符;以及将第一参数写入经编码的视频比特流来指示从第一列表中所选择的运动矢量预测符,其中,如果标志指示未使用时间运动矢量预测,那么所述方法还包括:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对子图片单元中的预测单元从第一列表中选出运动矢量预测符。将第二参数写入经编码的视频比特流来指示从第二列表中所选择的运动矢量预测符。此外,提供了用于对经编码的视频进行解码的方法以及用于对视频进行编码和解码的相应装置。

权利要求书

1.  一种利用时间运动矢量预测将视频编码到经编码的视频比特流中的方法,所述方法包括:
确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;
将具有所述值的标志写入所述子图片单元的头部或所述图片的头部;并且
其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;
针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。

2.
  根据权利要求1所述的方法,其中,如果所述标志指示未使用时间运动矢量预测,则所述方法还包括:
创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;
针对所述子图片单元中的预测单元,从所述第二列表中选择运动矢量预测符;以及
将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。

3.
  根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片的时间层确定的。

4.
  根据权利要求3所述的方法,其中,如果确定所述图片的所述时间层是最低层或基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。

5.
  根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片的图片顺序计数(POC)值确定的。

6.
  根据权利要求5所述的方法,其中,如果确定所述图片的所述POC值大于解码器图片缓冲器(DPB)中的参考图片的任意POC值,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。

7.
  根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片中的图片间子图片单元的子图片单元类型确定的。

8.
  根据权利要求7所述的方法,其中,如果所述子图片单元类型是预测性(P)类型,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。

9.
  根据权利要求1或2所述的方法,其中,所述标志的值是基于包含所述子图片单元的所述图片是否是随机接入点(RAP)图片来确定的。

10.
  根据权利要求9所述的方法,其中,如果所述图片是RAP图片并且所述子图片单元属于所述图片的非基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。

11.
  根据权利要求1至10中任意一项所述的方法,其中,所述标志被写入所述子图片单元的头部。

12.
  根据权利要求1至11中任意一项所述的方法,其中所述方法还包括:将一个或多个参数写入所述子图片单元的头部,以便指定在用于子图片单元的图片间预测的一个或多个参考图片列表中的参考图片的顺序。

13.
  根据权利要求1至12中任意一项所述的方法,其中,所述方法还包括:
使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测单元;
从原始采样块中减去所述预测单元以便产生剩余采样块;以及
将与预测单元相对应的剩余采样块编码到所述经编码的视频比特流中。

14.
  根据权利要求1至13中任意一项所述的方法,其中,所述第二列表包括比所述第一列表少一个的运动矢量预测符,并且除了所述时间运动矢量预测符,所述第一列表和第二列表的所述运动矢量预测符是相同的。

15.
  根据权利要求1至14中任意一项所述的方法,其中,所述第一参数和第二参数在所述经编码的视频比特流中是使用不同的预先确定的比特表示来表示的。

16.
  根据权利要求1至13中任意一项所述的方法,其中,所述第一列表和第二列表包括相同的预先确定的数量的运动矢量预测符,并且所述第二列表包括并不存在于所述第一列表中且是在未使用来自任何参考图片的运动矢量的情况下推导出的运动矢量预测符。

17.
  根据权利要求1至16中任意一项所述的方法,其中,所述标志用于指示:针对独立于所述图片中的其它子图片单元的子图片单元的所述图片间预测,使用还是未使用时间运动矢量预测。

18.
  根据权利要求1至17中任意一项所述的方法,其中,所述子图片 单元是图片的切片。

19.
  一种利用时间运动矢量预测对经编码的视频比特流进行解码的方法,所述方法包括:
对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及
确定所述标志指示使用还是未使用时间运动矢量预测;
其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;
对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。

20.
  根据权利要求19所述的方法,其中,如果所述标志指示未使用时间运动矢量预测,则所述方法还包括:
创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及
对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。

21.
  一种利用时间运动矢量预测将视频编码成经编码的视频比特流的装置,所述装置包括:
控制单元,其可操作用于:确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;
写单元,其可操作用于:将具有所述值的标志写入所述子图片单元的头部或所述图片的头部;
运动矢量预测单元;以及
图片间预测单元,其用于:基于从所述运动矢量预测单元中所选择的运动矢量预测符来执行图片间预测,
其中,所述运动矢量预测单元被配置为:接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
所述写单元还可操作用于:将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。

22.
  根据权利要求21所述的装置,当所述标志是第二值时,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
所述写单元还可操作用于:将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。

23.
  一种利用时间运动矢量预测对经编码的视频比特流进行解码的装置,所述装置包括:
解析单元,其可操作用于:对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及确定所述标志指示使用还是未使用时间运动矢量预测;
运动矢量预测单元;以及
图片间预测单元,其用于:基于从所述运动矢量预测单元中所选择的运动矢量预测符来执行图片间预测;
其中,所述运动矢量预测单元被配置为:接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括: 从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;以及
所述解析单元还可操作用于:对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。

24.
  根据权利要求23所述的装置,其中,当所述标志是第二值时,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及
所述解析单元还可操作用于:对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。

说明书

使用时间运动矢量预测对视频进行编码和解码的方法和装置
技术领域
本发明涉及使用时间运动矢量预测对视频进行编码的方法和对视频进行解码的方法,及其装置。本发明可以应用于任何多媒体数据编码,更具体地说,本发明可以应用于利用用于图片间预测的时间运动矢量预测来对图像和视频内容进行编码。
背景技术
诸如H.264/MPEG-4AVC以及即将到来的HEVC(高效视频编码)的视频编码方案根据之前编码/解码的参考图片使用图片间(或者简称“间”)预测来执行对图像/视频内容的编码/解码,以便利用跨越时间上连续的图片的信息冗余。
在经编码的视频比特流中,用于预测单元(例如采样的M×N块)的图片间预测处理的参考图片通过使用参考索引而被识别或参考。参考索引是包括一个或多个参考图片的有序列表(称为参考图片列表)的索引。每一个参考索引与参考图片列表中的参考图片唯一地相关联。也就是说,参考索引是用于对多个参考图片彼此进行区分的值。
上述编码方案支持运动矢量的时间预测(即,运动矢量预测或MVP),由此采样的目标块的运动矢量是根据共置的参考图片中的一个或多个之前编码的采样块的运动矢量进行预测的。时间运动矢量预测通过利用时间上相邻的运动矢量之间的信息冗余,进一步降低了与运动矢量相关联的比特速率。共置的参考图片是使用预先确定的方案在可用参考图片之中选择的,例如,在预先确定的参考图片列表(例如参考图片列表0)中选择第一参考图片作为共置的参考图片。
在需要跨越有损环境传输视频的应用中,当共置的参考图片丢失或包含错误时,时间运动矢量预测易受运动矢量的错误预测影响。在处于发展中的HEVC标准中,公开了一种用于禁用某一子图像单元(例如,切片) 的时间运动矢量预测的技术。JCTVC-G398,"High-level Syntax:Marking process for non-TMVP pictures",ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11第七次会议的视频编码联合协作小组(JCT-VC),日内瓦,CH,2011年11月。在该技术中,有必要在图片参数集(PPS)中引入用于将解码器图片缓冲器(DPB)中的图片标记为“未用于时间运动矢量预测”的标记标志。当子图片单元指的是具有等于“真(TRUE)”的标记标志的PPS时,该标记处理由解码器执行。
参考文献列表
非专利文献
NPL1:ISO/IEC14496-10,"MPEG-4Part10Advanced Video Coding"
NPL2:JCTVC-G398,"High-level Syntax:Marking process for non-TMVP pictures",ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11第七次会议的视频编码联合协作小组(JCT-VC),日内瓦,CH,2011年11月。
发明内容
技术问题
背景技术中所述,在用于禁用某些切片的时间运动矢量预测的公开技术中,有必要在图片参数集(PPS)中引入标记标志用于将解码器图片缓冲器(DPB)中的图片标记为“不用于时间运动矢量预测”。与该技术相关联的一个主要问题是:当调用标记处理的切片丢失或包含错误时,解码器不能执行预期的标记处理。从而,失去了随后的编码器与解码器之间的同步。因此用于禁用时间运动矢量预测的上述技术不是鲁棒的。
问题的解决方案
本发明寻求提供具有提升的容错性的用于利用时间运动矢量预测对视频进行编码和解码的方法和装置。具体而言,以不容易受错误影响的方式来启用/禁用针对子图片单元(例如,切片)的时间运动矢量预测。例如,根据本发明的实施例,消除由解码器执行的上述标记处理(即,用于将参考图片标记为“不用于时间运动矢量预测”)。
根据本发明的第一方案,提供了一种利用时间运动矢量预测将视频编码成经编码的视频比特流的方法,所述方法包括:
确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;
将所述标志写入所述子图片单元的头部或所述图片的头部;并且
其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符(predictor)的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;
针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。
优选地,如果所述标志指示未使用时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;
针对所述子图片单元中的预测单元,从所述第二列表中选择运动矢量预测符;以及
将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。
在一个实施例中,所述标志的值是基于所述图片的时间层确定的。
优选地,如果确定所述图片的所述时间层是最低层或基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。
在另一个实施例中,所述标志的值是基于所述图片的图片顺序计数(POC)值确定的。
优选地,如果确定所述图片的所述POC值大于解码器图片缓冲器(DPB)中的参考图片的任意POC值,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。
在又一个实施例中,所述标志的值是基于所述图片中的图片间子图片单元的子图片单元类型确定的。
优选地,如果所述子图片单元类型是预测性(P)类型,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。
在又一个实施例中,所述标志的值是基于包含所述子图片单元的所述图片是否是随机接入点(RAP)图片来确定的。
优选地,如果所述图片是RAP图片并且所述子图片单元属于所述图片的非基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。
优选地,将所述标志写入所述子图片单元的所述头部。
优选地,所述方法还包括:将一个或多个参数写入所述子图片单元的头部,以便指定在用于子图片单元的图片间预测的一个或多个参考图片列表中的参考图片的顺序。
优选地,所述方法还包括:
使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测单元;
从原始采样块中减去所述预测单元以便产生剩余采样块;以及
将与预测单元相对应的剩余采样块编码成所述经编码的视频比特流。
在一个实施例中,所述第二列表包括比所述第一列表少一个的运动矢量预测符,并且除了所述时间运动矢量预测符,所述第一和第二列表的所述运动矢量预测符是相同的。
优选地,所述第一和第二参数在所述经编码的视频比特流中是使用不同的预先确定的比特表示来表示的。
在另一个实施例中,所述第一和第二列表包括相同的预先确定的数量的运动矢量预测符,并且所述第二列表包括并不存在于所述第一列表中且是在未使用来自任何参考图片的运动矢量的情况下推导出的的运动矢量预测符。
优选地,所述标志用于指示:针对独立于所述图片中的其它子图片单元的子图片单元的所述图片间预测,使用还是未使用时间运动矢量预测。
优选地,所述子图片单元是图片切片。
根据本发明的第二方案,提供了一种利用时间运动矢量预测对经编码的视频比特流进行解码的方法,所述方法包括:
对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及
确定所述标志指示使用还是未使用时间运动矢量预测;
其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;
对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。
优选地,如果所述标志指示未使用时间运动矢量预测,那么所述方法还包括:
创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及
对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。
根据本发明的第三方案,提供了一种利用时间运动矢量预测将视频编码成经编码的视频比特流的装置,所述装置包括:
控制单元,其可操作用于:确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;
写单元,其可操作用于:将具有所述值的标志写入所述子图片单元的头部或所述图片的头部;
运动矢量预测单元;以及
图片间预测单元,其用于:基于从所述运动矢量预测单元选择的运动矢量预测符来执行图片间预测,
其中,所述运动矢量预测单元被配置为:接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
所述写单元还可操作用于:将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。
优选地,当所述标志是第二值时,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及
所述写单元还可操作用于:将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。
根据本发明的第四方案,提供了一种利用时间运动矢量预测对经编码的视频比特流进行解码的装置,所述装置包括:
解析单元,其可操作用于:对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及确定所述标志指示使用还是未使用时间运动矢量预测;
运动矢量预测单元;以及
图片间预测单元,其用于:基于从所述运动矢量预测单元中所选择的运动矢量预测符来执行图片间预测;
其中,所述运动矢量预测单元被配置为:接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括:从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;以及
所述解析单元还可操作用于:对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。
优选地,当所述标志是第二值时,所述运动矢量预测单元可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及
所述解析单元还可操作用于:对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。
本发明的有利效果
本发明的实施例提供了具有图片间预测的提升的容错性的、用于使用时间运动矢量预测对视频进行编码和解码的方法和装置。例如,这些实施例还可以导致图片间预测的提升的灵活性和编码效率,因为可以针对同一个图片中的多个子图片单元来独立地启用和禁用时间运动矢量预测。
附图说明
图1描绘了根据本发明的实施例的示例性经编码的视频比特流的分解示意图;
图2描绘了示出根据本发明的实施例的对视频进行编码的方法的流程图;
图3描绘了用于对输入视频/图像比特流进行编码的示例性装置的示意性框图;
图4描绘了示出根据本发明的实施例的对经编码的视频进行解码的方法的流程图;
图5描绘了用于对输入的经编码的比特流进行解码的示例性装置的示意性框图;
图6描绘了示出一组示例性图片的不同时间层的图;
图7描绘了示出根据第一实施例确定时间运动矢量预测使用标志的值的方法的流程图;
图8描绘了示出根据第二实施例确定时间运动矢量预测使用标志的值的方法的流程图;
图9描绘了示出根据第三实施例确定时间运动矢量预测使用标志的值的方法的流程图;
图10描绘了NAL单元流的图表示,即,用于经编码的视频比特流的一系列NAL单元;
图11利用多个切片描绘了包含多个视图/层的示例性RAP图片的图表示;
图12描绘了示出根据第四实施例确定时间运动矢量预测使用标志的值的方法的流程图;
图13示出了用于实现内容分配服务的内容提供系统的总体配置;
图14示出了数字广播系统的总体配置;
图15示出了说明电视机的配置示例的框图。
图16示出了说明从作为光盘的记录介质上读取信息以及在其上写入信息的信息复制/记录单元的配置示例的框图;
图17示出了作为光盘的记录介质的配置的示例;
图18A示出了蜂窝电话的示例;
图18B是示出蜂窝电话的配置示例的框图;
图19示出了复用数据的结构;
图20示意性地示出了在复用数据中每个流是怎样被复用的;
图21更加详细地示出了视频流怎样存储在PES分组的流中;
图22示出了TS分组的结构和在复用数据中的源分组;
图23示出了PMT的数据结构;
图24示出了复用数据信息的内部结构;
图25示出了流属性信息的内部结构;
图26示出了用于识别视频数据的步骤;
图27示出了用于实现根据每一实施例的运动图片编码方法和运动图片解码方法的集成电路的配置的示例;
图28示出了用于在驱动频率之间进行切换的配置;
图29示出了用于识别视频数据以及在驱动频率之间进行切换的步骤;
图30示出了在其中视频数据标准与驱动频率相关联的查找表的示例;
图31A是示出用于对信号处理单元的模块进行共享的配置的示例的图;
图31B是示出用于对信号处理单元的模块进行共享的配置的另一个示 例的图。
具体实施方式
根据本发明的示例性实施例,提供了使用时间运动矢量预测(TMVP)对视频进行编码的方法和对视频进行解码的方法,及其装置。具体而言,以不易受错误影响的方式来启用/禁用针对子图片单元(例如,切片)的时间运动矢量预测。为了实现该目标,根据本发明的优选实施例,将标志引入到图片的头部中或者更优选地引入到子图片单元的头部中,以用于指示针对子图片单元的图片间(或简称为“间”)预测是否使用了时间运动矢量预测。该标志还可以被称为时间运动矢量预测使用标志。在本发明的另外的方面中,在各个实施例中公开了用于确定/决定标志的值的优选技术。
为了清楚和简单起见,现在将对本发明的示例性实施例进行进一步的详细描述,由此子图片单元是图片的切片。本领域的技术人员将明白的是:切片分割仅是用于将图片划分成多个子图片分区的一种可能的方法。因此,下文中描述的本发明的实施例不局限于子图片单元是切片。例如,诸如拼贴、熵片和波阵面分割单元的其它子图片分割方法都在本发明的范围之内。
图1是根据本发明的实施例的示例性经编码的视频比特流100的分解示意图。经编码的视频比特流100包括头部110和与头部110相关联的多个图片112。通常将图片112分割成多个子图片单元(例如,切片)114。每一个切片114包括切片头部116和与切片头部116相关联的切片数据118。切片数据118包括多个图片间预测类型的预测单元120。
在如图1中所示的示例性实施例中,用于指示针对切片114的图片间预测是否使用了时间运动矢量预测的标志122优选位于切片头部116中。因此,可以独立于同一图片112中的其它切片114来启用和禁用每一个切片114的时间运动矢量预测。切片头部116还包括:用于规定一个或多个参考图片列表中的参考图片的顺序的参考图片列表排序参数124。这些参数124确定用于与切片头部116相关联或相对应的切片114的图片间预测的参考图片列表中的参考图片的有效或最终顺序。这些参数124可以规定要在一个或多个初始参考图片列表上执行的重新排序过程,或者可以规定在不进行重新排序的情况下使用初始参考图片列表。如图1中所示,标志122 优选位于与参考图片列表排序参数124相同的切片头部116中。运动矢量预测符选择参数126位于每一个预测单元120中,用于在可用于预测单元120的图片间预测的多个运动矢量预测符中选择运动矢量预测符。
在另一个实施例中,参考图片列表排序参数124和时间运动矢量预测使用标志122位于在同一图片112中的多个切片114之间共享的头部(未示出)中。例如,图片级别头部110可以是HEVC编码方案中的适应参数集合(APS)或公共切片片段头部。
如同前文中所解释的,切片分割仅是用于将图片划分成多个子图片分区的一种可能的方法。可以使用其它可能的子图片分割方法,例如,拼贴、熵片和波阵面分割单元。在这些其它的子图片分割方法中,如前文中所述,位于切片头部116中的参数124和标志122反而可以位于子图片单元的头部中。
图2描绘了示出根据本发明的实施例的对视频进行编码的方法200的流程图。在步骤S202中,将一个或多个参数(即,参考图片列表排序参数)124写入切片114的头部116中,以规定用于切片124的图片间预测的一个或多个参考图片列表中的参考图片的顺序。这些参考图片列表中的一个参考图片列表(例如参考图片列表0)中预先确定的位置(例如第一图片)指示共置的参考图片。在步骤S204中,确定指示针对切片124的图片间预测是否使用了时间运动矢量的标志122的值。将在后文根据本发明的各个实施例描述用于确定标志122的值的多种技术。随后在步骤S206中,将标志122写入切片114的头部116中。在步骤S208中,对标志122的值进行分析或判断以便确定标志122指示使用还是未使用时间运动矢量预测。例如,具有值“0”的标志122可以指示未使用时间运动矢量预测,而具有值“1”的标志122可以指示使用了时间运动矢量预测,或者反之亦然。
如果标志122指示使用了时间运动矢量预测,那么在步骤S210中,创建运动矢量预测符的列表(第一列表),其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符。仅通过示例的方式,多个运动矢量可以包括:至少一个时间运动矢量预测符,从空间相邻的预测单元/块(即,空间运动矢量预测符)推导出的一个或多个运动矢量,以及零运动矢量。在步骤S212中,从运动 矢量预测符的列表中选出运动矢量预测符用于切片124中的采样的目标块(即预测单元)120。在步骤214中,将参数(即,运动矢量预测符选择参数)(例如,第一参数)126写入经编码的视频比特流100(即,写入切片114的预测单元120),以用于指示从运动矢量预测符的列表中选出的运动矢量预测符。
另一方面,如果标志122指示未使用时间运动矢量预测,那么在步骤S216中,创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的列表(例如,第二列表)。在步骤S218中,从运动矢量预测符的列表中选出运动矢量预测符用于切片124中的采样的目标块(即预测单元)。在步骤S220中,将参数(即,运动矢量预测符选择参数)(例如,第二参数)写入经编码的视频比特流100(即,写入与切片头部116相关联的切片数据118的每一个预测单元120),以用于指示从运动矢量预测符的列表中选出的运动矢量预测符。
在步骤S214或步骤S220之后,使用所选择的运动矢量预测符针对切片214执行经运动补偿的图片间预测来产生预测采样块。随后,在步骤S226中,从原始采样块中减去预测采样块来产生剩余采样块。因此,在步骤S226中,将与目标块相对应的剩余采样块编码成经编码的视频比特流100。
因此,在本发明的上述实施例中,用于指示是否使用了时间运动矢量预测的标志122能够独立于同一个图片112中的其它切片114来控制一个切片114。因此,与第一切片114相对应的标志122在同一图片112中的第二或其它切片中并不确定是否使用了时间运动矢量预测。另外,在上述实施例中,消除了如背景技术中所述的对在解码器图片缓冲器(DPB)中的参考图片进行的标记处理。这导致提升了图片间预测的灵活性和编码效率。
在本发明的实施例中,运动矢量预测符的第一和第二列表包括不同数量的运动矢量预测符。优选地,第二列表包括的运动矢量预测符比第一列表少一个。在第一和第二列表二者中,不同于时间运动矢量预测符的运动矢量预测符可以是相同或等效的。这可以增加编码效率,因为编码器具有更多选择来从包括时间运动矢量预测符的列表(即,第一列表)中选择最佳的候选者。因为未使用时间运动矢量预测,所以第二列表可以提供更好的容错性。在经编码的视频比特流100中,第一和第二参数表示所选择的 运动矢量预测符可以使用不同的比特表示,例如,使用在算术编码二值化或可变长度码中具有不同最大值的截短的一元表示。
在本发明的另一个实施例中,第一和第二列表包括相同数量的运动矢量预测符。第二列表包括不存在于第一列表中的另一个唯一预先确定的运动矢量预测符,而不是时间运动矢量预测符。这可以增加编码效率,因为编码器具有更多选择来从包括唯一预先确定的运动矢量预测符的列表(即,第二列表)中选择最佳的候选者。由于候选时间运动矢量预测符的最大数量对于第一和第二列表来说是相同的,因此,这降低了对用于指示所选择的运动矢量预测符的索引参数进行的解析过程的复杂度。唯一的运动矢量预测符是在没有时间依赖性(即,未使用来自任何参考图片的运动矢量)的情况下推导出的。仅通过示例的方式,唯一的运动矢量预测符可以是来自预先确定的相邻位置的空间运动矢量预测符。作为另一个示例,唯一的运动矢量预测符可以是零运动矢量预测符。
现在下面将描述根据本发明的实施例的用于对视频进行编码的示例性装置300。
图3描绘了用于基于逐块对输入视频/图像比特流302进行编码以便生成经编码的视频比特流304的示例性装置300的示意性框图。装置300包括:可操作用于将输入数据变换成频率系数的变换单元306;可操作用于对输入数据进行量化的量化单元308;可操作用于对输入数据进行反量化的反量化单元310;可操作用于对输入数据进行反频率变换的反变换单元312;可操作用于存储诸如视频和图像的数据的块存储器314和图片存储器316;可操作用于执行图片内预测的图片内预测单元318;可操作用于执行图片间预测的图片间预测单元320;可操作用于将输入数据编码成经编码的视频比特流304的熵编码单元322;可操作用于决定针对目标切片的图片间预测是否使用时间运动矢量预测的控制单元324;运动矢量预测单元330;以及可操作用于将数据写入经编码的视频比特流304的写单元328。
为了清晰起见,现在将对通过如图3中所示的装置300的示例性数据流进行描述。将输入视频302输入加法器,并且向变换单元306输出相加的值305。变换单元306将相加的值305变换成频率系数,并且向量化单元308输出所产生的频率系数307。量化单元308对输入的频率系数307进行 量化,并且向反量化单元310和熵编码单元322输出所产生的经量化的值309。熵编码单元322对从量化单元308输出的经量化的值309进行编码,并且输出经编码的视频比特流304。
反量化单元310对从量化单元308输出的经量化的值309进行反量化,并且向反变换单元312输出频率系数311。反变换单元312对频率系数311进行反频率变换以便将频率系数变换成比特流的采样值,并且向加法器输出所产生的采样值313。加法器将从反变换单元314输出的比特流的采样值313加上从图片内预测单元318或图片间预测单元320输出的预测的视频/图像值319,并且向块存储器105或图片存储器106输出所产生的相加的值315用于进一步的预测。图片内预测单元318或图片间预测单元320在存储在块存储器314或图片存储器316中的重构的视频/图像中进行搜索,并且估计例如与输入视频/图像最相似的视频/图像区域用于预测。
控制单元324做出关于针对目标切片的图片间预测是否使用了时间运动矢量预测的决定,并且向运动矢量预测单元330和写单元322输出指示该决定的信号325。随后将根据本发明的各个实施例来对用于决定/确定是否使用了时间运动矢量预测(即,确定标志122的值)的多种技术进行描述。基于该决定,图片间预测单元320在使用或未使用时间运动矢量预测符的情况下执行图片间预测。具体而言,运动矢量预测单元330被配置为:接收标志122,并且如果标志是第一值(例如,“1”),那么运动矢量预测单元330可操作用于创建运动矢量预测符的第一列表,其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对子图片单元中的预测单元从第一列表中选出运动矢量预测符。写单元328还可操作用于:将第一参数写入经编码的视频比特流来指示从第一列表中选出的运动矢量预测符331。另一方面,如果标志122是第二值(例如,“0”),那么运动矢量预测单元330可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对子图片单元中的预测单元,从第二列表中选出运动矢量预测符。在这种情况下,写单元328还可操作用于:将第二参数写入经编码的视频比特流304来指示从第二列表中选出的运动矢量预测符331。写单元328还可操作用于:将表示具有指示是否使用了时 间运动矢量预测的第一值或第二值(例如,“0”或“1”)的标志122的数据326写入经编码的视频比特流304(例如,子图片单元的头部或图片的头部)。
图4描绘了示出根据本发明的实施例的对经编码的视频进行解码的方法400的流程图。具体而言,方法400可操作用于:对根据如图2中所示的上述对视频进行编码的方法进行编码的经编码的视频比特流100进行解码。在步骤S402中,对来自切片114的头部116的一个或多个参数(即,参考图片列表排序参数)进行解析,以规定用于切片114的图片间预测的一个或多个参考图片列表中的参考图片的顺序。如上文所提到的,在这些参考图片列表中的一个参考图片列表(例如参考图片列表0)中的预先确定的位置(例如第一图片)指示共置的参考图片。在步骤S404中,对来自头部116的标志(即,时间运动矢量预测标志)122进行解析,标志122指示针对切片118的图片间预测是否使用了时间运动矢量预测。在步骤S406中,对标志122的值进行分析或判断以便确定标志122指示使用还是未使用时间运动矢量预测。
如果标志122指示使用了时间运动矢量预测,那么在步骤S408中,创建运动矢量预测符的列表(第一列表),其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符。仅通过示例的方式,多个运动矢量可以包括:至少一个时间运动矢量预测符,从空间相邻的预测单元/块(即,空间运动矢量预测符)推导出的一个或多个运动矢量,以及零运动矢量。在步骤S410中,对来自经编码的视频比特流100(即,根据切片114的预测单元120)的参数(即,运动矢量预测符选择参数)(例如,第一参数)126进行解析,其指示针对切片114中的采样的目标块(即预测单元120)从运动矢量预测符的列表中选出的运动矢量预测符。
另一方面,如果标志122指示未使用时间运动矢量预测,那么在步骤S412中,创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的列表(例如,第二列表)。在步骤S414中,对来自经编码的视频比特流100(即,根据切片114的预测单元120)对参数(即,运动矢量预测符选择参数)(例如,第二参数)进行解析,其指示针对切片114 中的采样的目标块(即预测单元120)从运动矢量预测符的列表中选出的运动矢量预测符。
在步骤S410或步骤S414之后,在步骤S416中,使用所选择的运动矢量预测符执行经运动补偿的图片间预测来产生预测采样块。随后,在步骤S418中,从经编码的视频比特流100中解码出剩余采样块。此后,在步骤S420中,将预测采样块和剩余采样块加在一起以产生与目标块相对应的重构采样块。
现在下面将描述根据本发明的实施例的用于对经编码的视频进行解码的示例性装置500。
图5描绘了用于基于逐块对输入经编码的比特流502进行解码并且例如向显示器输出视频/图像504的示例性装置500的示意性框图。装置500包括:可操作用于对输入经编码的比特流502进行解码的熵解码单元506;可操作用于对输入数据进行反量化的反量化单元508;可操作用于对输入数据进行反频率变换的反变换单元510;可操作用于存储诸如视频和图像的数据的块存储器512和图片存储器514;用于执行图片内预测的图片内预测单元516;用于执行图片间预测的图片间预测单元518;运动矢量预测单元522;以及可操作用于对输入经编码的比特流502进行解析并输出各个参数520、521的解析单元503。
为了清晰起见,现在将对通过如图5中所示的装置500的示例性数据流进行描述。将输入经编码的比特流502输入到熵解码单元506。在经编码的比特流502输入到熵解码单元506之后,熵解码单元506对输入经编码的比特流502进行解码,并且将经解码的值507输出到反量化单元508。反量化单元508对经解码的值507进行反量化,并且向反变换单元510输出频率系数509。反变换单元510对频率系数509进行反频率变换以便将频率系数509变换成采样值511,并且向加法器输出所产生的采样值511。加法器将所产生的采样值511加上从图片内预测单元516或图片间预测单元518输出的预测的视频/图像值519,并且向例如显示器以及向块存储器512或图片存储器514输出所产生的值504以用于进一步的预测。此外,图片内预测单元516或图片间预测单元518在存储于块存储器512或图片存储器514中的视频/图像中进行搜索,并且估计例如与经解码的视频/图像最相似 的视频/图像区域用于预测。
另外,解析单元506对来自切片或图片的头部用于指示针对目标切片的图片间预测是否使用了时间运动矢量预测的标志122进行解析,并且向运动矢量预测单元522输出所解析的数据520。图片间预测单元518可操作用于:基于标志122的值和来自运动矢量预测单元522的所选择的运动矢量预测符,在使用或未使用时间运动矢量预测符的情况下执行图片间预测。具体而言,运动矢量预测单元522被配置为:接收包含标志122的数据520,并且如果标志是第一值(例如,“1”),那么运动矢量预测单元522可操作用于创建运动矢量预测符的第一列表,其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符。如果标志是第二值(例如,“0”),那么运动矢量单元522可操作用于:创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表。解析单元503还可操作用于:对来自经编码的视频比特流502的第一或第二参数进行解析,所述第一或第二参数指示针对子图片单元中的预测单元从第二列表选出的运动矢量预测符,并且向运动矢量预测单元522输出所解析的数据521。
如上文所提到的,现在将根据本发明的各个实施例来对用于决定/确定是否使用了时间运动矢量预测(即,确定标志122的值)的多种技术进行描述。
根据第一实施例,标志122的值是基于当前图片的时间层确定的。图6描绘了示出一组图片例如在组大小/结构被配置为4时的不同时间层的图。在该示例中,存在三个时间层,即,时间层“0”602、时间层“1”604和时间层“2”606。具有为0、4和8的图片顺序计数(POC)值的图片位于时间层“0”602中,具有为2和6的POC值的图片位于时间层“1”604中,而具有为1、3、5和7的POC值的图片位于时间层“2”606中。时间层“0”、“1”和“2”分别与时间ID0、1和2相关联或者由时间ID0、1和2表示。相应地,时间层“0”602中的图片具有与其相关联的时间ID“0”,时间层“1”604中的图片具有与其相关联的时间ID1,而时间层“2”606中的图片具有与其相关联的时间ID2。
图7描绘了示出根据第一实施例的用于确定标志122的值的方法700 的流程图。在步骤S702中,基于与当前图片相关联的时间ID来确定当前图片的时间层。随后,在步骤S704中,分析或判断所确定的时间层是否是最低层或基层(即,是否时间ID=0)。如果时间层是最低层,那么在步骤S706中,将标志122设置为指示未使用时间运动矢量预测的值(例如,“0”)。另一方面,如果时间层不是最低层,那么在步骤S708中,将标志122设置为指示使用了时间运动矢量预测的值(例如,“1”)。这是因为,在典型的编码结构中,较高的时间ID图片通常参考具有时间ID=0的图片。在当具有时间ID=0的图片丢失或包含错误时的情况下,错误将被传播到参考具有时间ID=0的图片的任何图片。该错误传播可能继续并且影响使用具有时间ID=0的时间运动矢量图片的所有随后图片的重构。因此,该实施例通过未使用具有时间ID=0的时间运动矢量图片而提升了容错性。
根据第二实施例,标志122的值是基于当前图片的POC值确定的。图8描绘了示出根据第二实施例的用于确定标志122的值的方法800的流程图。在步骤S802中,获得或确定当前图片的POC值和DPB中的所有参考图片的POC值。在步骤S804中,分析并判断当前图片的POC值是否大于DPB中的参考图片的任意POC值。如果是,那么在步骤S806中,将标志122设置为指示未使用时间运动矢量预测的值(例如,“0”)。否则,在步骤S808中,将标志122设置为指示使用了时间运动矢量预测的值(例如,“1”)。这是因为较高质量的图片(例如,时间层0图片)只参考相同或更高质量的图片。在该实施例中,鉴于包含在存储有多个参考图片的经解码的图片缓冲器中的参考图片的POC值识别出较高质量的图片。出于与上述第一实施例相似的原因,随后的图片通常参考较高质量的图片。因此,为了防止错误传播或使其最小化,并且提升容错性,针对较高质量的图片禁用标志122。
根据第三实施例,标志122的值是基于当前图片中的间切片的切片类型确定的。间切片是使用图片间预测来编码或解码的切片。图9描绘了示出根据第三实施例的用于确定标志122的值的方法900的的流程图。在步骤902中,确定当前图片中的间切片的切片类型。随后,分析并判断切片类型是否是P切片(即,预测型切片)。如果是,那么在步骤S906中,将标志122设置为指示未使用时间运动矢量预测的值(例如,“0”)。另一方 面,如果确定的切片类型不是P切片(例如,其是双向预测型或B切片),那么在步骤S908中,将标志122设置为指示使用了时间运动矢量预测的值(例如,“1”)。其原因是因为P切片使用单向前向预测。因此,为了防止错误传播或使其最小化,并且提升容错性,针对P切片禁用标志122。
根据第四实施例,标志122的值是基于图片是否是随机接入点(RAP)图片确定的。RAP图片是在不必执行解码顺序中在该RAP图片之前的任意图片的解码过程的情况下,其本身及解码顺序中随后的图片能够被正确解码的图片。例如,HEVC规范规定了RAP图片作为对其每一个切片片段具有范围为7至12(包含边界)的NAL单元类型(即,nal_unit_type)的经编码的图片。图10描绘了NAL单元流的图表示,即,用于经编码的视频比特流的一系列NAL单元102。如本领域技术人员已知的,NAL(网络抽象层)对经编码的视频的视频编码层(VCL)表示进行格式化,并以适合于通过各种传输层或存储介质传送的方式来提供头部信息。每个NAL单元102包括其后跟随有数据段106的头部104。头部104包括用来指示NAL单元102中的数据的类型的参数,并且数据段106包含由头部104所指示的数据。例如,图10示出了三个NAL单元:包含参数集(如由NAL单元类型108所指示的)的第一NAL单元、包含基视图/层(如由NAL单元类型110所指示的)的第二NAL单元、以及包含非基视图/层(如由NAL单元类型112所指示的)的第三NAL单元。每一个NAL单元的头部104还包括:如图7中示出的第一实施例中描述的时间ID。
图11使用多个切片描绘了包含多个视图/层的示例性RAP图片1100的图表示。如图所示,RAP图片1100包括在基层(图片内视图)1104中的多个切片1102和非基层(图片间视图)1110中的多个切片1106。
图12描绘了示出根据第四实施例的用于确定标志122的值的方法1200的流程图。在步骤S1202中,对图片进行分析以确定或获得指定切片的NAL单元类型的图片的每一个切片的参数。随后,在步骤S1204中,基于所获得的参数来确定或判断包含当前切片的图片是否是RAP图片,以及当前切片是否属于图片的非基视图/层。图片是否是RAP图片1100可以通过以下来确定:对图片中的每一个NAL单元或切片1002的头部1004中的NAL单元类型1008、1010、1012的值进行分析。如同上面所提到的,RAP图片 1100是在不执行解码顺序中在该RAP图片1100之前的任意图片的解码过程的情况下,其本身及解码顺序中随后的图片能够被正确解码的图片。例如,HEVC规范规定了RAP图片作为对其每一个切片片段具有范围为7至12(包含边界)的NAL单元类型的经编码的图片。因此,在该示例中,如果图片中的每一个NAL单元1002的NAL单元类型1008、1010、1012在范围7至12之间(包括边界),那么确定该图片是RAP图片1100。当前切片是否是图片的非基层可以通过对当前切片的NAL单元类型1008、1010、1012的检查来确定。例如,NAL单元类型1012指示相关联的切片1006属于非基层,并且NAL单元类型1010指示相关联的切片1006属于基层。然而,本领域技术人员将明白的是,可以基于依赖于视频编码方案的其它参数来识别非基层。例如,在当前的HEVC多视图HEVC工作草案中,当前切片是否是图片的非基层是通过层ID确定的。如果图片是RAP图片1100并且当前切片属于图片的非基层,那么在步骤S1206中,将标志122设置为指示未使用时间运动矢量预测的值(例如,“0”)。否则,在步骤S1208中,将标志122设置为指示使用了时间运动矢量预测的值(例如,“1”)。其原因是因为使用时间运动矢量预测的益处在于从时间上改进运动矢量预测,也就是说,根据在时间上不同的其它图片进行预测。然而,如果内图片和间图片在当前图片的相同时间之内,则使用时间运动矢量预测是无益的。因此,为了提升编码/解码效率,针对属于RAP图片1100的非基(或图片间视图)层的切片1106禁用标志122。
(实施例A)
在各个实施例中描述的处理可以通过在记录介质中记录用于实现各个实施例中描述的运动图片编码方法(图象编码方法)和运动图片解码方法(图像解码方法)的配置的程序,而在独立的计算机系统中简单地实现。记录介质可以是诸如磁盘、光盘、磁光盘、IC卡和半导体存储器的任何记录介质,只要程序可以被记录。
下文中,将对在各个实施例中描述的运动图片编码方法(图象编码方法)和运动图片解码方法(图像解码方法)的应用以及使用它们的系统进行描述。系统具有以下特征:具有包括使用图像编码方法的图像编码装置和使用图像解码方法的图像解码装置的图像编码和解码装置。可以根据情 况适当改变系统中的其它配置。
图13示出了用于实现内容分配服务的内容提供系统ex100的总体配置。用于提供通信服务的区域被划分成期望大小的小区,并且基站ex106、ex107、ex108、ex109和ex110(它们是固定无线站)置于各个小区中。
内容提供系统ex100分别经由互联网ex101、互联网服务提供商ex102、电话网络ex104、以及基站ex106至ex110连接到诸如计算机ex111、个人数字助理(PDA)ex112、摄像机ex113、蜂窝电话ex114和游戏机ex115的各个设备。
但是,内容提供系统ex100的配置并不局限于图13中示出的配置,并且这些元件中的任意元件连接的组合是可接受的。另外,每一个设备可以直接连接到电话网络ex104,而不是经由基站ex106至ex110(它们是固定无线站)。另外,这些设备可以经由短距离无线通信等彼此互连。
摄像机ex113(例如数字摄像机)能够拍摄视频。照相机ex116(例如数码照相机)能够捕捉静止图像和视频。另外,蜂窝电话ex114可以是满足诸如全球移动通信系统(GSM)(注册商标)、码分多址(CDMA)、宽带码分多址(W-CDMA)、长期演进(LTE)以及高速分组接入(HSPA)标准中的任意标准的蜂窝电话。或者,蜂窝电话ex114可以是个人手持电话系统(PHS)。
在内容提供系统ex100中,流服务器ex103经由电话网络ex104和基站ex109连接到摄像机ex113和其它设备,其能够对直播节目等的图像进行分发。这这样的分发中,如同上面在各个实施例中所描述的,对用户使用摄像机ex113捕捉的内容(例如,音乐直播节目的视频)进行编码(即,摄像机用作根据本发明的一方案的图像编码装置),并且将经编码的内容发送到流服务器ex103。另一方面,当客户端进行请求时,流服务器ex103向客户端进行对所发送的内容数据的流分发。客户端包括能够对上述经编码的数据进行解码的计算机ex111、PDA exX112、摄像机ex113、蜂窝电话ex114、游戏机ex115。已接收到分发的数据的各个设备对经编码的数据进行解码和重现(即,用作根据本发明的一方案的图像解码装置)。
捕捉的数据可以由摄像机ex113或发送数据的流服务器ex103进行编码,或者编码过程可以在摄像机ex113与流服务器ex103之间共享。类似地, 分发的数据可以由客户端或流服务器ex103进行解码,或者解码过程可以在客户端与流服务器ex103之间共享。另外,不仅是由摄像机ex113捕捉的而且由照相机ex116捕捉的静止图像和视频的数据可以通过计算机ex111发送到流服务器ex103。编码过程可以由照相机ex116、计算机ex111或流服务器ex103来执行,或者在它们之间共享。
另外,编码和解码过程可以由通常包括在各个计算机ex111和设备中的LSI ex500来执行。LSI ex500可以被配置为具有单个芯片或多个芯片。用于对视频进行编码和解码的软件可以被集成到计算机ex111等可读的某种类型的记录介质(诸如CD-ROM、软盘和硬盘)中,并且可以使用软件来执行编码和解码过程。另外,当蜂窝电话ex114配备有摄像机时,可以发送由摄像机获得的视频数据。视频数据是由包括在蜂窝电话ex114中的LSIex500编码的数据。
另外,流服务器ex103可以包括服务器和计算机,并且可以分散数据并对分散的数据进行处理、记录或分发数据。
如上所述,客户端可以接收并在内容提供系统ex100中重现经编码的数据。换句话说,客户端可以接收并解码由用户发送的信息,并在内容提供系统ex100中对经解码的数据进行实时重现,从而使得并不具有任何特定权利和设备的用户可以实现个人广播。
除了内容提供系统ex100的示例以外,在各个实施例中描述的运动图片编码装置(图像编码装置)和运动图片解码装置(图像解码装置)中的至少一个可以在图14中所示的数字广播系统ex200中实现。更具体地说,广播站ex201经由无线电波向广播卫星ex202传送或发送通过将音频数据等复用到视频数据上所获得的复用数据。视频数据是由在各个实施例中描述的运动图片编码方法编码的数据(即,由根据本发明的一方案的图像编码装置编码的数据)。当接收到复用数据时,广播卫星ex202发送无线电波来进行广播。然后,具有卫星广播接收功能的家用天线ex204接收该无线电波。接下来,诸如电视机(接收机)ex300和机顶盒(STB)ex217的设备对所接收的复用数据进行解码,并重现经解码的数据(即,用作根据本发明的一方案的图像解码装置)。
另外,读取器/记录器ex218(i)对记录在诸如DVD和BD的记录介质 ex215上的复用数据进行读取和解码,或者(i)对记录介质ex215中的视频信号进行编码,并且在某些情况下,写入通过将音频信号复用到经编码的数据上而获得的数据。读取器/记录器ex218可以包括如在各个实施例中所示的运动图片解码装置或运动图片编码装置。在这种情况下,重现的视频信号在监视器ex219上显示,并且可以由使用其上记录了复用数据的记录介质ex215的另一个设备或系统重现。也有可能在连接到有线电视的线缆ex203或卫星和/或地面广播的天线ex204的机顶盒ex217中实现运动图片解码装置,以便在电视机ex300的监视器ex219上显示视频信号。运动图片解码装置可以不在机顶盒而是在电视机ex300中实现。
图15示出了使用在各个实施例中描述的运动图片编码方法和运动图片解码方法的电视机(接收机)ex300。电视机ex300包括:调谐器ex301,其通过接收广播的天线ex204或线缆ex203等获得或提供通过将音频数据复用到视频数据上而获得的复用数据;调制/解调单元ex302,其将所接收到的复用数据进行解调或者将数据调制成要供应到外部的复用数据;以及复用/解复用单元ex303,其将调制的复用数据解复用成视频数据和音频数据,或者将由信号处理单元ex306编码的视频数据和音频数据复用成数据。
电视机ex300还包括:信号处理单元ex306,其包括分别对音频数据和视频数据进行编码以及对音频数据和视频数据进行解码的音频信号处理单元ex304和视频信号处理单元ex305(其用作根据本发明的方案的图像编码装置和图像解码装置);以及输出单元ex309,其包括提供经解码的音频信号的扬声器ex307和显示经解码的视频信号的显示器单元ex308(例如显示器)。另外,电视机ex300包括接口单元ex317,其包括接收用户操作的输入的操作输入单元ex312。另外,电视机ex300包括:对电视机ex300的总体各个组成元件进行控制的控制单元ex310,以及向各个元件供电的电源电路单元ex311。除了操作输入单元ex312以外,接口单元ex317可以包括:连接到诸如读取器/记录器ex218的外部设备的桥ex313;用于能够附接诸如SD卡的记录介质ex216的槽单元ex314;连接到诸如硬盘的外部记录介质的驱动器ex315;以及连接到电话网络的调制解调器ex316。在本文中,记录介质ex216可以使用用于存储的非易失性/易失性半导体存储器元件来进行电记录。电视机ex300的组成元件通过同步总线彼此连接。
首先,将描述电视机ex300对通过天线ex204等从外部获得的复用数据进行解码并且重现经解码的数据的配置。在电视机ex300中,当用户通过远程控制器ex220等操作时,复用/解复用单元ex303在包括CPU的控制单元ex310的控制下对由调制/解调单元ex302解调的复用数据进行解复用。另外,使用各个实施例中描述的解码方法,在电视机ex300中,音频信号处理单元ex304对解复用的音频数据进行解码,并且视频信号处理单元ex305对解复用的视频数据进行解码。输出单元ex309分别向外部提供经解码的视频信号和音频信号。当输出单元ex309提供视频信号和音频信号时,信号可以暂时存储在缓冲器ex318和ex319及其它中,从而信号被彼此同步地重现。另外,电视机ex300可以不通过广播等读取复用数据,而是从诸如磁盘、光盘和SD卡的记录介质ex215和ex216读取。接下来,将描述电视机ex300对音频信号和视频信号进行编码,并且向外发送数据或将数据写到记录介质上的配置。在电视机ex300中,当用户通过远程控制器ex220等操作时,在使用各个实施例中描述的编码方法的控制单元ex310的控制下,音频信号处理单元ex304对音频信号进行编码,并且视频信号处理单元ex305对视频信号进行编码。复用/解复用单元ex303对经编码的视频信号和音频信号进行复用,并向外部提供所产生的信号。当复用/解复用单元ex303对视频信号和音频信号进行复用时,信号可以暂时存储在缓冲器ex320和ex321及其它中,从而信号被彼此同步地重现。在本文中,缓冲器ex318、ex319、ex320和ex321可以是如图所示的多个,或者可以在电视机ex300中共享至少一个缓冲器。另外,数据可以存储在缓冲器中,从而避免例如,调制/解调单元ex302与复用/解复用单元ex303之间的系统上溢和下溢。
另外,电视机ex300可以包括这样的配置:用于从麦克风或摄像机接收AV输入(不同于从广播或记录介质获得音频和视频数据的配置),并且可以对所获得的数据进行编码。虽然在本说明书中,电视机ex300可以编码、复用并向外部提供数据,但其可以仅能够接收、解码并向外部提供数据,而不能够编码、复用并向外部提供数据。
另外,当读取器/记录器ex218从记录介质读取数据或者在记录介质上写入数据时,电视机ex300和读取器/记录器ex218中的一个可以对复用数 据进行解码或编码,并且电视机ex300和读取器/记录器ex218可以共享解码或编码。
作为示例,图16示出了当从光盘读取数据或者在光盘上写入数据时信息重现/记录单元ex400的配置。信息重现/记录单元ex400包括要在下文中描述的组成元件ex401、ex402、ex403、ex404、ex405、ex406和ex407。光学头ex401在是光盘的记录介质ex215的记录表面中照射激光点以用于写入信息,并检测来自记录介质ex215的记录表面的反射光来读取信息。调制记录单元ex402电驱动包括在光学头ex401中的半导体激光器,并且根据所记录的数据对激光进行调制。重现解调单元ex403对通过使用包括在光学头ex401中的光检器电检测来自记录表面的反射光而获得的重现信号进行放大,并通过对记录在记录介质ex215上的信号分量进行分离来对重现信号进行解调以便重现必要信息。缓冲器ex404暂时保持要被记录在记录介质ex215上的信息以及从记录介质ex215重现的信息。盘式电动机ex405旋转记录介质ex215。伺服控制单元ex406将光学头ex401移动到预先确定的信息轨道,同时控制盘式电动机ex405的旋转驱动以便跟随激光点。系统控制单元ex407控制整个信息重现/记录单元ex400。读和写过程可以通过以下部件实现:使用存储在缓冲器ex404中的各种信息并且在必要时生成和添加新的信息的系统控制单元ex407,以及通过调制记录单元ex402,重现解调单元ex403,和通过光学头ex401记录并重现信息同时以协调的方式操作的伺服控制单元ex406。例如,系统控制单元ex407包括微处理器,并且通过使计算机执行用于读和写的程序来执行处理。
虽然在本说明书中光学头ex401照射激光点,但其可以使用近场光来执行高密度记录。
图17示出了是光盘的记录介质ex215。在记录介质ex215的记录表面上,螺旋地形成引导槽,并且信息轨道ex230根据引导槽的形状的变化事先记录用于指示盘上的绝对位置的地址信息。地址信息包括:用于确定是用于记录数据的单元的记录块ex231的位置的信息。在记录和重现数据的装置中重现信息轨道ex230并读取地址信息可以导致记录块的位置的确定。另外,记录介质ex215包括:数据记录区域ex233、内圆周区域ex232和外圆周区域ex234。数据记录区域ex233是用于记录用户数据的区域。在数据 记录区域ex233内部和外部的内圆周区域ex232和外圆周区域ex234分别用于除了记录用户数据以外的特定用途。信息重现/记录单元400从记录介质ex215的数据记录区域ex233读取和在其上写入经编码的音频、经编码的视频数据、或者通过对经编码的音频和视频数据进行复用而得到的复用数据。
虽然在本说明书中作为示例描述了具有层的光盘(诸如DVD和BD),但光盘并不局限于此,并且可以是具有多层结构并能够被记录在不同于表面的部分上的光盘。另外,光盘可具有用于多维记录/重现(例如在光盘的相同部分中使用具有不同波长的光的颜色对信息进行记录)、以及用于从各个角度记录具有不同的层的信息的结构。
另外,在数字广播系统ex200中,具有天线ex205的汽车ex210可以从卫星ex202等接收数据,并且在显示设备(例如设置在汽车ex210中的汽车导航系统ex211)上再现视频。在这里,汽车导航系统ex211的配置将是例如包括来自图15中所示的配置的GPS接收单元的配置。对于计算机ex111、蜂窝电话ex114等的配置来说也是如此。
图18A示出了使用在实施例中描述的运动图片编码方法和运动图片解码方法的蜂窝电话ex114。蜂窝电话ex114包括:用于通过基站ex110来发送和接收无线电波的天线ex350;能够捕捉运动和静止图像的摄像机单元ex365;以及用于显示数据(例如由摄像机单元ex365捕捉的或者由天线ex350接收的经解码的视频)的显示器单元ex358(例如液晶显示器)。蜂窝电话ex114还包括:包括操作键单元ex366的主体单元;用于音频输出的音频输出单元ex357(例如扬声器);用于音频输入的音频输入单元ex356(例如麦克风);用于存储捕捉到的视频或静止图像、录制的音频、接收到的视频的经编码或解码的数据、静止图片、电子邮件等的存储器单元ex367;以及槽单元ex364,其是用于以与存储器单元ex367相同的方式存储数据的记录介质的接口单元。
接下来,将参考图18B来描述蜂窝电话ex114的配置的示例。在蜂窝电话ex114中,被设计为对包括显示器单元ex358以及操作键单元ex366的主体的各个单元进行总体控制的主控制单元ex360经由同步总线ex370相互连接到电源电路单元ex361、操作输入控制单元ex362、视频信号处理单元ex355、摄像机接口单元ex363、液晶显示器(LCD)控制单元ex359、 调制/解调单元ex352、复用/解复用单元ex353、音频信号处理单元ex354、槽单元ex364以及存储器单元ex367。
当呼叫结束键或电源键通过用户的操作接通时,电源电路单元ex361向各个单元提供来自电池组的电力,从而激活手机ex114。
在蜂窝电话ex114中,在包括CPU、ROM和RAM的主控制单元ex360的控制下,音频信号处理单元ex354将由音频输入单元ex356在语音通话模式中收集到的音频信号转换成数字音频信号。然后,调制/解调单元ex352对数字音频信号进行扩频处理,并且发送和接收单元ex351对数据进行数模转换和频率转换,以便经由天线ex350发送所产生的数据。另外,在蜂窝电话ex114中,发送和接收单元ex351对由天线ex350在语音通话模式中接收到的数据进行放大,并对数据进行频率转换和模数转换。然后,调制/解调单元ex352对数据进行反扩频处理,并且音频信号处理单元ex354将其转换成模拟音频信号,以便经由音频输出单元ex357来对其进行输出。
另外,当在数据通信模式中发送电子邮件时,通过对主体的操作键单元ex366等进行操作而输入的电子邮件的文本数据经由操作输入控制单元ex362送出到主控制单元ex360。主控制单元ex360使调制/解调单元ex352对文本数据进行扩频处理,并且发送和接收单元ex351对所产生的数据进行数模转换和频率转换,以便经由天线ex350向基站ex110发送数据。当接收到电子邮件时,对所接收的数据执行与用于发送电子邮件的处理基本相反的处理,并向显示器单元ex358提供所产生的数据。
当在数据通信模式中发送视频、静止图像或视频和音频时,视频信号处理单元ex355使用各个实施例中所示的运动图片编码方法对从摄像机单元ex365提供的视频信号进行压缩和编码(即,用作根据本发明的方案的图像编码装置),并向复用/解复用单元ex353发送经编码的视频数据。相反,在摄像机单元ex365捕捉视频、静止图像等期间,音频信号处理单元ex354对由音频输入单元ex356收集的音频信号进行编码,并向复用/解复用单元ex353发送经编码的音频数据。
复用/解复用单元ex353使用预先确定的方法,对从视频信号处理单元ex355提供的经编码的视频数据以及从音频信号处理单元ex354提供的经编码的音频数据进行复用。然后,调制/解调单元(调制/解调电路单元)ex352 对复用数据进行扩频处理,并且发送和接收单元ex351对数据进行数模转换和频率转换,以便经由天线ex350来发送所产生的数据。
当在数据通信模式中接收链接到网页的视频文件等时,或者当接收附有视频和/或音频的电子邮件时,为了对经由天线ex350接收到的复用数据进行解码,复用/解复用单元ex353将复用数据解复用成视频数据比特流和音频数据比特流,并且通过同步总线ex370向视频信号处理单元ex355提供经编码的视频数据以及向音频信号处理单元ex354提供经编码的音频数据。视频信号处理单元ex355使用与各个实施例中示出的运动图片编码方法相对应的运动图片解码方法对视频信号进行解码(即,用作根据本发明的方案的图像解码装置),然后显示器单元ex358经由LCD控制单元ex359显示例如包括在链接到网页的视频文件中的视频和静止图像。另外,音频信号处理单元ex354对音频信号进行解码,并且音频输出单元ex357提供音频。
另外,与电视机ex300类似,例如蜂窝电话ex114的终端可能具有3种类型的实现配置,其不仅包括(i)包括编码装置和解码装置二者的发送和接收终端,还包括(ii)仅包括编码装置的发送终端以及(iii)仅包括解码装置的接收终端。虽然在本说明书中,数字广播系统ex200接收并发送通过将音频数据复用到视频数据上获得的复用数据,但复用数据可以并不是通过将音频数据复用而是通过将与视频相关的字符数据复用到视频数据上而获得的,并且可以不是复用数据,而是视频数据本身。
因此,在每一个实施例中的运动图片编码方法和运动图片解码方法可以用于所描述的设备和系统中的任意一个。因此,可以获得在每一个实施例中描述的优点。
另外,本发明并不局限于这些实施例,并且在不脱离本发明的范围的前提下,各种修改和修订是可能的。
(实施例B)
可以通过根据需要在下列各项之间进行切换来生成视频数据:(i)在各个实施例中示出的运动图片编码方法或运动图片编码装置以及(ii)符合不同标准(诸如MPEG-2、MPEG-4AVC和VC-1)的运动图片编码方法或运动图片编码装置。
在本文中,当生成符合不同标准的多个视频数据并随后对其进行解码 时,需要选择解码方法以符合不同的标准。然而,由于无法检测要解码的多个视频数据中的每一个视频数据符合哪种标准,因此存在无法选择合适的解码方法的问题。
为了解决该问题,通过将音频数据等复用到视频数据上而获得的复用数据具有包括用来指示视频数据所符合的标准的识别信息的结构。将在下文中描述包括在各个实施例中示出的运动图片编码方法中以及通过运动图片编码装置生成的视频数据的复用数据的这种特定结构。复用数据是MPEG-2传输流格式的数字流。
图19示出了复用数据的结构。如图19中所示,复用数据可以通过对视频流、音频流、展示图形流(PG)和交互图形流中的至少一个进行复用来获得。视频流表示电影的主要视频和次要视频,音频流(IG)表示主要音频部分和要与主要音频部分相混合的次要音频部分,并且展示图形流表示电影的字幕。在本文中,主要视频是要显示在屏幕上的正常视频,而次要视频是要显示在主要视频中的较小窗口上的视频。另外,交互图形流表示通过在屏幕上布置GUI组件而生成的交互屏幕。视频流是在各个实施例中示出的运动图片编码方法中或通过运动图片编码装置进行编码的,或者通过符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1的)运动图片编码方法或运动图片编码装置进行编码的。音频流是根据诸如杜比AC-3、杜比数字增强版、MLP、DTS、DTS-HD和线性PCM的标准编码的。
包括在复用数据中的每一个流是通过PID识别的。例如,0x1011被分配给用于电影的视频的视频流,0x1100至0x111F被分配给音频流,0x1200至0x121F被分配给展示图形流,0x1400至0x141F被分配给交互图形流,0x1B00至0x1B1F被分配给用于电影的次要视频的视频流,并且0x1A00至0x1A1F被分配给用于要与主要音频相混合的次要音频的音频流。
图20示意性地示出了数据是如何进行复用的。首先,将由视频帧组成的视频流ex235和由音频帧组成的音频流ex238分别变换成PES分组ex236的流和PES分组ex239的流,并进一步变换成TS分组ex237和TS分组ex240。类似地,将展示图形流ex241的数据和交互图形流ex244的数据分别变换成PES分组ex242的流和PES分组ex245的流,并进一步变换成TS分组ex243和TS分组ex246。将这些TS分组复用成流以便获得复用数据 ex247。
图21更加详细地示出了视频流怎样存储在PES分组的流中。图21中的第一栏示出了视频流中的视频帧流。第二栏示出了PES分组的流。如同由图21中标注为yy1、yy2、yy3和yy4的箭头所指示的,视频流被划分成作为I图片、B图片、和P图片的图片,这些图片中的每一个图片均是视频展示单元,并且这些图片存储在PES分组中的每一个中的有效载荷中。每一个PES分组具有PES头部,并且PES头部存储用来指示图片的显示时间的展示时间戳(PTS),以及用来指示图片的解码时间的解码时间戳(DTS)。
图22示出了最终写到复用数据上的TS分组的格式。每一个TS分组是188字节的固定长度分组,其包括具有信息(诸如用于识别流的PID)的4字节TS头部以及用于存储数据的184字节的TS有效载荷。对PES分组进行划分并分别将其存储在TS有效载荷中。当使用BD ROM时,赋予每一个TS分组4个字节的TP_Extra_Header,从而造成192字节的源分组。向复用数据上写入源分组。TP_Extra_Header存储诸如Arrival_Time_Stamp(ATS)的信息。ATS示出向PID滤波器传输每一个TS分组的传输开始时间。源分组如图22的底部所示布置在复用数据中。从复用数据的头部递增的数量被称为源分组数量(SPN)。
包括在复用数据中的每一个TS分组不仅包括音频、视频、字幕等的流,还包括节目关联表(PAT)、节目映射表(PMT)以及节目时钟参考(PCR)。PAT示出复用数据中使用的PMT中的PID所指示的内容,并且PAT的PID本身登记为零。PMT存储包括在复用数据中的音频、视频、字幕等的流的PID以及与PID相对应的这些流的属性信息。PMT还具有与复用数据相关的各种描述符。这些描述符具有例如用来显示是否允许复制复用数据的复制控制信息的信息。PCR存储与示出何时将PCR分组传输到解码器的ATS相对应的STC时间信息,以便实现到达时间时钟(ATC)(其是ATS的时间轴)与系统时间时钟(STC)(其是PTS和DTS的时间轴)之间的同步。
图23详细地示出了PMT的数据结构。PMT头部布置在PMT的顶部。PMT头部描述包括在PMT中的数据的长度等。与复用数据相关的多个描述符布置在PMT头部之后。在描述符中描述了诸如复制控制信息的信息。在描述符之后,布置了与包括在复用数据中的流相关的多条流信息。每条流 信息包括分别描述信息(诸如用于识别流的压缩编解码器的流类型、流PID以及流属性信息(如帧速率或纵横比))的流描述符。流描述符在数量上与复用数据中的流的数量相等。
当复用数据记录在记录介质等上时,其与复用数据信息文件一起记录。
每个复用数据信息文件是如图24中所示的复用数据的管理信息。复用数据信息文件与复用数据一一对应,并且每一个文件均包括复用数据信息、流属性信息以及条目映射。
如图24中所示,复用数据信息包括系统速率、重现开始时间和重现结束时间。系统速率指示下面要描述的系统目标解码器向PID滤波器传输复用数据的最大传输速率。包括在复用数据中的ATS的间隔设置为不高于系统速率。重现开始时间在复用数据的头部处指示视频帧中的PTS。将一个帧的间隔添加到复用数据末尾处的视频帧中的PTS,并且将PTS设置为重现结束时间。
如图25中所示,对于包括在复用数据中的每一个流的每一个PID,一条属性信息被登记在流属性信息中。依赖于对应的流是视频流、音频流、展示图形流还是交互图形流,每一条属性信息具有不同的信息。每条视频流属性信息携带包括哪种压缩编解码器用于对视频流进行压缩、以及包括在视频流中的各条图片数据的分辨率、纵横比和帧速率的信息。每条音频流属性信息携带包括哪种压缩编解码器用于对音频流进行压缩、音频流中包括多少条信道、音频流支持哪种语言以及采样频率为多高的信息。视频流属性信息和音频流属性信息用于在播放器对信息进行回放之前对解码器进行初始化。
在本文的实施例中,要使用的复用数据是包括在PMT中的流类型的。另外,当复用数据记录在记录介质上时,使用包括在复用数据信息中的视频流属性信息。更具体地,在各个实施例中描述的运动图片编码方法或运动图片编码装置包括:用于向包括在PMT的流类型或视频流属性信息分配指示通过各个实施例中的运动图片编码方法或运动图片编码装置生成的视频数据的唯一信息的步骤或单元。使用该配置,由各个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据可以与符合另一标准的视频数据区分开。
另外,图26示出了根据本文实施例的运动图片解码方法的步骤。在步骤exS100中,包括在PMT中的流类型或者包括在复用数据信息中的视频流属性信息是从复用数据获得的。接下来,在步骤exS101中,确定流类型或视频流属性信息是否指示复用数据是通过各个实施例中的运动图片编码方法或运动图片编码装置生成的。当确定流类型或视频流属性信息指示复用数据是通过各个实施例中的运动图片编码方法或运动图片编码装置生成的,那么在步骤exS102中,通过各个实施例中的运动图片解码方法执行解码。另外,当流类型或视频流属性信息指示符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1),那么在步骤exS103中,通过符合常规标准的运动图片解码方法执行解码。
从而,向流类型或视频流属性信息分配新的唯一值使得能够确定各个实施例中描述的运动图片解码方法或运动图片解码装置是否可以执行解码。甚至当输入符合不同标准的复用数据时,可以选择合适的解码方法或装置。因此,可以在没有任何错误的情况下对信息进行解码。另外,本文的实施例中的运动图片编码方法或装置、或者运动图片解码方法或装置可以用于上述设备和系统。
(实施例C)
各个实施例中的运动图片编码方法、运动图片编码装置、运动图片解码方法和运动图片解码装置中的每一个通常以集成电路或大规模集成(LSI)电路的形式来实现。作为LSI的示例,图27示出了被制成一个芯片的LSI ex500的配置。LSI ex500包括下面将要描述的元件ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508以及ex509,并且这些元件通过总线ex510彼此连接。当电源电路单元ex505开启时,电源电路单元ex505通过向各个元件供电而激活。
例如,当进行编码时,在包括CPU ex502、存储器控制器ex503、流控制器ex504和驱动频率控制单元ex512的控制单元ex501的控制下,LSI ex500通过AV IO ex509从麦克风ex117、摄像机ex113等接收AV信号。所接收的AV信号暂时存储在外部存储器ex511(例如SDRAM)中。在控制单元ex501的控制下,根据处理量和要向信号处理单元ex507发送的速度将存储的数据划分成数据部分。然后,信号处理单元ex507对音频信号和/或 视频信号进行编码。在本文中,视频信号的编码是各个实施例中描述的编码。另外,信号处理单元ex507有时对经编码音频数据和经编码视频数据进行复用,并且流IO ex506向外部提供复用数据。所提供的复用数据被发送到基站ex107或写到记录介质ex215上。当数据集合被复用时,数据应该暂时存储在缓冲器ex508中,从而使得数据集合彼此同步。
虽然存储器ex511是LSI ex500外部的元件,但其可以包括在LSI ex500中。缓冲器ex508不局限于一个缓冲器,而是可以由多个缓冲器组成。另外,LSI ex500可以被制成一个芯片或多个芯片。
另外,虽然控制单元ex501包括CPU ex502、存储器控制器ex503、流控制器ex504、驱动频率控制单元ex512,但控制单元ex501的配置并不局限于此。例如,信号处理单元ex507还可以包括CPU。信号处理单元ex507中包括另一个CPU可以提升处理速度。另外,作为另一个示例,CPU ex502可以用作或者是信号处理单元ex507的一部分,并且例如,可以包括音频信号处理单元。在这种情况下,控制单元ex501包括信号处理单元ex507或者包括信号处理单元ex507的一部分的CPU ex502。
本文中使用的名称是LSI,但也可以根据集成度的不同将其称为IC、系统LSI、超级LSI、超大规模LSI。
此外,实现集成的方法不限于LSI,并且特殊电路或通用处理器等也可以实现集成。可以在制造LSI之后进行编程的现场可编程门阵列(FPGA)、或者允许LSI的连接或配置的重新配置的可重新配置的处理器可以用于相同的目的。
在未来,随着半导体技术的进步,全新的技术可能会取代LSI。可以使用这样的技术来集成功能块。本发明有可能应用于生物技术。
(实施例D)
当对在各个实施例中描述的运动图片编码方法中或通过运动图片编码装置生成的视频数据进行解码时,与对符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)的视频数据进行解码相比,很可能增加了处理量。因此,与对符合常规标准的视频数据进行解码所使用的CPU ex502的驱动频率相比,需要将LSI ex500设置为较高的驱动频率。然而,当驱动频率设置地较高时,存在功耗增加的问题。
为了解决该问题,诸如电视机ex300和LSI ex500的运动图片解码装置被配置为:确定视频数据所符合的标准,并且根据所确定的标准在驱动频率之间进行切换。图28示出了本实施例中的配置ex800。当视频数据通过各个实施例中描述的运动图片编码方法或运动图片编码装置生成时,驱动频率切换单元ex803将驱动频率设置为较高的驱动频率。然后,驱动频率切换单元ex803指示执行各个实施例中描述的运动图片解码方法的解码处理单元ex801对视频数据进行解码。当视频数据符合常规标准时,与通过各个实施例中描述的运动图片编码方法或运动图片编码装置生成的视频数据的驱动频率相比,驱动频率切换单元ex803将驱动频率设置为较低的驱动频率。然后,驱动频率切换单元ex803指示符合常规标准的解码处理单元ex802对视频数据进行解码。
更具体地,驱动频率切换单元ex803包括图27中的CPU ex502和驱动频率控制单元ex512。在本文中,执行各个实施例中描述的运动图片解码方法的解码处理单元ex801以及符合常规标准的解码处理单元ex802中的每一个与图27中的信号处理单元ex507相对应。CPU ex502确定视频数据所符合的标准。然后,驱动频率控制单元ex512基于来自CPU ex502的信号来确定驱动频率。另外,信号处理单元ex507基于来自CPU ex502的信号对视频数据进行解码。例如,实施例B中描述的识别信息很可能用于识别视频数据。识别信息并不局限于实施例B中所描述的,而是可以是任意信息,只要该信息指示视频数据所符合的标准。例如,当可以基于用于确定视频数据用于电视机或磁盘等的外部信号来确定视频数据所符合的标准时,可以基于这样的外部信号而做出所述确定。另外,CPU ex502例如基于如图30中所示的视频数据的标准与驱动频率相关联的查找表来选择驱动频率。可以通过将查找表存储在缓冲器ex508中以及LSI的内部存储器中,并且通过CPU ex502参考查找表来选择驱动频率。
图29示出了用于执行本文的实施例中的方法的步骤。首先,在步骤exS200中,信号处理单元ex507从复用数据获得识别信息。接下来,在步骤exS201中,CPU ex502基于识别信息来确定视频数据是否是通过各个实施例中描述的编码方法和编码装置生成的。当视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的时,在步骤exS202中, CPU ex502向驱动频率控制单元ex512发送用于将驱动频率设置为较高驱动频率的信号。然后,驱动频率控制单元ex512将驱动频率设置为较高的驱动频率。另一方面,当识别信息指示视频数据符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)时,在步骤exS203中,CPU ex502向驱动频率控制单元ex512发送用于将驱动频率设置为较低驱动频率的信号。然后,与视频数据是通过各个实施例中描述的运动图片编码方法和运动图片编码装置生成的情况相比,驱动频率控制单元ex512将驱动频率设置为较低的驱动频率。
另外,连同驱动频率的切换,可以通过改变施加于LSI ex500或包括LSI ex500的装置的电压来提升功率节省效果。例如,当将驱动频率设置得较低时,与驱动频率设置得较高情况下的电压相比,施加于LSI ex500或包括LSI ex500的装置的电压很可能设置为较低的电压。
另外,对于用于设置驱动频率的方法来说,当用于解码的处理量较大时,可以将驱动频率设置较高,并且当用于解码的处理量较小时,可以将驱动频率设置较低。因此,设置方法不局限于上述那些方法。例如,当与用于对由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的视频数据进行解码的处理量相比,用于对符合MPEG-4AVC的视频数据进行解码的处理量较大时,驱动频率很可能以与上述设置相反的顺序来设置。
另外,用于设置驱动频率的方法并不局限于用于将驱动频率设置较低的方法。例如,当识别信息指示视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的,那么施加于LSI ex500或包括LSI ex500的装置的电压很可能设置得较高。当识别信息指示视频数据符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)时,施加于LSI ex500或包括LSI ex500的装置的电压很可能设置得较低。作为另一个示例,当识别信息指示视频数据是由各个实施例中描述的运动图片编码方法和运动图片编码装置生成的,那么CPU ex502的驱动很可能并不需要暂停。当识别信息指示视频数据符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)时,CPU ex502的驱动很可能在给定的时间暂停,因为CPU ex502具有额外的处理容量。甚至,当识别信息指示视频数据是由各个实施例中描述的运动 图片编码方法和运动图片编码装置生成的时,在CPU ex502具有额外的处理容量的情况下,CPU ex502的驱动很可能在给定的时间暂停。在这样的情况下,与识别信息指示视频数据符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)的情况相比,暂停时间很可能设置的较短。
因此,可以通过根据视频数据所符合的标准在驱动频率之间进行切换来提升功率节省效果。另外,当LSI ex500或包括LSI ex500的装置使用电池驱动时,在具有功率节省效果的情况下可以延长电池寿命。
(实施例E)
存在将符合不同标准的多个视频数据提供给设备和系统(诸如电视机和蜂窝电话)的情况。为了能够对符合不同标准的多个视频数据进行解码,LSI ex500的信号处理单元ex507需要符合不同的标准。然而,LSI ex500的电路规模增加和成本增加的问题随着符合各个标准的信号处理单元ex507的相应使用而出现。
为了解决该问题,构想了以下配置:用于实现各个实施例中描述的运动图片解码方法的解码处理单元与符合常规标准(诸如MPEG-2、MPEG-4AVC和VC-1)的解码处理单元部分共享。图31A中的ex900示出了该配置的示例。例如各个实施例中描述的运动图片解码方法与符合MPEG-4AVC的运动图片解码方法具有部分为公共的处理细节,诸如熵编码、反量化、去块滤波和运动补偿预测。待共享的处理细节很可能包括使用符合MPEG-4AVC的解码处理单元ex902。相反,专用解码处理单元ex901很可能用于对本发明的方案特有的其它处理。例如,由于本发明的方案尤其以反量化为特征,因此专用解码处理单元ex901用于反量化。否则,很可能针对熵解码、去块滤波和运动补偿中的一个或者这些处理中的全部对解码处理单元进行共享。可以针对要共享的处理来对用于实现各个实施例中描述的运动图片解码方法的解码处理单元进行共享,并且专用解码处理单元可以用于对MPEG-4AVC的专用解码处理单元特有的处理。
另外,图31B中的ex1000示出了部分共享处理的另一个示例。该示例使用包括下列各项的配置:支持对本发明的某个方案特有的处理的专用解码处理单元ex1001,支持另一个常规标准特有的处理的专用解码处理单元ex1002,以及支持在根据本发明的方案的运动图片解码方法与常规运动图 片解码方法之间共享的处理的解码处理单元ex1003。在本文中,专用解码处理单元ex1001和ex1002不一定分别专门针对根据本发明的方案的处理和常规标准的处理,并且可以是能够实现一般处理的解码处理单元。另外,本文的实施例的配置可以由LSI ex500实现。
因此,通过针对要在根据本发明的方案的运动图片解码方法与符合常规标准的运动图片解码方法之间共享的处理来共享解码处理单元,减小LSI的电路的规模和降低成本是可能的。
本领域技术人员将明白的是:在不脱离宽泛描述的本发明的精神或范围的前提下,可以对具体实施例中示出的本发明进行多种变化和/或修改。因此,本文的实施例应该在各个方面被认为是说明性的而非限制性的。
工业实用性
本发明适用于对音频、静止图像和视频进行编码的编码装置,以及对由编码装置编码的数据进行解码的解码装置。例如,本发明适用于诸如音频设备、蜂窝电话、数码摄像机、BD记录器以及数字电视机的各种视听设备。

使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf_第1页
第1页 / 共51页
使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf_第2页
第2页 / 共51页
使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf_第3页
第3页 / 共51页
点击查看更多>>
资源描述

《使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf》由会员分享,可在线阅读,更多相关《使用时间运动矢量预测对视频进行编码和解码的方法和装置.pdf(51页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104094604A43申请公布日20141008CN104094604A21申请号201380005801022申请日2013011661/589,26120120120USH04N19/52201401H04N19/46201401H04N19/44201401H04N19/172201401H04N19/3020140171申请人松下电器美国知识产权公司地址美国加利福尼亚72发明人乃苏孟德袁明亮林宗顺孙海威温觉觉西孝启笹井寿郎柴原阳司杉尾敏康谷川京子松延彻寺田健吾74专利代理机构永新专利商标代理有限公司72002代理人张晰王英54发明名称使用时间运动矢量预测对视频进行编。

2、码和解码的方法和装置57摘要一种用于利用时间运动矢量预测将视频编码成经编码的视频比特流的方法,所述方法包括确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;以及将所述标志写入子图片单元的头部或图片的头部;其中,如果标志指示使用了时间运动矢量预测,那么所述方法还包括创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;针对所述子图片单元中的预测单元,从第一列表中选择运动矢量预测符;以及将第一参数写入经编码的视频比特流来指示从第一列表中所选择的运动矢量预测符,其中。

3、,如果标志指示未使用时间运动矢量预测,那么所述方法还包括创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对子图片单元中的预测单元从第一列表中选出运动矢量预测符。将第二参数写入经编码的视频比特流来指示从第二列表中所选择的运动矢量预测符。此外,提供了用于对经编码的视频进行解码的方法以及用于对视频进行编码和解码的相应装置。30优先权数据85PCT国际申请进入国家阶段日2014071786PCT国际申请的申请数据PCT/JP2013/0001502013011687PCT国际申请的公布数据WO2013/108616EN2013072551INTCL权利要求书4页。

4、说明书24页附图22页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书24页附图22页10申请公布号CN104094604ACN104094604A1/4页21一种利用时间运动矢量预测将视频编码到经编码的视频比特流中的方法,所述方法包括确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;将具有所述值的标志写入所述子图片单元的头部或所述图片的头部;并且其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少。

5、一个时间运动矢量预测符;针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。2根据权利要求1所述的方法,其中,如果所述标志指示未使用时间运动矢量预测,则所述方法还包括创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;针对所述子图片单元中的预测单元,从所述第二列表中选择运动矢量预测符;以及将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。3根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片的时间层确定的。4根据权利要求3。

6、所述的方法,其中,如果确定所述图片的所述时间层是最低层或基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。5根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片的图片顺序计数POC值确定的。6根据权利要求5所述的方法,其中,如果确定所述图片的所述POC值大于解码器图片缓冲器DPB中的参考图片的任意POC值,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。7根据权利要求1或2所述的方法,其中,所述标志的值是基于所述图片中的图片间子图片单元的子图片单元类型确定的。8根据权利要求。

7、7所述的方法,其中,如果所述子图片单元类型是预测性P类型,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。9根据权利要求1或2所述的方法,其中,所述标志的值是基于包含所述子图片单元的所述图片是否是随机接入点RAP图片来确定的。10根据权利要求9所述的方法,其中,如果所述图片是RAP图片并且所述子图片单元属于所述图片的非基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。权利要求书CN104094604A2/4页311根据权利要求1至10中任意一项所述的方法,其中,所述标志被写入所述子图。

8、片单元的头部。12根据权利要求1至11中任意一项所述的方法,其中所述方法还包括将一个或多个参数写入所述子图片单元的头部,以便指定在用于子图片单元的图片间预测的一个或多个参考图片列表中的参考图片的顺序。13根据权利要求1至12中任意一项所述的方法,其中,所述方法还包括使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测单元;从原始采样块中减去所述预测单元以便产生剩余采样块;以及将与预测单元相对应的剩余采样块编码到所述经编码的视频比特流中。14根据权利要求1至13中任意一项所述的方法,其中,所述第二列表包括比所述第一列表少一个的运动矢量预测符,并且除了所述时间运动矢量预测符,所述第。

9、一列表和第二列表的所述运动矢量预测符是相同的。15根据权利要求1至14中任意一项所述的方法,其中,所述第一参数和第二参数在所述经编码的视频比特流中是使用不同的预先确定的比特表示来表示的。16根据权利要求1至13中任意一项所述的方法,其中,所述第一列表和第二列表包括相同的预先确定的数量的运动矢量预测符,并且所述第二列表包括并不存在于所述第一列表中且是在未使用来自任何参考图片的运动矢量的情况下推导出的运动矢量预测符。17根据权利要求1至16中任意一项所述的方法,其中,所述标志用于指示针对独立于所述图片中的其它子图片单元的子图片单元的所述图片间预测,使用还是未使用时间运动矢量预测。18根据权利要求1。

10、至17中任意一项所述的方法,其中,所述子图片单元是图片的切片。19一种利用时间运动矢量预测对经编码的视频比特流进行解码的方法,所述方法包括对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及确定所述标志指示使用还是未使用时间运动矢量预测;其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量。

11、预测符。20根据权利要求19所述的方法,其中,如果所述标志指示未使用时间运动矢量预测,则所述方法还包括创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。权利要求书CN104094604A3/4页421一种利用时间运动矢量预测将视频编码成经编码的视频比特流的装置,所述装置包括控制单元,其可操作用于确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;写单元,其可操作用于将具有所述值的标志写入所述子。

12、图片单元的头部或所述图片的头部;运动矢量预测单元;以及图片间预测单元,其用于基于从所述运动矢量预测单元中所选择的运动矢量预测符来执行图片间预测,其中,所述运动矢量预测单元被配置为接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及所述写单元还可操作用于将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。22根据权利要求2。

13、1所述的装置,当所述标志是第二值时,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及所述写单元还可操作用于将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。23一种利用时间运动矢量预测对经编码的视频比特流进行解码的装置,所述装置包括解析单元,其可操作用于对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及确定所述标志指示使用还是未使用时间运动矢量预测;运动矢量预测单元;以及图片间预测单元,其用于基于从所述运。

14、动矢量预测单元中所选择的运动矢量预测符来执行图片间预测;其中,所述运动矢量预测单元被配置为接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;以及所述解析单元还可操作用于对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量预测符。24根据权利要求23所述的装置,其中,当所述标志是第二值时,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符而没有任。

15、何时间运动矢量预测符的运动矢量预测符的第二列表;以及权利要求书CN104094604A4/4页5所述解析单元还可操作用于对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。权利要求书CN104094604A1/24页6使用时间运动矢量预测对视频进行编码和解码的方法和装置技术领域0001本发明涉及使用时间运动矢量预测对视频进行编码的方法和对视频进行解码的方法,及其装置。本发明可以应用于任何多媒体数据编码,更具体地说,本发明可以应用于利用用于图片间预测的时间运动矢量预测来对图像和视频内容进行编码。背景技术0002诸如。

16、H264/MPEG4AVC以及即将到来的HEVC高效视频编码的视频编码方案根据之前编码/解码的参考图片使用图片间或者简称“间”预测来执行对图像/视频内容的编码/解码,以便利用跨越时间上连续的图片的信息冗余。0003在经编码的视频比特流中,用于预测单元例如采样的MN块的图片间预测处理的参考图片通过使用参考索引而被识别或参考。参考索引是包括一个或多个参考图片的有序列表称为参考图片列表的索引。每一个参考索引与参考图片列表中的参考图片唯一地相关联。也就是说,参考索引是用于对多个参考图片彼此进行区分的值。0004上述编码方案支持运动矢量的时间预测即,运动矢量预测或MVP,由此采样的目标块的运动矢量是根据。

17、共置的参考图片中的一个或多个之前编码的采样块的运动矢量进行预测的。时间运动矢量预测通过利用时间上相邻的运动矢量之间的信息冗余,进一步降低了与运动矢量相关联的比特速率。共置的参考图片是使用预先确定的方案在可用参考图片之中选择的,例如,在预先确定的参考图片列表例如参考图片列表0中选择第一参考图片作为共置的参考图片。0005在需要跨越有损环境传输视频的应用中,当共置的参考图片丢失或包含错误时,时间运动矢量预测易受运动矢量的错误预测影响。在处于发展中的HEVC标准中,公开了一种用于禁用某一子图像单元例如,切片的时间运动矢量预测的技术。JCTVCG398,“HIGHLEVELSYNTAXMARKINGP。

18、ROCESSFORNONTMVPPICTURES“,ITUTSG16WP3和ISO/IECJTC1/SC29/WG11第七次会议的视频编码联合协作小组JCTVC,日内瓦,CH,2011年11月。在该技术中,有必要在图片参数集PPS中引入用于将解码器图片缓冲器DPB中的图片标记为“未用于时间运动矢量预测”的标记标志。当子图片单元指的是具有等于“真TRUE”的标记标志的PPS时,该标记处理由解码器执行。0006参考文献列表0007非专利文献0008NPL1ISO/IEC1449610,“MPEG4PART10ADVANCEDVIDEOCODING“0009NPL2JCTVCG398,“HIGHLE。

19、VELSYNTAXMARKINGPROCESSFORNONTMVPPICTURES“,ITUTSG16WP3和ISO/IECJTC1/SC29/WG11第七次会议的视频编码联合协作小组JCTVC,日内瓦,CH,2011年11月。发明内容说明书CN104094604A2/24页70010技术问题0011如背景技术中所述,在用于禁用某些切片的时间运动矢量预测的公开技术中,有必要在图片参数集PPS中引入标记标志用于将解码器图片缓冲器DPB中的图片标记为“不用于时间运动矢量预测”。与该技术相关联的一个主要问题是当调用标记处理的切片丢失或包含错误时,解码器不能执行预期的标记处理。从而,失去了随后的编码器。

20、与解码器之间的同步。因此用于禁用时间运动矢量预测的上述技术不是鲁棒的。0012问题的解决方案0013本发明寻求提供具有提升的容错性的用于利用时间运动矢量预测对视频进行编码和解码的方法和装置。具体而言,以不容易受错误影响的方式来启用/禁用针对子图片单元例如,切片的时间运动矢量预测。例如,根据本发明的实施例,消除由解码器执行的上述标记处理即,用于将参考图片标记为“不用于时间运动矢量预测”。0014根据本发明的第一方案,提供了一种利用时间运动矢量预测将视频编码成经编码的视频比特流的方法,所述方法包括0015确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;0016。

21、将所述标志写入所述子图片单元的头部或所述图片的头部;并且0017其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括0018创建包括多个运动矢量预测符PREDICTOR的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;0019针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及0020将第一参数写入所述经编码的视频比特流来指示从所述第一列表中所选择的运动矢量预测符。0021优选地,如果所述标志指示未使用时间运动矢量预测,那么所述方法还包括0022创建包括多个运动矢量预测符而没有任何时间。

22、运动矢量预测符的运动矢量预测符的第二列表;0023针对所述子图片单元中的预测单元,从所述第二列表中选择运动矢量预测符;以及0024将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。0025在一个实施例中,所述标志的值是基于所述图片的时间层确定的。0026优选地,如果确定所述图片的所述时间层是最低层或基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。0027在另一个实施例中,所述标志的值是基于所述图片的图片顺序计数POC值确定的。0028优选地,如果确定所述图片的所述POC值大于解码器图片缓冲器DPB中的参。

23、考图片的任意POC值,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所说明书CN104094604A3/24页8述标志的值来指示使用了时间运动矢量预测。0029在又一个实施例中,所述标志的值是基于所述图片中的图片间子图片单元的子图片单元类型确定的。0030优选地,如果所述子图片单元类型是预测性P类型,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。0031在又一个实施例中,所述标志的值是基于包含所述子图片单元的所述图片是否是随机接入点RAP图片来确定的。0032优选地,如果所述图片是RAP图片并且所述子图片单元属于所述图片的非。

24、基层,那么设置所述标志的值来指示未使用时间运动矢量预测,否则,设置所述标志的值来指示使用了时间运动矢量预测。0033优选地,将所述标志写入所述子图片单元的所述头部。0034优选地,所述方法还包括将一个或多个参数写入所述子图片单元的头部,以便指定在用于子图片单元的图片间预测的一个或多个参考图片列表中的参考图片的顺序。0035优选地,所述方法还包括0036使用所选择的运动矢量预测符来执行运动补偿的图片间预测以便产生所述预测单元;0037从原始采样块中减去所述预测单元以便产生剩余采样块;以及0038将与预测单元相对应的剩余采样块编码成所述经编码的视频比特流。0039在一个实施例中,所述第二列表包括比。

25、所述第一列表少一个的运动矢量预测符,并且除了所述时间运动矢量预测符,所述第一和第二列表的所述运动矢量预测符是相同的。0040优选地,所述第一和第二参数在所述经编码的视频比特流中是使用不同的预先确定的比特表示来表示的。0041在另一个实施例中,所述第一和第二列表包括相同的预先确定的数量的运动矢量预测符,并且所述第二列表包括并不存在于所述第一列表中且是在未使用来自任何参考图片的运动矢量的情况下推导出的的运动矢量预测符。0042优选地,所述标志用于指示针对独立于所述图片中的其它子图片单元的子图片单元的所述图片间预测,使用还是未使用时间运动矢量预测。0043优选地,所述子图片单元是图片切片。0044根。

26、据本发明的第二方案,提供了一种利用时间运动矢量预测对经编码的视频比特流进行解码的方法,所述方法包括0045对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及0046确定所述标志指示使用还是未使用时间运动矢量预测;0047其中,如果所述标志指示使用了时间运动矢量预测,那么所述方法还包括0048创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;0049对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动矢量。

27、预测符。说明书CN104094604A4/24页90050优选地,如果所述标志指示未使用时间运动矢量预测,那么所述方法还包括0051创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及0052对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。0053根据本发明的第三方案,提供了一种利用时间运动矢量预测将视频编码成经编码的视频比特流的装置,所述装置包括0054控制单元,其可操作用于确定用于指示针对图片的子图片单元的图片间预测使用还是未使用时间运动矢量预测的标志的值;0055写单元。

28、,其可操作用于将具有所述值的标志写入所述子图片单元的头部或所述图片的头部;0056运动矢量预测单元;以及0057图片间预测单元,其用于基于从所述运动矢量预测单元选择的运动矢量预测符来执行图片间预测,0058其中,所述运动矢量预测单元被配置为接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及0059所述写单元还可操作用于将第一参数写入所述经编码的视频。

29、比特流来指示从所述第一列表中所选择的运动矢量预测符。0060优选地,当所述标志是第二值时,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及针对所述子图片单元中的预测单元,从所述第一列表中选择运动矢量预测符;以及0061所述写单元还可操作用于将第二参数写入所述经编码的视频比特流来指示从所述第二列表中所选择的运动矢量预测符。0062根据本发明的第四方案,提供了一种利用时间运动矢量预测对经编码的视频比特流进行解码的装置,所述装置包括0063解析单元,其可操作用于对来自经编码的视频的子图片单元的头部或者图片的头部的标志进行解析;以及确。

30、定所述标志指示使用还是未使用时间运动矢量预测;0064运动矢量预测单元;以及0065图片间预测单元,其用于基于从所述运动矢量预测单元中所选择的运动矢量预测符来执行图片间预测;0066其中,所述运动矢量预测单元被配置为接收所述标志,并且基于所述标志是第一值,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符的运动矢量预测符的第一列表,所述多个运动矢量预测符包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符;以及0067所述解析单元还可操作用于对来自所述经编码的视频比特流的第一参数进行解析,所述第一参数指示针对所述子图片单元中的预测单元从所述第一列表中所选择的运动说。

31、明书CN104094604A5/24页10矢量预测符。0068优选地,当所述标志是第二值时,所述运动矢量预测单元可操作用于创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的第二列表;以及0069所述解析单元还可操作用于对来自所述经编码的视频比特流的第二参数进行解析,所述第二参数指示针对所述子图片单元中的预测单元从所述第二列表中所选择的运动矢量预测符。0070本发明的有利效果0071本发明的实施例提供了具有图片间预测的提升的容错性的、用于使用时间运动矢量预测对视频进行编码和解码的方法和装置。例如,这些实施例还可以导致图片间预测的提升的灵活性和编码效率,因为可以针对同一个图片。

32、中的多个子图片单元来独立地启用和禁用时间运动矢量预测。附图说明0072图1描绘了根据本发明的实施例的示例性经编码的视频比特流的分解示意图;0073图2描绘了示出根据本发明的实施例的对视频进行编码的方法的流程图;0074图3描绘了用于对输入视频/图像比特流进行编码的示例性装置的示意性框图;0075图4描绘了示出根据本发明的实施例的对经编码的视频进行解码的方法的流程图;0076图5描绘了用于对输入的经编码的比特流进行解码的示例性装置的示意性框图;0077图6描绘了示出一组示例性图片的不同时间层的图;0078图7描绘了示出根据第一实施例确定时间运动矢量预测使用标志的值的方法的流程图;0079图8描绘。

33、了示出根据第二实施例确定时间运动矢量预测使用标志的值的方法的流程图;0080图9描绘了示出根据第三实施例确定时间运动矢量预测使用标志的值的方法的流程图;0081图10描绘了NAL单元流的图表示,即,用于经编码的视频比特流的一系列NAL单元;0082图11利用多个切片描绘了包含多个视图/层的示例性RAP图片的图表示;0083图12描绘了示出根据第四实施例确定时间运动矢量预测使用标志的值的方法的流程图;0084图13示出了用于实现内容分配服务的内容提供系统的总体配置;0085图14示出了数字广播系统的总体配置;0086图15示出了说明电视机的配置示例的框图。0087图16示出了说明从作为光盘的记录。

34、介质上读取信息以及在其上写入信息的信息复制/记录单元的配置示例的框图;0088图17示出了作为光盘的记录介质的配置的示例;0089图18A示出了蜂窝电话的示例;0090图18B是示出蜂窝电话的配置示例的框图;说明书CN104094604A106/24页110091图19示出了复用数据的结构;0092图20示意性地示出了在复用数据中每个流是怎样被复用的;0093图21更加详细地示出了视频流怎样存储在PES分组的流中;0094图22示出了TS分组的结构和在复用数据中的源分组;0095图23示出了PMT的数据结构;0096图24示出了复用数据信息的内部结构;0097图25示出了流属性信息的内部结构;。

35、0098图26示出了用于识别视频数据的步骤;0099图27示出了用于实现根据每一实施例的运动图片编码方法和运动图片解码方法的集成电路的配置的示例;0100图28示出了用于在驱动频率之间进行切换的配置;0101图29示出了用于识别视频数据以及在驱动频率之间进行切换的步骤;0102图30示出了在其中视频数据标准与驱动频率相关联的查找表的示例;0103图31A是示出用于对信号处理单元的模块进行共享的配置的示例的图;0104图31B是示出用于对信号处理单元的模块进行共享的配置的另一个示例的图。具体实施方式0105根据本发明的示例性实施例,提供了使用时间运动矢量预测TMVP对视频进行编码的方法和对视频进。

36、行解码的方法,及其装置。具体而言,以不易受错误影响的方式来启用/禁用针对子图片单元例如,切片的时间运动矢量预测。为了实现该目标,根据本发明的优选实施例,将标志引入到图片的头部中或者更优选地引入到子图片单元的头部中,以用于指示针对子图片单元的图片间或简称为“间”预测是否使用了时间运动矢量预测。该标志还可以被称为时间运动矢量预测使用标志。在本发明的另外的方面中,在各个实施例中公开了用于确定/决定标志的值的优选技术。0106为了清楚和简单起见,现在将对本发明的示例性实施例进行进一步的详细描述,由此子图片单元是图片的切片。本领域的技术人员将明白的是切片分割仅是用于将图片划分成多个子图片分区的一种可能的。

37、方法。因此,下文中描述的本发明的实施例不局限于子图片单元是切片。例如,诸如拼贴、熵片和波阵面分割单元的其它子图片分割方法都在本发明的范围之内。0107图1是根据本发明的实施例的示例性经编码的视频比特流100的分解示意图。经编码的视频比特流100包括头部110和与头部110相关联的多个图片112。通常将图片112分割成多个子图片单元例如,切片114。每一个切片114包括切片头部116和与切片头部116相关联的切片数据118。切片数据118包括多个图片间预测类型的预测单元120。0108在如图1中所示的示例性实施例中,用于指示针对切片114的图片间预测是否使用了时间运动矢量预测的标志122优选位于。

38、切片头部116中。因此,可以独立于同一图片112中的其它切片114来启用和禁用每一个切片114的时间运动矢量预测。切片头部116还包括用于规定一个或多个参考图片列表中的参考图片的顺序的参考图片列表排序参数124。这些参数124确定用于与切片头部116相关联或相对应的切片114的图片间预测的参考图片列表中的参考图片的有效或最终顺序。这些参数124可以规定要在一个或多个初说明书CN104094604A117/24页12始参考图片列表上执行的重新排序过程,或者可以规定在不进行重新排序的情况下使用初始参考图片列表。如图1中所示,标志122优选位于与参考图片列表排序参数124相同的切片头部116中。运动。

39、矢量预测符选择参数126位于每一个预测单元120中,用于在可用于预测单元120的图片间预测的多个运动矢量预测符中选择运动矢量预测符。0109在另一个实施例中,参考图片列表排序参数124和时间运动矢量预测使用标志122位于在同一图片112中的多个切片114之间共享的头部未示出中。例如,图片级别头部110可以是HEVC编码方案中的适应参数集合APS或公共切片片段头部。0110如同前文中所解释的,切片分割仅是用于将图片划分成多个子图片分区的一种可能的方法。可以使用其它可能的子图片分割方法,例如,拼贴、熵片和波阵面分割单元。在这些其它的子图片分割方法中,如前文中所述,位于切片头部116中的参数124和。

40、标志122反而可以位于子图片单元的头部中。0111图2描绘了示出根据本发明的实施例的对视频进行编码的方法200的流程图。在步骤S202中,将一个或多个参数即,参考图片列表排序参数124写入切片114的头部116中,以规定用于切片124的图片间预测的一个或多个参考图片列表中的参考图片的顺序。这些参考图片列表中的一个参考图片列表例如参考图片列表0中预先确定的位置例如第一图片指示共置的参考图片。在步骤S204中,确定指示针对切片124的图片间预测是否使用了时间运动矢量的标志122的值。将在后文根据本发明的各个实施例描述用于确定标志122的值的多种技术。随后在步骤S206中,将标志122写入切片114。

41、的头部116中。在步骤S208中,对标志122的值进行分析或判断以便确定标志122指示使用还是未使用时间运动矢量预测。例如,具有值“0”的标志122可以指示未使用时间运动矢量预测,而具有值“1”的标志122可以指示使用了时间运动矢量预测,或者反之亦然。0112如果标志122指示使用了时间运动矢量预测,那么在步骤S210中,创建运动矢量预测符的列表第一列表,其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符。仅通过示例的方式,多个运动矢量可以包括至少一个时间运动矢量预测符,从空间相邻的预测单元/块即,空间运动矢量预测符推导出的一个或多个运动。

42、矢量,以及零运动矢量。在步骤S212中,从运动矢量预测符的列表中选出运动矢量预测符用于切片124中的采样的目标块即预测单元120。在步骤214中,将参数即,运动矢量预测符选择参数例如,第一参数126写入经编码的视频比特流100即,写入切片114的预测单元120,以用于指示从运动矢量预测符的列表中选出的运动矢量预测符。0113另一方面,如果标志122指示未使用时间运动矢量预测,那么在步骤S216中,创建包括多个运动矢量预测符而没有任何时间运动矢量预测符的运动矢量预测符的列表例如,第二列表。在步骤S218中,从运动矢量预测符的列表中选出运动矢量预测符用于切片124中的采样的目标块即预测单元。在步骤。

43、S220中,将参数即,运动矢量预测符选择参数例如,第二参数写入经编码的视频比特流100即,写入与切片头部116相关联的切片数据118的每一个预测单元120,以用于指示从运动矢量预测符的列表中选出的运动矢量预测符。0114在步骤S214或步骤S220之后,使用所选择的运动矢量预测符针对切片214执行经运动补偿的图片间预测来产生预测采样块。随后,在步骤S226中,从原始采样块中减去说明书CN104094604A128/24页13预测采样块来产生剩余采样块。因此,在步骤S226中,将与目标块相对应的剩余采样块编码成经编码的视频比特流100。0115因此,在本发明的上述实施例中,用于指示是否使用了时间。

44、运动矢量预测的标志122能够独立于同一个图片112中的其它切片114来控制一个切片114。因此,与第一切片114相对应的标志122在同一图片112中的第二或其它切片中并不确定是否使用了时间运动矢量预测。另外,在上述实施例中,消除了如背景技术中所述的对在解码器图片缓冲器DPB中的参考图片进行的标记处理。这导致提升了图片间预测的灵活性和编码效率。0116在本发明的实施例中,运动矢量预测符的第一和第二列表包括不同数量的运动矢量预测符。优选地,第二列表包括的运动矢量预测符比第一列表少一个。在第一和第二列表二者中,不同于时间运动矢量预测符的运动矢量预测符可以是相同或等效的。这可以增加编码效率,因为编码器。

45、具有更多选择来从包括时间运动矢量预测符的列表即,第一列表中选择最佳的候选者。因为未使用时间运动矢量预测,所以第二列表可以提供更好的容错性。在经编码的视频比特流100中,第一和第二参数表示所选择的运动矢量预测符可以使用不同的比特表示,例如,使用在算术编码二值化或可变长度码中具有不同最大值的截短的一元表示。0117在本发明的另一个实施例中,第一和第二列表包括相同数量的运动矢量预测符。第二列表包括不存在于第一列表中的另一个唯一预先确定的运动矢量预测符,而不是时间运动矢量预测符。这可以增加编码效率,因为编码器具有更多选择来从包括唯一预先确定的运动矢量预测符的列表即,第二列表中选择最佳的候选者。由于候选。

46、时间运动矢量预测符的最大数量对于第一和第二列表来说是相同的,因此,这降低了对用于指示所选择的运动矢量预测符的索引参数进行的解析过程的复杂度。唯一的运动矢量预测符是在没有时间依赖性即,未使用来自任何参考图片的运动矢量的情况下推导出的。仅通过示例的方式,唯一的运动矢量预测符可以是来自预先确定的相邻位置的空间运动矢量预测符。作为另一个示例,唯一的运动矢量预测符可以是零运动矢量预测符。0118现在下面将描述根据本发明的实施例的用于对视频进行编码的示例性装置300。0119图3描绘了用于基于逐块对输入视频/图像比特流302进行编码以便生成经编码的视频比特流304的示例性装置300的示意性框图。装置300。

47、包括可操作用于将输入数据变换成频率系数的变换单元306;可操作用于对输入数据进行量化的量化单元308;可操作用于对输入数据进行反量化的反量化单元310;可操作用于对输入数据进行反频率变换的反变换单元312;可操作用于存储诸如视频和图像的数据的块存储器314和图片存储器316;可操作用于执行图片内预测的图片内预测单元318;可操作用于执行图片间预测的图片间预测单元320;可操作用于将输入数据编码成经编码的视频比特流304的熵编码单元322;可操作用于决定针对目标切片的图片间预测是否使用时间运动矢量预测的控制单元324;运动矢量预测单元330;以及可操作用于将数据写入经编码的视频比特流304的写单。

48、元328。0120为了清晰起见,现在将对通过如图3中所示的装置300的示例性数据流进行描述。将输入视频302输入加法器,并且向变换单元306输出相加的值305。变换单元306将相加的值305变换成频率系数,并且向量化单元308输出所产生的频率系数307。量化单元308对输入的频率系数307进行量化,并且向反量化单元310和熵编码单元322输出所产生的说明书CN104094604A139/24页14经量化的值309。熵编码单元322对从量化单元308输出的经量化的值309进行编码,并且输出经编码的视频比特流304。0121反量化单元310对从量化单元308输出的经量化的值309进行反量化,并且向。

49、反变换单元312输出频率系数311。反变换单元312对频率系数311进行反频率变换以便将频率系数变换成比特流的采样值,并且向加法器输出所产生的采样值313。加法器将从反变换单元314输出的比特流的采样值313加上从图片内预测单元318或图片间预测单元320输出的预测的视频/图像值319,并且向块存储器105或图片存储器106输出所产生的相加的值315用于进一步的预测。图片内预测单元318或图片间预测单元320在存储在块存储器314或图片存储器316中的重构的视频/图像中进行搜索,并且估计例如与输入视频/图像最相似的视频/图像区域用于预测。0122控制单元324做出关于针对目标切片的图片间预测是。

50、否使用了时间运动矢量预测的决定,并且向运动矢量预测单元330和写单元322输出指示该决定的信号325。随后将根据本发明的各个实施例来对用于决定/确定是否使用了时间运动矢量预测即,确定标志122的值的多种技术进行描述。基于该决定,图片间预测单元320在使用或未使用时间运动矢量预测符的情况下执行图片间预测。具体而言,运动矢量预测单元330被配置为接收标志122,并且如果标志是第一值例如,“1”,那么运动矢量预测单元330可操作用于创建运动矢量预测符的第一列表,其包括多个运动矢量预测符,其中包括从来自共置的参考图片的至少一个运动矢量推导出的至少一个时间运动矢量预测符,以及针对子图片单元中的预测单元从。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 >


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1