视频编码方法和视频解码方法及其装置.pdf

上传人:62****3 文档编号:664795 上传时间:2018-03-02 格式:PDF 页数:19 大小:2.97MB
返回 下载 相关 举报
摘要
申请专利号:

CN201410200230.2

申请日:

2014.05.13

公开号:

CN104159106A

公开日:

2014.11.19

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 19/105申请日:20140513|||公开

IPC分类号:

H04N19/105(2014.01)I; H04N19/436(2014.01)I; H04N19/513(2014.01)I; H04N19/166(2014.01)I

主分类号:

H04N19/105

申请人:

联发科技股份有限公司

发明人:

吴东兴; 李坤傧

地址:

中国台湾新竹科学工业园区新竹市笃行一路一号

优先权:

2013.05.14 US 61/823,010; 2014.05.06 US 14/270,369

专利代理机构:

北京万慧达知识产权代理有限公司 11111

代理人:

张金芝;杨颖

PDF下载: PDF下载
内容摘要

本发明提供一种视频编码方法和视频解码方法及其装置。该视频编码方法包含步骤:依据编码相关信息来决定并行运动估计区域的尺寸;以及通过基于并行运动估计区域的尺寸来至少执行运动估计以对多个像素进行编码。本发明所提供的视频编码方法和视频解码方法及其装置,能够分别在编码及解码过程中得到完善的运动估计尺寸处理。

权利要求书

1.  一种视频编码方法,其特征在于,包含有:
依据编码相关信息来决定并行运动估计区域的尺寸;以及
通过基于该并行运动估计区域的尺寸来至少执行运动估计以对多个像素进行编码。

2.
  根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有编码类型。

3.
  根据权利要求2所述的视频编码方法,其特征在于,该编码类型至少包含有参考类型、切片类型、最大编码单元尺寸和视频编码器的处理核心的数目中的至少一个。

4.
  根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有编码应用信息。

5.
  根据权利要求4所述的视频编码方法,其特征在于,该编码应用信息包含性能模式、延迟模式和编码方案中的至少一个。

6.
  根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有外部系统信息。

7.
  根据权利要求6所述的视频编码方法,其特征在于,该外部系统信息包含有带宽状态、系统电源状态、系统时序和通用处理器的处理核心的数目中的至少一个。

8.
  根据权利要求1所述的视频编码方法,其特征在于,该决定并行运动估计区域的尺寸的步骤包含有:
在帧级或序列级调整该并行运动估计区域的尺寸。

9.
  根据权利要求1所述的视频编码方法,其特征在于,
该编码相关信息包含有最大编码单元尺寸,以及
该决定并行运动估计区域的尺寸的步骤包含有:通过该最大编码单元尺寸来设定该并行运动估计区域的尺寸。

10.
  根据权利要求1所述的视频编码方法,其特征在于,进一步包含有:
将该并行运动估计区域的尺寸编码为视频参数流。

11.
  一种视频解码方法,其特征在于,包含有:
对视频参数流进行解码以得到并行运动估计区域的解码尺寸;
检查该并行运动估计区域的解码尺寸的有效性,并据以产生检查结果;
当该检查结果指示该并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定该并行运动估计区域的尺寸;以及
通过基于该并行运动估计区域的已决定的尺寸来至少执行运动补偿以解码多个像素。

12.
  根据权利要求11所述的视频解码方法,其特征在于,
该对视频参数流进行解码的步骤进一步包含有:对该视频参数流进行解码以得到最大编码单元的解码尺寸;以及
该检查该并行运动估计区域的解码尺寸的有效性的步骤包含有:将该并行运动估计区域的解码尺寸和该最大编码单元的解码尺寸进行比较。

13.
  根据权利要求11所述的视频解码方法,其特征在于,
该对视频参数流进行解码的步骤进一步包含有:得到与该并行运动估计区域的解码尺寸相关的奇偶校验结果;以及
该检查该并行运动估计区域的解码尺寸的有效性的步骤包含有:检查该奇偶校验结果。

14.
  根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有:
通过用并行运动估计区域的先前解码尺寸来代替该并行运动估计区域的解码尺寸,来设定该并行运动估计区域的已决定的尺寸。

15.
  根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有:
当该并行运动估计区域的解码尺寸落在有效范围内时,忽略该检查结果,并且利用该并行运动估计区域的解码尺寸来当作该并行运动估计区域的已决定的尺寸。

16.
  根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有:
当该并行运动估计区域的解码尺寸大于有效范围的上限时,通过该有效范围的上限来设定该并行运动估计区域的已决定的尺寸;以及
当该并行运动估计区域的解码尺寸小于该有效范围的下限时,通过该有效范围的下限来设定该并行运动估计区域的已决定的尺寸。

17.
  根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有:
要求重新传输该视频参数流;
解码重新传输的该视频参数流,以得到并行运动估计区域的新解码尺寸;
检查该并行运动估计区域的新解码尺寸的有效性,并据以产生新检查结果;以及
当该新检查结果指示该并行运动估计区域的新解码尺寸为有效时,利用该并行运动估计区域的新解码尺寸来作为该并行运动估计区域的已决定的尺寸。

18.
  一种视频编码装置,其特征在于,包含有:
编码器参数设定电路,用来依据编码相关信息来决定并行运动估计区域的尺寸;以及
视频编码器,用来通过基于该并行运动估计区域的尺寸来至少执行运动估计,以对多个像素进行编码。

19.
  一种视频解码装置,其特征在于,包含有:
输入接口,用来接收包含有视频参数流的编码视频比特流;以及
视频解码器,用来对该视频参数流进行解码以得到并行运动估计区域的解码尺寸;检查该并行运动估计区域的解码尺寸的有效性,并据以产生检查结果;当该检查结果指示该并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定该并行运动估计区域的尺寸;以及通过基于该并行运动估计区域的已决定的尺寸来至少执行运动补偿,以解码多个像素。

说明书

视频编码方法和视频解码方法及其装置
技术领域
本发明是有关于视频数据处理,特别是有关于一种依据编码相关信息来决定并行运动估计区域的尺寸的视频编码方法和视频解码方法及其装置。
背景技术
视频压缩,即视频编码,是数字视频储存和传输的基本机制。一般来说,视频压缩/编码对视频序列中的像素的区块至少依序进行预测、转换、量化以及熵编码,以压缩/编码视频序列。视频解压缩,即视频解码,一般执行视频压缩/编码操作的反向操作来对压缩/编码后的视频序列进行解压缩/解码。
高效能视频编码(High Efficiency Video Coding,HEVC)是一种编码标准,较其它编码标准如H.264来说,具有更佳的编码效能,更高的分辨率和更高的帧率。高效能视频编码标准中提出若干编码效能改进工具。例如合并模式通过让一个帧间预测单元(inter-predicted prediction unit)来继承运动数据(即运动向量、预测方向以及参考图片索引),以降低编码负荷。其中该运动数据来自同一图片中的空间运动数据位置中选出的位置和基于参考图片中位于共同位置的预测单元得到的暂时运动数据位置。合并模式名称的由来则是因为所形成的共享所有运动信息的合并区域。然而这些空间运动数据位置位于其它的预测单元中。因此,依赖于来自其他预测单元中的位置的运动数据造成了视频编码器中并行运动估计的实现上的困难。
为了完成并行运动估计,将最大编码单元分割为相同大小的一个或多个非重迭并行运动估计区域。这些非重迭并行运动估计区域在高效能视频编码标准中也被称为并行合并级(parallel merge level)。依序执行从一个并行运动估计区域到另一个并行运动估计区域的运动估计,也就是说,在当前并行运动估计区域的运动估计结束后,才会开始对下一个并行运动估计区域进行运动估计。然而,在一个并行运动估计区域内,对此并行运动估计区域中的所有预测单元来说,合并模式的运动估计是并行执行的。更具体地说,当在合并模式下计算运动向量时,在并行运动估计区域之内,同一并行运动估计区域中相邻的区块的 运动向量彼此间没有相依性。如此一来,并行运动估计区域中合并模式下运动向量的计算仅使用并行运动估计区域之外的运动向量。
在现有的设计中,并行运动估计区域的尺寸在开始编码处理之前由编码器配置设定。因此,视频序列中编码帧使用的固定大小的并行运动估计区域,在视频编码中缺乏弹性,且无法针对不同编码应用得到最佳的并行度(parallel degre)。
发明内容
根据本发明的示例,提出依据编码相关信息来决定并行运动估计区域的尺寸的视频编码方法和装置以及相关的视频解码方法和装置用于解决以上问题。
根据本发明第一实施方式,提供一种视频编码方法。该视频编码方法包含有:依据编码相关信息来决定并行运动估计区域的尺寸;以及通过至少基于并行运动估计区域的尺寸来执行运动估计以对多个像素进行编码。
根据本发明第二实施方式,提供一种视频解码方法。该视频解码方法包含有:对视频参数流进行解码以得到并行运动估计区域的解码尺寸。检查并行运动估计区域的解码尺寸的有效性,并据以产生检查结果。当检查结果指示并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定并行运动估计区域的尺寸。通过基于并行运动估计区域的已决定尺寸来至少执行运动补偿以解码多个像素。
根据本发明第三实施方式,提供一种视频编码装置。该视频编码装置包含有:编码器参数设定电路和视频编码器。编码器参数设定电路用来依据编码相关信息来决定并行运动估计区域的尺寸。视频编码器用来通过基于并行运动估计区域的尺寸来至少执行运动估计,以对多个像素进行编码。
根据本发明第四实施方式,提供一种视频解码装置。该视频解码装置包含有:输入接口和视频解码器。输入接口用来接收包含有视频参数流的编码视频比特流。视频解码器用来对视频参数流进行解码以得到并行运动估计区域的解码尺寸;检查并行运动估计区域的解码尺寸的有效性,并据以产生检查结果。当检查结果指示并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定并行运动估计区域的尺寸。通过基于并行运动估计区域的已决定的尺寸来至少执行运动补偿,以解码多个像素。
本发明所提出的视频编码方法和视频解码方法及其装置,能够分别在编码 及解码过程中得到完善的运动估计尺寸处理。
附图说明
图1为根据本发明实施方式的采用视频编码和解码机制的系统的示意图。
图2为根据本发明实施方式的第一视频编码方法的流程图。
图3为根据本发明实施方式的第二视频编码方法的流程图。
图4为根据本发明实施方式的具有错误处理的视频解码方法的流程图。
图5为根据本发明实施方式的第一错误处理的流程图。
图6为根据本发明实施方式的第二错误处理的流程图。
图7为根据本发明实施方式的第三错误处理的流程图。
图8为根据本发明实施方式的第四错误处理的流程图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的“包含”是开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此是包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表第一装置可直接电气连接于第二装置,或通过其它装置或连接手段间接地电气连接到第二装置。
本发明的主要精神在于依据编码相关信息来决定并行运动估计区域的尺寸。也就是说,在视频编码/压缩的过程中,并行运动估计区域的尺寸不是固定的。这样一来,对于不同的编码应用来说,可以较弹性地对视频进行编码,且具有较佳的并行度,以及达到软/硬件设计上的高度并行化。
图1为根据本发明实施方式的采用视频编码和解码机制的系统100的示意图。采用视频编码和解码机制的系统100包含有来源装置102和目的装置104。来源装置102负责提供编码视频数据和相关视频参数,之后编码视频数据和相关视频参数将由目的装置104进行解码。特别是来源装置102会通过任何传输装置101提供编码视频数据和相关视频参数至目的装置104。举例来说,传输装置101可以为储存媒体、连接线或是有线/无线网络。来源装置102和目的装置 104可以为各种不同电子装置,包含计算机、智能型手机、机顶盒、电视、多媒体服务器、多媒体客户端等。
如图1所示,来源装置102包含有视频源112以及视频编码装置114,视频源112提供来源视频输入D_IN。其中,视频编码装置114编码来源视频输入D_IN为编码视频比特流BS。例如,视频源112可以为用来产生来源视频输入D_IN的视频相机,或是用来从视频内容提供端接收来源视频输入D_IN的视频接口。视频编码装置114对来源视频输入D_IN中的像素进行编码以产生编码视频比特流BS。编码视频比特流BS包含有视频参数流(video parameter stream)BSP和视频负载数据流BSD。目的装置104包含有视频解码装置122和显示装置124。在接收端的视频解码装置122对视频参数流BSP进行解码来得到传送端用来对来源视频输入D_IN编码的编码器参数,然后基于解码出来的编码器参数对视频负载数据流BSD中的像素进行解码以产生重建视频输出D_OUT至显示装置124以供播放。举例来说,但本发明不以此为限,视频编码装置114和视频解码装置122可依据视频编码标准来操作,例如目前的高效能视频编码标准(HEVC)。此外,所提出的视频编码和解码机制可应用在视频编码装置114和视频解码装置122以增强高效能视频编码标准所支持的并行运动补偿。关于视频编码和解码机制的更进一步的细节将说明如下。
请连同图1一起参考图2,图2为根据本发明实施方式的第一视频编码方法的流程图。图2中的视频编码方法可以应用在图1所示的视频编码装置114。倘若大体上可达到相同的结果,并不一定需要按照图2所示的流程中的步骤顺序来进行,且图2所示的步骤不一定要连续进行,即其他步骤也可以插入其中。此外,图2中的某些步骤可根据不同实施例或设计需求而省略。在步骤202中,在视频编码器116开始编码处理之前,编码器参数设定电路115参考编码器配置(encoder configuration)以设定视频编码器116所使用的编码器参数。应注意的是编码器参数设定函数可以通过硬件或是软件的方式来实现。在硬件实现方法中,可以使用纯硬件的方式来实现编码器参数设定电路115。在软件实现方法中,可以使用处理器执行程序代码的方式来实现编码器参数设定电路115。举例来说,如同现有的视频编码器设计,并行运动估计区域的尺寸可以在开始编码来源视频输入D_IN之前依据编码器配置来初始设定。在步骤204中,视频编码器116开始进行对来源视频输入D_IN进行编码处理。在步骤206中,编码器参数设定电路115依据编码相关信息来确定并设定对于帧的并行运动估计区域的 尺寸Size_PMER。举例来说,但本发明不以此为限,编码相关信息可以包含编码类型、编码应用信息及/或外部系统信息。
在编码器参数设定电路115考虑编码类型的情况下,被用来设定并行运动估计区域的尺寸Size_PMER的编码类型包含参考类型(例如参考类型指示欲编码当前帧为参考帧或非参考帧)、切片类型(例如切片类型指示在当前帧中欲编码的切片为帧内切片(intra(I)slice))、帧间预测切片(predicted(P)slice)或是双向帧间预测切片(bi-directional predicted(B)slice))、最大编码单元(largest coding unit,LCU)尺寸和视频编码器的处理核心的数目(若视频编码器116以纯硬件来实现以作为视频编码器,即硬件编码器)中的至少一个。以下的表1中列出了不同编码类型的并行运动估计区域的尺寸Size_PMER的示范性设定。
表1

在编码器参数设定电路115考虑编码应用信息的情况下,编码应用信息包含性能模式(例如性能模式(performance mode)指示编码应用是操作于低性能模式还是高性能模式)、延迟模式(例如延迟模式指示编码应用是否操作于低延迟模式)以及编码方案(例如编码方案指示编码应用是否操作于正常录像模式(normal recording mode))中的至少一个。以下的表2中列出了不同编码应用的并行运动估计区域的尺寸Size_PMER的示范性设定。
表2

编码应用并行运动估计区域的尺寸低性能模式64x64低延迟模式32x32正常录像模式16x16高性能模式8x8

在编码器参数设定电路115考虑外部系统信息的情况下,外部系统信息包含有带宽状态(例如带宽状态指示系统带宽(例如主要内存带宽或网络带宽))、系统电源状态(例如系统电源状态指示电池剩余电力)、系统时序(例如系统时序指示系统为高延迟(long latency)还是低延迟(small latency))和通用处理器的处理核心的数目(若视频编码器116以通用处理器执行编码软件来实现,即软件编码器)中的至少一个。以下的表3中列出了不同外部系统信息的并行运动估计区域的尺寸Size_PMER的示范性设定。
表3

一般来说,并行运动估计区域的尺寸越小,对于每个最大编码单元的运动估计的处理时间越长,功耗也就越大。不过,当并行运动估计区域的尺寸被设定为较大值时,视频编码器需要有更高的计算功率来完成所想要达到的并行运动估计,这无疑将导致较高的硬件成本。在本发明实施例中,能够基于编码相关信息来适应性地(动态地)设定并行运动估计区域的尺寸,编码相关信息包含编码类型、编码应用信息及/或外部系统信息,进而在有限的系统资源下达到最佳并行运动估计性能。
在步骤208中,检查并行运动估计区域的尺寸是否改变?即视频编码器116检查当前帧的所决定的并行运动估计区域的尺寸Size_PMER是否和前一帧的所决定的并行运动估计区域的尺寸不一致。若确定并行运动估计区域的尺寸有变化,视频编码器116对图片参数重新编码以包括当前帧所决定的并行运动估计区域的尺寸Size_PMER(步骤210)。若在步骤208中发现并行运动估计区域的尺寸没有变化,或是步骤210结束对图片参数的重新编码,视频编码器116便开始基于当前帧所决定的并行运动估计区域的尺寸Size_PMER来对当前帧中的多个像素进行编码(步骤212。)因此,视频编码器116便能够在具有由编码器参数设定的并行运动估计区域的尺寸Size_PMER的相同的并行运动估计区域中对预测单元执行并行运动估计,因而改善编码效能。在步骤214中,视频编码器116检查来源视频输入D_IN的所有帧是否都完成编码。若是来源视频输入D_IN仍有帧等待编码,则流程进入步骤206。若来源视频输入D_IN已没有帧等待编码,则视频编码器116停止编码,即编码结束(步骤216)。
请注意,步骤208为非必要步骤,可以视实际情况而定。举例来说,在另一个视频编码器设计中,步骤208以及相关操作可以被省略,使得步骤206之后紧接执行步骤210。这样一来,在步骤206中,编码器参数设定电路115设定并行运动估计区域的尺寸之后,视频编码器116在步骤210中对图片参数进行重新编码。换句话说,每次设定并行运动估计区域的尺寸时,图片参数会被重新编码。此设计也属于本发明的权利范围之中。
在图2的范例中,编码器参数设定电路115在帧级(frame level)下动态地调整并行运动估计区域的尺寸Size_PMER。此仅为说明用途,并非本发明的限制所在。在其它设计中,编码器参数设定电路115也可在序列级(sequence level)下动态地调整并行运动估计区域的尺寸Size_PMER。
请连同图1一起参考图3,图3为根据本发明实施方式的第二视频编码方法的流程图。图3中的视频编码方法可以应用在图1所示的视频编码装置114。倘若大体上可达到相同的结果,并不一定需要按照图3所示的流程中的步骤顺序来进行,且图3所示的步骤不一定要连续进行,即其他步骤也可插入其中。此外,图3中的某些步骤可根据不同实施例或设计需求而省略。
在步骤302中,在视频编码器116开始编码之前,编码器参数设定电路115参考编码器配置以设定视频编码器116所使用的编码器参数。举例来说,如同现有的视频编码器设计,并行运动估计区域的尺寸可以在开始编码来源视频输 入D_IN之前依据编码器配置来初始决定。在步骤304中,编码器参数设定电路115依据编码相关信息来确定并设定对于视频序列(即来源视频输入D_IN)的并行运动估计区域的尺寸Size_PMER。如上所述,编码相关信息可以包含编码类型、编码应用信息及/或外部系统信息。在步骤306中,视频编码器116开始对来源视频输入D_IN进行编码处理。在步骤306中,视频编码器116准备开始基于视频序列所决定的并行运动估计区域的尺寸来对帧中多个像素进行编码。在步骤308中,视频编码器116便能够在具有由并行运动估计区域的尺寸Size_PMER设定的尺寸的相同的并行运动估计区域中对预测单元执行并行运动估计,因而改善编码效能。在步骤310中,视频编码器116检查来源视频输入D_IN的所有帧是否都经过编码。若来源视频输入D_IN仍有帧等待编码,则流程进入步骤308来使用并行运动估计区域的尺寸Size_PMER来对下一帧进行编码。若来源视频输入D_IN已没有帧等待编码,则视频编码器116停止编码,即编码结束(步骤312)。根据本发明另一实施方式,当前视频序列编码(即,来源视频输入D_IN)完成之后,若还存在下一个视频序列,则流程转至步骤304或步骤302。
如上所述,并行运动估计区域的尺寸Size_PMER可能和最大编码单元尺寸有关。依据高效能视频编码标准(HEVC),最大编码单元包含有至少一个编码单元,每一个编码单元包含至少一个预测单元,以及每一个编码单元都可以为帧内编码(intra coding)单元或帧间编码(inter coding)单元。根据本发明的一个实施方式,可以通过最大编码单元尺寸来设定并行运动估计区域的尺寸Size_PMER。在本发明一个较佳实施例中,编码器参数设定电路115参考最大编码单元尺寸来使并行运动估计区域的尺寸等于最大编码单元尺寸。对产生合并运动向量的处理而言,需要相邻区块的运动向量,每一个区块的运动向量会在运动估计处理后被决定。举例来说,在并行运动估计区域的尺寸并非设定为最大编码单元尺寸的情况下,当视频编码器对最大编码单元进行编码时,对在最大编码单元中属于不同并行运动估计区域的编码单元产生合并运动向量的处理应按顺序进行。也就是说,产生下一个编码单元的合并运动向量的处理过程应在当前编码单元的运动估计完成后才执行。然而,在另一种情况下,并行运动估计区域的尺寸如本发明的方法被设定为最大编码单元尺寸,当视频编码器对最大编码单元进行编码时,对最大编码单元中的编码单元产生合并运动向量的处理过程便能够同时并行地被处理。换句话说,在相同最大编码单元中,对编 码单元产生合并运动向量的处理过程与另一个编码单元的运动估计是独立的。这样一来,可大大地增加视频编码的并行度(parallel degree)。
视频编码器116的输出通过输出接口117被传送到目的装置104。举例来说,基于传输装置101的规格,视频编码器116的输出被适当地调变/封包化并通过输出接口117输出为编码视频比特流。应注意的是,视频编码器116所使用的帧级/序列级并行运动估计区域尺寸信息通过视频编码器116被编码为视频参数流BSP,然后传送到目的装置104。关于视频解码装置122,视频解码装置122具有输入接口125以及视频解码器126。输入接口125从传输装置101接收编码视频比特流BS。相似地,基于传输装置101的规格,输入接口125对编码视频比特流BS进行解调变/封包解析。接下来,视频解码器126对视频参数流BSP和视频负载数据流BSD进行处理,以产生重建视频输出D_OUT的帧。视频解码器126可以通过软件(即通过通用处理器执行编码软件来实现)或是硬件(即使用纯硬件的视频解码器)的方式来实现。
由于使用编码器参数设定电路115,并行运动估计区域的尺寸Size_PMER可被允许基于编码相关信息来调整。此外,并行运动估计区域的尺寸Size_PMER被编码为视频参数流BSP并且被传送到视频解码器126。传输装置101有可能会受到噪声的干扰导致并在传输时将错误比特引入编码视频比特流BS。在此实施例中,当处理并行运动估计区域的尺寸时,视频解码器126具备错误处理能力。
请参考图4,图4为根据本发明实施方式的具有错误处理的视频解码方法的流程图。图4中的视频解码方法可以被应用在图1的视频解码器126中。倘若大体上可达到相同的结果,并不一定需要按照图4所示的流程中的步骤顺序来进行,且图4所示的步骤不一定要连续进行,即其他步骤也可插入其中。此外,图4中的某些步骤可根据不同实施例或设计需求而省略。
在步骤402中,视频解码器126对视频参数流BSP进行解码以得到并行运动估计区域的解码尺寸Size_PMER’。在步骤404中,视频解码器126对视频参数流BSP进行解码以得到最大编码单元尺寸的解码尺寸Size_LCU’。举例来说,视频解码器126从视频参数流BSP得到若干参数,这些参数包含最小编码单元尺寸以及最大编码单元尺寸和最小编码单元尺寸的差。然后依据这些参数来决定最大编码单元尺寸的解码尺寸Size_LCU’。在步骤406中,视频解码器126检查并行运动估计区域的解码尺寸Size_PMER’的有效性,并据以产生检查结果。
在示范性设计中,视频解码器126对并行运动估计区域的解码尺寸Size_PMER’和最大编码单元尺寸的解码尺寸Size_LCU’进行比较,以检验并行运动估计区域的解码尺寸Size_PMER’的有效性。举例来说,最大编码单元尺寸的解码尺寸Size_LCU’用来当作有效范围的上限,以及最小预测单元尺寸(例如4x4)用来作为有效范围的下限。当并行运动估计区域的解码尺寸Size_PMER’落在有效范围之内时,并行运动估计区域的解码尺寸Size_PMER’会通过有效性的测试并且会被视为有效。然而,当并行运动估计区域的解码尺寸Size_PMER’超出有效范围时,并行运动估计区域的解码尺寸Size_PMER’便不会通过有效性的测试并且会被视为无效。应注意的是,上述有效范围仅供说明用途,并非本发明的限制所在。在其它实施例中,有效范围的上限可以被设定为固定值(例如64x64)或最小编码单元尺寸。
在另一个示范性设计中,视频解码器126得到与并行运动估计区域的解码尺寸Size_PMER’相关的奇偶校验(parity check)结果;并会参考奇偶校验结果来检查并行运动估计区域的解码尺寸Size_PMER’的有效性。举例来说,当奇偶校验结果指示并行运动估计区域的解码尺寸Size_PMER’没有错误时,并行运动估计区域的解码尺寸Size_PMER’便会通过有效性测试并且被视为有效。然而,当奇偶校验结果指示并行运动估计区域的解码尺寸Size_PMER’有不可校正的错误时,并行运动估计区域的解码尺寸Size_PMER’便不会通过有效性测试并且被视为无效。
在另一个示范性设计中,比较结果和奇偶校验结果会被同一考虑以决定并行运动估计区域的解码尺寸Size_PMER’是否有效。举例来说,仅当并行运动估计区域的解码尺寸Size_PMER’落在有效范围之内且奇偶校验结果指示并行运动估计区域的解码尺寸Size_PMER’没有错误,并行运动估计区域的解码尺寸Size_PMER’才会被视为有效。
在步骤408中,检查结果指示并行运动估计区域的解码尺寸Size_PMER’是否有效。在检查结果指示并行运动估计区域的解码尺寸Size_PMER’为有效的情况下(步骤408),视频解码器126根据并行运动估计区域的解码尺寸Size_PMER’来至少执行运动估计来继续对视频负载数据流BSD中的多个像素进行解码处理(步骤412)。
在检查结果指示并行运动估计区域的解码尺寸Size_PMER’为无效的情况下(步骤408),视频解码器126进入错误处理来决定实际被用在后续解码处理 过程中的并行运动估计区域的尺寸(步骤410)。接下来,视频解码器126根据并行运动估计区域的已决定的尺寸来至少执行运动补偿来继续对视频负载数据流BSD中的多个像素进行解码处理(步骤412)。
视频解码器126至少采用以下所提出的错误处理机制来执行错误处理过程。请参考图5,图5为根据本发明实施方式的第一错误处理的流程图。图4中的步骤410可以使用图5中的步骤502来实现。依据第一错误处理过程,视频解码器126通过用确定为有效的并行运动估计区域的先前解码尺寸来代替并行运动估计区域的解码尺寸Size_PMER’,从而来设定并行运动估计区域的已决定的尺寸(步骤502)。换句话说,后续解码处理所使用的并行运动估计区域的尺寸继承自之前解码得到的有效的并行运动估计区域尺寸。这样一来,便不需要要求重新传输视频参数。
请参考图6,图6为根据本发明实施方式的第二错误处理的流程图。图4中的步骤410可以使用图6中的步骤602和步骤604来实现。举例来说,依据第二错误处理过程,当并行运动估计区域的解码尺寸Size_PMER’落在有效范围内但没有通过奇偶校验(parity check)(即奇偶校验结果指示并行运动估计区域的解码尺寸Size_PMER’包含有无法校正的错误)时,视频解码器126忽略检查结果,即忽略无效并行运动估计区域尺寸的通知(步骤602),并且仍然使用并行运动估计区域的解码尺寸Size_PMER’当来作在后续解码处理中使用的并行运动估计区域的已决定的尺寸(步骤604)。由于无效并行运动估计区域尺寸落在有效范围内,视频解码器126仍有机会得到在具有由并行运动估计区域的解码尺寸Size_PMER’设定的尺寸的并行运动估计区域中的预测单元的正确的运动向量。这样一来,便不需要重新传输视频参数。
请参考图7,图7为根据本发明实施方式的第三错误处理的流程图。图4中的步骤410可以使用图7中的步骤702、步骤704和步骤706来实现。依据第三错误处理过程,当并行运动估计区域的解码尺寸Size_PMER’超出有效范围时,视频解码器126检查并行运动估计区域的解码尺寸Size_PMER’是否大于有效范围的上限(例如,最大编码单元尺寸)(步骤702)。当并行运动估计区域的解码尺寸Size_PMER’大于有效范围的上限时,视频解码器126将并行运动估计区域的解码尺寸Size_PMER’限制在有效范围的上限,即通过有效范围的上限设定用于后续解码处理中的并行运动估计区域的已决定的尺寸设定(步骤704)。当并行运动估计区域的解码尺寸Size_PMER’并非大于有效范围的上限时,由 于并行运动估计区域的解码尺寸Size_PMER’超出了有效范围的前提,意味着并行运动估计区域的解码尺寸Size_PMER’小于有效范围的下限(例如,最小编码单元的尺寸),视频解码器126将并行运动估计区域的解码尺寸Size_PMER’限制在有效范围的下限,即通过有效范围的下限来设定后续解码处理中的并行运动估计区域的已决定的尺寸(步骤706)。这样一来,便不需要重新传输视频参数。
请参考图8,图8为根据本发明实施方式的第四错误处理的流程图。图4中的步骤410可以使用图8中的步骤802、步骤804、步骤806、步骤808和步骤810来实现。依据第四错误处理过程,视频解码器126通过对传送端(即来源装置102)发出信号来要求视频参数流BSP的重新传输(步骤802)。接着,视频解码器126等待重新传送的视频参数流BSP(步骤804)。在接收到重传的视频参数流BSP之后,视频解码器126对重传的视频参数流BSP进行解码,以得到并行运动估计区域的新解码尺寸(步骤806)。接下来,在步骤808中检查并行运动估计区域的新解码尺寸是否有效。即视频解码器126依据上述有效性检查规则的其中之一来检查并行运动估计区域的新解码尺寸的有效性,并据以产生新检查结果(步骤808)。当新检查结果指示并行运动估计区域的新解码尺寸不具有效性时,视频解码器126进入错误处理过程410。当新检查结果指示并行运动估计区域的新解码尺寸有效时,视频解码器126使用并行运动估计区域的新解码尺寸来当作并行运动估计区域的已决定的尺寸以供后续解码处理过程使用(步骤810)。
本发明在视频编码和视频解码之间提供鲁棒性(robust)较强的错误处理方法,能够避免解码视频数据传流时产生的错误。
虽然本发明已以较佳实施方式揭露如上,然而必须了解其并非用以限定本发明。相反,任何本领域技术人员,在不脱离本发明的精神和范围内,当可做些许更动与润饰,因此本发明的保护范围应当以权利要求书所界定的保护范围为准。

视频编码方法和视频解码方法及其装置.pdf_第1页
第1页 / 共19页
视频编码方法和视频解码方法及其装置.pdf_第2页
第2页 / 共19页
视频编码方法和视频解码方法及其装置.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《视频编码方法和视频解码方法及其装置.pdf》由会员分享,可在线阅读,更多相关《视频编码方法和视频解码方法及其装置.pdf(19页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104159106A43申请公布日20141119CN104159106A21申请号201410200230222申请日2014051361/823,01020130514US14/270,36920140506USH04N19/105201401H04N19/436201401H04N19/513201401H04N19/16620140171申请人联发科技股份有限公司地址中国台湾新竹科学工业园区新竹市笃行一路一号72发明人吴东兴李坤傧74专利代理机构北京万慧达知识产权代理有限公司11111代理人张金芝杨颖54发明名称视频编码方法和视频解码方法及其装置57摘要本发明提供一种。

2、视频编码方法和视频解码方法及其装置。该视频编码方法包含步骤依据编码相关信息来决定并行运动估计区域的尺寸;以及通过基于并行运动估计区域的尺寸来至少执行运动估计以对多个像素进行编码。本发明所提供的视频编码方法和视频解码方法及其装置,能够分别在编码及解码过程中得到完善的运动估计尺寸处理。30优先权数据51INTCL权利要求书2页说明书9页附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书9页附图7页10申请公布号CN104159106ACN104159106A1/2页21一种视频编码方法,其特征在于,包含有依据编码相关信息来决定并行运动估计区域的尺寸;以及通过基于该并行运动。

3、估计区域的尺寸来至少执行运动估计以对多个像素进行编码。2根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有编码类型。3根据权利要求2所述的视频编码方法,其特征在于,该编码类型至少包含有参考类型、切片类型、最大编码单元尺寸和视频编码器的处理核心的数目中的至少一个。4根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有编码应用信息。5根据权利要求4所述的视频编码方法,其特征在于,该编码应用信息包含性能模式、延迟模式和编码方案中的至少一个。6根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有外部系统信息。7根据权利要求6所述的视频编码方法,其特征在于,该。

4、外部系统信息包含有带宽状态、系统电源状态、系统时序和通用处理器的处理核心的数目中的至少一个。8根据权利要求1所述的视频编码方法,其特征在于,该决定并行运动估计区域的尺寸的步骤包含有在帧级或序列级调整该并行运动估计区域的尺寸。9根据权利要求1所述的视频编码方法,其特征在于,该编码相关信息包含有最大编码单元尺寸,以及该决定并行运动估计区域的尺寸的步骤包含有通过该最大编码单元尺寸来设定该并行运动估计区域的尺寸。10根据权利要求1所述的视频编码方法,其特征在于,进一步包含有将该并行运动估计区域的尺寸编码为视频参数流。11一种视频解码方法,其特征在于,包含有对视频参数流进行解码以得到并行运动估计区域的解。

5、码尺寸;检查该并行运动估计区域的解码尺寸的有效性,并据以产生检查结果;当该检查结果指示该并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定该并行运动估计区域的尺寸;以及通过基于该并行运动估计区域的已决定的尺寸来至少执行运动补偿以解码多个像素。12根据权利要求11所述的视频解码方法,其特征在于,该对视频参数流进行解码的步骤进一步包含有对该视频参数流进行解码以得到最大编码单元的解码尺寸;以及该检查该并行运动估计区域的解码尺寸的有效性的步骤包含有将该并行运动估计区域的解码尺寸和该最大编码单元的解码尺寸进行比较。13根据权利要求11所述的视频解码方法,其特征在于,该对视频参数流进行解码的步骤进。

6、一步包含有得到与该并行运动估计区域的解码尺寸相关的奇偶校验结果;以及该检查该并行运动估计区域的解码尺寸的有效性的步骤包含有检查该奇偶校验结权利要求书CN104159106A2/2页3果。14根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有通过用并行运动估计区域的先前解码尺寸来代替该并行运动估计区域的解码尺寸,来设定该并行运动估计区域的已决定的尺寸。15根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有当该并行运动估计区域的解码尺寸落在有效范围内时,忽略该检查结果,并且利用该并行运动估计区域的解码尺寸来当作该并行运动估计区域的已决定的尺寸。16根据权利要求1。

7、1所述的视频解码方法,其特征在于,该错误处理过程包含有当该并行运动估计区域的解码尺寸大于有效范围的上限时,通过该有效范围的上限来设定该并行运动估计区域的已决定的尺寸;以及当该并行运动估计区域的解码尺寸小于该有效范围的下限时,通过该有效范围的下限来设定该并行运动估计区域的已决定的尺寸。17根据权利要求11所述的视频解码方法,其特征在于,该错误处理过程包含有要求重新传输该视频参数流;解码重新传输的该视频参数流,以得到并行运动估计区域的新解码尺寸;检查该并行运动估计区域的新解码尺寸的有效性,并据以产生新检查结果;以及当该新检查结果指示该并行运动估计区域的新解码尺寸为有效时,利用该并行运动估计区域的新。

8、解码尺寸来作为该并行运动估计区域的已决定的尺寸。18一种视频编码装置,其特征在于,包含有编码器参数设定电路,用来依据编码相关信息来决定并行运动估计区域的尺寸;以及视频编码器,用来通过基于该并行运动估计区域的尺寸来至少执行运动估计,以对多个像素进行编码。19一种视频解码装置,其特征在于,包含有输入接口,用来接收包含有视频参数流的编码视频比特流;以及视频解码器,用来对该视频参数流进行解码以得到并行运动估计区域的解码尺寸;检查该并行运动估计区域的解码尺寸的有效性,并据以产生检查结果;当该检查结果指示该并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定该并行运动估计区域的尺寸;以及通过基于该并。

9、行运动估计区域的已决定的尺寸来至少执行运动补偿,以解码多个像素。权利要求书CN104159106A1/9页4视频编码方法和视频解码方法及其装置技术领域0001本发明是有关于视频数据处理,特别是有关于一种依据编码相关信息来决定并行运动估计区域的尺寸的视频编码方法和视频解码方法及其装置。背景技术0002视频压缩,即视频编码,是数字视频储存和传输的基本机制。一般来说,视频压缩/编码对视频序列中的像素的区块至少依序进行预测、转换、量化以及熵编码,以压缩/编码视频序列。视频解压缩,即视频解码,一般执行视频压缩/编码操作的反向操作来对压缩/编码后的视频序列进行解压缩/解码。0003高效能视频编码HIGHE。

10、FCIENCYVIDEOCODING,HEVC是一种编码标准,较其它编码标准如H264来说,具有更佳的编码效能,更高的分辨率和更高的帧率。高效能视频编码标准中提出若干编码效能改进工具。例如合并模式通过让一个帧间预测单元INTERPREDICTEDPREDICTIONUNIT来继承运动数据即运动向量、预测方向以及参考图片索引,以降低编码负荷。其中该运动数据来自同一图片中的空间运动数据位置中选出的位置和基于参考图片中位于共同位置的预测单元得到的暂时运动数据位置。合并模式名称的由来则是因为所形成的共享所有运动信息的合并区域。然而这些空间运动数据位置位于其它的预测单元中。因此,依赖于来自其他预测单元中。

11、的位置的运动数据造成了视频编码器中并行运动估计的实现上的困难。0004为了完成并行运动估计,将最大编码单元分割为相同大小的一个或多个非重迭并行运动估计区域。这些非重迭并行运动估计区域在高效能视频编码标准中也被称为并行合并级PARALLELMERGELEVEL。依序执行从一个并行运动估计区域到另一个并行运动估计区域的运动估计,也就是说,在当前并行运动估计区域的运动估计结束后,才会开始对下一个并行运动估计区域进行运动估计。然而,在一个并行运动估计区域内,对此并行运动估计区域中的所有预测单元来说,合并模式的运动估计是并行执行的。更具体地说,当在合并模式下计算运动向量时,在并行运动估计区域之内,同一并。

12、行运动估计区域中相邻的区块的运动向量彼此间没有相依性。如此一来,并行运动估计区域中合并模式下运动向量的计算仅使用并行运动估计区域之外的运动向量。0005在现有的设计中,并行运动估计区域的尺寸在开始编码处理之前由编码器配置设定。因此,视频序列中编码帧使用的固定大小的并行运动估计区域,在视频编码中缺乏弹性,且无法针对不同编码应用得到最佳的并行度PARALLELDEGRE。发明内容0006根据本发明的示例,提出依据编码相关信息来决定并行运动估计区域的尺寸的视频编码方法和装置以及相关的视频解码方法和装置用于解决以上问题。0007根据本发明第一实施方式,提供一种视频编码方法。该视频编码方法包含有依据编码。

13、相关信息来决定并行运动估计区域的尺寸;以及通过至少基于并行运动估计区域的尺说明书CN104159106A2/9页5寸来执行运动估计以对多个像素进行编码。0008根据本发明第二实施方式,提供一种视频解码方法。该视频解码方法包含有对视频参数流进行解码以得到并行运动估计区域的解码尺寸。检查并行运动估计区域的解码尺寸的有效性,并据以产生检查结果。当检查结果指示并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定并行运动估计区域的尺寸。通过基于并行运动估计区域的已决定尺寸来至少执行运动补偿以解码多个像素。0009根据本发明第三实施方式,提供一种视频编码装置。该视频编码装置包含有编码器参数设定电路和。

14、视频编码器。编码器参数设定电路用来依据编码相关信息来决定并行运动估计区域的尺寸。视频编码器用来通过基于并行运动估计区域的尺寸来至少执行运动估计,以对多个像素进行编码。0010根据本发明第四实施方式,提供一种视频解码装置。该视频解码装置包含有输入接口和视频解码器。输入接口用来接收包含有视频参数流的编码视频比特流。视频解码器用来对视频参数流进行解码以得到并行运动估计区域的解码尺寸;检查并行运动估计区域的解码尺寸的有效性,并据以产生检查结果。当检查结果指示并行运动估计区域的解码尺寸为无效时,进入错误处理过程来决定并行运动估计区域的尺寸。通过基于并行运动估计区域的已决定的尺寸来至少执行运动补偿,以解码。

15、多个像素。0011本发明所提出的视频编码方法和视频解码方法及其装置,能够分别在编码及解码过程中得到完善的运动估计尺寸处理。附图说明0012图1为根据本发明实施方式的采用视频编码和解码机制的系统的示意图。0013图2为根据本发明实施方式的第一视频编码方法的流程图。0014图3为根据本发明实施方式的第二视频编码方法的流程图。0015图4为根据本发明实施方式的具有错误处理的视频解码方法的流程图。0016图5为根据本发明实施方式的第一错误处理的流程图。0017图6为根据本发明实施方式的第二错误处理的流程图。0018图7为根据本发明实施方式的第三错误处理的流程图。0019图8为根据本发明实施方式的第四错。

16、误处理的流程图。具体实施方式0020在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的“包含”是开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此是包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表第一装置可直接电气连接于第二装置,或通过其它装置或连接手段间接地电气连接到第二装置。0021本发明的主要精神在于依据编码相关信息来决定并行运动。

17、估计区域的尺寸。也就是说,在视频编码/压缩的过程中,并行运动估计区域的尺寸不是固定的。这样一来,对于说明书CN104159106A3/9页6不同的编码应用来说,可以较弹性地对视频进行编码,且具有较佳的并行度,以及达到软/硬件设计上的高度并行化。0022图1为根据本发明实施方式的采用视频编码和解码机制的系统100的示意图。采用视频编码和解码机制的系统100包含有来源装置102和目的装置104。来源装置102负责提供编码视频数据和相关视频参数,之后编码视频数据和相关视频参数将由目的装置104进行解码。特别是来源装置102会通过任何传输装置101提供编码视频数据和相关视频参数至目的装置104。举例来。

18、说,传输装置101可以为储存媒体、连接线或是有线/无线网络。来源装置102和目的装置104可以为各种不同电子装置,包含计算机、智能型手机、机顶盒、电视、多媒体服务器、多媒体客户端等。0023如图1所示,来源装置102包含有视频源112以及视频编码装置114,视频源112提供来源视频输入D_IN。其中,视频编码装置114编码来源视频输入D_IN为编码视频比特流BS。例如,视频源112可以为用来产生来源视频输入D_IN的视频相机,或是用来从视频内容提供端接收来源视频输入D_IN的视频接口。视频编码装置114对来源视频输入D_IN中的像素进行编码以产生编码视频比特流BS。编码视频比特流BS包含有视频。

19、参数流VIDEOPARAMETERSTREAMBSP和视频负载数据流BSD。目的装置104包含有视频解码装置122和显示装置124。在接收端的视频解码装置122对视频参数流BSP进行解码来得到传送端用来对来源视频输入D_IN编码的编码器参数,然后基于解码出来的编码器参数对视频负载数据流BSD中的像素进行解码以产生重建视频输出D_OUT至显示装置124以供播放。举例来说,但本发明不以此为限,视频编码装置114和视频解码装置122可依据视频编码标准来操作,例如目前的高效能视频编码标准HEVC。此外,所提出的视频编码和解码机制可应用在视频编码装置114和视频解码装置122以增强高效能视频编码标准所支。

20、持的并行运动补偿。关于视频编码和解码机制的更进一步的细节将说明如下。0024请连同图1一起参考图2,图2为根据本发明实施方式的第一视频编码方法的流程图。图2中的视频编码方法可以应用在图1所示的视频编码装置114。倘若大体上可达到相同的结果,并不一定需要按照图2所示的流程中的步骤顺序来进行,且图2所示的步骤不一定要连续进行,即其他步骤也可以插入其中。此外,图2中的某些步骤可根据不同实施例或设计需求而省略。在步骤202中,在视频编码器116开始编码处理之前,编码器参数设定电路115参考编码器配置ENCODERCONGURATION以设定视频编码器116所使用的编码器参数。应注意的是编码器参数设定函。

21、数可以通过硬件或是软件的方式来实现。在硬件实现方法中,可以使用纯硬件的方式来实现编码器参数设定电路115。在软件实现方法中,可以使用处理器执行程序代码的方式来实现编码器参数设定电路115。举例来说,如同现有的视频编码器设计,并行运动估计区域的尺寸可以在开始编码来源视频输入D_IN之前依据编码器配置来初始设定。在步骤204中,视频编码器116开始进行对来源视频输入D_IN进行编码处理。在步骤206中,编码器参数设定电路115依据编码相关信息来确定并设定对于帧的并行运动估计区域的尺寸SIZE_PMER。举例来说,但本发明不以此为限,编码相关信息可以包含编码类型、编码应用信息及/或外部系统信息。00。

22、25在编码器参数设定电路115考虑编码类型的情况下,被用来设定并行运动估计区域的尺寸SIZE_PMER的编码类型包含参考类型例如参考类型指示欲编码当前帧为参考帧或非参考帧、切片类型例如切片类型指示在当前帧中欲编码的切片为帧内说明书CN104159106A4/9页7切片INTRAISLICE、帧间预测切片PREDICTEDPSLICE或是双向帧间预测切片BIDIRECTIONALPREDICTEDBSLICE、最大编码单元LARGESTCODINGUNIT,LCU尺寸和视频编码器的处理核心的数目若视频编码器116以纯硬件来实现以作为视频编码器,即硬件编码器中的至少一个。以下的表1中列出了不同编码。

23、类型的并行运动估计区域的尺寸SIZE_PMER的示范性设定。0026表100270028在编码器参数设定电路115考虑编码应用信息的情况下,编码应用信息包含性能模式例如性能模式PERFORMANCEMODE指示编码应用是操作于低性能模式还是高性能模式、延迟模式例如延迟模式指示编码应用是否操作于低延迟模式以及编码方案例如编码方案指示编码应用是否操作于正常录像模式NORMALRECORDINGMODE中的至少一个。以下的表2中列出了不同编码应用的并行运动估计区域的尺寸SIZE_PMER的示范性设定。0029表20030编码应用并行运动估计区域的尺寸低性能模式64X64低延迟模式32X32正常录像模。

24、式16X16说明书CN104159106A5/9页8高性能模式8X80031在编码器参数设定电路115考虑外部系统信息的情况下,外部系统信息包含有带宽状态例如带宽状态指示系统带宽例如主要内存带宽或网络带宽、系统电源状态例如系统电源状态指示电池剩余电力、系统时序例如系统时序指示系统为高延迟LONGLATENCY还是低延迟SMALLLATENCY和通用处理器的处理核心的数目若视频编码器116以通用处理器执行编码软件来实现,即软件编码器中的至少一个。以下的表3中列出了不同外部系统信息的并行运动估计区域的尺寸SIZE_PMER的示范性设定。0032表300330034一般来说,并行运动估计区域的尺寸越。

25、小,对于每个最大编码单元的运动估计的处理时间越长,功耗也就越大。不过,当并行运动估计区域的尺寸被设定为较大值时,视频编码器需要有更高的计算功率来完成所想要达到的并行运动估计,这无疑将导致较高的硬件成本。在本发明实施例中,能够基于编码相关信息来适应性地动态地设定并行运动估计区域的尺寸,编码相关信息包含编码类型、编码应用信息及/或外部系统信息,进而在有限的系统资源下达到最佳并行运动估计性能。0035在步骤208中,检查并行运动估计区域的尺寸是否改变即视频编码器116检查当前帧的所决定的并行运动估计区域的尺寸SIZE_PMER是否和前一帧的所决定的并行运动估计区域的尺寸不一致。若确定并行运动估计区域。

26、的尺寸有变化,视频编码器116对图片参数重新编码以包括当前帧所决定的并行运动估计区域的尺寸SIZE_PMER步骤210。若在步骤208中发现并行运动估计区域的尺寸没有变化,或是步骤210结束对图片参数的重新编码,视频编码器116便开始基于当前帧所决定的并行运动估计区域的尺寸SIZE_PMER来对当前帧中的多个像素进行编码步骤212。因此,视频编码器116便能够在具有由编码器参数设定的并行运动估计区域的尺寸SIZE_PMER的相同的并行运动估计区域中对预测单元执行并行运动估计,因而改善编码效能。在步骤214中,视频编码器116检查来源视频输入D_IN的所有帧是否都完成编码。若是来源视频输入D_I。

27、N仍有帧等待编码,说明书CN104159106A6/9页9则流程进入步骤206。若来源视频输入D_IN已没有帧等待编码,则视频编码器116停止编码,即编码结束步骤216。0036请注意,步骤208为非必要步骤,可以视实际情况而定。举例来说,在另一个视频编码器设计中,步骤208以及相关操作可以被省略,使得步骤206之后紧接执行步骤210。这样一来,在步骤206中,编码器参数设定电路115设定并行运动估计区域的尺寸之后,视频编码器116在步骤210中对图片参数进行重新编码。换句话说,每次设定并行运动估计区域的尺寸时,图片参数会被重新编码。此设计也属于本发明的权利范围之中。0037在图2的范例中,编。

28、码器参数设定电路115在帧级FRAMELEVEL下动态地调整并行运动估计区域的尺寸SIZE_PMER。此仅为说明用途,并非本发明的限制所在。在其它设计中,编码器参数设定电路115也可在序列级SEQUENCELEVEL下动态地调整并行运动估计区域的尺寸SIZE_PMER。0038请连同图1一起参考图3,图3为根据本发明实施方式的第二视频编码方法的流程图。图3中的视频编码方法可以应用在图1所示的视频编码装置114。倘若大体上可达到相同的结果,并不一定需要按照图3所示的流程中的步骤顺序来进行,且图3所示的步骤不一定要连续进行,即其他步骤也可插入其中。此外,图3中的某些步骤可根据不同实施例或设计需求而。

29、省略。0039在步骤302中,在视频编码器116开始编码之前,编码器参数设定电路115参考编码器配置以设定视频编码器116所使用的编码器参数。举例来说,如同现有的视频编码器设计,并行运动估计区域的尺寸可以在开始编码来源视频输入D_IN之前依据编码器配置来初始决定。在步骤304中,编码器参数设定电路115依据编码相关信息来确定并设定对于视频序列即来源视频输入D_IN的并行运动估计区域的尺寸SIZE_PMER。如上所述,编码相关信息可以包含编码类型、编码应用信息及/或外部系统信息。在步骤306中,视频编码器116开始对来源视频输入D_IN进行编码处理。在步骤306中,视频编码器116准备开始基于视。

30、频序列所决定的并行运动估计区域的尺寸来对帧中多个像素进行编码。在步骤308中,视频编码器116便能够在具有由并行运动估计区域的尺寸SIZE_PMER设定的尺寸的相同的并行运动估计区域中对预测单元执行并行运动估计,因而改善编码效能。在步骤310中,视频编码器116检查来源视频输入D_IN的所有帧是否都经过编码。若来源视频输入D_IN仍有帧等待编码,则流程进入步骤308来使用并行运动估计区域的尺寸SIZE_PMER来对下一帧进行编码。若来源视频输入D_IN已没有帧等待编码,则视频编码器116停止编码,即编码结束步骤312。根据本发明另一实施方式,当前视频序列编码即,来源视频输入D_IN完成之后,若。

31、还存在下一个视频序列,则流程转至步骤304或步骤302。0040如上所述,并行运动估计区域的尺寸SIZE_PMER可能和最大编码单元尺寸有关。依据高效能视频编码标准HEVC,最大编码单元包含有至少一个编码单元,每一个编码单元包含至少一个预测单元,以及每一个编码单元都可以为帧内编码INTRACODING单元或帧间编码INTERCODING单元。根据本发明的一个实施方式,可以通过最大编码单元尺寸来设定并行运动估计区域的尺寸SIZE_PMER。在本发明一个较佳实施例中,编码器参数设定电路115参考最大编码单元尺寸来使并行运动估计区域的尺寸等于最大编码单元尺寸。对产生合并运动向量的处理而言,需要相邻区。

32、块的运动向量,每一个区块的运动向量会在运动估计处理后被决定。举例来说,在并行运动估计区域的尺寸并非设定为最大编码单元说明书CN104159106A7/9页10尺寸的情况下,当视频编码器对最大编码单元进行编码时,对在最大编码单元中属于不同并行运动估计区域的编码单元产生合并运动向量的处理应按顺序进行。也就是说,产生下一个编码单元的合并运动向量的处理过程应在当前编码单元的运动估计完成后才执行。然而,在另一种情况下,并行运动估计区域的尺寸如本发明的方法被设定为最大编码单元尺寸,当视频编码器对最大编码单元进行编码时,对最大编码单元中的编码单元产生合并运动向量的处理过程便能够同时并行地被处理。换句话说,在。

33、相同最大编码单元中,对编码单元产生合并运动向量的处理过程与另一个编码单元的运动估计是独立的。这样一来,可大大地增加视频编码的并行度PARALLELDEGREE。0041视频编码器116的输出通过输出接口117被传送到目的装置104。举例来说,基于传输装置101的规格,视频编码器116的输出被适当地调变/封包化并通过输出接口117输出为编码视频比特流。应注意的是,视频编码器116所使用的帧级/序列级并行运动估计区域尺寸信息通过视频编码器116被编码为视频参数流BSP,然后传送到目的装置104。关于视频解码装置122,视频解码装置122具有输入接口125以及视频解码器126。输入接口125从传输装。

34、置101接收编码视频比特流BS。相似地,基于传输装置101的规格,输入接口125对编码视频比特流BS进行解调变/封包解析。接下来,视频解码器126对视频参数流BSP和视频负载数据流BSD进行处理,以产生重建视频输出D_OUT的帧。视频解码器126可以通过软件即通过通用处理器执行编码软件来实现或是硬件即使用纯硬件的视频解码器的方式来实现。0042由于使用编码器参数设定电路115,并行运动估计区域的尺寸SIZE_PMER可被允许基于编码相关信息来调整。此外,并行运动估计区域的尺寸SIZE_PMER被编码为视频参数流BSP并且被传送到视频解码器126。传输装置101有可能会受到噪声的干扰导致并在传输。

35、时将错误比特引入编码视频比特流BS。在此实施例中,当处理并行运动估计区域的尺寸时,视频解码器126具备错误处理能力。0043请参考图4,图4为根据本发明实施方式的具有错误处理的视频解码方法的流程图。图4中的视频解码方法可以被应用在图1的视频解码器126中。倘若大体上可达到相同的结果,并不一定需要按照图4所示的流程中的步骤顺序来进行,且图4所示的步骤不一定要连续进行,即其他步骤也可插入其中。此外,图4中的某些步骤可根据不同实施例或设计需求而省略。0044在步骤402中,视频解码器126对视频参数流BSP进行解码以得到并行运动估计区域的解码尺寸SIZE_PMER。在步骤404中,视频解码器126对。

36、视频参数流BSP进行解码以得到最大编码单元尺寸的解码尺寸SIZE_LCU。举例来说,视频解码器126从视频参数流BSP得到若干参数,这些参数包含最小编码单元尺寸以及最大编码单元尺寸和最小编码单元尺寸的差。然后依据这些参数来决定最大编码单元尺寸的解码尺寸SIZE_LCU。在步骤406中,视频解码器126检查并行运动估计区域的解码尺寸SIZE_PMER的有效性,并据以产生检查结果。0045在示范性设计中,视频解码器126对并行运动估计区域的解码尺寸SIZE_PMER和最大编码单元尺寸的解码尺寸SIZE_LCU进行比较,以检验并行运动估计区域的解码尺寸SIZE_PMER的有效性。举例来说,最大编码单。

37、元尺寸的解码尺寸SIZE_LCU用来当作有效范围的上限,以及最小预测单元尺寸例如4X4用来作为有效范围的下限。当并行说明书CN104159106A108/9页11运动估计区域的解码尺寸SIZE_PMER落在有效范围之内时,并行运动估计区域的解码尺寸SIZE_PMER会通过有效性的测试并且会被视为有效。然而,当并行运动估计区域的解码尺寸SIZE_PMER超出有效范围时,并行运动估计区域的解码尺寸SIZE_PMER便不会通过有效性的测试并且会被视为无效。应注意的是,上述有效范围仅供说明用途,并非本发明的限制所在。在其它实施例中,有效范围的上限可以被设定为固定值例如64X64或最小编码单元尺寸。00。

38、46在另一个示范性设计中,视频解码器126得到与并行运动估计区域的解码尺寸SIZE_PMER相关的奇偶校验PARITYCHECK结果;并会参考奇偶校验结果来检查并行运动估计区域的解码尺寸SIZE_PMER的有效性。举例来说,当奇偶校验结果指示并行运动估计区域的解码尺寸SIZE_PMER没有错误时,并行运动估计区域的解码尺寸SIZE_PMER便会通过有效性测试并且被视为有效。然而,当奇偶校验结果指示并行运动估计区域的解码尺寸SIZE_PMER有不可校正的错误时,并行运动估计区域的解码尺寸SIZE_PMER便不会通过有效性测试并且被视为无效。0047在另一个示范性设计中,比较结果和奇偶校验结果会被。

39、同一考虑以决定并行运动估计区域的解码尺寸SIZE_PMER是否有效。举例来说,仅当并行运动估计区域的解码尺寸SIZE_PMER落在有效范围之内且奇偶校验结果指示并行运动估计区域的解码尺寸SIZE_PMER没有错误,并行运动估计区域的解码尺寸SIZE_PMER才会被视为有效。0048在步骤408中,检查结果指示并行运动估计区域的解码尺寸SIZE_PMER是否有效。在检查结果指示并行运动估计区域的解码尺寸SIZE_PMER为有效的情况下步骤408,视频解码器126根据并行运动估计区域的解码尺寸SIZE_PMER来至少执行运动估计来继续对视频负载数据流BSD中的多个像素进行解码处理步骤412。004。

40、9在检查结果指示并行运动估计区域的解码尺寸SIZE_PMER为无效的情况下步骤408,视频解码器126进入错误处理来决定实际被用在后续解码处理过程中的并行运动估计区域的尺寸步骤410。接下来,视频解码器126根据并行运动估计区域的已决定的尺寸来至少执行运动补偿来继续对视频负载数据流BSD中的多个像素进行解码处理步骤412。0050视频解码器126至少采用以下所提出的错误处理机制来执行错误处理过程。请参考图5,图5为根据本发明实施方式的第一错误处理的流程图。图4中的步骤410可以使用图5中的步骤502来实现。依据第一错误处理过程,视频解码器126通过用确定为有效的并行运动估计区域的先前解码尺寸来。

41、代替并行运动估计区域的解码尺寸SIZE_PMER,从而来设定并行运动估计区域的已决定的尺寸步骤502。换句话说,后续解码处理所使用的并行运动估计区域的尺寸继承自之前解码得到的有效的并行运动估计区域尺寸。这样一来,便不需要要求重新传输视频参数。0051请参考图6,图6为根据本发明实施方式的第二错误处理的流程图。图4中的步骤410可以使用图6中的步骤602和步骤604来实现。举例来说,依据第二错误处理过程,当并行运动估计区域的解码尺寸SIZE_PMER落在有效范围内但没有通过奇偶校验PARITYCHECK即奇偶校验结果指示并行运动估计区域的解码尺寸SIZE_PMER包含有无法校正的错误时,视频解码。

42、器126忽略检查结果,即忽略无效并行运动估计区域尺寸的通知步骤602,并且仍然使用并行运动估计区域的解码尺寸SIZE_PMER当来作在后续解码处理说明书CN104159106A119/9页12中使用的并行运动估计区域的已决定的尺寸步骤604。由于无效并行运动估计区域尺寸落在有效范围内,视频解码器126仍有机会得到在具有由并行运动估计区域的解码尺寸SIZE_PMER设定的尺寸的并行运动估计区域中的预测单元的正确的运动向量。这样一来,便不需要重新传输视频参数。0052请参考图7,图7为根据本发明实施方式的第三错误处理的流程图。图4中的步骤410可以使用图7中的步骤702、步骤704和步骤706来实。

43、现。依据第三错误处理过程,当并行运动估计区域的解码尺寸SIZE_PMER超出有效范围时,视频解码器126检查并行运动估计区域的解码尺寸SIZE_PMER是否大于有效范围的上限例如,最大编码单元尺寸步骤702。当并行运动估计区域的解码尺寸SIZE_PMER大于有效范围的上限时,视频解码器126将并行运动估计区域的解码尺寸SIZE_PMER限制在有效范围的上限,即通过有效范围的上限设定用于后续解码处理中的并行运动估计区域的已决定的尺寸设定步骤704。当并行运动估计区域的解码尺寸SIZE_PMER并非大于有效范围的上限时,由于并行运动估计区域的解码尺寸SIZE_PMER超出了有效范围的前提,意味着并。

44、行运动估计区域的解码尺寸SIZE_PMER小于有效范围的下限例如,最小编码单元的尺寸,视频解码器126将并行运动估计区域的解码尺寸SIZE_PMER限制在有效范围的下限,即通过有效范围的下限来设定后续解码处理中的并行运动估计区域的已决定的尺寸步骤706。这样一来,便不需要重新传输视频参数。0053请参考图8,图8为根据本发明实施方式的第四错误处理的流程图。图4中的步骤410可以使用图8中的步骤802、步骤804、步骤806、步骤808和步骤810来实现。依据第四错误处理过程,视频解码器126通过对传送端即来源装置102发出信号来要求视频参数流BSP的重新传输步骤802。接着,视频解码器126等。

45、待重新传送的视频参数流BSP步骤804。在接收到重传的视频参数流BSP之后,视频解码器126对重传的视频参数流BSP进行解码,以得到并行运动估计区域的新解码尺寸步骤806。接下来,在步骤808中检查并行运动估计区域的新解码尺寸是否有效。即视频解码器126依据上述有效性检查规则的其中之一来检查并行运动估计区域的新解码尺寸的有效性,并据以产生新检查结果步骤808。当新检查结果指示并行运动估计区域的新解码尺寸不具有效性时,视频解码器126进入错误处理过程410。当新检查结果指示并行运动估计区域的新解码尺寸有效时,视频解码器126使用并行运动估计区域的新解码尺寸来当作并行运动估计区域的已决定的尺寸以供。

46、后续解码处理过程使用步骤810。0054本发明在视频编码和视频解码之间提供鲁棒性ROBUST较强的错误处理方法,能够避免解码视频数据传流时产生的错误。0055虽然本发明已以较佳实施方式揭露如上,然而必须了解其并非用以限定本发明。相反,任何本领域技术人员,在不脱离本发明的精神和范围内,当可做些许更动与润饰,因此本发明的保护范围应当以权利要求书所界定的保护范围为准。说明书CN104159106A121/7页13图1说明书附图CN104159106A132/7页14图2说明书附图CN104159106A143/7页15图3说明书附图CN104159106A154/7页16图4说明书附图CN104159106A165/7页17图5图6说明书附图CN104159106A176/7页18图7说明书附图CN104159106A187/7页19图8说明书附图CN104159106A19。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 >


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1