HEVC中无损编码中的改进帧内预测.pdf

上传人:00062****4422 文档编号:473062 上传时间:2018-02-18 格式:PDF 页数:19 大小:2.50MB
返回 下载 相关 举报
摘要
申请专利号:

CN201380016655.1

申请日:

2013.04.19

公开号:

CN104205843A

公开日:

2014.12.10

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):H04N 19/503申请日:20130419|||公开

IPC分类号:

H04N19/503(2014.01)I; H04N19/182(2014.01)I; H04N19/13(2014.01)I; H04N19/91(2014.01)I

主分类号:

H04N19/503

申请人:

华为技术有限公司

发明人:

高文; 姜明强; 于浩平

地址:

518129 广东省深圳市龙岗区坂田华为总部办公楼

优先权:

2012.04.20 US 61/636,409

专利代理机构:

代理人:

PDF下载: PDF下载
内容摘要

一种方法包括使用预测单元(PU)中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值,以及使用基于样本的角预测(SAP)计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。

权利要求书

1.  一种方法,其特征在于,包括:
使用预测单元(PU)中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值;以及
使用基于样本的角预测(SAP)计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。

2.
  根据权利要求1所述的方法,其特征在于,计算所述多个边界像素的预测值包括:
基于对应左侧、上方和左上方相邻的邻近像素值计算所述多个边界像素中每个像素的所述预测值。

3.
  根据权利要求2所述的方法,其特征在于,计算所述第二多个像素的预测值包括:
根据预测角计算所述第二多个像素中每个像素的所述预测值为对应相邻像素值的线性组合。

4.
  根据权利要求3所述的方法,其特征在于,基于所述对应左侧、上方和左上方邻近相邻像素值计算所述预测值包括计算所述预测值为:
P(X)=min(A,B)if C≥max(A,B)max(A,B)if Cmin(A,B)A+B-Celse,]]>
其中P(X)表示像素X的所述预测值,A表示所述对应左侧像素值,B表示所述对应上方像素值,以及C表示所述对应左上方像素值。

5.
  根据权利要求3所述的方法,其特征在于,所述多个边界像素的所述预测值和所述第二多个像素的所述预测值形成所述PU的预测块,其中所述方法进一步包括:
从原始块中减去所述预测块以生成残差块;以及
通过熵编码所述残差块对所述残差块进行无损编码以生成一部分比特流。

6.
  根据权利要求3所述的方法,其特征在于,进一步包括:
选择扫描处理顺序为水平扫描处理顺序或垂直扫描处理顺序;
选择所述预测角,
其中所述对应相邻像素值包括对应的两个像素值;所述线性组合包括取决于所述预测角的所述两个像素值的权重。

7.
  根据权利要求5所述的方法,其特征在于,进一步包括:
格式化所述部分比特流进行传输;以及
传输所述格式化的部分比特流。

8.
  根据权利要求6所述的方法,其特征在于,进一步包括基于所述扫描处理顺序选择所述多个边界像素。

9.
  根据权利要求8所述的方法,其特征在于,如果所述处理顺序为所述水平扫描处理顺序,所述多个边界像素位于所述PU的右侧边界;如果所述扫描处理顺序为所述垂直扫描处理顺序,所述多个边界像素位于所述PU的下方边界。

10.
  一种装置,其特征在于,包括:处理器,用于:
使用预测单元(PU)中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值;以及
使用基于样本的角预测(SAP)计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。

11.
  根据权利要求10所述的装置,其特征在于,计算所述多个边界像素的预测值包括:
基于对应左侧、上方和左上方相邻的邻近像素值计算所述多个边界像素中每个像素的所述预测值。

12.
  根据权利要求11所述的装置,其特征在于,计算所述第二多个像素的预测值包括:
根据预测角计算所述第二多个像素中每个像素的所述预测值为对应相邻像素值的线性组合。

13.
  根据权利要求12所述的装置,其特征在于,基于所述对应左侧、上方和左上方邻近的相邻像素值计算所述预测值包括计算所述预测值为:
P(X)=min(A,B)if C≥max(A,B)max(A,B)if Cmin(A,B)A+B-Celse,]]>
其中P(X)表示像素X的所述预测值,A表示所述对应左侧像素值,B表示所述对应上方像素值,以及C表示所述对应左上方像素值。

14.
  根据权利要求12所述的装置,其特征在于,所述多个边界像素的所述预测值和所述第二多个像素的所述预测值形成所述PU的预测块,其中所述处理器进一步包括:
从原始块中减去所述预测块以生成残差块;以及熵编码所述残差块以生成一部分比特流。

15.
  根据权利要求12所述的装置,其特征在于,所述处理器进一步用于:
选择扫描处理顺序为水平扫描处理顺序或垂直扫描处理顺序;
选择所述预测角,
其中所述对应相邻像素值包括对应的两个像素值;所述线性组合包括取决于所述预测角的所述两个像素值的权重。

16.
  根据权利要求14所述的装置,其特征在于,所述处理器进一步包括格式化所述部分比特流进行传输;以及所述装置进一步包括发射器,用于传输所述格式化的部分比特流。

17.
  一种方法,其特征在于,包括:
熵解码一部分比特流以生成残差块;
通过以下方式重建对应于所述残差块的预测块:
使用对应左侧、上方和左上方邻近的相邻重建像素值重建多个边界像素;以及
使用基于样本的角预测(SAP)重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素;以及所述第二多个像素和所述多个边界像素形成所述预测块;以及
将所述预测块添加到所述残差块以生成视频帧中原始块的估计。

18.
  根据权利要求17所述的方法,其中重建所述多个边界像素包括:基于所述对应左侧、上方和左上方相邻的邻近重建的像素值计算所述多个边界像素中每个像素的所述预测值。

19.
  根据权利要求18所述的方法,其特征在于,重建所述第二多个像素包括:根据预测角计算所述第二多个像素中每个像素位置的预测值为对应相邻重建像素值对的线性组合。

20.
  根据权利要求17所述的方法,其特征在于,进一步包括:确定所述扫描处理顺序;以及
根据所述扫描处理顺序确定所述多个边界像素。

21.
  一种装置,其特征在于,包括:处理器,用于:
熵解码一部分比特流以生成残差块;
通过以下方式重建对应于所述残差块的预测块:
使用对应左侧、上方和左上方邻近的相邻重建像素值重建多个边界像素;以及
使用基于样本的角预测(SAP)重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素;以及所述第二多个像素和所述多个边界像素形成所述预测块;以及
将所述预测块添加到所述残差块以生成视频帧中原始块的估计。

说明书

HEVC中无损编码中的改进帧内预测
相关申请案交叉申请
本发明要求2012年4月20日由高文(Wen Gao)等人递交的发明名称为“用于帧内预测残差的二值化方案和HEVC中无损编码中的改进帧内预测(Binarization Scheme for Intra Prediction Residuals and Improved Intra Prediction in Lossless Coding in HEVC)”的第61/636409号美国临时专利申请案的在先申请优先权,该在先申请的内容以引用的方式并入本文本中,如全文再现一般
关于联邦赞助的研究或开发的声明
不适用。
缩微平片附件的引用
不适用。
背景技术
即使在影片相对较短的情况下也需要对大量的视频数据进行描述,当数据要在带宽容量受限的通信网络中流过或以其他方式传送时,这样可能会造成困难。因此,视频数据通常要先压缩然后在现代电信网络中传送。当视频存储在存储设备中时,视频大小也可能成为一个问题,因为内存资源很有限。视频压缩设备通常在源处使用软件和/或硬件,以在传送或存储之前对视频数据进行编码,从而减少用来表示数字视频图像所需的数据 量。接着,压缩的数据在目的地处由视频解压设备接收,该视频解压设备用于对视频数据进行解码。在有限的网络资源以及对更高视频质量的需求不断增加的情况下,需要改进压缩和解压技术,所述改进的技术几乎无需以比特率的增加为代价就可以改进图像质量。
例如,视频压缩可使用帧内预测,在帧内预测中可从相同时频帧或切片中的参考像素中预测像素。当在有损模式下使用帧内预测时,变换和量化操作可逐块发生,这样可限制给定块的帧内预测使用相邻块中的参考样本用于预测给定块中的像素。然而,国际电信联盟电信标准化部门(ITU-T)中的视频编码联合协作小组(JCT-VC)负责下一代视频编码标准(称为高性能视频编码(HEVC)),并基于块中的相邻像素考虑预测用于在帧内预测模式下进行无损编码。这些预测技术可称为逐像素、逐样本或基于像素的帧内预测。然而,由于用于预测沿着某些边界的边界像素的相邻像素不可用,对于沿着正被预测的块的某些边界的像素,使用逐像素帧内预测存在问题。
发明内容
在一项实施例中,本发明包括一种方法,包括使用预测单元(PU)中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值,以及使用基于样本的角预测(SAP)计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。
在一项实施例中,本发明包括一种装置,包括处理器,用于使用PU中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素 的预测值,以及使用SAP计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。
在又一项实施例中,本发明包括一种方法,包括熵解码一部分比特流以生成残差块;通过使用对应左侧、上方和左上方相邻的邻近重建的像素值重建多个边界像素来重建对应于所述残差块的预测块;使用SAP重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素,以及所述第二多个像素和所述多个边界像素形成所述预测块;以及将所述预测块添加到所述残差块中以在视频帧中生成原始块的估计。
在又一项实施例中,本发明包括一种装置,包括处理器,用于熵解码一部分比特流以生成残余块;通过使用对应左侧、上方和左上方相邻的邻近重建的像素值重建多个边界像素来重建对应于所述残差块的预测块;使用基于样本的角预测(SAP)重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素,以及所述第二多个像素和所述多个边界像素形成所述预测块;以及将所述预测块添加到所述残差块中以在视频帧中生成原始块的估计。
结合附图和权利要求书,可从以下的详细描述中更清楚地理解这些和其它特征。
附图说明
为了更完整地理解本发明,现在参考以下结合附图和详细描述进行的简要描述,其中相同参考标号表示相同部分。
图1是视频编码器的实施例的功能图。
图2A示出了用于垂直SAP的水平扫描处理顺序,以及图2B示出了用于水平SAP的垂直扫描处理顺序。
图3A示出了具有正角的垂直SAP,以及图3B示出了具有正角的水平SAP。
图4示出了4×4的PU的实施例。
图5示出了PU的样本矩阵的实施例。
图6示出了基于像素的预测方案中的样本之间的关系。
图7A示出了使用正角(表示为a)的垂直SAP,以及图7B示出了使用正角的水平SAP。
图8是用于在无损模式下对PU进行编码的方法的实施例的流程图。
图9是无损解码模式下解码方法的实施例的流程图。
图10是网络节点的实施例的示意图。
具体实施方式
最初应理解,尽管下文提供一个或多个实施例的说明性实施方案,但可使用任意数目的当前已知或现有的技术来实施所公开的系统和/或方法。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术,包含本文所说明并描述的示范性设计和实施方案,而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。
颜色空间可由三个分量表示,包括一个亮度(luma或者Y)分量和两个表示为Cb和Cr(或者有时为U和V)的色度(chroma)分量。亮度或者色度整数值通常使用比特以二进制形式存储和处理。在YUV或者YcbCr色彩空间中,每个亮度(Y)块对应于两个色度块:Cb块和Cr块。Cb块和Cr块同样互相对应。色度块及其对应的亮度块可以位于视频帧、切片或者区域的同一相对位置。所讨论的方法还可应用于任意其他色彩空间(例如,RGB、 YCoCg等)中的视频。
在视频编码中,各种采样率均可用于对YCbCr分量进行编码。根据采样率,Cb块、其对应的Cr块、和/或其对应的Y块的尺寸可以相同或者不同。例如,采样率为4:2:0时,每个N×N色度(Cb或者Cr)块可对应于一个2N×2N亮度块。在这种情况下,色度块的宽度或者高度为对应亮度块的一半。由于人眼对色度分量的敏感度不及亮度分量,色度分量被下采样或者降采样。又例如,采样率为4:4:4时,每个N×N色度(Cb或者Cr)块可对应于一个N×N亮度块。在这种情况下,可以保留更高的视频保真度,但可能需要对更多的数据进行编码。也可以使用其他采样率,例如4:2:2和4:2:1等。
在HEVC中,已经引入了新的块概念。例如,编码单元(CU)可以指将视频帧分为相等大小或不同大小的正方形块的子分区。在HEVC中,CU可以取代先前标准的宏块结构。根据帧间预测或帧内预测的模式,一个CU可以包括一个或多个预测单元(PU),每个预测单元可用作预测的基本单元。例如,就帧内预测而言,一个64×64的CU可以被对称地分为四个32×32的PU。又例如,就帧间预测而言,一个64×64的CU可以被非对称地分为一个16×64的PU以及一个48×64的PU。
HEVC仍然处于委员会草案阶段,并且已为具有4:2:0格式的视频序列定义了主流画质。在HEVC主流画质中,可通过简单地绕过变换、量化和环内滤波器(即,去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF))实现无损编码模式。该设计旨在提供无损编码,而不会对HEVC主流画质编码器和解码器的实施造成负担。以下将详细介绍与HEVC中的有损编码相对的无损编码。
图1是视频编码器100的实施例的功能图。编码器100可在HEVC中使 用。可将包含输入块的视频帧或图像输送到编码器100中。为了对输入块进行编码,可基于一个或多个先前已经编码的参考块生成预测块。输入块可为亮度或色度CU或PU。预测块可以是输入块的估计版本。如图所示,可通过从输入块中减去预测块(反之亦然)生成残差块。残差块可表示输入块和预测块之间的差值,换句话说,表示预测残差或误差。由于表示预测残差所需的数据量通常小于表示输入块所需的数据量,因此可对残差块进行编码以实现更高的压缩比。
根据是否使用有损或无损编码,编码器100中至少存在两种可能路径。首先探讨的是有损模式。如图1所示,在有损模式下,可将包含残差像素的残差块输送到变换模块102中。因此,空间域中的残差像素可以通过应用变换矩阵转换成频域中的变换系数。该转换可以通过二维变换,例如与离散余弦变换(DCT)十分类似或相同的变换来实现。此外,在变换模块102之后的量化模块104中,高索引变换系数的数量可以减少为零,从而可以在随后的熵编码步骤中被跳过。在进行量化之后,熵编码器150可对量化的变换系数进行熵编码。熵编码器150可以采用任何熵编码方案,例如,上下文自适应二进制算术编码(CABAC)编码方案,指数哥伦布编码方案,或者固定长度编码方案,或其任意组合。在进行熵编码之后,经编码的块可以作为比特流的一部分由编码器100传输。比特流可通过任意可用的网络协议进行包化、封装及传输。
在编码器100中,残差块可在经过一系列操作(例如,所示的变换、量化、去量化以及逆变换)之后转换成残差块II。由于一些或所有操作可能无法完全可逆,在转换过程期间可能引起信息损失。因此,残差块II可能只是对应的残差块的近似,并且通常为了较高压缩效率而包括较少的非零残差像素。进一步地,残差块II可以与对应的预测块合并以例如通过将两个块相加形成重建块。除非另有说明,对应的块可指示位于图像的同一相对位置的块。 在这种方式下,由于重建块可以是输入块的有损版本,编码器100可实施有损编码模式。
重建块可用作参考块来生成预测块。根据重建块的位置,预测可分为帧之间的预测和帧之内的预测(分别简称为帧间预测和帧内预测)。在使用中,连续的视频帧或切片可以很大程度上相互关联,使得帧中的块与先前编码的帧中的对应块不会有很大差异。帧间预测可利用一系列帧或图像中的时间冗余,例如,连续帧的对应块之间的相似度来减少压缩数据。帧间预测可由运动估计(ME)模块140实施,ME模块之后为运动补偿(MC)模块142。在帧间预测中,可实施运动补偿算法以基于位于当前帧之前的一个或多个参考帧中的对应块根据编码顺序计算当前帧中的当前块的运动矢量。
为了提高重建视频帧(例如通过减少块伪影)的质量,在预测之前可以执行环内滤波步骤。例如,在帧间预测中,去块滤波器120可以应用到位于重建块边缘的像素上以去除或减少块伪影。在实施去块滤波器120之后,环内滤波步骤有时可进一步包括样本自适应偏移(SAO)模块122,其还可用于修改重建像素的值。可在SAO模块122之后应用自适应环路滤波器(ALF)124,并且所得到的处理块可在帧缓冲器126中存储以便在帧间预测补偿中使用。
类似地,在视频帧内,像素可与同一帧内的其他像素相关,使得一个块内的像素值或一些块内的像素值可仅仅略有不同和/或呈现出重复的纹理(texture)。为了利用同一帧中的邻近块之间的空间相关性,帧内预测可由帧内预测估计(IPE)模块130实施,以根据一个或多个先前编码的邻近块(包括重建块)插入预测块,IPE模块130之后为帧内预测(IP)模块132。编码器和解码器可以独立地插入预测块,从而使得帧和/或图像的绝大部分能够根据相对少量的参考块的通信进行重建,所述参考块是例如,位于帧的左上角 (并从此处延伸)的块。选择模块134可在帧间和帧内预测之间选择输入块的最佳预测模式。通常,所述领域的普通技术人员理解到,使用率失真优化(RDO)可确定最佳预测模式,RDO挑选出产生例如预测块和原始块之间的最小决定误差和的预测模式。
接着探讨的是无损编码。如图1所示,在无损编码模式下,绕过变换102、量化104、逆量化106以及逆变换108模块以及环内滤波器(去块120、SAO122以及ALF滤波器124)。变换102和量化104模块可使用基于块的处理,这意味着对于使用帧内预测的有损编码模式,块中的像素预测仅基于邻近块中的参考像素。块中的参考像素不可用于块中的像素值预测。相比而言,对于使用帧内预测的无损编码模式,块中的像素预测可基于块中的其他像素,因为绕过了变换和量化模块。为此,可使用基于样本的角预测(SAP)用于无损编码。
在SAP中,PU中的所有样本可共享同一预测角,如B.Bross等人在“高性能视频编码(HEVC)文本规范草案6”JCT-VC文档,JCTVC-H1003,圣何塞,加利福利亚,2012年2月(下文称为“HEVC草案6”)中所定义,该文档以引用的方式并入本文本中,如全文再现一般。另外,预测角的传输可能与HEVC草案6中的相同。差别可能在于在本文所公开的方法中为PU逐样本进行角预测以实现更好的帧内预测精确度。也就是说,可通过使用同一预测角逐样本进行SAP样本来生成当前PU的预测块。
在SAP方法中,可以预定义的顺序处理PU中的样本,这样当PU中的当前样本根据其直接相邻样本预测时,邻居样本可用。图2A示出了用于垂直SAP的水平扫描处理顺序,以及图2B示出了用于水平SAP的垂直扫描处理顺序。如图2A和2B所示,可将水平扫描和垂直扫描处理顺序分别应用到垂直和水平的角预测。当前PU的上方和左侧PU界限周围的参考样本的处理 与HEVC草案6中定义的相同,而当前PU的右侧和下方PU界限周围的参考样本简单地从当前PU的最近边界样本处开始填充(参见图2A和2B中的填充样本)。
图3A示出了具有正角的垂直SAP,以及图3B示出了具有正角的水平SAP。应注意,分别如图3A和3B所示,在具有正角的垂直或水平SAP期间,可能需要当前PU的右侧和下方PU边界周围的填充样本。在图3A和3B中,x表示待预测的像素,a和b表示(实际或预测的)邻近样本值。
以具有正角的垂直SAP和4×4的PU为例。图4示出了4×4的PU的实施例,其中样本(像素值)表示为S(i,j),i=0,1,2,3且j=0,1,2,3。Pad(i),其中i=0,1,2表示利用最近样本使用常规技术获取的填充参考样本,意味着填充参考样本可表示为:
Pad(i)=S(i,3),其中i=0,1,2.
就具有正预测角的垂直SAP而言,S(i,3),其中i=1,2,3的预测值(表示为P(i,3))由下式给出,该预测值独立于预测角的值:
P(i,3)=S(i-1,3),其中i=1,2,3.(1)
因此,实际上,样本的垂直预测角P(i,3),其中i=1,2,3可能总为0度,而其他样本可使用不同的预测角。换句话说,预测值P(i,3),其中i=1,2,3的预测角为0。结果与水平SAP的相同。基于这些观察,可能需要使用边界样本对应的邻近样本或像素预测各个边界样本,像素不仅包括垂直SAP中紧靠上方的像素还包括水平SAP中紧靠左侧的像素。
本文公开的是在基于像素的预测中用于PU中的边界样本的改进预测的方法和装置。边界样本是相邻样本的副本并呈现了冗余信息,使用邻近样本而不使用填充样本预测边界样本。可将对边界样本的改进预测与PU中的其 他像素的SAP结合以提供无损编码模式下的有效的基于像素的预测方案。
基于上述观察,可能需要使用边界样本对应的邻近像素预测各个边界样本,像素不仅包括垂直SAP中紧靠上方的像素还包括水平SAP中紧靠左侧的像素,例如,对于4×4的PU的垂直SAP,边界样本为S(i,3),其中i=1,2,3;对于4×4的PU的水平SAP,边界样本为S(3,i),其中i=1,2,3。图5示出了大小为N×N的PU的样本矩阵的实施例。考虑垂直SAP为例。为了预测粗线框中的边界样本,即S(i,N-1),i=1,…,N-1,可使用以下自适应预测因子。假设X表示一个边界样本,即X=S(i,N-1),1<i<(N-1)。假设P(x)表示样本X的预测值。X的左侧、上方、左上方相邻的邻近样本分别表示为A、B和C。图6示出了样本A、B、C和X之间的关系。如下预测样本X:
P(X)=min(A,B)if C&GreaterEqual;max(A,B)max(A,B)if Cmin(A,B)A+B-Celse---(2)]]>
为了示出使用等式(2)用于垂直SAP的水平扫描顺序,假设需要预测样本S(1,N-1)(即,X=S(1,N-1))。已使用图2A的水平扫描顺序预测邻近样本S(1,N-2)、S(0,N-1)和S(0,N-2),从而产生P(S(1,N-2))、P(S(0,N-1))和P(S(0,N-2))。使用等式(2)的符号和图6,在确定P(X=S(1,N-1))中A=P(S(1,N-2))、B=P(S(0,N-1))和C=P(S(0,N-2))。
为了示出使用等式(2)用于水平SAP的垂直扫描顺序,假设需要预测样本S(N-1,1)(即,X=S(N-1,1))。对于SAP预测S(N-1,1)下方不存在可用的邻近样本,所以使用了等式(2)。已使用图2B的垂直扫描顺序预测邻近样本S(N-1,0)、S(N-2,0)和S(N-2,1),从而产生P(S(N-1,0))、P(S(N-2,0)和P(S(N-2,1))。使用等式(2)的符号和图6,在使用等式(2)确定P(X=S(N-1,1))中A=P(S(N-1,0))、B=P(S(N-2,1))和C=P(S(N-2,0)。一般而言,当使用水平SAP时,在等式(2)中使用自适应预测因子的边界样本可能是S(N-1,i),i=1,…,N-1。 为了预测上述边界样本中的一个样本,可使用如等式(2)中所述的同一预测因子。
等式(2)是一种基于某些边界样本S(i,N-1)或S(N-1,i)(其中i=1,…,N-1)的邻近样本值预测样本值的可能方式。其他可能方式包括计算中值或值A、B和C的平均值。
如果样本不属于边界样本S(i,N-1)(垂直SAP)或S(N-1,i)(水平SAP)中的任一者,其中i=1,2,...,N-1,那么可使用任意常规SAP技术。图7A示出了使用正角(表示为α)的垂直SAP,以及图7B示出了使用正角(也表示为α)的水平SAP。在图7A和7B中,X表示待预测的像素值,A和B表示邻近像素的实际或预测像素值。在这两种情况下,X可为A和B的加权(或线性)组合。例如,X可表示为:
X=(1–s)*A+s*B,(3)
其中s是范围为[0,1]的加权因子。当α很小时,加权因子应当给予A更大的权重,随着α增大,给予B的权重应当增加。加权因子s可例如等于tan(α),其中0<α<45度。HEVC中指定的帧内预测方法是计算这些加权因子的可能方式之一。
图8是用于在无损模式下对PU进行编码的方法700的实施例的流程图。该方法从方框710开始。在方框710中,确定PU的处理顺序。处理顺序可为水平处理顺序,例如如图2A所示,或垂直处理顺序,例如如图2B所示。接着,在方框720中,计算PU中的边界样本的预测值。对于水平处理顺序(即,垂直SAP用于其他样本),待预测的边界样本可表示为S(i,N-1),其中i=1,2,...,N-1;对于垂直处理顺序(即,水平SAP用于其他样本),可表示为S(N-1,i),其中i=1,2,...,N-1。也就是说,待预测的特定边界样本取决于扫描或处理顺序。PU可如图5所示布置。可基于例如如图6所示的对应左侧、上 方和左上方的邻近样本并使用等式(2)计算边界样本的预测值。接着,在方框730中,使用SAP计算PU中的剩余样本(即,PU中除上述边界样本之外的所有样本)的预测值。可使用任意常规SAP技术,该技术将样本预测为两个邻近样本的线性组合,其中该组合取决于预测角。等式(3)示出了SAP技术的一个示例。可以任意顺序或并行执行方框720和730。在方框740中,在确定了PU中的所有样本的预测值以提供预测PU或预测块之后,可如图1所示计算残差块,该残差块可为输入块和计算的预测块之间的差值。最后,在方框750中,可使用熵编码对残差块进行编码,例如如图1所示。回想到变换102和量化104模块在无损模式下被绕过,所以残差块可直接提供给熵编码器150。熵编码后的值可插入比特流中。PU可包括亮度或色度样本。方法700可应用到亮度样本、色度样本或亮度样本和色度样本。
图9是无损解码模式下解码方法760的实施例的流程图。鉴于本文所述的视频编码方案的详情,本领域的普通技术人员可以制定解码来逆转或“撤销”本文所述的编码。然而,方法760用于说明性和便利目的。方法760从方框765开始,在方框765中,使用熵解码对一部分比特流进行解码以生成残差块。在方框770中,基于一个或多个先前解码的邻近块中的残差块之外的多个参考像素重建预测块。可使用对应左侧、上方以及左上方邻近重建的样本重建基于处理顺序识别的边界样本。可使用SAP(水平处理顺序为垂直SAP,垂直处理顺序为水平SAP)重建预测块中的剩余样本。在方框775中,预测块可添加到残差块中以在视频帧中获取原始块(例如,输入PU)的估计。原始块可为亮度或色度样本。
上述方案可以在网络部件上实施,例如计算机或网络部件,其具有足够的处理能力、存储资源以及网络吞吐能力来处理其上的必要工作量。图10是网络部件或节点800的实施例的示意图,所述网络部件或节点800适用于实施本文所公开的视频编解码器或方法的一项或多项实施例,例如,编码器100、 用于编码PU的方法700,以及用于解码PU的方法760。网络节点800包括处理器802,其与包括辅助存储器804、只读存储器(ROM)806、随机存取存储器(RAM)808、输入/输出(I/O)设备810,以及发射器/接收器(或收发器)812的存储设备进行通信。I/O设备810和/或发射器/接收器812是可选的,并且如果不包含I/O设备810和/或发射器/接收器812,则网络节点800称为计算设备,在这种情况下,编码的比特流或解码的视频流可存储在存储器中。处理器802可以实施为一个或多个中央处理单元(CPU)芯片、核(例如,多核处理器)、现场可编程门阵列(FPGA)、专用集成电路(ASIC),和/或数字信号处理器(DSP)。处理器802可以使用硬件或软硬件的组合来实施。
辅助存储器804通常由一个或多个磁盘驱动器或磁带驱动器组成,用于数据的非易失性存储,且如果RAM808的大小不足以保存所有工作数据,那么所述辅助存储器还用作溢流数据存储设备。辅助存储器804可以用于存储程序,当选择执行这些程序时,所述程序将加载到RAM808中。ROM806用于存储在程序执行期间读取的指令以及可能读取的数据。ROM806为非易失性存储设备,其存储容量相对于辅助存储器804的较大存储容量而言通常较小。RAM808用于存储易失性数据,并且可能用于存储指令。ROM806和RAM808两者的存取速度通常比辅助存储器804的存取速度快。
发射器/接收器812可用作网络节点800的输出和/或输入设备。例如,如果发射器/接收器812用作发射器,则其可将数据传出网络节点800。如果发射器/接收器812用作接收器,其可将数据传入网络节点800。发射器/接收器812可采用以下形式:调制解调器,调制解调器组,以太网卡,通用串行总线(USB)接口卡,串行接口,令牌环卡,光纤分布式数据接口(FDDI)卡,无线局域网(WLAN)卡,无线收发器卡例如码分多址(CDMA),全球移动通信系统(GSM),长期演进(LTE),全球微波接入互操作性(WiMAX), 和/或其他空中接口协议无线收发器卡,以及其他公知的网络设备。发射器/接收器812可提供一种途径给处理器802以与互连网或一个或多个内网进行通信。如果网络节点800用作视频编码器,则处理器802可编码比特流。处理器802还可包化和封装(即,格式化)比特流进行传输并提供格式化的比特流给发射器/接收器812。发射器/接收器812随后将传输该格式化的比特流。
I/O设备810可包括视频监控器,液晶显示器(LCD),触屏显示器,或用于显示视频的其他类型的视频显示器,和/或可包括捕获视频的视频录像设备。I/O设备810可包括一个或多个键盘、鼠标、轨迹球或其他公知的输入设备。如果网络节点800用作视频编码器,则待编码的视频流可以由I/O设备810提供或通过其他方式提供。类似地,如果网络节点800用作视频解码器,则待解码的视频流可通过发射器/接收器812接收或通过其他方式提供。
应理解,通过将可执行指令编程和/或加载至网络节点800,处理器802、辅助存储器804、RAM808和ROM806中的至少之一被改变,从而将网络节点800的一部分转换成特定机器或装置(如,本发明宣扬的拥有功能的视频编解码器)。可执行指令可存储在辅助存储器804、ROM806和/或RAM808上,并加载至处理器802中进行执行。加载可执行软件至计算机所实现的功能可以通过公知设计规则转换成硬件实施,这在电力工程和软件工程领域是很基础的。决定使用软件还是硬件来实施一个概念通常取决于对设计稳定性及待生产的单元数量的考虑,而不是从软件领域转换至硬件领域中所涉及的任何问题。一般来说,经常变动的设计更适于在软件中实施,因为重新编写硬件实施比重新编写软件设计更为昂贵。通常,稳定及大规模生产的设计更适于在如专用集成电路(ASIC)这样的硬件中实施,因为运行硬件实施的大规模生产比软件实施更为便宜。设计通常可以以软件形式进行开发和测试,之后通过公知设计规则转变成专用集成电路中等同的硬件实施,该集成电路硬线软件指令。由新ASIC控制的机器是一特定的机器或装置,同样地,编 程和/或加载有可执行指令的电脑可视为特定的机器或装置。
本发明公开至少一项实施例,且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确陈述数值范围或限制的情况下,应将此类表达范围或限制理解为包含属于明确陈述的范围或限制内的类似量值的迭代范围或限制(例如,从约为1到约为10包含2、3、4等;大于0.10包含0.11、0.12、0.13等)。例如,每当公开具有下限R1和上限Ru的数值范围时,具体是公开落入所述范围内的任何数字。具体而言,特别公开所述范围内的以下数字:R=R1+k*(Ru-R1),其中k是从1%到100%以1%增量递增的变量,即,k是1%、2%、3%、4%、5%……50%、51%、52%……95%、96%、97%、98%、99%或100%。此外,还特此公开了,上文定义的两个R值所定义的任何数值范围。除非另有说明,否则术语“约”是指其后数字的±10%。相对于权利要求的某一要素,术语“可选择”使用表示该要素可以是需要的,或者也可以是不需要的,二者均在所述权利要求的范围内。例如包括、包含和具有等较广义的术语,应被理解为用于支持较狭义的术语,例如“由……组成”、“基本上由……组成”、以及“大体上由……组成”等。因此,保护范围不受上文所述的限制,而是由所附权利要求书定义,所述范围包含所附权利要求书的标的物的所有等效物。每项和每条权利要求作为进一步公开的内容并入说明书中,且权利要求书是本发明的实施例。所述揭示内容中的参考的论述并不是承认其为现有技术,尤其是具有在本申请案的在先申请优先权日期之后的公开日期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中,其提供补充本发明的示例性、程序性或其它细节。
虽然本发明多个具体实施例,但应当理解,所公开的系统和方法也可通 过其他多种具体形式体现,而不会脱离本发明的精神或范围。本发明的实例应被视为说明性而非限制性的,且本发明并不限于本文本所给出的细节。例如,各种元件或部件可以在另一系统中组合或合并,或者某些特征可以省略或不实施。
此外,在不脱离本发明的范围的情况下,各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变更、替换、更替示例对本领域技术人员而言是显而易见的,均不脱离此处公开的精神和范围。

HEVC中无损编码中的改进帧内预测.pdf_第1页
第1页 / 共19页
HEVC中无损编码中的改进帧内预测.pdf_第2页
第2页 / 共19页
HEVC中无损编码中的改进帧内预测.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《HEVC中无损编码中的改进帧内预测.pdf》由会员分享,可在线阅读,更多相关《HEVC中无损编码中的改进帧内预测.pdf(19页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104205843A43申请公布日20141210CN104205843A21申请号201380016655122申请日2013041961/636,40920120420USH04N19/503201401H04N19/182201401H04N19/13201401H04N19/9120140171申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼72发明人高文姜明强于浩平54发明名称HEVC中无损编码中的改进帧内预测57摘要一种方法包括使用预测单元PU中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值,以及使用基于样本的角。

2、预测SAP计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。30优先权数据85PCT国际申请进入国家阶段日2014092586PCT国际申请的申请数据PCT/US2013/0373762013041987PCT国际申请的公布数据WO2013/158998EN2013102451INTCL权利要求书3页说明书9页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书9页附图6页10申请公布号CN104205843ACN104205843A1/3页21一种方法,其特征在于,包括使用预测单元PU中对应左侧、上方以及左上。

3、方相邻的邻近像素计算所述PU中多个边界像素的预测值;以及使用基于样本的角预测SAP计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。2根据权利要求1所述的方法,其特征在于,计算所述多个边界像素的预测值包括基于对应左侧、上方和左上方相邻的邻近像素值计算所述多个边界像素中每个像素的所述预测值。3根据权利要求2所述的方法,其特征在于,计算所述第二多个像素的预测值包括根据预测角计算所述第二多个像素中每个像素的所述预测值为对应相邻像素值的线性组合。4根据权利要求3所述的方法,其特征在于,基于所述对应左侧、上方和左上方邻近相邻像素值计算所述预测值。

4、包括计算所述预测值为其中PX表示像素X的所述预测值,A表示所述对应左侧像素值,B表示所述对应上方像素值,以及C表示所述对应左上方像素值。5根据权利要求3所述的方法,其特征在于,所述多个边界像素的所述预测值和所述第二多个像素的所述预测值形成所述PU的预测块,其中所述方法进一步包括从原始块中减去所述预测块以生成残差块;以及通过熵编码所述残差块对所述残差块进行无损编码以生成一部分比特流。6根据权利要求3所述的方法,其特征在于,进一步包括选择扫描处理顺序为水平扫描处理顺序或垂直扫描处理顺序;选择所述预测角,其中所述对应相邻像素值包括对应的两个像素值;所述线性组合包括取决于所述预测角的所述两个像素值的权。

5、重。7根据权利要求5所述的方法,其特征在于,进一步包括格式化所述部分比特流进行传输;以及传输所述格式化的部分比特流。8根据权利要求6所述的方法,其特征在于,进一步包括基于所述扫描处理顺序选择所述多个边界像素。9根据权利要求8所述的方法,其特征在于,如果所述处理顺序为所述水平扫描处理顺序,所述多个边界像素位于所述PU的右侧边界;如果所述扫描处理顺序为所述垂直扫描处理顺序,所述多个边界像素位于所述PU的下方边界。10一种装置,其特征在于,包括处理器,用于使用预测单元PU中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个权利要求书CN104205843A2/3页3边界像素的预测值;以及使用基。

6、于样本的角预测SAP计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。11根据权利要求10所述的装置,其特征在于,计算所述多个边界像素的预测值包括基于对应左侧、上方和左上方相邻的邻近像素值计算所述多个边界像素中每个像素的所述预测值。12根据权利要求11所述的装置,其特征在于,计算所述第二多个像素的预测值包括根据预测角计算所述第二多个像素中每个像素的所述预测值为对应相邻像素值的线性组合。13根据权利要求12所述的装置,其特征在于,基于所述对应左侧、上方和左上方邻近的相邻像素值计算所述预测值包括计算所述预测值为其中PX表示像素X的所述预测。

7、值,A表示所述对应左侧像素值,B表示所述对应上方像素值,以及C表示所述对应左上方像素值。14根据权利要求12所述的装置,其特征在于,所述多个边界像素的所述预测值和所述第二多个像素的所述预测值形成所述PU的预测块,其中所述处理器进一步包括从原始块中减去所述预测块以生成残差块;以及熵编码所述残差块以生成一部分比特流。15根据权利要求12所述的装置,其特征在于,所述处理器进一步用于选择扫描处理顺序为水平扫描处理顺序或垂直扫描处理顺序;选择所述预测角,其中所述对应相邻像素值包括对应的两个像素值;所述线性组合包括取决于所述预测角的所述两个像素值的权重。16根据权利要求14所述的装置,其特征在于,所述处理。

8、器进一步包括格式化所述部分比特流进行传输;以及所述装置进一步包括发射器,用于传输所述格式化的部分比特流。17一种方法,其特征在于,包括熵解码一部分比特流以生成残差块;通过以下方式重建对应于所述残差块的预测块使用对应左侧、上方和左上方邻近的相邻重建像素值重建多个边界像素;以及使用基于样本的角预测SAP重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素;以及所述第二多个像素和所述多个边界像素形成所述预测块;以及将所述预测块添加到所述残差块以生成视频帧中原始块的估计。18根据权利要求17所述的方法,其中重建所述多个边界像素包括基于所述对应左侧、上方和左上方。

9、相邻的邻近重建的像素值计算所述多个边界像素中每个像素的所述预测值。权利要求书CN104205843A3/3页419根据权利要求18所述的方法,其特征在于,重建所述第二多个像素包括根据预测角计算所述第二多个像素中每个像素位置的预测值为对应相邻重建像素值对的线性组合。20根据权利要求17所述的方法,其特征在于,进一步包括确定所述扫描处理顺序;以及根据所述扫描处理顺序确定所述多个边界像素。21一种装置,其特征在于,包括处理器,用于熵解码一部分比特流以生成残差块;通过以下方式重建对应于所述残差块的预测块使用对应左侧、上方和左上方邻近的相邻重建像素值重建多个边界像素;以及使用基于样本的角预测SAP重建第。

10、二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素;以及所述第二多个像素和所述多个边界像素形成所述预测块;以及将所述预测块添加到所述残差块以生成视频帧中原始块的估计。权利要求书CN104205843A1/9页5HEVC中无损编码中的改进帧内预测0001相关申请案交叉申请0002本发明要求2012年4月20日由高文WENGAO等人递交的发明名称为“用于帧内预测残差的二值化方案和HEVC中无损编码中的改进帧内预测BINARIZATIONSCHEMEFORINTRAPREDICTIONRESIDUALSANDIMPROVEDINTRAPREDICTIONINLO。

11、SSLESSCODINGINHEVC”的第61/636409号美国临时专利申请案的在先申请优先权,该在先申请的内容以引用的方式并入本文本中,如全文再现一般0003关于联邦赞助的研究或开发的声明0004不适用。0005缩微平片附件的引用0006不适用。背景技术0007即使在影片相对较短的情况下也需要对大量的视频数据进行描述,当数据要在带宽容量受限的通信网络中流过或以其他方式传送时,这样可能会造成困难。因此,视频数据通常要先压缩然后在现代电信网络中传送。当视频存储在存储设备中时,视频大小也可能成为一个问题,因为内存资源很有限。视频压缩设备通常在源处使用软件和/或硬件,以在传送或存储之前对视频数据进。

12、行编码,从而减少用来表示数字视频图像所需的数据量。接着,压缩的数据在目的地处由视频解压设备接收,该视频解压设备用于对视频数据进行解码。在有限的网络资源以及对更高视频质量的需求不断增加的情况下,需要改进压缩和解压技术,所述改进的技术几乎无需以比特率的增加为代价就可以改进图像质量。0008例如,视频压缩可使用帧内预测,在帧内预测中可从相同时频帧或切片中的参考像素中预测像素。当在有损模式下使用帧内预测时,变换和量化操作可逐块发生,这样可限制给定块的帧内预测使用相邻块中的参考样本用于预测给定块中的像素。然而,国际电信联盟电信标准化部门ITUT中的视频编码联合协作小组JCTVC负责下一代视频编码标准称为。

13、高性能视频编码HEVC,并基于块中的相邻像素考虑预测用于在帧内预测模式下进行无损编码。这些预测技术可称为逐像素、逐样本或基于像素的帧内预测。然而,由于用于预测沿着某些边界的边界像素的相邻像素不可用,对于沿着正被预测的块的某些边界的像素,使用逐像素帧内预测存在问题。发明内容0009在一项实施例中,本发明包括一种方法,包括使用预测单元PU中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值,以及使用基于样本的角预测SAP计算所述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。0010在一项实施例中,本发明包括一种装置,包括。

14、处理器,用于使用PU中对应左侧、上方以及左上方相邻的邻近像素计算所述PU中多个边界像素的预测值,以及使用SAP计算所说明书CN104205843A2/9页6述PU中第二多个像素的预测值,其中所述第二多个像素除了包括所述多个边界像素还包括所述PU中所有其他像素。0011在又一项实施例中,本发明包括一种方法,包括熵解码一部分比特流以生成残差块;通过使用对应左侧、上方和左上方相邻的邻近重建的像素值重建多个边界像素来重建对应于所述残差块的预测块;使用SAP重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素,以及所述第二多个像素和所述多个边界像素形成所述预测块。

15、;以及将所述预测块添加到所述残差块中以在视频帧中生成原始块的估计。0012在又一项实施例中,本发明包括一种装置,包括处理器,用于熵解码一部分比特流以生成残余块;通过使用对应左侧、上方和左上方相邻的邻近重建的像素值重建多个边界像素来重建对应于所述残差块的预测块;使用基于样本的角预测SAP重建第二多个像素,其中所述第二多个像素除了包括所述多个边界像素还包括所述预测块中的所有其他像素,以及所述第二多个像素和所述多个边界像素形成所述预测块;以及将所述预测块添加到所述残差块中以在视频帧中生成原始块的估计。0013结合附图和权利要求书,可从以下的详细描述中更清楚地理解这些和其它特征。附图说明0014为了更。

16、完整地理解本发明,现在参考以下结合附图和详细描述进行的简要描述,其中相同参考标号表示相同部分。0015图1是视频编码器的实施例的功能图。0016图2A示出了用于垂直SAP的水平扫描处理顺序,以及图2B示出了用于水平SAP的垂直扫描处理顺序。0017图3A示出了具有正角的垂直SAP,以及图3B示出了具有正角的水平SAP。0018图4示出了44的PU的实施例。0019图5示出了PU的样本矩阵的实施例。0020图6示出了基于像素的预测方案中的样本之间的关系。0021图7A示出了使用正角表示为A的垂直SAP,以及图7B示出了使用正角的水平SAP。0022图8是用于在无损模式下对PU进行编码的方法的实施。

17、例的流程图。0023图9是无损解码模式下解码方法的实施例的流程图。0024图10是网络节点的实施例的示意图。具体实施方式0025最初应理解,尽管下文提供一个或多个实施例的说明性实施方案,但可使用任意数目的当前已知或现有的技术来实施所公开的系统和/或方法。本发明决不应限于下文所说明的所述说明性实施方案、图式和技术,包含本文所说明并描述的示范性设计和实施方案,而是可以在所附权利要求书的范围以及其均等物的完整范围内修改。0026颜色空间可由三个分量表示,包括一个亮度LUMA或者Y分量和两个表示为CB和CR或者有时为U和V的色度CHROMA分量。亮度或者色度整数值通常使用比特以二说明书CN104205。

18、843A3/9页7进制形式存储和处理。在YUV或者YCBCR色彩空间中,每个亮度Y块对应于两个色度块CB块和CR块。CB块和CR块同样互相对应。色度块及其对应的亮度块可以位于视频帧、切片或者区域的同一相对位置。所讨论的方法还可应用于任意其他色彩空间例如,RGB、YCOCG等中的视频。0027在视频编码中,各种采样率均可用于对YCBCR分量进行编码。根据采样率,CB块、其对应的CR块、和/或其对应的Y块的尺寸可以相同或者不同。例如,采样率为420时,每个NN色度CB或者CR块可对应于一个2N2N亮度块。在这种情况下,色度块的宽度或者高度为对应亮度块的一半。由于人眼对色度分量的敏感度不及亮度分量,。

19、色度分量被下采样或者降采样。又例如,采样率为444时,每个NN色度CB或者CR块可对应于一个NN亮度块。在这种情况下,可以保留更高的视频保真度,但可能需要对更多的数据进行编码。也可以使用其他采样率,例如422和421等。0028在HEVC中,已经引入了新的块概念。例如,编码单元CU可以指将视频帧分为相等大小或不同大小的正方形块的子分区。在HEVC中,CU可以取代先前标准的宏块结构。根据帧间预测或帧内预测的模式,一个CU可以包括一个或多个预测单元PU,每个预测单元可用作预测的基本单元。例如,就帧内预测而言,一个6464的CU可以被对称地分为四个3232的PU。又例如,就帧间预测而言,一个6464。

20、的CU可以被非对称地分为一个1664的PU以及一个4864的PU。0029HEVC仍然处于委员会草案阶段,并且已为具有420格式的视频序列定义了主流画质。在HEVC主流画质中,可通过简单地绕过变换、量化和环内滤波器即,去块滤波器、样本自适应偏移SAO和自适应环路滤波器ALF实现无损编码模式。该设计旨在提供无损编码,而不会对HEVC主流画质编码器和解码器的实施造成负担。以下将详细介绍与HEVC中的有损编码相对的无损编码。0030图1是视频编码器100的实施例的功能图。编码器100可在HEVC中使用。可将包含输入块的视频帧或图像输送到编码器100中。为了对输入块进行编码,可基于一个或多个先前已经编。

21、码的参考块生成预测块。输入块可为亮度或色度CU或PU。预测块可以是输入块的估计版本。如图所示,可通过从输入块中减去预测块反之亦然生成残差块。残差块可表示输入块和预测块之间的差值,换句话说,表示预测残差或误差。由于表示预测残差所需的数据量通常小于表示输入块所需的数据量,因此可对残差块进行编码以实现更高的压缩比。0031根据是否使用有损或无损编码,编码器100中至少存在两种可能路径。首先探讨的是有损模式。如图1所示,在有损模式下,可将包含残差像素的残差块输送到变换模块102中。因此,空间域中的残差像素可以通过应用变换矩阵转换成频域中的变换系数。该转换可以通过二维变换,例如与离散余弦变换DCT十分类。

22、似或相同的变换来实现。此外,在变换模块102之后的量化模块104中,高索引变换系数的数量可以减少为零,从而可以在随后的熵编码步骤中被跳过。在进行量化之后,熵编码器150可对量化的变换系数进行熵编码。熵编码器150可以采用任何熵编码方案,例如,上下文自适应二进制算术编码CABAC编码方案,指数哥伦布编码方案,或者固定长度编码方案,或其任意组合。在进行熵编码之后,经编码的块可以作为比特流的一部分由编码器100传输。比特流可通过任意可用的网络协议进行包化、封装及传输。说明书CN104205843A4/9页80032在编码器100中,残差块可在经过一系列操作例如,所示的变换、量化、去量化以及逆变换之后。

23、转换成残差块II。由于一些或所有操作可能无法完全可逆,在转换过程期间可能引起信息损失。因此,残差块II可能只是对应的残差块的近似,并且通常为了较高压缩效率而包括较少的非零残差像素。进一步地,残差块II可以与对应的预测块合并以例如通过将两个块相加形成重建块。除非另有说明,对应的块可指示位于图像的同一相对位置的块。在这种方式下,由于重建块可以是输入块的有损版本,编码器100可实施有损编码模式。0033重建块可用作参考块来生成预测块。根据重建块的位置,预测可分为帧之间的预测和帧之内的预测分别简称为帧间预测和帧内预测。在使用中,连续的视频帧或切片可以很大程度上相互关联,使得帧中的块与先前编码的帧中的对。

24、应块不会有很大差异。帧间预测可利用一系列帧或图像中的时间冗余,例如,连续帧的对应块之间的相似度来减少压缩数据。帧间预测可由运动估计ME模块140实施,ME模块之后为运动补偿MC模块142。在帧间预测中,可实施运动补偿算法以基于位于当前帧之前的一个或多个参考帧中的对应块根据编码顺序计算当前帧中的当前块的运动矢量。0034为了提高重建视频帧例如通过减少块伪影的质量,在预测之前可以执行环内滤波步骤。例如,在帧间预测中,去块滤波器120可以应用到位于重建块边缘的像素上以去除或减少块伪影。在实施去块滤波器120之后,环内滤波步骤有时可进一步包括样本自适应偏移SAO模块122,其还可用于修改重建像素的值。。

25、可在SAO模块122之后应用自适应环路滤波器ALF124,并且所得到的处理块可在帧缓冲器126中存储以便在帧间预测补偿中使用。0035类似地,在视频帧内,像素可与同一帧内的其他像素相关,使得一个块内的像素值或一些块内的像素值可仅仅略有不同和/或呈现出重复的纹理TEXTURE。为了利用同一帧中的邻近块之间的空间相关性,帧内预测可由帧内预测估计IPE模块130实施,以根据一个或多个先前编码的邻近块包括重建块插入预测块,IPE模块130之后为帧内预测IP模块132。编码器和解码器可以独立地插入预测块,从而使得帧和/或图像的绝大部分能够根据相对少量的参考块的通信进行重建,所述参考块是例如,位于帧的左上。

26、角并从此处延伸的块。选择模块134可在帧间和帧内预测之间选择输入块的最佳预测模式。通常,所述领域的普通技术人员理解到,使用率失真优化RDO可确定最佳预测模式,RDO挑选出产生例如预测块和原始块之间的最小决定误差和的预测模式。0036接着探讨的是无损编码。如图1所示,在无损编码模式下,绕过变换102、量化104、逆量化106以及逆变换108模块以及环内滤波器去块120、SAO122以及ALF滤波器124。变换102和量化104模块可使用基于块的处理,这意味着对于使用帧内预测的有损编码模式,块中的像素预测仅基于邻近块中的参考像素。块中的参考像素不可用于块中的像素值预测。相比而言,对于使用帧内预测的。

27、无损编码模式,块中的像素预测可基于块中的其他像素,因为绕过了变换和量化模块。为此,可使用基于样本的角预测SAP用于无损编码。0037在SAP中,PU中的所有样本可共享同一预测角,如BBROSS等人在“高性能视频编码HEVC文本规范草案6”JCTVC文档,JCTVCH1003,圣何塞,加利福利亚,2012年2月下文称为“HEVC草案6”中所定义,该文档以引用的方式并入本文本中,如全文再现一般。另外,预测角的传输可能与HEVC草案6中的相同。差别可能在于在本文所公开的方法中为说明书CN104205843A5/9页9PU逐样本进行角预测以实现更好的帧内预测精确度。也就是说,可通过使用同一预测角逐样本。

28、进行SAP样本来生成当前PU的预测块。0038在SAP方法中,可以预定义的顺序处理PU中的样本,这样当PU中的当前样本根据其直接相邻样本预测时,邻居样本可用。图2A示出了用于垂直SAP的水平扫描处理顺序,以及图2B示出了用于水平SAP的垂直扫描处理顺序。如图2A和2B所示,可将水平扫描和垂直扫描处理顺序分别应用到垂直和水平的角预测。当前PU的上方和左侧PU界限周围的参考样本的处理与HEVC草案6中定义的相同,而当前PU的右侧和下方PU界限周围的参考样本简单地从当前PU的最近边界样本处开始填充参见图2A和2B中的填充样本。0039图3A示出了具有正角的垂直SAP,以及图3B示出了具有正角的水平S。

29、AP。应注意,分别如图3A和3B所示,在具有正角的垂直或水平SAP期间,可能需要当前PU的右侧和下方PU边界周围的填充样本。在图3A和3B中,X表示待预测的像素,A和B表示实际或预测的邻近样本值。0040以具有正角的垂直SAP和44的PU为例。图4示出了44的PU的实施例,其中样本像素值表示为SI,J,I0,1,2,3且J0,1,2,3。PADI,其中I0,1,2表示利用最近样本使用常规技术获取的填充参考样本,意味着填充参考样本可表示为0041PADISI,3,其中I0,1,20042就具有正预测角的垂直SAP而言,SI,3,其中I1,2,3的预测值表示为PI,3由下式给出,该预测值独立于预测。

30、角的值0043PI,3SI1,3,其中I1,2,310044因此,实际上,样本的垂直预测角PI,3,其中I1,2,3可能总为0度,而其他样本可使用不同的预测角。换句话说,预测值PI,3,其中I1,2,3的预测角为0。结果与水平SAP的相同。基于这些观察,可能需要使用边界样本对应的邻近样本或像素预测各个边界样本,像素不仅包括垂直SAP中紧靠上方的像素还包括水平SAP中紧靠左侧的像素。0045本文公开的是在基于像素的预测中用于PU中的边界样本的改进预测的方法和装置。边界样本是相邻样本的副本并呈现了冗余信息,使用邻近样本而不使用填充样本预测边界样本。可将对边界样本的改进预测与PU中的其他像素的SAP。

31、结合以提供无损编码模式下的有效的基于像素的预测方案。0046基于上述观察,可能需要使用边界样本对应的邻近像素预测各个边界样本,像素不仅包括垂直SAP中紧靠上方的像素还包括水平SAP中紧靠左侧的像素,例如,对于44的PU的垂直SAP,边界样本为SI,3,其中I1,2,3;对于44的PU的水平SAP,边界样本为S3,I,其中I1,2,3。图5示出了大小为NN的PU的样本矩阵的实施例。考虑垂直SAP为例。为了预测粗线框中的边界样本,即SI,N1,I1,N1,可使用以下自适应预测因子。假设X表示一个边界样本,即XSI,N1,1IN1。假设PX表示样本X的预测值。X的左侧、上方、左上方相邻的邻近样本分别。

32、表示为A、B和C。图6示出了样本A、B、C和X之间的关系。如下预测样本X00470048为了示出使用等式2用于垂直SAP的水平扫描顺序,假设需要预测样本说明书CN104205843A6/9页10S1,N1即,XS1,N1。已使用图2A的水平扫描顺序预测邻近样本S1,N2、S0,N1和S0,N2,从而产生PS1,N2、PS0,N1和PS0,N2。使用等式2的符号和图6,在确定PXS1,N1中APS1,N2、BPS0,N1和CPS0,N2。0049为了示出使用等式2用于水平SAP的垂直扫描顺序,假设需要预测样本SN1,1即,XSN1,1。对于SAP预测SN1,1下方不存在可用的邻近样本,所以使用了。

33、等式2。已使用图2B的垂直扫描顺序预测邻近样本SN1,0、SN2,0和SN2,1,从而产生PSN1,0、PSN2,0和PSN2,1。使用等式2的符号和图6,在使用等式2确定PXSN1,1中APSN1,0、BPSN2,1和CPSN2,0。一般而言,当使用水平SAP时,在等式2中使用自适应预测因子的边界样本可能是SN1,I,I1,N1。为了预测上述边界样本中的一个样本,可使用如等式2中所述的同一预测因子。0050等式2是一种基于某些边界样本SI,N1或SN1,I其中I1,N1的邻近样本值预测样本值的可能方式。其他可能方式包括计算中值或值A、B和C的平均值。0051如果样本不属于边界样本SI,N1垂。

34、直SAP或SN1,I水平SAP中的任一者,其中I1,2,N1,那么可使用任意常规SAP技术。图7A示出了使用正角表示为的垂直SAP,以及图7B示出了使用正角也表示为的水平SAP。在图7A和7B中,X表示待预测的像素值,A和B表示邻近像素的实际或预测像素值。在这两种情况下,X可为A和B的加权或线性组合。例如,X可表示为0052X1SASB,30053其中S是范围为0,1的加权因子。当很小时,加权因子应当给予A更大的权重,随着增大,给予B的权重应当增加。加权因子S可例如等于TAN,其中045度。HEVC中指定的帧内预测方法是计算这些加权因子的可能方式之一。0054图8是用于在无损模式下对PU进行编。

35、码的方法700的实施例的流程图。该方法从方框710开始。在方框710中,确定PU的处理顺序。处理顺序可为水平处理顺序,例如如图2A所示,或垂直处理顺序,例如如图2B所示。接着,在方框720中,计算PU中的边界样本的预测值。对于水平处理顺序即,垂直SAP用于其他样本,待预测的边界样本可表示为SI,N1,其中I1,2,N1;对于垂直处理顺序即,水平SAP用于其他样本,可表示为SN1,I,其中I1,2,N1。也就是说,待预测的特定边界样本取决于扫描或处理顺序。PU可如图5所示布置。可基于例如如图6所示的对应左侧、上方和左上方的邻近样本并使用等式2计算边界样本的预测值。接着,在方框730中,使用SAP。

36、计算PU中的剩余样本即,PU中除上述边界样本之外的所有样本的预测值。可使用任意常规SAP技术,该技术将样本预测为两个邻近样本的线性组合,其中该组合取决于预测角。等式3示出了SAP技术的一个示例。可以任意顺序或并行执行方框720和730。在方框740中,在确定了PU中的所有样本的预测值以提供预测PU或预测块之后,可如图1所示计算残差块,该残差块可为输入块和计算的预测块之间的差值。最后,在方框750中,可使用熵编码对残差块进行编码,例如如图1所示。回想到变换102和量化104模块在无损模式下被绕过,所以残差块可直接提供给熵编码器150。熵编码后的值可插入比特流中。PU可包括亮度或色度样本。方法70。

37、0可应用到亮度样本、色度样本或亮度样本和色度样本。说明书CN104205843A107/9页110055图9是无损解码模式下解码方法760的实施例的流程图。鉴于本文所述的视频编码方案的详情,本领域的普通技术人员可以制定解码来逆转或“撤销”本文所述的编码。然而,方法760用于说明性和便利目的。方法760从方框765开始,在方框765中,使用熵解码对一部分比特流进行解码以生成残差块。在方框770中,基于一个或多个先前解码的邻近块中的残差块之外的多个参考像素重建预测块。可使用对应左侧、上方以及左上方邻近重建的样本重建基于处理顺序识别的边界样本。可使用SAP水平处理顺序为垂直SAP,垂直处理顺序为水平。

38、SAP重建预测块中的剩余样本。在方框775中,预测块可添加到残差块中以在视频帧中获取原始块例如,输入PU的估计。原始块可为亮度或色度样本。0056上述方案可以在网络部件上实施,例如计算机或网络部件,其具有足够的处理能力、存储资源以及网络吞吐能力来处理其上的必要工作量。图10是网络部件或节点800的实施例的示意图,所述网络部件或节点800适用于实施本文所公开的视频编解码器或方法的一项或多项实施例,例如,编码器100、用于编码PU的方法700,以及用于解码PU的方法760。网络节点800包括处理器802,其与包括辅助存储器804、只读存储器ROM806、随机存取存储器RAM808、输入/输出I/O。

39、设备810,以及发射器/接收器或收发器812的存储设备进行通信。I/O设备810和/或发射器/接收器812是可选的,并且如果不包含I/O设备810和/或发射器/接收器812,则网络节点800称为计算设备,在这种情况下,编码的比特流或解码的视频流可存储在存储器中。处理器802可以实施为一个或多个中央处理单元CPU芯片、核例如,多核处理器、现场可编程门阵列FPGA、专用集成电路ASIC,和/或数字信号处理器DSP。处理器802可以使用硬件或软硬件的组合来实施。0057辅助存储器804通常由一个或多个磁盘驱动器或磁带驱动器组成,用于数据的非易失性存储,且如果RAM808的大小不足以保存所有工作数据,。

40、那么所述辅助存储器还用作溢流数据存储设备。辅助存储器804可以用于存储程序,当选择执行这些程序时,所述程序将加载到RAM808中。ROM806用于存储在程序执行期间读取的指令以及可能读取的数据。ROM806为非易失性存储设备,其存储容量相对于辅助存储器804的较大存储容量而言通常较小。RAM808用于存储易失性数据,并且可能用于存储指令。ROM806和RAM808两者的存取速度通常比辅助存储器804的存取速度快。0058发射器/接收器812可用作网络节点800的输出和/或输入设备。例如,如果发射器/接收器812用作发射器,则其可将数据传出网络节点800。如果发射器/接收器812用作接收器,其可。

41、将数据传入网络节点800。发射器/接收器812可采用以下形式调制解调器,调制解调器组,以太网卡,通用串行总线USB接口卡,串行接口,令牌环卡,光纤分布式数据接口FDDI卡,无线局域网WLAN卡,无线收发器卡例如码分多址CDMA,全球移动通信系统GSM,长期演进LTE,全球微波接入互操作性WIMAX,和/或其他空中接口协议无线收发器卡,以及其他公知的网络设备。发射器/接收器812可提供一种途径给处理器802以与互连网或一个或多个内网进行通信。如果网络节点800用作视频编码器,则处理器802可编码比特流。处理器802还可包化和封装即,格式化比特流进行传输并提供格式化的比特流给发射器/接收器812。。

42、发射器/接收器812随后将传输该格式化的比特流。0059I/O设备810可包括视频监控器,液晶显示器LCD,触屏显示器,或用于显示视频的其他类型的视频显示器,和/或可包括捕获视频的视频录像设备。I/O设备810可包括一说明书CN104205843A118/9页12个或多个键盘、鼠标、轨迹球或其他公知的输入设备。如果网络节点800用作视频编码器,则待编码的视频流可以由I/O设备810提供或通过其他方式提供。类似地,如果网络节点800用作视频解码器,则待解码的视频流可通过发射器/接收器812接收或通过其他方式提供。0060应理解,通过将可执行指令编程和/或加载至网络节点800,处理器802、辅助存。

43、储器804、RAM808和ROM806中的至少之一被改变,从而将网络节点800的一部分转换成特定机器或装置如,本发明宣扬的拥有功能的视频编解码器。可执行指令可存储在辅助存储器804、ROM806和/或RAM808上,并加载至处理器802中进行执行。加载可执行软件至计算机所实现的功能可以通过公知设计规则转换成硬件实施,这在电力工程和软件工程领域是很基础的。决定使用软件还是硬件来实施一个概念通常取决于对设计稳定性及待生产的单元数量的考虑,而不是从软件领域转换至硬件领域中所涉及的任何问题。一般来说,经常变动的设计更适于在软件中实施,因为重新编写硬件实施比重新编写软件设计更为昂贵。通常,稳定及大规模生。

44、产的设计更适于在如专用集成电路ASIC这样的硬件中实施,因为运行硬件实施的大规模生产比软件实施更为便宜。设计通常可以以软件形式进行开发和测试,之后通过公知设计规则转变成专用集成电路中等同的硬件实施,该集成电路硬线软件指令。由新ASIC控制的机器是一特定的机器或装置,同样地,编程和/或加载有可执行指令的电脑可视为特定的机器或装置。0061本发明公开至少一项实施例,且所属领域的普通技术人员对所述实施例和/或所述实施例的特征作出的变化、组合和/或修改均在本发明公开的范围内。因组合、合并和/或省略所述实施例的特征而得到的替代性实施例也在本发明的范围内。在明确陈述数值范围或限制的情况下,应将此类表达范围。

45、或限制理解为包含属于明确陈述的范围或限制内的类似量值的迭代范围或限制例如,从约为1到约为10包含2、3、4等;大于010包含011、012、013等。例如,每当公开具有下限R1和上限RU的数值范围时,具体是公开落入所述范围内的任何数字。具体而言,特别公开所述范围内的以下数字RR1KRUR1,其中K是从1到100以1增量递增的变量,即,K是1、2、3、4、550、51、5295、96、97、98、99或100。此外,还特此公开了,上文定义的两个R值所定义的任何数值范围。除非另有说明,否则术语“约”是指其后数字的10。相对于权利要求的某一要素,术语“可选择”使用表示该要素可以是需要的,或者也可以是。

46、不需要的,二者均在所述权利要求的范围内。例如包括、包含和具有等较广义的术语,应被理解为用于支持较狭义的术语,例如“由组成”、“基本上由组成”、以及“大体上由组成”等。因此,保护范围不受上文所述的限制,而是由所附权利要求书定义,所述范围包含所附权利要求书的标的物的所有等效物。每项和每条权利要求作为进一步公开的内容并入说明书中,且权利要求书是本发明的实施例。所述揭示内容中的参考的论述并不是承认其为现有技术,尤其是具有在本申请案的在先申请优先权日期之后的公开日期的任何参考。本发明中所引用的所有专利、专利申请案和公开案的揭示内容特此以引用的方式并入本文本中,其提供补充本发明的示例性、程序性或其它细节。。

47、0062虽然本发明多个具体实施例,但应当理解,所公开的系统和方法也可通过其他多种具体形式体现,而不会脱离本发明的精神或范围。本发明的实例应被视为说明性而非限制性的,且本发明并不限于本文本所给出的细节。例如,各种元件或部件可以在另一系统中说明书CN104205843A129/9页13组合或合并,或者某些特征可以省略或不实施。0063此外,在不脱离本发明的范围的情况下,各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变更、替换、更替示例对本领域技术人员而言是显而易见的,均不脱离此处公开的精神和范围。说明书CN104205843A131/6页14图1图2A说明书附图CN104205843A142/6页15图2B图3A说明书附图CN104205843A153/6页16图3B图4说明书附图CN104205843A164/6页17图5图6图7A图7B说明书附图CN104205843A175/6页18图8图9说明书附图CN104205843A186/6页19图10说明书附图CN104205843A19。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 >


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1