帧内预测解码设备.pdf

上传人:b*** 文档编号:4077405 上传时间:2018-08-14 格式:PDF 页数:19 大小:1.51MB
返回 下载 相关 举报
摘要
申请专利号:

CN201510038304.1

申请日:

2011.07.29

公开号:

CN104602009A

公开日:

2015.05.06

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 19/176申请日:20110729|||公开

IPC分类号:

H04N19/176(2014.01)I; H04N19/46(2014.01)I; H04N19/593(2014.01)I; H04N19/117(2014.01)I; H04N19/157(2014.01)I; H04N19/182(2014.01)I; H04N19/82(2014.01)I

主分类号:

H04N19/176

申请人:

M&K控股株式会社

发明人:

吴秀美; 梁文玉

地址:

韩国首尔

优先权:

10-2010-0074460 2010.07.31 KR; 10-2011-0063288 2011.06.28 KR

专利代理机构:

北京鸿元知识产权代理有限公司11327

代理人:

许向彤; 陈英俊

PDF下载: PDF下载
内容摘要

本发明的一种帧内解码设备从接收的比特流复原量化残差系数、帧内预测信息和预测单元尺寸信息;在帧内预测信息和当前预测单元的尺寸信息的基础上复原当前预测单元的帧内预测模式;并且通过产生预测单元的不可用参考像素在帧内预测模式的基础上对参考像素自适应地滤波。并且,本发明通过使用与帧内预测模式对应的参考像素并对其自适应地滤波来产生预测块。另外,本发明使用预测块来产生复原图像并复原残差块。因此,本发明通过复原靠近初始图像的预测块,来提高图像压缩率。

权利要求书

权利要求书1.  一种用于解码运动图片的装置,包括: 熵解码单元,被配置为复原量化残差系数和帧内预测信息; 预测模式解码单元,被配置为基于所述帧内预测信息来复原帧内预测模 式; 残差信号解码单元,被配置为使用所述帧内预测模式复原量化残差信号; 参考像素产生单元,被配置为当不可用参考像素存在时产生不可用参考 像素,并且被配置为使用所述帧内预测模式对所述参考像素自适应地滤波; 预测块产生单元,被配置为使用由所述帧内预测模式确定的参考像素产 生预测像素; 预测块滤波单元,被配置为使用所述帧内预测模式对所述预测像素的一 部分自适应地滤波;以及 图像重建单元,被配置为使用所述预测像素和所述残差信号来产生重建 的图像。 2.  根据权利要求1所述的装置,其中,对于在水平模式与相对于所述水 平模式呈45°方向的帧内预测模式之间存在的帧内预测模式,所述参考像素产 生单元根据预测块的尺寸对所述参考像素自适应地滤波。 3.  根据权利要求1所述的装置,其中,在当前块的尺寸小于预定尺寸时, 所述参考像素产生单元不对所述参考像素滤波。 4.  根据权利要求1所述的装置,其中,当在水平模式与相对于所述水平 模式呈45°方向的帧内预测模式之间存在第一定向模式和第二定向模式时,在 方向上比所述第二定向模式更靠近呈45°方向的所述帧内预测模式的所述第 一定向模式中,参考像素也被滤波。 5.  根据权利要求1所述的装置,其中,当所述帧内预测模式是平面模式 时,所述预测块产生单元使用角参考像素、左参考像素和上参考像素产生预 测块的参考像素。 6.  根据权利要求1所述的装置,其中,当所述帧内预测模式是与相对于 垂直模式呈45°方向的帧内预测模式相邻的预定数量的帧内预测模式中的任 一个时,所述预测块产生单元使用上参考像素和左参考像素产生预测块。

说明书

说明书帧内预测解码设备
本案是于2011年7月29日提交的申请号为“201180042188.0”题为“帧 内预测解码设备”的申请案的分案申请。
技术领域
本发明涉及一种帧内预测解码装置,更具体地,涉及一种对帧内预测模 式进行解码、根据帧内预测模式对预测块和残差块进行自适应地解码并由此 产生重建块的装置。
背景技术
在如运动图像专家组(MPEG)-1、MPEG-2、MPEG-4和H.264/MPEG-4 高级视频编码(AVC)的图像压缩方法中,一张图片被分割成多个宏块以对 图像进行编码。然后,使用帧间预测或帧内预测对各个宏块进行编码。
在帧内预测中,不使用参考图片,而是使用与当前块在空间上相邻的像 素的值来对当前图片的块进行编码。通过使用相邻的像素值与原始宏块比较, 来选择具有较小失真的帧内预测模式。然后,使用选择的帧内预测模块和相 邻的像素值,计算出当前块的预测值。并且,计算出预测值和初始当前块的 像素值之间的差异,然后通过变换编码、量化和熵编码来编码。帧内预测模 式也被编码。
帧内预测模式通常分类成用于亮度分量和色度分量的4×4帧内预测模式、 8×8帧内预测模式和16×16帧内预测模式。
在根据现有技术的16×16帧内预测模式中,有垂直模式、水平模式、直 流(DC)模式和平面模式四种模式。
在根据现有技术的4×4帧内预测模式中,有垂直模式、水平模式、DC模 式、对角线左下模式、对角线右下模式、垂直向右模式、垂直向左模式、水 平向上模式和水平向下模式九种模式。
根据各个模式的使用频率把每个预测模式编入索引。垂直模式是模式0 示出最可能是最频繁用于对目标块执行帧内预测的模式,并且水平向上模式 是模式8示出最可能是最不频繁使用的。
根据H.264标准,使用总计13种模式来对当前块进行编码,即是,4×4 帧内预测模式的4种模式和16×16帧内预测模式的9种模式。根据这些模式 中的最佳模式产生当前块的比特流。
然而,在与当前块相邻的像素的一些或所有值都不存在或之前没被编码 时,不可能应用这些或所有的帧内预测模式。并且,当相邻参考像素之间的 差异很大时,预测块和原始块之间的差异变大。因此,需要新技术来降低初 始块和基于用于产生预测块的参考像素的位置产生的预测块之间的差异。
发明内容
技术问题
本发明涉及一种用于通过产生或重建邻近初始图像的预测块而有效地重 建具有高压缩效率的编码图像的帧内预测解码装置。
技术方案
本发明的一个方面提供了一种帧内预测解码装置,包括:熵解码器,被 配置为从接收的比特流复原量化残差系数、帧内预测信息和预测单元的尺寸 信息;预测模式解码器,被配置为在从熵解码器接收的帧内预测信息和当前 预测单元的尺寸信息的基础上复原当前预测单元的帧内预测模式;残差信号 解码器,被配置为根据从预测模式解码器接收的帧内预测模式复原残差信号; 参考像素产生器,被配置为复原当前预测单元的不可用参考像素,并且被配 置为在从预测模式解码器接收的当前预测单元的帧内预测模式的基础上对参 考像素自适应地滤波;预测块产生器,被配置为使用与从预测模式解码器接 收的帧内预测模式对应的参考像素产生预测块;预测块后处理器,被配置为 根据从预测模式解码器接收的帧内预测模式对由预测块产生器产生的预测块 自适应地滤波;以及图像复原器,被配置根据从预测模式解码器接收的帧内 预测模式以预测单元为单位从预测块产生器或预测块后处理器接收预测块, 并且使用从残差信号解码器接收的复原的残差块来产生复原的图像。
有益效果
根据本发明的帧内预测解码装置产生参考像素并且对参考像素自适应地 滤波,以产生与初始块相似的预测块。并且,通过使用不用于产生预测块的 参考像素产生或修改预测块,能够重建与初始块相似的预测块,并且能够提 高图像的压缩。
附图说明
图1是根据本发明的运动图片编码装置的框图;
图2是根据本发明的帧内预测器的框图;
图3是显示根据本发明的定向帧内预测模式的示意图;
图4是示出根据本发明的在预测模式编码器中执行的对当前预测单元的 帧内预测模式进行编码的过程的流程图;
图5是根据本发明的帧内预测解码装置的框图。
具体实施方式
下文中,将参照附图详细描述本发明的各个实施例。然而,本发明不限 于以下公开的示例性实施例,而是能够以各种方式实施。因此,可以对本发 明进行许多其他修改和变型,并且将理解的是在所公开的原理的范围内,可 以用除了如同已被明确描述的方式之外的方式实现本发明。
对于图像编码,每张图片由一个或多个切片组成,并且每个切片由多个 编码单元组成。由于高清晰度(HD)级别或更高级别的图像具有许多平滑区 域,所以可以通过用各种尺寸的编码单元对图像进行编码,以提高图像的压 缩。
根据本发明的编码单元具有四叉树结构并且能够用深度信息被分级地分 割。最大尺寸的编码单元被称作最大编码单元(LCU),并且最小尺寸的编码 单元被称作最小编码单元(SCU)。序列参数集(SPS)中可以包括关于LCU 和SCU的信息并且可以传送这些信息。
LCU是由一个或多个编码单元组成。LCU具有递归编码树的形式,以包 括编码单元的分割结构和编码单元。当LCU没有被分割成四个编码单元时, 编码树可以由表示LCU没有被分割的信息和一个编码单元组成。当LCU被 分割成四个编码单元时,编码树可以由表示LCU被分割的信息和四个子编码 树组成。同样地,每个子编码树具有与LCU的编码树相同的结构。然而,SCU 尺寸的编码单元没有被分割成多个编码单元。
同时,编码树中的每个编码单元以编码单元自身或子分割物为单位受到 帧内预测或帧间预测。其中执行了帧内预测或帧间预测的单元被称作预测单 元。在帧内预测中,预测单元的尺寸可以是2N×2N或N×N。在帧间预测中, 预测单元的尺寸可以是2N×2N、2N×N、N×2N或N×N。此处,2N表示编码 单元的水平和垂直长度。
同时,用于帧内预测的预测单元可以不是正方形。例如,正方形编码单 元可以被分割成用于帧内预测的四个hN×2N或四个2N×hN。在这种情况下, 参考像素和用于帧内预测的预测块的像素之间的距离减小,这使得能够提高 预测效率。这种帧内预测方法是短距帧内预测(SDIP)。
编码单元包括在编码单元内部的预测单元的预测模式信息和尺寸信息 (片段模式)。为了提高编码效率,预测模式信息和尺寸信息可以被组合并联 合编码。在这种情况下,每个编码单元包括联合编码预测类型(pre_type)。
编码单元包括产生每个预测单元的预测块所需要的附加信息和残差信号。 编码单元中的每个预测单元都限定了附加信息。在帧内预测中,附加信息包 括被编码的帧内预测信息。在帧间预测中,附加信息包括被编码的运动信息。 运动信息包括运动向量和参考图片索引。
在每个编码单元中均包括残差信号。残差信号包括一个变换树、一个亮 度残差信号载体和两个色度残差信号载体。残差信号载体包括一个或多个变 换单元上的被编码的残差信号。变换单元的最大尺寸等于或小于编码单元的 尺寸。变换单元可以与最大变换单元或最大变换单元的子变换单元具有相同 的尺寸。
对于编码单元中所包括的残差信号,变换树包括表示变换单元的分割结 构的信息。并且,变换树包括表示每个变换单元的残差信号是否为0的信息。
残差信号载体以编码单元为单位携带在与表示变换树中的分割结构的信 息对应的变换单元的被编码的残差信息。
虽然以上仅仅对通过等分编码单元获得的预测单元做出了描述,但是也 可能是不等分的。换句话说,为了压缩残差信号,根据图像的边界在特定方 向不等分图像信号并执行帧内或帧间预测可能更有效。
最简单的自适应模式是使用直线把编码单元分割成两个块,以在局部上 提取预测区域的统计相关性。图像的边界与直线匹配并且被分割。在这种情 况下,可分割方向可能被限于预定的数量。例如,可以将分割块的方法限于 水平、垂直、向上对角线和向下对角线四个方向。并且,也可以仅将分割限 于水平和垂直方向。可分割方向的数量可以是三、五、七个等。可分割方向 的数量可以根据块的尺寸而变化。例如,对于大尺寸的编码单元,可分割方 向的数量可以相对增加。
在帧间预测中,当为了更多的自适应预测而将一个编码单元分割成两个 预测单元时,应该对每个预测单元执行运动估计和运动补偿。在从一个编码 单元分割的两个预测单元分别提取预测块后,这两个预测块可以相加,以产 生具有与编码单元的尺寸相同的预测块。在这种情况下,为了减少编码单元 尺寸的预测块的分割边界的两侧的像素值之间的差异,可以滤波位于分割边 界的像素。可以产生预测块,以使得对应于各个预测单元的预测块相重叠, 并且可以将重叠边界部分平滑以产生一个预测块。
图1是根据本发明的运动图片编码装置的框图。
参照图1,根据本发明的运动图片编码装置100包括:图片分割器110、 变换器120、量化器130、扫描器131、熵编码器140、帧内预测器150、帧间 预测器160、逆量化器135、逆变换器125、后处理器170、图片存储器180、 减法器190和加法器195。
图片分割器110分析输入的视频信号,以把图片的每张LCU分割成一个 或多个具有预定尺寸的编码单元,确定每个编码单元的预测模式,并且确定 每个编码单元的预测单元的尺寸。图片分割器110根据预测模式把将被编码 的预测单元发送到帧内预测器150或帧间预测器160。并且,图片分割器110 把将被编码的预测单元发送到减法器190。
变换器120变换残差块,该残差块是输入预测单元的初始块和通过帧内 预测器150或帧间预测器160产生的预测块之间的残差信号。优选地,残差 块由编码单元组成。残差块可以被分割成最佳变换单元并且被变换。可以根 据预测模式(帧内或帧间)和帧内预测模式自适应地确定变换矩阵类型。变 换单元可以通过水平和垂直的一维(1D)变换矩阵而变换。在帧间预测中, 应用一个预定的变换矩阵。在帧内预测中,当帧内预测模式是水平时,残差 块很可能具有垂直方向性。这样,在垂直方向上应用基于离散余弦变换(DCT) 的整数矩阵,并且在水平方向上应用基于离散正弦变换(DST)或卡胡南-洛 夫变换(Karhunen Loève transform(KLT))的整数矩阵。当帧内预测模式是垂 直时,在垂直方向上应用基于DST或KLT的整数矩阵,并且在水平方向上应 用基于DCT的整数矩阵。二选一地,在帧内预测中,可以根据变换单元的尺 寸自适应地确定变换矩阵。
量化器130确定每个编码单元的量化步长,以量化被变换矩阵变换的残 差块的变换系数。确定尺寸等于或大于预定尺寸的每个编码单元的量化步长。 预定尺寸可以是8×8或16×16。使用所确定的量化步长和根据预测模式所确定 的量化矩阵,量化变换系数。量化器130使用与当前编码单元相邻的编码单 元的量化步长作为当前编码单元的量化步长预测器。量化器130按序搜索当 前编码单元的左编码单元、上编码单元和左上编码单元,使用一个或多个有 效编码单元的量化步长来确定当前编码单元的量化步长预测器,并且把差传 送到熵编码器140。
当切片被分割成编码单元时,当前编码单元可能没有左编码单元、上编 码单元和左上编码单元。另一方面,在编码顺序中LCU可能有前编码单元。 这样,与当前编码单元相邻的编码单元和前编码单元可以是候选。在这种情 况下,优先权可以按序给与1)当前编码单元的左编码单元,2)当前编码单元 的上编码单元,3)当前编码单元的左上编码单元和4)当前编码单元的前编 码单元。可以改变顺序,或可以省略左上编码单元。
把量化的变换块提供到逆量化器135和扫描器131。
扫描器131扫描量化变换块的系数,并且把该量化变换块的系数转换成 1D量化系数。根据预测模式和帧内预测模式确定系数扫描方法。并且,可以 根据变换单元的尺寸差别确定系数扫描方法。扫描器131确定是否在当前变 换单元的尺寸的基础上把量化系数块分割成多个子集。当变换单元的尺寸大 于第一参考尺寸时,量化的变换块被分割成多个子集。第一参考尺寸可以是 4×4或8×8。
扫描器131确定将应用到量化系数块的扫描方式。在帧间预测中,可以 只应用一个预定的扫描方式(例如,锯齿扫描)。在帧内预测中,能够应用根 据帧内预测模式确定的扫描方式。扫描方式可以根据定向帧内预测模式而变 化。将锯齿扫描应用到不定向帧内预测模式。不定向模式可以是直流(DC) 模式或平面模式。逆向扫描量化的系数。
当量化系数被分割成多个子集时,将相同的扫描方式应用到每个子集中 的量化系数。多个子集由一个主子集和一个或多个残差子集组成。主子集位 于左上侧并且包括DC系数和除了主子集之外的一个或多个的残差子集覆盖 区域。
可以应用锯齿扫描对子集进行扫描。可以在前向方向上从主子集开始到 残差子集来扫描子集,或可以在反向方向上扫描子集。可以将用于扫描子集 的扫描方式设定为与用于扫描子集中的量化系数的扫描方式相同。在这种情 况下,根据帧内预测模式确定用于子集的扫描方式。同时,编码器把能够表 示变换单元的最后一个非零量化系数的位置的信息传送到解码器。编码器也 把能够表示在每个子集中的最后一个非零量化系数的位置的信息传送到解码 器。
逆量化器135对量化系数进行逆量化。逆变换器125从逆量化变换系数 重建空间域的残差块。加法器通过把被逆变换器125重建的残差块和来自帧 内预测器150或帧间预测器160的预测块相加来产生重建块。
后处理器160执行:用于移除在重建图片中产生的块效应的去块滤波过 程,用于补偿重建图片和初始图像的每个像素之间的差异的自适应偏移应用 过程,和用于在编码单元中补偿重建图片和初始图像之间的差异的自适应环 路滤波过程。
去块滤波过程可以被应用到预测单元之间的边界和变换单元之间的边界。 预定尺寸可以是8×8。去块滤波过程包括确定将要滤波的边界的步骤、确定将 被应用到边界的边界滤波强度的步骤、确定是否应用去块滤波器的步骤、和 当确定应用去块滤波器时选择将被应用到边界的滤波器的步骤。
确定是否应用去块滤波是根据i)边界滤波强度是否大于0,以及ii)表 示与将被滤波的边界相邻的两个块(P块和Q块)的边界像素之间的差异的 值是否小于根据量化参数确定的第一参考值。
可以存在两个或更多滤波器。当与块边界相邻的两个像素之间差异的绝 对值等于或大于第二参考值时,选择弱滤波器。通过量化参数和边界滤波强 度确定第二参考值。
自适应偏移施加过程意在减少经过去块滤波器的像素和初始像素之间的 差异(失真)。图片或切片可以被分割成多个偏移区域,并且可以对每个偏移 区域确定一个偏移模式。有四个边缘偏移模式,两个带偏移模式和一个不施 加偏移模式。根据每个偏移模式,在每个偏移区域中的像素被分类成预定数 量的种类,并且对应于所分类的种类的偏移被增加到像素。在边缘补偿模式 的情况下,通过比较当前像素值和与当前像素相邻的两个或更多像素的像素 值来确定当前像素的种类。
可以在通过比较初始图像和应用了去块滤波过程或自适应偏移应用过程 的重建图像获得的值的基础上执行自适应环路滤波过程。在4×4块的基础上 通过一个拉普拉斯算子活动值而检测自适应环路滤波器(ALF)。所确定的ALF 能够被应用到包括在4×4块或8×8块中的所有像素。可以根据编码单元确定 是否应用ALF。环路滤波器的尺寸和系数可以根据每个编码单元变化。切片 头可以包括表示是否对每个编码单元应用ALF的信息、滤波器系数的信息、 滤波器形状的信息等等,并且将这些信息传送到解码器。在色度信号的情况 下,可以在图片单元中确定是否应用ALF。与亮度不同,环路滤波器可以具 有矩形形状。
图片存储器180从后处理器160接收后处理图像数据,并存储在图片单 元中重建的图像。图片可以是以帧或场为单位的图像。图片存储器180具有 能够存储多个图片的缓冲区(未示出)。
帧间预测器150使用存储在图片存储器180中的一个或多个参考图片来 执行运动估计,并且确定表示参考图片和运动矢量的参考图片索引。根据参 考图片索引和运动矢量,帧间预测器150从存储在图片存储器150中的多个 参考图片中选择的一个参考图片中提取出对应于将被编码的预测单元的预测 块,并且输出所提取的预测块。
帧内预测器140使用在包括当前预测单元的图片中的重建像素值来执行 帧内预测编码。帧内预测器140接收将被预测性地编码的当前预测单元,选 择预定数量的帧内预测模式的一种,并且执行帧内预测。帧内预测模式的预 定数量取决于当前预测单元的尺寸。帧内预测器对用于产生帧内预测块的参 考像素自适应地滤波。当一些参考像素不可用时,可以使用可用参考像素在 不可用位置处产生参考像素。
熵编码器130对被量化器130量化的量化变换系数、从帧内预测器140 接收的帧内预测信息、从帧间预测器150接收的运动信息等进行熵编码。
图2是根据本发明的帧内预测器140的框图。
参考图2,帧内预测器140包括预测单元接收器141、参考像素产生器142、 预测块产生器143、预测块后处理器144、预测模式确定器145和预测模式编 码器146。
预测单元接收器141接收从图片分割器110输入的预测单元。预测单元 接收器141把在接收的预测单元上的尺寸信息传送到预测模式确定器145和 参考像素产生器142,并且把预测单元传送到参考像素产生器142和预测块产 生器143。
参考像素产生器142确定接收的当前预测单元的参考像素是否可用。用 于帧内预测的当前预测单元的参考像素由位于(x=-1,y=-1)处的角参考像素、 位于(x=0,…,2L-1,y=-1)处的2L个上参考像素和位于(x=0,y=0,…,and 2M-1) 处的2M个左参考像素组成。此处,L是当前预测单元的宽度,并且M是当 前预测单元的高度。
当参考像素不可用或不够时,产生参考像素。
当没有参考像素可用时,产生具有预定值的参考像素。
当一些参考像素不可用时,确定不可用参考像素是否只存在于从可用像 素起的一个方向上或可用像素之间。
当不可用参考像素只存在于从可用像素起的一个方向上时,通过复制与 不可用像素最接近的可用像素的值来产生参考块。例如,在当前预测单元位 于图片或切片的上边界处时,角参考像素和上参考像素不可用。这样,在这 种情况下,通过复制位于最靠近位置(x=-1,y=0)处的参考像素能够产生角 参考像素和上参考像素。二选一地,可以使用最靠近位置的可用参考像素和 一个或多个可用参考像素产生参考像素。例如,当位于(x=-1,y=0)处的角 参考像素和位于(x=0,…,和L-1,y=-1)处的参考像素可用、并且位于(x= L,…,2L-1,y=-1)的参考像素不可用时,能够使用位于(x=L-1,y=-1)处 的参考像素值和角参考像素值或另一个参考像素值之间差异的改变在不可用 位置处产生参考像素。
当在可用像素之间存在不可用参考像素时,使用与不可用参考像素相邻 的两个可用像素p和q来产生参考像素。例如,当角参考像素和位于(x=0,…, and L-1,y=-1)处的L个上参考像素不可用时,能够使用参考像素p和q来 产生在位于(x=-1,y=0)处的参考像素p和位于(x=L,y=-1)处的参考像 素q之间存在的参考像素。
可以通过四舍五入参考像素p和参考像素q的平均值来获得产生的参考 像素值。并且,可以使用参考像素p和参考像素q的像素值之间的差异的变 化来产生参考像素值。在这种情况下,可以通过根据对应于所产生的像素的 位置确定的线性插值或使用两个参考像素的加权平均值来产生参考像素值。
同时,当多个预测单元在当前预测单元的上侧时,很有可能在两个上预 测单元之间的边界的两侧上存在的边界像素之间的差异将大于在每个上预测 单元中的相邻像素之间的差异。这是量化系数引起的误差所导致的。很有可 能在其中使用两个相邻参考像素产生预测块的定向帧内预测模式中将发生这 种误差。
特别地,最严重地影响图3的与水平或垂直方向成45°方向的模式(模式 编号3、6和9)。在垂直和水平模式(模式编号0和1)中,一个像素被用于 产生预测块的预测像素,因此垂直和水平模式受到轻微地影响。
为此原因,将滤波器(平滑滤波器)应用到定向帧内预测模式3、6和9 中的参考像素,并且不应用到垂直和水平帧内预测模式中的参考像素。在非 定向帧内预测模式中的DC模式中,滤波器也没有被应用到参考像素。对于这 些模式,无论当前预测单元的尺寸为多大,均可以确定是否应用滤波器。
在存在于帧内预测模式3、6或9和水平或垂直帧内预测模式之间的定向 帧内预测模式中,能够根据预测单元的尺寸自适应地把滤波器(平滑滤波器) 应用到参考像素。随着定向帧内预测模式的方向相对地靠近呈45°方向的帧内 预测模式的方向,优选增加应用滤波器(平滑滤波器)的可能性。尤其是, 当第一定向模式比第二定向模式在方向上更靠近呈45°方向的帧内预测模式 时,如果滤波器被应用到在第二定向模式中的参考像素,则滤波器也被应用 到第一定向模式中的参考像素。另一方面,如果滤波器被应用到第一定向模 式中的参考像素,则该滤波器可以应用或不应用到第二定向模式中的参考像 素。
很可能在大尺寸的预测单元中的像素之间的差异变化将小于小尺寸的预 测单元中的像素之间的差异变化。这样,随着预测单元的尺寸增加,应用滤 波器的定向模式的数量可以增加或可以应用强滤波器。另一方面,当预测单 元变小到小于特定尺寸时,将不应用滤波器。
举一个例子,在帧内预测模式3、6或9中,第一滤波器可以被应用到尺 寸等于或小于第一尺寸的预测单元的参考像素,并且比第一滤波器强的第二 滤波器可以被应用到尺寸大于第一尺寸的预测单元的参考像素。第一尺寸可 以根据定向预测模式而变化。
举另一个例子,在垂直帧内预测模式和帧内预测模式6之间存在的帧内 预测模式5中,没有滤波器可以被应用到尺寸等于或小于第二尺寸的预测单 元,第一滤波器可以被应用到尺寸大于第二尺寸并且等于或小于第三尺寸的 预测单元的参考像素,并且第二滤波器可以被应用到尺寸大于第三尺寸的预 测单元。第二尺寸和第三尺寸可以根据定向预测模式而变化。
第一滤波器可以是3抽头滤波器[1,2,1]或5抽头滤波器[1,2,4,2, 1]。第二滤波器比第一滤波器具有更大的平滑效果。
预测块产生器143使用被帧内预测模式确定的参考像素来产生预测块。
在定向帧内预测模式中,对应的参考像素根据帧内预测模式而变化。例 如,在垂直模式中,使用位于(x=0,…,和L-1,y=-1)处的L个上参考像 素,并且在水平模式中,使用位于(x=-1,y=0,…,和L-1)处的L个左参考 像素。
在非定向帧内预测模式中,使用角像素、位于(x=0,…,和L-1,y=-1) 处的L个上参考像素和位于(x=-1,y=0,…,和L-1)处的L个左参考像素。 非定向帧内预测模式是DC模式或平面模式。
在平面模式中,使用角参考像素、左参考像素和上参考像素而产生预测 块的参考像素。当将要产生的参考像素位于(a,b)处时,使用角参考像素C (x=-1,y=-1)、上参考像素T(x=a,y=-1)和左参考像素L(x=-1,y=b) 而产生预测像素X(a,b)。尤其是,X(a,b)可以是L(x=-1,y=b)+T(x =a,y=-1)-C(x=-1,y=-1)。
在图3的垂直模式(模式编号为0)的右侧存在的帧内预测模式中,如果 只使用上参考像素来产生预测块,则有可能所产生的预测块的左下区域的像 素和初始预测单元的对应的像素之间的差异将增加。然而,当使用上参考像 素和左参考像素产生预测块时,能够降低差异。在帧内预测模式6中该效果 最大。同样在图3的水平模式(模式编号为1)的下方存在的帧内预测模式中, 将应用相同的方法,并且在帧内预测模式9中该效果最大。
这样,在帧内预测模式6或9中,可以使用对应的(例如,位于预测像 素的45°处的)一个上插值参考像素和一个左插值参考像素产生预测像素。可 以通过一个上插值参考像素和一个左插值参考像素的线性插值或使用被四舍 五入的平均值而产生预测像素。同样地,在与模式6或9相邻的预定数量的 帧内预测模式中,能够使用左参考像素和上参考像素产生预测块。例如,在 帧内预测模式6或属于与模式6相邻的预定数量(例如,4个)的预测模式的 模式中,能够使用左参考像素和上参考像素来产生预测块。在这种情况下, 为了降低复杂性,上述方法可以不被应用到模式数量大于预定模式数量(例 如,9或17)的帧内预测模式中。并且,该方法可以只应用到尺寸等于或大 于预定尺寸的当前预测单元。预定尺寸是8×8或16×16。
预测块后处理器144对预测块产生器143产生的预测块进行自适应地滤 波。为了减少参考像素和与参考像素相邻的像素之间的差异,预测块后处理 器144根据帧内预测模式对与参考像素块相邻的一些或所有像素自适应地滤 波。在预测块中存在与参考像素相邻的像素。
在平面模式中,使用参考像素产生与参考像素相邻的像素,因而不应用 滤波器。
在DC模式中,使用参考像素的平均值,因而应用滤波器。能够根据预测 单元的尺寸使用不同类型的滤波器。对于大尺寸的预测单元,可以使用与在 小尺寸的预测单元中使用的滤波器一样的滤波器,或者使用具有大的平滑效 果的强滤波器。
预测模式确定器145使用参考像素确定当前预测单元的帧内预测模式。 预测模式确定器145可以将具有残差块的预期最小编码比特的帧内预测模式 确定为当前预测单元的帧内预测模式。此处,使用对应于每个帧内预测模式 的预测块或后处理预测块来产生残差块。
预测模式编码器146使用与当前预测单元相邻的预测单元的帧内预测模 式来对当前预测单元的帧内预测模式编码。
图4是示出根据本发明的在预测模式编码器146中执行的对当前预测单 元的帧内预测模式进行编码的过程的流程图。
首先,搜索当前预测单元的帧内预测模式候选(S110)。当前预测单元的 上帧内预测模式和左帧内预测模式可以是帧内预测模式候选。也可以增加角 帧内预测模式,或可以根据上帧内预测模式和左帧内预测模式增加任何其他 模式。
在当前预测单元有多个上预测单元时,在预定方向上(例如,从右到左) 扫描多个上预测单元,以将第一可用预测单元的帧内预测模式确定为上帧内 预测模式。此外,在当前预测单元有多个左预测单元时,在预定方向上(例 如,从下到上)扫描多个左预测单元,以将第一可用预测单元的帧内预测模 式确定为左帧内预测模式。二选一地,在多个可用的预测单元中,具有最小 帧内预测模式数量的可用预测单元的帧内预测模式可以被设定为上帧内预测 模式。
角帧内预测模式可以被设定为与当前预测单元的右上侧或左上侧相邻的 预测单元的预测模式。二选一地,角帧内预测模式可以被设定为第一可用帧 内预测模式,该第一可用帧内预测模式通过以预定顺序扫描与当前预测单元 的左上侧、右上侧和右下侧相邻的帧内预测模式而获得。预定顺序是左上侧、 右下侧和右上侧。二选一地,可以增加两个(右上侧和左上侧)或三个(右 上侧、左上侧和左下侧)角帧内预测模式,作为当前预测单元的帧内预测模 式候选。
下一步,确定是否改变可用帧内预测模式候选的帧内预测模式(S120)。
当确定改变帧内预测模式时,改变可用帧内预测模式候选(S130)。
详细地,当可用帧内预测模式候选的模式数量等于或大于当前预测单元 允许的帧内预测模式的数量时,可用帧内预测模式候选被转换成一个允许模 式。允许模式的数量可以根据当前预测单元的尺寸而变化。例如,在当前预 测单元的尺寸是4×4时,可用帧内预测模式候选的帧内预测模式被转换成9 个模式(模式0~9)或18个模式中的一种,并且在当前预测单元的尺寸是64×64 时,可用帧内预测模式候选的帧内预测模式被转换成四个模式(模式0~2)中 的一种。
下一步,建立当前预测单元的帧内预测候选列表(S140)。可以按模式编 号的顺序列出候选。二选一地,可以按频率的顺序列出候选,并且可以按模 式编号的顺序列出具有相同频率的帧内预测候选。当帧内预测模式候选具有 相同的模式编号时,帧内预测候选者除了一个之外都被从列表上移除。
下一步,确定当前预测单元的帧内预测模式是否与建立的列表中的帧内 预测模式候选的任何一个相同(S150)。
在当前预测单元的帧内预测模式与帧内预测模式候选之一相同时,将表 示帧内预测模式与帧内预测模式候选之一相同并且将候选索引的信息确定为 帧内预测信息(S160)。
在当前预测单元的帧内预测模式与任何一个帧内预测模式候选都不同时, 计算用于改变当前预测单元的帧内预测模式的模式改变值(S170)。模式改变 值是帧内预测模式数量不大于当前预测单元的帧内预测模式的数量的帧内预 测模式候选的数量。通过比较列表中的帧内预测模式值获得模式改变值。
下一步,使用模式改变值来改变当前预测单元的帧内预测模式(S180)。 将改变的帧内预测模式确定为当前预测单元的帧内预测模式。当前预测单元 的改变的帧内预测模式被传送到熵编码器140。
图5是根据本发明的帧内预测解码装置200的框图。
根据本发明的帧内预测解码装置200包括熵解码器210、残差信号解码器 220、预测模式解码器230、参考像素产生器240、预测块产生器250、预测块 滤波器260和图像重建器270。
熵解码器210从接收的比特流中提取量化的残差系数,并且以变换单元 为单位把量化残差系数和变换单元的尺寸传送到残差信号解码器220。并且, 熵解码器210把帧内预测信息和将被解码的预测单元的尺寸传送到预测模式 解码器230。
残差信号解码器220把量化的残差系数转换成二维(2D)阵列的逆量化 块。为了这个转换,选择多个扫描方式之一。在预测模式和帧内预测模式至 少之一的基础上确定变换块的扫描方式。逆扫描操作与图1的扫描器131的 操作的逆过程相同。例如,当将被解码的当前变换单元的尺寸大于第一参考 尺寸时,根据扫描方式对量化残差系数逆扫描以形成多个子集,并且使用多 个子集产生具有变换单元的尺寸的逆量化块。另一方面,当将被解码的当前 变换单元的尺寸不大于第一参考尺寸时,根据扫描方式对量化残差系数逆扫 描,以产生尺寸与变换单元的尺寸相同的逆量化块。
预测模式解码器230在关于从熵解码器210接收的当前预测单元的帧内 预测信息和尺寸信息的基础上重建当前预测模式的帧内预测模式。通过图4 所示的过程的逆过程而复原所接收的帧内预测信息。
参考像素产生器240产生当前预测单元的不可用参考像素,并且根据从 预测模式解码器230接收的当前预测单元的帧内预测模式对参考像素自适应 地滤波。产生参考像素的方法和对参考像素滤波的方法与图2的帧内预测器 140中参考像素产生器142的方法相同。
尤其是,确定当前预测单元的参考像素是否可用。用于帧内预测的当前 预测单元的参考像素由位于(x=-1,y=-1)处的角参考像素、位于(x=0,…, 和2L-1,y=-1)处的2L个上参考像素和位于(x=0,y=0,…,和2M-1)处 的2M个左参考像素组成。此处,L是当前预测单元的宽度,并且M是当前 预测单元的高度。
当用于产生预测块的参考像素不可用或不够时,产生参考像素。
当所有的参考像素均不可用时,产生具有预定值的参考像素。
当一些参考像素不可用时,确定不可用参考像素是否只存在于从可用像 素起的一个方向上或可用像素之间。
当不可用参考像素只存在于从可用像素起的一个方向上时,通过复制最 靠近不可用像素的可用像素的值来产生参考像素。例如,在当前预测单元位 于图片或切片的上边界处时,角参考像素和上参考像素不可用。这样,在这 种情况下,能够通过复制位于(x=-1,y=0)处的参考像素而产生角参考像 素和上参考像素。二选一地,可以使用最接近位置的可用参考像素和一个或 多个可用参考像素来产生参考像素。例如,当具有(x=-1,y=-1)的位置的 角参考像素和位于(x=0,…,和L-1,y=-1)处的参考像素可用时,并且位 于(x=L,…,2L-1,y=-1)处的参考像素不可用时,能够使用位于(x=L-1, y=-1)处的参考像素和角参考像素值或另一个参考像素值之间差异的改变而 在不可用位置处产生参考像素。
当在可用像素之间存在不可用参考像素时,使用与不可用参考像素相邻 的两个可用像素p和q来产生参考像素。例如,当角参考像素和位于(x=0,…, 和L-1,y=-1)处的L个上参考像素不可用,能够使用参考像素p和q来产生 在位于(x=-1,y=0)处的参考像素p和位于(x=L,y=-1)处的参考像素q 之间存在的参考像素。
可以通过四舍五入参考像素p和参考像素q的平均值而获得产生的参考 像素值。并且,可以使用参考像素p和参考像素q的像素值之间的差异的变 化而产生参考像素值。在这种情况下,可以通过根据对应于所产生的像素值 的位置线性插值或使用两个参考像素的加权平均值而产生参考像素值。
同时,当多个预测单元在当前预测单元的上侧时,很有可能在两个上预 测单元之间的边界的两侧上存在的边界像素之间的差异将大于在每个上预测 单元中的相邻像素之间的差异。这是量化系数引起的误差所导致的。很有可 能在其中使用两个相邻参考像素产生预测块的定向帧内预测模式中将发生这 种误差。
特别地,最严重地影响图3的与水平或垂直方向成45°方向的模式(模式 编号3、6和9)。在垂直和水平模式(模式编号0和1)中,一个像素被用于 产生预测块,因此垂直和水平模式受到轻微地影响。
为此原因,将滤波器(平滑滤波器)应用到定向帧内预测模式3、6和9 中的参考像素,并且不应用到垂直和水平帧内预测模式中的参考像素。在非 定向模式之外的DC模式中,也不应用滤波器。对于这些模式,无论当前预测 单元的尺寸为多大,均可以确定是否应用滤波器。
在存在于帧内预测模式3、6或9和水平或垂直帧内预测模式之间的定向 帧内预测模式中,能够把滤波器(平滑滤波器)自适应地应用到参考像素。 随着定向帧内预测模式的方向相对地靠近呈45°方向的帧内预测模式的方向, 优选增加应用滤波器(平滑滤波器)的可能性。尤其是,当第一定向帧内预 测模式比第二定向帧内预测模式在方向上更靠近呈45°方向的帧内预测模式 时,如果滤波器被应用到在第二定向帧内预测模式中,则滤波器也被应用到 第一定向帧内预测模式中。另一方面,如果滤波器被应用到第一定向帧内预 测模式,则该滤波器可以应用或不应用到第二定向帧内预测模式。
很可能在大尺寸的预测单元中的像素之间的差异变化将小于小尺寸的预 测单元中的像素之间的差异变化。这样,随着预测单元的尺寸增加,应用滤 波器的定向模式的数量可以增加或可以应用强滤波器。另一方面,当预测单 元变小到小于特定尺寸时,将不应用滤波器。
举一个例子,在具有45°方向的帧内预测模式3、6或9中,第一滤波器 可以被应用到尺寸等于或小于第一尺寸的预测单元,并且比第一滤波器更强 的第二滤波器可以被应用到尺寸大于第一尺寸的预测单元。第一尺寸可以根 据定向预测模式而变化。
举另一个例子,在垂直帧内预测模式和具有45°方向的帧内预测模式6之 间存在的帧内预测模式5中,没有滤波器被应用到等于或小于第二尺寸的预 测单元,第一滤波器可以被应用到大于第二尺寸并等于或小于第三尺寸的预 测单元中,并且第二滤波器可以被应用到大于第三尺寸的预测单元。第二尺 寸和第三尺寸可以根据定向预测模式而变化。
第一滤波器可以是3抽头滤波器[1,2,1]或5抽头滤波器[1,2,4,2, 1]。第二滤波器比第一滤波器具有更大的平滑效果。
预测块产生器250根据从预测模式解码器230接收的当前预测单元的帧 内预测模式而产生预测块。产生预测块的方法与图2的帧内预测器140中预 测块产生器142的方法相同。
即是,在定向帧内预测模式中,对应的参考像素根据帧内预测模式变化。 例如,在垂直模式中,使用位于(x=0,…,和L-1,y=-1)处的L个上参考 像素,并且在水平模式中,使用位于(x=-1,y=0,…,和L-1)处的L个左参 考像素。
在非定向帧内预测模式中,使用角像素、位于(x=0,…,和L-1,y=-1) 处的L个上参考像素和位于(x=-1,y=0,…,和L-1)处的L个左参考像素。 非定向帧内预测模式是DC模式和平面模式。
在平面模式中,使用角参考像素、左参考像素和上参考像素产生预测块 的参考像素。当将要产生的参考像素位于(a,b)处时,使用角参考像素C(x =-1,y=-1)、上参考像素T(x=a,y=-1)和左参考像素L(x=-1,y=b)产 生预测块X(a,b)的参考像素。尤其是,X(a,b)可以是L(x=-1,y=b) +T(x=a,y=-1)-C(x=-1,y=-1)。
在图3的垂直模式(模式编号为0)的右侧存在的帧内预测模式中,如果 只使用上参考像素来产生预测块,则有可能所产生的预测块的左下区域的像 素和初始预测单元的像素之间的差异将增加。然而,对于多个模式中的数个 模式,当使用上参考像素和左参考像素产生预测块时,能够降低差异。在帧 内预测模式6中该效果最大。同样在图3的水平模式(模式编号为1)的下方 存在的帧内预测模式中,将应用相同的方法,并且在帧内预测模式9中该效 果最大。
这样,在帧内预测模式6或9中,可以使用对应的(例如,位于预测像 素的45°处的)一个上插值参考像素和一个左插值参考像素产生预测像素。可 以通过一个上插值参考像素和一个左插值参考像素的线性插值或使用四舍五 入的平均值而产生预测像素。同样地,在与模式6或9相邻的预定数量的帧 内预测模式中,能够使用左参考像素和上参考像素产生预测块。在这种情况 下,为了降低复杂性,上述方法可以不被应用到模式数量大于预定模式数量 (例如,9或17)的帧内预测模式中。并且,该方法可以只应用到尺寸等于 或大于预定尺寸的当前预测单元。预定尺寸是8×8或16×16。
预测块后处理器260根据从预测模式解码器230接收的当前预测单元的 帧内预测模式对预测块产生器250产生的预测块自适应地滤波。预测块后处 理器可以被集成到预测块产生器250中。预测块滤波方法与图2的帧内预测 器140的预测块后处理器144的方法相同。
即是,为了减少参考像素和与参考像素相邻的预测块中的像素之间的像 素值的差异,预测块滤波器260根据帧内预测模式对与参考像素相邻的预测 块中的一些或所有像素自适应地滤波。在预测块中存在与参考像素相邻的像 素。
在平面模式中,使用参考像素产生与参考像素相邻的预测块中的像素, 因而不应用滤波器。
在DC模式中,使用参考像素的平均值以产生预测像素,因而应用滤波器。 能够根据预测单元(预测块的尺寸)的尺寸使用不同类型的滤波器。在大尺 寸的预测单元中,可以使用与在小尺寸的预测单元中使用的滤波器一样的滤 波器,或使用具有大的平滑效果的强滤波器。
图像重建器270根据帧内预测模式,以预测单元为单位从预测块产生器 250或预测块滤波器260接收预测块。图像重建器270以变换单元为单位接收 通过残差信号解码器220重建的残差块。图像重建器270通过增加复原的预 测块和残差块而产生重建图像。图像可以以编码单元为单位重建。
尽管参照某些示例性实施例示出并描述了本发明,然而本领域的技术人 员将理解,在不偏离如同附加权利要求所限定的本发明的精神和范围的情况 下,可以对其做出形式和细节上的各种变化。

帧内预测解码设备.pdf_第1页
第1页 / 共19页
帧内预测解码设备.pdf_第2页
第2页 / 共19页
帧内预测解码设备.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《帧内预测解码设备.pdf》由会员分享,可在线阅读,更多相关《帧内预测解码设备.pdf(19页珍藏版)》请在专利查询网上搜索。

本发明的一种帧内解码设备从接收的比特流复原量化残差系数、帧内预测信息和预测单元尺寸信息;在帧内预测信息和当前预测单元的尺寸信息的基础上复原当前预测单元的帧内预测模式;并且通过产生预测单元的不可用参考像素在帧内预测模式的基础上对参考像素自适应地滤波。并且,本发明通过使用与帧内预测模式对应的参考像素并对其自适应地滤波来产生预测块。另外,本发明使用预测块来产生复原图像并复原残差块。因此,本发明通过复原靠。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 >


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1