预测块产生设备.pdf

本发明的预测块产生设备确定在所接收的附加信息载体中包括的用于产生预测块的附加信息，并使用当前预测单元的有效帧内预测模式候选信息确定当前预测单元的帧内预测模式；使用可用参考像素在不处于用于产生帧内预测块的可用位置中产生参考像素；基于当前预测单元的确定的帧内预测模式或当前预测单元的大小信息对当前预测单元附近的参考像素适应性地滤波；以及使用与当前预测单元的确定的帧内预测模式对应的参考像素产生当前预测单元的预测块。因而，本发明通过在原始图像附近产生预测块，从而能提高图像压缩性。

权利要求书1.  一种产生预测块的装置，包括： 预测模式解码单元，被配置为使用帧内预测信息来复原帧内预测模式； 参考像素产生单元，被配置为当不可用参考像素存在时，使用一个或多 个可用参考像素来产生参考像素； 参考像素滤波单元，被配置为基于所述帧内预测模式和当前块的大小来 确定是否对所述当前块的参考像素进行滤波，以及在对参考像素进行滤波的 情况下，使用第一滤波器和第二滤波器中的一个滤波器来对所述参考像素适 应性地滤波； 预测块产生单元，被配置为根据所述帧内预测模式来产生所述当前块的 预测块；以及 预测块滤波单元，被配置为使用所述帧内预测模式对所述预测块的一些 预测像素适应性地滤波。 2.  根据权利要求1所述的装置，其中，所述预测块的一些预测像素的位 置通过所述帧内预测模式来确定。 3.  根据权利要求1所述的装置，其中，当可用像素仅在一个方向上存在 时，所述参考像素产生单元使用与所述可用参考像素最接近的可用像素来产 生所述参考像素。 4.  根据权利要求1所述的装置，其中，所述第二滤波器具有比所述第一 滤波器更强的平滑效果。 5.  根据权利要求1所述的装置，其中，在对所述参考像素滤波的情况下， 当所述当前块小于预定大小时，使用所述第一滤波器来对所述参考像素滤波。 6.  根据权利要求1所述的装置，其中，在仅使用一个参考像素来产生所 述预测块的每个预测像素的帧内预测模式中，所述参考像素滤波单元不对所 述参考像素进行滤波。 7.  根据权利要求1所述的装置，其中，所述当前块的大小等于变换编码 块的大小。

说明书预测块产生设备
本案是分案申请，其母案为于2011年7月29日提交的题为“预测块产 生设备”的申请号为201180042109.6的申请。
技术领域
本发明涉及一种预测块产生设备，尤其涉及一种产生能最小化残差块的 编码比特数的预测块的装置。
背景技术
在如运动图像专家组(MPEG)-1、MPEG-2、MPEG-4以及H.264/MPEG-4 高级视频编码(AVC)的图像压缩方法中，将一个图片分割成多个宏块(MB)， 以对图像进行编码。接着，使用帧间预测或帧内预测对各个MB进行编码。
在帧内预测中，不使用参考图片，而是使用与当前块在空间上相邻的像 素的值来对当前图片的当前块进行编码。通过比较使用相邻像素值产生的预 测块和原始MB，来选取失真小的帧内预测模式。接着，使用所选取的帧内预 测模式和相邻像素值来计算当前块的预测值。计算预测值和原始当前块的像 素值之间的差，并接着通过变换编码、量化和熵编码进行编码。也对帧内预 测模式进行编码。
帧内预测模式一般分为用于亮度分量的4×4帧内预测模式、8×8帧内预 测模式、16×16帧内预测模式，和用于色度分量的帧内预测模式。
在根据现有技术的16×16帧内预测模式中，有四种模式：垂直模式、水 平模式、直流(DC)模式以及平面模式。
在根据现有技术的4×4帧内预测中，有九种模式：垂直模式、水平模式、 DC模式、对角线左下模式、对角线右下模式、垂直向右模式、垂直向左模式、 水平向上模式、以及水平向下模式。
根据各个模式的使用频率来索引每种预测模式。垂直模式的模式编号0 显示出它最可能是最频繁用于对目标块执行帧内预测的模式，并且水平向上 模式的模式编号8显示出它最可能是使用最不频繁的。
根据H.264标准，总共使用13种模式对当前块进行编码，即，4×4帧内 预测的4种模式和16×16帧内预测的9种模式。根据这些模式中的优选模式 产生当前块的比特流。
然而，在与当前块相邻的像素的某些或所有值不存在或尚未编码时，无 法将某些或所有帧内预测模式应用到当前块。并且，在通过从可应用帧内模 式中选择预测模式来执行帧内预测时，预测块和当前块之间的残差信号变大。 因而，编码效率变差。
发明内容
技术问题
本发明涉及一种产生类似于原始块的预测块的装置。
技术方案
本发明的一个方面提供了一种装置，包括：帧内预测模式解码单元，被 配置为使用在所接收的附加信息载体中包括的附加信息和当前预测单元的 可用帧内预测模式候选信息，复原当前预测单元的帧内预测模式；参考像素 产生单元，被配置为使用可用参考像素产生参考像素；参考像素滤波单元， 被配置为基于当前预测单元的复原的帧内预测模式和当前预测单元的大小 来对参考像素适应性地滤波；以及预测块产生单元，被配置为使用与复原的 帧内预测模式对应的参考像素产生当前预测单元的预测块。
技术效果
根据本发明的装置产生参考像素并对该参考像素适应性地滤波，以产生 将预测块与原始块之间的差最小化的预测块。而且，通过根据帧内预测模式 对预测块适应性地滤波，残差信号变小，因而能够提高图像的压缩率。
附图说明
图1是示出根据本发明的运动图片编码装置的框图。
图2是示出根据本发明的扫描单元的操作的流程图。
图3是示出根据本发明的运动图片解码装置的框图。
图4是示出根据本发明的帧内预测单元的框图。
图5是示出根据本发明的用于帧内预测的参考像素的位置的原理图。
图6是示出根据本发明的产生参考像素的过程的流程图。
图7是示出根据本发明的运动图片解码装置的帧内预测单元的框图。
具体实施方式
在下文中，将参考附图详细描述本发明的各个实施例。然而，本发明不 限于下面公开的示例性实施例，而是可以用各种形式实现。因而，本发明可 能有许多其它修改和变化，并且应该明白的是，在所公开的原理的范围内， 可以用除了如同已被明确描述的方式之外的方式实现本发明。
对于图像编码，每个图片包括多个切片(slice)，且每个切片包括多个编 码单元。因为高清晰(HD)级别或更高级别的图像具有许多平滑区域，所以 可以用比大小为16×16的MB大的编码单元对图像进行编码，以提高图像的 压缩。
根据本发明的编码单元的大小可以是16×16、32×32或64×64。编码单元 的大小也可以是8×8或更小。具有最大大小的编码单元称为超级宏块(SMB)。 SMB的大小用编码单元的最小大小和深度信息表示。深度信息表示SMB的 大小与编码单元的最小大小之间的差值。
因此，用于对图片进行编码的编码单元可以是SMB或SMB的子块。将 编码单元设定为缺省值或用序列头表示。
SMB包括一个或多个编码单元。SMB具有递归编码树的形式，以包括编 码单元和编码单元的分割结构。在没有将SMB分割为4个子编码单元时，编 码树可以包括表示该SMB没被分割的信息和一个编码单元。在将SMB分割 为4个子编码单元时，编码树可以包括表示该SMB被分割的信息和四个子编 码树。同样，每个子编码树具有与SMB相同的结构。然而，最小编码单元(SCU) 大小的编码单元不再分割为子编码单元。
同时，在编码单元自身或子块的多个单元中，对编码树中的每个编码单 元进行帧间预测或帧内预测。将执行了帧间预测或帧内预测的单元称作预测 单元。用于帧内预测的预测单元的大小可以是2N×2N或N×N。用于帧间预 测的预测单元的大小可以是2N×2N、2N×N、N×2N或N×N。这里，2N 表示编码单元的水平和垂直长度。
编码单元包括预测单元的预测模式和在预测单元上的大小信息(片段模 式)。为提高编码效率，可以将预测模式和大小信息组合并联合编码。在这种 情况下，每个编码单元包括联合编码预测类型(pre_type)。
编码单元包括一个或多个附加信息载体。每个附加信息载体包含产生每 个预测单元的预测块所需的附加信息。在帧内预测中，附加信息包括被编码 的帧内预测信息。在帧间预测中，附加信息包括被编码的运动信息。运动信 息包括运动向量和参考图片索引。
编码单元也包括用于编码单元的残差信号的残差信号载体。残差信号载 体包含一个变换树、一个亮度残差信号载体以及两个色度残差信号载体。变 换树表示在残差信号载体中是否存在变换单元的残差信号。残差信号载体包 括递归树结构。举例说明编码单元的残差信号载体。如果没有将编码单元分 割成4个子编码单元，那么残差信号载体包含量化信息(残差量化参数)和 被编码的残差信号。如果将编码单元分割成4个子编码单元，那么残差信号 载体包含量化信息和4个残差信号子载体。每个残差信号子载体都具有与编 码单元的残差信号载体相同的结构，但不包含量化信息。
同时，仅描述将编码单元等分为多个预测单元的情况。然而，当根据属 性将等分用于在特定方向上或在特定位置处具有边界的图像时，将不同预测 单元用于边界处的相似数据片，并且不能有效减小残差信号。
在这种情况下，为压缩残差信号，根据图像的边界形状在特定的方向上 分割SMB或MB并执行帧内或帧间预测可能更有效率。
最简单的适应模式是使用直线将编码单元分割为两块，以在局部上提取 预测区域的统计相关性。图像的边界与直线匹配并进行分割。在这种情况下， 可分割方向可能会限于预定的数量。例如，可以将分割块的方法限于水平、 垂直、向上对角线以及向下对角线4个方向。并且，也可以仅将分割限于水 平和垂直方向。可分割方向的数量可以是3、5、7等。可以根据编码块的大 小改变可分割方向的数量。例如，对大尺寸的编码单元，可以相对增加可分 割方向的数量。
在帧间预测中，当为了更多的适应性预测而将一个编码单元分割为两个 预测单元时，应该对每个预测单元执行运动估计和运动补偿。推导出每个预 测单元的运动信息，并对从每个预测单元的运动信息中推导出的预测块之间 的残差信号进行编码。
在获得从一个编码单元分割的各自两个预测块的残差信号后，可以将这 两个残差信号相加，以产生一个编码单元的一个残差信号。将一个编码单元 的残差信号变换并进行编码。在这种情况下，具有边界中心的各自两个预测 块的残差信号的整体分布之间很可能具有差别，并因此可以通过将任意一个 区域的值乘以预定的值来产生一个编码单元的残差信号。此外，也可以使得 两个残差信号的边界区域交叠，并且可以在交叠边界区域上执行平滑以产生 一个残差信号。
在另外一个方法中，通过根据块的各个分割区域执行填充可以产生块， 并进行编码。换言之，在对两个分割区域中的当前分割区域进行编码时，可 以通过用当前分割区域的值填充构成该块的另外一个分割区域来配置一个 块，并且接着执行二维(2D)变换编码。
图1是示出根据本发明的运动图片编码装置的框图。
参考图1，根据本发明的运动图片编码装置100包括图片分割单元110、 变换单元120、量化单元130、扫描单元131、熵编码单元140、帧内预测单 元150、帧间预测单元160、逆向量化单元135、逆向变换单元125、后处理 单元170、图片存储单元180、减法器190以及加法器195。
图片分割单元110分析输入的视频信号，以将图片的每个最大编码单元 (LCU)分割为每个都有预定大小的编码单元，确定每个编码单元的预测模 式，并确定每个编码单元的预测单元的大小。图片分割单元110根据预测模 式，将被编码的预测单元发送到帧内预测单元150或帧间预测单元160。此外， 图片分割单元110将被编码的预测单元发送到减法器190。
变换单元120变换残差块。残差块包括输入的原始块与帧内预测单元150 或帧间预测单元160产生的预测块之间的残差信号。残差块可以包括编码单 元。将包括编码单元的残差块分割为优化的变换单元并进行变换。可以根据 预测模式(帧内或帧间)适应性地确定变换矩阵的类型。此外，帧内预测的 残差信号根据帧内预测模式而具有方向性，并因此可以根据帧内预测模式适 应性地确定变换矩阵。变换单元可以用两个(水平和垂直的)一维(1D)变 换矩阵做变换。在帧间预测中，确定一个预定的变换矩阵类型。在帧内预测 中，在帧内预测模式水平时，残差块很可能是垂直方向。因而，在垂直方向 上应用基于离散余弦变换(DCT)的整数矩阵，并且，在水平方向上应用基 于离散正弦变换(DST)或K-L(Karhunen-Loeve)变换(KLT)的整数矩阵。 当帧内预测模式垂直时，在垂直方向上应用基于DST或KLT的整数矩阵，并 且在水平方向上应用基于DCT的整数矩阵。此外，在帧内预测中，可以根据 变换单元的大小来适应性地确定变换矩阵。
量化单元130确定用于量化所变换的残差块的系数的量化步长。对具有 一个或多个预定大小的每个编码单元确定量化步长。预定大小可以是8×8或 16×16。使用所确定的量化步长和预测模式所确定的量化矩阵，将变换块的系 数量化。量化单元130使用与当前编码单元相邻的编码单元的量化步长作为 当前编码单元的量化步长预测器。量化单元130用以下扫描顺序逐一搜索编 码单元：当前编码单元的左编码单元、当前编码单元的上编码单元以及当前 编码单元的左上编码单元。接下来，量化单元130使用一个或两个有效的量 化步长来产生当前编码单元的量化步长预测器。例如，可以将在扫描顺序中 遇到的第一个有效量化步长确定为量化步长预测器。可以将在扫描顺序中搜 索的两个量化步长的平均值确定为量化步长预测器，并且在仅有一个量化步 长有效时，可以将一个有效量化步长确定为量化步长预测器。在确定了量化 步长预测器时，将量化步长和量化步长预测器的差传送到熵编码单元140。
在将切片分割为编码单元时，当前编码单元可能没有左编码单元、上编 码单元以及左上编码单元。但是，在最大编码单元的编码顺序中，当前编码 单元可以有前置编码单元。因而，可以将与当前编码单元相邻的编码单元和 在最大编码单元的编码顺序中当前编码单元的前置编码单元作为候选。在这 种情况下，上述扫描顺序可以变为下述扫描顺序：1)当前编码单元的左编码 单元，2)当前编码单元的上编码单元，3)当前编码单元的左上编码单元， 以及4)当前编码单元的前置编码单元。可以改变扫描顺序，或在扫描顺序中 可以省略左上编码单元。
将量化的变换块提供给逆向量化单元135和扫描单元131。
扫描单元131扫描量化的变换块的系数，因而将该系数转化为1D量化系 数。由于量化后变换块的系数的分布可能依赖于帧内预测模式，所以根据帧 内预测模式确定系数扫描方式。也可以根据变换单元的大小来确定系数扫描 方式。
逆向量化单元135将已量化的系数逆向量化。逆向变换单元125从逆向 量化的变换系数复原到空间域的残差块。加法器通过将逆向变换单元125重 构的残差块和来自帧内预测单元150或帧间预测单元160的预测块相加，来 产生重构块。
后处理单元170执行：去块滤波过程，以移除在重构的图片中产生的块 效应；适应性偏移施加过程，以补偿重构的图片和原始图像的每个像素之间 的差；以及适应性环路滤波过程，以在编码单元中补偿重构的图片和原始图 像之间的差。
去块滤波过程可以应用到具有一个或多个预定大小的多个预测单元之间 的边界和多个变换单元之间的边界。预定的大小可以是8×8。去块滤波过程包 括：确定被滤波的边界的步骤；确定被应用到边界的边界滤波强度的步骤； 确定是否应用去块滤波器的步骤；以及在确定了应用去块滤波器后，选取被 应用到边界的滤波器的步骤。
确定是否应用去块滤波的根据是i)边界滤波强度是否大于0；ii)表示P块 与Q块的边界像素之间的差的值是否小于根据量化参数确定的第一参考值。
可以存在两个或更多个滤波器。当两个与块边界相邻的像素之间的差的 绝对值等于或大于第二参考值时，选取弱滤波器。通过量化参数和边界滤波 强度确定第二参考值。
适应性偏移施加过程意图减小经过去块滤波器的像素与原始像素之间的 差(失真)。可以根据图片或切片来确定是否执行适应性偏移施加过程。可以 将一个图片或切片分割为多个偏移区域，并且可以对每个偏移区域确定偏移 模式。可以有四种边偏移模式和两种带偏移模式。在边偏移类型中，确定每 个像素属于的边类型并应用与边类型相应的偏移。基于与当前像素相邻的像 素的两个值的分布来确定边的类型。
可以基于比较原始图像和应用了去块滤波过程或适应性偏移施加过程的 重构图像所得到的值，来执行适应性环路滤波过程。基于4×4块通过一个拉 普拉斯算子活性值来检测适应性环路滤波器(ALF)。所确定的ALF可以应用 到4×4块或8×8块包括的所有像素。可以根据编码单元确定是否应用ALF。 环路滤波器的大小和系数可以根据每个编码单元而变化。切片头可以包括表 示是否对每个编码单元应用ALF的信息、滤波器系数信息、以及滤波器形状 信息等等。在色度成分的情况下，可以在图片单元中确定是否应用ALF。与 亮度不同，环路滤波器可以具有矩形形状。
图片存储单元180从后处理单元160接收后处理图像数据，并将图像存 储到图片单元中。图片可以是以帧(frame)或场(field)为单位的图像。图 片存储单元180具有能存储多个图片的缓冲区(未示出)。
帧间预测单元160使用存储在图片存储单元180中的一个或多个参考图 片来执行运动估计，并确定表示参考图片和运动向量的参考图片索引。根据 参考图片索引和运动向量，帧间预测单元160从图片存储单元180中存储的 多个参考图片中选取的一个参考图片提取与被编码的预测单元对应的预测 块，并输出所提取的预测块。
帧内预测单元150使用当前图片中的重构的像素值执行帧内预测。帧内 预测单元150接收被预测编码的当前预测单元，选取预定数量的帧内预测模 式之一，并执行帧内预测。帧内预测模式的预定数量可以依赖于当前预测单 元的大小。帧内预测单元对参考像素适应性地滤波，以产生帧内预测块。当 某些参考像素不可用时，可以使用一个或多个可用参考像素在不可用位置处 产生参考像素。
熵编码单元140将由量化单元130量化的系数、从帧内预测单元150接 收的帧内预测信息以及从帧间预测单元160接收的运动信息等进行熵编码。
图2是示出根据本发明的扫描单元131的操作的流程图。
确定是否将当前的量化系数块分割成多个子集(S110)。这一确定基于当 前变换单元的大小。如果当前变换单元的大小比第一参考大小要大，那么将 已编码和量化的系数分割为多个子集。第一参考大小可以是4×4或8×8。通过 图片头或切片头可以将第一参考大小传送到解码器。
在没有将量化系数块分割为多个子集时，确定应用到量化系数块的扫描 方式(S120)。步骤S120可以先于步骤S110执行或不关心步骤S110。
根据所确定的扫描方式扫描量化系数块的量化系数(S130)。根据预测模 式和帧内预测模式适应性地确定扫描方式。在帧间预测模式中，仅可以应用 一种预定的扫描方式(例如，锯齿扫描(zigzag scan))。在帧内预测模式中， 可以应用根据帧内预测模式来确定的扫描模式。并且，可以选取预定数量的 扫描方式之一来扫描所述系数，并且可以将扫描方式信息传送到解码器。在 帧内预测模式中，可以应用根据帧内预测模式来确定的扫描模式。例如，将 水平扫描应用到垂直帧内预测模式和与垂直预测模式相邻的预定数量的帧内 预测模式。将垂直扫描应用到水平帧内预测模式和与水平帧内预测模式相邻 的预定数量的帧内预测模式。所述预定数量根据预测单元允许的帧内预测模 式的数量(或定向帧内预测模式的数量)或预测块的大小而变化。例如，如 果在当前预测单元上允许的帧内预测模式的数量是16个，那么基于水平或垂 直帧内预测模式的两个方向的每个方向上的预定数量可以是两个。如果允许 定向帧内预测模式的数量是33个，那么基于水平或垂直帧内预测模式的两个 方向的每个方向上的预定数量可以是四个。同时，将锯齿扫描应用于无向模 式。无向模式可以是直流(DC)模式或平面模式。
如果确定将量化系数块分割为多个子集，那么将量化系数块分割成多个 子集(S140)。多个子集包括一个主子集和一个或多个剩余子集。主子集位于 左上方并覆盖DC系数，并且一个或多个剩余子集覆盖主子集之外的区域。
确定应用到子集的扫描方式(S150)。将所确定的扫描方式应用到所有的 子集。依据预测模式和帧内预测模式适应性地确定扫描方式。步骤S150可以 先于步骤S110执行或不关心步骤S110。
如果量化系数块的大小(即，变换单元的大小)大于第二参考大小，那 么可以对量化系数块应用锯齿扫描方式。例如，第二参考大小是8×8。因而， 在第一参考大小小于第二参考大小时执行步骤S150。
在帧间预测模式中，对每个子集仅能应用一种预定的扫描方式(例如， 锯齿扫描)。在帧内预测模式中，用与步骤S120相同的方式适应性地确定扫 描方式。
可以对子集中的量化系数逆向扫描。换言之，根据扫描模式，可以在从 子集中最后一个非零量化系数开始的反方向上扫描非零的量化系数并进行熵 编码。
下一步，根据扫描方式扫描每个子集的量化系数(S160)。在反方向上扫 描每个子集中的量化系数。即，根据扫描方式从最后一个非零系数到其他非 零系数扫描量化的变换系数，并进行熵编码。
可以应用锯齿扫描对子集进行扫描。可以在前向方向上从主子集开始到 剩余子集扫描子集，或可以在反向方向上扫描子集。可以将用于扫描子集的 扫描方式设定为与用于扫描子集中的量化系数的扫描方式相同。
根据本发明的运动图片编码装置100将能表示变换单元的最后一个非零 量化系数的位置的信息传送到解码器。运动图片编码装置100也将能表示每 个子集中的最后一个非零量化系数的位置的信息传送到解码器。
图3是示出根据本发明的运动图片解码装置的框图。
根据本发明的运动图片解码装置包括熵解码单元210、逆向扫描单元220、 逆向量化单元230、逆向变换单元240、帧内预测单元250、帧间预测单元260、 后处理单元270、图片存储单元280、加法器290以及帧内/帧间转换开关295。
熵解码单元210从接收的比特流中提取帧内预测信息、帧间预测信息以 及量化系数信息。熵解码单元210将帧间预测信息传送到帧间预测单元260， 将帧内预测信息传送到帧内预测单元250和逆向变换单元240，并且将逆向量 化系数信息传送到逆向扫描单元220。
逆向扫描单元220将量化系数信息转换为二维的量化变换块。在多个逆 向扫描方式中选取一个逆向扫描方式用于转换。基于预测模式和帧内预测模 式的至少一个选取逆向扫描方式。逆向扫描单元220的操作与图1中扫描单 元131的逆向操作相同。例如，如果被解码的当前变换单元的大小大于第一 参考大小，那么根据所选取的逆向扫描方式逆向扫描每个子集，并且使用被 逆向扫描的多个子集产生具有变换单元大小的逆向量化块。
逆向量化单元230确定当前编码单元的量化步长预测器。用于确定量化 步长预测器的操作与图1中量化单元130的步骤相同。逆向量化单元将所确 定的量化步长预测器和接收的残差量化步长相加，以产生当前编码单元的量 化步长。逆向量化单元230使用量化步长确定的量化矩阵复原逆向量化系数。 量化矩阵根据被复原的当前块的大小而变化。基于当前块的预测模式和帧内 预测模式的至少一个，可以对具有相同大小的块选用该量化矩阵。
逆向变换单元240将逆向量化块逆向变换，以复原残差块。根据预测模 式(帧内或帧间)和帧内预测模式适应性地确定被应用到逆向量化块的逆向 变换矩阵。逆向变换矩阵的确定步骤与图1的变换单元120中的步骤相同。
加法器290将由逆向变换单元240复原的复原残差块和由帧内预测单元 250或帧间预测单元260产生的预测块相加，以产生重构的图像块。
帧内预测单元250基于从熵解码单元210接收的帧内预测信息复原当前 块的帧内预测模式，并根据复原的帧内预测模式产生预测块。
帧间预测单元260基于从熵解码单元210接收的帧间预测信息复原参考 图片索引和运动向量，并使用参考图片索引和运动向量产生预测块。当应用 具有小数精度的运动补偿时，使用内插滤波器产生预测块。
后处理单元270的操作和图1的后处理单元160的操作相同。
图片存储单元280存储通过后处理单元270后处理的重构图像。
图4是示出根据本发明的运动图片编码单元100的帧内预测单元150的 框图。
参考图4，帧内预测单元150包括参考像素产生单元151、参考像素滤波 单元152、预测模式确定单元153、预测块产生单元154、预测块滤波单元155 以及预测模式编码单元156。
参考像素产生单元151确定是否需要为帧内预测产生参考像素，并在需 要产生参考像素时产生参考像素。
图5是示出根据本发明的用于帧内预测的参考像素的位置的原理图。如 图5所示，参考像素包括当前预测单元的上参考像素、左参考像素和角参考 像素。当前预测单元的上参考像素是在当前预测单元的两倍宽度上存在的像 素(区域C和D)，并且当前预测单元的左参考像素是在当前预测单元的两倍 高度上存在的像素(区域A和B)。
参考像素产生单元151确定参考像素是否可用。如果一个或多个参考像 素不可用，则参考像素产生单元151使用可用参考像素在不可用位置处产生 参考像素。
首先，将描述被编码的当前预测单元的上区域和左区域的任何一个中的 所有参考像素都不可用的情况。
例如，在当前预测单元位于图片或切片的上边界处时，当前预测单元的 上参考像素(区域C和D)和角参考像素不存在。在当前预测单元位于图片 或切片的左边界处时，左参考像素(区域A和B)和角参考像素不存在。在 这些情况下，通过拷贝最接近不可用像素的可用像素的值产生参考像素。即， 在当前预测单元位于图片或切片的上边界处时，可以通过拷贝最上方的左参 考像素(即，位于区域A的最上方位置中的参考像素)产生上参考像素。在 当前预测单元位于图片或切片的左边界处时，可以通过拷贝最左方的上参考 像素(即，位于区域C的最左方位置中的参考像素)产生左参考像素。缺省 应用上面提到的方法，但在必要时，该方法可以随每个序列、图片或切片而 改变。
下一步，将描述被编码的当前预测单元的上参考像素或左参考像素中的 某些参考像素不可用的情况。具有两种情况，其中：1)可用参考像素相对于 不可用参考像素仅在一个方向上存在，以及2)可用参考像素相对于不可用参 考像素在两个方向都存在。
将描述情况1)。
例如，在当前块位于图片、切片或LCU的右边界处时，参考像素覆盖区 域D不可用。并且，在当前块位于图片、切片或LCU的下边界处时，参考像 素覆盖区域B不可用。在这种情况下，通过拷贝最接近不可用像素的可用像 素的值来产生参考像素。并且，使用最接近该不可用像素的两个或更多个可 用像素产生参考像素。
将描述情况2)。
例如，在当前块位于切片的上边界处并且当前块的左上块可用时，参考 像素覆盖区域C不可用，但参考像素覆盖区域A和区域D的可用。在可用参 考像素因此在两个方向上都存在时，在每个方向上选取一个在最接近位置处 存在的可用参考像素，并使用选取的参考像素(即，区域A中最上方的参考 像素和区域D中最左方的参考像素)在不可用位置处产生参考像素。
可以产生通过舍入两个参考像素(在各自方向上的最接近位置处存在的 像素)的平均值获得的值，作为参考像素值。但是，当不可用参考像素区域 很大时，很可能在可用像素和所产生的像素间出现步差，因此使用线性插值 来产生参考像素很有用。特别地，考虑到相对于两个可用参考像素的位置， 可以在当前位置产生不可用参考像素。
下一步，将描述被编码的当前预测单元的上方和左方的所有参考像素都 不可用的情况。例如，在当前预测单元与图片或切片的左上边界相邻时，没 有可用的参考像素。
在这种情况下，可以使用两个或更多个在当前预测单元内存在的像素来 产生某些或全部参考像素。在当前预测单元内存在并用来产生参考像素的像 素的数量可以是二或三个。
图6是示出根据本发明的产生参考像素的过程的流程图。
参考图6，使用两个像素产生参考像素的过程如下。可使用当前预测单元 的左上像素○、右上像素□、左下像素△以及右下像素▽。在使用当前预测单元 的左上像素○和右上像素□时，将左上像素和右上像素拷贝到上边的对应位置， 并且右上像素和所拷贝的参考像素用于产生参考像素覆盖区域C。使用平均 或线性插值产生参考像素。通过拷贝右上像素□或通过使用多个已产生的上方 像素来产生参考像素覆盖D。在使用当前预测单元的左上像素○和左下像素△时，应用相同的方法。在使用左上像素○和右下像素▽时，在水平方向和垂直 方向上将右下像素▽拷贝到对应的参考像素位置，接下来用与上面的描述相同 的方式产生剩余的参考像素。
使用三个像素产生参考像素的过程如下。可使用当前预测单元的左上像 素○、右上像素□、左下像素△。将像素拷贝到对应的参考像素位置并接着使用 拷贝的像素产生剩余的参考像素。用与上面的描述相同的方式产生剩余的参 考像素。
同时，在使用上面描述的方法时，将用于产生参考像素的像素的值传送 到解码器。为最小化被传送的比特数，左上像素○的值、左上像素○的值与其 他像素的值的差。左上像素的值可以是量化的值或被熵编码。
在切片类型是帧内(Ι)时，使用两个或更多个像素产生参考像素更有 效。
将描述另外一种在被编码的当前预测单元的上方和左方的所有参考像素 都不可用时产生参考像素的方法。该方法在切片类型不是帧内(Ι)时也有 效。
首先，确定在与预先编码为当前块的参考图片中的当前预测单元的参考 像素的相同位置处是否存在像素。当存在像素时，拷贝在参考图片中的像素 以产生当前预测单元的参考像素。
在不存在像素时，确定在与当前预测单元的参考像素的最近位置处(1个 像素的距离)是否存在像素。当存在像素时，拷贝该像素并将其用作当前预 测单元的参考像素。
参考像素滤波单元152对当前预测单元的参考像素适应性地滤波。应用 低通滤波器来平滑参考像素间的像素值的差异。该低通滤波器可以是3抽头 滤波器[1,2,1]或5抽头滤波器[1,2,4,2,1]。
可以根据当前块的大小适应性地应用滤波器。如果当前块的大小等于或 小于预定大小，可以不应用所述滤波器。该预定大小可以是4×4。
也可以根据当前块的大小和帧内预测模式适应性地应用滤波器。
如果帧内预测模式是水平模式或垂直模式，那么使用一个参考像素产生 预测块的像素。因而，在水平模式和垂直模式中不应用滤波器。在DC模式中， 用参考像素的平均值产生预测像素。因此，由于预测像素不受参考像素之间 的差的影响，所以在DC模式中不应用滤波器。
在方向与水平或垂直方向成45°的帧内预测模式3、6或9中，无论预测 单元的大小是多少都会应用滤波器，并在当前块比最小预测单元大时也会应 用滤波器。可以对小于预定大小的预测单元应用第一滤波器，并且可以对大 小等于或大于预定大小的预测单元应用比第一滤波器更强的第二滤波器。预 定大小可以是16×16。
在除了垂直模式、水平模式、DC模式以及帧内预测模式3、6和9之外 的帧内预测模式中，可以根据当前预测单元的大小和帧内预测模式适应性地 应用滤波器。然而，在平面模式中，可以执行参考像素的滤波。
并且，可以不对通过线性组合产生的某些或全部像素应用滤波器。
预测块产生单元153产生与帧内预测模式对应的预测块。基于帧内预测 模式，使用参考像素或参考像素的线性组合产生预测块。用于产生预测块的 参考像素可以被参考像素滤波单元152滤波。
根据帧内预测模式，预测块滤波单元154适应性地将所产生的预测块滤 波，使得预测块与被编码的当前块之间的残差信号最小。参考像素和与参考 像素相邻的预测像素间的差随着帧内预测模式而变化。因而，对与参考像素 相邻的预测像素进行滤波使该差变小。
在DC模式中，预测块由参考像素的平均值组成，并且在与参考像素相邻 的预测块中的像素之间可能出现阶梯状差值。因而，使用参考像素对与参考 像素相邻的上边线和左边线的预测像素进行滤波。使用3抽头滤波器对与两 个参考像素(上参考像素和左参考像素)相邻的左上预测像素进行滤波。使 用2抽头滤波器对与一个参考像素相邻的其它预测像素(在预测块中的上边 线的像素和左边线的像素)进行滤波。
预测块滤波单元154可以集成到预测块产生单元153中。并且，可以产 生预测块以带来预测块滤波的效果。在这种情况下，通过使用产生操作和滤 波操作的组合产生预测块。
使用参考像素，帧内预测模式确定单元155确定当前预测单元的帧内预 测模式。帧内预测模式确定单元155选择一种将残差块的编码比特数最小化 的帧内预测模式作为当前预测单元的帧内预测模式。为了产生残余块，根据 每个帧内预测模式产生预测块。可以使用经过参考像素滤波单元滤波后的参 考像素产生预测块，或预测块可以是经过预测块滤波单元154滤波后的块。
预测块传送单元157将基于帧内预测模式由预测模式确定单元155产生 的预测块传送到减法器。
预测模式编码单元156对帧内预测模式确定单元155确定的当前预测单 元的帧内预测模式进行编码。帧内预测模式编码单元156可以集成到帧内预 测单元150或熵编码单元140。
预测模式编码单元156使用当前预测单元的上帧内预测模式和当前预测 单元的左帧内预测模式，对当前预测单元的帧内预测模式进行编码。
首先，推导出当前预测单元的上帧内预测模式和左帧内预测模式。在当 前预测单元存在多个上预测单元时，在预定的方向上(例如，从右到左)扫 描多个上预测单元，以确定第一个可用预测单元的帧内预测模式作为上帧内 预测模式。并且，在当前预测单元存在多个左预测单元时，在预定的方向上 (例如，从下到上)扫描多个左预测单元，以确定第一个可用预测单元的帧 内预测模式作为左帧内预测模式。可选地，在多个可用预测单元中，可以将 具有最小帧内预测模式数量的可用预测单元的帧内预测模式设定为上帧内预 测模式。
在上帧内预测模式或左帧内预测模式不可用时，可以将DC模式(模式2) 设定为上帧内预测模式或左帧内预测模式。在不存在对应的预测单元时，将 上帧内预测模式或左帧内预测模式看作不可用。
下一步，在上帧内预测模式数量或左帧内预测模式数量等于或大于当前 预测单元的允许帧内预测模式数量时，将上帧内预测模式或左帧内预测模式 转换为预定数量的帧内预测模式之一。预定数量可以根据当前预测单元的大 小改变。例如，在当前预测单元大小是4×4时，将帧内预测模式转换为九个 模式(模式0到模式8)中的一个，并且，在当前预测单元大小是64×64时， 将帧内预测模式映射到为三个模式(模式0到模式2)中的一个。帧内预测模 式可以转换为当前预测单元允许的帧内预测模式之一。
下一步，如果当前预测单元的帧内预测模式与上帧内预测模式和左帧内 预测模式中的任何一个相同，那么表示当前预测单元的帧内预测模式的一个 标志与上帧内预测模式和左帧内预测模式的任何一个相同，并且，将表示上 帧内预测模式和左帧内预测模式中的一个的标志传送到解码器。在这种情况 下，如果上帧内预测模式和左帧内预测模式相同，那么可以省略表示上帧内 预测模式和左帧内预测模式中的一个的标志。并且，如果上帧内预测模式和 左帧内预测模式的仅一个可用并且可用帧内预测模式与当前预测块的帧内预 测模式相同，则可以省略表示上帧内预测模式和左帧内预测模式中的一个的 标志。
但是，如果当前预测单元的帧内预测模式与上帧内预测模式和左帧内预 测模式中的任何一个都不相同，那么将当前预测单元的帧内预测模式数量与 上帧内预测模式数量或左帧内预测模式数量相比较。计算出左帧内预测模式 和上帧内预测模式的数量不大于当前预测单元的帧内预测模式的数量的情况 的数量，将从当前预测单元的帧内预测模式数量中减去该情况的数量得到的 值确定为要传送的当前预测单元的最终帧内预测模式数量。这里，当左帧内 预测模式和上帧内预测模式相同时，左帧内预测模式和上帧内预测模式被看 成一个。
根据上帧内预测模式与左帧内预测模式是否相同，确定用于对所确定的 最终帧内预测模式进行熵编码的表。
图7是示出根据本发明的运动图片解码装置200的帧内预测单元250的 框图。
根据本发明的帧内预测单元250包括预测模式解码单元251、参考像素产 生单元252、参考像素滤波单元253、预测块产生单元254、预测块滤波单元 255以及预测块传送单元256。
预测模式解码单元251按如下方式复原当前预测单元的帧内预测模式。
首先，预测模式解码单元251接收在附加信息载体中包括的用于产生预 测块的附加信息。附加信息包括预测标志和剩余的预测信息。预测标志表示 当前预测单元的帧内预测模式是否与相邻预测单元的帧内预测模式的一个相 同。剩余的预测信息包括以预测标志确定的信息。如果预测标志是1，那么剩 余的预测信息可以包括帧内预测模式候选的索引。帧内预测模式的索引指明 帧内预测模式候选。如果预测标志是0，那么剩余的信息可以包括剩余的帧内 预测模式数量。
推导出当前预测单元的帧内预测模式候选。使用相邻预测单元的帧内预 测模式推导出帧内预测模式候选。为方便起见，将描述当前预测块的帧内预 测模式候选限于上帧内预测模式和左帧内预测模式的情况。在有多个上预测 单元或多个左预测单元时，将上预测单元或左预测单元的帧内预测模式确定 为操作与在编码装置100的帧内预测编码单元156中描述的操作相同。并且， 在可用的帧内预测模式候选的模式数量等于或大于当前预测单元允许的帧内 预测模式数量时，如同在帧内预测编码模块156中描述的，将可用的帧内预 测模式候选的模式转换为当前预测单元允许的一个模式。
下一步，当接收的预测标志表示当前预测单元与一个相邻预测单元具有 相同帧内预测模式并且有预测模式候选索引时，那么将预测模式候选索引表 示的预测模式确定为当前预测单元的帧内预测模式。
如果接收的预测标志表示当前预测单元与一个相邻预测单元具有相同帧 内预测模式，但没有预测模式候选索引和相邻预测单元的一个可用的帧内预 测模式，那么将可用帧内预测模式复原为当前预测单元的帧内预测模式。
如果接收的预测标志表示当前预测单元与相邻预测单元均不具有相同帧 内预测模式，那么通过比较所接收的剩余帧内预测模式值和可用的帧内预测 模式候选的帧内预测模式数量，以复原当前预测单元的帧内预测模式。
参考像素产生单元252使用与在编码装置100的参考像素产生单元151 中描述方法相同的方法产生参考像素。但是，参考像素产生单元252和编码 庄主100的参考像素产生器151不同的是：它根据由预测模式解码器251复 原的帧内预测模式适应性地产生参考像素。即，仅在用于产生预测块和由帧 内预测模式确定时的参考像素不可用时，参考像素产生单元252可以产生参 考像素。
基于由预测解码单元251复原的帧内预测模式和预测块的大小，参考像 素滤波单元253对参考像素适应性地滤波。滤波条件和滤波器与编码装置100 的参考像素滤波单元152的滤波条件和滤波器相同。
预测块产生单元254根据由预测模式解码单元251复原的帧内预测模式， 使用参考像素产生预测块。
预测块滤波单元255根据由预测模式解码单元251复原的帧内预测模式， 对预测块适应性地滤波。滤波操作与编码装置100的预测块滤波单元154的 滤波操作相同。
预测块传送单元256将从预测块产生器254或预测块滤波单元255接收 的预测块传送到加法器290。