用于高分辨率运动图像的编码方法和设备.pdf

用于高分辨率运动图像的编码方法和设备。一种视频编码方法包括以下步骤：将输入的视频划分成具有各种形状或尺寸的多个宏块；对宏块进行编码；以及生成指示所述宏块中的每一个宏块的形状或尺寸的宏块信息。根据所述视频编码/解码方法和设备，不仅编码效率能够因为本发明使得能够利用出现在视频中的时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够通过减少块失真而被提高。

权利要求书1.  一种视频编码方法，该视频编码方法包括以下步骤： 将输入的视频划分成具有各种形状或尺寸的多个宏块； 对宏块进行编码；以及 生成指示所述宏块中的每一个宏块的形状或尺寸的宏块信息。 2.  根据权利要求1所述的视频编码方法，其中，对所述宏块进行编码的步骤包 括以下步骤： 将所述宏块划分成一个或更多个子块；以及 生成指示所述宏块被帧内预测还是帧间预测的预测模式信息以及指示所述子块 中的每一个子块的尺寸的宏块划分信息。 3.  根据权利要求2所述的视频编码方法，其中，当所述宏块被帧内预测时，对 所述宏块进行编码的步骤包括以下步骤： 获得表示所述子块中的每一个子块与所述子块中的每一个子块的预测子块之间 的差的残留块； 对所述残留块进行变换并且对变换的残留块进行量化；以及 对所变换和量化的残留块的变换系数进行扫描。 4.  根据权利要求3所述的视频编码方法，其中，对所述宏块进行编码的步骤包 括以下步骤： 预测所述子块中的每一个子块以获取所述预测子块； 获取表示所述子块中的每一个子块与所述子块中的每一个子块的所述预测子块 之间的差的所述残留块； 基于所述宏块中的每一个宏块的尺寸、所述预测模式以及所述子块中的每一个子 块的尺寸中的至少一个来确定变换类型； 根据所确定的变换类型对所述残留块进行变换；以及 对所变换的残留块进行量化。 5.  根据权利要求4所述的视频编码方法，其中，对所述宏块中的每一个进行编 码的步骤还包括以下步骤： 对指示所确定的变换类型的信息进行编码。 6.  根据权利要求5所述的视频编码方法，其中， 指示所述变换类型的所述信息包括所述变换的尺寸或种类。 7.  根据权利要求1所述的视频编码方法，其中，所述多个宏块中的每一个宏块 具有水平边的长度与垂直边的长度不同的矩形形状。 8.  根据权利要求4所述的视频编码方法，其中，确定所述变换类型的步骤包括 以下步骤： 当所述预测模式是帧内预测模式时，将所述变换的尺寸确定为与所述预测子块的 尺寸相同。 9.  根据权利要求4所述的视频编码方法，其中，对所述残留块进行变换的步骤 包括以下步骤： 当所述残留块的尺寸小于所确定的变换的尺寸时，将多个残留块相互组合以生成 尺寸等于所述变换的尺寸的组合残留块，并接着对所述组合残留块进行变换。 10.  根据权利要求3所述的视频编码方法，其中，利用与多个帧内预测模式当中 的、用于预测所述子块中的每一个子块的帧内预测模式对应的扫描图案对所变换和量 化的残留块的所述变换系数进行扫描。 11.  根据权利要求10所述的视频编码方法，其中，当所变换和量化的残留块具 有4×4的块尺寸时，利用与所述帧内预测模式相对应的所述扫描图案对所变换和量 化的残留块的所述变换系数进行扫描。 12.  一种视频编码设备，该视频编码设备包括： 宏块类型确定器，该宏块类型确定器用于将输入的视频划分成具有各种形状或尺 寸的多个宏块；以及 宏块编码器，该宏块编码器用于对宏块进行编码，并且该宏块编码器对指示所述 宏块中的每一个宏块的形状或尺寸的宏块信息进行编码。 13.  根据权利要求12所述的视频编码设备，其中，所述宏块编码器被配置成执 行以下操作： 将所述宏块划分成一个或更多个子块；以及 生成指示所述宏块被帧内预测还是帧间预测的预测模式信息和指示所述子块中 的每一个子块的尺寸的宏块划分信息。 14.  根据权利要求13所述的视频编码设备，其中，所述宏块编码器被配置成在 所述宏块被帧内预测时执行以下操作： 获得表示所述子块中的每一个子块与所述子块中的每一个子块的预测子块之间 的差的残留块； 对所述残留块进行变换并且对变换的残留块进行量化；以及 对变换和量化的残留块的变换系数进行扫描。 15.  根据权利要求14所述的视频编码设备，其中，所述宏块编码器被配置成执 行以下操作： 基于所述宏块中的每一个宏块的尺寸、所述预测模式以及所述子块中的每一个子 块的尺寸中的至少一个来确定变换类型； 根据所确定的变换类型对所述残留块进行变换；以及 对所变换的残留块进行量化。 16.  根据权利要求14所述的视频编码设备，其中，所述宏块编码器利用与多个 帧内预测模式当中的、用于预测所述子块中的每一个子块的帧内预测模式对应的扫描 图案对所变换和量化的残留块的所述变换系数进行扫描。 17.  根据权利要求16所述的视频编码设备，其中，当所变换和量化的残留块具 有4×4的块尺寸时，所述宏块编码器利用与所述帧内预测模式相对应的所述扫描图 案对所变换和量化的残留块的所述变换系数进行扫描。

说明书用于高分辨率运动图像的编码方法和设备
本申请是原案申请号为201080051482.3的发明专利申请(国际申请号： PCT/KR2010/006017，申请日：2010年9月3日，发明名称：用于高分辨率运动图像 的编码/解码方法和装置)的分案申请。
技术领域
本发明涉及高分辨率视频编码/解码方法和设备。更具体地说，本发明涉及用于 通过以各种类型的块为单位执行编码和解码并根据适合于对应的编码和解码的块类 型执行变换、量化、扫描和滤波，来改进编码效率的方法和设备。
背景技术
运动图像专家组(MPEG)和视频编码专家组(VCEG)已经在现有的MPEG-4 第2部分和H.263标准上开发出了经改进的且优良的视频压缩技术。新标准被称作 H.264/AVC(高级视频编码)并同时发行作为MPEG-4第10部分AVC和ITU-T建议 H.264。H.264/AVC(下文称为“H.264”)可以通过执行以下步骤来减少经编码的数据 的比特数：以各自具有各种类型的子块(subblock)的宏块(macroblock)为单位执 行帧内(intra)预测/帧间(inter)预测以生成残留信号，对所生成的残留信号进行变 换和量化，以及接着对所变换和量化的残留信号进行编码。
采用以宏块为单位的典型编码方法的视频编码设备将输入的视频划分成宏块，针 对各个宏块，根据帧间模式或帧内模式以该宏块可能具有的子块尺寸执行预测以生成 残留块，向所生成的残留块应用基于4×4或8×8离散余弦变换(DCT)的整数变换 以生成变换系数，以及根据指定的量化参数(QP)对该变换系数进行量化。通过环 路滤波来减少因变换和量化处理而造成的块(blocking)效应。
因为诸如H.264的典型视频压缩技术以要被编码的视频被划分成的16×16宏块为 单位执行编码，并且还以4×4或8×8的块尺寸来固定变换的单位，所以存在以下问 题：当视频在像素之间具有高相关性时，编码效率降低。也就是说，当视频的像素之 间存在高相关性时，可以以大于尺寸为16×16的宏块的宏块为单位或者以各种类型的 宏块为单位来有效地执行预测，进而还可以有效地使用除4×4块尺寸或8×8块尺寸 以外的各种变换块尺寸作为变换的单位，但是典型的视频压缩技术因为宏块尺寸和变 换块尺寸固定而不能根据视频的特征执行自适应编码，这造成了编码效率降低的问 题。
发明内容
技术问题
因此，本发明致力于上述问题，并且本发明提出通过以适合于高分辨率视频的各 种类型的宏块为单位执行编码，并且对应地执行各种类型的预测、变换和量化、扫描、 滤波等来改进压缩效率。
技术解决方案
本发明的一方面提供了一种视频编码方法，该视频编码方法包括以下步骤：将输 入的视频划分成具有各种形状或尺寸的多个宏块；对所述多个宏块中的每一个宏块进 行编码；以及生成指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息。
对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：将所述多个 宏块中的每一个宏块划分成多个子块；针对所述多个子块中的每一个子块执行预测编 码；以及生成指示针对所述多个子块中的每一个子块的预测模式的预测模式信息和指 示所述多个子块中的每一个子块的尺寸的宏块划分信息。
对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：预测所述多 个子块中的每一个子块以获取预测子块；获取表示所述多个子块中的每一个子块与所 述多个子块中的每一个子块的预测子块之间的差的残留块；基于所述多个宏块中的每 一个宏块的尺寸、所述预测模式以及所述多个子块中的每一个子块的尺寸中的至少一 个来确定变换类型；根据所确定的变换类型来对所述残留块进行变换；以及对所变换 的残留块进行量化。
对所述多个宏块中的每一个宏块进行编码的步骤还可以包括以下步骤：对指示所 确定的变换类型的信息进行编码。
指示所述变换类型的所述信息可以包括所述变换尺寸或种类。
所述多个宏块中的每一个宏块可以具有水平边的长度与垂直边的长度不同的矩 形形状。
确定所述变换类型的步骤可以包括以下步骤：当所述预测模式是帧内预测模式 时，将所述变换尺寸确定为与所述预测子块的尺寸相同。
对所述残留块进行变换的步骤可以包括以下步骤：当所述残留块的尺寸小于所确 定的变换尺寸时，将多个残留块相互组合以生成具有等于所述变换尺寸的尺寸的组合 残留块，并接着对所述组合残留块进行变换。
对所述多个宏块中的每一个宏块进行编码的步骤可以包括以下步骤：利用根据所 述预测模式选择的扫描图案来对所变换和量化的残留块的系数进行扫描。
对所述系数进行扫描的步骤可以包括以下步骤：当所述预测模式是帧内预测模式 时，利用与多个帧内预测模式当中的、用于预测所述多个子块中的每一个子块的帧内 预测模式对应的扫描图案来对所变换和量化的残留块的所述系数进行扫描。
对所述系数进行扫描的步骤可以包括以下步骤：当所述预测模式是帧间预测模式 时，利用根据针对所变换和量化的残留块的所述变换类型选择的扫描图案来对所变换 和量化的残留块的所述系数进行扫描。
本发明的另一方面提供了一种视频编码设备，该视频编码设备包括：宏块类型确 定器，该宏块类型确定器用于将输入的视频划分成具有不同的形状或尺寸的多个宏 块；以及宏块编码器，该宏块编码器用于对所述多个宏块中的每一个宏块进行编码， 并对指示所述多个宏块中的每一个宏块的形状或尺寸的宏块信息进行编码。
本发明的又一方面提供了一种视频解码方法，该视频解码方法包括以下步骤：接 收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并对所述多个宏块中 的每一个宏块进行编码而获取的视频数据；对指示所述多个宏块中的每一个宏块的形 状或尺寸的宏块信息进行解码；以及基于所述宏块信息对所述多个宏块中的每一个宏 块进行解码。
对所述多个宏块中的每一个宏块进行解码的步骤可以包括以下步骤：当所述多个 宏块中的每一个宏块被划分成多个子块时，对指示所述多个子块中的每一个子块的尺 寸的宏块划分信息和指示针对所述多个子块中的每一个子块的预测模式的预测模式 信息进行解码；以及基于所述宏块划分信息和所述预测模式信息来获取所述多个子块 中的每一个子块的预测子块。
对所述多个宏块中的每一个宏块进行解码的步骤可以包括以下步骤：基于所述多 个宏块中的每一个宏块的尺寸、所述预测模式以及所述多个子块中的每一个子块的尺 寸中的至少一个来确定逆变换类型；根据所确定的逆变换类型来对残留块进行逆量化 和逆变换，以获取经逆量化和逆变换的残留块；以及将所逆量化和逆变换的残留块与 所述预测子块相加，以获取重建块。
确定所述逆变换类型的步骤可以包括以下步骤：基于指示所述逆变换类型的信息 来确定所述逆变换类型。
指示所述逆变换类型的所述信息可以包括所述逆变换尺寸或种类。
所述多个宏块中的每一个宏块可以具有水平边的长度与垂直边的长度不同的矩 形形状。
确定所述逆变换类型的步骤可以包括以下步骤：当所述预测模式是帧内预测模式 时，将所述逆变换尺寸确定为与所述多个子块中的每一个子块的尺寸相同。
对所述多个宏块中的每一个宏块进行解码的步骤还可以包括以下步骤：当所述预 测子块的尺寸小于所确定的逆变换尺寸时，将所逆量化和逆变换的残留块划分成多个 残留子块，该多个残留子块各自具有等于所述预测子块的尺寸的尺寸；以及将所述多 个残留子块中的每一个残留子块与所述预测子块相加，以获取重建块。
对所述多个宏块中的每一个宏块进行解码的步骤还可以包括以下步骤：对经变换 和量化的残留块的系数串进行扫描，以获取经二维变换和量化的残留块，其中，对所 述系数串的扫描根据所述预测模式来选择。
对所述系数串进行扫描的步骤可以包括以下步骤：当所述预测模式是帧内预测模 式时，利用与多个帧内预测模式当中的、用于预测所述多个子块中的每一个子块的帧 内预测模式对应的扫描图案来对所变换和量化的残留块的所述系数串进行扫描。
对所述系数串进行扫描的步骤可以包括以下步骤：当所述预测模式是帧间预测模 式时，利用根据所述逆变换类型选择的扫描图案来对所变换和量化的残留块的所述系 数串进行扫描。
本发明的又一方面提供了一种视频解码设备，该视频解码设备包括：解码器，该 解码器用于接收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并对所 述多个宏块中的每一个宏块进行编码而获取的视频数据，并且该解码器对指示所述多 个宏块中的每一个宏块的形状或尺寸的宏块信息进行解码；以及逆量化器和逆变换 器，该逆量化器和逆变换器用于基于所述宏块信息来对所述多个宏块中的每一个宏块 进行逆量化和逆变换。
有利效果
根据上述的本发明，不仅编码效率能够因为本发明使得能够利用出现在视频中的 时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够通 过减少块失真而被提高。而且，可以减少执行滤波的次数，这使得可以降低视频编码 和解码设备的实现复杂性。
附图说明
图1是例示根据本发明的一方面的视频编码设备的结构的示意性框图；
图2至图4是例示根据用于典型视频编码的宏块类型的帧内预测模式的视图；
图5是例示根据用于典型视频编码的宏块类型的帧间预测模式的视图；
图6是例示根据本发明的一方面的尺寸为M×N的宏块的视图；
图7是例示根据本发明的一方面的尺寸为M×N的宏块可以具有的各种类型的子 宏块的视图；
图8是例示根据本发明的一方面的用于8×4变换的MF的视图；
图9是用于说明根据本发明的一方面的在应用各种变换和量化类型的情况下进 行滤波的视图；
图10是用于说明根据本发明的一方面的横跨块边界执行去块(deblocking)滤波 的处理的视图；
图11是用于说明根据本发明的一方面的执行去振铃(deringing)滤波的处理的 视图；
图12是例示根据本发明的一方面的依照变换和量化类型的扫描序列的视图；
图13至图18是用于说明根据本发明的一方面的依照变换和量化类型来应用 CAVLC的方法的视图；
图19是用于说明根据本发明的一方面的视频编码方法的流程图；
图20是根据本发明的一方面的视频解码设备的示意性框图；
图21是用于说明根据本发明的一方面的视频解码方法的流程图；
图22是例示根据本发明的一方面的64×64宏块被划分成的各种子块的视图；以 及
图23是例示根据本发明的一方面的依照帧内预测模式的针对帧内4×4块的系数 的扫描图案的视图。
具体实施方式
下文将参照附图详细描述本发明的方面。在以下描述中，尽管在不同的附图中示 出，但是用相同的附图标记来表示相同的元件。此外，在本发明的以下描述中，当对 并入本文的公知功能和构造的详细描述使得本发明的主题不清晰时，将省略这些详细 描述。
另外，在描述本发明的组件时，可以存在诸如第一、第二、A、B、(a)和(b) 的术语。这些术语仅出于将一个组件与其它组件相区分的目的而不暗示或意指这些组 件的实质、顺序或次序。如果将组件描述为“连接”、“耦接”或“链接”到其它组件，则 这些组件不仅可以直接“连接”、“耦接”或“链接”到其它组件而且可以经由第三组件间 接地“连接”、“耦接”或“链接”到其它组件。
图1示意性地例示了根据本发明的一方面的视频编码设备的结构。
根据本发明的一方面的视频编码设备100是用于对视频进行编码的设备，并且可 以包括：预测器110、减法器120、变换器和量化器130、扫描器140、编码器150、 逆量化器和逆变换器160、加法器170、滤波器180以及宏块类型确定器190。该视 频编码设备100可以是个人计算机或PC、笔记本计算机或膝上型计算机、个人数字 助理或PDA、便携式多媒体播放器或PMP、便携式游戏机或PSP或移动通信终端、 智能电话等装置，并且表示配备有例如用于在各种装置或有线/无线通信网络之间执 行通信的诸如调制解调器的通信装置、用于存储用于对视频和相关数据进行编码的各 种程序的存储器以及用于执行这些程序以实现操作和控制的微处理器的各种设备。
可以将诸如帧或切片(slice)的要被编码的输入视频划分成用于编码的单位块。 在本发明中，用于编码或解码的各个单位块被称为宏块。根据本发明的一方面，该宏 块可以具有M×N的可变尺寸。这里，M和N中的每一个可以是值为2n的整数(其 中，n是等于或大于1的整数)，并且具体地说，可以是大于或等于16的整数。根据 本发明的宏块与常规宏块的不同之处在于，根据本发明的宏块可以具有可变的形状或 尺寸。
另外，根据本发明，具有不同的形状或尺寸的宏块可以用于要被编码的每一个输 入视频，诸如帧或切片。而且，可以将要被编码或解码的一个输入视频(诸如帧或切 片)划分成具有不同的形状或尺寸的多个宏块，这些宏块依次被编码或解码。对指示 各个宏块的形状或尺寸的宏块信息进行编码，并且将所编码的宏块信息包括在图片 头、切片头或宏块头中。当视频解码设备对经编码的数据进行解码时，该视频解码设 备可以利用该宏块信息来确定要解码的宏块的类型。使用什么类型的块可以通过选择 在利用各种类型的块来执行视频编码时产生最优效率的块类型，或者根据通过分析帧 的特性而获取的特征选择块类型来确定。例如，如果帧视频具有高空间冗余，则可以 将大于常规的固定16×16宏块的方形宏块(诸如32×32宏块或64×64宏块)选择为 编码的单位。另选的是，如果帧视频具有高水平相关性或垂直相关性，则可以选择具 有水平长形状或垂直长形状的宏块。为此，视频编码设备100可以包括宏块类型确定 器190，该宏块类型确定器190用于确定宏块类型，将诸如帧或切片的要编码的输入 视频划分成各自具有所确定的形状或尺寸的多个宏块，对针对宏块类型的宏块信息进 行编码，以及将所编码的宏块信息包括在经编码的数据中。
如图1所示，作为本发明的组件的宏块编码器100a可以包括预测器110、减法 器120、变换器和量化器130、扫描器140、编码器150、逆量化器和逆变换器160、 加法器170以及滤波器180。宏块编码器100a对各个宏块进行编码，并且对指示各 个宏块的形状或尺寸的宏块信息进行编码。
预测器110利用其它先前经解码的像素值来预测要被编码的当前块，以生成当前 块的预测块。也就是说，预测器110利用帧内预测、帧间预测等来预测当前块，以生 成以预测像素值作为各个像素的像素值的预测块。
要预测的当前块可以是宏块，并且如果需要，还可以是通过划分宏块所获取的子 块，以便优化预测像素值。也就是说，还可以将作为编码的单位的宏块划分成各自具 有比该宏块小的尺寸的多个预测单位。结果，可以以从宏块划分的子块为单位来生成 预测块。这里，宏块可以是具有方形或矩形形状的M×N块，子块可以是分别具有在 不超出宏块尺寸的范围内的2n的水平尺寸和垂直尺寸的P×Q块。
预测器110生成指示子块的类型(即，子块类型)的信息，并将所生成的信息提 供给编码器150。编码器150对指示子块类型的信息进行编码，并将所编码的信息提 供给视频解码设备。子块类型包括子块预测模式和子块尺寸。子块可以根据子块预测 模式而被分类成帧内子块和帧间子块。帧内子块还可以根据子块尺寸而被分类成帧内 4×4块、帧内8×8块、帧内16×16块等。另外，帧内子块可以被分类成各种帧内子块， 诸如帧内32×32块和帧内16×32块。帧间子块可以被分类成帧间4×4块、帧间8×4 块、帧间4×8块、帧间8×8块、帧间8×16块、帧间16×8块、帧间16×16块等。另 外，帧间子块可以被分类成各种帧间子块，诸如帧间32×16块、帧间16×32块以及 帧间32×32块。
根据本发明的一方面，视频编码设备可以生成指示针对各个子块的预测模式的预 测模式信息并且将所生成的预测模式信息包括在比特流中。该预测模式可以包括帧内 预测模式、帧间预测模式、跳跃模式以及直接模式。
而且，当为了预测而将作为编码单位的宏块划分成多个子块时，根据本发明的视 频编码设备可以生成指示宏块被划分成的子块的形状或尺寸的宏块划分信息，并将所 生成的宏块划分信息发送至视频解码设备。宏块划分信息可以根据怎样划分宏块来按 照各种方式实现。根据本发明的一方面，宏块划分信息可以包括宏块内的各个子块的 起始位置和尺寸。在这种情况下，可以进行灵活的块划分，但是增加了要发送的数据 量。根据本发明的另一方面，宏块划分信息可以通过指示划分类型的、具有一个或更 多个比特的标记来实现。该标记所具有的相应值限定不同的块划分方案。例如，如果 该标记的值为“0”，则该标记指示块未被划分。而且，如果该标记的值为“1”，则该标 记指示块被划分成四个尺寸相等的子块。当存在三个或更多个划分类型时，各个划分 类型可以通过具有两个或更多个比特的标记来指示。
如上所述，预测模式信息和宏块划分信息可以由独立的语法元素来实现，并且还 可以同时由一个语法元素来表达。因为常规的H.264标准将宏块的尺寸固定为按照 16×16进行编码和解码的单位，所以针对对应宏块的预测模式和用于预测该宏块的划 分模式可以仅由针对各个宏块生成的一个语法元素“mb_type”来指示。然而，在本发 明中，因为宏块的尺寸或形状是可变的，所以视频编码设备可以生成预测模式信息和 宏块划分信息以及指示宏块的尺寸或形状的宏块信息，并将它们提供给视频解码设 备。
减法器120通过从当前块中减去预测块来生成残留块。也就是说，减法器120 计算当前块的各个像素的原始像素值与预测块的各个像素的预测像素值之间的差，以 生成具有残留信号的残留块。
变换器和量化器130根据要被编码的当前宏块的形状和尺寸、当前宏块或子块的 块类型等来确定变换和量化类型，并且根据所确定的变换和量化类型来对残留块进行 变换和量化。更具体地说，变换器和量化器130将残留块的残留信号变换到频域中， 以生成具有变换系数的经变换的残留块，并且对所变换的残留块进行量化，以生成具 有经量化的变换系数的经变换和量化的残留块。
当变换器和量化器130对残留块进行变换和量化时，因为变换处理被包括在量化 处理中，所以在量化完成之前，变换没有完成。这里，用于将空间域中的视频信号变 换到频域中的技术(诸如，基于哈达玛(Hadamard)变换和离散余弦变换(DCT) 的整数变换(下文简称为“整数变换”))可以被用作该变换方法，而诸如死区一致性 阈值量化(下文称为“DZUTQ”)和量化加权矩阵的各种量化技术可以被用作该量化 方法。
而且，像块尺寸为P×Q的变换和量化的各种变换和量化类型可以在不超出当前 宏块的尺寸的范围内。这里，块尺寸为P×Q的变换和量化可以与具有当前尺寸为M×N 的宏块可能具有的(除了块尺寸为4×4的典型变换和量化以及块尺寸为8×8的变换 和量化以外的)子块尺寸的变换和量化对应。
而且，变换器和量化器130可以基于根据针对当前宏块或子块的预测模式和/或 子块的尺寸(即，作为预测单位的子块)确定的变换和量化类型，来对残留块进行变 换和量化。对此，当当前块是帧内块类型时，变换和量化类型可以被确定成与帧内块 类型的块尺寸相同。而且，当当前块是帧间块类型时，可以利用编码成本从多个变换 和量化类型当中确定一个变换和量化类型。这里，所述多个变换和量化类型不仅可以 是具有与子块的块尺寸相同的尺寸的变换和量化类型，而且可以是具有各种块尺寸的 变换和量化类型。以下对由变换器和量化器130对残留块进行变换和量化的处理进行 详细描述。
扫描器140对从变换器和量化器130输出的所变换和量化的残留块的经量化的变 换系数进行扫描，以生成经量化的变换系数串。对此，考虑变换技术、量化技术以及 块(宏块或子块)的特性来确定扫描方法，并且确定扫描序列，以使得所扫描的量化 变换系数串具有最小长度。而且，该扫描方法可以根据帧内块和帧间块来改变。以下 对帧内块和帧间块的细节进行描述。虽然如图1中独立实现的，示出和描述了扫描器 140，但是扫描器140可以省略并且其功能可以并入编码器150中。
编码器150对所变换和量化的残留块进行编码，以生成经编码的数据。也就是说， 编码器150对由对从变换器和量化器130输出的所变换和量化的残留块的所量化的变 换系数进行扫描而得到的所量化的变换系数串进行编码，以生成经编码的数据，或者 对由在扫描器140中进行扫描而得到的所量化的变换系数串进行编码，以生成经编码 的数据。
熵编码可以被用作该编码技术，但是各种其它无限制的编码技术也是可用的。而 且，从编码器150输出的经编码的数据不仅可以包括由对所量化的变换系数串进行编 码而得到的比特流，而且可以包括对所编码的比特流进行解码所需的各种信息。这里， 对所编码的比特流进行解码所需的各种信息可以是上述信息，即，指示作为编码单位 的宏块的尺寸或形状的宏块信息、预测模式信息、在为了预测而将宏块划分成多个子 块的情况下的指示子块(即，作为预测单位的块)的划分方案或尺寸的宏块划分信息、 针对预测模式是帧间预测模式的情况下的运动向量的信息、针对变换和量化类型的信 息等，但是还可以是各种其它信息。
逆量化器和逆变换器160对从变换器和量化器130输出的所变换和量化的残留块 进行逆量化和逆变换，以重建残留块。逆量化和逆变换可以通过逆向执行由变换器和 量化器130执行的变换和量化处理来实现。也就是说，逆量化器和逆变换器160可以 利用从变换器和量化器130传送的变换和量化信息(例如，针对变换和量化类型的信 息)来执行逆量化和逆变换，以逆向执行由变换器和量化器130对残留块进行变换和 量化的处理。
加法器170将从逆量化器和逆变换器160输出的所逆量化和逆变换的残留块与从 预测器110输出的预测块相加，以重建当前块。
滤波器180对由加法器170重建的当前块进行滤波。对此，滤波器180减少因以 块为单位对视频进行变换和量化而在视频的块边界处出现的块效应以及因高频损失 而造成的环绕视频的边缘出现的振铃(ringing)噪声。这里，去块滤波器和去振铃滤 波器可以分别用于减少块效应和振铃噪声，而且可以选择性地采用以下方式之一：利 用去块滤波器和去振铃滤波器这两者来进行滤波、利用去块滤波器或者利用去振铃滤 波器来进行滤波以及不利用去块滤波器和去振铃滤波器中的任一个来进行滤波。而 且，可以选择性地采用以下方式之一：在子块之间的边界处和宏块之间的边界处应用 去块滤波以及仅在宏块之间的边界处应用去块滤波。
在典型的视频编码中，用于视频编码的宏块类型是具有16×16个像素的方形宏 块，并且可以通过针对各个宏块执行帧内预测和帧间预测中的至少一种来生成预测 块。广泛使用以宏块为单位的视频编码的原因在于：其使得能够考虑视频的区域特征 来进行有效编码。而且，因为各种帧内预测或帧间预测方法被用于生成预测块，所以 视频的编码效率很高。
图2至图4例示了根据用于典型视频编码的宏块类型的帧内预测模式。
图2例示了在宏块类型是帧内4×4宏块的情况下的九种帧内预测模式，图3例示 了在宏块类型是帧内8×8宏块的情况下的九种帧内预测模式，并且图4例示了在宏块 类型是帧内16×16宏块的情况下的四种帧内预测模式。
当宏块类型是帧内块类型时，利用帧内预测来预测要编码的宏块。该帧内块类型 被再划分成帧内4×4宏块、帧内8×8宏块、帧内16×16宏块等。针对各个帧内块类 型，根据图2至图4所示的预测模式，利用先前编码、解码和重建的相邻块的相邻像 素来预测宏块。
图5例示了根据用于典型视频编码的宏块类型的帧间预测模式。
当宏块类型是帧间块类型时，利用帧间预测来预测要编码的宏块。在这种情况下， 如图5所示，通过利用先前编码、解码和重建的帧，针对宏块以块尺寸16×16、16×8、 8×16或8×8执行预测来生成预测块。当针对宏块以块尺寸8×8执行预测时，通过针 对各个8×8块以块尺寸8×8、8×4、4×8或4×4执行预测来生成预测块。
然而，当如典型视频编码中的，以各自具有块尺寸16×16的宏块为单位对高分辨 率视频进行编码时，不能利用像素之间的高相关性(这是高分辨率视频的特性)来有 效地执行编码。这是因为尽管以各自具有M×N的扩展块尺寸的宏块为单位所生成的 预测块的预测准确度与以各自具有16×16的典型块尺寸的宏块为单位所生成的预测 块的预测准确度相似，但是增加了在以16×16宏块为单位对视频进行编码的情况下的 要编码的宏块的数量，进而降低了编码效率。
而且，在典型的视频编码中使用按照块尺寸4×4或8×8的基于DCT的整数变换。 该整数变换在编码效率和复杂性方面具有优点，因为其不针对实数执行运算(这是 DCT中涉及的缺点)，而是在尽可能多地保持DCT的特性的同时仅针对整数执行运 算。因以块为单位的变换而造成的块效应和振铃噪声可以利用滤波来最小化。
然而，针对视频编码设备100而言更有效的是，利用按照块尺寸P×Q的各种类 型的变换和量化而不是仅利用按照典型的4×4或8×8块尺寸的变换和量化，来对高 分辨率视频进行编码。这是因为在对具有高相关性的像素聚类在一起的宽区域进行编 码的情况下，仅利用按照4×4或8×8块尺寸的变换和量化导致高频分量的显著块效 应和损失。
相反，如果按照块尺寸P×Q的各种类型的变换和量化可用于执行变换和量化， 则因为与在仅使用按照典型块尺寸的变换和量化时相比减少了高频分量的损失，所以 可以减少块效应，并且还可以减少振铃噪声。由此，还减少了滤波操作的次数，这使 得可以降低滤波操作的复杂性，该滤波操作的复杂性主要贡献于视频编码设备100 和下面要描述的视频解码设备的实现复杂性。而且，因为使用按照块尺寸P×Q的各 种类型的变换和量化，所以作为编码效率提高的结果，扫描器140可以按照适合于变 换和量化块尺寸的方式对由变换器和量化器130得到的经量化的变换系数进行扫描。
因此，在本发明的一方面中，与以各自具有块尺寸16×16的宏块为单位对视频进 行编码的典型视频编码相比，通过以各自具有扩展块尺寸M×N的宏块为单位执行预 测来生成残留块。另外，不是仅4×4或8×8的块尺寸被用作变换和量化块尺寸，而 是按照块尺寸P×Q的各种变换和量化被用于执行变换和量化，并且执行适合于变换 和量化块尺寸的滤波和扫描。
图6例示了根据本发明的一方面的尺寸为M×N的宏块。
根据本发明的一方面，可以按照各种类型的宏块(包括尺寸为64×64、128×128 和64×128的宏块以及如图6所示的尺寸为32×32和32×16的宏块)为单位对视频进 行编码。如图6所示，尺寸为M×N的宏块不仅可以具有方形形状，而且可以具有矩 形形状。
图7例示了根据本发明的一方面的尺寸为M×N的宏块可能具有的各种类型的子 宏块。
图7示出了块尺寸为32×16的宏块可以具有的子宏块的块尺寸的示例。当利用这 些子宏块预测宏块时，可以生成更类似于原始宏块的预测块，进而可以进一步提高编 码效率。对此，确定尺寸为M×N的宏块的尺寸的M和N可以分别按照2n来确定， 并且确定尺寸为J×K的子宏块的尺寸的J和K分别具有在不超出M和N的范围内的 值2n。
变换器和量化器130根据变换和量化类型来对残留块进行变换和量化，以将残留 块的残留信号变换成变换系数，并通过对这些变换系数进行量化来生成经量化的变换 系数。对此，变换器和量化器130可以考虑要被编码的当前宏块的形状或尺寸来确定 用于变换和量化的变换和量化块尺寸。也就是说，作为变换和量化的单位的块的尺寸 或变换和量化块尺寸等于或大于当前宏块的尺寸。而且，当当前宏块具有矩形形状时， 可以选择矩形变换。而且，根据当前宏块的尺寸可用的块尺寸可以被选择为变换和量 化块尺寸。例如，当当前宏块是尺寸为64×64的大块时，可以使用尺寸比4×4变换、 4×8变换、8×4变换等更大的变换。如果当前宏块是常规的尺寸为16×16的宏块，则 可以使用典型的4×4变换和8×8变换。根据本发明的另一方面，变换器和量化器130 可以考虑针对子宏块的预测模式或作为预测的单位的块的尺寸来确定用于变换和量 化的变换和量化块尺寸。
例如，当块是帧内块类型时，可以将经受帧内预测的块的尺寸确定为变换和量化 块尺寸。也就是说，在帧内4×4预测的情况下可以使用块尺寸为4×4的变换和量化， 在帧内8×8预测的情况下可以使用块尺寸为8×8的变换和量化，在帧内16×16预测 的情况下可以使用块尺寸为16×16的变换和量化，并且在帧内16×8预测的情况下可 以使用块尺寸为16×8的变换和量化。因此，当帧内预测的单位是尺寸为P×Q的块时， 可以将块尺寸为P×Q的变换和量化确定为变换和量化类型。
作为另一示例，当块是帧间块类型时，可以从多个变换和量化块尺寸中确定使编 码成本最小的变换和量化块尺寸。也就是说，可以从变换和量化块尺寸4×4、8×8、 16×16、32×16、8×16、16×8等中选择一个变换和量化块尺寸，并且可以利用按照所 选择的块尺寸的变换和量化来对残留块进行变换和量化。
下文中，将基于将块尺寸为8×4的变换和量化确定为变换和量化类型的假定来对 根据本发明的一方面的变换和量化处理进行描述。
块尺寸为8×4的变换可以通过组合4×4整数变换与8×8整数变换来设计，并且 可以由下式来表达：
Y＝AXBT      式1
在式1中，X表示由块尺寸为8×4的预测块生成的、块尺寸为8×4的残留块，A 表示用于4×4整数变换的矩阵，B表示用于8×8整数变换的矩阵，T表示作为通过将 对应矩阵的行与列互换所获取的矩阵的转置矩阵，并且Y表示作为针对块尺寸为8×4 的残留块执行8×4变换的结果的经变换的残留块。
在上式中，A和BT的元素可以表示为如下式所给出的：
A = x x x x y z - z - y x - x - x x z - y y - z , B = a b c d a e f g a d f - g - a - b - c - e a e - f - b - a g c d a g - c - e a d - f - b a - g - c e a - d - f b a - e - f b - a - g c - d a - d f g - a b - c - g a - b c - d a - e f - g ]]>
                                            式2
在式2中，矩阵A的x是1/2，矩阵A的y是cos(π/8)，矩阵A的z是 cos(3π/8)，矩阵B的a是矩阵B的b是cos(π/16)，矩阵B的c 是cos(2π/16)，矩阵B的d是cos(3π/16)，矩阵B的e是cos(5π/16)， 矩阵B的f是cos(6π/16)，并且矩阵B的g是cos(7π/16)。这里，为了在 保持作为DCT的特性的正交性的同时执行整数运算，将4×4整数变换和8×8整数变 换中的每一个解压缩并且近似如下：
A = x 0 0 0 0 y 0 0 0 0 x 0 0 0 0 y 1 1 1 1 1 w - w - 1 1 - 1 - 1 1 w 1 - 1 - w ]]>
B = 1 1 1 K 1 L N M 1 K N - M - 1 - 1 - 1 - L 1 L - N - 1 - 1 M 1 K 1 M - 1 - L 1 K - N - 1 1 - M - 1 L 1 - K - N 1 1 - L - N 1 - 1 - M 1 - K 1 - K N M - 1 1 - 1 L 1 - 1 1 - K 1 - L N - M a 0 0 0 0 0 0 0 0 b 0 0 0 0 0 0 0 0 c 0 0 0 0 0 0 0 0 b 0 0 0 0 0 0 0 0 a 0 0 0 0 0 0 0 0 b 0 0 0 0 0 0 0 0 c 0 0 0 0 0 0 0 0 b ]]>
                                            式3
式3中，矩阵A的z如式2中为1/2，矩阵A的y近似为矩阵A的w(＝ z/y)近似为1/2，矩阵B的a如式2中为矩阵B的b近似为矩阵 B的c近似为矩阵B的K(＝d/b)近似为5/6，矩阵B的L(＝e/b)近似为 1/2，并且矩阵B的M(＝g/b)近似为1/4。通过该处理，式1可以重写如下：
Y = ( CXD T ) ⊗ E ]]>      式4
在式4中，X和Y与式1中相同，C表示式3的矩阵A中的右侧4×4矩阵，而 DT表示式3的矩阵B中的左侧8×8矩阵。运算子表示以逐个元素为基础的(CXDT) 的结果矩阵的系数与矩阵E的系数的乘法。矩阵E表示在将式1解压缩并近似为式4 的处理中导出的8×8矩阵，而矩阵E中的元素由下式给出：
E = ax bx cx bx ax bx cx bx ay by cy by ay by cy by ax bx cx bx ax bx cx bx ay by cy by ay by cy by ]]>      式5
式5中，矩阵E的x、y、a、b和c与式3中的相同。从式5可以注意到，矩阵 C、DT和E具有非整数系数。因此，针对整数运算，对相应的矩阵进行缩放(scale)， 如下式给出：
C = 1 1 1 1 2 1 - 1 - 2 1 - 1 - 1 1 1 - 2 2 - 1 ]]>
D = 1 12 / 8 1 10 / 8 1 6 / 8 1 / 2 3 / 8 1 10 / 8 1 / 2 - 3 / 8 - 1 - 1 - 1 - 6 / 8 1 6 / 8 - 1 / 2 1 - - 1 3 / 8 1 10 / 8 1 3 / 8 - 1 - 6 / 8 1 10 / 8 - 1 / 2 - 1 1 - 3 / 8 - 1 6 / 8 1 - 10 / 8 - 1 / 2 1 1 - 6 / 8 - 1 / 2 1 - 1 - 3 / 8 1 - 10 / 8 1 - 10 / 8 1 / 2 3 / 8 - 1 1 - 1 6 / 8 1 - 12 / 8 1 - 10 / 8 1 - 6 / 8 1 / 2 - 3 / 8 ]]>
E = ax 2 / 3 bx cx 2 / 3 bx ax 2 / 3 bx cx 2 / 3 bx 1 / 2 ay 1 / 3 by 1 / 2 cy 1 / 3 by 1 / 2 ay 1 / 3 by 1 / 2 cy 1 / 3 by ax 2 / 3 bx cx 2 / 3 bx ax 2 / 3 bx cx 2 / 3 bx 1 / 2 ay 1 / 3 by 1 / 2 cy 1 / 3 by 1 / 2 ay 1 / 3 by 1 / 2 cy 1 / 3 by ]]>
                                            式6
一旦完成式6的缩放处理，就设计8×4整数变换。也就是说，针对整数变换，通 过在量化处理中包括矩阵E，来设计块尺寸为8×4的最终整数变换。
基本量化处理可以由下式来表示：
Zij＝round(Yij/Qstep)      式7
式7中，Yij表示由在对残留块进行了变换之后的矩阵表达的元素，而Qstep表示 量化阶的尺寸。
当将如式7所示执行的基本量化运算应用至用于块尺寸为8×4的变换和量化的实 际量化处理时，可以表示如下：
|Zij|＝(|Wij|·MF+f|)>>qbits      式8
sign(Zij)＝sign(Wij)      式9
式8中，Wij表示由在对残留块的各个残留信号进行了变换之后的矩阵表达的元 素，MF表示根据量化参数确定的乘法因子，并且作为确定舍入误差和死区尺寸的因 子的f在通过帧内预测来预测当前块时为2qbits/3，而在通过帧间预测来预测当前块时 被固定在2qbits/6。这里，qbits为16+floor(QP/6)(其中，floor是指下舍入运算)， 并且可以根据变换之后的变换系数的最大值和最小值来改变。
对此，式6的矩阵E被包括在MF中，并且MF如下给出：
MF 2 qbits = PF Qstep ]]>      式10
在式10中，PF是指矩阵E，并且因为PF根据变换类型和近似而改变，所以必 须获取并使用适合于各个变换的MF。
图8例示了根据本发明的一方面的用于8×4变换的MF。
因为MF值根据式6的矩阵E的系数的位置改变，所以图8的第一行表示根据式 6的矩阵E的系数位置，并且图8的第一列表示Qstep。这里，所使用的MF值以数 学方式导出，但其可能因为整数变换不是针对视频编码的最优变换而被修正。
通过自适应地应用块尺寸为8×4的上述变换和量化，可以根据包括块尺寸为P×Q 的变换和量化(诸如块尺寸为4×8的变换和量化以及块尺寸为16×8的变换和量化) 的各种变换和量化类型来执行变换和量化。
而且，根据本发明的一方面，考虑到当前宏块的尺寸或形状、用于预测的当前宏 块或子块的预测模式和尺寸等，变换器和量化器130可以选择尺寸为2n×2n的子块， 以使当前宏块的变换和量化效率最大化。以下，对本发明的将尺寸为64×64的宏块划 分成具有不同尺寸的子块并且接着执行变换和量化的一方面进行描述。
64×64宏块可以划分成4个32×32子块、16个16×16子块、64个8×8子块、256 个4×子块或者1024个2×2子块。图22例示了将64×64宏块分别划分成32×32子块、 16×16子块以及8×8子块的示例。变换器和量化器130可以将64×64宏块划分成这些 子块，利用与相应子块对应的尺寸来执行变换和量化，并且接着确定实现最佳编码效 率的变换和量化块尺寸。根据本发明的一方面，可以利用两个标记transform_size_flag 和transform_division_flag来向视频解码设备报告指示所确定的变换和量化块尺寸的 变换类型。
transform_size_flag指示是否使用具有原始宏块尺寸的变换。例如，当 transform_size_flag的值为0时，transform_size_flag指示使用原始宏块尺寸为64×64 的变换和量化。相反，当transform_size_flag的值为1时，transform_size_flag指示执 行具有比64×64的原始宏块尺寸小的子块尺寸的变换和量化。当transform_size_flag 的值为1时，对指示具体的变换和量化块尺寸的transform_division_flag进行编码。 例如，transform_division_flag在transform_division_flag的值为0时指示32×32变换 和量化，在transform_division_flag的值为1时指示16×16变换和量化，并且在 transform_division_flag的值为2时指示8×8变换和量化。根据本发明的一方面的视频 解码设备的逆变换器和逆量化器2030可以基于该两个标记(即，transform_size_flag 和transform_division_flag)中的任一个来选择逆变换和逆量化块尺寸。
当通过从要被编码的当前宏块或子块中减去该当前宏块或子块的预测块而获取 的残留块的尺寸大于如上确定的变换和量化块尺寸时，变换器和量化器130将残留块 划分成具有与该变换和量化块尺寸相同的尺寸的子块，并接着对各个子块进行变换和 量化。相反，当残留块的尺寸小于该变换和量化块尺寸时，变换器和量化器130将多 个相邻残留块相互组合，以生成具有与该变换和量化块尺寸相同的尺寸的组合残留 块，并接着对该组合残留块进行变换和量化。
图9是用于说明根据本发明的一方面的在应用各种变换和量化类型的情况下进 行滤波的视图。
图9例示了在当前块是尺寸为32×32的宏块时，根据各种变换和量化类型来对残 留块进行变换和量化，再次对所变换和量化的残留块进行逆变换和逆量化，并接着通 过将所逆变换和逆量化的残留块与预测块相加来重建当前块。
图9中，实线表示当前宏块或当前宏块的子宏块的边界。在横跨存在于由实线圆 指示的区域内的边界执行滤波的情况下，仅横跨由虚线指示的块边界来执行滤波。对 此，可以利用用于减少块效应的去块滤波来执行滤波，并且在这种情况下，将一维低 通滤波器用作用于去块滤波的去块滤波器。横跨垂直边界并且接着横跨水平边界执行 滤波。
在典型的视频编码中，因为仅利用4×4或8×8整数变换来执行变换和量化，所 以增加了要进行去块滤波和/或去振铃滤波的块边界，这导致执行滤波的次数增加。 然而，当根据本发明的一方面执行块尺寸为P×Q的变换和量化时，因为与典型的视 频编码相比减少了执行滤波的次数，所以可以减小视频编码设备100和视频解码设备 的实现复杂性，并且因为造成很小的块效应，所以可以改进编码效率。
而且，当根据本发明的一方面执行块尺寸为P×Q的变换和量化时，滤波所参照 的像素数可以因为变换和量化块尺寸的增加而增加，这导致所执行的滤波的更准确的 结果，并由此可以进一步减少去块效应和去振铃噪声。
图10是用于说明根据本发明的一方面的横跨块边界执行去块滤波的处理的视 图。
图10中，a、b、c、d、e和f表示在横跨块边界执行去块滤波之前的像素，b'、 c'、d'和e'表示在横跨块边界执行去块滤波之后的像素，并且各个像素的垂直位置表 示对应像素的亮度。像素c与d之间的实线表示块边界。从图10可看出，在横跨块 边界执行去块滤波之前，在块边界处出现像素之间的大的亮度差(像素c与d之间的 亮度差突然增加)，结果造成块效应。
为了减少这些块效应，横跨块边界执行去块滤波。也就是说，滤波之前的像素b、 c、d和e的亮度利用相邻像素的亮度来校正，并由此可以生成像素b'、c'、d'和e'。
用于去块滤波的一维低通滤波器可以包括强滤波器和弱滤波器。强滤波器可以如 式11所示实现，并且弱滤波器可以如式12所示实现。
d ′ = b + c + d + e + f + α 5 ]]>      式11
d ′ = b + 3 c + 8 d + 3 e + α 16 ]]>      式12
在式11和式12中，b、c、d、e、f和d'指示图10所示的像素，并且α指示舍入 常数。
通过式11和式12可看出，要滤波的像素在利用强滤波器执行滤波时受到相邻像 素的极大影响，从而为要滤波的像素设置权重，进而在利用弱滤波器执行滤波时，该 像素不太受到相邻像素的影响。利用这种概念，可以在改变应用于强滤波器和弱滤波 器的权重的同时执行滤波，并且还可以在选择性地应用多个相邻像素和多个要滤波的 像素的同时执行滤波。因此，根据本发明的一方面，该滤波结果还可以因在执行块尺 寸为P×Q的变换和量化并横跨块边界执行去块滤波时所参照的相邻像素的数量的增 加而进一步改进。
图11是用于说明根据本发明的一方面的执行去振铃滤波的处理的视图。
为了执行去振铃滤波，必须检测要重建的视频中的边缘。为此，执行诸如Sobel 运算的边缘检测处理。图11示出了具有所检测的边缘的块。图11中，填充为黑色的 像素表示在对应的视频中检测出的边缘，A表示要滤波的像素，并且B和C表示在 沿水平方向执行滤波时的相邻像素。为了减少去振铃噪声，对已经检测到边缘的块的 像素进行去振铃滤波。用于去振铃滤波的滤波器可以如下式所示实现，并且沿垂直方 向并接着沿水平方向对已经检测到边缘的块的相应像素进行滤波。
A ′ = βB + γA + δC + α λ ]]>      式13
在式13中，A表示要滤波的像素，B和C表示在沿水平方向或垂直方向执行滤 波时的相邻像素，并且A'表示从滤波得到的像素。而且，β、γ和δ各自表示根据像 素B、A或C是否为边缘而不同地应用的权重，α表示舍入常数，并且λ表示β、γ 以及δ的和。
去振铃滤波针对不是边缘的像素来执行，并且在像素B或C是边缘时赋予各个 像素的权重、在像素B和C是边缘时赋予各个像素的权重以及在像素B和C不是边 缘时赋予各个像素的权重可以不同。例如，当像素B或C是边缘时，如果像素B是 边缘，则赋予像素C的权重最大，并且如果像素C是边缘，则赋予像素B的权重最 大。而且，当像素B和C这两者是边缘时，赋予像素B和C的权重为0。而且，当 像素B和C都不是边缘时，赋予像素A的权重最大。
利用该概念，可以在改变应用于各个像素的权重的同时执行去振铃滤波，并且还 可以选择性地使用所参照的多个相邻像素。因此，根据本发明的一方面，该滤波结果 还可以因在执行块尺寸为P×Q的变换和量化并且针对包括边缘的块执行去振铃滤波 时所参照的相邻像素的数量的增加而进一步改进。
以下对根据本发明的一方面的用于将包括在经变换和量化的残留块中的经量化 的变换系数转换成一维变换系数串的扫描进行描述。
根据本发明的一方面，该扫描方法可以根据当前块是帧内块还是帧间块来选择。
当根据本发明的一方面对帧内块的量化变换系数进行扫描时，可以根据该帧内块 的预测方向(即，帧内预测模式)来选择扫描图案。更具体地说，根据完成预测的模 式来获取2n×2n的经量化的变换系数块的各个位置中的系数的出现概率，并且改变扫 描序列，以使得首先扫描具有高概率的频域系数。这样，连续更新扫描序列的方法被 应用于视频编码设备和视频解码设备。通过该方法，设置该扫描序列，以使得按照从 具有最高出现频率或最大系数值的系数位置至具有最低出现频率或最高出现概率为 0的系数位置的顺序来执行扫描，结果，进一步改进了在完成扫描处理之后要用于编 码器150的熵编码的效率。这里，因为使用完成预测和变换以及量化的各个模式，所 以视频解码设备还可以获知各个预测模式，进而，编码与解码处理彼此相符合。通过 这样，编码和解码系数位置可以具有相同的出现频率，并且在编码和解码处理中，扫 描序列可以相同。
图23例示了针对帧内4×4块的扫描根据基于概率计算的九种模式可以具有各种 扫描序列。图23所示的九种模式中的每一种表示1至16的扫描序列。按照从数字1 至数字16的顺序执行扫描。该扫描序列不是特定图案，而是基于针对完成变换和量 化的各个模式的系数的尺寸或系数分布的概率而确定的序列。该扫描序列可以根据随 着执行编码而改变的概率来更新。
这里，块的尺寸可以是覆盖所有帧内模式的2n×2n，并且该扫描序列不限于图23 所示的针对帧内4×4块的九种模式。如果尺寸为2n×2n的帧内块具有M种模式，则该 扫描方法覆盖针对所有M种模式可以具有不同的序列的所有扫描方法。而且，该扫 描序列可以通过连续获取针对完成预测的模式的概率并且根据所获取的概率改变该 扫描序列来更新。因为针对完成预测的模式经过了编码和解码处理，所以即使对有关 该扫描序列的附加信息进行了编码，解码处理也可以获知导出该扫描序列的所确定的 模式和概率，进而可以进行根据该同一扫描序列的解码。
在帧间块的情况下，因为根据各种变换和量化类型来执行变换和量化，所以扫描 器140或编码器150根据该变换和量化类型来对经变换和量化的残留块的经量化的变 换系数进行扫描，以生成经量化的变换系数串。图12例示了根据本发明的一方面的 依照帧间块的变换和量化类型的扫描序列。
图12中，在经变换和量化的残留块具有块尺寸8×4时对经量化的变换系数进行 扫描的序列和在经变换和量化的残留块具有块尺寸4×8时对经量化的变换系数进行 扫描的序列通过示例的方式示出。图12所示的扫描序列可以自适应地应用于根据本 发明的一方面使用的各种变换和量化类型，并且还可以通过根据合适的扫描序列对经 量化的变换系数进行扫描来改进编码效率。在DCT的情况下，变换系数因为变换之 后的变换系数通常按具有低能量的频率部分聚集在一起而趋于拥挤，并且整数变换也 因为基于DCT而表现出相同的趋势。因此，有效的是，将DC系数的位置设置为扫 描的起始点，并且按照变换系数的能量的、从位置最靠近DC系数的系数开始的降序 来对变换系数进行扫描。
编码器150可以对经量化的变换系数串进行编码，所量化的变换系数串通过按照 各种方式根据图12所示的扫描序列或类似的扫描序列对经量化的变换系数进行扫描 来生成，以生成比特流。然而，编码器150可以通过应用基于现有内容的自适应可变 长度编码(下文称为“CAVLC”)来对经变换和量化的残留块进行扫描和编码。
图13至图18是用于说明根据本发明的一方面的依照变换和量化类型来应用 CAVLC的方法的视图。
在典型的视频编码中，CAVLC仅针对尺寸为4×4的块来执行。然而，在本发明 的一方面中，AVLC还可以针对块尺寸大于4×4的块来执行。
图13至图18例示了尺寸分别为8×4、4×8、8×8、16×8、8×16以及16×16的经 变换和量化的残留块中的每一个依次分解成尺寸为4×4的块，以应用CAVLC。图13 至图18中，给出相应的像素中输入的数字1、2、3和4，以指示各个像素的位置， 并且各个尺寸为4×4的块通过仅收集具有相同数字的像素来形成。
作为示例，在图13所示的具有尺寸8×4的经变换和量化的残留块中，每隔一列 给出数字1和2，并且各自具有尺寸4×4的两个经变换和量化的残留块可以通过独立 地收集被给予数字1的四个列和被给予数字2的四个列来获取，如图所示。编码器 150通过利用CAVLC对如图所示获取的各自具有尺寸4×4的两个经变换和量化的残 留块进行编码，来生成比特流。
作为另一示例，在图15所示的具有尺寸8×8的经变换和量化的残留块中，各自 具有尺寸4×4的四个经变换和量化的残留块可以通过独立地收集被给予数字1的像 素、被给予数字2的像素、被给予数字3的像素以及被给予数字4的像素来获取。编 码器150通过利用CAVLC对如图所示获取的各自具有尺寸4×4的四个经变换和量化 的残留块进行编码，来生成比特流。
图19是用于说明根据本发明的一方面的视频编码方法的流程图。
在根据本发明的一方面的视频编码方法中，视频编码设备100预测当前块以生成 预测块(S1910)，通过从当前块中减去预测块来生成残留块(S1910)，根据当前块的 块类型来确定变换和量化类型(S1930)，以及根据所确定的变换和量化类型对残留块 进行变换和量化，并且对所变换和量化的残留块进行编码(S1940)。这里，该当前块 是具有尺寸M×M的宏块，并且M和N可以大于16。在确定变换和量化类型的步骤 (S1930)中使用的当前块的块类型包括当前块的形状或尺寸。而且，在生成预测块 的步骤(S1910)中使用的、作为预测的单位的块的预测模式和尺寸还可以用来确定 变换和量化类型。
而且，在步骤S1910中，视频编码设备100可以通过以下步骤来生成预测块：将 当前块划分成多个子块，预测所述多个子块以生成预测子块，以及将这些预测子块相 互组合。为此，视频编码设备100可以确定针对视频的各个帧的块类型，并且在这种 情况下，当前块根据所确定的块类型可以是宏块。在确定块类型时，视频编码设备 100可以根据多个块类型来利用对帧进行编码所需的编码开销确定块类型，但是还可 以根据帧的特征来确定块类型。帧的这种特征可以包括帧的水平相关性和垂直相关性 中的一个或更多个。而且，视频编码设备100可以对有关块类型的信息进行编码，并 将该信息附加地包括在经编码的数据中。
而且，在步骤S1930中，视频编码设备100可以在块类型是帧内块类型时，将块 尺寸等于块类型的尺寸的变换和量化确定为变换和量化类型，并且可以在块类型是帧 间块类型时，利用编码开销来将具有各种块尺寸的多个变换和量化中的一个确定为变 换和量化类型。这里，具有各种块尺寸的所述多个变换和量化可以包括具有与子块的 块尺寸相同的块尺寸的变换和量化。
而且，在步骤S1940中，视频编码设备100可以通过按照所变换和量化的残留块 的经量化的变换系数的能量的、从位置最靠近DC系数的经量化的变换系数开始的降 序，对所变换和量化的残留块的经量化的变换系数进行扫描，来生成经量化的变换系 数串，接着对所扫描的经量化的变换系数串进行编码。
另外，视频编码设备100可以通过对所变换和量化的残留块进行逆变换和逆量化 来重建残留块，通过将所重建的残留块与预测块相加来重建当前块，以及根据变换和 量化类型对所重建的当前块进行滤波。在对所重建的当前块进行滤波时，视频编码设 备100可以根据变换和量化类型来横跨所重建的当前块的边界执行去块滤波，并且根 据变换和量化类型来执行去振铃滤波。然而，并非必须执行去块滤波和去振铃滤波这 两者，而是可以仅执行去块滤波和去振铃滤波中的一个或者这两者都不执行。
而且，视频编码设备100可以对有关在步骤S1930中确定的变换和量化类型的信 息进行编码，并将该信息包括在经编码的数据中。这里，除了变换和量化类型以外， 包括在经编码的数据中的信息可以包括上述信息，即，指示作为编码的单位的宏块的 尺寸或形状的宏块信息、有关针对宏块或子块(在为了预测而将宏块划分成多个子块 的情况下)的预测模式的信息、在为了预测而将宏块划分成多个子块的情况下的指示 子块(即，作为预测的单位的块)的划分方案或尺寸的宏块划分信息、在预测模式是 帧内预测模式的情况下的有关运动向量的信息等。
如上所述，当使用根据本发明的一方面的视频编码设备100和视频编码方法时， 因为可以执行以可变尺寸的宏块或子块为单位的预测、具有各种块尺寸的变换和量 化、适合于变换和量化类型的扫描和滤波，所以可以更高效地对高分辨率视频进行编 码。由视频编码设备100编码成经编码的数据的视频可以实时或非实时地发送至下面 要描述的视频解码设备，其中，经由无线/有线通信网络(包括互联网、短距离无线 通信网络、无线LAN网络、还称为WiMax网络的WiBro(无线宽带)以及移动通信 网络或诸如线缆或USB(通用串行总线)的通信接口)将所编码的数据解码、重建 以及再现成视频。
图20示意性地例示了根据本发明的一方面的视频解码设备。
根据本发明的一方面的视频解码设备2000可以包括：解码器2010、逆扫描器 2020、逆量化器和逆变换器2030、预测器2040、加法器2050以及滤波器2060。这 里，逆扫描器202和滤波器2060并非必须包括在视频解码设备2000中，并且可以根 据视频解码设备2000的实现设计而省略。当省略逆扫描器2020时，其功能可以并入 到解码器2010中。
解码器2010接收通过将输入的视频划分成具有不同的形状或尺寸的多个宏块并 且对各个宏块进行编码而获取的视频数据，并且对指示各个宏块的形状或尺寸的宏块 信息进行解码。
解码器2010对经编码的数据(即，通过在视频编码设备中对宏块进行编码所获 取的并且从该视频编码设备发送的视频数据)进行解码，以重建经变换和量化的残留 块。也就是说，解码器2010对经编码的数据进行解码，以重建经量化的变换系数串。 当扫描器140的功能被并入到视频编码设备100的编码器150中时，逆扫描器2020 也从视频解码设备2000中省略，并且其功能被并入到解码器2010中。因此，解码器 2010可以通过对所重建的经量化的变换系数串进行逆扫描来重建所变换和量化的残 留块。
而且，解码器2010可以通过对所编码的数据进行解码，来进行解码或者提取进 行解码所需的信息以及所变换和量化的残留块。进行解码所需的信息是指对被编码在 所编码的数据中的比特流进行解码所需的信息，该信息可以是例如指示作为编码的单 位的宏块的尺寸或形状的宏块信息、有关针对宏块或子块(在为了预测而将宏块划分 成多个子块的情况下)的预测模式的信息、在为了预测而将宏块划分成多个子块的情 况下的指示子块(即，作为预测的单位的块)的划分方案或尺寸的宏块划分信息、在 预测模式是帧间预测模式的情况下的有关运动向量的信息、有关变换和量化类型的信 息等，但是还可以是各种其它信息。
解码器2010对输入的比特流进行解析，以识别所编码的视频的层次结构以及要 用于解码的具体算法。更具体地说，解码器2010通过宏块信息来识别作为编码的单 位的各个宏块的形状或尺寸。通过有关变换和量化类型的信息来确定要执行什么类型 和/或尺寸的变换和量化。作为预测的单位的预测单位块的尺寸或形状通过宏块划分 信息来确定。通过预测模式信息来确定使用什么预测模式来生成当前宏块或子块(在 为了预测而将宏块划分成多个子块的情况下)的预测块。
可以将由解码器2010解析的宏块信息传送至逆量化器和逆变换器2030以及预测 器2040。可以将有关变换和量化类型的信息传送至逆量化器和逆变换器2030，并且 可以将进行预测所需的信息(诸如预测模式信息、宏块划分信息以及运动向量信息) 传送至预测器2040。
逆扫描器2020对由解码器2010重建并从该解码器2010传送的所量化的变换系 数串进行逆扫描，以重建所变换和量化的残留块。如上所述，当扫描器140的功能被 并入到视频编码设备100的编码器150中时，逆扫描器2020也可以从视频解码设备 2000中省略，并且可以将其功能并入到解码器2010中。而且，解码器2010或逆扫 描器2020根据通过有关变换和量化类型的信息(该信息通过在解码器2010中对所编 码的数据进行解码而重建)标识的变换和量化类型来对所变换和量化的残留块进行逆 扫描。这里，在帧间块的情况下，由逆扫描器2020根据变换和量化类型来对所变换 和量化的残留块进行逆扫描的方法与逆向地执行由扫描器140对所变换和量化的残 留块的经量化的变换系数进行扫描的处理的方法相同或相似，如参照图1和图12所 述。在帧内块的情况下，按照如上所述的相同方式，根据针对各个帧内预测模式的扫 描图案来对系数进行扫描。按照与扫描器140中的扫描序列相同的序列来执行逆扫描 方法，由此省略其详细描述。
逆量化器和逆变换器2030对所重建的经变换和量化的残留块进行逆量化和逆变 换，以重建残留块。对此，逆量化器和逆变换器2030根据由从解码器2010传送来的 有关变换和量化类型的信息标识的变换和量化类型，来对所变换和量化的残留块进行 逆量化和逆变换。这里，由逆量化器和逆变换器2030根据变换和量化类型对所变换 和量化的残留块进行逆量化和逆变换的方法与逆向地执行由视频编码设备100的变 换器和量化器130根据变换和量化类型执行变换和量化的处理的方法相同或相似。由 此省略其详细描述。
当通过逆变换和逆量化处理生成的残留块的尺寸大于预测块的尺寸时，逆量化器 和逆变换器2030将残留块划分成各自具有与预测块相同的尺寸的子块，并且接着将 所划分的子块输出至加法器2050。相反，当通过逆变换和逆量化处理生成的残留块 的尺寸小于预测块的尺寸时，逆变换器和逆量化器2030组合多个相邻的残留块，以 生成具有与预测块相同的尺寸的组合残留块，并且接着将所生成的组合残留块输出至 加法器2050。预测器2040预测当前块以生成预测块。这里，预测器2040利用从解 码器2010传送来的宏块信息和进行预测所需的信息来预测当前块。也就是说，预测 器2040根据宏块信息来确定当前宏块的尺寸和形状，并且利用由进行预测所需的信 息标识的帧内预测模式或运动向量来预测当前宏块，以生成预测块。当宏块信息指示 已经将当前宏块划分成多个子块时，预测器2040可以按照与视频编码设备100的预 测器110相同或相似的方式来将当前宏块划分成子块并预测各个划分的子块，以生成 预测子块。
加法器2050将由逆量化器和逆变换器2030重建的残留块与由预测器2040生成 的预测块相加，以重建当前块。
滤波器2060对由加法器2050重建的当前块进行滤波。所重建和滤波的当前块按 图片累积并且作为基准图片存储在存储器(未示出)中，以供预测器2040预测下一 个块或下一个图片时使用。这里，当滤波器2060对所重建的当前块进行滤波时，滤 波器2060根据由从解码器2010传送来的有关变换和量化类型的信息标识的变换和量 化类型来执行滤波。对此，滤波器2060可以根据变换和量化类型按照不同的方式横 跨当前块的边界执行去块滤波，或者当在当前块中检测到边缘时根据变换和量化类型 按照不同的方式执行对当前块的去振铃滤波，由此减小出现在所重建的视频的块边界 处的块效应，或者减小出现在该块中的边缘周围的振铃噪声。由滤波器2060执行去 块滤波和去振铃滤波的方法与由视频编码设备100的滤波器180执行去块滤波和去振 铃滤波的方法相同或相似，由此省略其详细描述。
图21是用于说明根据本发明的一方面的视频解码方法的流程图。
在根据本发明的一方面的视频解码方法中，视频解码设备2000对经编码的数据 进行解码，以重建经变换和量化的残留块(S2110)，对所变换和量化的残留块进行逆 变换和逆量化，以重建残留块(S2120)，预测当前块以生成预测块(S2130)，以及将 所重建的残留块与预测块相加，以重建当前块(S2140)。
视频解码设备2000可以通过对所编码的数据进行解码来附加地重建有关变换和 量化类型的信息。因而，在步骤S2120中，视频解码设备2000根据由有关变换和量 化类型的信息标识的变换和量化类型来对所变换和量化的残留块进行逆变换和逆量 化。
而且，在步骤S2140中，视频解码设备2000可以根据变换和量化类型来对所重 建的当前块进行滤波。也就是说，视频解码设备2000根据变换和量化类型来横跨所 重建的当前块的边界执行去块滤波，并且根据变换和量化类型来执行对所重建的当前 块的去振铃滤波。这里，可以执行去块滤波和去振铃滤波这两者，但是还可以选择性 地执行它们中的仅一个，或者这两者都不执行。视频解码设备2000可以根据变换和 量化类型来按照不同的方式执行去块滤波，并且可以根据变换和量化类型来按照不同 的方式执行去振铃滤波。此外，当前块是尺寸为M×N的宏块，并且M和N可以大 于16。
而且，在步骤S2130的生成预测块中，视频解码设备2000可以将当前块划分成 多个子块，预测所述多个子块以获取预测子块，以及组合预测子块以生成预测块。
而且，视频解码设备2000可以附加地重建针对视频的各个帧的宏块信息，并且 在这种情况下，当前块可以是具有由所重建的宏块信息标识的尺寸或形状的宏块。
如上所述，根据本发明的一方面，因为通过经由块尺寸为P×Q的可变尺寸的宏 块和对应的变换和量化来适当地利用出现在高分辨率视频中的时间/空间相邻的像素 之间的高相关性、以块尺寸P×Q进行扫描以及进行滤波，来实现对高分辨率视频的 编码，所以可以改进编码效率。而且，由于减小了因为使用具有可扩展块尺寸的宏块 以及变换和量化而造成的块失真，所以不仅可以改进编码效率，而且还可以减少横跨 块边界执行变换和去块滤波(可以在编码和解码中执行变换和去块滤波)的次数，这 样使得可以降低视频编码设备100和视频解码装置2000的实现复杂性。
在上面的描述中，尽管本发明的多个实施方式的全部组件已经被解释为装配为或 可操作地连接为一个单元，但是本发明并非旨在将其本身限制于这些实施方式。相反， 在本发明的目标范围内，相应组件可以选择性地且可操作地按任何数量组合。每个组 件本身还可以按硬件来实现，同时可以将相应组件部分地或者作为整体选择性地组合 并且采用具有用于执行硬件等同物的功能的程序模块的计算机程序来实现。本领域技 术人员可以容易地推断用于构成这种程序的代码或代码段。该计算机程序可以存储在 计算机可读介质中，其在操作时可以实现本发明的方面。作为计算机可读介质，候选 物包括磁记录介质、光记录介质，以及载波介质。
另外，例如“包括”以及“具有”的术语应当默认地解释为包含的或者开放的，而非 排它的或封闭的，除非另有指明。所有技术的、科学的等术语都与本领域技术人员所 理解的含义一致，除非另有说明。在词典中找到的普通术语应当在相关技术内容背景 下被解释为不是太理想化或者非实用，除非本发明直接将它们限定为如此。
尽管出于例示性目的已经描述了本发明的示例性方面，但是本领域技术人员应当 清楚，在不脱离本发明的基本特征的情况下，可以进行各种修改、添加以及替换。因 此，本发明的示例性方面并非出于限制性目的而进行了描述。因此，本发明的范围并 非通过上述方面而是通过权利要求书及其等同物来限制。
工业应用
如上所述，本发明对于对高分辨率视频进行编码和解码的视频压缩处理领域中的 应用非常有用。具体地说，不仅编码效率能够因为本发明使得能够利用出现在视频中 的时间/空间相邻的像素之间的高相关性来进行编码而被提高，而且压缩效率还能够 通过减少块失真而被提高。而且，可以减少执行滤波的次数，这使得可以降低视频编 码和解码设备的实现复杂性。
相关申请的交叉引用
如果可应用，则本申请要求保护2009年9月14日在韩国提交的专利申请No. 10-2009-0086305在35 U.S.C§119(a)下的优先权，将其全部内容通过引用并入本文。 另外，该非临时申请基于该韩国专利申请，以相同理由要求保护在除美国以外的其它 国家的优先权，将其全部内容通过引用并入本文。