图像编码方法、图像解码方法、图像编码器及图像解码器.pdf

《图像编码方法、图像解码方法、图像编码器及图像解码器.pdf》由会员分享，可在线阅读，更多相关《图像编码方法、图像解码方法、图像编码器及图像解码器.pdf（25页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104067622A43申请公布日20140924CN104067622A21申请号201280062710622申请日20121018102011010662420111018KRH04N19/61201401H04N19/103201401H04N19/4420140171申请人株式会社KT地址韩国京畿道72发明人李培根权载哲金柱英74专利代理机构北京集佳知识产权代理有限公司11227代理人王萍李春晖54发明名称图像编码方法、图像解码方法、图像编码器及图像解码器57摘要本发明涉及一种用于对图像进行编码和解码的技术。根据本发明的用于对图像进行编码的方法包括以下步骤相对于当前。

2、块执行预测；以及对通过所述预测生成的残差进行变换，其中在所述变换步骤中，对所述残差执行第一变换，然后对低频域执行第二变换，并且其中，第二变换的模式可以基于第一变换的模式来决定。30优先权数据85PCT国际申请进入国家阶段日2014061886PCT国际申请的申请数据PCT/KR2012/0085632012101887PCT国际申请的公布数据WO2013/058583KO2013042551INTCL权利要求书2页说明书17页附图5页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书17页附图5页10申请公布号CN104067622ACN104067622A1/2页21一种视。

3、频编码方法，包括对当前块执行预测；以及对通过所述预测生成的残差进行变换，其中，在所述变换步骤中，在对所述残差执行第一变换后，对低频域执行第二变换，所述第二变换的模式是基于所述第一变换的模式确定的。2根据权利要求1所述的视频编码方法，其中，在所述执行步骤中，对所述当前块执行帧内预测，以及基于所述帧内预测的预测模式的方向将所述第一变换的模式确定为二维2D变换、一维1D竖直变换、一维水平变换和无变换中之一。3根据权利要求2所述的视频编码方法，其中，所述第二变换的模式与所述第一变换的模式相同。4根据权利要求1所述的视频编码方法，其中，在所述执行步骤中，对所述当前块执行帧间预测，以及基于所述当前块的形状。

4、将所述第一变换的模式确定为二维变换、一维竖直变换、一维水平变换和无变换中之一。5根据权利要求4所述的视频编码方法，其中，所述第二变换的模式与所述第一变换的模式相同。6根据权利要求1所述的视频编码方法，其中，在所述变换步骤中，所述第一变换的模式是基于率失真优化来确定的。7根据权利要求6所述的视频编码方法，其中，传输表示所确定的所述第一变换的模式的信息。8根据权利要求1所述的视频编码方法，其中，所述第二变换是44块的离散正弦变换DST。9一种视频解码方法，包括执行逆变换以生成当前块的残差块；以及执行预测以生成所述当前块的预测块，其中，在所述执行步骤中，在对所述当前块的编码残差信息执行第一逆变换后，。

5、对低频域执行第二逆变换，以及基于所述第一变换的模式确定所述第二变换的模式。10根据权利要求9所述的视频解码方法，其中，在所述执行步骤中，对所述当前块执行帧内预测，以及基于所述帧内预测的预测模式的方向将所述第一逆变换的模式确定为二维2D变换、一维1D竖直变换、一维水平变换和无变换中之一。11根据权利要求10所述的视频解码方法，其中，所述第二逆变换的模式与所述第一逆变换的模式相同。12根据权利要求9所述的视频解码方法，其中，在所述执行步骤中，对所述当前块执行帧间预测，以及基于所述当前块的形状将所述第一逆变换的模式确定为二维变换、一维竖直变换、一维水平变换和无变换中之一。13根据权利要求12所述的视。

6、频解码方法，其中，所述第二逆变换的模式与所述第一逆变换的模式相同。14根据权利要求9所述的视频解码方法，其中，在所述执行步骤中，根据由接收到的信息表示的模式来执行所述第一逆变换，以及所述接收到的信息表示作为所述第一逆变换的模式的二维变换、一维竖直变换、一维水平变换和无变换中之一。权利要求书CN104067622A2/2页315根据权利要求14所述的视频解码方法，其中，所述第二逆变换的模式与所述第一逆变换的模式相同。16根据权利要求9所述的视频解码方法，其中，所述第二变换是44块的离散正弦变换DST。17一种视频编码设备，包括预测模块，所述预测模块对当前块执行预测；以及变换模块，所述变换模块对通。

7、过所述预测生成的残差进行变换，其中，所述变换模块在对所述残差执行第一变换后对低频域执行第二变换并且基于所述第一变换的模式确定所述第二变换的模式。18一种视频解码设备，包括逆变换模块，所述逆变换模块通过执行逆变换来生成当前块的残差块；以及预测模块，所述预测模块生成所述当前块的预测块，其中，所述逆变换模块在对所述当前块的编码残差信息执行第一逆变换后对低频域执行第二逆变换，并且基于所述第一变换的模式确定所述第二变换的模式。权利要求书CN104067622A1/17页4图像编码方法、图像解码方法、图像编码器及图像解码器技术领域0001本发明涉及视频编码和解码，更具体地，涉及用于在视频编码和解码中对信号。

8、进行变换的方法和设备。背景技术0002最近，在各个应用领域已经增加了对于高分辨率和高质量视频例如高清晰度HD和超高清晰度UHD视频的需求。0003随着视频数据具有更高分辨率和更高质量，相对于现有视频数据，数据量越来越大。因此，当使用介质如现有的有线和无线宽带线传递视频数据或者将视频数据存储于现有存储介质时，传递成本和存储成本增加。0004为了解决随着视频数据的分辨率和质量的提高而出现的这些问题，可以利用高效视频视频压缩技术。0005视频压缩技术包括各种技术，例如从当前图片之前或之后的图片来预测包含在当前图片中的像素值的帧间预测技术；使用当前图片中的像素信息来预测包含在当前图片中的像素值的帧内预。

9、测技术；通过预定单元和将变换系数量化来将像素信息变换到频域的技术；以及将短码分配给具有高出现频率的值而将长码分配给具有低出现频率的值的熵编码技术。0006使用这样的视频压缩技术可以有效地压缩和传递或存储视频数据。发明内容0007技术问题0008本发明的一个方面是提供用于高效变换视频信息的方法和设备。0009本发明的另一个方面是提供用于根据预测方法执行第一变换并且根据第一变换对低频域执行第二变换以提高压缩效率的方法和设备。0010本发明的再一个方面是提供用于根据分割的形状执行第一变换并且根据第一变换对低频域执行第二变换以提高压缩效率的方法和设备。0011技术方案0012本发明的实施方式提供一种视。

10、频编码方法，其包括对当前块执行预测；以及对通过所述预测生成的残差进行变换，其中，在所述变换步骤中，在对残差执行第一变换后对低频域执行第二变换，以及基于第一变换的模式来确定第二变换的模式。0013在所述执行步骤中，可以对当前块执行帧内预测，并且可以基于帧内预测的预测模式的方向将第一变换的模式确定为二维2D变换、一维1D竖直变换、1D水平变换和无变换中之一。在此，第二变换的模式可以与第一变换的模式相同。0014在所述执行步骤中，可以对当前块执行帧间预测，并且可以基于当前块的形状将第一变换的模式确定为2D变换、1D竖直变换、1D水平变换和无变换中之一。在此，第二变换的模式可以与第一变换的模式相同。说。

11、明书CN104067622A2/17页50015在所述变换步骤中，可以基于率失真优化来确定第一变换的模式。在此，可以传输表示所确定的第一变换的模式的信息。0016第二变换可以是44块的离散正弦变换DST。0017本发明的另一个实施方式提供一种视频解码方法，其包括执行逆变换以生成当前块的残差块；以及执行预测以生成当前块的预测块，其中，在执行逆变换中，可以在对当前块的编码残差信息执行第一逆变换后对低频域执行第二逆变换，以及可以基于第一变换的模式来确定第二变换的模式。0018在执行预测时，可以对当前块执行帧内预测，并且可以基于帧内预测的预测模式的方向将第一逆变换的模式确定为2D变换、1D竖直变换、1。

12、D水平变换和无变换中之一。在此，第二逆变换的模式可以与第一逆变换的模式相同。0019在执行预测时，可以对当前块执行帧间预测，并且基于当前块的形状将第一逆变换的模式确定为2D变换、1D竖直变换、1D水平变换和无变换中之一。在此，第二逆变换的模式可以与第一逆变换的模式相同。0020在执行逆变换时，可以根据由接收到的信息表示的模式来执行第一逆变换，所述接收到的信息表示作为第一逆变换的模式的2D变换、1D竖直变换、1D水平变换和无变换中之一。在此，第二逆变换的模式可以与第一逆变换的模式相同。0021第二变换可以是44块的DST。0022本发明的再一个实施方式提供一种视频编码设备，其包括预测模块，所述预。

13、测模块对当前块执行预测；以及变换模块，所述变换模块对通过预测生成的残差进行变换，其中，变换模块在对残差执行第一变换后对低频域执行第二变换，并且基于第一变换的模式确定第二变换的模式。0023本发明的又一个实施方式提供一种视频解码设备，其包括逆变换模块，所述逆变换模块通过执行逆变换来生成当前块的残差块；以及预测模块，所述预测模块生成当前块的预测块，其中逆变换模块在对当前块的编码残差信息执行第一逆变换后对低频域执行第二逆变换，并且基于第一变换的模式确定第二变换的模式。0024有益效果0025根据本发明，残差信息可以被高效地变换和逆变换。0026根据本发明，可以根据预测方法执行第一变换以及可以根据第一。

14、变换对低频域执行第二变换，从而提高压缩和传输效率。0027根据本发明，可以根据分割的形状执行第一变换以及可以根据第一变换对低频域执行第二变换，从而提高压缩和传输效率。附图说明0028图1为示出根据本发明的示例性实施方式的视频编码设备的框图。0029图2为示出根据本发明的示例性实施方式的视频解码设备的框图。0030图3示意性地示出用于帧内预测的预测模式。0031图4示意性地示出变换跳过模式TMS。0032图5为示意性地示出根据本发明的采用变换跳过模式和第二变换的编码处理的流程图。说明书CN104067622A3/17页60033图6示意性地示出关于在跳过模式、合并模式和AMVP模式下可用的相邻块。

15、的信息。0034图7为示意性地示出根据本发明的采用变换跳过模式和第二变换的解码处理的流程图。具体实施方式0035本发明可以以各种方式改变和修改并且可以参考不同的示例性实施方式示出，其中一些实施方式将在附图中进行描述和示出。然而，这些实施方式并非意在限制本发明而是应被理解为包括属于本发明的精神和技术范围的所有修改、等价物和替代物。贯穿全文，附图中相同的附图标记指代相同的要素。0036尽管可以使用术语第一、第二等来描述各种要素，但是这些要素不应该被这些术语限制。这些术语仅被用于将一个要素与另一个要素进行区分。例如，在不背离本发明的教示的情况下，第一要素可以称为第二要素，同样地，第二要素可以称为第一。

16、要素。术语“和/或”包括多个相关联的列出项的任意或者所有组合。0037将要理解的是当要素被称为与另一个要素“连接”或者“耦接”时，该要素可以直接与另一个要素或者中间要素连接或者耦接。相反，当要素被称为与另一个要素“直接连接”或者“直接耦接”时，不存在中间要素。0038本文所使用的术语仅是为了描述特定的实施方式并且并不意在限制本发明。当在本文中使用时，除非上下文明确指明其他情况，否则单数形式“一个A、AN”和“该THE”意在也包括复数形式。还将理解的是当在本说明书中使用时，术语“包括”和/或“具有”指定所陈述的特征、整体、步骤、操作、要素和/或部件的存在，但是不排除存在或者添加一个或更多个其他特。

17、征、整体、步骤、操作、要素、部件和/或它们的组合。0039在下文中，将参考附图对本发明的示例性实施方式进行详细描述。贯穿全文，附图中相同的附图标记指代相同的要素，并且本文中相同要素的多余描述将被省略。0040图1为示出根据本发明的示例性实施方式的视频编码设备的框图。0041参考图1，视频编码设备100包括图片分割模块105、预测模块110，变换模块115、量化模块120、重排模块125、熵编码模块130、逆量化模块135、逆变换模块140、滤波模块145和存储器150。0042尽管图1中所示的各个要素被独立地示出以代表视频编码设备中不同的独特功能，然而这样的配置不表示每个要素是由单独的硬件组成。

18、或者软件组成构造的。也就是说，为了方便描述而将各个要素独立布置，其中至少两个要素可以组合成单个要素，或者单个要素可以被分成多个执行功能的要素。要注意的是，在不背离本发明本质的情况下，其中一些要素集成为一个组合要素和/或一个要素被分成多个单独要素的实施方式包括在本发明的范围内。0043一些要素对于本发明中的基本功能可能不是必要的并且可能是仅为了改善性能的可选组成。本发明可以通过仅包括对于本发明的实施方式必要的组成来实施，不包括仅用于改善性能的组成。仅包括必要组成而不包括仅用于改善性能的光学组成的结构属于本发明的范围。0044图片分割模块105可以将输入图片分割成至少一个处理单元。在此，处理单元可。

19、说明书CN104067622A4/17页7以是预测单元PU、变换单元TU或编码单元CU。图片分割模块105可以将一个图片分割成编码单元、预测单元和变换单元的多个组合并且基于预定标准例如，成本函数选择编码单元、预测单元和变换单元的一个组合，从而对图片编码。0045例如，一个图片可以分割成多个编码单元。可以使用诸如四叉树结构的递归树结构将图片分割成编码单元。作为具有与根一样的最大尺寸的图片或编码单元，编码单元可以被分割成具有与分割的编码单元一样多的子节点的子编码单元。根据预定约束不再被分割的编码单元成为叶节点。也就是说，假设编码单元仅可以分割成方形，单个编码单元可以被分割成至多四个不同的编码单元。。

20、0046在本发明的实施方式中，编码单元不仅可以用于指代编码的单元而且可以用于指代解码的单元。0047预测单元可以被分割成编码单元中的具有相同尺寸的至少一个正方形形状或矩形形状，或者被分割成使得分割的预测单元的形状与编码单元中的其他预测单元的形状不同。0048当基于编码单元生成要经历帧内预测的预测单元并且该编码单元不是最小编码单元时，可以在不将编码单元分割成多个预测单元NN的情况下执行帧内预测。0049预测模块110可以包括执行帧间预测的帧间预测模块和执行帧内预测的帧内预测模块。预测模块可以确定应该对预测单元执行帧间预测还是帧内预测，并且可以根据所确定的预测方法确定具体的信息例如，帧内预测模式、。

21、运动向量和参考图片等。在此，对其执行预测的处理单元可以与针对其来确定预测方法和具体信息的处理单元不同。例如，可以针对每个预测单元确定预测方法和预测模式，同时可以针对每个变换单元执行预测。可以将生成的预测块与原始块之间的残差值残差块输入变换模块115。此外，用于预测的预测模式信息、运动向量信息等可以连同残差值一起通过熵编码模块130进行编码并且传输给解码设备。当使用具体的编码模式时，可以对原始块进行编码并将其传输至解码设备而无需通过预测模块110生成预测块。0050帧间预测模块可以基于关于当前图片之前和之后的图片中的至少一个图片的信息来针对预测单元进行预测。帧间预测模块可以包括参考图片内插模块、。

22、运动预测模块和运动补偿模块。0051参考图片内插模块可以被提供来自存储器150的参考图片信息并生成少于来自参考图片的整数像素位置单元整数像素单元或者像素单元的像素信息。在亮度像素情况下，可以使用具有变化滤波系数的基于离散余弦变换DCT的8抽头内插滤波器来以1/4像素位置为单位以1/4像素为单位生成少于整数像素单元的像素信息。在色度像素情况下，可以使用具有变化滤波系数的基于离散余弦变换的4抽头内插滤波器来以1/8像素为单位生成少于整数像素单元的像素信息。0052运动预测模块可以基于通过参考图片内插模块进行内插所得到的参考图片来执行运动预测。可以使用各种方法，例如基于全面搜索的块匹配算法FBMA、。

23、三步搜索TSS算法和新三步搜索NTS算法，来计算运动向量。运动向量具有基于内插像素的以1/2像素或者1/4像素为单位的运动向量值。运动预测模块可以使用不同的运动预测方法来对当前预测单元执行预测。可以使用各种方法，例如跳过、合并和改进的运动向量预测AMVP等，来用作运动预测方法。说明书CN104067622A5/17页80053帧内预测模块可以基于与作为当前图片中的像素信息的当前块的相邻的参考像素的信息来生成预测块。当与当前预测单元相邻的块是已经历帧间预测的块并且参考像素是已经历帧间预测的像素时，包括在已经历帧间预测的块中的参考像素信息可以被已经历帧内预测的块中的参考像素信息替换。也就是说，当参。

24、考像素不可用时，关于不可用的参考像素的信息可以被可用的参考像素中的至少一个参考像素替换。0054帧内预测的预测模式包括定向预测模式和非定向预测模式，在定向预测模式下，根据预测方向使用关于参考像素的信息；在非定向预测模式下，在执行预测时不使用方向信息。用于预测亮度信息的模式和用于预测色度信息的模式可以彼此不同。可以使用用于获得亮度信息的帧内预测模式信息或者所预测的亮度信号信息来预测色度信息。0055当在执行帧内预测时预测单元和变换单元具有相同尺寸时，可以基于预测单元的左像素、左上像素和上像素来执行对预测单元的帧内预测。另一方面，当在执行帧内预测时预测单元和变换单元具有不同尺寸时，可以使用参考像素。

25、基于变换单元来执行帧内预测。具有NN分割的帧内预测可以仅对最小编码单元执行。0056在帧内预测方法中，可以在生成预测块之前根据预测模式对参考像素应用自适应帧内平滑滤波器AIS。可以对参考像素应用不同类型的AIS滤波器。在帧内预测方法中，当前预测单元的帧内预测模式可以根据与当前预测单元相邻的预测单元的帧内预测模式来预测。在使用根据相邻预测单元预测的模式信息对当前预测单元的预测模式进行的预测中，当当前预测单元和相邻预测单元具有相同的帧内预测模式时，可以使用预定的标志信息对表示当前预测单元和相邻预测单元具有相同预测模式的信息进行传输。如果当前预测单元和相邻预测单元具有不同的预测模式，则可以通过熵编码。

26、来对关于当前块的预测模式的信息进行编码。0057可以通过预测模块110基于预测单元生成包括关于预测单元的预测块与原始块之间的差异的残差信息的残差块。生成的残差块可以被输入至变换模块115。0058变换模块115可以使用变换方法，例如离散余弦变换DCT或者离散正弦变换DST，来变换包括通过预测模块110基于原始块生成的预测单元的残差信息的残差块。用于变换残差块的变换方法可以基于用于生成残差块的预测单元的帧内预测模式信息来在DCT和DST中确定。0059量化模块120可以量化通过变换模块115变换到频域的值。量化参数可以依赖图片的重要性或者块而改变。从量化模块120输出的值可以提供给逆量化模块13。

27、5和重排模块125。0060对于量化的残差值，重排模块125可以重排系数。0061重排模块125可以通过系数扫描将二维2D的系数块变为一维1D的系数向量。例如，重排模块125可以使用立式扫描UPRIGHTSCANNING将二维系数块变为一维系数向量。取决于变换单元的尺寸和帧内预测模式，可以使用在列方向上的二维系数块的竖直扫描和在行方向上的二维系数块的水平扫描，而非立式扫描。也就是说，所用的扫描方法可以基于变换单元的尺寸和帧内预测模式在立式扫描、竖直扫描和水平扫描中选择。0062熵编码模块130可以基于通过重排模块125获得的值来执行熵编码。可以使用各种编码方法，例如指数哥伦布编码、上下文自适应。

28、可变长度编码CAVLC和上下文自适应二进制算术编码CABAC，用于熵编码。说明书CN104067622A6/17页90063熵编码模块130可以编码各种信息，例如可以从重排模块125和预测模块110获得的编码单元的块类型信息以及残差系数信息、预测模式信息、分割单元信息、预测单元信息、传递单元信息、运动向量信息、参考帧信息、块内插信息和滤波信息。0064熵编码模块130可以对从重排模块125输入的编码单元的系数进行熵编码。0065逆量化模块135和逆变换模块140对通过量化模块120量化得到的值进行逆量化以及对通过变换模块115变换的值进行逆变换。通过逆量化模块135和逆变换模块140生成的残差。

29、可以被加入到通过预测模块110的帧内预测模块、运动向量预测模块和运动补偿模块所预测的预测块，由此生成重构的块。0066滤波模块145可以包括解块滤波器、偏差校正模块和自适应环路滤波器ALF中至少之一。0067解块滤波器145可以去除在重构的图片中各块之间边界处生成的块失真。是否对当前块应用解块滤波器可以基于在块的若干行或者若干列中包括的像素来确定。当解块滤波器应用于块时，可以依赖所需的解块滤波强度来应用强滤波器或弱滤波器。另外，当在应用解块滤波器时执行水平滤波和竖直滤波时，可以并行执行水平滤波和竖直滤波。0068偏差校正模块可以通过像素来校正解块滤波图片与原始图片的偏差。可以使用以下方法来执行。

30、对具体图片的偏差校正将图片的像素分割成预定数目的区域；确定要经历偏差校正的区域；以及向所确定的区域应用偏差校正。或者，可以使用考虑每个像素的边缘信息来应用偏差校正的方法来对具体的图片执行偏差校正。0069ALF可以基于滤波重构图片与原始图片的比较结果来执行滤波。包括在图片中的像素可以分割成预定的组，可以确定应用于每个组的滤波器，并且可以针对每个组执行差分滤波。关于是否应用ALF的信息可以通过每个编码单元CU传递，并且待应用于每个块的ALF的形状和系数可以变化。ALF可以具有各种类型，并且包括在相应滤波器中的许多系数可以变化。此外，可以不管块的特征而向块应用具有相同形式固定形式的ALF滤波器。0。

31、070存储器150可以存储从滤波模块145输出的重构的块或图片，当执行帧间预测时存储的重构的块或图片可以提供给预测模块110。0071图2为示出根据本发明的示例性实施方式的视频解码设备的框图。0072参考图2，视频解码设备200可以包括熵解码模块210、重排模块215，逆量化模块220、逆变换模块225、预测模块230、滤波模块235和存储器240。0073当从视频编码设备输入视频比特流时，可以根据视频编码设备的视频编码处理的逆处理来解码输入的比特流。0074熵解码模块210可以根据视频编码设备的熵编码模块的熵编码处理的逆处理来执行熵解码。例如，对应于视频编码设备所使用的方法，可以使用各种方法。

32、，比如指数哥伦布编码、CAVLC和CABAC，用于熵解码。0075熵解码模块210可以对与编码设备所执行的帧内预测和帧间预测相关联的信息进行解码。0076重排模块215可以基于编码模块的重排方法对被熵解码模块210熵解码的比特流执行重排。重排模块215可以将以一维向量形式表达的系数重构和重排为二维块系数。重排模块215可以设置有与通过编码模块执行的系数扫描相关联的信息以及可以使用基于说明书CN104067622A7/17页10编码模块执行扫描的扫描顺序来逆扫描系数的方法来执行重排。0077逆量化模块220可以基于从编码设备提供的量化参数和重排的块的系数来执行逆量化。0078逆变换模块225可以。

33、执行相对于由变换模块执行的DCT和DST的逆DCT和逆DST，其中已经对通过视频编码设备量化结果执行了DCT和DST。逆变换可以基于通过视频编码设备确定的变换单元来执行。视频编码设备的变换模块可以依赖多个信息要素，例如预测方法、当前块尺寸和预测方向等，来选择性地执行DCT和DST，并且视频解码设备的逆变换模块225可以基于关于通过视频编码设备的变换模块执行的变换的信息来执行逆变换。0079预测模块230可以基于从熵解码模块210提供的预测块生成信息和从存储器240提供的关于先前解码的块或者图片的信息来生成预测块。0080类似于如上所述的视频编码设备的操作，当预测单元和变换单元在执行帧内预测时具。

34、有相同的尺寸时，基于预测单元的左像素、左上像素和上像素来执行对预测单元的帧内预测。另一方面，当预测单元和变换单元在执行帧内预测时具有不同尺寸时，可以使用参考像素基于变换单元来执行帧内预测。具有NN分割的帧内预测可以仅对于最小编码单元执行。0081预测模块230包括预测单元确定模块、帧间预测模块和帧内预测模块。预测单元确定模块可以接收各种信息，例如从熵解码模块输入的预测单元信息、帧内预测方法的预测模式信息和关于帧间预测方法的运动预测相关信息。并且，预测单元确定模块可以确定在当前编码单元中的预测单元，并且可以确定对预测单元执行帧间预测和帧内预测中的哪一个。帧间预测模块可以基于当前图片之前图片和之后。

35、图片中的至少一个图片的信息来对当前预测单元执行帧间预测，包括当前预测单元使用从视频编码设备提供的、当前预测单元的帧间预测所需的信息。0082为了执行帧间预测，可以基于编码单元确定用于包括在编码单元中的预测单元的运动预测方法为跳过模式、合并模式还是AMVP模式。0083帧内预测模块可以基于当前图片中的像素信息生成预测块。当预测单元是对其执行帧内预测的预测单元时，可以基于从视频编码设备提供的关于预测单元的帧内预测模式信息来执行帧内预测。帧内预测模块可以包括AIS滤波器、参考像素内插模块和DC滤波器。AIS滤波器对当前块的参考像素执行滤波，并且可以依赖当前预测单元的预测模式来确定是否应用AIS滤波器。

36、。可以使用预测单元的预测模式和从视频编码设备提供的关于AIS滤波器的信息来对当前块的参考像素执行AIS滤波。当当前块的预测模式是不牵涉AIS滤波的模式时，可以不应用AIS滤波器。0084当预测单元的预测模式是基于通过对参考像素进行内插而获得的像素值执行帧内预测的预测模式时，参考像素内插模块可以通过对参考像素进行内插来以小于整数位置单元的像素单元生成参考像素。当当前预测单元的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式时，可以不对参考像素进行内插。当当前块的预测模式是DC模式时，DC滤波器可以通过滤波生成预测块。0085重构的块或图片可以提供给滤波模块235。滤波模块235可以包。

37、括解块滤波器、偏差校正模块或者ALF。0086可以从视频编码设备提供关于是否对相应的块或图片应用解块滤波器的信息以说明书CN104067622A108/17页11及关于当使用解块滤波器时应用强滤波器和弱滤波器中哪一个的信息。视频解码设备的解块滤波器可以被提供来自视频编码设备的关于解块滤波的信息，并且可以对相应块执行解块滤波。0087偏差校正模块可以基于在编码处理中应用于图片的偏差校正类型和偏差值信息来执行对重构图片的偏差校正。0088可以基于关于是否应用ALF的信息和从编码设备提供的ALF系数信息来将ALF应用于编码单元。可以在特定的参数集中包括和提供ALF信息。0089存储器240可以存储重。

38、构的图片或者块来用作参考图片或者参考块，并且可以将重构的图片提供给输出模块。0090如上所述，在本发明的实施方式中，术语“编码单元CODINGUNIT”用作编码的单元ENCODINGUNIT以及也可以用作解码的单元解码单元DECODINGUNIT。0091如图1和图2中所示，编码设备的变换模块和解码设备的变换模块可以对残差块变换块执行基于块的变换，例如DST或者DCT。0092在此，如果残差块是基于通过帧内预测生成的预测块而生成的，则可以根据预测模式确定变换。0093图3示意性地示出用于帧内预测的预测模式。参考图3，使用两个非定向预测模式和32个定向预测模式来执行帧内预测。0094编码设备和解。

39、码设备可以使用选自两个非定向预测模式、平面模式和DC模式以及对应于图3中所示的方向的32个定向预测模式中的预测模式来对当前块执行帧内预测。0095当使用定向帧内预测模式时，编码设备和解码设备可以基于与当前块相邻的样本中的位于相应方向上的样本来对当前块执行预测以生成预测块。0096因而，如上所述，编码设备和解码设备可以基于用于生成预测块的预测模式来确定变换方法。0097同时，当包括稀疏信号时或当水平和竖直信号具有不同特征时，对于信号，竖直变换或者水平变换可以被跳过，或这两种变换均可以被跳过，从而减少解码设备中处理的复杂度并提高编码效率。0098对于编码设备，变换跳过模式TSM是通过执行所有二维2。

40、D变换、跳过竖直变换或者水平变换或者跳过水平和竖直变换二者以提高编码效率的方法。0099在变换跳过模式中，TS0是对变换块执行二维变换的模式。TS1是仅对变换块中的行执行变换的模式行变换，以及TS2是仅对变换块中的列执行变换的模式列变换。TS3是既不对行执行变换水平变换又不对列执行变换竖直变换的模式。0100对于解码设备，变换跳过模式是执行所有二维逆变换、跳过竖直逆变换或者水平逆变换、或者跳过水平和竖直逆变换二者的方法。0101例如，在解码处理中，在变换跳过模式中，TS0是对变换块执行二维逆变换的模式。TS1是仅对变换块中的行执行逆变换逆行变换的模式，TS2是仅对变换块中的列执行逆变换逆列变换。

41、的模式。TS3是既不对行执行逆变换水平逆变换又不对列执行逆变换竖直逆变换的模式。0102图4示意性地示出变换跳过模式。0103当在编码设备中采用TS0400时，对变换块应用二维变换。在此，当采用TS0400时，说明书CN104067622A119/17页12水平变换可以在竖直变换之前执行或者竖直变换可以在水平变换之前执行。当采用TS1420时，对变换块执行水平变换。当采用TS2440时，对变换块执行竖直变换。当采用TS3460时，对变换块既不执行水平变换又不执行竖直变换。0104当在解码设备中采用TS0400时，对变换块应用二维逆变换。在此，当采用TS0400时，水平逆变换可以在竖直逆变换之前。

42、执行或者竖直逆变换可以在水平逆变换之前执行。当采用TS1420时，对变换块执行水平逆变换。当采用TS2440时，对变换块执行竖直逆变换。当采用TS3460时，对变换块既不执行水平逆变换也不执行竖直逆变换。0105表1示出变换跳过模式下分配给每个模式的代码字。0106表10107TSM行变换列变换代码字注释TS0OO1二维变换TS1O01一维变换TS2O001一维变换TS3000无变换0108当应用变换跳过模式时，可以在不改变或者修改量化矩阵的情况下执行缩放。0109式1示出通过编码设备和解码设备执行的缩放的示例示例。0110式10111YXSCALE偏移移位0112在式1中，X是缩放的目标参数。

43、，以及Y是经缩放的参数值。移位操作因子移位可以在编码设备中自适应的确定或者被预先确定。0113缩放系数SCALE依赖于TU尺寸并且可以基于TU尺寸来确定。表2示出根据块例如TU尺寸的缩放系数。0114表20115N481632SCALE1281812563620116参考表2，可以根据块尺寸NN确定缩放系数，例如，用于44块的缩放系数是128，用于88块的缩放系数是181，用于1616块的缩放系数是256以及用于3232块的缩放系数是362。0117尽管在前面的描述中基于帧内预测模式应用变换跳过模式，但是本发明不限于此，而是变换跳过模式也可以应用于帧间预测。0118当应用帧内预测时可以基于所使。

44、用的帧内预测模式应用变换跳过模式，与此同时当应用帧间预测时可以基于块形状应用变换跳过模式。0119可被应用帧间预测的块形状是2N2N正方形块、NN的最小尺寸块及2NN、说明书CN104067622A1210/17页13N2N、2NNU、2NND、NL2N和NR2N的不对称块，并且可以基于块形状应用变换跳过模式。0120表3示出在帧间预测中可应用的变换跳过模式。0121表30122TSM行变换列变换代码字注释TS0OO1二维变换TS1O01一维变换TS2O001一维变换TS3000无变换0123同时，在变换块被变换后，另一变换可以应用于低频域，方便起见，称其为第二变换。例如，在应用变换后，DST。

45、可以通过每个44块应用于低频域以提高效率。0124根据图3中示出的帧内预测模式，作为第二变换的所应用的DST可以是二维DST、水平DST或者竖直DST。表4根据帧内预测模式示出可应用的DST类型。0125表40126帧内预测模式01234567891011121314151617水平变换类型010110011111001111竖直变换类型100111110011111100帧内预测模式1819202122232425262728293031323334水平变换类型11110000111111111竖直变换类型1111111111110000101270128参考表4，基于帧内预测模式确定执行水。

46、平DST水平变换类型1还是竖直DST竖直变换类型1。0129尽管表4示出了基于帧内预测模式确定执行水平DST还是竖直DST，但是可以不管帧内预测模式通过44块来应用竖直DST和水平DST二者。0130同时，当应用变换跳过模式时，如何应用第二变换可能是一个问题。在此，第二变换可以基于所应用的变换跳过模式来执行。0131例如，第二变换中的DST可以如在变换跳过模式下那样以相同的变换方法执行。在此，作为与在变换跳过模式TSM中所采用的相同的变换方法的示例，可以考虑变换方向。具体地，当二维变换模式TS0被应用作为变换跳过模式时，二维DST可以用作第二变换。说明书CN104067622A1311/17页。

47、14当水平变换TS1被应用作为变换跳过模式时，水平DST可以用作第二变换。当竖直变换TS2被应用作为变换跳过模式时，竖直DST可以用作第二变换。当应用TS3时，也就是说，当既不应用水平变换又不应用竖直变换时，可以不应用第二变换。0132表5示出根据TSM的第二变换类型模式。01330134尽管已经示出在帧内预测中的第二变换，但是本发明不限于此，而是第二变换可以以同样的方式应用在帧间预测中。例如，当已经执行了帧间预测时，也可以基于应用于相应块的变换跳过模式来应用第二变换。具体地，当二维变换模式TS0被应用作为变换跳过模式时，二维DST可以用作第二变换。当水平变换TS1被应用作为变换跳过模式时，水。

48、平DST可以用作第二变换。当竖直变换TS2被应用作为变换跳过模式时，竖直DST可以用作第二变换。当应用TS3时，也就是说，当既不应用水平变换又不应用竖直变换时，可以不应用第二变换。0135图5为示意性地示出根据本发明的采用变换跳过模式和第二变换的编码处理的流程图。0136参考图5，编码设备可以分割输入的图片S510。输入的图片可以被分割成块，例如CU、PU和TU。0137编码设备可以对作为当前块的处理目标块执行预测S520。编码设备可以对当前块执行帧间预测或帧内预测以生成预测块并且基于预测块生成残差块。0138编码设备可以对预测信息进行编码S530。编码设备可以在应用帧间预测时对运动信息进行编。

49、码而在应用帧内预测时对表示帧内预测模式的信息进行编码。0139编码设备可以对残差信号进行变换以及对经变换的残差信号进行编码S540。编码设备可以将变换跳过模式应用于残差信号以及基于变换跳过模式执行第二变换。0140编码设备可以确定要传输的信息S550。编码设备可以通过率失真优化RDO来确定在残差块和变换系数中传输哪一个。0141为了传输变换系数，编码设备可以扫描变换系数S560。变换系数通过扫描被重排。0142编码设备可以对扫描的变换系数进行熵编码S570。编码设备可以以比特流传输经熵编码的变换系数。0143在下文中，详细描述图5中示出的编码处理。0144编码设备可以分割输入图片S510。输入图片是针对编码而分割的。例如，可以将当前图片或帧分割成编码单元CU。0145一个帧间编码单元CU可以包括多个帧间预测单元PU并且具有多个预测模式PREMODE。举例来说，所述多个预测模式可以包括跳过模式MODE_SKIP和帧间模式MODE_INTER。在跳过模式下，可以对于具有PART_2N2N的分割模式PARTMODE的块执行预测，说明书CN104067622A1412/17页15而无需将其分割成更小的预测单元PU。因而，使用关于相邻块的运动信息作为分配给PART_2N2N预测单元PU的运动信息来执行预测，并且不传输残差信号。0146在帧间模式下，编码单元可以包括四种类型的预测单元分割。