用于对每个空间子区域进行视频编码的方法和设备以及用于对每个空间子区域进行视频解码的方法和设备.pdf

提供了一种根据空间细分的视频编码方法和视频解码方法。所述视频编码方法包括：将画面划分为两个或更多个并行块和至少一个条带片段；按照独立于其他并行块的方式对每个并行块进行编码；针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。

1.  一种根据空间细分的视频编码方法，所述方法包括：
将画面划分为两个或更多个并行块和至少一个条带片段；
按照独立于其他并行快的方式对每个并行块进行编码；
针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。

2.  如权利要求1所述的方法，其中，在每个条带片段中执行编码的步骤包括：针对包括在当前并行块中的所述至少一个条带片段中的每个条带片段，对包括在当前条带片段中的多个最大编码单元进行编码，其中，所述至少一个条带片段不跨越当前并行块的边界。

3.  如权利要求1所述的方法，其中，(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中，(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。

4.  如权利要求1所述的方法，其中，当条带片段是非独立片段或是可不使用先前条带片段的条带头部信息的独立条带片段，并且一个条带包括一个独立条带片段和至少一个非独立条带时，(i)包括在一个条带中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中，(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。

5.  一种根据空间细分的视频编码方法，所述方法包括：
针对至少一个条带片段对画面进行编码；
产生条带片段头部，其中，所述条带片段头部包括表示当前条带片段是否是当前画面中的初始条带片段的信息；
如果当前条带片段不是初始条带片段，则将表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息添加到条带片段头部；
发送条带片段中的每个条带片段的条带片段头部和条带片段的符号。

6.  如权利要求5所述的方法，其中，将表示条带片段是否是非独立条带片段的信息添加到条带片段头部的步骤包括：
如果当前条带片段不是非独立条带片段，则将关于当前条带片段的默认信息添加到条带片段头部；
如果当前条带片段是非独立条带片段，则跳过将关于当前条带片段的某些默认信息添加到条带片段头部的步骤。

7.  一种根据空间细分的视频解码方法，所述方法包括：
接收通过将画面划分为两个或更多个并行块和至少一个条带片段并进行编码而获得的比特流；
按照独立于其他并行快的方式对每个并行块进行解码；
针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行解码。

8.  如权利要求7所述的方法，其中，对每个条带片段进行解码的步骤包括：针对包括在当前并行块中的所述至少一个条带片段中的每个条带片段，对包括在当前条带片段中的多个最大编码单元进行解码，并且所述至少一个条带片段不跨越当前并行块的边界。

9.  如权利要求7所述的方法，其中，(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中，(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。

10.  如权利要求7所述的方法，其中，当条带片段是非独立片段或是可不使用先前条带片段的条带头部信息的独立条带片段，并且一个条带包括一个独立条带片段和至少一个非独立条带时，(i)包括在一个条带中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中，(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。

11.  一种根据空间细分的视频解码方法，所述方法包括：
从每个条带片段接收包括条带片段头部和符号的比特流；
从当前条带片段头部解析表示当前条带片段是否是当前画面中的初始条 带片段的信息；
如果当前条带片段不是初始条带片段，则从当前条带片段头部解析表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息；
通过使用从当前条带片段头部解析出的信息和当前条带片段的符号来对当前条带片段进行解码。

12.  如权利要求11所述的方法，其中，解析表示当前条带片段是否是非独立条带片段的信息的步骤包括：
如果当前条带片段不是非独立条带片段，则从当前条带片段头部解析关于当前条带片段的默认信息；
如果根据解析出的信息，当前条带片段是非独立条带片段，则通过使用从先前条带片段头部解析出的信息来确定关于当前条带片段的默认信息。

13.  一种根据空间细分的视频编码设备，所述设备包括：
子区域划分器，用于将画面划分为两个或更多个并行块和至少一个条带片段；
子区域编码器，用于按照独立于其他并行块的方式对每个并行块进行编码，并针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。

14.  一种根据空间细分的视频解码设备，所述设备包括：
子区域接收器，用于接收通过将画面划分为两个或更多个并行块和至少一个条带片段并进行编码而获得的比特流；
子区域解码器，用于按照独立于其他并行块的方式对每个并行块进行解码，并针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行解码。

15.  一种记录有程序的计算机可读记录介质，其中，所述程序用于执行根据权利要求1、5、7和11中的任意一项的方法。

用于对每个空间子区域进行视频编码的方法和设备以及用于对每个空间子区域进行视频解码的方法和设备
技术领域
本发明涉及一种根据空间细分来对视频进行编码/解码的方法。
背景技术
随着用于再现并存储高分辨率或高质量的视频内容的硬件正被开发和供应，对于用于对高分辨率或高质量的视频内容进行有效编码或解码的视频编解码器的需求正在增加。根据常规的视频编解码器，视频根据基于具有预定尺寸的宏块的有限编码方法被编码。
空间域的图像数据经由频率变换被变换为频域的系数。根据视频编解码器，为了频率变换的快速计算，将图像划分为具有预定尺寸的块，针对各个块执行离散余弦变换(DCT)，并以块为单位对频率系数进行编码。与空间区域的图像数据相比，频率区域的系数容易被压缩。具体地讲，由于经由视频编解码器的帧间预测或帧内预测，空间区域的图像像素值根据预测误差来表示，因此当对所述预测误差执行频率变换时，大量数据可被变换为0。根据视频编解码器，通过用小尺寸的数据替换连续且重复产生的数据，可减少数据量。
具体地讲，高清晰度或高图像质量的视频内容的数据大小增加，因此，在对视频进行空间划分之后对视频进行处理的需求也正在增长。
发明内容
技术问题
本发明提供了一种对高清晰度视频的每个空间划分的区域进行有效编码和解码的方法。
解决方案
根据本发明的一方面，提供了一种通过空间细分来对视频进行编码的方法，所述方法包括：将画面划分为两个或更多个并行块(tile)和至少一个 条带片段；按照独立于其他并行块的方式对每个并行块进行编码；针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。
有益效果
基于根据本发明的空间细分的视频编码和解码方法，并行块、条带片段和条带之间的关系被清楚地限定，使得最大编码单元的对处于并行块之间的边界、条带片段之间的边界和条带之间的边界的参考对象的可访问性可被清楚地规定。
此外，由于表示当前条带片段是否是画面的初始条带片段的信息被包括在条带片段头部，并且当条带片段是初始条带片段时表示当前条带片段是否是非独立条带片段的信息未被包括在条带片段头部，因此用于发送头部信息的传输比特量可被减少，并且非必要的用于对头部信息进行解析的解析操作可被跳过。
附图说明
图1A是根据本发明实施例的通过空间细分进行编码的视频编码设备的框图；
图1B是由图1A的视频编码设备执行的视频编码方法的流程图；
图1C是根据本发明的另一实施例的通过空间细分进行编码的视频编码设备的框图；
图1D是示出由图1C的视频编码设备执行的视频编码方法的流程图；
图2A是根据本发明实施例的通过空间细分进行解码的视频解码设备的框图；
图2B是示出由图2A的视频解码设备执行的视频解码方法的流程图；
图2C是根据本发明的另一实施例的通过空间细分进行解码的视频解码设备的框图；
图2D是示出由图2C的视频解码设备执行的视频解码方法的流程图；
图3是示出画面中的并行块和最大编码单元的示图；
图4是示出画面中的条带片段、条带和最大编码单元的示图；
图5A和图5B是用于描述画面中的并行块和条带片段之间的关系的示图；
图6A和图6B是用于描述并行块、条带片段、条带和最大编码单元之间 的关系的示图；
图7是示出根据本发明实施例条带片段头部的语法的示图；
图8是根据本发明实施例的基于根据树结构的编码单元的视频编码设备的框图；
图9是根据本发明实施例的基于根据树结构的编码单元的视频解码设备的框图；
图10是用于描述根据本发明实施例的编码单元的概念的示图；
图11是根据本发明实施例的基于编码单元的图像编码器的框图；
图12是根据本发明实施例的基于编码单元的图像解码器的框图；
图13是示出根据本发明实施例的分区和根据深度的更深编码单元的示图；
图14是用于描述根据本发明实施例的编码单元和变换单元之间的关系的示图；
图15是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的示图；
图16是根据本发明实施例的根据深度的更深编码单元的示图；
图17至图19是用于描述根据本发明实施例的编码单元、预测单元和变换单元之间的关系的示图；
图20是用于描述根据表1的编码模式信息的编码单元、预测单元或分区、和变换单元之间的关系的示图；
图21示出根据本发明实施例的存储程序的盘的物理结构；
图22示出通过使用盘来记录和读取程序的盘驱动器；
图23示出提供内容分发服务的内容供应系统的整体结构；
图24和图25示出根据本发明实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构；
图26示出根据本发明实施例的采用通信系统的数字广播系统；
图27示出根据本发明实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构。
最佳模式
根据本发明的一方面，提供了一种根据空间细分的视频编码方法，所述 方法包括：将画面划分为两个或更多个并行块和至少一个条带片段；按照独立于其他并行块的方式对每个并行块进行编码；针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。
在每个条带片段中执行编码的步骤可包括：针对包括在当前并行块中的所述至少一个条带片段中的每个条带片段，对包括在当前条带片段中的多个最大编码单元进行编码，其中，所述至少一个条带片段不跨越当前并行块的边界。
(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中，(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。
当条带片段是非独立片段或是可不使用先前条带片段的条带头部信息的独立条带片段，并且一个条带包括一个独立条带片段和至少一个非独立条带时，(i)包括在一个条带中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中，(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。
根据本发明的另一方面，提供了一种根据空间细分的视频编码方法，所述方法包括：针对至少一个条带片段对画面进行编码；产生条带片段头部，其中，所述条带片段头部包括表示当前条带片段是否是当前画面中的初始条带片段的信息；如果当前条带片段不是初始条带片段，则将表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息添加到条带片段头部；发送条带片段中的每个条带片段的条带片段头部和条带片段的符号。
将表示条带片段是否可以是非独立条带片段的信息添加到条带片段头部的步骤可包括：如果当前条带片段不是非独立条带片段，则将关于当前条带片段的默认信息添加到条带片段头部；如果当前条带片段是非独立条带片段，则跳过将关于当前条带片段的某些默认信息添加到条带片段头部的步骤。
根据本发明的另一方面，提供了一种根据空间细分的视频解码方法，所述方法包括：接收通过将画面划分为两个或更多个并行块和至少一个条带片 段并进行编码而获得的比特流；按照独立于其他并行块的方式对每个并行块进行解码；针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行解码。
对每个条带片段进行解码的步骤可包括：针对包括在当前并行块中的所述至少一个条带片段中的每个条带片段，对包括在当前条带片段中的多个最大编码单元进行解码，并且所述至少一个条带片段不跨越当前并行块的边界。
(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中，(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。
当条带片段是非独立片段或是可不使用先前条带片段的条带头部信息的独立条带片段，并且一个条带包括一个独立条带片段和至少一个非独立条带时，(i)包括在一个条带中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中，(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。
根据本发明的另一方面，提供了一种根据空间细分的视频解码方法，所述方法包括：从每个条带片段接收包括条带片段头部和符号的比特流；从当前条带片段头部解析表示当前条带片段是否是当前画面中的初始条带片段的信息；如果当前条带片段不是初始条带片段，则从当前条带片段头部解析表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息；通过使用从当前条带片段头部解析出的信息和当前条带片段的符号来对当前条带片段进行解码。
解析表示当前条带片段是否是非独立条带片段的信息的步骤可包括：如果当前条带片段不是非独立条带片段，则从当前条带片段头部解析关于当前条带片段的默认信息；如果根据解析出的信息，当前条带片段是非独立条带片段，则通过使用从先前条带片段头部解析出的信息来确定关于当前条带片段的默认信息。
根据本发明的另一方面，提供了一种根据空间细分的视频编码设备，所述设备包括：子区域划分器，用于将画面划分为两个或更多个并行块和至少一个条带片段；子区域编码器，用于按照独立于其他并行块的方式对每个并 行块进行编码，并针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。
根据本发明的另一方面，提供了一种根据空间细分的视频解码设备，所述设备包括：子区域接收器，用于接收通过将画面划分为两个或更多个并行块和至少一个条带片段并进行编码而获得的比特流；子区域解码器，用于按照独立于其他并行块的方式对每个并行块进行解码，并针对包括在当前并行块中的每个条带片段，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行解码。
根据本发明的另一方面，提供了一种记录有程序的计算机可读记录介质，其中，所述程序用于执行根据以上描述的方法。
具体实施方式
在下文中，将参照图1A至图7描述通过空间细分的视频编码和解码方法。此外，将参照图8至图20描述使用基于具有树结构的编码单元的量化参数确定方法的视频编码方法和视频解码设备。此外，将参照图21至图27描述应用了根据本发明实施例的视频编码方法和视频解码方法的各种实施例。在下文中，术语“图像”可指静止图像或运动画面(即，视频)。
首先，参照图1A至图7，将描述根据本发明实施例的通过空间细分的视频编码方法和通过空间细分的视频解码方法。
图1A是根据本发明实施例的通过空间细分进行编码的视频编码设备101的框图。图1B是示出由图1A的视频编码设备101执行的视频编码方法(105)的流程图。
根据本实施例的视频编码设备101包括子区域划分器102和子区域编码器104。
在操作S106，根据实施例的子区域划分器102可将画面划分为两个或更多个并行块和至少一个条带片段。
在操作S107，根据实施例的子区域编码器104对每个并行块进行独立编码，并可对每个条带片段进行编码。
本实施例的视频编码处理可被分类为源编码处理和熵编码处理，其中，在源编码处理中，由于图像数据的时间和空间的相似性引起的重叠数据被最 小化，在熵编码处理中，通过源编码处理产生的数据的比特串中冗余被最小化。根据本实施例的子区域编码器104以块为单位对组成视频的每个画面执行源编码，以产生编码符号。源编码处理包括以块为单位对空间域的视频数据进行的帧内预测/帧间预测、变换和量化。作为源编码处理的结果，编码符号可在每个块中被产生。例如，编码符号可以是残差分量的经过量化的变换系数、运动矢量、帧内模式类型、帧间模式类型和量化参数。
本实施例的熵编码可被分类为用于将符号变换为比特串的二值化处理和基于上下文对比特串执行算术编码的算术编码处理。基于上下文的自适应二进制算术编码(CABAC)被广泛用作用于符号编码的基于上下文的算术编码方法。根据基于上下文的算术编码/解码，符号比特串的每个比特可以是上下文的容器(bin)，每个比特的位置可被映射到容器索引。比特串的长度(即，容器的长度)可根据符号值的大小而变化。需要用于确定符号的上下文的上下文建模来执行基于上下文的算术编码/解码。
根据符号比特串的比特的位置(即，按每个容器索引)来重建上下文，以执行上下文建模，因此需要复杂的运算处理。这里，上下文建模是分析在每个容器中产生0或1的概率的处理。通过将在新的块中以比特为单位分析符号的概率的结果反映到上下文来更新上下文的处理目前为止可针对每个块被重复执行。作为包括上下文建模结果的信息，将产生概率匹配至每个容器的概率表可被提供。根据本发明实施例的熵编码概率信息可包括上下文建模结果。
因此，当确保了上下文建模信息(即，熵编码概率信息)时，可基于熵编码概率信息的上下文，通过将码分配给块符号的二值化的比特串中的每个比特来执行熵编码。
此外，通过基于上下文的算术编码/解码来执行熵编码，并且符号码概率信息可在每个块中被更新。由于通过使用更新的符号码概率信息来执行熵编码，因此可提高压缩率。
根据本发明的各种实施例的视频编码方法不限于针对“块”的视频编码方法，而是可用于各种数据单元。
为了有效执行视频编码，视频被划分为具有预定尺寸的块并被随后编码。块可具有正方形形状或长方形形状，或者可具有任意的几何形状，但是块不限于具有预定尺寸的数据单元。根据基于具有树结构的编码单元的视频编码 方法，块可以是最大编码单元、编码单元、预测单元、变换单元等。将参照图8至图20描述基于具有树结构的编码单元的视频编码/解码方法。
根据光栅扫描方向对画面中的块进行编码。
子区域划分器102将画面划分为一个或更多个并行块，每个并行块可包括所述画面的多个块之中的根据光栅方向布置的块。所述画面可被划分为按照一个或更多个垂直行的并行块、按照一个或更多个水平行的并行块、或按照一个或更多个垂直行和一个或更多个水平行的并行块。在操作S107中，每个并行块划分空间区域，并且子区域编码器104可对每个并行块进行独立编码，以便对每个空间区域进行编码。
由于每个条带片段包括按照光栅方向排列的块，因此子区域划分器102可通过沿水平方向划分画面来产生条带片段。画面可被划分为一个或更多个条带片段。每个条带片段可通过一个网络自适应层(NAL)被发送。
本实施例的子区域编码器104可对条带片段执行编码。子区域编码器104对包括在每个条带片段中的块顺序地执行编码，以产生块的编码符号。块的编码数据可被包括在将在每个条带片段中被发送的一个NAL单元中。每个并行块可包括至少一个条带片段。如果必要，条带片段可包括至少一个并行块
根据实施例，如果每个条带片段的块是包括根据树结构的编码单元的最大编码单元，则条带片段与并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中；(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，并且同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。在以上条件之中，如果包括在一个条带片段中的最大编码单元被包括在同一并行块中，则可确定条带片段不跨越当前并行块的边界。也就是说，每个条带片段必须被完整地包括在并行块中。也就是说，条带片段的最大编码单元之中的第一个最大编码单元和最后一个最大编码单元可被包括在同一并行块中。具体地讲，如果当前条带片段的第一个最大编码单元位于并行块的中心部分，则当前条带片段必须不跨越当前并行块的边界。
此外，条带片段可被分类为非独立条带片段和独立条带片段。
如果当前条带片段是非独立条带片段，则可执行画面内预测(in-picture prediction)，其中，画面内预测参考在当前条带片段之前被先前编码的先前 条带片段的编码符号。此外，如果当前条带片段是非独立条带片段，则可执行非独立熵编码，其中，非独立熵编码参考先前条带片段的熵信息。
如果当前条带片段是独立条带片段，则不执行参考先前条带片段的编码符号的画面内预测，并且不参考先前条带片段的熵信息。
本实施例的一个条带可包括一个独立条带片段和根据光栅扫描方向而与所述独立条带片段接连的至少一个非独立条带片段。一个独立条带片段可配置一个条带。
根据本发明实施例，如果条带的块和每个条带片段是包括根据树结构的编码单元的最大编码单元，则条带和并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带中的最大编码单元被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元被包括在同一条带中；(iii)包括在一个条带中的最大编码单元被包括在同一并行块中，并且同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。
本实施例的子区域编码器104可按照独立于其他并行块的方式对每个并行块进行编码。在每个并行块中，子区域编码器104可对包括在当前并行块中的最大编码单元顺序地进行编码。
此外，在每个条带片段中，本实施例的子区域编码器104可对当前条带片段中的最大编码单元进行编码。在包括在当前条带片段中的最大编码单元之中，可根据当前并行块中的编码顺序对包括在预定并行块中的最大编码单元进行编码。
在当前条带片段的所有最大编码单元包括在当前并行块中时，本实施例的子区域编码器104可根据当前并行块中的光栅扫描顺序，对包括在当前条带片段中的多个最大编码单元进行编码。在这种情况下，由于当前条带片段不跨越当前并行块的边界，因此当前条带片段的最大编码单元没有位于当前并行块的边界之外。在这种情况下，本实施例的子区域编码器104可对包括在每个并行块中的至少一个条带片段顺序地进行编码，并可根据光栅扫描顺序对包括在每个条带片段中的多个块进行编码。
此外，在当前条带片段包括至少一个并行块的情况下，子区域编码器104可根据当前并行块中的最大编码单元的光栅扫描顺序，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行编码。本实施例的子区域编码器104可对条带片段顺序地进行编码。因此，本实施 例的子区域编码器104对条带片段顺序地进行编码，并对包括在每个条带片段中的块顺序地进行编码，以产生块的编码符号。在条带片段中的每个块中，可执行帧内预测、帧间预测、变换、环路滤波、采样自适应偏移(SAO)补偿和量化。
本实施例的子区域编码器104通过使用在每个条带片段的块中产生的编码符号来执行熵编码。包括在每个条带片段中的块可被顺序地进行熵编码。
为了对在源编码处理期间产生的编码符号(例如，帧内采样、运动矢量和编码模式信息)执行预测编码，可执行画面内预测。在执行了画面内预测的情况下，可对当前编码符号与先前编码符号之间的差值进行编码，而非对当前编码符号进行编码。此外，可对当前采样和邻近采样之间的差进行编码，而非对当前采样进行编码。
此外，为了对在熵编码处理期间产生的熵上下文信息或编码概率信息执行预测编码，可执行非独立熵编码。当执行了非独立熵编码时，在当前熵信息和先前熵信息彼此相等的情况下，对当前熵信息的编码可被跳过。
然而，由于子区域编码器104可对每个并行块独立地进行编码，因此可不对包括在不同并行块中的最大编码单元执行画面内预测或非独立熵编码。
本实施例的视频编码设备101可包括控制子区域划分器102和子区域编码器104的中央处理器(未示出)。此外，子区域划分器102和子区域编码器104可分别被它们自己的处理器(未示出)驱动，并且所述处理器(未示出)可一起操作以便整体操作视频编码设备101。此外，子区域划分器102和子区域编码器104可由视频编码设备101外部的外部处理器(未示出)控制。
本实施例的视频编码设备101可包括存储子区域划分器102和子区域编码器104的输入/输出数据的一个或更多个数据存储单元(未示出)。视频编码设备101可包括控制数据存储单元(未示出)的输入/输出数据的存储器控制器(未示出)。
当根据参照图1A和图1B描述的视频编码方法(105)而被编码的条带片段的比特流被发送时，条带片段头部可被一起发送。
在下文中，以下将参照图1C和图1D描述根据条带片段的特征来发送条带片段头部的方法。参照图1A和图1B的上述被划分为条带片段和块(最大编码单元)、并行块和条带的子区域之间的关系以及对每个子区域执行的编码可被应用于图1C和图1D。
图1C是根据本发明的另一实施例的通过空间细分进行编码的视频编码设备10的框图。图1D是示出由图1C的视频编码设备10执行的视频编码方法11的流程图。
本实施例的视频编码设备10包括条带片段编码器12和条带片段发送器14。本实施例的条带片段编码器12和条带片段发送器14可分别执行源编码处理和熵编码处理。在操作S111中，在将画面划分为至少一个条带片段之后，条带片段编码器12可对每个条带片段进行编码。
例如，如果配置条带片段的块是最大编码单元，则本实施例的条带片段编码器12可根据当前并行块中的光栅扫描顺序，对包括在当前条带片段中的多个最大编码单元进行编码。在操作S113中，条带片段发送器14可产生包括表示当前条带片段是否是当前画面中的初始条带片段的信息的条带片段头部。
关于包括有当前条带片段的当前画面的默认信息可被记录在画面参数集(PPS)中并被发送。具体地讲，PPS可包括表示当前画面是否包括非独立条带片段的信息。因此，当表示当前画面是否包括非独立条带片段的信息被记录在PPS中时，条带片段发送器14可将表示当前条带片段是否是非独立条带片段的信息记录在当前条带片段头部，其中，所述非独立条带片段使用先前条带片段的条带头部信息。
另一方面，如果当前画面的PPS包括表示非独立条带片段未被包括在当前画面中的信息，则当前条带片段头部不包括表示当前条带片段是否是非独立条带片段的信息。
在操作S115，如果当前条带片段不是初始条带片段，则条带片段发送器14可将表示当前条带片段是否是非独立条带片段的信息添加到条带片段头部。
也就是说，在当前画面的PPS包括表示非独立条带片段在当前画面中被使用的信息，并且当前条带片段头部包括表示当前条带片段不是初始条带片段的信息的情况下，表示当前条带片段是否是非独立条带片段的信息可被添加到当前条带片段头部。根据实施例，初始条带片段必须是独立条带片段。因此，如果当前条带片段是初始条带片段，则条带片段发送器14可跳过将表示条带片段是否是非独立条带片段的信息添加到当前条带片段头部的步骤。因此，条带片段发送器14可通过将表示条带片段是否是初始条带片段的信息 和关于当前条带片段的默认信息添加到条带片段头部，发送用于初始条带片段的条带片段头部。
因此，在非独立条带片段可在当前画面中被使用并且当前条带片段不是初始条带片段的情况下，表示当前条带片段是否是非独立条带片段的信息可被添加到当前条带片段头部。
然而，如果当前条带片段不是初始条带片段，而是非独立条带片段，则关于条带片段的默认信息中的某些默认信息可能与先前条带片段头部信息的某些默认信息相同。因此，当前条带片段头部包括表示当前条带片段是否是初始条带片段或者是否是非独立条带片段的信息，并且将与先前条带片段头部的信息相同的信息插入到当前条带片段头部的步骤可被跳过。
根据实施例，如果当前条带片段不是非独立条带片段，则当前条带片段头部还可包括针对当前条带片段的各种头部信息，同时包括表示当前条带片段是否是非独立条带片段的信息。
例如，条带片段发送器14可将用于熵编码的上下文的量化参数和初始概率信息记录在条带片段头部，并发送所述条带片段头部。
然而，如果当前条带片段是非独立条带片段，则条带片段发送器14可执行参考先前条带片段的编码符号的画面内预测，其中，所述先前条带片段在当前条带片段之前被编码。在当前条带片段是非独立条带片段时，条带片段发送器14可执行参考被先前编码的条带片段的熵信息的非独立熵编码。
因此，在当前条带片段是非独立条带片段时，条带片段发送器14不将量化参数和初始概率信息记录在当前条带头部的条带片段头部。因为非独立条带片段的量化参数和初始概率信息可被初始化为记录在被先前编码的独立条带片段的头部信息中的量化参数和初始概率信息。
如果当前条带片段是独立条带片段，则因为画面内预测不被执行，所以条带片段发送器14可输出当前条带片段的编码符号的比特流，而不考虑先前条带片段。如果当前条带片段是独立条带片段，则条带片段发送器14可输出当前条带片段的熵信息，而不考虑被先前编码的邻近条带片段的熵信息。例如，如果当前条带片段是独立条带片段，则量化参数和初始概率信息必须被记录在当前条带片段头部中。
在操作S117，条带片段发送器14可针对每个条带片段发送条带片段的符号和条带片段头部。
本实施例的视频编码设备10可包括总体控制条带片段编码器12和条带片段发送器14的中央处理器(未示出)。此外，条带片段编码器12和条带片段发送器14可分别由它们自己的处理器(未示出)来驱动，并且所述处理器(未示出)可一起操作，以操作视频编码设备10。此外，条带片段编码器12和条带片段发送器14可由视频编码设备10外部的外部处理器(未示出)来控制。
本实施例的视频编码设备10可包括存储条带片段编码器12和条带片段发送器14的输入/输出数据的一个或更多个数据存储单元(未示出)。视频编码设备10可包括用于控制数据存储单元(未示出)的输入/输出数据的存储器控制器(未示出)。
以下将参照图2A和图2B来描述通过使用如参照图1A和图1B所描述的在其中数据根据空间细分被编码的比特流来对视频进行解码的处理。图1A和图1B中的被定义为空间细分的条带片段、并行块和条带的概念可被应用于以下将描述的视频解码处理。
图2A是根据本发明实施例的根据空间细分进行解码的视频解码设备201的框图。图2B是示出由图2A的视频解码设备201执行的视频解码方法(205)的流程图。
本实施例的视频解码设备201包括子区域接收器202和子区域解码器204。
在操作S206，子区域接收器202可接收作为将画面划分为两个或更多个并行块和至少一个条带片段并对所述划分进行编码的处理的结果而产生的比特流。所述比特流可以是按每个条带片段产生的数据和按每个并行块产生的数据。
本实施例的子区域接收器202可从比特流解析针对每个条带片段的编码符号。此外，本实施例的子区域接收器202可从比特流解析针对每个并行块的编码符号。在下文中，将参照操作S207和S208描述由子区域解码器204在每个并行块和条带片段中执行解码操作的处理。
在操作S207，子区域解码器204可通过使用从比特流解析出的并行块的编码符号来对并行块进行解码。此外，在操作S208，本实施例的子区域解码器204可通过使用从比特流解析出的条带片段的编码符号来对当前条带片段进行解码。
最后，子区域解码器204可通过将在操作S207和操作S208中重构的并行块和条带片段进行组合来重构画面。
当本实施例的子区域解码器204通过一个NAL单元接收每个条带片段时，块的编码数据可被包括在每个条带片段中。根据本实施例，每个并行块可包括至少一个条带片段。如果必要，条带片段可包括至少一个并行块。
根据实施例，如果每个条带片段中的块是包括根据树结构的编码单元的最大编码单元，则条带片段和并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中，(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，并且包括在一个并行块中的最大编码单元可被包括在同一条带片段中。在上述条件之中，如果(i)包括在一个条带片段中的最大编码单元被包括在同一并行块中，则条带片段可被确定为不跨越当前并行块的边界。也就是说，每个条带片段必须完整地包括在并行块中。也就是说，条带片段中的第一个最大编码单元和最后一个最大编码单元可被包括在同一并行块中。具体地讲，如果当前条带片段的第一个最大编码单元位于并行块的中心，则当前条带片段必须不跨越当前并行块的边界。
根据本发明实施例，如果条带的块和每个条带片段是包括根据树结构的编码单元的最大编码单元，则条带和并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带中的最大编码单元被包括在同一并行块中，(ii)包括在一个并行块中的最大编码单元被包括在同一条带中，(iii)包括在一个条带中的最大编码单元被包括在同一并行块中，并且同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。
本实施例的子区域解码器204可按照独立于其他并行块的方式对每个并行块进行解码。在一个NAL单元中，包括在当前并行块中的最大编码单元可被顺序解码。
本实施例的子区域解码器204可对每个条带片段和并行块中的最大编码单元执行熵解码，以解析用于每个最大编码单元的编码符号。包括在条带片段和并行块中的最大编码单元被顺序地熵解码，以解析用于每个最大编码单元的编码符号。
因此，本实施例的子区域解码器204可对当前条带片段中的最大编码单 元进行解码。子区域解码器204可通过使用在每个条带片段中解析出的最大编码单元的编码符号，根据光栅扫描方向来对最大编码单元顺序地进行解码。
此外，当前条带片段中所包括的最大编码单元之中的包括在预定并行块中的最大编码单元可根据当前并行块中的解码顺序被解码。
在当前条带片段的全部最大编码单元被包括在当前并行块中时，本实施例的子区域解码器204可根据当前并行块的光栅扫描顺序来对包括在当前条带片段中的多个最大编码单元进行解码。在这种情况下，当前条带片段不跨越当前并行块的边界。本实施例的子区域解码器204对包括在每个并行块中的至少一个条带片段顺序地进行解码，并可根据光栅扫描顺序对包括在条带片段中的多个最大编码单元进行解码。
此外，如果当前条带片段包括至少一个并行块，则子区域解码器204可根据当前并行块中的最大编码单元的光栅扫描顺序，对当前条带片段中所包括的最大编码单元之中的包括在当前并行块中的最大编码单元进行解码。
可通过使用编码符号(诸如针对每个最大编码单元解析出的帧内采样、运动矢量和编码模式信息)来执行画面内预测。通过画面内预测，可通过将当前编码符号和先前编码符号之间的差与先前编码符号的重构值进行组合来确定当前编码符号的重构值。此外，可通过将当前采样和先前采样之间的差与被先前重构的邻近采样的重构值进行组合来确定当前采样的重构值。
可通过反量化、逆变换和帧内预测/运动补偿来执行使用最大编码单元的编码符号的解码操作。例如，每个最大编码单元的编码符号的反量化被执行以重构变换单元的变换系数，并且变换单元的变换系数被逆变换以重构预测单元的残差信息。可通过使用残差信息中的帧内采样来执行帧内预测。此外，可通过运动补偿来重构当前预测单元的采样，其中，在所述运动补偿中，通过运动矢量指定的另一重构的预测单元与残差信息被组合。此外，可对最大编码单元执行SAO补偿和环路滤波。
因此，本实施例的子区域解码器204可根据并行块中的解码顺序，对每个条带片段和每个并行块中的最大编码单元顺序地进行解码。
根据实施例，如果并行块包括至少一个条带片段，则每个条带片段中的最大编码单元被解码，以重构每个条带片段，然后，重构结果被组合以重构一个并行块。
此外，根据实施例，如果条带片段包括至少一个并行块，则每个并行块 的最大编码单元被解码以重构并行块，并且并行块的重构结果被组合以重构条带片段。
本实施例的子区域解码器204可重构由重构的并行块或重构的条带片段组成的画面。
以下将参照图2C和图2D描述通过使用如参照图1C和图1D所描述在其中数据根据空间细分被编码的比特流对视频进行解码的处理。图1C和图1D中被定义为空间细分的条带片段、并行块和条带的概念可被应用于以下将描述的视频解码方法。
当接收根据参照图2A和图2B描述的视频解码方法(205)而解码的条带片段的比特流时，条带片段头部可被一起接收。在下文中，将参照图2C和图2D描述通过使用条带片段头部对视频进行解码的处理。
图2C是根据本发明的另一实施例的通过空间细分进行解码的视频解码设备20的框图。图2D是由图2C的视频解码设备20执行的视频解码方法(21)的流程图。
本实施例的视频解码设备20包括条带片段解析器22和条带片段解码器24。图2C和图2D示出条带片段；然而，以上将参照图2A和图2B描述了条带片段和并行块之间的关系以及条带片段。
在操作S211，本实施例的视频解码设备20可接收通过按条带片段单元对画面进行编码而产生的比特流。每个条带片段的比特流可包括条带片段头部和编码符号。根据本实施例的条带片段解析器22可接收每个条带片段的比特流，其中，所述比特流包括条带片段头部和符号。本实施例的条带片段解析器22可对比特流中的当前条带片段的符号进行解析。根据本实施例的条带片段解析器22可对比特流中的当前条带片段的条带片段头部进行解析，并可从条带片段头部解析关于当前条带片段的各条头部信息。
在下文中，以下将参照操作S213和S217描述根据条带片段的特征通过条带片段解析器22来对条带片段头部进行解析的方法。
在操作S213，本实施例的条带片段解析器22可从当前条带片段的条带片段头部解析表示当前条带片段是否是当前画面中的初始条带片段的信息。
如果条带片段解析器22从解析的信息确定当前条带片段不是初始条带片段，则所述处理进行到操作S215。
在操作S215，如果当前条带片段不是初始条带片段，则条带片段解析器 22还可从当前条带片段头部解析表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息。
然而，可从关于包括当前条带片段的当前画面的PPS解析出表示当前画面是否包括非独立条带片段的信息。因此，在表示当前画面包括非独立条带片段的信息从当前画面的PPS被解析出的情况下，条带片段解析器22可从当前条带片段头部解析表示当前条带片段是否是非独立条带片段的信息。
另一方面，如果从当前画面的PPS解析出表示当前画面不使用非独立条带片段的信息，则表示当前条带片段是否是非独立条带片段的信息不从当前条带片段头部被解析。
因此，如果从当前画面的PPS解析出表示当前画面包括非独立条带片段的信息，并且在操作S213解析出表示当前条带片段不是初始条带片段的信息，则条带片段解析器22还可从当前条带片段解析表示当前条带片段是否是非独立条带片段的信息。也就是说，如果当前画面包括非独立条带片段并且当前的非独立条带片段不是初始条带片段，则还可从当前条带片段头部解析表示当前条带片段是否是非独立条带片段的信息。
在操作S213，如果条带片段解析器22从解析出的信息确定当前条带片段是初始条带片段，则表示当前条带片段是否是非独立条带片段的信息不从当前条带片段头部被解析。由于初始条带片段不能是非独立条带片段，因此在不使用解析信息的情况下初始条带片段可被确定为独立条带片段。因此，如果当前条带片段是初始条带片段，则本实施例的条带片段解析器22还可从画面的初始条带片段头部解析表示条带片段是否是初始条带片段的信息和关于当前条带片段的默认信息。
如果条带片段解析器22从自当前条带片段头部解析出的信息读出当前条带片段是非独立条带片段，则条带片段解析器22可将从先前条带片段头部解析出的头部信息中的某些头部信息确定为当前条带片段的默认信息。
如果条带片段解析器22从自当前条带片段头部解析出的信息确定当前条带片段不是非独立条带片段，则条带片段解析器22可从当前条带片段头部解析当前条带片段的各条头部信息。
在操作S217，本实施例的条带片段解码器24可通过使用从当前条带片段头部解析出的信息和当前条带片段的符号来对当前条带片段进行解码。
此外，本实施例的条带片段解码器24可重构包括在每个并行块中的至少 一个条带片段，并可通过组合重构的并行块来重构画面，其中，所述至少一个条带片段包括通过操作S217中的解码操作重构的当前条带片段。
在包括在每个并行块中的每个条带片段中，本实施例的条带片段解析器22可根据光栅扫描顺序来对当前条带片段中包括的多个块的符号进行解析。此外，本实施例的条带片段解码器24可通过使用根据块的光栅扫描顺序而解析出的块的符号，根据光栅扫描顺序对块进行解码。
本实施例的条带片段解析器22可对每个条带片段的比特流执行熵解码，以解析用于每个最大编码单元的编码符号。包括在条带片段中的最大编码单元可被顺序熵解码，以解析每个最大编码单元的编码符号。
因此，本实施例的条带片段解码器24可通过使用每个条带片段中的最大编码单元的解析出的编码符号，根据光栅扫描顺序对每个最大编码单元顺序地执行解码。
因此，本实施例的条带片段解码器24可对每个条带片段中的最大编码单元顺序地进行解码以重构每个条带片段，并可重构由重构的条带片段组成的画面。
如以上参照图1A至图2B所描述的，画面可被划分为并行块或条带片段。并行块是用于在每个空间细分单元中对画面进行独立编码/解码的数据单元，条带片段是为了传送数据而划分的单元。因此，在对并行块进行编码/解码期间，在邻近并行块之间的边界处，可不参考其他并行块的编码信息。然而，在条带片段的编码/解码处理中，在邻近条带片段之间的边界处，可选择性地参考其他条带片段的编码信息。
因此，由于在执行预测编码的步骤中，条带片段和并行块的特征彼此不同，因此当条带片段和并行块彼此空间重叠时会存在问题。例如，如果一个条带片段包括并行块之间的边界，则同一条带片段的块基于并行块之间的边界可能位于不同的并行块中。在这种情况下，不清楚跨越并行块之间的边界的块是否可通过彼此参考而被编码/解码。
因此，根据本实施例的视频编码设备101和视频解码设备201，并行块、条带片段和条带之间的关系被清楚地定义，使得对处于并行块之间、条带片段之间以及条带之间的边界处的最大编码单元的参考的可访问性可被清楚的规定。
此外，由于初始条带片段总是独立条带片段，因此不需要确定初始条带 片段是否是非独立条带片段。因此，根据参照图1C、图1D、图2C和图2D描述的视频编码设备10和视频解码设备20，表示当前条带片段是否是画面的初始条带片段的信息被包括在条带片段头部，并且在初始条带片段的情况下，表示当前条带片段是否是非独立条带片段的信息可不包括在条带片段头部。因此，可减少用于传送不必要的头部信息的传输比特量，并且可跳过不必要的用于读取头部信息的解析信息。
在下文中，以下将参照图3至图6B描述作为在根据本发明实施例的视频编码设备101和视频解码设备201中使用的子区域的条带片段、并行块和条带之间的关系。
图3示出画面中的并行块和最大编码单元。
当对通过按照垂直方向和水平方向中的至少一个划分画面301而产生的每个区域执行编码和解码时，每个区域可被称为并行块。为了实时处理高清(HD)视频或超高清(UHD)视频的大量数据，画面301可被划分为至少一列和至少一行以产生并行块，并可对每个并行块执行编码和解码。
在画面301中，由于每个并行块是被独立编码/解码的空间区域，因此处于期望区域的并行块可被选择性地编码/解码。
在图3中，画面301可按照列边界321和323以及行边界311和313被划分为并行块。被列边界321和323中的一个以及行边界311和313中的一个围绕的区域包括并行块。
如果画面301被划分为并行块来进行编码，则关于列边界321和323以及行边界311和313的位置的信息可被记录在序列参数集(SPS)或PPS中并被发送。当对画面301进行解码时，从SPS或PPS解析关于列边界321和323以及行边界311和313的位置的信息以对每个并行块进行解码，然后，重构画面301的每个子区域，并且通过使用关于列边界321和323以及行边界311和313的信息将子区域重构为画面301。
画面301被划分为最大编码单元(LCU)，并且对每个块执行编码。因此，通过按列边界321和323以及行边界311和313划分画面301而产生的每个并行块可包括最大编码单元。划分画面301的列边界321和323以及行边界311和313沿邻近最大编码单元之间的边界延伸，并且因此不划分最大编码单元。因此，每个并行块可包括整数数量的最大编码单元。
因此，可在针对画面301中的每个并行块执行处理的同时，对每个并行 块中的每个最大编码执行编码/解码。在图3中，表示最大编码单元的数字字符表示并行块中的最大编码单元的扫描顺序，也就是说，用于被编码或解码的处理顺序。
考虑到并行块的编码和解码彼此独立地被执行，可将并行块与条带片段和条带进行比较。在下文中，将参照图4描述条带片段和条带。
图4示出画面401中的条带片段、条带和最大编码单元。
画面401被划分为多个最大编码单元。在图4中，画面401被划分为117个最大编码单元，即，水平方向上13个，垂直方向上9个。每个最大编码单元可被划分为具有树结构的编码单元以进行编码/解码。
画面401按边界线411被划分为两个条带。此外，画面401按边界线421、423和411被划分为条带片段431、433、435和441。
条带片段431、433、435和441可被分类为非独立条带片段和独立条带片段。在非独立条带片段中，可参考在预定条带片段的源编码处理和熵编码处理期间使用或产生的信息，以便执行其他条带片段的源编码和熵编码。同样，可参考非独立条带片段之中的预定条带片段的熵解码处理中的解析信息以及在源解码中使用或重构的信息，以便对其他条带片段执行熵解码和源解码。
在独立条带片段中，完全不参考在每个条带片段的源编码和熵编码中使用或产生的信息，并且独立条带片段被独立编码。同样，在独立条带片段的熵解码和源解码中，完全不使用其他条带片段的解析信息和重构信息。
表示条带片段是非独立条带片段还是独立条带片段的信息可被记录在条带片段头部并被发送。当对画面401进行解码时，关于条带片段类型的信息从条带片段头部被解析出，并且可根据条带片段的类型来确定是通过参考其他条带片段来重构当前条带片段还是按照独立于其他条带片段的方式对当前条带片段进行解码。
具体地讲，可不从先前条带片段的头部信息推导独立条带片段中的条带片段头部的语法元素的值(即，头部信息)。然而，可从先前条带片段的头部信息推导出非独立条带片段中的条带片段头部的头部信息。
每个条带可包括整数数量的最大编码单元。此外，一个条带可包括至少一个条带片段。如果一个条带仅包括一个条带片段，则所述一个条带片段可以是独立条带片段。此外，一个条带可包括一个独立条带片段和与所述独立 条带片段紧接的至少一个非独立条带片段。包括在一个条带中的所述至少一个条带片段可经由同一访问单元被发送/接收。
画面401的上部条带包括一个独立条带片段431和两个非独立条带片段433和435。画面401的下部条带仅包括一个独立条带片段441。
图5A和图5B示出画面50中的并行块和条带片段之间的关系。
在图3中，画面301按列边界321和323以及行边界311和313被划分以形成并行块。然而，如图5A中所示，画面50可仅按列边界51和53被划分。也就是说，画面50按两个列边界51和53被划分以产生三个并行块，即，并行块#1、并行块#2和并行块#3。此外，并行块#1可按两个行边界52和54被划分以形成三个条带片段511、513和515。
也就是说，通过沿水平方向划分并行块来产生条带片段，并且通过沿垂直方向划分画面50来产生并行块。
条带片段511、513和515中的每个条带片段包括整数数量的最大编码单元。此外，可通过对当前并行块进行划分来获得条带片段511、513和515中的每个条带片段，以便包括根据当前并行块中的最大编码单元的扫描顺序布置的最大编码单元。条带片段511、5153和515中的每个条带片段中的最大编码可被包括在一个NAL单元中。因此条带片段511、513和515中的每个条带片段可被独立发送/接收和编码/解码。
下面将参照图5B描述并行块和条带片段之间的包含关系。画面525被划分为两个并行块#1和#2以及三个条带片段0、1和2。由于在不同的并行块之间可不执行彼此参考的画面内预测和非独立熵编码，因此并行块#2可不参考并行块的边界以外的并行块#1的编码符号和熵信息。
然而，在根据扫描顺序对条带片段0、1和2的最大编码单元进行编码的同时，画面525的条带片段0、1和2需要参考其他最大编码单元的编码符号和熵信息。由于条带片段1跨越并行块#1和并行块#2，因此条带片段1的一些最大编码单元可能不参考包括在不同并行块中的其他最大编码单元的编码符号或熵信息。因此，画面525中的并行块#1和并行块#2以及条带片段1的配置不合适。
画面535包括两个并行块#3和#4以及四个条带片段3、4、5和6。此外，并行块#3包括两个条带片段3和4，并且并行块#4包括两个条带片段5和6。
条带片段3和条带片段4完整地包含在并行块#3中，条带片段5和条带 片段6完整地包括在并行块#4中。因此，条带片段3、条带片段4、条带片段5和条带片段6不跨越并行块#3和并行块#4之间的边界。
根据包括并行块#3和并行块#4以及条带片段3、条带片段4、条带片段5和条带片段6的画面535的结构，可保证每个条带片段中的画面内预测和熵预测的依赖性。
例如，由于条带片段3的最大编码单元和条带片段4的最大编码单元包括在同一并行块#3中，因此可根据扫描顺序分别对最大编码单元顺序地进行编码或解码。条带片段3和条带片段4的最大编码单元可参考包括在同一条带片段中的其他最大编码单元的编码符号或熵信息。
此外，由于并行块#3中的条带片段3和条带片段4按照陈述的顺序被编码或解码，因此如果条带片段4是非独立条带片段，则可通过使用条带片段3的编码符号或熵信息对条带片段4进行编码或解码。
并行块#3和并行块#4可在不彼此相互参考的情况下彼此独立地被编码或解码。
此外，条带片段5和条带片段6可按指定的顺序在并行块#4中被编码或解码。由于条带片段5的最大编码单元和条带片段6的最大编码单元被包括在同一并行块#4中，因此条带片段5和条带片段6中的每个条带片段可根据扫描顺序被编码或解码。条带片段5和条带片段6的最大编码单元可参考包括在同一条带片段中的最大编码单元的编码符号或熵信息。
由于条带片段5是可不参考并行块#3的独立条带片段，因此可通过使用初始化的熵信息对条带片段5进行熵编码或熵解码。如果条带片段6是非独立条带片段，则可通过使用条带片段5的熵信息对条带片段6进行熵编码或熵解码。在画面内预测的情况下，条带片段5被独立地处理，并且条带片段6可参考条带片段5的信息。
图6A和图6B示出并行块、条带片段和最大编码单元之间的关系。
包括在当前并行块中的条带片段可被定位以便不跨越当前并行块的边界。也就是说，条带片段可被包括在并行块中。
此外，包括一个独立条带片段的条带或包括一个独立条带片段和至少一个非独立条带片段的条带可被定位以使包括在条带中的条带片段不跨越包括相应条带片段的当前并行块的边界。也就是说，条带可被包括在并行块中。
然而，如果条带或条带片段完整地包括当前并行块，则可允许条带或条 带片段比当前并行块更大。
如果配置每个条带片段、每个并行块和每个条带的编码单元是包括根据树结构的编码单元的最大编码单元，则可通过使用最大编码单元来如下限定条带片段、条带和并行块之间的关系：
每个并行块和每个条带片段中的根据扫描顺序被编码(解码)的最大编码单元必须满足以下条件中的一个条件：
(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中；
(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中；
(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，并且包括在一个并行块中的最大编码单元可被包括在同一条带片段中。
此外，在每个条带和每个并行块中根据光栅扫描顺序被编码(解码)的最大编码单元必须满足以下条件中的一个条件：
(a)包括在一个条带中的最大编码单元可被包括在同一并行块中；
(b)包括在一个并行块中的最大编码单元可被包括在同一条带中；
(c)包括在一个条带中的最大编码单元可被包括在同一并行块中，并且包括在一个并行块中的最大编码单元可被包括在同一条带中。
参照图6A，画面60按条带片段边界603、605、607和609被划分为五个条带片段611、613、615、617和619。此外，按一个独立条带片段611和四个非独立条带片段613、615、617和619来配置条带，因此，画面60包括一个条带。
此外，画面60按并行块边界601被划分为两个并行块。因此，左并行块包括三个条带片段611、613和615，右并行块包括两个条带片段617和619。
将如下考虑条带片段611、条带片段613、条带片段615、条带片段617和条带片段619以及并行块中的最大编码单元是否满足条件i、ii、和iii中的一个条件。由于条带片段611、条带片段613和条带片段615的最大编码单元被包括在左并行块中，因此所述最大编码单元满足条件i。此外，条带片段617和条带片段619的最大编码单元被包括在右并行块中，因此所述 最大编码单元满足条件i。
然后，将如下考虑条带和并行块的最大编码单元是否满足条件a、b和c中的一个条件：由于左并行块的最大编码单元被包括在一个条带中，因此条件b被满足。此外，由于右并行块中的最大编码单元被包括在一个条带中，因此条件b被满足。
参照图6B，画面65按照并行块边界651被划分为两个并行块，即，左并行块和右并行块。此外，画面65按照条带边界66和68被划分为三个条带，因此左并行块基于条带边界66被划分为左上条带和左下条带，右并行块可配置一个右条带。
左上条带基于条带片段边界663可被划分为一个独立条带片段661和一个非独立条带片段665。左下条带基于条带边界683可被划分为一个独立条带片段681和一个非独立条带片段685。右条带基于条带片段边界693可被划分为一个独立条带片段691和一个非独立条带片段695。
将如下考虑条带片段661、条带片段665、条带片段681、条带片段685、条带片段691和条带片段695以及并行块中的最大编码单元是否满足条件i、ii和iii中的一个条件：由于条带片段661和条带片段665的最大编码单元被包括在左并行块中，因此所述最大编码单元满足条件i。此外，条带片段681和条带片段685的最大编码单元被包括在左并行块中，所述最大编码单元满足条件i。此外，条带片段691和条带片段695的最大编码单元被包括在右并行块中，条件i被满足。
然后，将如下考虑条带和并行块的最大编码单元是否满足条件a、b和c中的一个条件：由于左上条带的最大编码单元被包括在左并行块中，因此条件a被满足。此外，由于左下条带中的最大编码单元被包括在左并行块中，因此条件a被满足。此外，由于右条带的最大编码单元被包括在右并行块中并且右并行块的最大编码单元被包括在右条带中，因此条件c被满足。
在下文中，以下将参照图7描述参照图1C、图1D、图2C和图2D所描述的视频编码设备10和视频解码设备20所使用的条带片段头部。
图7示出根据本发明实施例的条带片段头部70的语法。
本发明实施例的视频编码设备10可产生包括关于当前条带片段的各条头部信息的条带片段头部70。例如，条带片段头部70可包括对包括在当前条带片段中的画面进行解码所需的默认信息，例如，当前PPS标识信息、关 于包括在当前条带片段中的画面的数量的信息、关于多个画面中的参考画面的数量的信息和是否使用差运动矢量的信息。
根据本实施例的视频编码设备10可将表示当前条带片段是否是当前画面中的初始条带片段的信息71记录在条带片段头部70中。
本实施例的视频解码设备10可根据信息71是否表示当前条带片段不是初始条带片段(73)，将表示当前条带片段是否是非独立条带片段的信息75添加到条带片段头部70。例如，如果信息71表示当前条带片段不是初始条带片段，则表示当前条带片段是否是非独立条带片段的信息75可被添加到条带片段头部70。
由于初始条带片段是根据实施例的独立条带片段，因此如果当前条带片段是初始条带片段，则表示当前条带片段是否是非独立条带片段的信息不需要被传送。因此，视频编码设备10不需要在表示条带片段是否是初始条带片段的信息之后添加信息75，而是将关于当前条带片段的默认信息添加到条带片段头部70，并发送条带片段头部70。
然而，如果当前条带片段不是初始条带片段，而是非独立条带片段，则视频编码设备10可在跳过关于条带片段的默认信息中的一些默认信息之后发送条带片段头部70。
如果当前条带片段既不是初始条带片段也不是非独立条带片段，也就是说，如果当前条带片段是独立条带片段，则视频编码设备10可在发送条带片段头部70之前将关于当前条带片段的默认信息记录在条带片段头部70中。
由根据本发明实施例的视频解码设备20解析条带片段头部70的处理与由视频编码设备10产生条带片段头部的处理相似。
本实施例的视频解码设备20可从条带片段头部70解析表示当前条带片段是否是当前画面中的初始条带片段的信息71。
视频解码设备20确定信息71是否表示当前条带片段不是初始条带片段(73)。基于信息71，如果确定当前条带片段是初始条带片段，则可跳过解析表示当前条带片段是否是非独立条带片段的信息75的处理，然后，可进一步解析其他头部信息。
然而，如果基于信息71确定当前条带片段不是初始条带片段(73)，则表示当前条带片段是否是非独立条带片段的信息75可从条带片段头部70被进一步解析出。
如果基于信息71和信息75确定当前条带片段不是初始条带片段，而是非独立条带片段，则视频解码设备20可仅从当前条带片段头部70解析关于当前条带片段的默认信息中的一些默认信息。视频解码设备20可通过使用从先前的条带片段头部获取的信息来确定未包括在当前条带片段头部70中的信息。
如果基于信息71和信息75确定当前条带片段不是初始条带片段，而是独立条带片段，则视频解码设备20可从条带片段头部70解析关于当前条带片段的所有默认信息。
然而，在当前画面的PPS包括表示当前画面可包括非独立条带片段的信息的情况下，图7中示出的条带片段头部70被获得。如以上参照图1B和图2B所描述的，仅当包括当前条带片段的当前画面的PPS包括表示当前画面可包括非独立条带片段的信息时，条带片段头部70可包括表示当前条带片段是否是非独立条带片段的信息75。
因此，仅当表示当前画面可包括非独立条带片段的信息从当前画面的PPS被解析出，并且从条带片段头部70解析出的信息71表示当前条带片段不是初始条带片段时，表示当前条带片段是否是非独立条带片段的信息75可从条带片段头部70被进一步解析出。因此，视频根据空间细分被编码，并且相应地，配置并行块的最大编码单元可被包括在条带片段中，其中，所述空间细分包括满足上述条件的条带片段、并行块和条带。由于包括在当前条带片段中的最大编码单元根据并行块中的最大编码单元的扫描顺序被解码，因此当前条带片段可被解码。
此外，在包括在一个并行块中的条带片段的情况下，在对独立条带片段进行解码之后，可通过使用所述独立条带片段的解码结果对非独立条带片段进行解码。当独立条带片段被解码时，通过参考位于条带片段边界以外的其他条带片段，熵解码或画面内预测不被执行。因此，可跳过识别在条带片段边界周围获取的用于执行熵解码或画面内预测的熵信息、编码符号和采样的参考可能性的处理。因此，不需要将用于识别处于条带片段边界的邻近块之间的预测可能性的信息包括在条带片段头部70中。
由于包括在当前并行块中的条带片段被顺序解码，因此当前并行块可被解码。每个并行块可彼此独立地被解码。画面可被重构为对重构的并行块进行组合的结果。
当对并行块进行解码时，通过参考位于并行块边界之外的其他并行块，熵解码或画面内预测不被执行，因此，可跳过识别在并行块边界周围获取的用于执行熵解码或画面内预测的熵信息、编码符号和采样的参考可能性的处理。因此，条带片段头部70不需要包括用于识别处于并行块边界的邻近块之间的预测可能性的信息。
此外，表示是否对并行块边界执行环路滤波的信息和表示是否对条带片段边界执行环路滤波的信息可被选择性地包括在条带片段头部70中。
此外，可通过独立条带片段的条带片段头部识别独立条带片段的位置或地址。并行块的进入点可被确定在独立条带片段的位置(地址)和并行块的位置(地址)彼此匹配的部分，因此不需要发送或解析关于并行块的进入点的信息。
如上所述，在视频编码设备10和视频解码设备20中，通过划分视频数据而获得的块是最大编码单元，并且每个最大编码单元被划分为树结构的编码单元。在下文中，以下将参照图8至图20描述基于最大编码单元和树结构的编码单元的视频编码设备和方法以及视频解码设备和方法。
图8是根据本发明实施例的基于树结构的编码单元的视频编码设备100的框图。
使用基于根据树结构的编码单元的视频预测的视频编码设备100包括编码单元确定器120和输出单元130。在下文中，为便于描述，使用基于根据树结构的编码单元的视频预测的视频编码设备100被称为“视频编码设备100”。
编码单元确定器120可基于针对图像的当前画面的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据本发明实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。
根据本发明实施例的编码单元可由最大尺寸和深度来表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的更深编码单元可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此，与更高深度相应 的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的更深编码单元。由于根据本发明实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。
可预先确定编码单元的最大深度和最大尺寸，其中，编码单元的最大深度和最大尺寸限制最大编码单元的高度和宽度被分层地划分的总次数。
编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元对根据深度的更深编码单元中的图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。
基于与等于或小于最大深度的至少一个深度相应的更深编码单元对最大编码单元中的图像数据进行编码，并且基于每个更深编码单元来比较对图像数据进行编码的结果。在对更深编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度被分层地划分，并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中多个编码单元与相同深度相应，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每个编码单元划分至更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，图像数据也根据多个深度被划分为多个区域，并且在一个最大编码单元中编码误差可根据区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，在一个最大编码单元中可确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有更深编码单元之中的与确定为编码深度的深度相应的编码单元。在最大编码单元的相同区域中，编码深度的编码单元可根据深度被分层地确定，在不同的区域中，该编码深度的编码单元可被独立地确定。类 似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。
根据本发明实施例的最大深度是与从最大编码单元到最小编码单元执行划分的次数相关的索引。根据本发明实施例的第一最大深度可表示从最大编码单元到最小编码单元执行划分的总次数。根据本发明实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数。例如，当最大编码单元的深度是0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度为0、1、2、3和4的5个深度级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的多个深度的更深编码单元来执行预测编码和变换。
由于每当最大编码单元根据深度被划分时，更深编码单元的数量增加，因此对随着深度的加深而产生的所有的更深编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于最大编码单元中的当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行多个操作(诸如预测编码、变换和熵编码)，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择与该编码单元不同的数据单元，以便对编码单元中的图像数据执行预测编码。
为了对最大编码单元执行预测编码，可基于与编码深度相应的编码单元(即，基于不再被划分为与更低深度相应的多个编码单元的编码单元)执行预测编码。在下文中，不再被划分并且变为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括：通过划分预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。分区是通过对编码单元的预测单元进行划分而获得的数据单元，预测单元可以是与编码单元具有相同尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并且变为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行不对称划分(诸如，1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对尺寸为2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与该编码单元不同的数据单元，对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的变换单元可包括用于帧内模式的变换单元以及用于帧间模式的变换单元。
类似于根据本实施例的根据树结构的编码单元，编码单元中的变换单元可被递归地划分为更小尺寸的区域，并且编码单元中的残差数据可基于变换深度，根据具有树结构的变换单元而被划分。
根据本发明实施例，还可在变换单元中设置指示通过对编码单元的高度和宽度进行划分以达到变换单元而执行划分的次数的变换深度。例如，在当前编码单元的变换单元的尺寸是2N×2N时，变换深度可被设置为0。在变换单元的尺寸是N×N时，变换深度可被设置为1。此外，在变换单元的尺寸是N/2×N/2时，变换深度可被设置为2。也就是说，根据树结构的变换单元也可根据变换深度被设置。
根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
稍后将参照图10至图20来详细地描述根据本发明实施例的最大编码单元中的根据树结构的编码单元和预测单元/分区以及确定变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian  multiplier)的率失真优化来测量根据深度的更深编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据以及关于根据编码深度的编码模式的信息，其中，所述图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
可通过对图像的残差数据进行编码来获得编码的图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度、预测单元中的分区类型、预测模式以及变换单元的尺寸的信息。
可通过使用根据深度的划分信息来定义关于编码深度的信息，所述划分信息指示是否针对更低深度而非当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则当前编码单元中的图像数据被编码并被输出，因此划分信息可被定义为不将当前编码单元划分至更低深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，因此划分信息可被定义为划分当前编码单元以获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分为更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复地执行编码，因而可对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度被分层地划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因而可对图像数据设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本发明实施例的最小单元是通过将组成最低深度的最小编码单元划分为4份而获得的矩形数据单元。可选择地，最小单元可以是具有可被包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大尺寸的最大矩形数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息以及根据预测单元的编码信息。根据编码单元的编码信息可包括关于 预测模式的信息以及关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息和关于帧内模式的插值方法的信息。
此外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入到比特流的头部、SPS或PPS。
此外，对于当前视频可接受的关于变换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息也可通过比特流的头部、SPS或PPS被输出。输出单元130可对与预测相关的参考信息、预测信息和条带片段类型信息进行编码和输出。
在视频编码设备100中，更深编码单元可以是通过将作为上一层的更高深度的编码单元的高度或宽度划分为二而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括最多4个更低深度的编码单元。
因此，视频编码设备100可通过基于考虑当前画面的特征所确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最佳编码模式。
因此，如果在传统的宏块中对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量过度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩信息并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，同时在考虑图像的特征的同时调整编码单元，因此图像压缩效率会增加。
视频编码设备100可如视频编码设备10那样运行。也就是说，编码单元确定器120可与条带片段编码器12相应，并且输出单元130可与条带片段发送器14相应。
此外，视频编码设备101可作为根据本实施例的视频编码设备100应用。也就是说，编码单元确定器120可执行子区域划分器102和子区域编码器104的操作。
本发明实施例的编码单元确定器120可对画面中的每个并行块进行独立编码。此外，编码单元确定器120可对画面中的至少一个条带片段中的每个条带片段进行编码。此外，包括在当前条带片段中的多个最大编码单元可根据并行块中的最大编码单元的光栅扫描顺序而被编码。因此，可在每个条带片段中的每个最大编码单元中确定具有树结构的编码单元。
此外，条带片段与并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中；(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，并且同时，包括在一个并行块中的最大编码单元可被包括在同一条带片段中。
例如，如果条件(i)被满足，则包括在当前并行块中的至少一个条带片段不跨域当前并行块的边界。也就是说，每个条带片段必须被完整地包括在并行块中。
条带与并行块之间的关系可满足以下条件中的一个条件：(i)包括在一个条带中的最大编码单元可被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中；(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，并且同时，包括在一个并行块中的最大编码单元可被包括在同一条带中。
本实施例的输出单元130可产生包括表示当前条带片段是否是当前画面中的初始条带片段的信息的条带片段头部。
如果当前条带片段不是初始条带片段，则本实施例的输出单元130可添加表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段的信息。
本实施例的输出单元130可发送每个条带片段的条带片段头部和条带片段的符号。
图9是根据本发明实施例的基于根据树结构的编码单元的视频解码设备200的框图。
基于根据树结构的编码单元的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。在下文中，为了便于描述，使用基于根据树结构的编码单元的视频预测的视频解码设备200将被称为“视频解码设备200”。
用于视频解码设备200的解码操作的各种术语(诸如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义和表达与以上参照图8和视频编码设备100描述的那些相同。
接收器210接收编码视频的比特流并对其进行解析。图像数据和编码信息提取器220从解析的比特流提取用于每个编码单元的编码图像数据，并且将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头部、SPS或PPS提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流根据每个最大编码单元针对具有树结构的编码单元提取关于编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，并且关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和变换单元的尺寸。另外，根据深度的划分信息可被提取为关于编码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于这样的编码深度和编码模式的信息：所述编码深度和编码模式被确定为当编码器(诸如，视频编码设备100)根据每个最大编码单元对根据深度的每个更深编码单元重复执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元以及最小单元中的预定数据单元，因此，图像数据和编码信息提取器220可根据预定数据单元提取关于编码深度和编码模式的信息。被分配相同的关于编码深度和编码模式的信息的预定数据单元可被推断为是包括在相同的最大编码单元中的数据单元。
图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换 句话说，图像数据解码器230可基于提取的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元的信息来对编码图像数据进行解码。解码处理可包括预测处理(所述预测处理包括帧内预测和运动补偿)和逆变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型以及预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。
另外，为了每个最大编码单元的逆变换，图像数据解码器230可根据针对每个编码单元的树结构读取变换单元信息，以便确定用于每个编码单元的变换单元并对每个编码单元基于变换单元执行逆变换。经由逆变换，编码单元的空间区域的像素值可被恢复。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至少一个编码深度。如果划分信息指示图像数据在当前深度下不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于预测单元的分区类型、预测模式和变换单元的尺寸的信息，来对与当前最大编码单元中的每个编码深度相应的至少一个编码单元的编码数据进行解码。
换句话说，可通过观察针对编码单元、预测单元和最小单元之中的预定数据单元分配的编码信息集，收集包含包括相同划分信息的编码信息的数据单元，收集的数据单元可被认为是将由图像数据解码器230以相同的编码模式进行解码的一个数据单元。对于如上所述确定的每个编码单元，可获得关于编码模式的信息以便对当前编码单元进行解码。
接收器210可与以上参照图2C描述的视频解码设备202的子区域接收器102相应。图像数据解码器230可与以上参照图2C描述的视频解码设备202的子区域解码器204相应。
接收器210可与以上参照图2C描述的视频解码设备20的条带片段解析器22相应。图像数据解码器230可与以上参照图2C描述的视频解码设备20的条带片段解码器24相应。
本实施例的接收器210可接收通过以并行块和条带片段为单位对画面进行编码而产生的比特流。此外，针对每个条带片段的比特流可包括条带片段的编码符号和条带片段头部。
接收器210可从当前条带片段的条带片段头部解析表示当前条带片段是否是当前画面中的初始条带片段的信息。当从解析出的信息确定当前条带片段不是初始条带片段时，接收器210还可从当前条带片段头部解析表示当前条带片段是否是使用先前条带片段的条带头部信息的非独立条带片段。
当从解析出的信息确定当前条带片段是初始条带片段时，接收器210不从当前条带片段头部解析表示当前条带片段是否是非独立条带片段的信息。如果当前条带片段是初始条带片段，则接收器210可从画面的初始条带片段头部解析表示当前条带片段是否是画面的初始条带片段头部的初始条带片段的信息和关于当前条带片段的默认信息。
当从自当前条带片段头部解析出的信息确定当前条带片段是非独立条带片段时，接收器210可将从先前条带片段的头部解析出的各条头部信息确定为当前条带片段的默认信息。
本实施例的图像数据解码器230可通过使用从条带片段头部解析出的信息和当前条带片段的符号来对当前条带片段进行解码。
此外，本实施例的图像数据解码器230可重构在操作S217解码的当前条带片段，并可通过组合重构的条带片段来重构画面。
此外，图像数据解码器230可通过对针对每个并行块解码的条带片段进行组合来重构画面。
接收器210可针对每个条带片段，根据并行块中的扫描顺序来对包括在当前条带片段中的多个最大编码单元的符号进行解析。此外，本实施例的图像数据解码器230可通过使用解析出的最大编码单元的符号，根据光栅扫描顺序对最大编码单元进行解码。
每个并行块和每个条带片段中根据扫描顺序编码(解码)的最大编码单元必须满足以下条件中的一个条件：(i)包括在一个条带片段中的最大编码单元可被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元可被包括在同一条带片段中；(iii)包括在一个条带片段中的最大编码单元可被包括在同一并行块中，并且包括在一个并行块中的最大编码单元可被包括在同一条带片段中。
例如，如果条件(i)被满足，则包括在当前并行块中的条带片段可被解码以便不跨越当前并行块的边界。
每个并行块和每个条带中根据扫描顺序编码(解码)的最大编码单元必 须满足以下条件中的一个条件：(i)包括在一个条带中的最大编码单元可被包括在同一并行块中；(ii)包括在一个并行块中的最大编码单元可被包括在同一条带中；(iii)包括在一个条带中的最大编码单元可被包括在同一并行块中，并且包括在一个并行块中的最大编码单元可被包括在同一条带中。
因此，本实施例的图像数据解码器230对每个条带片段中的最大编码单元进行解码以重构条带片段，并且重构并行块以重构由并行块组成的画面。
此外，本实施例的图像数据解码器230可通过对每个并行块中的最大编码单元顺序地进行解码来重构每个并行块，并且可重构由重构的并行块组成的画面。
也就是说，视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并可使用所述信息来对当前画面进行解码。换句话说，可对每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。
因此，即使图像数据具有高分辨率并且是大量数据，也可通过使用从编码器接收的关于最佳编码模式的信息，通过使用根据图像数据的特征自适应地确定的编码单元的尺寸和编码模式来有效地对图像数据进行解码和恢复。
图10是用于描述根据本发明实施例的编码单元的概念的示图。
编码单元的尺寸可按照宽度×高度来表示，并可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，并且最大深度是1。图10中示出的最大深度表示从最大编码单元到最小编码单元的划分总数。
如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大以便不仅提高编码效率还准确地反映图像的特征。因此，分辨率比视频数据330更高的视频数据310和视频数据320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过划分最大编码单元两 次深度被加深到两层，视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元。由于视频数据330的最大深度是1，因此由于通过划分最大编码单元一次深度被加深到一层，视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过划分最大编码单元三次深度被加深到3层，视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元。随着深度的加深，可精确地表示详细的信息。
图11是根据本发明实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作以对图像数据进行编码。换句话说，帧内预测器410对当前帧405之中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对当前帧405之中的帧间模式下的编码单元执行帧间预测和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和SAO滤波器490被后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
为了使图像编码器400被应用到视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和SAO滤波器490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元之中的每个编码单元执行操作。
具体地讲，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的编码单元之中的每个编码单元中的变换单元的尺寸。
图像编码器400可根据参照图1A至图7描述的条带片段、并行块和条带的特征，对每个最大编码单元执行编码操作。具体地讲，熵编码器450可与 根据本发明实施例的条带片段发送器14相应。
图12是根据本发明实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码图像数据以及解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
帧内预测器550针对空间域中的图像数据对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。
经过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和SAO滤波器580被后处理之后被输出为恢复的帧595。另外，经过去块单元570和SAO滤波器580被后处理的图像数据可被输出为参考帧585。
为了对视频解码设备200的图像数据解码器230中的图像数据进行解码，图像解码器500可执行在解析器510执行操作之后执行的操作。
为了使图像解码器500被应用到视频解码设备200，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和SAO滤波器580)基于每个最大编码单元的具有树结构的编码单元执行操作。
具体地讲，帧内预测器550和运动补偿器560基于针对每个具有树结构的编码单元的分区和预测模式执行操作，并且逆变换器540基于针对每个编码单元的变换单元的尺寸执行操作。图像解码器500可根据参照图1A至图7描述的条带片段、并行块和条带的特征，对每个最大编码单元执行解操作。具体地讲，熵解码器520可与根据本发明实施例的条带片段解析器22相应
图13是示出根据本发明实施例的根据深度的更深编码单元和分区的示图。
视频编码设备100和视频解码设备200使用分层的编码单元以考虑图像的特征。编码单元的最大高度、最大宽度和最大深度可根据图像的特征被自适应地确定，或者可由用户不同地设置。根据深度的更深编码单元的尺寸可根据编码单元的预定最大尺寸被确定。
在根据本发明实施例的编码单元的分层结构600中，编码单元的最大高 度和最大宽度都是64，并且最大深度是3。在这种情况下，最大深度是指编码单元从最大编码单元被划分至最小编码单元的总次数。由于深度沿着分层结构600的纵轴加深，因此更深编码单元的高度和宽度都被划分。另外，作为用于每个更深编码单元的预测编码的基础的预测单元和分区沿分层结构600的横轴被显示。
换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸(即，高度乘宽度)是64×64。深度沿分层结构600的纵轴加深，并且存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640以及尺寸为4×4且深度为4的编码单元650。尺寸为8×8且深度为4的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿横轴排列。换句话说，如果尺寸为64×64且深度为0的编码单元610是预测单元，则该预测单元可被划分为包括在编码器610中的分区(即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614、或尺寸为32×32的分区616)。
类似地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在编码单元620中的分区(即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626)。
类似地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区(即，包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636)。
类似地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区(即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646)。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括相同范围和相同尺寸的数据的根据深度的更深编码单元的数量增加。例如，需要四个与深度2相应的编码单元以覆盖包括在一 个与深度1相应的编码单元中的数据。因此，为了对相同数据的根据深度的多个编码结果进行比较，与深度1相应的编码单元以及与深度2相应的四个编码单元都被编码。
为了针对多个深度中的当前深度执行编码，通过沿分层结构600的横轴，对与当前深度相应的编码单元中的每个预测单元执行编码来针对当前深度选择最小编码误差。可选择地，随着深度沿分层结构600的纵轴加深，可通过针对每个深度执行编码，通过根据深度比较最小编码误差来搜索最小编码误差。编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
图14是用于描述根据本发明实施例的编码单元710和变换单元720之间的关系的示图。
根据本发明实施例的视频编码设备100或视频解码设备200针对每个最大编码单元根据尺寸小于或等于最大编码单元的编码单元来对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
另外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，并且随后可选择具有最小编码误差的变换单元。
图15是用于描述根据本发明实施例的与编码深度相应的编码单元的编码信息的示图。
视频编码设备100的输出单元130可对关于分区类型的信息800、关于预测模式的信息810以及关于与编码深度相应的每个编码单元的变换单元的尺寸的信息820进行编码和发送，作为关于编码模式的信息。
关于分区类型的信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为如下分区中的任何一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置为指示尺寸为2N×N的分区804、尺寸为N×2N的分区806 以及尺寸为N×N的分区808中的一个。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式(即，帧内模式812、帧间模式814或跳过模式816)。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。
视频解码设备200的图像数据和编码信息提取器210可根据每个更深编码单元来提取并使用用于解码的信息800、810和820。
图16是根据本发明实施例的根据深度的更深编码单元的示图。
划分信息可用于指示深度的改变。划分信息指示当前深度的编码单元是否被划分为更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括如下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图16仅示出通过对预测单元910进行对称划分而获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区可包括不对称分区、具有预定形状的分区以及具有几何形状的分区。
根据每个分区类型对如下分区重复地执行预测编码：尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区以及尺寸为N_0×N_0的四个分区。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区类型912至918之一中编码误差最小，则预测单元910可不被划分为更低深度。
如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则在操作920，深度从0改变为1以划分分区类型918，并且对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括如下分区类型的分区：尺寸为2N_1×2N_1的 分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946和尺寸为N_1×N_1的分区类型948。
如果在分区类型948中编码误差最小，则在操作950，深度从1改变为2以划分分区类型948，并且对深度为2且尺寸为N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。
当最大深度是d时，根据每个深度的划分操作可被执行直到深度变为d-1时为止，并且划分信息可被编码直到深度是0至d-2之一时为止。换句话说，当执行编码直到在操作970中与深度d-2相应的编码单元被划分之后深度是d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括如下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996和尺寸为N_(d-1)×N_(d-1)的分区类型998。
可对分区类型992至998中的如下分区重复地执行预测编码以搜索具有最小编码误差的分区类型：尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区。
即使在分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度，并且构成当前最大编码单元900的编码单元的编码深度被确定为d-1且分区类型可被确定为N_(d-1)×N_(d-1)。另外，由于最大深度是d d-1，因此最小编码单元980的划分信息不被设置。
数据单元999可以是当前最大编码单元的“最小单元”。根据本发明实施例的最小单元可以是通过将最小编码单元980划分为4份而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的多个深度的多个编码误差来选择具有最小编码误差的深度以确定编码深度，并且将相应分区类型和预测模式设置为编码深度的编码模式。
这样，根据深度的最小编码误差在所有的深度1至d中被比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可被编码并作为关于编码模式的信息被发送。另外，由于编码单元从深度0被划分到编码深度，因此仅编码深度的划分信息被设置为0， 除了编码深度之外的深度的划分信息被设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及编码单元900的预测单元的信息以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息来将划分信息是0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息用于解码。
图17至图19是用于描述根据本发明实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，通过划分编码单元1010中的多个编码单元而获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编码单元1014、1022、1050和1054中的分区类型的尺寸为2N×N，编码单元1016、1048和1052中的分区类型的尺寸为N×2N，编码单元1032的分区类型的尺寸为N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
以小于编码单元1052的数据单元对变换单元1070中的编码单元1052的图像数据执行变换或逆反变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050、1052和1054在尺寸和形状上与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050、1052和1054不同。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元独立地执行帧内预测、运动预测、运动补偿、变换和逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1显示可由视频编码设 备100和视频解码设备200设置的编码信息。
表1

视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，并且视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示当前编码单元是否被划分为更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分为更低深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式以及变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一个。可在所有分区类型中定义帧内模式和帧间模式，并且可仅在尺寸为2N×2N的分区类型中定义跳过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型、以及通过不对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的不对称分区类型。可通过按1:3和3:1划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的不对称分区类型，可通过按1:3和3:1划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的不对称分区类型。
变换单元的尺寸可被设置为帧内模式中的两种类型和帧间模式中的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的划分信息是1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前 编码单元的分区类型是不对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可包括以下单元中的至少一个：与编码深度相应的编码单元、预测单元和最小单元。与编码深度相应的编码单元可包括以下单元中的至少一个：包含相同编码信息的预测单元和最小单元。
因此，通过对邻近数据单元的编码信息进行比较，确定邻近数据单元是否被包括在与编码深度相应的相同编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，因此最大编码单元中的编码深度的分布可被确定。
因此，如果基于邻近数据单元的编码信息预测当前编码单元，则与当前编码单元邻近的更深编码单元中的数据单元的编码信息可被直接参考和使用。
可选择地，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且邻近编码单元可被参考以用于预测当前编码单元。
图20是用于描述根据表1的编码模式信息的编码单元、预测单元或分区、和变换单元之间的关系的示图。
最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为以下分区类型之一：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336和尺寸为nR×2N的分区类型1338。
变换单元的划分信息(TU(变换单元)尺寸标记)是一种变换索引。与变换索引相应的变换单元的尺寸可根据预测单元类型或编码单元的分区类型而改变。
例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的划分信息(TU尺寸标记)为0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记为1，则设置尺寸为N×N的变换单元 1344。
当分区类型被设置为不对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标记为0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记为1，则设置尺寸为N/2×N/2的变换单元1354。
参照图20，TU尺寸标记是具有值0或1的标记，但TU尺寸标记不限于1比特，在TU尺寸标记从0增加的同时，变换单元可被分层划分为具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的示例。
在这种情况下，根据本发明实施例，实际使用的变换单元的尺寸可通过使用变换单元的TU尺寸标记连同变换单元的最大尺寸和最小尺寸来表示。根据本发明实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。根据本发明实施例，视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，(a-1)则当TU尺寸标记为0时，变换单元的尺寸可以是32×32；(a-2)当TU尺寸标记为1时，变换单元的尺寸可以是16×16；(a-3)当TU尺寸标记为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，(b-1)则当TU尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不可被设置为除0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不可被设置为除0或1以外的值。
因此，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，并且在TU尺寸标记为0时的变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义在当前编码单元中可确定的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^∧MaxTransformSizeIndex))……(1)
与在当前编码单元中可确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2^∧MaxTransformSizeIndex)”表示在当TU尺寸标记为0时的变换单元尺寸“RootTuSize”被划分与最大TU尺寸标记相应的次数时的变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本发明实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”表示最大变换单元尺寸，“PUSize”表示当前预测单元尺寸。
RootTuSize＝min(MaxTransformSize,PUSize).........(2)
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸之中的较小值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”表示当前分区单元的尺寸。
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中的较小的值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅仅是示例，本发明不限于此。
根据以上参照图8至图20描述的基于树结构的编码单元的视频编码方法，可针对树结构的每个编码单元对空间域的图像数据进行编码。根据基于具有树结构的编码单元的视频解码方法，对每个最大编码单元执行解码以恢复空间域的图像数据。因此，画面和作为画面序列的视频可被恢复。恢复的 视频可被再现设备再现，被存储在存储介质中或者通过网络被发送。
本发明实施例可被编写为计算机程序并可被实现在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括：磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。
为了便于描述，包括参照如图1A至图20描述的熵编码方法的视频编码方法将被统称为“根据本发明的视频编码方法”。此外，包括参照图1A至图20描述的熵解码方法的视频解码方法将被称为“根据本发明的视频解码方法”。
包括参照图1A至图20描述的视频编码设备10、视频编码设备101、视频编码设备100或图像编码器400的视频编码设备将被称为“根据本发明的视频编码设备”。此外，包括参照图1A至图20描述的视频解码设备20、视频解码设备201、视频解码设备200或图像解码器500的视频解码设备将被称为“根据本发明的视频解码设备”。
现在将详细描述根据本发明实施例的存储程序的计算可读记录介质(例如，盘26000)。
图21示出根据本发明实施例的存储程序的盘26000的物理结构。作为存储介质的盘26000可以是硬驱动盘、CD-ROM、蓝光盘或DVD。盘26000包括多个同心磁道Tr，其中，每个同心磁道沿盘26000的圆周方向被划分为特定数量的扇区Se。在盘26000的特定区域中，执行如上所述的预测多视点视频的方法、预测恢复多视点视频的方法、对多视点视频进行编码的方法和对多视点视频进行解码的方法的程序可被分配并被存储。
现在将参照图22描述使用存储介质实现的计算机系统，其中，所述存储介质存储用于执行如上所述的视频编码方法和视频解码方法的程序。
图22示出通过使用盘26000来记录和读取程序的盘驱动器26800。计算机系统26700可经由盘驱动器26800将执行根据本发明实施例的视频编码方法和视频解码方法中的至少一个方法的程序存储在盘26000中。为了由计算机系统26700运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取所述程序并将所述程序发送到计算机系统26700。
执行根据本发明实施例的视频编码方法和视频解码方法中的至少一个的程序可不仅被存储在图21或图22中示出的盘260中，还可被存储在存储卡、ROM磁带或固态驱动器(SSD)中。
以下将描述应用了上述视频编码方法和视频解码方法的系统。
图23示出提供内容分发服务的内容供应系统11000的整体结构。通信系统的服务区域被划分为预定尺寸的小区，并且无线默认基站11700、11800、11900和12000被分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，所述多个独立装置(诸如计算机12100、个人数字助理(PDA)12200、视频摄像机12300和移动电话12500)经由互联网服务提供器11200、通信网络11400以及无线默认基站11700、11800、11900和12000被连接到互联网11100。
然而，内容供应系统11000不限于图24中所示，装置可被选择性地连接到内容供应系统11000。多个独立装置可被直接连接到通信网络11400，而不是经由无线默认基站11700、11800、11900和12000被连接到通信网络11400。
视频摄像机12300是能够捕获视频图像的成像装置，例如，数字视频摄像机。移动电话12500可采用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
视频摄像机12300可经由无线默认基站11900和通信网络11400被连接到流传输服务器11300。流传输服务器11300允许从用户接收到的内容经由视频摄像机12300通过实时广播被流传输。可使用视频摄像机12300或流传输服务器11300对从视频摄像机12300接收到的内容进行编码。视频摄像机12300捕获的视频数据可经由计算机12100被发送到流传输服务器11300。
由视频摄像机12300捕获的视频数据还可经由计算机12100被发送到流传输服务器11300。相机12600是类似于数字相机的能够捕获静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对由相机12600捕获的视频数据进行编码。对视频执行编码和解码的软件可被存储在可由计算机12100访问的计算机可读记录介质中，例如，CD-ROM盘、软盘、硬驱动盘、SSD或存储卡。
如果视频数据被内置于移动电话12500中的相机捕获，则可从移动电话12500接收视频数据。
视频数据也可被安装在视频摄像机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统编码。
根据本发明实施例，内容供应系统11000可对用户使用视频摄像机 12300、相机12600、移动电话12500或另一成像装置记录的内容数据(例如，在音乐会中记录的内容)进行编码，并将经过编码的内容数据发送到流传输服务器11300。流传输服务器11300可按流传输内容的类型将经过编码的内容数据发送到请求所述内容数据的其他客户机。
客户机是能够对所述经过编码的数据进行解码的装置，例如，计算机12100、PDA 12200、视频摄像机12300或移动电话12500。因此，内容供应系统11000允许客户机接收并再现经过编码的内容数据。此外，内容供应系统11000允许客户机接收经过编码的内容数据，实时解码和再现经过编码的内容数据，从而实现个人广播。
包括在内容供应系统11000中的多个独立装置的编码和解码操作可与根据本发明实施例的视频编码设备和视频解码设备的编码和解码操作类似。
现在将参照图24和图25更详细地描述根据本发明实施例的包括在内容供应系统11000中的移动电话12500。
图24示出根据本发明实施例的应用了视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，其中，所述智能电话的功能不受限制并且其大部分功能可被改变或扩展。
移动电话12500包括内置天线12510，并且包括显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)，其中，可经由所述内置天线12510与图24的无线默认基站12000交换射频(RF)信号，并且所述显示屏12520用于显示由相机12530捕获的图像或经由天线12510接收并被解码的图像。智能电话12510包括操作面板12540，其中，所述操作面板12540包括控制按钮和触摸面板。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。智能电话12510包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元，并且包括用于输入语音和声音的麦克风12550或另一类型的声音输入单元。智能电话12510还包括相机12530(诸如电荷耦合器件(CCD)相机)以捕获视频和静止图像。智能电话12510还可包括存储介质12570和插槽12560，其中，所述存储介质12570用于存储经由电子邮件接收到的或根据各种方式获得的经过编码/解码的数据(例如，由相机12530捕获的视频或静止图像)，存储介质12570经由所述插槽12560被加载到移动电话12500。存储介质12570可以是包括在塑料壳中的闪存(例如，安全数字(SD)卡)或电可擦除可编程只读存储器(EEPROM)。
图25示出根据本发明实施例的移动电话12500的内部结构。为了系统地控制移动电话12500的包括显示屏12520和操作面板12540的部件，供电电路12700、操作输入控制器12640、图像编码单元12720、相机接口12630、LCD控制器12620、图像解码单元12690、复用器/解复用器12680、记录/读取单元12670、调制/解调单元12600和声音处理器12650经由同步总线12730被连接到中央控制器12710。
如果用户操作电源按钮并从“电源关”状态设置为“电源开”状态，则供电电路12700从电池组对移动电话12500的所有部件供电，从而将移动电话12500设置处于操作模式。
中央控制器12710包括中央处理单元(CPU)、ROM和随机存取存储器(RAM)。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，在移动电话12500中产生了数字信号。例如，声音处理器12650可产生数字声音信号，图像编码单元12720可产生数字图像信号，消息的文本数据可经由操作面板12540和操作输入控制器12640来产生。当在中央控制器12710的控制下数字信号被发送到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，通信电路12610对频带被调制的数字声音信号执行数模转换(DAC)和频率变换。从通信电路12610输出的传输信号可经由天线12510被发送到语音通信默认基站或无线默认基站12000。
例如，当移动电话12500处于对话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号被声音处理器12650变换为数字声音信号。数字声音信号可经由调制/解调单元12660和通信电路12610被变换为变换信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息的文本数据经由操作面板12540被输入并经由操作输入控制器12640被发送到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制/解调单元12660和通信电路12610被变换为传输信号，并经由天线12510被发送到无线默认基站12000。
为了在数据通信模式下发送图像数据，由相机12530捕获的图像数据经由相机接口12630被提供给图像编码单元12720。捕获的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码单元12720的结构可与上述视频编码设备100的结构对应。图像编码单元12720可根据由上述视频编码设备100或图像编码器400采用的视频编码方法，将从相机12530接收到的图像数据变换为经过压缩和编码的图像数据，然后将经过编码的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换为数字声音数据，并且所述数字声音数据可被传送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码单元12720接收到的经过编码的图像数据和从声音处理器12650接收到的声音数据进行复用。对数据进行复用的结果可经由调制/解调单元12660和通信电路12610被变换为传输信号，并且随后可经由天线12510被发送。
在移动电话12500从外部接收通信数据的同时，对经由天线12510接收的信号执行频率变换和ADC，以将该信号变换为数字信号。调制/解调单元12660对数字信号的频带进行调制。频带经过调制的数字信号根据数字信号的类型被发送到视频解码单元12960、声音处理器12650或LCD控制器12620。
在对话模式下，移动电话12500放大经由天线12510接收到的信号，并通过对放大的信号执行频率变换和ADC来获得数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制/解调单元12660和声音处理器12650被变换为模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
当处于数据通信模式时，在互联网网站存取的视频文件的数据被接收，经由天线12510从无线默认基站12000接收的信号经由调制/解调单元12660作为复用数据被输出，并且复用数据被发送到复用器/解复用器12680。
为了对经由天线12510接收的复用数据进行解码，复用器/解复用器12680将复用数据解复用为经过编码的视频数据流和经过编码的音频数据流。经由同步总线12730，经过编码的视频数据流和经过编码的音频数据流被分别提供给视频解码单元12690和声音处理器12650。
图像解码单元12690的结构可与上述视频解码设备200的结构相应。根据由上述视频解码设备200或图像解码器500采用的视频解码方法，图像解码单元12690可对经过编码的视频数据进行解码以获得恢复的视频数据并经由LCD控制器12620将恢复的视频数据提供给显示屏12520。
因此，在互联网网站存取的视频文件的数据可被显示在显示屏12520上。同时，声音处理器12650可将音频数据变换为模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，在互联网网站存取的视频文件中所包含的音频数据也可经由扬声器12580被再现。
移动电话12500或其他类型的通信终端可以是包括根据本发明实施例的视频编码设备和视频解码设备两者的收发终端，可以是仅包括所述视频编码设备的收发终端，或者可以是仅包括所述视频解码设备的收发终端。
根据本发明的通信系统不限于以上参照图24所描述的通信系统。例如，图26示出根据本发明实施例的采用通信系统的数字广播系统。图26的数字广播系统可通过使用根据本发明实施例的视频编码设备和视频解码设备接收经由卫星或地面网络发送的数字广播。
具体地讲，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，并且所述广播信号经由家用天线12860被发送到卫星广播接收机。在每家，经过编码的视频流可被TV接收机12810、机顶盒12870或另一装置解码和再现。
当根据本发明实施例的视频解码设备实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如盘或存储卡)上的经过编码的视频流进行解析和解码，以恢复数字信号。因此，恢复的视频信号可被再现在例如监视器12840上。
在连接到用于卫星/地面广播的天线12860或用于接收有线TV广播的有线天线12850的机顶盒12870中，根据本发明实施例的视频解码设备可被安装。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
作为另一示例，根据本发明实施例的视频解码设备可被安装在TV接收器12810而非机顶盒12870中。
包括合适天线12910的汽车12920可接收从卫星12900或无线默认基站11700发送的信号。解码的视频可被再现在内置于汽车12920中的汽车导航系统12930的显示屏上。
视频信号可被根据本发明实施例的视频编码设备编码，并且随后可被存储在存储介质中。具体地讲，图像信号可被DVD录像机存储在DVD盘12960中，或者可被硬盘录像机12950存储在硬盘中。作为另一示例，视频信号可被存储在SD卡12970中。如果硬盘录像机12950包括根据本发明实施例的视 频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可被再现在TV监视器12880上。
汽车导航系统12930可不包括图26的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不被包括在图26的相机12530、相机接口12630和图像编码单元12720中。
图27示出根据本发明实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构。
云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200和用户终端。
云计算系统响应于来自用户终端的请求，经由数据通信网络(例如，互联网)提供多个计算资源14200的按需外包服务。在云计算环境下，服务提供商通过使用虚拟化技术，通过将位于物理上不同的位置的数据中心的计算资源进行组合来向用户提供期望的服务。服务用户不必将计算资源(例如，应用、存储器、操作系统(OS)和安保)安装在他/她自己的终端上来使用它们，而是可在期望的时间点，在通过虚拟化技术产生的虚拟空间中的服务之中选择和使用期望的服务。
指定服务用户的用户终端经由包括互联网的数据通信网络和移动电信网络被连接到云计算服务器14000。可从云计算服务器14000向用户终端提供云计算服务，具体地，视频再现服务。用户终端可以是能够连接到互联网的各种类型的电子装置，例如，台式PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。
云计算服务器14000可将云网络中分布的多个计算资源14200进行组合，并将组合的结果提供给用户终端。所述多个计算资源14200可包括各种数据服务，并且可包括从用户终端上传的数据。如上所述，云计算服务器14000可根据虚拟化技术对默认分布在不同区域的视频数据进行组合来向用户提供期望的服务。
关于已订阅云计算服务的用户的用户信息被存储在用户DB 14100中。所述用户信息可包括用户的登录信息、地址、姓名和个人信用信息。所述用户信息还可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正被再现的视频的列表、曾被再现的视频的暂停点等。
存储在用户DB 14100中的关于视频的信息可在用户装置之间被共享。例 如，当响应于来自笔记本计算机14600的请求，视频服务被提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到再现该视频服务的请求时，云计算服务器14000基于用户DB14100搜索并再现该视频服务。当智能电话14500从云计算服务器14000接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上参照图24描述的智能电话12500的操作类似。
云计算服务器14100可参考存储在用户DB 14100中的期望的视频服务的再现历史。例如，云计算服务器14100从用户终端接收再现存储在用户DB14100中的视频的请求。如果视频正被再现，则由云计算服务器14000执行的对该视频进行流传输的方法可根据来自用户终端的请求(即，根据视频是将从视频的开始处开始再现还是从视频的暂停点开始再现)而变化。例如，如果用户终端请求从视频的开始处开始再现视频，则云计算服务器14000将从视频的第一帧开始的视频的流传输数据发送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，则云计算服务器14000将视频的从与暂停点相应的帧开始的流传输数据发送到用户终端。
在这种情况下，用户终端可包括如以上参照图1A至图20所描述的视频解码设备。作为另一示例，用户终端可包括如以上参照图1A至图20所描述的视频编码设备。可选择地，用户终端可包括如以上参照图1A至图20所描述的视频解码设备和视频编码设备。
以上已参照图21至图27描述了以上参照图1A至图20所描述的根据本发明实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据本发明的各种实施例的将视频编码方法和视频解码方法存储在存储介质中的方法或在装置中实现视频编码设备和视频解码设备的方法不限于以上参照图21至图27所描述的实施例。
尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可以在此进行形式和细节上的各种改变。