处理视频信号的方法和设备.pdf

根据本发明，使用并行处理信息获得当前编译单元的视图间运动矢量，并且使用当前编译单元的视图间运动矢量并行获得在当前编译单元中的当前预测单元的运动矢量。本发明涉及用于处理视频信号的方法和设备，其中通过比较对应于当前预测单元的参考图片的输出顺序信息和对应于相应块的参考图片的输出顺序信息获得当前预测单元的运动矢量预测值。根据本发明，经由并行处理步骤，多视点视频图像可以被迅速地恢复，并且可以使用对应于与当前预测单元不同视点的相应块的参考图片的运动信息提高运动矢量预测值的精度。

1.  一种用于处理视频信号的方法，包括：
使用与当前编译单元相对应的相邻块的视图间运动矢量，获得在 当前并行处理单元中包括的所述当前编译单元的视图间运动矢量；和
使用所述当前编译单元的所述视图间运动矢量，并行获得一个或 多个当前预测单元的运动矢量，
其中，使用并行处理信息确定所述当前并行处理单元的大小，并 且与所述当前编译单元相对应的所述相邻块被包括在邻近于所述当前 并行处理单元的并行处理单元中，
其中，所述当前编译单元包括所述一个或多个当前预测单元。

2.  根据权利要求1所述的方法，其中，邻近于所述当前并行处理 单元的并行处理单元是所述当前并行处理单元的左下并行处理单元、 左侧并行处理单元、左上并行处理单元、上并行处理单元和右上并行 处理单元中的至少一个。

3.  根据权利要求1所述的方法，其中，在所述当前编译单元具有 2N×2N的大小，每个当前预测单元具有N×N的大小，并且所述当前预 测单元被并行处理时，所述当前预测单元包括第一预测单元、第二预 测单元、第三预测单元和第四预测单元，
其中，使用所述第一预测单元的左上块、上块、右上块、左侧块 和左下块的运动信息获得所述第一预测单元的运动矢量预测值，使用 所述第二预测单元的左上块、上块和右上块的运动信息获得所述第二 预测单元的运动矢量预测值，使用所述第三预测单元的左上块、左侧 块和左下块的运动信息获得所述第三预测单元的运动矢量预测值，以 及使用所述第四预测单元的右上块和左下块的运动信息获得所述第四 预测单元的运动矢量预测值。

4.  根据权利要求1所述的方法，其中，在所述当前编译单元具有 2N×2N的大小，每个当前预测单元具有N×2N的大小，并且所述当前 预测单元被并行处理时，所述当前预测单元包括第五预测单元和第六 预测单元，
其中，使用所述第五预测单元的左上块、上块、右上块、左侧块 和左下块的运动信息获得所述第五预测单元的运动矢量预测值，以及 使用所述第六预测单元的左上块、上块、右上块和左下块的运动信息 获得所述第六预测单元的运动矢量预测值。

5.  根据权利要求1所述的方法，其中，在所述当前编译单元具有 2N×2N的大小，每个当前预测单元具有2N×N的大小，并且所述当前 预测单元被并行处理时，所述当前预测单元包括第七预测单元和第八 预测单元，
其中，使用所述第七预测单元的左上块、上块、右上块、左侧块 和左下块的运动信息获得所述第七预测单元的运动矢量预测值，以及 使用所述第八预测单元的左上块、右上块、左侧块和左下块的运动信 息获得所述第八预测单元的运动矢量预测值。

6.  根据权利要求1所述的方法，其中，并行获得所述一个或多个 当前预测单元的运动矢量包括：
获得有关与所述当前预测单元相对应的参考图片的图片顺序计数 的信息；
使用所述视图间运动矢量获得有关相应块的参考图片的图片顺序 计数的信息；
将所述相应块的参考图片的图片顺序计数和与所述当前预测单元 相对应的参考图片的图片顺序计数进行比较；以及
基于比较结果获得所述当前预测单元的运动矢量预测值，
其中，与所述当前预测单元相对应的参考图片被放置在与所述当 前预测单元相同的视图处，和在与所述当前预测单元不同的时间处， 所述相应块被放置在与所述当前预测单元不同的视图处，并且在与所 述当前预测单元相同的时间处，以及所述相应块的参考图片被放置在 与所述相应块相同的视图处，并且在与所述相应块不同的时间处。

7.  根据权利要求6所述的方法，其中，当所述相邻块是视图间预 测块，并且在获得所述当前预测单元的所述运动矢量预测值的过程中 所述相应块的参考图片的图片顺序计数和与所述当前图片单元相对应 的参考图片的图片顺序计数相同的时候，使用与所述相应块的参考图 片相对应的运动矢量获得所述当前预测单元的所述运动矢量预测值。

8.  根据权利要求6所述的方法，其中，当所述相邻块是视图间预 测块，并且在获得所述当前预测单元的所述运动矢量预测值的过程中 所述相应块的参考图片的图片顺序计数不同于与所述当前图片单元相 对应的参考图片的图片顺序计数的时候，使用所述相应块的参考图片 的图片顺序计数、与所述当前预测单元相对应的参考图片的图片顺序 计数，和与所述相应块的参考图片相对应的运动矢量获得所述当前预 测单元的所述运动矢量预测值。

9.  根据权利要求6所述的方法，其中，当所述相邻块是参考视图 时间中间预测块，并且在获得所述当前预测单元的所述运动矢量预测 值的过程中所述相应块的参考图片的图片顺序计数和与所述当前图片 单元相对应的参考图片的图片顺序计数相同的时候，使用与所述相应 块的参考图片相对应的运动矢量获得所述当前预测单元的所述运动矢 量预测值。

10.  一种视频解码器，包括：
中间预测单元，所述中间预测单元被配置为：使用与当前编译单 元相对应的相邻块的视图间运动矢量获得在当前并行处理单元中包括 的所述当前编译单元的视图间运动矢量，和使用所述当前编译单元的 所述视图间运动矢量并行获得一个或多个当前预测单元的运动矢量，
其中，使用并行处理信息确定所述当前并行处理单元的大小，并 且与所述当前编译单元相对应的所述相邻块被包括在邻近于所述当前 并行处理单元的并行处理单元中，
其中，所述当前编译单元包括所述一个或多个当前预测单元。

11.  根据权利要求10所述的视频解码器，其中，邻近于所述当前 并行处理单元的并行处理单元是所述当前并行处理单元的左下并行处 理单元、左侧并行处理单元、左上并行处理单元、上并行处理单元和 右上并行处理单元中的至少一个。

12.  根据权利要求10所述的视频解码器，其中，在所述当前编译 单元具有2N×2N的大小，每个当前预测单元具有N×N的大小，并且 所述当前预测单元被并行处理时，所述当前预测单元包括第一预测单 元、第二预测单元、第三预测单元和第四预测单元，
其中，所述中间预测单元使用所述第一预测单元的左上块、上块、 右上块、左侧块和左下块的运动信息获得所述第一预测单元的运动矢 量预测值，使用所述第二预测单元的左上块、上块和右上块的运动信 息获得所述第二预测单元的运动矢量预测值，使用所述第三预测单元 的左上块、左侧块和左下块的运动信息获得所述第三预测单元的运动 矢量预测值，并且使用所述第四预测单元的右上块和左下块的运动信 息获得所述第四预测单元的运动矢量预测值。

13.  根据权利要求10所述的视频解码器，其中，在所述当前编译 单元具有2N×2N的大小，每个当前预测单元具有N×2N的大小，并且 所述当前预测单元被并行处理时，所述当前预测单元包括第五预测单 元和第六预测单元，
其中，所述中间预测单元使用所述第五预测单元的左上块、上块、 右上块、左侧块和左下块的运动信息获得所述第五预测单元的运动矢 量预测值，并且使用所述第六预测单元的左上块、上块、右上块和左 下块的运动信息获得所述第六预测单元的运动矢量预测值。

14.  根据权利要求10所述的视频解码器，其中，在所述当前编译 单元具有2N×2N的大小，每个当前预测单元具有2N×N的大小，并且 所述当前预测单元被并行处理时，所述当前预测单元包括第七预测单 元和第八预测单元，
其中，所述中间预测单元使用所述第七预测单元的左上块、上块、 右上块、左侧块和左下块的运动信息获得所述第七预测单元的运动矢 量预测值，并且使用所述第八预测单元的左上块、右上块、左侧块和 左下块的运动信息获得所述第八预测单元的运动矢量预测值。

15.  根据权利要求10所述的视频解码器，其中，所述中间预测单 元获得有关与所述当前预测单元相对应的参考图片的图片顺序计数的 信息，使用所述视图间运动矢量获得有关相应块的参考图片的图片顺 序计数的信息，将所述相应块的参考图片的图片顺序计数和与所述当 前预测单元相对应的参考图片的图片顺序计数进行比较，以及基于比 较结果获得所述当前预测单元的运动矢量预测值，
其中，与所述当前预测单元相对应的参考图片被放置在与所述当 前预测单元相同的视图处，和在与所述当前预测单元不同的时间处， 所述相应块被放置在与所述当前预测单元不同的视图处，并且在与所 述当前预测单元相同的时间处，以及所述相应块的参考图片被放置在 与所述相应块相同的视图处，并且在与所述相应块不同的时间处。

16.  根据权利要求15所述的视频解码器，其中，当所述相邻块是 视图间预测块，并且所述相应块的参考图片的图片顺序计数和与所述 当前图片单元相对应的参考图片的图片顺序计数相同的时候，所述中 间预测单元使用与所述相应块的参考图片相对应的运动矢量获得所述 当前预测单元的所述运动矢量预测值。

17.  根据权利要求15所述的视频解码器，其中，当所述相邻块是 视图间预测块，并且所述相应块的参考图片的图片顺序计数不同于与 所述当前图片单元相对应的参考图片的图片顺序计数的时候，所述中 间预测单元使用所述相应块的参考图片的图片顺序计数、与所述当前 预测单元相对应的参考图片的图片顺序计数，和与所述相应块的参考 图片相对应的运动矢量，获得所述当前预测单元的所述运动矢量预测 值。

18.  根据权利要求15所述的视频解码器，其中，当所述相邻块是 参考视图时间中间预测块，并且所述相应块的参考图片的图片顺序计 数和与所述当前图片单元相对应的参考图片的图片顺序计数相同的时 候，所述中间预测单元使用与所述相应块的参考图片相对应的运动矢 量获得所述当前预测单元的所述运动矢量预测值。

处理视频信号的方法和设备
技术领域
本发明涉及用于处理视频信号的方法和设备。
背景技术
压缩指的是用于经由通信线路发送数字信息，或者以适用于存储 介质的形式存储数字信息的信号处理技术。压缩对象包括音频、视频 和文字信息。特别地，压缩图像的技术称作视频压缩。多视图视频具 有空间冗余、时间冗余和视图间冗余的特征。
发明内容
技术问题
本发明的一个目的是改善视频信号编译效率。
技术方案
本发明可以使用在多视图视频图像中的并行处理信息获得当前编 译单元的视图间运动矢量，并且使用当前编译单元的视图间运动矢量 并行获得当前预测单元的运动矢量。
本发明可以通过比较对应于当前预测单元的参考图片的图片顺序 计数与相应块的参考图片的图片顺序计数，获得当前预测单元的运动 矢量预测值。
当对应于当前预测单元的参考图片的图片顺序计数与相应块的参 考图片的图片顺序计数相同的时候，本发明可以使用对应于相应块的 参考图片的运动信息，获得当前预测单元的运动矢量预测值。
当对应于当前预测单元的参考图片的图片顺序计数与相应块的参 考图片的图片顺序计数不相同的时候，本发明可以使用对应于当前预 测单元的参考图片的图片顺序计数、相应块的参考图片的图片顺序计 数，和对应于相应块的参考图片的运动信息，获得当前预测单元的运 动矢量预测值。
有益效果
本发明可以通过经由在多视图视频图像中的并行处理获得当前编 译单元的视图间运动矢量和当前预测单元的运动矢量来快速地恢复视 频图像。
本发明可以使用对应于与当前预测单元不同视图的相应块的参考 图片的运动信息，获得正确的运动矢量预测值。
附图说明
图1是根据本发明的一个实施例深度编译适用于其的广播接收机 的方框图。
图2是根据本发明一个实施例的视频解码器的方框图。
图3是图示根据本发明的一个实施例用于使用并行处理信息获得 当前单元的视图间运动矢量，和获得当前预测单元的运动矢量方法的 流程图。
图4图示根据本发明的一个实施例使用并行处理信息获得当前编 译单元的视图间运动矢量的例子。
图5图示根据本发明的一个实施例以N×N为单位并行处理在当前 编译单元中的当前预测单元的例子。
图6图示根据本发明的一个实施例以2N×N为单位并行处理在当 前编译单元中的当前预测单元的例子。
图7图示根据本发明的一个实施例以N×2N为单位并行处理在当 前编译单元中的当前预测单元的例子。
图8是图示根据本发明的一个实施例使用对应于当前预测单元的 参考图片的图片顺序计数、相应块的参考图片的图片顺序计数，和对 应于相应块的参考图片的运动矢量，用于获得当前预测单元的运动矢 量预测值方法的流程图。
图9图示当相应块的参考图片的图片顺序计数与对应于当前预测 单元的参考图片的图片顺序计数相同的时候，用于获得当前预测单元 的运动矢量预测值的示例性方法。
图10图示当相应块的参考图片的图片顺序计数不同于对应于当 前预测单元的参考图片的图片顺序计数的时候，用于获得当前预测单 元的运动矢量预测值的示例性方法。
具体实施方式
本发明提供一种用于处理视频信号的方法和设备，其使用对应于 当前编译单元的相邻块的视图间运动矢量，获得包括在当前并行处理 单元中包括的当前编译单元的视图间运动矢量，并且使用当前编译单 元的视图间运动矢量，并行获得一个或多个当前预测单元的运动矢量， 其中使用并行处理信息确定当前并行处理单元的大小，并且对应于当 前编译单元的相邻块被包括在邻近于当前并行处理单元的并行处理单 元中，其中当前编译单元包括一个或多个当前预测单元。
邻近于当前并行处理单元的并行处理单元可以是当前并行处理单 元的左下并行处理单元、左侧并行处理单元、左上并行处理单元、上 并行处理单元和右上并行处理单元的至少一个。
在当前编译单元具有2N×2N大小，每个当前预测单元具有N×N 的大小，并且当前预测单元被并行处理时，当前预测单元可以包括第 一预测单元、第二预测单元、第三预测单元和第四预测单元，其中使 用第一预测单元的左上块、上块、右上块、左侧块和左下块的运动信 息获得第一预测单元的运动矢量预测值，使用第二预测单元的左上块、 上块和右上块的运动信息获得第二预测单元的运动矢量预测值，使用 第三预测单元的左上块、左侧块和左下块的运动信息获得第三预测单 元的运动矢量预测值，以及使用第四预测单元的右上块和左下块的运 动信息获得第四预测单元的运动矢量预测值。
在当前编译单元具有2N×2N大小，每个当前预测单元具有N×2N 的大小，并且当前预测单元被并行处理时，当前预测单元可以包括第 五预测单元和第六预测单元，其中使用第五预测单元的左上块、上块、 右上块、左侧块和左下块的运动信息获得第五预测单元的运动矢量预 测值，以及使用第六预测单元的左上块、上块、右上块和左下块的运 动信息获得第六预测单元的运动矢量预测值。
在当前编译单元具有2N×2N大小，每个当前预测单元具有2N×N 的大小，并且当前预测单元被并行处理时，当前预测单元可以包括第 七预测单元和第八预测单元，其中使用第七预测单元的左上块、上块、 右上块、左侧块和左下块的运动信息获得第七预测单元的运动矢量预 测值，以及使用第八预测单元的左上块、右上块、左侧块和左下块的 运动信息获得第八预测单元的运动矢量预测值。
根据本发明用于处理视频信号的方法可以包括：获得有关对应于 当前预测单元的参考图片的图片顺序计数的信息；使用视图间运动矢 量获得有关相应块的参考图片的图片顺序计数的信息；将相应块的参 考图片的图片顺序计数与对应于当前预测单元的参考图片的图片顺序 计数比较；以及基于比较结果获得当前预测单元的运动矢量预测值， 其中对应于当前预测单元的参考图片被放置在与当前预测单元相同的 视图处，并且在与当前预测单元不同的时间处，相应块被放置在与当 前预测单元不同的视图处，并且在与当前预测单元相同的时间处，以 及相应块的参考图片被放置在与相应块相同的视图处，并且在与相应 块不同的时间处。
当相邻块是视图间预测块，并且在获得当前预测单元的运动矢量 预测值的过程中相应块的参考图片的图片顺序计数与对应于当前图片 单元的参考图片的图片顺序计数相同的时候，可以使用与相应块的参 考图片相对应的运动矢量获得当前预测单元的运动矢量预测值。
当相邻块是视图间预测块，并且在获得的当前预测单元的运动矢 量预测值的过程中相应块的参考图片的图片顺序计数不同于对应于当 前图片单元的参考图片的图片顺序计数的时候，可以使用相应块的参 考图片的图片顺序计数、与当前预测单元相对应的参考图片的图片顺 序计数，和与相应块的参考图片相对应的运动矢量获得当前预测单元 的运动矢量预测值。
当相邻块是参考视图时间中间预测块，并且在获得当前预测单元 的运动矢量预测值的过程中相应块的参考图片的图片顺序计数与对应 于当前图片单元的参考图片的图片顺序计数相同的时候，可以使用与 相应块的参考图片相对应的运动矢量获得当前预测单元的运动矢量预 测值。
用于发明的模式
用于压缩或者解码多视图视频信号数据的技术考虑空间冗余、时 间冗余和视图间冗余。在多视图图像的情况下，在两个或更多个视图 上获得的多视图纹理图像可以被编译以便产生三维图像。此外，对应 于多视图纹理图像的深度数据可以根据需要被编译。深度数据可以考 虑到空间冗余、时间冗余或者视图间冗余被压缩。深度数据是有关在 相机和相应的像素之间距离的信息。在本说明书中，深度数据可以灵 活地解释为深度相关的信息，诸如深度信息、深度图像、深度图片、 深度序列和深度比特流。此外，在本说明书中，编译(coding)可以包 括编码(encoding)和解码(decoding)概念两者，并且可以在本发明 的技术精神和技术范围内灵活地解释。
图1是根据本发明适用于其的一个实施例的深度编译适用于其的 广播接收机的方框图。
根据当前的实施例的广播接收机接收陆地广播信号以再现图像。 广播接收机可以使用接收的深度相关信息产生三维内容。广播接收机 包括调谐器100、解调器/信道解码器102、传输多路分解器104、解包 器106、音频解码器108、视频解码器110、PSI/PSIP处理器114、3D 呈现器116、格式器120和显示器122。
调谐器100选择在经由天线(未示出)输入的多个广播信号之中 由用户调谐的信道的广播信号，并且输出选择的广播信号。解调器/信 道解码器102解调来自调谐器100的广播信号，并且对解调的信号执 行纠错解码以输出传输流TS。传输多路分解器104多路分解传输流， 以便将传输流划分为视频PES和音频PES，并且提取PSI/PSIP信息。 解包器106对视频PES和音频PES解组以恢复视频ES和音频ES。音 频解码器108通过解码音频ES输出音频比特流。该音频比特流由数字 -模拟转换器(未示出)转换为模拟音频信号，由放大器(未示出)放 大，并且然后经由扬声器(未示出)输出。视频解码器110解码视频 ES以恢复原始图像。音频解码器108和视频解码器110的解码过程可 以基于由PSI/PSIP处理器114确认的分组ID(PID)执行。在解码过 程期间，视频解码器110可以提取深度信息。此外，视频解码器110 可以提取对产生虚拟相机视图图像说来必需的附加信息，例如，相机 信息，或者用于估算由前面的对象隐藏的闭塞(occlusion)的信息(例 如，几何信息，诸如对象轮廓、对象透明度信息和颜色信息)，并且 将附加信息提供给3D呈现器116。但是，深度信息和/或附加信息在本 发明的其它的实施例中可以通过传输多路分解器104相互分离。
PSI/PSIP处理器114从传输多路分解器104接收PSI/PSIP信息， 解析PSI/PSIP信息，并且在存储器(未示出)或者寄存器中存储解析 的PSI/PSIP信息，以便允许基于存储的信息广播。3D呈现器116可以 在虚拟相机位置使用恢复的图像、深度信息、附加信息和相机参数产 生颜色信息、深度信息等等。
此外，3D呈现器116通过使用恢复的图像和关于恢复的图像的深 度信息执行3D扭曲，在虚拟相机的位置产生虚拟的图像。虽然3D呈 现器116在当前的实施例中被配置为与视频解码器110分离的块，这 仅仅是一个示例，并且3D呈现器116可以包括在视频解码器110中。
格式器120格式化在解码过程中恢复的图像，即，由相机捕捉的 真实的图像，和由3D呈现器116根据广播接收机的显示模式产生的虚 拟的图像，使得3D图像经由显示器122显示。在这里，由3D呈现器 116在虚拟相机处的深度信息和虚拟图像的合成，和由格式器120的图 像格式化可以响应于用户命令有选择地执行。也就是说，用户可以操 纵遥控器(未示出)，使得组合图像不显示，并且指定图像合成时间。
如上所述，用于产生3D图像的深度信息由3D呈现器116使用。 但是，该深度信息在其它的实施例中可以由视频解码器110使用。将 给出视频解码器110使用深度信息的各种实施例的描述。
图2是根据本发明适用于其的一个实施例的视频解码器的方框 图。
参考图2，视频解码器110可以包括熵解码单元210、反量化单元 220、反变换单元230、解块滤波单元240、解码图片缓存单元250、中 间预测单元260和内部预测单元270。在图2中，实线表示彩色图片数 据的流动，并且虚线表示深度图片数据的流动。虽然彩色图像数据和 深度图片数据在图2中分开地表示，但是彩色图像数据和深度图片数 据的单独的表示可以指的是单独的比特流或者在一个比特流中单独的 数据流。也就是说，彩色图像数据和深度图片数据可以作为一个比特 流或者单独的比特流发送。图2仅仅示出数据流，并且不限制在一个 解码器中执行的操作的操作。
首先，为了解码接收的深度比特流200，深度比特流200被按照 NAL解析。在这里，关于深度的各种类型的属性信息可以包括在NAL 头部区、NAL头部的扩展区、序列头部区(例如，序列参数集)、序 列头部的扩展区、图片头部区(例如，图片参数集)、图片头部的扩 展区、片头部区、片头部的扩展区、片数据区或者宏块区中。虽然深 度编译可以使用单独的编解码器执行，但是如果实现与现有的编解码 器兼容，则仅仅在深度比特流的情况下增加关于深度的属性信息可能 是更加有效的。例如，用于识别深度比特流的深度识别信息可以被增 加给序列头部区(例如，序列参数集)，或者序列头部的扩展区。只 有当输入比特流是深度编译的比特流时，根据深度识别信息可以增加 关于深度序列的属性信息。
解析的深度比特流200经由熵解码单元210被熵解码，并且每个 宏块的系数、运动矢量等等被提取。反量化单元220将接收的量化值 乘以预先确定的常数，以便获得变换系数，并且反变换单元230逆向 地变换该系数以恢复深度图片的深度信息。内部预测单元270使用当 前的深度图片的恢复的深度信息执行内部预测。解块滤波单元240将 解块滤波适用于每个编译的宏块以便减小块失真。解块滤波单元通过 平滑块的边缘改善解码的帧的纹理。滤波过程取决于边界强度和围绕 边界的图像采样斜率被选择。滤波的深度图片被输出或者存储在解码 图片缓存单元250中以用作参考图片。
解码图片缓存单元250存储或者开放先前编译的深度图片用于中 间预测。在这里，为了在解码图片缓存单元250中存储编译的深度图 片，或者开放存储的编译的深度图片，使用每个图片的frame_num和 POC(图片顺序计数)。由于先前编译的图片可以包括不同于当前深度 图片的对应于视图的深度图片，所以可以使用用于识别深度图片的视 图的深度视图信息以及frame_num和POC，以便在深度编译中将先前 编译的图片作为参考图片使用。
此外，解码图片缓存单元250可以使用深度视图信息，以便产生 用于深度图片的视图间预测的参考图片列表。例如，解码图片缓存单 元250可以使用深度视图参考信息。深度视图参考信息指的是用于表 示在深度图片的视图之间相关性的信息。例如，深度视图参考信息可 以包括深度视图的数目、深度视图识别编号、深度视图参考图片的数 目、深度视图参考图片的深度视图识别编号等等。
解码图片缓存单元250管理参考图片，以便实现更加灵活的中间 预测。例如，可以使用存储管理控制操作方法和滑动窗口方法。参考 图片管理将参考图片存储器和非参考图片存储器统一为一个存储器， 并且管理统一的存储器，以便以小容量存储器实现有效的管理。在深 度编译中，深度图片可以被分别地标记为与在解码图片缓存单元中的 彩色图片区别，并且在标记过程中可以使用用于识别每个深度图片的 信息。经由前面提到的过程管理的参考图片可以在中间预测单元260 中用于深度编译。
参考图2，中间预测单元260可以包括运动补偿单元261、虚拟视 图合成单元262和深度图片产生单元263。
运动补偿单元261使用从熵解码单元210发送的信息补偿当前块 的运动。运动补偿单元261从视频信号中提取当前块的相邻块的运动 矢量，并且获得当前块的运动矢量预测值。运动补偿单元261使用运 动矢量预测值和从视频信号中提取的差分矢量补偿当前块的运动。运 动补偿可以使用一个参考图片或者多个图片执行。在深度编译中，在 当前的深度图片指的是不同视图的深度图片的时候，运动补偿可以使 用有关用于存储在解码图片缓存单元250中的深度图片的视图间预测 的参考图片列表的信息执行。此外，可以使用用于识别深度图片的视 图的深度视图信息执行运动补偿。
虚拟视图合成单元262使用当前的彩色图像的视图的邻近视图的 彩色图像合成虚拟视图的彩色图像。为了使用邻近视图的彩色图像， 或者为了使用期望的特定视图的彩色图像，可以使用表示彩色图像的 视图的视图识别信息。当产生虚拟视图的彩色图像的时候，可以定义 表示是否产生虚拟视图的彩色图像的标记信息。当该标记信息表示产 生虚拟视图的彩色图像的时候，可以使用视图识别信息产生虚拟视图 的彩色图像。经由虚拟视图合成单元262获得的虚拟视图的彩色图像 可以用作参考图片。在这种情况下，视图识别信息可以指配给虚拟视 图的彩色图像。
在另一个实施例中，虚拟视图合成单元262可以使用与当前的深 度图片的视图的邻近视图相对应的深度图片合成虚拟视图的深度图 片。在这种情况下，可以使用表示深度图片的视图的深度视图识别信 息。在这里，深度视图识别信息可以从相应的彩色图像的视图识别信 息中推导出。例如，相应的彩色图像可以具有与当前的深度图片相同 的图片输出顺序信息和相同的视图识别信息。
深度图片产生单元263可以使用深度编译信息产生当前的深度图 片。在这里，深度编译信息可以包括表示在相机和对象之间距离的距 离参数(例如，在相机坐标系上的z坐标值等等)、用于深度编译的 宏块型信息、用于识别在深度图片中边界的信息、表示是否在RBSP 中的数据包括深度编译数据的信息、表示是否数据类型是深度图片数 据、彩色图像数据或者视差数据的信息等等。此外，当前的深度图片 可以使用深度编译信息预测。也就是说，可以执行使用当前的深度图 片的邻近深度图片的中间预测，并且可以执行使用在当前深度图片中 的解码的深度信息的内部预测。
在本发明中，当适用于视频信号的时候，“单元”可以指的是块、 子块、宏块、片、图片、帧、图片组、序列等等。因此，“单元”的 含义将根据其应用解释。此外，当单元适用于除视频信号以外的信号 的时候，单元可以解释为具有适用于信号的含义。编译单元指的是在 视频信号处理过程中的基本单元。编译单元在视频处理中可以不必具 有固定的大小。预测单元指的是用于预测的基本单元。预测单元可以 具有方形形式(2N×2N或者N×N)的大小，或者长方形形式(2N×N 或者N×2N)的大小。预测单元的大小可以与编译单元相同或者小于编 译单元。编译单元可以被分割为多个预测单元。此外，当前的单元在 本发明中可以定义为包括当前的编译单元和当前的预测单元。
将给出使用并行处理信息用于并行获得当前的单元的视图间运动 矢量，和使用视图间运动矢量获得当前的预测单元的运动矢量方法的 描述。在本发明中，并行处理可以指的是多个单元的同时编译。
图3是图示使用并行处理信息用于并行获得当前的单元的视图间 运动矢量和获得当前的预测单元的运动矢量方法的流程图。
并行处理信息可以从比特流中获得(S300)。并行处理信息可以 表示是否执行并行处理，并且包括有关并行处理单元大小的信息。在 这里，并行处理单元可以指的是对其适用并行处理的基本单元。并行 处理信息可以按照图片、帧、图片组或者序列获得。
当前的单元的视图间运动矢量可以使用并行处理信息获得 (S310)。是否并行处理适用于最高的当前编译单元可以经由并行处 理信息确定。在这里，最高的当前编译单元是包括当前编译单元的编 译单元，并且当前编译单元可以经由最高的当前编译单元的分割获得。 如果并行处理适用于最高的当前编译单元，并且并行处理单元的大小 确定，则包括在最高的当前编译单元中的当前编译单元的视图间运动 矢量可以使用当前编译单元的相邻块的视图间运动矢量获得。当前编 译单元的相邻块被包括在邻近于当前并行处理单元的并行处理单元 中，当前并行处理单元包括当前编译单元。邻近于当前并行处理单元 的并行处理单元可以是当前并行处理单元的左下并行处理单元、左侧 并行处理单元、左上并行处理单元、上并行处理单元和右上并行处理 单元的至少一个。将参考图4详细描述获得当前编译单元的视图间运 动矢量的示例。
当前编译单元可以包括当前预测单元。当前预测单元的视图间运 动矢量可以使用获得的当前编译单元的视图间运动矢量获得。做为选 择，当前预测单元的视图间运动矢量可以使用当前预测单元的相邻块 的视图间运动矢量获得。
当前预测单元的视图间运动矢量可以使用当前编译单元的视图间 运动矢量并行获得(S320)。在这里，当前预测单元的运动矢量可以 使用当前预测单元的相邻块的运动信息获得。包括在当前编译单元中 的当前预测单元的并行处理的示例将参考图5、6和7描述，并且使用 当前编译单元的视图间运动矢量获得当前预测单元的运动矢量的示例 将参考图8、9和10描述。
将给出使用并行处理信息获得当前编译单元的视图间运动矢量示 例的描述。
图4图示根据本发明的一个实施例使用并行处理信息获得当前编 译单元的视图间运动矢量的示例。
如在S310中描述的，当并行处理适用于其的块包括当前编译单元 的时候，当前编译单元的视图间运动矢量可以使用相邻块的视图间运 动矢量获得。
图4示出最高的当前编译单元具有16N×16N大小，当前编译单元 具有2N×2N大小，并且并行处理块具有8N×8N大小的示例。当前编 译单元的视图间运动矢量可以使用没有与当前编译单元同时处理的相 邻单元的视图间运动矢量获得。例如，当前编译单元的视图间运动矢 量可以使用当前编译单元的左上块400、左侧块410和左下块420的视 图间运动矢量获得。做为选择，当前编译单元的视图间运动矢量可以 仅仅使用当前编译单元的左侧块410的视图间运动矢量获得。在当前 编译单元的相邻块是使用视图间运动矢量编译的视图间中间预测块， 或者参考视图时间中间预测块的时候，当前编译单元的视图间运动矢 量可以使用相邻块的视图间运动矢量获得。
虽然当前编译单元的上块430和右上块440是当前编译单元的相 邻块，但是上块430和右上块440被包括在与当前编译单元同时处理 的单元中。因此，上块430和右上块440没有用于获得当前编译单元 的视图间运动矢量的过程。
包括在当前最高的编译单元中的所有编译单元的视图间运动矢量 可以使用前面提到的方法获得。
将给出包括在当前编译单元中的当前预测单元的并行处理示例的 描述。
图5图示根据本发明的一个实施例以N×N为单位并行处理包括在 当前编译单元中的当前预测单元的示例。
在当前编译单元具有2N×2N大小，并且包括在当前编译单元中的 当前预测单元具有N×N大小的时候，当前编译单元包括四个当前预测 单元，并且四个当前预测单元的运动矢量预测值可以使用其相邻块的 运动矢量同时地获得。
参考图5，当前编译单元包括第一预测单元、第二预测单元、第 三预测单元和第四预测单元。每个预测单元具有其相邻块。
可以使用第一预测单元的相邻块，即，左上块500、上块501、右 上块502、左侧块505和左下块510的运动矢量获得第一预测单元的运 动矢量预测值。
可以使用第二预测单元的相邻块，即，左上块501、上块503和 右上块504的运动矢量获得第二预测单元的运动矢量预测值。在第二 预测单元的相邻块之中的左侧块506和左下块511包括在当前编译单 元中，并且左侧块506和左下块511的运动矢量可以不用于并行处理。
可以使用第三预测单元的相邻块，即，左上块505、左侧块512 和左下块514的运动矢量获得第三预测单元的运动矢量预测值。在第 三预测单元的相邻块之中的上块506和右上块507包括在当前编译单 元中，并且上块506和右上块507的运动矢量可以不用于并行处理。
可以使用第四预测单元的相邻块，即，右上块509和左下块515 的运动矢量获得第四预测单元的运动矢量预测值。在第四预测单元的 相邻块之中的左上块506、上块508和左侧块513包括在当前编译单元 中，并且左上块506、上块508和左侧块513的运动矢量可以不用于并 行处理。
图6图示根据本发明的一个实施例以N×2N为单位并行处理包括 在当前编译单元中的当前预测单元的示例。
在当前编译单元具有2N×2N大小，并且包括在当前编译单元中的 当前预测单元具有N×2N大小的时候，当前编译单元包括两个当前预 测单元，并且两个当前预测单元的运动矢量预测值可以使用其相邻块 的运动矢量同时地获得。
参考图6，当前编译单元包括第五预测单元和第六预测单元。每 个预测单元具有其相邻块。
可以使用第五预测单元的相邻块，即，左上块600、上块601、右 上块602、左侧块605和左下块610的运动矢量获得第五预测单元的运 动矢量预测值。
可以使用第六预测单元的相邻块，即，左上块601、上块603、右 上块604和左下块615的运动矢量获得第六预测单元的运动矢量预测 值。在第六预测单元的相邻块之中的左侧块613包括在当前编译单元 中，并且左侧块613的运动矢量可以不用于并行处理。
图7图示根据本发明的一个实施例以2N×N为单位并行处理包括 在当前编译单元中的当前预测单元的示例。
在当前编译单元具有2N×2N大小，并且包括在当前编译单元中的 当前预测单元具有2N×N大小的时候，当前编译单元包括两个当前预 测单元，并且两个当前预测单元的运动矢量预测值可以使用其相邻块 的运动矢量同时地获得。
参考图7，当前编译单元包括第七预测单元和第八预测单元。每 个预测单元具有其相邻块。
可以使用第七预测单元的相邻块，即，左上块700、上块703、右 上块704、左侧块705和左下块710的运动矢量获得第七预测单元的运 动矢量预测值。
可以使用第八预测单元的相邻块，即，左上块705、右上块709、 左侧块712和左下块714的运动矢量获得第八预测单元的运动矢量预 测值。在第八预测单元的相邻块之中的上块708包括在当前编译单元 中，并且上块708的运动矢量可以不用于并行处理。
将要给出用于使用在步骤S310中获得的视图间运动矢量获得当 前预测单元的运动矢量方法的描述。
图8是图示根据本发明的一个实施例用于使用图片顺序计数和对 应于相应块的参考图片的运动矢量获得当前预测单元的运动矢量方法 的流程图。
可以获得对应于当前预测单元的参考图片的图片顺序计数信息 (S800)。图片顺序计数信息可以包括有关图片顺序计数的信息。图 片顺序计数(POC)指的是当视频输出的时候的图片输出顺序。在当前 预测单元根据时间中间预测被编译的时候，对应于当前预测单元的参 考图片可以放置在与包括当前预测单元的当前图片相同的视图处，并 且在与当前图片不同的时间处。因此，在相同的视图处的图片不具有 相同的图片顺序计数。包括当前预测单元的图片的图片顺序计数可以 假设为POC0，并且对应于当前预测单元的参考图片的图片顺序计数可 以假设为POC1。
对应于相应块的参考图片的图片顺序计数信息和对应于相应块的 参考图片的运动矢量可以使用视图间运动矢量获得(S810)。当前预 测单元的视图间运动矢量可以使用在步骤S310中获得的当前编译单元 的视图间运动矢量获得。当前预测单元的相应块可以使用视图间运动 矢量获得。相应块可以放置在与当前预测单元不同的视图处，并且在 与当前预测单元相同的时间处。
可以获得相应块的参考图片的图片顺序计数信息和对应于相应块 的参考图片的运动矢量。可以使用多个参考图片根据时间中间预测编 译使用视图间运动矢量检测的相应块。可以假设对应于相应块的在方 向L0中参考图片的图片计数顺序是POC2L0，并且对应于相应块的在 方向L1中参考图片的图片计数顺序是POC2L1。此外，可以假设对应 于相应块的L0方向参考图片的运动矢量是mv2L0，并且对应于相应块 的L1方向参考图片的运动矢量是mv2L1。
可以通过将对应于当前预测单元的参考图片的图片顺序计数与相 应块的参考图片的图片顺序计数比较获得当前预测单元的运动矢量预 测值(S820)。当对应于当前预测单元的参考图片是在方向L0的时候， 对应于当前预测单元的参考图片的图片顺序计数可以优先地与相应块 的L0方向参考图片的图片顺序计数相比较。当对应于当前预测单元的 参考图片是在方向L1的时候，对应于当前预测单元的参考图片的图片 顺序计数可以优先地与相应块的L1方向参考图片的图片顺序计数相比 较。当对应于当前预测单元的参考图片的图片顺序计数POC1与相应块 的参考图片的图片顺序计数POC2L0和POC2L1相比较的时候，相应 块的参考图片的图片计数顺序等于或者不同于对应于当前预测单元的 参考图片的图片顺序计数。可以基于该比较结果，使用相应块的参考 图片的运动矢量获得当前预测单元的运动矢量。当相应块的参考图片 的图片顺序计数等于对应于当前预测单元的参考图片的图片顺序计数 的时候，用于获得当前预测单元的运动矢量预测值的方法将参考图9 描述，并且当相应块的参考图片的图片顺序计数不同于对应于当前预 测单元的参考图片的图片顺序计数的时候，用于获得当前预测单元的 运动矢量预测值的方法将参考图10描述。
可以使用运动矢量预测值获得当前预测单元的运动矢量(S830)。 可以使用当前预测单元的相邻块的运动矢量获得运动矢量预测值。可 以作为相邻块的运动矢量预测值获得相邻块的运动矢量的一个。做为 选择，可以作为相邻块的运动矢量预测值获得相邻块的运动矢量的平 均值。
可以使用运动矢量预测值获得当前预测单元的运动矢量。可以直 接作为当前预测单元的运动矢量使用运动矢量预测值。运动矢量预测 值可以被包括在当前预测单元的运动矢量列表中。可以使用在运动矢 量列表中的优先级或者当前预测单元的运动矢量索引获得当前预测单 元的运动矢量。
图9图示当相应块的参考图片的图片顺序计数等于对应于当前预 测单元的参考图片的图片顺序计数的时候，用于获得当前预测单元的 运动矢量预测值的示例性方法。
当相应块的参考图片的图片顺序计数等于对应于当前预测单元的 参考图片的图片顺序计数的时候，可以作为当前预测单元的运动矢量 预测值获得与相应块的参考图片相对应的运动矢量，相应块的参考图 片具有与对应于当前预测单元的参考图片相同的图片顺序计数。
参考图9，当前预测单元的参考图片910被放置在与当前预测单 元相同的视图处，并且在与当前预测单元不同的时间处。当前预测单 元的视图间运动矢量900可以从相邻块获得。当前预测单元的视图间 运动矢量900表示相应块，并且相应块的参考图片920和930被放置 在与相应块相同的视图处，并且在与相应块不同的时间处。
对应于当前预测单元的参考图片910的图片顺序计数POC1，和相 应块的L0方向参考图片920的图片顺序计数POC2L2作为1彼此相同。 因此，当前预测单元的运动矢量预测值可以确定为对应于相应块的L0 方向参考图片920的运动矢量mv2L0。
图10图示当相应块的参考图片的图片顺序计数不等于对应于当 前预测单元的参考图片的图片顺序计数的时候，用于获得当前预测单 元的运动矢量预测值的示例性方法。
当相应块的参考图片的图片顺序计数不等于对应于当前预测单元 的参考图片的图片顺序计数的时候，当前预测单元的运动矢量预测值 可以通过缩放对应于相应块的参考图片的运动矢量获得。
参考图10，当前预测单元的参考图片1010被放置在与当前预测 单元相同的视图处，并且在与当前预测单元不同的时间处。当前预测 单元的视图间运动矢量1000可以从相邻块获得。当前预测单元的视图 间运动矢量1000表示相应块，并且相应块的参考图片1020和1030被 放置在与相应块相同的视图处，并且在与相应块不同的时间处。
虽然对应于当前预测单元的参考图片1010的图片顺序计数POC1 是2，但是相应块的L0方向参考图片1020的图片顺序计数POC2L0 是1，并且相应块的L1方向参考图片1030的图片顺序计数POC2L1 是4。由于参考图片的图片顺序计数不同，所以当前预测单元的运动矢 量预测值mv1可以根据公式1通过缩放对应于相应块的参考图片的运 动矢量mv2L0和mv2L1获得。
[公式1]
mv 1 = mv 2 LXs ( POC 1 - POC 0 ) ( POC 2 LX - POC 0 ) ]]>
在公式1中，当相应块的参考图片的方向是L0的时候，X可以是 0，并且当方向是L1的时候，X可以是1。
将给出根据获得当前预测单元的视图间运动矢量的方法获得当前 预测单元的运动矢量预测值的示例性方法的描述。
用于获得当前预测单元的运动矢量预测值的方法可以取决于表示 从其中获得相应块的视图间运动矢量的相邻块的中间预测类型。如在 图8的步骤S810中描述的，当前预测单元的视图间运动矢量可以从根 据视图间中间预测编译的相邻块，或者根据参考视图时间中间预测编 译的相邻块获得。根据视图间中间预测编译的相邻块可以提供具有比 根据参考视图时间中间预测编译的相邻块更高的精度的视图间运动矢 量。
因此，在当前预测单元的视图间运动矢量从通过视图间中间预测 编译的相邻块获得的时候，如果相应块的参考图片的图片顺序计数等 于对应于当前预测单元的参考图片的图片顺序计数，则当前预测单元 的运动矢量预测值可以使用如上参考图9所述的方法获得，并且如果 相应块的参考图片的图片顺序计数不同于对应于当前预测单元的参考 图片的图片顺序计数，则使用如上参考图10所述的方法获得。
但是，在当前预测单元的视图间运动矢量从通过参考视图时间中 间预测编译的相邻块获得的时候，如果相应块的参考图片的图片顺序 计数等于对应于当前预测单元的参考图片的图片顺序计数，则当前预 测单元的运动矢量预测值可以使用如上参考图9所述的方法获得，并 且当相应块的参考图片的图片顺序计数不同于对应于当前预测单元的 参考图片的图片顺序计数的时候，可以不使用如上参考图10所述的方 法。
将给出将经由参考图9和10描述的方法获得的运动矢量预测值添 加给当前预测单元的运动矢量预测值列表的顺序的描述。
经由图9的方法获得的运动矢量预测值和经由图10的方法获得的 运动矢量预测值可以被增加给当前预测单元的运动矢量预测值列表。 当对应于当前预测单元的参考图片的图片顺序计数与相应块的参考图 片的图片顺序计数相同的时候获得的运动矢量预测值，可以被增加给 具有比当对应于当前预测单元的参考图片的图片顺序计数不与相应块 的参考图片的图片顺序计数相同的时候获得的运动矢量预测值更高的 优先级的运动矢量预测值列表。例如，在当前预测单元的运动矢量预 测值经由图9的方法获得的时候，运动矢量预测值可以被增加给运动 矢量预测值列表的第三位置。在当前预测单元的运动矢量预测值经由 图10的方法获得的时候，运动矢量预测值可以被增加给运动矢量预测 值列表的第五位置。
如上所述，本发明适用于其的解码/编码装置可以包括在多媒体广 播传输/接收装置，诸如DMB(数字多媒体广播)系统中，以用于解码 视频信号、数据信号等等。此外，多媒体广播传输/接收装置可以包括 移动通信终端。
本发明适用于其的解码/编码方法可以作为计算机可执行程序实 现，并且存储在计算机可读的记录介质中，并且具有根据本发明的数 据结构的多媒体数据也可以存储在计算机可读的记录介质中。计算机 可读的记录介质包括存储由计算机系统可读的数据的各种存储设备。 计算机可读的记录介质的示例包括ROM、RAM、CD-ROM、磁带、软 盘、光数据存储设备，和使用载波(例如，经由因特网传输)的介质。 此外，根据该编码方法产生的比特流可以存储在计算机可读的记录介 质中，或者使用有线/无线通信网络传送。
工业实用性
本发明可用于编译视频信号。