视频编码/解码方法、装置、程序、记录介质.pdf

在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码。在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定不编码滤波器系数的所述内插滤波器，使用该内插滤波器来对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。

权利要求书1.  一种视频编码方法，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码方法的特征在于，具有：滤波器确定步骤，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定不编码滤波器系数的所述内插滤波器；以及向下采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。2.  根据权利要求1所述的视频编码方法，其特征在于，所述滤波器确定步骤参考根据所述视频的信息而生成的辅助信息来生成或选择所述内插滤波器。3.  根据权利要求2所述的视频编码方法，其特征在于，所述辅助信息是示出所述处理区域内部的边界的状态的信息。4.  根据权利要求2所述的视频编码方法，其特征在于，所述辅助信息是示出所述处理区域的纹理特性的信息。5.  根据权利要求1所述的视频编码方法，其特征在于，所述滤波器确定步骤参考用于所述视频的编码的预测图像来生成或选择所述内插滤波器。6.  根据权利要求1所述的视频编码方法，其特征在于，所述滤波器确定步骤参考用于所述视频的编码的运动矢量来生成或选择所述内插滤波器。7.  根据权利要求1所述的视频编码方法，其特征在于，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。8.  根据权利要求7所述的视频编码方法，其特征在于，所述辅助信息是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点的视频的情况下的其他视点的视频的信息。9.  根据权利要求2、7、8中的任一项所述的视频编码方法，其特征在于，还具有：辅助信息编码步骤，对所述辅助信息进行编码而生成辅助信息码数据；以及复用步骤，输出将所述辅助信息码数据与视频码数据复用后的码数据。10.  根据权利要求9所述的视频编码方法，其特征在于，所述辅助信息编码步骤将要选择的内插滤波器的识别号码编码为辅助信息。11.  根据权利要求7所述的视频编码方法，其特征在于，所述辅助信息是与所述视频对应的深度图。12.  根据权利要求11所述的视频编码方法，其特征在于，还具有：辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。13.  根据权利要求11所述的视频编码方法，其特征在于，所述滤波器确定步骤除了所述深度图之外还参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。14.  根据权利要求11所述的视频编码方法，其特征在于，还具有：深度图编码步骤，对所述深度图进行编码来生成深度图码数据；以及复用步骤，输出将所述深度图码数据与视频码数据复用后的码数据。15.  根据权利要求7所述的视频编码方法，其特征在于，所述编码对象的视频的信息是深度图，所述辅助信息是与所述深度图对应的相同视点的视频的信息。16.  根据权利要求15所述的视频编码方法，其特征在于，还具有：辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。17.  一种视频解码方法，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码方法的特征在于，具有：滤波器确定步骤，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。18.  根据权利要求17所述的视频解码方法，其特征在于，所述滤波器确定步骤参考根据所述码数据而生成的辅助信息来生成或选择所述内插滤波器。19.  根据权利要求18所述的视频解码方法，其特征在于，所述辅助信息是示出所述处理区域内部的边界的状态的信息。20.  根据权利要求18所述的视频解码方法，其特征在于，所述辅助信息是示出所述处理区域的纹理特性的信息。21.  根据权利要求17所述的视频解码方法，其特征在于，所述滤波器确定步骤参考用于所述码数据的解码的预测图像来生成或选择所述内插滤波器。22.  根据权利要求17所述的视频解码方法，其特征在于，所述滤波器确定步骤参考用于所述码数据的解码的运动矢量来生成或选择所述内插滤波器。23.  根据权利要求17所述的视频解码方法，其特征在于，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。24.  根据权利要求17所述的视频解码方法，其特征在于，还具有：去复用步骤，对所述码数据去复用而分离为辅助信息码数据和视频码数据；以及辅助信息解码步骤，对所述辅助信息码数据进行解码来生成辅助信息，所述滤波器确定步骤参考所述解码后的所述辅助信息来生成或选择所述内插滤波器。25.  根据权利要求23所述的视频解码方法，其特征在于，所述辅助信息是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点视频的情况下的其他视点视频。26.  根据权利要求24所述的视频解码方法，其特征在于，所述辅助信息是要选择的所述内插滤波器的识别号码。27.  根据权利要求23所述的视频解码方法，其特征在于，所述辅助信息是与所述视频的信息对应的深度图。28.  根据权利要求27所述的视频解码方法，其特征在于，还具有：辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。29.  根据权利要求27所述的视频解码方法，其特征在于，所述滤波器确定步骤除了所述深度图之外还参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。30.  根据权利要求27所述的视频解码方法，其特征在于，还具有：去复用步骤，对所述码数据去复用而分离为深度图码数据和视频码数据；以及深度图解码步骤，对所述深度图码数据解码而生成深度图。31.  根据权利要求23所述的视频编码方法，其特征在于，所述编码对象的视频的信息是深度图，所述辅助信息是与所述深度图对应的相同视点的视频的信息。32.  根据权利要求31所述的视频编码方法，其特征在于，还具有：辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。33.  一种视频编码装置，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码装置的特征在于，具备：滤波器确定单元，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定所述内插滤波器；以及向下采样单元，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。34.  一种视频解码装置，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码装置的特征在于，具备：滤波器确定单元，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样单元，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。35.  一种用于使从权利要求1至16中的任一项所述的视频编码方法在计算机实行的视频编码程序。36.  一种用于使从权利要求17至32中的任一项所述的视频解码方法在计算机实行的视频解码程序。37.  一种记录了权利要求35所述的视频编码程序的计算机可读记录介质。38.  一种记录了权利要求36所述的视频解码程序的计算机可读记录介质。

说明书视频编码/解码方法、装置、程序、记录介质
技术领域
本发明涉及视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序、视频解码程序以及记录介质。
本申请基于在2012年7月9日提交的专利申请2012-153953号要求优先权，并将其内容引用于此。
背景技术
在一般性的视频编码中，利用被摄物的空间性/时间性的连续性来将视频的各帧分割为成为处理单位的块，对每块空间性/时间性地预测该视频信号，对示出该预测方法的预测信息和预测残差进行编码，由此，谋求与对视频信息自身进行编码的情况相比大幅度的编码效率的提高。
RRU（Reduced Resolution Update：降低分辨率更新）通过在预测残差的变换/量化之前使图像的至少一部分的预测残差的分辨率降低来谋求进一步的编码效率的提高（例如，参考非专利文献1）。在高分辨率基准下进行预测，此外在对低分辨率的预测残差解码时应用向上采样过程，因此，最终性的图像能以高分辨率再构成。
该过程的结果是客观性的品质降低，但由于编码对象比特的减少，所以在结果上比特率提高。此外，与对客观品质的影响相比较，对主观品质的影响不大。
该功能由ITU-T H.263标准支持，已知在序列内存在激烈的动态区域的情况下特别有效。这是因为，能通过利用RRU模式来将编码器的帧率维持得高，另一方面能良好地保证静态区域的分辨率和品质。
然而，动态区域的品质较大地受到预测残差的向上采样精度的影响。因此，具有解决历来技术的上述问题点的RRU视频编码和解码用的方法和装置是优选且有效的。
在此，对自由视点视频编码进行说明。自由视点视频是指通过使用许多摄像装置从各种位置/角度摄像对象场景来取得场景的光线信息，基于其而复原任意的视点中的光线信息，由此，生成从任意的视点看到的视频。
场景的光线信息通过各种数据形式来表现，而作为最一般性的形式，存在使用视频及其视频的各帧中的被称为深度图的纵深图像的方式（例如，参考非专利文献2）。
深度图是指对每个像素记述从摄像机到被摄物的距离（纵深/深度），是被摄物具有的三次元信息的简易表现。在从两个摄像机观测相同的被摄物时，被摄物的深度值与摄像机之间的视差的倒数成比例，因此，有时也将深度图称为视差图（视差图像）。
深度图是关于图像的各像素具有一个值的表现，因此能看成灰阶图像来记述。此外，可以说作为深度图时间性连续的记述的深度图视频（在以下，不区别图像/视频而称为深度图）与视频信号同样地由于被摄物的空间性/时间性的连续性而具有空间性/时间性相关。因而，能通过为了对通常的视频信号进行编码而使用的视频编码方式来一边移除空间性/时间性冗长性一边对深度图高效地编码。
一般，视频和深度图之间存在高的相关，因此，在如自由视点视频编码那样将视频和深度图合起来编码的情况下，能利用两者之间的相关来实现进一步的编码效率的提高。
在非专利文献3中，通过使被用于两者的编码的预测信息（块分割、运动矢量、参考帧）共同化来排除冗长性，实现高效的编码。
现有技术文献
专利文献
非专利文献1：A.M.Tourapis, J.Boyce, “Reduced Resolution Update Mode for Advanced Video Coding”, ITU-T Q6/SG16, document VCEG-V05, Munich, March 2004.
非专利文献2：Y.Mori, N.Fukusima, T.Fuji, and M.Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.
非专利文献3：I.Daribo, C.Tillier, and B.P.Popescu, “Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding”, EUPASIP Journal on Advances in Signal Processing, vol.2009, Article ID 258920, 13 pages, 2009。
发明内容
发明要解决的课题
历来的RRU在不利用来自块外的任一数据的情况下处理各块的预测残差。低分辨率预测残差根据高分辨率预测残差利用基于样本的相对性位置的向下采样内插（二维双线性内插等）来计算。为了取得解码后的块，该低分辨率预测残差通过编码、再构成、向上采样内插而被复原为高分辨率预测残差，并被添加到预测图像。
图19、图20是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的计算例的图。
在这些图中，空白圆示出高分辨率预测残差样本的配置，带斜线的圆示出低分辨率预测残差样本的配置。此外，各圆内的文字a～e、A～D是像素值的例子，在图内示出了高分辨率预测残差样本的像素值a～e中的每个如何从周围的低分辨率预测残差样本的像素值A～D算出。
在包括两个以上的残差值互相较大地不同的样本的块中，通过伴随着该向上采样的内插而再构成的残差的精度下降，使解码图像的品质降低。此外，一般，对块边界部的向上采样仅利用块内的样本而不参考不同的块的样本。因此，由于内插精度，有时在块边界部发生块变形（在块边界附近特有的变形）。
为了提高向上采样精度，需要适当地选择用于向上采样的内插滤波器。对于该问题，例如，可想到在编码时生成最适合的滤波器，将该滤波器系数作为附加信息与视频信号一起编码这样的方法。然而，在这样的方法中，由于必须按每个样本对贡献于内插的系数进行编码，所以存在附加信息的码量增大而不能实现高效的编码这样的问题。
本发明鉴于这样的事情而完成，其目的在于提供能提高RRU中的预测残差的向上采样精度而提高最终得到的图像的品质的视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序、视频解码程序以及记录介质。
用于解决课题的方案
本发明提供一种视频编码方法，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码方法的特征在于，具有：滤波器确定步骤，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定不编码滤波器系数的所述内插滤波器；以及向下采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。
作为典型例，所述滤波器确定步骤参考根据所述视频的信息而生成的辅助信息来生成或选择所述内插滤波器。
所述辅助信息可以是示出所述处理区域内部的边界的状态的信息。
所述辅助信息可以是示出所述处理区域的纹理（texture）特性的信息。
作为另外的典型例，所述滤波器确定步骤参考用于所述视频的编码的预测图像来生成或选择所述内插滤波器。
作为另外的典型例，所述滤波器确定步骤参考用于所述视频的编码的运动矢量来生成或选择所述内插滤波器。
作为优选例，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。
所述辅助信息可以是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点视频的情况下的其他视点的视频的信息。
还可以具有：辅助信息编码步骤，对所述辅助信息进行编码而生成辅助信息码数据；以及复用步骤，输出将所述辅助信息码数据与视频码数据复用后的码数据。
所述辅助信息编码步骤可以将要选择的内插滤波器的识别号码编码为辅助信息。
所述辅助信息可以是与所述视频对应的深度图。
还可以具有：辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
所述滤波器确定步骤除了所述深度图之外还可以参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。
还可以具有：深度图编码步骤，对所述深度图进行编码来生成深度图码数据；以及复用步骤，输出将所述深度图码数据与视频码数据复用后的码数据。
所述编码对象的视频的信息是深度图，所述辅助信息可以是与所述深度图对应的相同视点的视频的信息。
在该情况下，还可以具有：辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
本发明还提供一种视频解码方法，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码方法的特征在于，具有：滤波器确定步骤，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样步骤，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。
作为典型例，所述滤波器确定步骤参考根据所述码数据而生成的辅助信息来生成或选择所述内插滤波器。
所述辅助信息可以是示出所述处理区域内部的边界的状态的信息。
所述辅助信息可以是示出所述处理区域的纹理特性的信息。
作为另外的典型例，所述滤波器确定步骤参考用于所述码数据的解码的预测图像来生成或选择所述内插滤波器。
作为另外的典型例，所述滤波器确定步骤参考用于所述码数据的解码的运动矢量来生成或选择所述内插滤波器。
作为优选例，所述滤波器确定步骤参考与所述视频具有相关的辅助信息来生成或选择所述内插滤波器。
作为另外的优选例，还具有：去复用步骤，对所述码数据去复用而分离为辅助信息码数据和视频码数据；以及辅助信息解码步骤，对所述辅助信息码数据进行解码而生成辅助信息，所述滤波器确定步骤参考所述解码后的所述辅助信息来生成或选择所述内插滤波器。
所述辅助信息可以是所述视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点视频的情况下的其他视点视频。
所述辅助信息可以是要选择的所述内插滤波器的识别号码。
所述辅助信息可以是与所述视频的信息对应的深度图。
在该情况下，还可以具有：辅助信息生成步骤，根据所述深度图将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
所述滤波器确定步骤除了所述深度图之外还可以参考与所述视频对应的其他视点的视频来生成或选择所述内插滤波器。
还可以具有：去复用步骤，对所述码数据去复用而分离为深度图码数据和视频码数据；以及深度图解码步骤，对所述深度图码数据解码而生成深度图。
所述编码对象的视频的信息是深度图，所述辅助信息可以是与所述深度图对应的相同视点的视频的信息。
在该情况下，还可以具有：辅助信息生成步骤，根据所述相同视点的视频的信息将示出所述处理区域内部的边界的状态的信息生成为辅助信息。
本发明还提供一种视频编码装置，在将构成编码对象的视频的各帧分割为多个处理区域而对每个处理区域进行预测编码时，使用内插滤波器对预测残差的信号向下采样，由此进行编码，所述视频编码装置的特征在于，具备：滤波器确定单元，在所述处理区域中，参考能在解码时参考的信息来适应性地生成或选择所述内插滤波器，由此，确定所述内插滤波器；以及向下采样单元，使用所述确定的内插滤波器对所述预测残差的信号向下采样而作为低分辨率预测残差的信号。
本发明还提供一种视频解码装置，在对编码对象的视频的码数据进行解码时，将构成所述视频的各帧分割为多个处理区域，对每个处理区域使用内插滤波器对预测残差的信号向上采样，由此进行预测解码，所述视频解码装置的特征在于，具备：滤波器确定单元，在所述处理区域中，参考与在编码时参考的信息对应的信息来适应性地生成或选择所述内插滤波器，由此，不对滤波器系数进行解码而确定所述内插滤波器；以及向上采样单元，使用所述确定的内插滤波器对所述预测残差的信号向上采样而作为高分辨率预测残差的信号。
本发明还提供一种用于使所述视频编码方法在计算机实行的视频编码程序。
本发明还提供一种用于使所述视频解码方法在计算机实行的视频解码程序。
本发明还提供一种记录了所述视频编码程序的计算机可读记录介质。
本发明还提供一种记录了所述视频解码程序的计算机可读记录介质。
发明效果
根据本发明，利用与视频信号一起编码的附加信息、或能在解码侧根据视频而预测的信息来在解码时对预测残差的各处理块适应性地生成或选择内插滤波器，由此，能提高RRU中的预测残差向上采样精度，并提高最终图像的品质。
由此，能利用RRU模式来提高编码效率，并且能得到能充分保证视频的品质这样的效果。
附图说明
图1是示出本发明的第一实施方式的视频编码装置100的结构的框图。
图2是示出图1所示的视频编码装置100的动作的流程图。
图3是示出边界将块斜切的情况下的内插滤波器的例子的图。
图4是示出边界的状态的模式的图。
图5A是示出编码对象块及其周边块的运动矢量和能从其估计的边界状态的例子的图。
图5B是示出编码对象块及其周边块的运动矢量和能从其估计的边界状态的其他例子的图。
图6是示出根据该第一实施方式的视频解码装置200的结构的框图。
图7是示出图6所示的视频解码装置200的动作的流程图。
图8是示出根据本发明的第二实施方式的视频编码装置100a的结构的框图。
图9是示出图8所示的视频编码装置100a的动作的流程图。
图10是示出根据该第二实施方式的视频解码装置200a的结构的框图。
图11是示出图10所示的视频解码装置200a的动作的流程图。
图12是示出根据本发明的第三实施方式的视频编码装置100b的结构的框图。
图13是示出图12所示的视频编码装置100b的动作的流程图。
图14是示出根据该第三实施方式的视频解码装置200b的结构的框图。
图15是示出图14所示的视频解码装置200b的动作的流程图。
图16是示出根据变换/量化后的深度图的DCT系数求取的边界信息的例子的图。
图17是示出由计算机和软件程序构成视频编码装置的情况下的硬件结构的图。
图18是示出由计算机和软件程序构成视频解码装置的情况下的硬件结构的图。
图19是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的计算例的图。
图20是示出关于历来的RRU的相对于高分辨率预测残差样本的低分辨率预测残差样本的空间配置和用于进行向上采样内插的其他计算例的图。
具体实施方式
以下，参考附图来说明本发明的第一实施方式。
<第一实施方式>
开始，对根据本发明的第一实施方式的视频编码装置进行说明。
图1是示出根据该第一实施方式的视频编码装置的结构的框图。
如图1所示，视频编码装置100具备编码对象视频输入部101、输入帧存储器102、辅助信息生成部103、辅助信息存储器104、滤波器生成部105、预测部106、减法部107、向下采样部108、变换/量化部109、反量化/反变换部110、向上采样部111、加法部112、环路滤波器部113、参考帧存储器114、以及熵编码部115。
编码对象视频输入部101向视频编码装置100输入成为编码对象的视频。在以下，将该成为编码对象的视频称为编码对象视频，特别地，将进行处理的帧称为编码对象帧或编码对象图像。
输入帧存储器102存储所输入的编码对象视频。
辅助信息生成部103根据存储在输入帧存储器102中的编码对象视频或编码对象帧来生成为了生成内插滤波器而需要的辅助信息。在以下，将该滤波器生成所需的辅助信息简称为辅助信息。
辅助信息存储器104存储所生成的辅助信息。
滤波器生成部105参考存储在辅助信息存储器104中的辅助信息来生成在预测残差的向下采样和向上采样中使用的内插滤波器。在以下，将在该向下采样和向上采样中使用的内插滤波器简称为内插滤波器。
再有，参考辅助信息的内插滤波器的生成既可以为向下采样和向上采样用做成共同的一个滤波器，也可以做成各自的滤波器。此外，也可以仅对向下采样和向上采样中的任一者生成内插滤波器，而关于未生成的一侧提供规定的滤波器等。
预测部106对存储在输入帧存储器102中的编码对象图像进行预测处理，生成预测图像。
减法部107取得存储在输入帧存储器102中的编码对象图像与预测部106生成的预测图像的差分值，生成高分辨率预测残差。
向下采样部108使用内插滤波器对生成的高分辨率预测残差向下采样，生成低分辨率预测残差。
变换/量化部109对生成的低分辨率预测残差进行变换/量化，生成量化数据。
反量化/反变换部110对生成的量化数据进行反量化/反变换，生成解码低分辨率预测残差。
向上采样部111使用内插滤波器对生成的解码低分辨率预测残差向上采样，生成解码高分辨率预测残差。
加法部112将生成的解码高分辨率预测残差和预测图像加起来，生成解码帧。
环路滤波器部113将生成的解码帧乘以环路滤波器，生成参考帧。
参考帧存储器114存储生成的参考帧。
熵编码部115对量化数据进行熵编码，输出码数据（或编码数据）。
接下来，参考图2来说明图1所示的视频编码装置100的动作。图2是示出图1所示的视频编码装置100的动作的流程图。
在此，关于对编码对象视频中的某一帧编码的处理进行说明。能通过按每帧重复该处理来实现视频的编码。
首先，编码对象视频输入部101将编码对象帧输入到视频编码装置100，存储在输入帧存储器102中（步骤S101）。再有，编码对象视频中的若干个帧已经被编码，该解码帧被存储在参考帧存储器114中。
接下来，辅助信息生成部103根据编码对象帧来生成辅助信息。
该辅助信息和由其生成的内插滤波器无论是什么样都可以。此外，在辅助信息的生成中，除了编码对象帧之外，既可以参考已经编码/解码完的参考帧，也可以使用用于运动补偿预测的运动矢量等信息。
此外，也可以使用在向上采样用和向下采样用中不同的辅助信息来生成不同的内插滤波器以使用。在该情况下，向下采样滤波器用的辅助信息可以参考能在编码装置中参考的无论什么样的信息来估计。例如，可以使用编码对象视频自身、编码对象高分辨率预测残差、其他未编码的信息。
关于用于向上采样的内插滤波器，为了在编码装置和解码装置中生成/选择相同的内插滤波器，需要参考能在解码装置中参考的信息来估计。例如是，预测图像、低分辨率预测残差、已经解码完的参考图片或预测信息、其他复用的码数据等。
或者，只要能在编码装置和解码装置中参考相同的信息，则也可以参考未编码的其他信息。例如，在能在编码侧和解码侧参考未编码的其他视频的情况下，也可以参考未编码的其他视频。
在此，对解决作为历来的RRU所存在的问题之一的、与图像内的动态区域同伴或者静态区域的边界（在以下简称为边界）的品质劣化的内插滤波器和其生成用的辅助信息进行说明。
一般，在相当于边界的块中，由于运动补偿预测而造成的预测误差较大，该块的预测残差取不均的值，因此，由于预测残差的向下采样和向上采样，容易产生在解码图像中被摄物边界部失真这样的劣化。为了防止这样的劣化，根据边界的状态来决定内插滤波器的系数是有效的。
图3是以虚线示出的边界将块斜切的情况下的内插滤波器的例子。
在该图中，空白圆示出了高分辨率预测残差样本的配置，带斜线的圆示出了低分辨率预测残差样本的配置。此外，各圆内的文字a～l、A～H是像素值的例子，在图内示出了高分辨率预测残差样本的像素值a～l中的每个如何从周围的低分辨率预测残差样本的像素值A～H算出。
在该例中，在比边界上部的区域中，不使用下部区域的样本而仅使用上部区域的样本来进行内插。关于下部区域中的内插也是同样的。此外，在位于边界上的区域中，仅使用边界上的样本来进行内插。
作为用于生成这样的内插滤波器的辅助信息，使用示出边界的状态的任一信息。边界的状态既可以以像素单位严密地示出，也可以如图4（示出边界的状态的模式例的图）那样预先决定大量的模式而使用最近的模式。
此外，估计边界的方法不论是什么样的都可以，例如，可以将通过对编码对象帧施行轮廓抽取处理而得到的轮廓估计为边界。该情况下的辅助信息既可以是轮廓图像自身，也可以是示出构成轮廓的像素的坐标。
在解码时，不能根据低分辨率预测残差自身来求取高分辨率的轮廓图像，但能根据已经解码完的块、帧的轮廓图像进行估计。此外，还可以根据预测图像进行估计。进而，此时，可以在预测精度高的块中进行根据预测图像的估计，在预测精度低的块中用其他方法进行估计。
此外，作为其他方法，还能应用利用用于编码对象块及其周边块的运动补偿预测的运动矢量来估计边界状态这样的方法。
图5A、5B示出了编码对象块及其周边块的运动矢量和能从其估计的边界状态的例子。在这些图中，箭头示出了各块的运动矢量，分别在图5A中估计水平方向的边界状态，在图5B中估计右上升的对角线方向的边界状态。
此外，作为其他方法，还存在不是如前所述局部性的边界状态的估计而是根据视频全体进行被摄物抽取来估计边界这样的方法。可以对其使用图像分段、其他任意的方法。
进而，作为其他方法，可以预先决定若干种的边界状态的模式，利用识别号码来区别，选择对用任一方法所估计的边界最近的模式，将其识别号码用作辅助信息。
此外，作为其他问题，存在对具有各种特性的编码对象区域全部使用相同的内插滤波器由此根据情况存在品质严重降低这样的问题，对于这样的问题，能应用根据编码对象块的纹理的特性来估计最适合的内插滤波器的方法。
例如，可以配合纹理具有平滑的灰度的情况、是均匀的情况、具有边缘的情况、或者具有复杂且大量包括高频成分的纹理的情况等特性来生成/选择适当的滤波器。例如，在纹理具有平滑的灰度的情况下，将残差也设为平滑的状态而生成双线性滤波器等进行平滑的内插的滤波器，如果是存在强边缘那样的纹理，则能将其残差也设为具有边缘而进行保存边缘那样的内插滤波器的估计。作为生成这样的内插滤波器的辅助信息，还可以利用编码对象块的预测图像、已经编码完的周边图像等。
此外，还可以组合边界信息和纹理特性这二者。例如，在边界区域中，基于边界区域模式来决定内插滤波器，在非边界区域中，基于纹理特性来决定内插滤波器等。
作为内插滤波器的滤波器系数的具体性的决定方法，既可以根据预先决定的系数模式来选择，也可以如双边滤波器那样基于任一函数来计算。
在此，一般在块边界部的向上采样中仅利用块内的样本而不参考不同的块的样本，因此，存在根据内插精度而有时在块边界部发生块变形这样的问题。在两个块内部分别实施内插时，例如一个如前述的问题那样跨被摄物边界进行采样，另一个不跨那个或者跨又另外的被摄物边界，在此情况下，关于块边界部的像素在每个块中所求的残差值进行彼此不同的劣化，因此，容易发生块变形。
对于这样的问题，能对那样的容易发生块变形的块进行利用不同块的样本的内插，或根据情况使用外补（外插）滤波器。
使用的滤波器可以如前述的例子那样用任一方法来决定。块外样本的使用可否、外补的实施可否既可以根据视频信号来估计，也可以对另外附加信息进行编码。此外，关于该问题，也能通过利用考虑前述的被摄物边界的内插滤波器来降低块边界部的失真而间接性地缓和。
以上是内插滤波器和辅助信息及其估计方法的例子，但均不限于上述的例子，而能使用其他任意的内插滤波器和辅助信息以及估计方法。
回到图2，在生成辅助信息之后，将编码对象帧分割为编码对象块，按每块进行对编码对象帧的视频信号编码的例程（步骤S103）。即，重复地实行以下的步骤S104～S112的处理，直到顺次处理了帧内的全部的块为止。
在按编码对象块重复的处理中，首先，滤波器生成部105参考辅助信息来生成内插滤波器（步骤S104）。
生成的内插滤波器的例子如前所述。在此的滤波器生成既可以逐次决定滤波器系数，也可以从若干种预先决定的滤波器模式中选择。
接下来，预测部106使用编码对象帧和参考帧来进行任一预测处理，生成预测图像（步骤S105）。
预测方法只要能在解码侧使用预测信息等正确地生成预测图像，则无论什么样的方法都可以。在一般性的视频编码中，使用画面内预测、运动补偿等预测方法。此外，一般对此时使用的预测信息进行编码，并与视频码数据进行复用。
接下来，减法部107取得预测图像与编码对象块的差分，生成预测残差（步骤S106）。
如果完成了预测残差的生成，则向下采样部108使用内插滤波器来实行预测残差的向下采样，生成低分辨率预测残差（步骤S107）。
接着，变换/量化部109对低分辨率预测残差进行变换/量化，生成量化数据（步骤S108）。该变换/量化只要能在解码侧正确地进行反量化/反变换，则使用无论什么样的方法都可以。
如果完成了变换/量化，则反量化/反变换部110对量化数据进行反量化/反变换，生成解码低分辨率预测残差（步骤S109）。
接着，向上采样部111使用内插滤波器来进行解码低分辨率预测残差的向上采样，生成解码高分辨率预测残差（步骤S110）。此时，使用的内插滤波器不使用与在向下采样中使用的相同的内插滤波器，而是优选为使用通过前述那样的手法重新再生成后的内插滤波器。但是，在容许编码噪声的情况下，不那样限制，而可以使用相同的滤波器。
如果完成了向上采样，则加法部112将解码高分辨率预测残差和预测图像相加，生成解码块。然后，环路滤波器部113将生成的解码块乘以环路滤波器并作为参考帧的块存储在参考帧存储器114中（步骤S111）。
如果不需要环路滤波器则也可以不特别地进行相乘，但在通常的视频编码中，使用解块滤波器、其他滤波器来除去编码噪声。或者，也可以使用用于除去由于RRU的劣化的滤波器。此外，也可以用与向上采样滤波器生成的情况同样的次序来适应性地生成该环路滤波器。
接下来，熵编码部115对量化数据进行熵编码，生成码数据（步骤S112）。
如果对全部的块完成了处理（步骤S113），则输出视频码数据（步骤S114）。
接下来，对该第一实施方式中的视频解码装置进行说明。图6是示出根据该第一实施方式的视频解码装置的结构的框图。
如图6所示，视频解码装置200具备码数据输入部201、码数据存储器202、熵解码部203、反量化/反变换部204、辅助信息生成部205、辅助信息存储器206、滤波器生成部207、向上采样部208、预测部209、加法部210、环路滤波器部211、以及参考帧存储器212。
码数据输入部201向视频解码装置200输入成为解码对象的视频码数据。将该成为解码对象的视频码数据称为解码对象视频码数据，特别地，将进行处理的帧称为解码对象帧或解码对象图像。
码数据存储器202存储输入的解码对象视频码数据。
熵解码部203对解码对象帧的码数据进行熵解码，生成量化数据，反量化/反变换部204对生成的量化数据施行反量化/反变换，生成解码低分辨率预测残差。
辅助信息生成部205与对于编码装置的上述说明同样地，根据生成的解码低分辨率预测残差或参考帧、以及预测信息或其他信息来生成辅助信息。
辅助信息存储器206存储生成的辅助信息。
滤波器生成部207参考辅助信息来生成在预测残差的向上采样中使用的内插滤波器。
向上采样部208使用内插滤波器来实行解码低分辨率预测残差的向上采样，生成解码高分辨率预测残差。
预测部209参考预测信息等对解码对象图像进行预测处理，生成预测图像。
加法部210将生成的解码高分辨率预测残差和预测图像相加，生成解码帧。
环路滤波器部211将生成的解码帧乘以环路滤波器，生成参考帧。
参考帧存储器212存储生成的参考帧。
接下来，参考图7来说明图6所示的视频解码装置200的动作。图7是示出图6所示的视频解码装置200的动作的流程图。
在此，关于对码数据中的某一帧解码的处理进行说明。能通过按每帧重复该处理来实现视频的解码。
首先，码数据输入部201将视频码数据输入到视频解码装置200，并存储在码数据存储器202中（步骤S201）。再有，解码对象视频中的若干个帧已经被解码，并存储在参考帧存储器212中。
接下来，将解码对象帧分割为对象块，按每块进行对解码对象帧的视频信号解码的例程（步骤S202）。即，重复地实行以下的步骤S203～S208的处理，直到顺次处理了帧内的全部的块为止。
在按每个解码对象块重复的处理中，首先，熵解码部203对码数据进行熵解码，在反量化/反变换部204中进行反量化/反变换，生成解码低分辨率预测残差（步骤S203）。
接着，辅助信息生成部205根据生成的解码低分辨率预测残差或参考帧、以及预测信息或其他信息来生成内插滤波器生成所需的辅助信息，并存储在辅助信息存储器206中（步骤S204）。
如果生成了辅助信息，则滤波器生成部207使用辅助信息来生成内插滤波器（步骤S205）。
接下来，向上采样部208对解码低分辨率预测残差向上采样，生成解码高分辨率预测残差（步骤S206）。
接着，预测部209使用解码对象块和参考帧来进行任一预测处理，生成预测图像（步骤S207）。
进而，加法部210将解码高分辨率预测残差和预测图像相加，进而在环路滤波器部211中乘以环路滤波器，将其输出作为参考块存储在参考帧存储器212中（步骤S208）。
最后，如果对全部的块完成了处理（步骤S209），则作为解码帧输出（步骤S210）。
接下来，参考附图来说明本发明的第二实施方式。
<第二实施方式>
图8是示出根据本发明的第二实施方式的视频编码装置100a的结构的框图。在该图中，对与图1所示的装置相同的部分附加相同的附图标记，省略其说明。
该图所示的装置与图1所示的装置的不同之处在于，代替辅助信息生成部103而具备辅助信息输入部116，新具备辅助信息编码部117和复用部118。
辅助信息输入部116向视频编码装置100a输入为了生成内插滤波器而需要的辅助信息。
辅助信息编码部117对输入的辅助信息进行编码，生成辅助信息码数据。
复用部118对辅助信息码数据和视频码数据复用并输出。
接下来，参考图9来说明图8所示的视频编码装置100a的动作。图9是示出图8所示的视频编码装置100a的动作的流程图。
图9示出了如下情况的处理：作为第一实施方式中的辅助信息生成处理的代替而从外部导入辅助信息并用于滤波器生成，此外对该辅助信息进行编码，与视频码数据复用而作为视频信号。
在图9中，对与图2所示的处理相同的部分附加相同的附图标记，省略其说明。
首先，编码对象视频输入部101将编码对象帧输入到视频编码装置100a并存储在输入帧存储器102中。与此并行，辅助信息输入部116导入辅助信息并存储在辅助信息存储器104中（步骤S101a）。
再有，编码对象视频中的若干个帧已经被编码，其解码帧存储在参考帧存储器114中。
在此输入的辅助信息只要能在解码装置侧生成同种的内插滤波器，则无论是什么样的信息都可以。如第一实施方式中叙述的例子那样，既可以是根据视频信息、预测信息生成的信息，也可以是与编码对象视频具有某些相关的其他信息、基于该信息生成的信息。
例如，在编码对象视频是从多个视点对同一场景进行摄影的多视点视频之中的某一个视点的视频的情况下，编码对象视频与其他视点的视频空间性地具有相关，因此，能根据其他视点的视频来求取编码对象视频用的辅助信息。此时的辅助信息的求法既可以是与第一实施方式的例子相同的方法，也可是另外的方法。
此外，经编码且与视频码数据复用的辅助信息可以是对编码对象视频数据求取的辅助信息，只要能在解码装置侧求取相同的辅助信息，则也可以是对其他视点的视频自身进行编码后的信息。此外，作为另外的例子，也可以是法线图、温度图像等的、具有依存于被摄物的值的图像信息等。
此外，还可以预先决定若干个滤波器模式及其识别号码，将要选择的滤波器的识别号码直接作为辅助信息。关于该情况下的滤波器选择，无论使用什么样的方法都可以。即，既可以用与上述的任一方法相同的方法来求取要选择的滤波器，也可以使用按每个编码对象块考虑的滤波器来实行编码/解码，评价得到的解码块的品质，选择其品质成为最高的滤波器。
此外，可以将利用任一方法求取的滤波器的滤波器系数直接作为辅助信息。
或者，可以像例如双边滤波器那样基于任一函数来决定滤波器系数，将该函数的参数作为辅助信息。
再有，用于滤波器生成的辅助信息既可以在容许编码噪声以外的噪声的发生的情况下使用未经编码的信息，也可以为了进一步提高编码品质而使用通过后述的编码次序和解码次序经过编码/解码的信息。辅助信息的编码/解码既可以在视频编码装置内实行，也可以在编码对象视频的编码前另外进行编码/解码。
接下来，将编码对象帧分割为编码对象块，按每块进行对编码对象帧的视频信号编码的例程（步骤S103）。即，重复地实行以下的步骤S104～S112b的处理，直到顺次处理了帧内的全部的块为止。
以下，步骤S104～S112的处理与图2所示的处理动作同样地实行。
接下来，对前述的辅助信息进行编码（步骤S112a），与视频码数据复用，生成码数据（步骤S112b）。
该编码方法只要能在解码侧正确地解码，则无论是什么样的方法都可以。但是，在如前所述为了滤波器生成而一度进行了辅助信息的编码/解码的情况下，可以不对解码数据进一步编码，而直接使用编码完的辅助信息。
如果对全部的块完成了处理（步骤S113），则输出视频码数据（步骤S114）。
接下来，对该第二实施方式中的视频解码装置进行说明。图10是示出根据该第二实施方式的视频解码装置的结构的框图。在该图中，对与图6所示的装置相同的部分附加相同的附图标记，省略其说明。
该图所示的装置与图6所示的装置不同之处在于，新具备去复用部213，并代替辅助信息生成部205而具备辅助信息解码部214。
去复用部213对码数据进行去复用，分离为辅助信息码数据和视频码数据。
辅助信息解码部214对辅助信息码数据进行解码，生成辅助信息。
接下来，参考图11来说明图10所示的视频解码装置200a的动作。图11是示出图10所示的视频解码装置200a的动作的流程图。
在此，关于对码数据中的某一帧解码的处理进行说明。能通过按每帧重复该处理来实现视频的解码。
在图11中，示出了如下情况的处理：作为第一实施方式中的视频码数据的代替而将视频码数据与辅助信息码数据复用后的码数据输入到视频解码装置200a，对其进行去复用，作为辅助信息生成的代替而进行辅助信息解码，将解码后的辅助信息用于滤波器生成。
在图11中，对与图7所示的处理相同的部分附加相同的附图标记，省略其说明。
首先，码数据输入部201将视频码数据输入到视频解码装置200a并存储在码数据存储器202中（步骤201）。再有，解码对象视频中的若干个帧已经被解码，存储在参考帧存储器212中。
接下来，将解码对象帧分割为对象块，按每块进行对解码对象帧的视频信号解码的例程（步骤S202）。即，重复地实行以下的步骤S203～S208的处理，直到顺次处理了帧内的全部的块为止。
在按每个解码对象块重复的处理中，首先，去复用部213将输入的视频码数据去复用为视频码数据和辅助信息码数据（步骤S203a）。
然后，熵解码部203对视频码数据进行熵解码，反量化/反变换部204进行反量化/反变换，生成解码低分辨率预测残差（步骤S203）。
接着，辅助信息解码部214对辅助信息进行解码并存储在辅助信息存储器206中（步骤S204a）。
以下，步骤S205～S210进行与图7所示的处理动作同样的处理。
再有，在第二实施方式中，按处理块单位对辅助信息码数据和视频码数据进行复用，但也可以关于画面单位等另外的处理单位作为各自的码数据。此外，只要能在解码装置侧得到与用于解码信息的同等的辅助信息，也可以在编码装置侧不对辅助信息进行编码、复用。
接下来，参考附图来说明本发明的第三实施方式。
<第三实施方式>
图12是示出根据本发明的第三实施方式的视频编码装置100b的结构的图。在该图中，对与图1所示的装置相同的部分附加相同的附图标记，省略其说明。
该图所示的装置与图1所示的装置的不同之处在于，新具备深度图输入部119和深度图存储器120，辅助信息生成部103使用深度图作为编码对象帧的代替而生成辅助信息。
深度图输入部119将为了生成内插滤波器而参考的深度图（信息）输入到视频编码装置100b。在此输入的深度图表示在编码对象视频的各帧的各像素所映现的被摄物的深度值。
深度图存储器120存储输入的深度图。
接下来，参考图13来说明图12所示的视频编码装置100b的动作。图13是示出图12所示的视频编码装置100b的动作的流程图。
在图13中示出了如下情况的处理：作为第一实施方式中的参考视频信息的辅助信息生成的代替而从外部导入深度图来用于辅助信息生成。
在图13中，对与图2所示的处理相同的部分附加相同的附图标记，省略其说明。
首先，编码对象视频输入部101将编码对象帧输入到视频编码装置100b并存储在输入帧存储器102中。与此并行，深度图输入部119导入深度图并存储在深度图存储器120中（步骤S101b）。
再有，编码对象视频中的若干个帧已经被编码，其解码帧存储在参考帧存储器114中，对应的深度图存储在深度图存储器120中。
此外，在本第二实施方式中，输入的编码对象帧被顺次编码，但输入顺序和编码顺序未必需要一致。在输入顺序和编码顺序不同的情况下，先输入的帧被存储在输入帧存储器102中，直到接下来编码的帧被输入为止。
存储在输入帧存储器102中的编码对象帧如果通过在以下说明的编码处理被编码，则可以从输入帧存储器102删除。然而，存储在深度图存储器120中的深度图被存储，直到对应的编码对象帧的解码帧从参考帧存储器114删除为止。
再有，为了抑制编码噪声以外的噪声的产生，在步骤S101b输入的深度图优选为使用与在解码装置侧得到的深度图相同的深度图。例如，在对深度图编码并与视频一起作为码数据的情况下，用于视频编码的深度图使用经过编码/解码的深度图。
作为在解码装置侧得到的深度图的其他例子，存在使用对另外的视点的编码完深度图进行解码后的结果而合成的深度图、根据对另外的视点的编码完图像群进行解码后的结果利用立体匹配等所估计的深度图等。
但是，在容许编码噪声的产生的情况下，也可以使用未经编码的深度图。
接下来，辅助信息生成部103参考深度图来生成用于内插滤波器生成的辅助信息（步骤S102a）。
在此生成的辅助信息及其估计方法和生成的内插滤波器无论是什么样的都可以。例如，在将第一实施方式中列举的例子那样的边界信息用作辅助信息的情况下，可以作为视频的代替而使用深度图的轮廓信息、用于对深度图进行编码的运动矢量等来进行同样的估计。
一般，构成相同被摄物的各像素的深度值取比较连续的值，此外，在不同的被摄物同伴的边界中，各像素的深度值取离散的值的情况较多。因而，能通过基于深度图中的轮廓信息、运动矢量来求取边界信息，从而不受视频的纹理影响而检测正确的边界信息，因此，能精度良好地生成内插滤波器。
此外，还存在不是局部性的边界状态的估计而根据深度图全体来进行被摄物边界抽取这样的方法。在此情况下，既可以考虑前述的连续性来抽取被摄物，也可以使用图像分段那样的方法。
或者，还可以将块内的各像素的深度值自身、使用了其的运算值、或者要选择的滤波器的识别号码作为辅助信息。
例如，可以参考深度值的平均来进行适应性地生成内插滤波器或者使用既定的滤波器的切换。
通常，平均深度值小的块与从其他视点的视频的视差极小，因此进行视差补偿预测的情况的精度很高，此外离摄像机的距离很远，因此被摄物的移动量很少，运动补偿预测的精度也比较高。因此，预测残差变得极小的可能性很高，得到比使用单纯的双线性滤波器等的内插良好的解码结果的可能性很高。另一方面，关于深度值大的块，可以说是相反的，适应性的内插滤波器是有效的可能性很高。
或者，可以利用深度图来以高精度求取编码对象视频与已经解码完的其他视点的视频的对应关系，由此，参考其他视点的视频来生成内插滤波器。
作为滤波器系数的具体性的决定方法，既可以从预先决定的系数模式中选择，也可以如双边滤波器那样基于任一函数来计算。
例如，可想到将在双边滤波器中参考的辉度值不是作为编码对象视频的辉度值而是作为深度图的辉度值那样的交叉双边滤波器函数。或者，可以使用参考视频和深度图这二者或者进一步另外的信息的函数。
以上是内插滤波器和辅助信息及其估计方法的例子，但均不限定于上述的例子，而能使用其他任意的内插滤波器和辅助信息以及估计方法。
以下，步骤S103～步骤S114与图2所示的处理动作同样实行。
接下来，对本第三实施方式中的视频解码装置200b进行说明。图14是示出根据该第三实施方式中的视频解码装置的结构的框图。在该图中，对与图6所示的装置相同的部分附加相同的附图标记，省略其说明。
该图所示的装置与图6所示的装置不同之处在于，新具备深度图输入部215和深度图存储器216，辅助信息生成部205使用深度图作为低分辨率预测残差的代替来生成辅助信息。
深度图输入部215将为了生成内插滤波器而参考的深度图（信息）输入到视频解码装置200b，输入，深度图存储器216存储输入的深度图。
接下来，参考图15来说明图14所示的视频解码装置200b的动作。图15是示出图14所示的视频解码装置200b的动作的流程图。
在图15中示出了如下情况的处理：作为第一实施方式中的参考了视频信息的辅助信息生成的代替而从外部导入深度图，用于辅助信息生成。
在图15中，对与图7所示的处理相同的部分附加相同的附图标记，省略其说明。
首先，码数据输入部201将码数据输入到视频解码装置200b并存储在码数据存储器202中。与此并行，深度图输入部215导入深度图并存储在深度图存储器216中（步骤S201a）。
再有，解码对象视频中的若干个帧已经被解码并存储在参考帧存储器212中，对应的深度图存储在深度图存储器216中。
接下来，将解码对象帧分割为解码对象块，按每块对解码对象帧的视频信号进行解码（步骤S202）。重复地实行以下的步骤S203～S208的处理，直到顺次处理了帧内的全部的块为止。
在按每个解码对象块重复的处理中，首先，熵解码部203对码数据进行熵解码。然后，反量化/反变换部204进行反量化/反变换，生成解码低分辨率预测残差（步骤S203）。
接着，辅助信息生成部205根据深度图、其预测信息等来生成内插滤波器生成所需的辅助信息并存储在辅助信息存储器206中（步骤S204b）。
以下，从步骤S205到步骤S210进行与图7所示的处理动作同样的处理。
在上述的第三实施方式中，示出了以RRU对视频进行编码的例子，而也可以以RRU对例如深度图进行编码。此外，在该情况下，可以参考视频信息来生成深度图用的内插滤波器。或者，可以对视频信息/深度图中的任一者均利用RRU，深度图的内插滤波器利用自我参考或者输入的辅助信息来生成，视频信息使用解码的深度图来解码。视频信息/深度图的关系也可以是相反的。
此外，可以设法安排编码和解码的顺序来进行双方向参考。
此外，可以并用深度图和如第一实施方式那样根据视频信息估计的辅助信息、编码为附加信息的辅助信息。例如，在根据深度图求取的边界区域中生成与边界状态相应的滤波器，在非边界区域中根据视频的纹理来生成内插滤波器等。
此外，在前述的第三实施方式中，参考对应于解码对象帧的深度图来进行辅助信息生成，但也可以参考对应于已经解码完的参考帧的深度图。
此外，既可以不仅参考深度图还参考解码对象帧、其预测信息和参考帧，也可以参考深度图自身的预测信息等。
此外，在前述的第三实施方式中，直接使用输入的深度图，但在使用经编码的深度图等情况下，可以为了降低深度图的编码噪声而施加低通滤波器等。
此外，在如例子所列举的那样判定被摄物边界来生成内插滤波器等情况下，只要能明白被摄物的差异的程度的比特深度就足够，因此，可以对输入的深度图施行比特深度变换，加上使深度图的比特深度变小的处理。
再有，可以进行单纯的比特深度变换，但也可以根据深度图来判定被摄物数目等，变换为根据该结果区别被摄物所要的信息。
此外，在前述的第一至第三实施方式中，对于编码对象帧的全部块说明了应用RRU的例子，但也可以仅应用于一部分的块。此外，可以根据块而使向下采样率可变。
在该情况下，既可以对示出RRU应用可否、向下采样率的信息进行编码而包括在附加信息，也可以在解码装置侧附加判别RRU应用可否、向下采样率的功能。
例如，在第三实施方式中，可以参考深度图来决定RRU应用可否、向下采样率。在该情况下，可以附加用于防止由于深度图的编码噪声、传输错误而变得不能解码的回避功能、订正功能。
进而，在前述的说明中，在全部的块中适应性地生成内插滤波器，但为了运算量的降低，对能用既定的滤波器得到足够性能的块可以使用既定的滤波器。在该情况下，可以参考视频信息、辅助信息来切换使用既定的滤波器或进行滤波器生成。
此外，向下采样可以利用既定的滤波器而仅对向上采样使用适应性地生成的内插滤波器，也可以相反。
此外，在前述的第一～第三实施方式中，在编码装置中辅助信息的生成在循环的外部实行，但也可以在内部按每块实行。
另一方面，在解码装置中，辅助信息的生成在循环的内部按每块实行，但如果可能的话，也可以在循环的外部实行。
进而，与编码装置/复合装置一起，滤波器的生成在循环内部实行，但也可以在外部实行。
此外，可以使多个帧量先行地实行滤波器生成，在解码装置中，只要能在解码对象帧的解码前生成对应的滤波器，则也可以按其他任何的顺序实行。
此外，在前述的第一～第三实施方式中，在解码时，使用对码数据进行反量化/反变换后的解码低分辨率预测残差、解码后的深度图来生成辅助信息，但也可以参考反量化前的量化数据、反变换前的变换数据来生成辅助信息。
图16示出了根据变换/量化后的深度图的DCT系数来求取边界信息的例子。如图16所示，当从变换/量化后的DCT系数中除去直流成分而将交流成分之中的某阈值以下的系数置换为0后实行反量化/反变换时，能复原示出相当正确的边界信息的图像。
在求取内插滤波器生成用的辅助信息的情况下，不需要将该DCT系数复原为图像而能根据DCT系数的模式直接估计辅助信息。
此外，在前述的第一～第三实施方式中，不特别地区别编码对象视频信号中的辉度信号、色差信号，但也可以区别这些。
例如，既可以仅对色差信号实行向下采样/向上采样，而辉度信号保持高分辨率进行编码等，也可以相反。
或者，可以将不同的滤波器用作辉度信号/色差信号各自的内插滤波器。在该情况下，例如，可以参考色差信号来生成辉度信号的内插滤波器等。
再有，关于前述的第一～第三实施方式中的一部分的处理，其顺序可以前后颠倒。
以上说明的视频编码和视频解码的处理能通过计算机和软件程序来实现，能将该程序记录在计算机可读记录介质中来提供，也能通过网络来提供。
在图17中，示出了通过计算机和软件程序来构成前述的视频编码装置的情况下的硬件图。
本系统成为如下装置被总线连接的结构：
·实行程序的CPU30；
·CPU30访问的程序、数据被存储的RAM等存储器31；
·将来自摄像机等的编码对象的视频信号输入到视频编码装置内的编码对象视频输入部32（也可以是利用磁盘装置等的、存储视频信号的存储部）；
·作为使图2、图9、图13所示的处理在CPU30实行的软件程序的视频编码程序351被存储的程序存储装置35；以及
·经由例如网络输出通过CPU30实行加载到存储器31的视频编码程序而生成的码数据的码数据输出部36（也可以是利用磁盘装置等的存储码数据的存储部）。
另外，如果在实现第二、三实施方式中说明的编码的情况下需要的话，可以进一步连接例如经由网络输入辅助信息的辅助信息输入部33（也可以是利用磁盘装置等的、存储辅助信息信号的存储部）、例如经由网络输入对于编码对象的视频的深度图的深度图输入部34（也可以是利用磁盘装置等的、存储深度图信号的存储部）。
此外，省略了图示，但另外，码数据存储部、参考帧存储部等硬件被设置而用于本手法的实施。此外，有时也使用视频信号码数据存储部、预测信息码数据存储部等。
在图18中，示出了利用计算机和软件程序来构成前述的视频解码装置的情况下的硬件图。
本系统成为如下装置被总线连接的结构：
·实行程序的CPU40；
·CPU40访问的程序、数据被存储的RAM等存储器41；
·将视频编码装置通过根据本发明的手法编码的码数据输入到视频解码装置内的码数据输入部42（也可以是利用磁盘装置等的、存储码数据的存储部）；
·作为使图7、图11、图15所示的处理在CPU40实行的软件程序的视频解码程序451被存储的程序存储装置45；以及
·向播放装置等输出通过CPU40实行加载到存储器41的视频解码程序而生成的解码视频的解码视频输出部46。
另外，如果在实现第二、三实施方式中说明的解码的情况下需要的话，可以进一步连接例如经由网络输入对于解码对象的视频信息的深度图的深度图输入部44（也可以是利用磁盘装置等的、存储深度图信号的存储部）。
此外，省略了图示，但另外，参考帧存储部等硬件被设置而用于本手法的实施。此外，有时也使用视频信号码数据存储部、预测信息码数据存储部等。
如以上说明的那样，利用能根据与视频信号一起编码的任一附加信息、或者视频信息而预测的信息来在解码时对预测残差的各处理块适应性地生成或选择内插滤波器，由此能提高RRU中的预测残差的向上采样精度，以原本的高分辨率且好的品质再构成最终图像。
由此，在伴随以深度图为代表的那样的附加信息的视频编码中，能利用RRU模式来提高编码效率，另一方面充分保证主观品质。
再有，前述的RRU模式优选为在自由视点视频编码中的使用，但不限定于此。然而，在作为伴随原来深度图等附加信息的视频信号的编码方式的自由视点视频编码等中，利用本发明不需要将多余的附加信息包括于信号，因此更有效。
再有，可以将用于实现图1、6、8、10、12、14中的各处理部的功能的程序记录在计算机可读记录介质中，将记录在该记录介质中的程序读入到计算机系统并实行，由此，进行视频编码处理、视频解码处理。
再有，在此所说的“计算机系统”是指包括OS、外围设备等硬件的系统。此外，“计算机系统”还包括具备主页提供环境（或者显示环境）的WWW系统。
此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。
进而，“计算机可读记录介质”还包括像经由因特网等网络、电话回线等通信回线来发送程序的情况下的服务器、客户端的计算机系统内部的易失性存储器（RAM）那样保持程序一定时间的介质。
此外，上述程序也可以从将该程序存储在存储装置等中的计算机系统经由传输介质或者通过传输介质中的传输波发送到其他计算机系统。在此，传输程序的“传输介质”是指如因特网等网络（通信网）、电话回线等通信回线（通信线）那样具有传输信息的功能的介质。
此外，上述程序还可以是用于实现前述的功能的一部分的程序。
进而，也可以是能通过将前述的功能与已经记录在计算机系统中的程序的组合而实现的程序，所谓的差分滤波器（差分程序）。
以上，参考附图来说明了本发明的实施方式，但上述实施方式仅是本发明的例示，显然本发明不限定于上述实施方式。因而，可以在不偏离本发明的技术思想和范围的范围中进行构成要素的追加、省略、置换、以及其他变更。
产业上的可利用性
能应用于提高RRU中的预测残差向上采样精度、提高最终图像的品质是不可欠缺的用途。
附图标记说明
100、100a、100b：视频编码装置；
101：编码对象视频输入部；
102：输入帧存储器；
103：辅助信息生成部；
104：辅助信息存储器；
105：滤波器生成部；
106：预测部；
107：减法部；
108：向下采样部；
109：变换/量化部；
110：反量化/反变换部；
111：向上采样部；
112：加法部；
113：环路滤波器部；
114：参考帧存储器；
115：熵编码部；
116：辅助信息输入部；
117：辅助信息编码部；
118：复用部；
119：深度图输入部；
120：深度图存储器；
200、200a、200b：视频解码装置；
201：码数据输入部；
202：码数据存储器；
203：熵解码部；
204：反量化/反变换部；
205：辅助信息生成部；
206：辅助信息存储器；
207：滤波器生成部；
208：向上采样部；
209：预测部；
210：加法部；
211：环路滤波器部；
212：参考帧存储器；
213：去复用部；
215：深度图输入部；
216：深度图存储器。