图像处理装置和图像处理方法.pdf

本技术涉及能够通过使用与视差图像有关的信息来提高视差图像的编码效率的图像处理装置和图像处理方法。校正单元设定在以视差图像作为目标使用深度加权系数和深度偏差的深度加权预测处理时使用的计算的计算精度。校正单元根据所设定的计算精度针对深度图像执行深度加权预测处理，并生成深度预测图像。计算单元通过使用深度预测图像对深度图像进行编码来生成深度流。本技术可以应用至例如视差图像的编码装置。

1.  一种图像处理装置，包括：
设定单元，所述设定单元设定在以深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；
深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成深度预测图像；以及
编码单元，所述编码单元通过使用由所述深度加权预测单元生成的所述深度预测图像对所述深度图像进行编码来生成深度流。

2.  根据权利要求1所述的图像处理装置，
其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。

3.  根据权利要求2所述的图像处理装置，
其中，所述设定单元设定计算所述深度加权系数时的计算精度。

4.  根据权利要求3所述的图像处理装置，
其中，所述设定单元设定计算所述深度偏差时的计算精度。

5.  根据权利要求3所述的图像处理装置，
其中，所述设定单元将所述计算精度设定为定点数精度。

6.  根据权利要求5所述的图像处理装置，
其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算。

7.  根据权利要求6所述的图像处理装置，
其中，所述设定单元将根据所述移位计算的小数精度设定为所述深度图像的小数精度或更大的小数精度。

8.  根据权利要求6所述的图像处理装置，
其中，所述设定单元将所述深度图像的小数精度设定为根据所述移位计算的小数精度或更小的小数精度。

9.  根据权利要求6所述的图像处理装置，
其中，所述设定单元设定表示所述移位计算的移位量的移位参数，以及
其中，所述图像处理装置还包括递送单元，所述递送单元将由所述编码单元生成的所述深度流和由所述设定单元设定的所述移位参数进行递送。

10.  根据权利要求2所述的图像处理单元，
其中，所述设定单元设定计算所述深度加权系数时的计算顺序。

11.  根据权利要求10所述的图像处理单元，
其中，所述设定单元设定计算所述深度偏差时的计算顺序。

12.  一种图像处理方法，
其中，所述图像处理方法包括：
设定步骤，所述设定步骤设定在以深度图像作为目标使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；
深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理来生成深度预测图像；以及
编码步骤，所述编码步骤通过使用由所述深度加权预测步骤的处理生成的所述深度预测图像对所述深度图像进行编码来生成深度流。

13.  一种图像处理装置，包括：
接收单元，所述接收单元接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；
解码单元，所述解码单元通过对由所述接收单元接收到的所述深度流进行解码来生成所述深度图像；
设定单元，所述设定单元设定在以由所述解码单元生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及
深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与由所述接收单元接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测，来生成所述深度预测 图像，
其中，所述解码单元使用由所述深度加权预测单元生成的所述深度预测图像，对所述深度流进行解码。

14.  根据权利要求13所述的图像处理装置，
其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。

15.  根据权利要求14所述的图像处理装置，
其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算精度。

16.  根据权利要求15所述的图像处理装置，
其中，所述设定单元将所述计算精度设定为定点数精度。

17.  根据权利要求16所述的图像处理装置，
其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算，以及
其中，所述设定单元将根据所述移位计算的小数精度设定成所述深度图像的小数精度或更大的小数精度。

18.  根据权利要求17所述的图像处理装置，
其中，所述接收单元接收被设定为表示所述移位计算的移位量的参数的移位参数，以及
其中，所述深度加权预测处理基于所述移位参数执行所述移位计算。

19.  根据权利要求14所述的图像处理装置，
其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算顺序。

20.  一种图像处理方法，
其中，所述图像处理方法包括：
接收步骤，所述接收步骤接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；
解码步骤，所述解码步骤通过对由所述接收步骤的处理接收到的所述 深度流进行解码来生成所述深度图像；
设定步骤，所述设定步骤设定在以由所述解码步骤的处理生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及
深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度、使用与由所述接收步骤的处理接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成所述深度预测图像，并且
其中，在所述解码步骤的处理中，使用由所述深度加权预测步骤的处理生成的所述深度预测图像，对所述深度流进行解码。

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法；特别是涉及能够通过使用与视差图像相关的信息来提高视差图像编码效率的图像处理装置和图像处理方法。
背景技术
近年来，存在对3D图像的关注，并提议了用于生成多视点3D图像的视差图像的编码方法(例如，参照NPL1)。此外，视差图像是由如下视差值形成的图像：表示与视差图像相对应的视点的彩色图像的各像素与为基准点的视点的彩色图像的像素在屏幕上的位置之间沿水平方向的距离的视差值，该视差值与那些像素相对应。
另外，为了与高级视频编码(AVC)相比进一步提高编码效率，在已知为高效率视频编码(HEVC)的编码方法的标准化中已经取得了进展，并且在2011年8月起草的时候，作为草案已经出版了NPL2。
引用列表
非专利文献
NPL1：“Call for Proposals on3D Video Coding Technology”,IOS/IECJTC1/SC29/WG11,MPEG2011/N12036,瑞士,日内瓦,2011年3月
NPL2：Thomas Wiegand,Woo-jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivian,“WD3：Working Draft3of High-Efficiency Video Coding”,JCTVC-E603_d5(第5版),2011年5月20日
发明内容
技术问题
然而，未设计通过使用于视差图像有关的信息来提高视差图像编码效率的编码方法。
本技术是考虑了该情形而做出的，并且本技术能够通过使用与视差图像相关的信息来提高视差图像的编码效率。
解决方案
本技术第一方面的图像处理装置为如下图像处理装置：所述图像处理装置包括：设定单元，所述设定单元设定在以深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成深度预测图像；以及编码单元，所述编码单元通过使用由所述深度加权预测单元生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
本技术的第一方面的图像处理方法与本技术的第一方面的图像处理设备相对应。
在本技术的第一方面中，设定在以深度图像作为目标使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度，通过根据由所述设定步骤的处理设定的所述计算精度使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理来生成深度预测图像，以及通过使用由所述深度加权预测步骤的处理生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
本技术的第二方面的图像处理装置为如下图像处理装置：所述图像处理装置包括：接收单元，所述接收单元接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；解码单元，所述解码单元通过对由所述接收单元接收到的所述深度流进行解码来生成所述深度图像；设定单元，所述设定单元设定在以由所述解码单元生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与由所述接收单元接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测，来生成所述深度预测图像，其中，所述解码单元使用由所述深度加权预测单元生成的所述 深度预测图像，对所述深度流进行解码。
本技术的第二方面的图像处理方法与本技术的第二方面的图像处理装置相对应。
在本技术的第二方面中，接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；通过对由所述接收步骤的处理接收到的所述深度流进行解码来生成所述深度图像；设定在以由所述解码步骤的处理生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及通过根据由所述设定步骤的处理设定的所述计算精度、使用与由所述接收步骤的处理接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成所述深度预测图像。深度预测图像在对深度流解码期间使用。
发明的有益效果
根据本技术的第一方面，可以使用与视差图像相关的信息提高视差图像的编码效率。
另外，根据本技术的第二方面，可以对视差图像的编码数据(其中通过使用与视差图像相关的信息进行编码来提高编码效率)进行解码。
附图说明
图1是示出应用本技术的编码装置的一个实施方式的配置示例的框图。
图2是说明视点生成信息的视差最大值和视差最小值的图示。
图3是说明视点生成信息的视差精度参数的图示。
图4是说明视点生成信息的摄像机间距离的图示。
图5是示出图1的多视点图像编码单元的配置示例的框图。
图6是示出编码单元的配置示例的框图。
图7是示出编码位流的配置示例的图示。
图8是示出图7的PPS的语法的示例的图示。
图9是示出片头的语法的示例的图示。
图10是示出片头的语法的示例的图示。
图11是说明图1的编码装置的编码处理的流程图。
图12是详细说明图11的多视点编码处理的流程图。
图13是详细说明图12的视差图像编码处理的流程图。
图14是详细说明图12的视差图像编码处理的流程图。
图15是示出应用本技术的解码装置的一个实施方式的配置示例的框图。
图16是示出图15的多视点图像解码单元的配置示例的框图。
图17是示出解码单元的配置示例的框图。
图18是说明图15的解码装置150的解码处理的流程图。
图19是详细说明图18的多视点解码处理的流程图。
图20是详细说明图16的视差图像解码处理的流程图。
图21是说明在视差图像的校正中使用的信息的递送方法的图示。
图22是示出第二递送方法中的编码位流的配置示例的图示。
图23是示出第三递送方法中的编码位流的配置示例的图示。
图24是示出片编码单元的配置示例的框图。
图25是示出编码单元的配置示例的框图。
图26是示出校正单元的配置示例的框图。
图27是用于说明视差值和沿深度方向的位置的图示。
图28是示出经成像的对象之间的位置关系的示例的图示。
图29是说明沿深度方向的最大位置和最小位置之间的关系的图示。
图30是用于说明经成像的对象之间的位置关系和亮度的图示。
图31是用于说明经成像的对象之间的位置关系和亮度的图示。
图32是用于说明经成像的对象之间的位置关系和亮度的图示。
图33是详细说明视差图像编码处理的流程图。
图34是详细说明视差图像编码处理的流程图。
图35是用于说明预测图像生成处理的流程图。
图36是示出片解码单元的配置示例的框图。
图37是示出解码单元的配置示例的框图。
图38是示出校正单元的配置示例的框图。
图39是详细说明视差图像解码处理的流程图。
图40是用于说明预测图像生成处理的流程图。
图41是示出计算机的一个实施方式的配置示例的图示。
图42是示出应用本技术的电视机装置的示意性配置示例的图示。
图43是示出应用本技术的移动电话的示意性配置示例的图示。
图44是示出应用本技术的记录和再现装置的示意性配置示例的图示。
图45是示出应用本技术的成像装置的示意性配置示例的图示。
具体实施方式
<一个实施方式>
[编码装置的一种实施方式的配置示例]
图1是应用本技术的编码装置的一种实施方式的配置示例的框图。
图1的编码装置50被配置有多视点彩色图像成像单元51、多视点彩色图像校正单元52、多视点视差图像生成单元53、视点生成信息生成单元54以及多视点图像编码单元55。
编码装置50使用与视差图像有关的信息对预定视点的视差图像进行编码。
特别地，编码装置50的多视点彩色图像成像单元51对多个视点的彩色图像进行成像，并将该图像作为多视点彩色图像提供给多视点彩色图像校正单元52。另外，多视点彩色图像成像单元51生成外部参数、视差最大值和视差最小值(在下文中详细描述的)。多视点彩色图像成像单元51将外部参数、视差最大值和视差最小值提供给视点生成信息生成单元54，并且将视差最大值和视差最小值提供给多视点视差图像生成单元53。
此外，外部参数为定义在多视点彩色图像成像单元51的水平方向的位置的参数。另外，视差最大值和视差最小值分别为可以在多视点视差图 像中假设的在全局坐标上的视差值中的最大值和最小值。
多视点彩色图像校正单元52针对从多视点彩色图像成像单元51提供的多视点彩色图像执行色彩校正、亮度校正、失真校正等。因此，将在校正后的多视点彩色图像中的沿多视点彩色图像成像单元51的水平方向(X方向)的焦距由所有视点共享。多视点彩色图像校正单元52将校正后的多视点彩色图像作为经多视点校正的彩色图像提供给多视点视差图像生成单元53和多视点图像编码单元55。
多视点视差图像生成单元53基于从多视点彩色图像成像单元51提供的视差最大值和视差最小值，从自多视点彩色图像校正单元52提供的经多视点校正的彩色图像生成多视点视差图像。特别地，多视点视差图像生成单元53针对多个视点中的每个视点从经多视点校正的彩色图像获得每个像素的视差值，并基于视差最大值和视差最小值对该视差值进行规范化。此外，多视点视差图像生成单元53生成视差图像，在该视差图像中将针对多个视点中的每个视点规范化的每个像素的视差值设定为视差图像的每个像素的像素值。
另外，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供给多视点图像编码单元55。此外，多视点视差图像生成单元53生成表示多视点视差图像的像素值的精度的视差精度参数，并将该视差精度参数提供给视点生成信息生成单元54。
使用经多视点校正的彩色图像和视差图像，视点生成信息生成单元54生成在生成除了该多个视点之外的视点的彩色图像时使用的视点生成信息。特别地，视点生成信息生成单元54基于从多视点彩色图像成像单元51提供的外部参数获得摄像机间距离。对于多视点视差图像的每个视点，摄像机间距离为如下距离：在多视点彩色图像成像单元51在对该视点的彩色图像成像时沿水平方向的位置与多视点彩色图像成像单元51在对具有与该彩色图像和视差图像相对应的视差的彩色图像成像时沿水平方向的位置之间的距离。
视点生成信息生成单元54将来自多视点彩色图像成像单元51的视差最大值、视差最小值和摄像机间距离，以及来自多视点视差图像生成单元53的视差精度参数设定为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供给多视点图像编码单元55。
多视点图像编码单元55使用HEVC方法对从多视点彩色图像校正单 元52提供的经多视点校正的彩色图像进行编码。另外，对于从视点生成信息生成单元54提供的视点生成信息，多视点图像编码单元55使用视差最大值、视差最小值和摄像机间距离作为与视差有关的信息，并使用与HEVC方法相一致的方法对从多视点视差图像生成单元53提供的多视点视差图像进行编码。
另外，对于从视点生成信息生成单元54提供的视点生成信息，多视点图像编码单元55使视差最大值、视差最小值和摄像机间距离经受差分编码(delta encoding)。多视点图像编码单元55将经差分编码的视差最大值、视差最小值和摄像机间距离包含在对多视点视差图像进行编码时使用的、与编码有关的信息中。此外，多视点图像编码单元55递送由经编码的经多视点校正的彩色图像和多视点视差图像、与编码有关的信息(包括经差分编码的视差最大值、视差最小值和摄像机间距离)以及来自视点生成信息生成单元54的视差精度参数等构成的位流作为经编码的位流。
如上所述，由于多视点图像编码单元55使视差最大值、视差最小值和摄像机间距离经受差分编码，然后执行递送，所以可以减少视点生成信息的编码量。由于存在为了提供舒服的3D图像在图像之间不会使视差最大值、视差最小值和摄像机间距离极大改变的高可能性，所以执行差分编码在减少代码量方面是有效的。
此外，在编码装置50中，多视点视差图像是从经多视点校正的彩色图像生成的；然而，多视点视差图像可以由在对多视点彩色图像成像期间检测视差值的传感器生成。
[对视点生成信息的描述]
图2是说明视点生成信息的视差最大值和视差最小值的图示。
此外，在图2中，水平轴为预规范化(pre-normalization)视差值，而垂直轴为视差图像的像素值。
如图2所示，多视点视差图像生成单元53使用视差最小值Dmin和视差最大值Dmax将每个像素的视差值规范化成例如0至255的值。此外，多视点视差图像生成单元53生成如下视差图像：在该视差图像中，将在规范化之后的、为0至255之一的值的每个像素的视差值设定成像素值。
换言之，视差图像的每个像素的像素值I、像素的预规范化视差值d、视差最小值Dmin和视差最大值Dmax由下面式(1)来表示：
[公式1]
I=255*(d-Dmin)Dmax-Dmin...(1)]]>
因此，在下述解码装置中，根据以下面式(2)，有必要使用视差最小值和视差最大值根据视差图像的每个像素的像素值I恢复预规范化视差值d。
[公式2]
d=I255(Dmax-Dmin)+Dmin...(2)]]>
因此，将视差最小值和视差最大值递送给解码装置。
图3是说明视点生成信息的视差精度参数的图示。
如图3的上列所示，当对于规范化后的视差值1，预规范化视差值为0.5时，视差精度参数表示视差值精度为0.5。另外，如图3的下列所示，当对于规范化后的视差值1，预规范化视差值为1时，视差精度参数表示视差值精度为1.0。
在图3的示例中，为第一视点的视点#1的预规范化视差值为1.0，为第二视点的视点#2的预规范化视差值为0.5。因此，不论视差值精度是0.5还是1.0，视点#1的规范化后的视差值为1.0。另一方面，当视差值精度为0.5时，视点#2的视差值为0.5；而当视差值精度为1.0时，视点#2的视差值为0。
图4是说明视点生成信息的摄像机间距离的图示。
如图4所示，以视点#2为基点的视点#1的视差图像的摄像机间距离为由视点#1的外部参数表示的位置与由视点#2的外部参数表示的位置之间的距离。
[多视点图像编码单元的配置示例]
图5是示出图1的多视点图像编码单元55的配置示例的框图。
图5的多视点图像编码单元55被配置有SPS编码单元61、PPS编码单元62、片头编码单元63和片编码单元64。
多视点图像编码单元55的SPS编码单元61生成具有顺序单元的SPS，并且将该SPS提供给PPS编码单元62。
PPS编码单元62判定配置添加有相同PPS的单元(在下文中称为相同PPS单元)的所有片(slice)的在从图1的视点生成信息生成单元54提供的视点生成信息内的视差最大值、视差最小值和摄像机间距离是否与按编码顺序为在相应片之前的那个片的片的视差最大值、视差最小值和摄像机间距离相匹配。
此外，当判定配置相同PPS单元的所有片的视差最大值、视差最小值和摄像机间距离与按编码顺序为之前的那个片的片的视差最大值、视差最小值和摄像机间距离相匹配时，PPS编码单元62生成表示不存在视差最大值、视差最小值和摄像机间距离的差分编码结果的递送的递送标志。
在另一方面，当判定配置相同PPS单元的片中的至少一个片的视差最大值、视差最小值和摄像机间距离与按编码顺序为之前片的片的视差最大值、视差最小值和摄像机间距离不匹配时，PPS编码单元62生成表示存在视差最大值、视差最小值和摄像机间距离的差分编码结果的递送的递送标志。
PPS编码单元62生成视点生成信息的递送标志和视差精度参数的PPS。PPS编码单元62将该PPS添加至从SPS编码单元61提供的SPS，并将该SPS提供给片头编码单元63。
当包含在从PPS编码单元62提供的PPS中的递送标志表示不存在递送时，作为配置PPS的相同PPS单元的每个片的片头，片头编码单元63生成与编码有关的除了片的视差最大值、视差最小值和摄像机间距离之外的信息。
同时，当包含在从PPS编码单元62提供的PPS中的递送标志表示存在递送时，片头编码单元63生成与编码有关的包含片的视差最大值、视差最小值和摄像机间距离的信息作为配置PPS的相同PPS单元的帧内型片的片头。
另外，在该情况下，针对配置PPS的相同PPS单元的帧间型片，片头编码单元63使片的视差最大值、视差最小值和摄像机间距离经受差分编码。特别地，根据从视点生成信息生成单元54提供的视点生成信息的帧间型片的视差最大值、视差最小值和摄像机间距离，片头编码单元63分别减去按编码顺序为在该片之前的那个片的片的视差最大值、视差最小值和摄像机间距离，并从中获得差分编码结果。此外，片头编码单元63生成视差最大值、视差最小值和摄像机间距离的差分编码结果作为帧间型 片的片头。片头编码单元63还将所生成的片头添加至添加有从PPS编码单元提供的PPS的SPS，并将SPS提供给片编码单元64。
片编码单元64使用HEVC方法针对从图1的多视点彩色图像校正单元52提供的经多视点校正的彩色图像执行片单元的编码。另外，对于从视点生成信息生成单元54提供的视点生成信息，片编码单元64使用视差最大值、视差最小值和摄像机间距离作为与视差有关的信息，并且片编码单元64使用与HEVC方法相一致的方法针对来自多视点视差图像生成单元53的多视点视差图像执行片单元的编码。片编码单元64将作为编码结果而获得的片单元的编码数据等添加至添加有PPS和从片头编码单元63提供的片头的SPS。片编码单元64用作递送单元并且递送位流作为编码位流。
[片编码单元的配置示例]
图6是示出图5的片编码单元64内的、对一个任意视点的视差图像进行编码的编码单元的配置示例的框图。换言之，在片编码单元64内的对多视点视差图像进行编码的编码单元被配置为与视点数目相对应的多个图6的编码单元120。
图6的编码单元120被配置有A/D转换单元121、画面重排缓冲器122、计算单元123、正交变换单元124、量化单元125、无损编码单元126、累积缓冲器127、逆量化单元128、逆正交变换单元129、加法单元130、去块滤波器131、帧存储器132、画面内预测单元133、运动预测和补偿单元134、校正单元135、选择单元136和速率控制单元137。
编码单元的A/D转换单元121使从图1的多视点视差图像生成单元53提供的预定视点的帧单元的多路复用图像经受A/D转换。A/D转换单元121输出多路复用图像并使画面重排缓冲器122存储多路复用图像。画面重排缓冲器122根据GOP(图片组)结构将按所存储的显示顺序的帧单元构成视差图像重排成用于编码的顺序。画面重排缓冲器122将重排后的帧单元构成的视差图像输出到计算单元123、画面内预测单元133、运动预测和补偿单元134。
计算单元123用作编码单元，并且计算单元123通过计算从选择单元136供给的预测图像与从画面重排缓冲器122输出的编码目标视差图像的差量来对目标视差图像进行编码。特别地，计算单元123从自画面重排缓冲器122输出的编码目标视差图像减去从选择单元136供给的预测图像。 计算单元123将作为减法结果而获得的图像作为残余信息输出到正交变换单元124。此外，当未从选择单元136提供预测图像时，计算单元123将从画面重排缓冲器122读取的视差图像以未改变的方式作为残余信息输出到正交变换单元124。
正交变换单元124使来自计算单元123的残余信息经受正交变换(例如离散余弦变换或卡洛变换)，并将作为结果获得的系数输出到量化单元125。
量化单元125对从正交变换单元124提供的系数进行量化。将经量化的系数被输入到无损编码单元126。
无损编码单元126针对从量化单元125提供的经量化的系数执行无损编码，例如可变长编码(例如，上下文自适应可变长编码(CAVLC)等)或者算数编码(例如，上下文自适应二进制算数编码(CABAC)等)等。无损编码单元126将作为无损编码结果而获得的编码数据提供给累积缓冲器127，并使累积缓冲器127对编码数据进行累积。
累积缓冲器127暂时存储从无损编码单元126提供的编码数据，并将编码数据输出至片单元中。所输出的片单元的编码数据被加至添加有PPS和从片头编码单元63提供的片头的SPS，并且将SPS作为编码流。
另外，还将由量化单元125输出经量化的系数输入到逆量化编码单元128。在经受逆量化之后，将系数提供给逆正交变换单元129。
逆正交变换单元129使从逆量化单元128提供的系数经受逆正交变换或逆卡洛变换，并将作为结果而获得的残余信息提供给加法单元130。
加法单元130将为从逆正交变换单元129提供的为解码目标视差图像的残余信息加至从选择单元136提供的预测图像，并获得被局部解码的视差图像。此外，当未从选择单元136提供预测图像时，加法单元130将从逆正交变换单元129提供的残余信息作为局部解码视差图像。加法单元130将局部解码的视差图像提供给去块滤波器131，并且加法单元130还将该视差图像提供给画面内预测单元133作为参考图像。
去块滤波器131通过对从加法单元130提供且局部解码的视差图像进行滤波来移除块失真。去块滤波器131将作为结果而获得的视差图像提供给帧存储器132，使帧存储器132累积视差图像。将累积在帧存储器132中的视差图像输出至运动预测和补偿单元134作为参考图像。
画面内预测单元133使用从加法单元130提供的参考图像执行为候选 者的所有帧内预测模式的画面内预测，并生成预测图像。
另外，画面内预测单元133针对为侯选者的所有帧内预测模式计算代价函数值(下文中详细描述的)。此外，画面内预测单元133将具有最小代价函数值的帧内预测模式确定为最优帧内预测模式。画面内预测单元133将使用最优帧内预测模式生成的预测图像和相对应的代价函数值提供给选择单元136。当画面内预测单元133从选择单元136接收到选择使用最优帧内预测模式生成的预测图像的通知时，画面内预测单元133将表示最优帧内预测模式等的画面内预测信息作为与编码有关的信息包含在从片头编码单元63提供的片头中。
此外，代价函数值也被称为率失真(RD)代价。例如，基于为H.264/AVC方法中的参考软件的高复杂度模式和低复杂度模式(例如在联合编码(JM)中定义的那些)之一的方法来计算代价值。
特别地，当采用高复杂度模式作为代价函数的计算方法时，相当于针对为侯选者的所有预测模式暂时执行无损编码，并且针对每个预测模式计算由以下式(3)表示的代价函数值。
Cost(Mode)＝D+λ·R...(3)
D为源图像和解码图像的差量(失真)，R为包括相当于正交变换的系数的所生成代码量，并且λ为作为量化参数QP的函数提供的拉格朗日乘法器。
另一方面，当采用低复杂度模式作为代价函数的计算方法时，针对为候选者的所有预测模式执行解码图像的生成和头位(例如表示预测模式的信息)的计算，并针对每个预测模式计算由以下方程(4)表示的代价函数。
Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit...(4)
D为源图像和解码图像的差量(失真)，Head_Bit为与预测模式有关的头位，QPtoQuant为作为量化参数QP的函数提供的函数。
在低复杂度模式中，仅生成与所有预测模式有关的解码图像就足够了，并且由于不必需执行无损编码，因此所需的计算量很小。此外，此处假设采用高复杂度模式作为代价函数值的计算模式。
运动预测和补偿单元134通过基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行为候选者的所有帧间预测模 式的运动预测处理来生成运动矢量。特别地，运动预测和补偿单元134针对每个帧间预测模式通过将参考图像与从画面重排缓冲器122提供的视差图像进行匹配来生成运动矢量。
此外，帧间预测模式为表示为帧间预测的目标的块的大小、预测方向和参考索引。预测方向包括：前向预测(L0预测)，其使用具有比为帧间预测的目标的视差图像的显示时间早的显示时间的参考图像；后向预测(L1预测)，其使用具有比为帧间预测的目标的视差图像的显示时间晚的显示时间的参考图像；两个方向预测(双向预测)，其具有比为帧间预测的目标的视差图像的显示时间早的显示时间的参考图像和比为帧间预测的目标的视差图像的显示时间晚的显示时间的参考图像。另外，参考索引为指定参考图像的数字。例如，图像的参考索引越靠近为帧间预测的目标的视差图像，数字越小。
另外，运动预测和补偿单元134用作预测图像生成单元，并且运动预测和补偿单元134通过从帧存储器132读取参考图像基于用于每个帧间预测模式的所生成运动矢量来执行运动补偿处理。运动预测和补偿单元134将作为结果而生成的预测图像提供给校正单元135。
校正单元135使用在从图1的视点生成信息生成单元54提供的视点生成信息内的视差最大值、视差最小值和摄像机间距离作为与视差图像有关的信息，并生成在校正预测图像时使用的校正系数。校正单元135使用校正系数校正从运动预测和补偿单元134提供的每个帧间预测模式预测图像。
此处，编码目标视差图像的对象沿深度方向位置Z_c和预测图像的对象沿深度方向的位置Z_p由以下式(5)来表示。
[公式3]
Zc=Lcfdc,Zp=Lpfdp...(5)]]>
此外，在式(5)中，L_c和L_p分别为编码目标视差图像的摄像机间距离和预测图像的摄像机间距离。而f为由编码目标视差图像和预测图像共享的焦距。另外，d_c和d_p分别为编码目标视差图像的预规范化视差图像的绝对值和预测图像的预规范化视差图像的绝对值。
另外，通过以下式(6)使用预规范化视差值的绝对值d_c和d_p来表 示编码目标视差图像的视差值I_c和预测图像的视差值I_p。
[公式4]
Ic=255*(dc-Dcmin)Dcmax-Dcmin,Ip=255*(dp-Dpmin)Dpmax-Dpmin...(6)]]>
此外，在式(6)中，D^c_min和D^p_min分别为编码目标视差图像的视差最小值和预测图像的视差最小值。而D^c_max和D^p_max分别为编码目标视差图像的视差最大值和预测图像的视差最大值。
因此，即使编码目标视差图像的对象沿深度方向的位置Z_c和预测图像的对象沿深度方向的位置Z_p相同，当摄像机间距离L_c和L_p、视差最小值D^c_min和D^p_min、视差最大值D^c_max和D^p_max中的至少一个不同时，视差值I_c和I_p不同。
因此，校正单元135生成校正预测图像的校正系数，以使得在位置Z_c和位置Z_p相同时视差值I_c和视差值I_p相同。
特别地，当位置Z_c和位置Z_p相同时，根据上述式(5)，满足以下式(7)。
[公式5]
Lcfdc=Lpfdp...(7)]]>
另外，可以修改式(7)以获得以下式(8)。
[公式6]
dc=LcLpdp...(8)]]>
此外，使用上述式(6)，当式(8)的预规范化视差值的绝对值d_c和d_p被视差值I_c和视差值I_p替代时，获得以下式(9)。
[公式7]
Ic(Dcmax-Dcmin)255+Dcmin=LcLp(Ip(Dpmax-Dpmin)255+Dpmin)...(9)]]>
因此，通过以下式(10)使用视差值I_p来表示视差值I_c。
[公式8]
Ic=LcLp(Dpmax-Dpmin)Dcmax-DcminIp+255LcLpDpmin-DcminDcmax-Dcmin=aIp+b...(10)]]>
因此，校正单元135生成式(10)中的a和b作为校正系数。此外，校正单元135使用校正系数a和b以及视差值I_p得到等式(10)中的视差值I_c作为校正后的预测图像的视差值。
另外，使用校正后的预测图像，校正单元135针对每个帧间预测模式计算代价函数值，并将代价函数值最小的帧间预测模式确定为最优帧间测量模式。此外，校正单元135将使用最优帧间预测模式生成的预测图像和代价函数值提供给选择单元136。
此外，当校正单元135从选择单元136接收到选择使用最优帧间预测模式生成的预测图像的通知时，校正单元135将运动信息作为与编码有关的信息包含在从片头编码单元63提供的片头中。运动信息被配置成由最佳帧间预测模式、预测矢量索引以及运动矢量残差等构成，其中该运动矢量残差为通过从当前运动矢量减去由预测矢量索引表示的运动矢量而获得的差值。此外，预测矢量索引为用于指定为在生成解码视差图像的预测图像中使用的候选者的运动矢量中的一个运动矢量的信息。
选择单元136基于从画面内预测单元133和校正单元135提供的代价函数值将最优帧内预测模式和最优帧间预测模式确定为最优预测模式。此外，选择单元136将最优预测模式的预测图像提供给计算单元123和加法单元130。另外，选择单元136向画面内预测单元133或校正单元13通知对最优预测模式的预测图像的选择。
速率控制单元137基于在累积缓冲器127中累积的编码数据控制量化单元125的量化操作的速率，以使得不发生溢流或欠流。
[编码位流的配置示例]
图7是示出编码位流的配置示例的图示。
此外，在图7中，为了便于描述，仅描述多视点视差图像的片的编码数据；然而，实际上，多视点彩色图像的片的编码数据也设置在编码位流中。这同样适用于下文描述的图22和图23。
在图7的示例中，配置为第0个PPS的PPS#0的相同PPS单元的单个帧内型片和两个帧间型片的视差最大值、视差最小值和摄像机间距离分别与按照编码顺序为之前的那个片的片的视差最大值、视差最小值和摄像机间距离不匹配。因此，将表示存在递送的递送标志“1”包含在PPS#0中。另外，在图7的示例中，配置PPS#0的相同PPS单元的片的视差精度为0.5，将表示视差精度为0.5的“1”作为视差精度参数包含在PPS#0中。
此外，在图7的示例中，配置PPS#0的相同PPS单元的帧内型片的视差最小值为10、视差最大值为50、摄像机间距离为100。因此，将视差最小值“10”、视差最大值“50”和摄像机间距离“100”包含在片的片头中。
另外，在图7的示例中，配置PPS#0的相同PPS单元的第一帧间型片的视差最小值为9，视差最大值为48，摄像机间距离为105。因此，从片的视差最小值“9”中减去按编码顺序为之前的那个片的帧内型片的视差最小值“10”。将差值“-1”作为视差最小值的差分编码结果包含在片的片头中。以相同的方式，包含视差最大值的差值“-2”作为视差最大值的差分编码结果。包含摄像机间距离的差值“5”作为摄像机间距离的差分编码结果。
此外，在图7的示例中，配置PPS#0的相同PPS单元的第二帧间型片的视差最小值为7，视差最大值为47，并且摄像机间距离为110。因此，从片的视差最小值“7”中减去按编码顺序为之前那个片的第一帧间型片的视差最小值为“9”。将差值“-2”包含在片的片头中作为视差最小值的差分编码结果。以相同的方式，包含视差最大值的差值“-1”作为视差最大值的差分编码结果，并且包含摄像机间距离的差值“5”作为内摄像机距离的差分编码结果。
另外，在图7的示例中，配置为第一PPS的PPS#1的相同PPS单元的单个帧内型片和两个帧间型片的视差最大值、视差最小值和摄像机间距离分别与按编码顺序为之前那个片的片的视差最大值、视差最小值和摄像机间距离相匹配。换言之，配置PPS#1的相同PPS单元的单个帧内型片和两个帧间型片的视差最大值、视差最小值和摄像机间距离分别为与配置PPS#0的相同PPS单元的第二帧间型片相同的“7”、“47”和“110”。因此，将表示不存在递送的递送标志“0”包含在PPS#1中。此外，在图7的示例中，配置PPS#1的相同PPS单元的片的视差精度为0.5，因而 将表示视差精度为0.5的“1”包含在PPS#1中作为视差精度参数。
[PPS语法示例]
图8是示出图7的PPS的语法的示例的图示。
如图8所示，在PPS中包含视差精度参数(disparity_precision)和递送标志(disparity_pic_same_flag)。在表示视差精度为1时，视差精度参数为“0”；而在表示视差精度0.25时，视差精度参数为“2”。另外，如上所述，在表示视差精度0.5时，视差精度参数为“1”。另外，如上所述，递送标志在表示存在递送时为“1”，而表示不存在递送时为“0”。
[片头语法示例]
图9和图10是示出片头的语法的示例的图示。
如图10所示，当递送标志为“1”且片类型为帧内型时，在片头中包含视差最小值(minimum_disparity)、视差最大值(maximum_disparity)和摄像机间距离(translation_x)。
另一方面，当递送标志为1且片类型为帧间型时，在片头中包含视差最小值的差分编码结果(delta_minimum_disparity)、视差最大值的差分编码结果(delta_maximum_disparity)和摄像机间距离的差分编码结果(delta_translation_x)。
[编码装置的处理的描述]
图11是说明图1的编码装置50的编码处理的流程图。
具体地，在图11的步骤S111中，编码装置50的多视点彩色图像成像单元51对多个视点的彩色图像成像，并将该图像作为多视点彩色图像提供给多视点彩色图像校正单元52。
在步骤S112中，多视点彩色图像成像单元51生成视差最大值、视差最小值和外部参数。多视点彩色图像成像单元51将视差最大值、视差最小值和外部参数提供给视点生成信息生成单元54，并且多视点彩色图像成像单元51将视差最大值和视差最小值提供给多视点示出图像生成单元53。
在步骤S113中，多视点彩色图像校正单元52针对从多视点彩色图像成像单元51提供的多视点彩色图像执行色彩校正、亮度校正、失真校正等。因此，将在校正后的多视点彩色图像中的多视点彩色图像成像单元51沿水平方向(X方向)的焦距由所有视点共享。多视点彩色图像校正 单元52将校正后的多视点彩色图像作为经多视点校正的彩色图像提供给多视点视差图像生成单元53和多视点图像编码单元55。
在步骤S114中，多视点视差图像生成单元53基于从多视点彩色图像成像单元51提供的视差最大值和视差最小值根据自多视点彩色图像校正单元52提供的经多视点校正的彩色图像生成多视点视差图像。此外，多视点视差图像生成单元53将所生成的多视点视差图像作为多视点视差图像提供给多视点图像编码单元55。
在步骤S115中，多视点视差图像生成单元53生成视差精度参数，并将该视差精度参数提供给视点生成信息生成单元54。
在步骤S116中，视点生成信息生成单元54基于从多视点彩色图像成像单元51提供的外部参数获得摄像机间距离。
在步骤S117中，视点生成信息生成单元54将来自多视点彩色图像成像单元51的视差最大值、视差最小值和摄像机间距离和来自多视点视差图像生成单元53的视差精度参数生成为视点生成信息。视点生成信息生成单元54将所生成的视点生成信息提供给多视点图像编码单元55。
在步骤S118中，多视点图像编码单元55执行多视点编码处理，在该所视点编码处理中，对来自多视点彩色图像单元52的经多视点校正的彩色图像和来自多视点视差图像生成单元53的多视点视差图像进行编码。将参照下文描述的图12来给出多视点编码处理的详细描述。
在步骤S119中，多视点图像编码单元55递送作为多视点编码处理的结果而获得的编码位流，并且处理结束。
图12是示出图11的步骤S118的多视点编码处理的流程图。
在图12的步骤S131中，多视点图像编码单元55的SPS编码单元61生成具有顺序单元的SPS，并将该SPS提供给PPS编码单元62。
在步骤S132中，对于从图1的视点生成信息生成单元54提供的视点生成信息，PPS编码单元62判定配置相同PPS单元的所有片的摄像机间距离、视差最大值和视差最小值是否与按编码顺序为相应片之前的那个片的片的摄像机间距离、视差最大值和视差最小值相匹配。
当在步骤S132中判定摄像机间距离、视差最大值和视差最小值相匹配时，在步骤S133中，PPS编码单元62生成表示不存在视差最大值、视差最小值和摄像机间距离的差分编码结果的递送的递送标志。随后，处理 继续进行至步骤S135。
另一方面，当在步骤S132中判定摄像机间距离、视差最小值和视差最大值不匹配时，处理继续进行至步骤S134。在步骤S134中，PPS编码单元62生成表示存在视差最大值、视差最小值和摄像机间距离的差分编码结果的递送的递送标志，并且处理继续进行至步骤S135。
在步骤S135中，PPS编码单元62生成包括视点生成信息的递送标志和视差精度参数的PPS。PPS编码单元62将该PPS添加至从SPS编码单元61提供的SPS，并将该SPS提供给片头编码单元63。
在步骤S136中，片头编码单元63判定在从PPS编码单元62提供的PPS中包含的递送标志是否为表示存在递送的1。当在步骤S136中判定递送标志为1时，处理继续进行至步骤S137。
在步骤S137中，作为配置相同PPS单元的每个片的片头(其为步骤S132的处理目标)，片头编码单元63生成与编码有关的除了片的摄像机间距离、视差最大值和视差最小值之外的信息。片头编码单元63还将所生成的片头添加到添加有从PPS编码单元62提供的PPS的SPS中，并且将该SPS提供给片编码单元64。处理继续进行至步骤S141。
另一方面，在步骤S136中，当判定递送标志不为1时，处理继续进行至步骤S138。此外，对配置相同PPS单元的每个片(其为步骤S132的处理目标)执行在下文中描述的步骤S138至S140的处理。
在步骤S138中，片头编码单元63判定配置相同PPS单元的片(其为步骤S133的处理目标)的类型是否属于帧内型。在步骤S138中，当判定片类型为帧内型时，在步骤S139中，片头编码单元63生成与编码相关的包括片的摄像机间距离、视差最大值和视差最小值的信息作为该片的片头。片头编码单元63还将所生成的片头添加至添加有从PPS编码单元62提供的PPS的SPS，并且片头编码单元63将该SPS提供给片编码单元64。该处理执行至步骤S141。
另一方面，当在步骤S138中判定片类型不是帧内型，即当片类型为帧间型时，处理继续进行至步骤S140。在步骤S140中，片头编码单元63使片的摄像机间距离、视差最大值和视差最小值经受差分编码，并且片头编码单元63生成与编码有关的包括差分编码结果的信息作为片的片头。片头编码单元63进一步将所生成的片头添加至添加有从PPS编码单元62提供的PPS的SPS，并且片头编码单元63将该SPS提供给片编码 单元64。处理继续至步骤S141。
在步骤S141中，片编码单元64在片单元中对来自多视点彩色图像校正单元52的经多视点校正的彩色图像和来自多视点视差图像生成单元53的多视点视差图像进行编码。具体地，片编码单元64使用HEVC方法在片单元执行对经多视点校正的彩色图像进行编码的彩色编码处理。另外，对于从视点生成信息生成单元54提供的视点生成信息，片编码单元64使用视差最大值、视差最小值和摄像机间距离，并使用与HEVC方法的相一致方法在片单元中执行对多视点视差图像进行编码的视差图像编码处理。将参照在下文中描述的图13和图14给出对视差图像编码处理的详细描述。
在步骤S142中，片编码单元64将作为编码结果而获得的的片单元的编码数据(包括与画面内预测信息或运动信息的编码有关的信息)添加至添加有PPS和从片头编码单元63提供的片头的SPS内的片头，并生成经编码的流。片编码单元64递送所生成的经编码的流。
图13和图14是详细说明图5的片编码单元64的示出图像编码处理的流程图。针对每个视点执行视差图像编码处理。
在图13的步骤S160中，编码单元120的A/D转换单元121使从多视点视差图像生成单元53输入的预定视点的帧单元的视差图像经受A/D转换。A/D转换单元121将该视差图像输出至画面重排缓冲器122并使画面重排缓冲器122存储该视差图像。
在步骤S161中，画面重排缓冲器122根据GOP结构将所存储的显示顺序的帧的视差图像重排成将按所存储的显示顺序的帧单元的视差图像重排成用于编码的顺序。画面重排缓冲器122将重排后的帧单元的视差图像输出到计算单元123、画面内预测单元133、运动预测和补偿单元134。
在步骤S162中，画面内预测单元133使用从加法单元130提供的参考图像执行为候选者的所有帧内预测模式的画面内预测处理。此时，画面内预测单元133针对为候选者的所有帧内预测模式计算代价函数值。此外，画面内预测单元133将具有最小代价函数值的帧内预测模式确定成最优帧内预测模式。画面内预测单元133将使用最优帧内预测模式生成的预测图像和相关的代价函数值提供给选择单元136。
在步骤S163中，运动预测和补偿单元134基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行运动预测和补偿 处理。
具体地，运动预测和补偿单元134基于从画面重排缓冲器122提供的视差图像和从帧存储器132提供的参考图像执行为候选者的所有帧间预测模式的运动预测处理来生成运动矢量。另外，运动预测和补偿单元134通过从帧存储器132读取参考图像、基于用于每个帧间预测模式的所生成运动矢量来执行运动补偿处理。运动预测和补偿单元134将作为结果而生成的预测图像提供给校正单元135。
在步骤S164中，校正单元135基于在从图1的视点生成信息生成单元54提供的视点生成信息内的视差最大值、视差最小值和摄像机间距离计算校正系数。
在步骤S165中，校正单元135使用校正系数校正从运动预测和补偿单元134提供的每个帧间预测模式预测图像。
在步骤S166中，使用校正后预测图像，校正单元135针对每个帧间预测模式计算代价函数，并将代价函数最小的帧间预测模式确定为最优帧间测量模式。此外，校正单元135将使用最优帧间预测模式生成的预测图像和代价函数值提供给选择单元136。
在步骤S167中，选择单元136基于从画面内预测单元133和校正单元135提供的代价函数值将最优帧内预测模式和最优帧间预测模式中代价函数值最低的一个确定成最优预测模式。此外，选择单元136将最优预测模式的预测图像提供给计算单元123和加法单元130。
在步骤S168中，选择单元136判定最优预测模式是否为最优帧间预测模式。当在步骤S168中判定最优预测模式为最优帧间预测模式时，选择单元通知校正单元135选择使用最优帧间预测模式生成的预测图像。
此外，在步骤S169中，校正单元135输出运动信息，并且处理继续进行至步骤S171。
另一方面，当在步骤S168中确定最优预测模式不是最优帧间预测模式时，即当最优预测模式为最优帧内预测模式时，选择单元136向画面内预测单元133通知对使用最优帧内预测模式生成的预测图像的选择。
此外，在步骤S170中，画面内预测单元133输出画面内预测信息，并且处理继续进行至步骤S171。
在步骤S171中，计算单元123从画面缓冲区122提供的视差图像减 去从选择单元136提供的预测图像。计算单元123将作为减法结果而获得的图像作为残差信息输出至正交变换单元124。
在步骤S172中，正交变换单元124使来自计算单元123的残差信息经受正交变换，并将作为结果而获得的系数提供给量化单元125。
在步骤S173中，量化单元125对从正交变换单元124提供的系数进行量化。将经量化的系数输入至无损编码单元126和逆量化单元128。
在步骤S174中，无损编码单元126使从量化单元125提供的经量化的系数经受无损编码。
在图14的步骤S175中，无损编码单元126将作为无损编码处理的结果而获得的编码数据提供给累积缓冲器127，并使累积缓冲器127累积编码数据。
在步骤S176中，累积缓冲器127输出所累积的编码数据。
在步骤S177中，逆量化单元128使从量化单元125提供的经量化的系数经受逆量化。
在步骤S178中，逆正交变换单元129使从逆量化单元128提供的系数经受逆正交变换，并将作为结果而获得的残差信息提供给加法单元130。
在步骤S179中，加法单元130将从逆正交变换单元129提供的残差信息加至从选择单元136提供的预测图像，并获得局部解码的视差图像。加法单元130将所获得的视差图像提供给去块滤波器131，并且加法单元130还将该视差图像提供给画面内预测单元133作为参考图像。
在步骤S180中，去块滤波器131通过对从加法单元130提供的且局部解码的视差图像执行滤波来移除块失真。
在步骤S181中，去块滤波器131将滤波后的视差图像提供给帧存储器132，并使帧存储器132累积视差图像。将累积在帧存储器132中的视差图像输出至运动预测和补偿单元134作为参考图像。随后，处理结束。
此外，图13至图14的步骤S162至步骤S181的处理例如在编码单元中被执行。另外，为了便于描述，在图13至图14的视差图像编码处理中，总是执行画面内预测处理和运动补偿处理；然而，取决于图片类型等存在执行仅一个的情况。
如上所述，编码装置50使用与视差图像相关的信息校正视差图像， 并使用校正后的预测图像对视差图像进行编码。更具体地，使用摄像机间距离、视差最大值、视差最小值作为与视差图像相关的信息，编码装置50校正预测图像以使得当预测图像与视差图像之间的沿深度方向的对象的位置相同时视差值相同，并且编码装置50使用校正后的预测图像对视差图像进行编码。因此，减小了由于与视差图像有关的信息而出现在预测图像与视差图像之间的差值，从而提高了编码效率。特别地，当针对每个图像与视差图像有关的信息改变时，提高了编码效率。
另外，编码装置50不是递送校正系数本身，而是递送在计算校正系数中作为用于校正预测图像的信息使用的摄像机间距离、视差最大值、视差最小值。此处，摄像机间距离、视差最大值、视差最小值为视点生成信息的一部分。因此，可以共享摄像机间距离、视差最大值、视差最小值作为在预测图像的校正时使用的信息和视点生成信息的一部分。作为结果，可以降低编码位流的信息量。
[解码装置的一个实施方式的配置示例]
图15是示出应用本技术的解码装置的一个实施方式的配置示例的框图，其中对从图1的编码装置50递送的编码位流进行解码。
图15的解码装置150被配置成具有多视点图像解码单元151、视点组合单元152和多视点图像显示单元153。解码装置150对从编码单元50递送的编码位流进行解码，并且使用作为结果而获得的多视点彩色图像、多视点视差图像和视点生成信息来生成并显示显示视点的彩色图像。
具体地，解码装置150的多视点图像解码单元151接收从图1的编码单元50递送的编码位流。多视点图像解码单元151从包含在所接收到的编码位流中的PPS提取视差精度参数和递送标志。另外，多视点图像解码单元151根据递送标志从编码位流的片头提取摄像机间距离、视差最大值和视差最小值。多视点图像解码单元151生成由视差精度参数、摄像机间距离、视差最大值和视差最小值形成的视点生成信息，并将该视点生成信息提供给视点组合单元152。
另外，多视点图像解码单元151使用与图1的多视点图像编码单元55的编码方法相对应的方法对包含在编码位流中的片单元的经多视点校正的彩色图像的编码数据进行解码，并生成经所视点校正的彩色图像。另外，多视点图像解码单元151用作解码单元。使用摄像机间距离、视差最大值和视差最小值，多视点图像解码单元151使用与多视点图像编码单元 55的编码方法相对应的方法对包含在编码位流中的多视点视差图像的编码数据进行解码，并生成多视点视差图像。多视点图像编码单元151将所生成的经多视点校正的彩色图像和多视点视差图像提供给视点组合单元152。
视点组合单元152针对来自多视点图像解码单元151的多视点视差图像使用来自多视点解码单元151的视点生成信息对与多视点图像显示单元153相对应的许多视点的显示视点执行变形(warping)处理。具体地，视点组合单元152针对多视点视差图像基于包含在视点生成信息中的摄像机间距离、视差最大值和视差最小值以与视差精度参数相对应的精度对显示视点执行变形处理。此外，变形处理为从一个视点的图像到另一个视点的图像几何变换处理。另外，在显示视点中包含除了与多视点彩色图像相对应的视点之外的视点。
另外，视点组合单元152针对从多视点图像解码单元151提供的经多视点校正的彩色图像使用作为变形处理的结果而获得的显示视点的视差图像对显示视点执行变形处理。视点组合单元152将作为结果而获得的显示视点的彩色图像作为经多视点组合的彩色图像提供给多视点图像显示单元153。
多视点图像显示单元153显示从视点组合单元152提供的经多视点组合彩色图像，使得对于每个视点可视角度是不同的。观察者可以通过以左右每只眼观看两个任意视点的每个图像来在不佩戴眼镜的情况下从多个视点观看3D图像。
如上所述，视点组合单元152基于视差精度参数以与视点精度参数相对应的精度对与多视点视差图像有关的显示视点执行变形处理；因此，视点组合单元152不必需以浪费的高精度执行变形处理。
另外，因为视点组合单元152基于摄像机间距离对与多视点视差图像相关的显示视点执行变形处理，所以当与变形处理后的多视点视差图像的视差值相对应的视差未落入适当的范围时，可以基于摄像机间距离将视差值改变成与适当范围的视差相对应的值。
[多视点图像解码单元的配置示例]
图16是示出图15的多视点图像解码单元151的配置示例的框图。
图16的多视点图像解码单元151被配置成具有SPS解码单元171、PPS解码单元172、片头解码单元173以及片解码单元174。
多视点图像解码单元151的SPS解码单元171用作接收单元，接收从图1的编码装置50递送的编码位流，并从编码位流提取SPS。SPS解码单元171将所提取的SPS和除了SPS之外的编码位流提供给PPS解码单元172。
PPS解码单元172从自SPS编码单元171提供的除了SPS之外的编码位流提取PPS。PPS解码单元172将所提取的PPS、SPS和除了SPS和PPS之外的编码位流提供给片头解码单元173。
片头解码单元173从自PPS解码单元172提供的除了SPS和PPS之外的编码位流提取片头。当包含在来自PPS解码单元172的PPS中的递送标志为表示存在递送的“1”时，片头解码单元173保持包含在片头中的摄像机间距离、视差最大值和视差最小值，或者基于摄像机间距离、视差最大值和视差最小值的差分编码结果更新所保持的摄像机间距离、视差最大值和视差最小值。片头解码单元173从所保持的摄像机间距离、视差最大值和视差最小值以及包含在PPS中的视差精度参数生成视点生成信息，并将该视点生成信息提供给视点组合单元152。
此外，片头解码单元173将除了片头中的与摄像机间距离、视差最大值和视差最小值有关的信息之外的SPS、PPS和片头，以及为除了SPS、PPS和片头之外的编码位流的片单元的编码数据提供给片解码单元174。另外，片头解码单元173将摄像机间距离、视差最大值和视差最小值提供给片解码单元174。
片解码单元174基于从片头解码单元173提供的除了与摄像机间距离、视差最大值和视差最小值有关的信息之外的SPS、PPS和片头使用与片编码单元64(图5)中的编码方法相对应的方法对片单元的多路复用彩色图像的编码数据进行解码。另外，片解码单元174基于除了与摄像机间距离、视差最大值和视差最小值有关的信息之外的SPS、PPS和片头，并且基于摄像机间距离、视差最大值和视差最小值使用与片编码单元64(图5)中的编码方法相对应的方法对片单元的多路复用视差图像的编码数据进行解码。片头解码单元173将作为解码结果而获得的经多视点校正的彩色图像和多视点视差图像提供给图15的视点组合单元152。
[片解码单元的配置示例]
图17是示出对在图16中的片解码单元174内的一个任意视点的视差图像进行解码的解码单元的配置示例的框图。换言之，对片解码单元174 内的多视点视差图像进行解码的解码单元被配置成具有与视点数目相对应的多个图17的解码单元。
图17的解码单元250被配置成具有累积缓冲器251、无损解码单元252、逆量化单元253、逆正交变换单元254、加法单元255、去块滤波器256、画面重排缓冲器257、D/A转换器258、帧存储器259、画面内预测单元260、运动矢量生成单元261、运动补偿单元262、校正单元263和开关264。
解码单元250的累积缓冲器251从图16的片头解码单元173接收片单元的预定视点的视差图像的编码数据，并累积所述编码数据。累积缓冲器251将所累积的编码数据提供给无损解码单元252。
无损解码单元252通过使来自累积缓冲器251的编码数据经受无损解码(例如可变长度解码或算数解码)获得经量化的系数。无损解码单元252将经量化的系数提供给逆量化单元253。
逆量化单元253、逆正交变换单元254、加法单元255、去块滤波器256、帧存储器259、画面内预测单元260、运动补偿单元262、校正单元263分别执行与图6的逆量化单元128、逆正交变换单元129、加法单元130、去块滤波器131、帧存储器132、画面内预测单元133、运动预测和补偿单元134以及校正单元135的处理相类似的处理。因此，对预定视点的视差图像进行解码。
具体地，逆量化单元253使来自无损解码单元252的经量化的系数经受逆量化，并将作为结果而获得的系数提供给逆正交变换单元254。
逆正交变换单元254使来自逆量化单元253的系数经受逆正交变换(例如逆离散余弦变换或逆卡洛变换)，并将作为结果而获得的残差信息提供给加法单元255。
加法单元255用作解码单元，并通过将为从逆正交变换单元254提供的解码目标视差图像的残差信息加至从开关单元264提供的预测图像。加法单元255将作为结果获得的视差图像提供给去块滤波器256，并且加法单元255还将视差图像提供给画面内预测单元260作为参考图像。此外，当预测图像未从开关264接收到预测图像时，加法单元255将为从逆正交变换单元254提供残差信息的视差图像提供给去块滤波器256，并且还将视差图像提供给画面内预测单元260作为参考图像。
去块滤波器256通过从加法单元255提供的视差图像进行滤波来移除 块失真。去块滤波器256将作为结果而获得的视差图像提供给帧存储器259使帧存储器259累积视差图像，并且去块滤波器256还将该视差图像提供给画面重排缓冲器257。累积在帧存储器259中的视差图像提供给运动补偿单元262作为参考图像。
画面重排缓冲器257将从去块滤波器256提供的视差图像存储在帧单元中。画面重排缓冲器257将按所存储的用于编码的顺序的帧单元的视差图像重排成原始的显示顺序，并将该视差图像提供给D/A转换单元258。
D/A转换单元258使从画面重排缓冲器257提供的帧单元中的视差图像经由D/A转换，并且D/A转换单元258将视差图像提供给视点组合单元152(图15)作为预定视点的视差图像。
画面内预测单元260使用从加法单元255提供的参考图像执行由从片头解码单元173提供的画面内预测信息表示的最优帧内预测模式的画面内预测，并且生成预测图像。此外，画面内预测单元260将该预测图像提供给开关264。
对于所保持的运动矢量，运动矢量生成单元261将由包含在从片头解码单元173提供的运动信息中的预测矢量索引表示的运动矢量和运动矢量残差彼此相加并恢复运动矢量。运动矢量生成单元261保持所恢复的运动矢量。另外，运动矢量生成单元261将所恢复的运动矢量和包含在运动信息中的最优帧间预测模式等提供给运动补偿单元262。
运动补偿单元262用作预测图像生成单元，并基于从运动矢量生成单元261提供的运动矢量和最优帧间预测模式通过从帧存储器259读取参考图像来执行运动补偿处理。运动补偿单元262将作为结果而生成的预测图像提供给校正单元263。
以与图6的校正单元135相同的方式，校正单元263基于从图16的片头解码单元173提供的视差最大值、视差最小值和摄像机间距离生成在校正预测图像时使用的校正系数。另外，以与校正单元135相同的方式，校正单元263使用校正系数校正从运动补偿单元262提供的最优帧间预测模式的预测图像。校正单元263将校正后的预测图像提供给开关元件264。
当从画面内预测单元260提供预测图像时，开关元件264将该预测图像提供给加法单元255，而当从运动补偿单元262提供预测图像时，开关元件将该预测图像提供给加法单元255。
[对解码装置的处理的描述]
图18是说明图15的解码装置150的解码处理的流程图。当例如从图1的编码装置50递送编码位流时，开始解码处理。
在图18的步骤S201中，解码装置150的多视点图像解码单元151接收从图1的编码单元50递送的编码位流。
在步骤S202中，多视点图像解码单元151执行对所接收到的编码位流进行解码的多视点图像解码处理。将参照下文中描述的图19来给出对多视点解码处理的详细说明。
在步骤S203中，视点组合单元152用作彩色图像生成单元，并使用从多视点图像解码单元151提供的视点生成信息、经多视点校正的彩色图像和多视点视差图像生成经多视点组合的彩色图像。
在步骤S204中，多视点图像显示单元153显示从视点组合单元152提供的经多视点组合的彩色图像，使得对于每个视点可见角不同，并且处理结束。
图19是详细说明图18的步骤S202的多视点解码处理的流程图。
在图19的步骤S221中，多视点图像解码单元151的SPS解码单元171提取在所接收到的编码位流内的SPS。SPS解码单元171将所提取的SPS和除了SPS之外的编码位流提供给PPS解码单元172。
在步骤S222中，PPS解码单元172从自SPS编码单元171提供的除了SPS之外的编码位流提取PPS。PPS解码单元172将所提取的PPS、SPS和除了SPS和PPS之外的编码位流提供给片头解码单元173。
在步骤S223中，片头解码单元173将包含在从PPS解码单元172提供的PPS中的视差精度参数提供给视点组合单元152作为视点生成信息的一部分。
在步骤S224中，片头解码单元173判定包含在来自PPS解码单元172的PPS中的递送标志是否为表示存在递送的“1”。此外，在片单元中执行以下步骤S225至S234的处理。
当在步骤S224中确定递送标志为表示存在递送的1时，处理继续进行至步骤S225。在步骤S225中，片头解码单元173从自PPS解码单元172提供的除了SPS和PPS之外的编码位流提取包含视差最大值、视差最小值和摄像机间距离或者视差最大值、视差最小值和摄像机间距离的差分编码结果的片头。
在步骤S226中，片头解码单元173判定片类型是否为帧内型。当在步骤S226中判定片类型为帧内型时，处理继续进行至步骤S227。
在步骤S227中，片头解码单元173保持包含在步骤S225中所提取的片头中的视差最小值，并将该视差最小值提供给多视点组合单元152作为视点生成信息的一部分。
在步骤S228中，片头解码单元173保持包含在步骤S225中所提取的片头中的视差最大值，并将该视差最大值提供给多视点组合单元152作为视点生成信息的一部分。
在步骤S229中，片头解码单元173保持包含在步骤S225中所提取的片头中的摄像机间距离，并将该摄像机间距离提供给多视点组合单元152作为视点生成信息的一部分。随后，处理继续进行至步骤S235。
另一方面，当在步骤S226中判定片类型不是帧内型时，即当片类型为帧间型时，处理继续进行至步骤S230。
在步骤S230中，片头解码单元173将包含在步骤S225中所提取的片头中的视差最小值的差分编码结果加至所保持的视差最小值。片头解码单元173将通过加法恢复的视差最小值提供给视点组合单元152作为视点生成信息的一部分。
在步骤S231中，片头解码单元173将包含在步骤S225中所提取的片头中的视差最大值的差分编码结果加至所保持的视差最大值。片头解码单元173将通过加法恢复的视差最大值提供给视点组合单元152作为视点生成信息的一部分。
在步骤S232中，片头解码单元173将包含在步骤S225中所提取的片头中的摄像机间距离的差分编码结果加至所保持的摄像机间距离。片头解码单元173将通过加法恢复的摄像机间距离提供给视点组合单元152作为视点生成信息的一部分。随后，处理继续进行至步骤S235。
另一方面，在步骤S224中，当判定递送标志不为表示存在递送的1时，即当递送标志为表示不存在递送的“0”时，处理继续进行至步骤S233。
在步骤S233中，片头解码单元173从自PPS解码单元172提供的除了SPS和PPS之外的编码位流提取未包含视差最大值、视差最小值和摄像机间距离或者视差最大值、视差最小值和摄像机间距离的差分编码结果的片头。
在步骤S234中，通过将所保持的视差最大值、视差最小值和摄像机间距离(即按编码顺序为之前的那个片的片的视差最大值、视差最小值和摄像机间距离)设定成处理目标片的视差最大值、视差最小值和摄像机间距离，片头解码单元173恢复处理目标片的视差最大值、视差最小值和摄像机间距离。此外，片头解码单元173将所恢复的视差最大值、视差最小值和摄像机间距离提供给视点组合单元152作为视点生成信息的一部分，并且处理继续进行至步骤S235。
在步骤S235中，片解码单元174使用与片编码单元64(图5)中的编码方法相对应的方法对片单元的编码数据进行解码。具体地，片解码单元174基于来自片头解码单元173的SPS、PPS以及除了与摄像机间距离、视差最大值和视差最小值有关的信息的片头，使用与片编码单元64(图5)中的编码方法相对应的方法对片单元的多视点彩色图像的编码数据进行解码。另外，片解码单元174基于来自片头解码单元173的除了与SPS、PPS、摄像机间距离、视差最大值和视差最小值有关的信息的片头以及摄像机间距离、视差最大值和视差最小值使用与片编码单元64的编码方法相对应的方法执行对片单元的多视点彩色图像的编码数据进行解码的视差图像解码处理。将参照下面描述的图20给出对视差图像解码处理的详细描述。片头解码单元173将作为解码结果而获得的经多视点校正的彩色图像和多视点视差图像提供给图15的视点组合单元152。
图20详细说明了图16的片解码单元174的视差图像解码处理的流程图。针对每个视点执行视差图像解码处理。
在图20的步骤S261中，解码单元250的累积缓冲器251从图16的片头解码单元173接收预定视点的片单元的视差图像的编码数据并累积编码数据。累积缓冲器251将所累积的编码位流提供给无损解码单元252。
在步骤S262中，无损解码单元252使从累积缓冲区251提供的编码位流经受无损编码，并且无损解码单元252将作为结果而获得的经量化的系数提供给逆量化单元253。
在步骤S263中，逆量化单元253使来自无损解码单元252的经量化的系数经受逆量化，并且逆量化单元253将作为结果而获得的系数提供给逆正交变换单元254。
在步骤S264中，逆正交变换单元254使来自逆量化单元253的系数经受逆正交变换，并且逆正交变换单元254将作为结果而获得的残差信息 提供给加法单元255。
在步骤265中，运动矢量生成单元261判定是否从图16的片头解码单元173提供有运动信息。当在步骤S265中判定提供有运动信息时，处理继续进行至步骤266。
在步骤S266中，运动矢量生成单元261基于所保持的运动信息和运动矢量恢复并保持运动矢量。运动矢量生成单元261将所恢复的运动矢量和包含在运动信息中的最优帧间预测模式等提供给运动补偿单元262。
在步骤S267中，运动补偿单元262基于从运动矢量生成单元261提供的运动矢量和最优帧间预测模式通过从帧存储器259读取参考图像来执行运动补偿处理。运动补偿单元262将作为运动补偿处理的结果而生成的预测图像提供给校正单元263。
在步骤S268中，校正单元263基于从图16的片头解码单元173提供的视差最大值、视差最小值和摄像机间距离、以与图6的校正单元135相同的方式计算校正系数。
在步骤S269中，校正单元263使用校正系数以与校正单元135相同的方式，校正从运动补偿单元262提供的最优帧间预测模式的预测图像。校正单元263将校正后的预测图像经由开关264提供给加法单元255，并且处理继续进行至步骤S271。
另一方面，当在步骤S265中判定未提供有运动信息时，即当从片头解码单元173提供画面内预测信息给画面内预测单元260时，处理进行至步骤S270。
在步骤S270中，画面内预测单元260使用从加法单元255提供的参考图像执行从片头解码单元173提供的由画面内预测信息表示的最优帧内预测模式的画面内预测处理。画面内预测单元260将作为结果而生成的预测图像经由开关264提供给加法单元255，处理继续进行至步骤S271。
在步骤S271中，加法单元255将从逆正交变换单元254提供的残差信息加至从开关264提供的预测图像。加法单元255将作为结果而获得的视差图像提供给去块滤波器256，并且加法单元255还将视差图像提供给画面内预测单元260作为参考图像。
在步骤S272中，去块滤波器256通过在从加法单元255提供的视差图像上执行滤波来移除块失真。
在步骤S273中，去块滤波器256将滤波后的视差图像提供给帧存储器259，使帧存储器259累积视差图像，并且去块滤波器256将视差图像提供给画面重排缓冲器257。将累积在帧存储器259中的视差图像提供给运动补偿单元262作为参考图像。
在步骤S274中，画面重排缓冲器257将从去块滤波器256提供的视差图像存储在帧单元中，将按照所存储的用于编码的帧单元的视差图像重排成显示的原始顺序，并且将视差图像提供给D/A变换单元258。
在步骤S275中，D/A变换单元258使从画面重排缓冲器257提供的帧单元的视差图像经受D/A变换，并且D/A变换单元258将视差图像提供给图15的视点组合单元152作为预定视点的视差图像。
如上所述，解码装置150接收包括视差图像的编码数据的编码位流，其中，通过使用利用与视差图像有关的信息校正的预测图像以及与视差图像有关的信息进行编码来提高编码效率。此外，解码装置150使用与视差图像有关的信息校正预测图像并使用校正后的预测图像对视差图像的编码数据进行解码。
更具体地，解码装置150接收使用利用摄像机间距离、视差最大值和视差最小值作为与视差图像有关的信息校正的预测图像以及摄像机间距离、视差最大值和视差最小值进行编码的编码数据。此外，解码装置150使用摄像机间距离、视差最大值和视差最小值校正预测图像，使用校正后的预测图像对视差图像的编码数据进行解码。因此，解码装置150可以对视差图像的编码数据进行解码，其中，通过使用利用与视差图像相关的信息校正的预测图像进行编码来提供编码效率。
应指出的是，解码装置150将视差最大值、视差最小值和摄像机间距离包含在片头中作为在预测图像的校正中使用的信息并且递送该片头，然而，递送方法不限于此。
[对在预测图像的校正中使用的信息的递送方法的描述]
图21是说明在预测图像的校正中使用的信息的递送方式的图示。
如上所述，图21的第一递送方法为如下方法：即将视差最大值、视差最小值和摄像机间距离包含在片头中作为用于校正预测图像的信息，并且递送该片头。在该情况下，可以使在预测图像的校正中使用的信息和视点生成信息被共享，并且可以降低编码位流的信息量。然而，在解码装置150中，必须使用视差最大值、视差最小值和摄像机间距离来计算校正系 数，因而相比于下文所描述的第二递送方法的处理负载，解码装置150的处理负载较大。
另一方面，图21的第二递送方法为如下方法：将校正系数本身包含在片头中作为用于校正预测图像的信息，并且递送该片头。在该情况下，在预测图像的校正中不使用视差最大值、视差最小值和摄像机间距离。因此，将视差最大值、视差最小值和摄像机间距离作为视点生成信息的一部分包含在例如在解码期间不需要涉及的辅助增强信息(SEI)中，并且递送该SEI。在第二递送方法中，因为递送校正系数，所以不必在解码装置150中计算校正系数，相比于第一递送方法的处理负载，解码装置150的处理负载较小。然而，由于新递送了校正系数，所以编码位流的信息量变大。
此外，在以上给出的描述中，预测图像是使用视差最大值、视差最小值和摄像机间距离来校正的，然而，也可以使用与视差有关的其他信息(例如，表示多视点彩色图像成像单元51沿深度方向的成像位置的成像位置信息等)来校正预测图像。
在此情况下，根据图21的第三递送方法，将为使用视差最大值、视差最小值、摄像机间距离以及与视差有关的其他信息生成的校正系数的附加校正系数作为在预测图像的校正中使用的信息包含在片头中，并且递送该片头。以此方式，在除了视差最大值、视差最小值和摄像机间距离之外还使用与视差有关的信息来校正视差图像的情况下，可以根据与视差和视差图像有关的信息进一步减小预测图像的差值，并提高编码效率。然而，由于新递送了附加校正系数，所以编码位流的信息量与第一递送方法相比较大。另外，由于必须使用视差最大值、视差最小值和摄像机间距离来计算校正系数，所以解码装置150的处理负载与第二递送方法相比较大。
图22是示出在以第二递送方法递送在预测图像的校正中使用的信息情况下的编码位流的配置示例的图示。
在图22的示例中，配置PPS#0的相同PPS单元的单个帧内型片和两个帧间型片的校正系数均与按编码顺序为之前的那个片的片的校正系数不匹配。因此，将表示存在递送的递送标志“1”包含在PPS#0中。应指出的是，递送标志为表示存在校正系数的递送或不存在校正系数的递送的标志。
另外，在图22的示例中，配置PPS#0的相同PPS单元的帧内型片的 校正系数a为1，并且校正系数b为0。因此，将校正系数a“1”和校正系数b“0”包含在片的片头中。
此外，在图22的示例中，配置PPS#0的相同PPS单元的第一帧间型片的校正系数a为3，并且校正系数b为2。因此，从该片的校正系数a“3”减去按编码顺序为之前的那个片的帧内型片的校正系数a“1”，将差值“+2”包含在片的片头中作为校正系数a的差分编码结果。以相同的方式，包含校正系数b的差值“+2”作为校正系数b的差分编码结果。
另外，在图22的示例中，配置PPS#0的相同PPS单元的第二帧间型片的校正系数a为0，并且校正系数b为-1。因此，从该片的校正系数a“0”减去按编码顺序为之前的那个片的第一帧间型片的校正系数a“3”，将差值“+3”包含在片的片头中作为校正系数a的差分编码结果。以相同的方式，包含校正系数b的差值“-3”作为校正系数b的差分编码结果。
另外，在图22的示例中，配置PPS#1的相同PPS单元的单个帧内型片和两个帧间型片的校正系数均与按编码顺序为之前的那个片的校正系数相匹配，因此，将表示不存在递送的递送标志“0”包含在PPS#1中。
图23示出在以第三递送方法递送在预测图像的校正中使用的信息时的编码位流的配置示例的图示。
在图23的示例中，配置PPS#0的相同PPS单元的单个帧内型片和两个帧间型片的视差最小值、视差最大值、摄像机间距离以及附加校正系数均与按编码顺序为之前的那个片的片的视差最小值、视差最大值、摄像机间距离以及附加校正系数不匹配。因此，将表示存在递送的递送标志“1”包含在PPS#0中。应指出的是，递送标志为表示存在视差最小值、视差最大值、摄像机间距离以及附加校正系数的递送或不存在视差最小值、视差最大值、摄像机间距离以及附加校正系数的递送的标志。
另外，在图23的示例中，配置PPS#0的相同PPS单元的片的视差最小值、视差最大值及摄像机间距离与在图7的情况下相同，包含在每个片的片头中的与视差最小值、视差最大值、摄像机间距离相关的信息与图7相同；因此，将省略对其的描述。
另外，在图23的示例中，配置PPS#0的相同PPS单元的帧内型片的附加校正系数为5。因此，将附加校正系数“5”包含在在片的片头中。
此外，在图23的示例中，配置PPS#0的相同PPS单元的第一帧间型片的附加校正系数为7。因此，从片的附加校正系数“7”减去按编码 顺序为之前的那个片的帧内型片的附加校正系数“5”，将差值“+2”包含在片的片头中作为附加校正系数的差分编码结果。
此外，在图23的示例中，配置PPS#0的相同PPS单元的第二帧间型片的附加校正系数为8。因此，从该片的附加校正系数“8”减去按编码顺序为之前的那个片的第一帧间型片的附加校正系数“7”，将差值“+1”包含在片的片头中作为附加校正系数的差分编码结果。
在图23的示例中，配置PPS#1的相同PPS单元的单个帧内型片和两个帧间型片的视差最小值、视差最大值、摄像机间距离以及附加校正系数均与按编码顺序为之前的那个片的片的视差最小值、视差最大值、摄像机间距离以及附加校正系数相匹配，因此，将表示不存在递送的递送标志“0”包含在PPS#1中。
编码装置50可以使用图21的第一方法至第三方法中的一种方法递送在预测图像的校正中使用的信息。另外，编码装置50可以将标识第一递送方法至第三递送方法中的被用作递送方法的一个递送方法的标识信息(例如，标志或ID)包含在编码位流中，并且递送该编码位流。此外，在考虑编码位流的数据量和解码的处理负载的情况下，可以根据要使用编码位流的应用适当地选择图21的第一递送方法至第三递送方法。
另外，在本实施方式中，将在预测图像的校正中使用的信息设置在片头中作为与编码相关的信息；然而，只要设置有在预测图像的校正中使用的信息的区域为在编码期间涉及的区域即可，该区域不限于片头。例如，可以将在预测图像的校正中使用的信息设置在现有的网络抽象层(NAL)单元(例如PPS的NAL单元)中，或者设置在新的NAL单元(例如APS的NAL单元)中(如在HEVC标准中所提议的)。
例如，当在多个图片之间共享校正系数或附加校正系数时，可以通过在适用于多个图片的NAL单元(例如，PPS等的NAL单元)中设置共享值来提高递送效率。换言之，在该情况下，由于可以递送在多个图片之间共享的校正系数或附加校正系数，因此不必如在将校正系数或附加校正系数设置在每个片头中的情况下那样递送用于每个片的校正系数或附加校正系数。
因此，例如，当彩色图像为包括闪烁效果或减退效果的彩色图像时，由于参数例如视差最小值、视差最大值和摄像机间距离等倾向于不变，所以使校正系数或附加校正系数设置在PPS的NAL单元等中，并且提高了 递送效率。
当校正系数或附加校正系数对于每个图片不同时，例如，可以将校正系数或附加校正系数设置在片头中。当在多个图片之间共享校正系数或附加校正系数时，可以将校正系数或附加校正系数设置在比片头高的层中(例如，PPS等的NAL中)。
此外，视差图像可以是用表示与视差图像相对应的视点的彩色图像的每个像素的对象的沿深度方向的位置的深度值形成的图像(深度图像)。在该情况下，视差最大值和视差最小值分别为可以在多视点视差图像中假设的、沿深度方向的位置的全局坐标值中的最大值和最小值。
另外，本技术还可以采用除了HEVC方法之外的编码方法，例如AVC或多视点视频编码(MVC)。
<片编码单元的其他配置>
图24是示出提取了配置多视点图像编码单元55(图1)的片头编码单元63(图5)和片编码单元64的图示。在图24中，为了与图5中所示的片头编码单元63和片编码单元64区分，以向其所分配的不同附图标记给出了描述。然而，由于总的处理与图5所示的片头编码单元63和片编码单元64相同，所以将根据情况省略对其的描述。
此外，当将由表示沿深度方向的位置(距离)的深度值形成的深度图像用作视差图像时，上述视差最大值和视差最小值分别为可以在多视点视差图像中假设的、沿深度方向的位置的全局坐标值中的最大值和最小值，然而，甚至在公开了视差最大值和视差最小值的情况下，当将由表示沿深度方向的位置的深度值形成的深度图像用作视差图像时，该值根据情况被理解为沿深度方向的位置的全局坐标值中的最大值和最小值。
片头编码单元301以与上述片头编码单元63相同的方式来配置，并且片头编码单元301基于每个片类型和包含在从PPS编码单元62提供的PPS中的递送标志来生成片头。片头编码单元301还将所生成的片头添加至添加有从PPS编码单元62提供的PPS的SPS，并将SPS提供给片编码单元64。
片编码单元302执行与上述片编码单元64相同的编码。换言之，片编码单元302使用HEVC方法针对从多视点彩色图像校正单元52(图1)提供的经多视点校正的彩色图像执行片单元的编码处理。
另外，对于从图1的视点生成信息生成单元54提供的视点生成信息， 片编码单元302使用视差最大值、视差最小值和摄像机间距离作为与视差有关的信息，并且使用与HEVC方法相一致的方法针对来自多视点视差图像生成单元53的多视点视差图像执行片单元的编码处理。片编码单元302将作为编码结果而获得的片单元的编码数据等添加至添加有从片头编码单元301提供的PPS和片头的SPS，并生成位流。片编码单元302用作递送单元并且递送位流作为编码位流。
图25是示出对图24的片编码单元302内的一个任意视点的视差图像进行编码的编码单元的内部配置示例的图示。图25所示的编码单元310被配置成具有A/D转换单元321、画面重排缓冲器322、计算单元323、正交变换单元324、量化单元325、无损编码单元326、累积缓冲器327、逆量化单元328、逆正交变换单元329、加法单元330、去块滤波器331、帧存储器332、画面内预测单元333、运动预测和补偿单元334、校正单元335、选择单元336和速率控制单元337。
图25所示的片编码单元310与图6所示的编码单元120具有相同的配置。换言之，图25所示的编码单元310的A/D转换单元321至速率控制单元337分别与图6所示的编码单元120的A/D转换单元121至速率控制单元137具有相同的功能。因此，此处将省略对其详细的描述。
如图25所示的编码单元310与图6所示的编码单元120具有相同的配置；然而，校正单元335的内部配置与图6所示的编码单元120的校正单元135的内部配置不同。在图26中示出了校正单元335的配置。
图26所示的校正单元335被配置成具有深度校正单元341、亮度校正单元342、代价计算单元343和设定单元344。下文将参照流程图来描述由这些部分中的每个部分执行的处理。
图27是用于说明视差和深度的图示。在图27中，C1表示摄像机C1所在的位置，而C2示出摄像机C2所在的位置。采用了可以使用摄像机C1和摄像机C2拍摄不同视点的彩色图像(彩色图像)的配置。另外，摄像机C1和摄像机C2被定位成间隔距离L。M为用作成像目标的对象。而f表示摄像机C1的焦距。
当存在这种关系时，满足以下等式。
Z＝(L/D)×f
在该等式中，Z为视差图像(深度图像)的对象沿深度方向的位置(对象M与摄像机C1(摄像机C2)之间的沿深度方向的距离。D表示拍摄的 视差矢量(的x分量)，并且表示视差值。换言之，D为在两个摄像机之间出现的视差。具体地，D(d)为通过从距离u1减去距离u2而获得的值。距离u1为对象M在由摄像机C1成像的彩色图像上的位置距彩色图像的中心的沿水平方向的距离，距离u2为对象M在由摄像机C2成像的彩色图像上的位置距该彩色图像的中心的沿水平方向的距离。如上述等式所示，可以在视差值D与位置Z之间执行唯一地转换。因此，在下文中，将视差图像和深度图像统称为深度图像。将继续进一步描述满足上述等式的关系，特别是视差值D与沿深度方向的位置Z之间的关系。
图28和图29是用于说明由摄像机成像的图像、深度以及深度值之间的关系的图示。摄像机401对圆柱体411、笑脸412以及房屋413进行成像。圆柱体411、笑脸412以及房屋413从靠近摄像机401的一侧按顺序设置。此时，将设置在最靠近摄像机401的位置处的圆柱体411的沿深度方向的位置设定成沿深度方向的位置的全局坐标值的最小值Znear，并且将设置在距摄像机401的最远的位置处的房屋413设置成沿深度方向的位置的全局坐标值的最大值Zfar。
图29是说明视点生成信息中的沿深度方向的位置的最小值Znear和最大值Zfar之间的关系的图示。在图29中，水平轴为沿深度方向的预规范化位置的倒数，并且垂直轴为深度图像的像素值。如图29所示，例如通过使用最大值Zfar的倒数和最小值Znear的倒数将用于每个像素的像素值的深度值规范化成0至255的值。此外，使用每个像素的校正后的深度值作为像素值生成深度图像，所述像素值为0至255的值。
图29所述的曲线图与图2所述的曲线图相对应。图29所示的曲线图为表示视点生成信息中的沿深度方向的位置的最小值与最大值之间的关系的标志；而图2所述的曲线图为示出视点生成信息中的视差最大值与视差最小值之间的关系的曲线图。
如参照图2所描述的，通过使用像素的预规范化视差值d、视差最小值Dmin以及视差最大值Dmax的等式(1)来表示视差图像的每个像素的像素值I。此处，再次示出等式(1)作为以下等式(11)。
[公式9]
I=255*(d-Dmin)Dmax-Dmin...(11)]]>
另外，通过使用像素的预规范化深度值1/Z、最小值Znear和最大值 Zfar的以下等式(13)来表示深度图像的每个像素的像素值y。应指出的是，此处，将位置Z的倒数用作深度值，然而，也可以将位置Z本身用作深度值。
[公式10]
y=255&CenterDot;1Z-1Zfar1Znear-1Zfar...(13)]]>
如从等式(13)可以理解的，深度图像的像素值y是根据最大值Zfar和最小值Znear计算的。如参照图28所描述的，最大值Zfar和最小值Znear是取决于所成像的对象的位置关系而确定的。因此，当在所成像的图像内的对象的位置关系改变时，最大值Zfar和最小值Znear也分别与该改变相对应地进行改变。
此处，将参照图30给出关于在对象的位置关系改变时的描述。图30的左侧示出由摄像机401在时间T₀处成像的图像的位置关系，并且示出为与图28所述的位置关系相同的位置关系。预计如下情况：即当时间T₀改变至T₁时，被定位成靠近摄像机401的圆柱体411消失而笑脸412与房屋413之间的位置关系没有改变的情况。
在该情况下，当时间当时间T₀改变至T₁时，最小值Znear改变成最小值Znear'。换言之，在时间T₀时，沿圆柱体411的深度方向的位置Z为最小值Znear；相反地，在时间T₁时，由于圆柱体411消失而引起距摄像机401最近的位置的对象改变成笑脸412，并且伴随该改变最小值Znear(Znear')改变成笑脸412的位置Z。
在时间T₀时，最小值Znear和最大值Zfar的差值(范围)被设定成表示沿深度方向的位置的范围的深度范围A，而在时间T₁时，最小值Znear'和最大值Zfar的差值(范围)被设定成深度范围B。在此情况下，深度范围A改变成了深度范围B。此处，如上所述，再次参照等式(13)，由于深度图像的像素值y是根据最大值Zfar和最小值Znear计算的值，所以当深度范围A以此方式改变成了深度范围B时，使用这样的值计算出的像素值也改变。
例如，在图30的左侧示出了时间T₀的深度图像421；然而，由于圆柱体411在前方，所以圆柱体411的像素值很大(亮)；而由于笑脸412和房屋413的像素值被定位得比圆柱体411远，所以它们比圆柱体411的 像素小(暗)。以相同的方式，在图30的右侧示出了时间T₁的深度图像422；然而，由于圆柱体411消失，深度范围变小，并且笑脸412的像素值与深度图像421的那些相比较大(较亮)。如上所述，这是因为由于深度范围改变，所以即使具有相同的位置Z，使用通过使用最大值Zfar和最小值Znear的等式(13)而获得的像素值y也会改变。
然而，在时间T₀和时间T₁处，由于笑脸412的位置不改变，所以优选地，笑脸412在时间T₀和时间T₁处的深度图像的像素值不存在突变。换言之，以此方式，当沿深度方向的位置(距离)的最大值和最小值的范围突然改变时，即使其沿深度方向的位置相同，深度图像的像素值(亮度)也极大地改变，并且存在预测将会不准确的可能性。因此，将给出关于执行控制以避免这个的情况的描述。
图31与图30所示的视图相同。然而，在图31所示的右侧示出的、在时间T₁处对象位置关系中，预计将圆柱体411'定位在摄像机401的前方并执行处理使得最小值Znear不存在改变。通过执行这样的处理，可以在深度范围A和深度范围B未以如上所述进行改变情况下执行处理。因此，防止了沿深度方向的距离的最大值和最小值的范围突然地改变，即使沿深度方向的位置相同，深度图像的像素值(亮度值)也不发生极大地改变，并且可以降低预测将会不准确的可能性。
另外，如图32所示，还预计对象的位置关系改变的情况。在图32所示的对象的位置关系中，在图32的左侧上示出的在时间T₀处的位置关系与图30或图31所示的在时间T₀处的位置关系相同，并且为从最靠近摄像机402的位置按顺序定位圆柱体411、笑脸412以及房屋413的情况。
根据该状态，在时间T₁处，当笑脸412朝向摄像机401移动并且圆柱体411也朝向摄像机401移动时，首先，如图32所示，由于最小值Znear变为最小值Znear'，所以最小值Znear和最大值Zfar的差值改变并且深度范围改变。如参照图31所描述的，处理沿深度方向的位置的最大值和最小值的范围的这样的突变使得圆柱体411的位置不改变；因此，可以防止在沿深度方向的位置相同时深度图像的像素值(亮度值)在很大程度上改变。
在图32所示的情况下，由于笑脸412也沿摄像机401的方向移动，所以笑脸412的沿深度方向的位置比笑脸412在时间T₀处沿深度方向的位置小(深度图像的像素值(亮度值)较大)。然而，在如上所述执行防止在沿深度方向的位置相同时深度图像的像素值(亮度值)在很大程度上 改变的处理时，存在笑脸412的深度图像的像素值未被设定成与沿深度方向的位置相对应的适当像素值(亮度值)的可能性。因此，在执行参照图31所描述的处理之后，执行笑脸412的像素值(亮度值)等为适当像素值(亮度值)的处理。执行防止在沿深度方向的位置相同时深度图像的像素值在很大程度上改变的处理，并且执行处理使得像素值为适当像素值(亮度值)。
将给出关于在参照图33和图34的流程图执行以上处理时的与深度图像的编码有关的处理的描述。图33和图34为详细说明图24至图26所述的片编码单元302的视差图像编码处理的流程图。针对每个视点执行视差图像编码处理。
图24至图26所示的片编码单元302与图5和图6所述的片编码单元64具有相同的基本配置；然而，应说明的是，校正单元335的内部配置是不同的。因此，除了校正单元335执行的处理之外的处理基本上为与图5和图6所示的片编码单元64的那些相同的处理，也就是说，以与图13和图14所示的流程图的处理相同的处理执行除了校正单元335执行的处理之外的处理。此处，将省略与和图13和图14所述的流程图说明的部分重叠的部分有关的描述。
以与图13的步骤S160至步骤S163以及步骤S166至步骤S174的处理相同的方式来执行图33的步骤S300至步骤S303以及步骤S305至步骤S313的处理。然而，步骤S305的处理由图26的代价函数单元来执行，而步骤S308的处理由设定单元344来执行。另外，以与图14的步骤S175至S181的处理相同的方式来执行图34的步骤S314至步骤S320的处理。换言之，在步骤S304所执行的预测图像生成处理中，除了与图13所述的流程图的处理不同之外，执行基本上相同的处理。
此处，将给出关于参照图35的流程在步骤304中执行的预测图像生成处理的描述。在步骤S331中，深度校正单元341(图26)判定处理目标深度图像的像素值是否为视差值(差异)。
当在步骤S331中判定处理目标深度图像的像素值为视差值时，处理继续进行到步骤S332。在步骤S332中，计算用于视差值的校正系数。用于视差值的校正系数使用以下等式(14)来获得。
[公式11]
vref,=LcurFcurLrefFref&CenterDot;Drefmax-DrefminDcurmax-Dcurmin&CenterDot;vref+255&CenterDot;LcurFcurLrefFref&CenterDot;Drefmax-DcurminDcurmax-Dcurmin=avref+b...(14)]]>
在等式14中，Vref'和Vref分别为校正后视差图像的预测图像的视差值和预校正视差图像的预测图像的视差值。另外，Lcur和Lref分别为编码目标视差图像的摄像机间距离和视差图像的预测图像的摄像机间距离。F_cur和F_ref分别为编码目标视差图像的焦距和视差图像的预测图像的焦距。Dcur_min和Dref_min分别为编码目标视差图像的焦距的视差最小值和视差图像的预测图像的视差最小值。Dcur_max和Dref_max分别为编码目标视差图像的焦距的视差最大值和视差图像的预测图像的视差最大值。
对于用于视差值的校正系数，深度校正单元341生成等式(14)的a和b作为校正系数。校正系数a为差异的加权系数(差异加权系数)，校正系数b为差异的偏差(差异偏差)。深度校正单元341根据差异加权系数和差异偏差基于上述等式(14)来计算校正后深度图像的预测图像的像素值。
此处的处理为如下加权预测处理：其使用为深度图像的视差图像作为目标并且在对为视差图像的像素值的差异进行规范化时使用。加权预测处理基于表示差异的范围的差异范围使用为深度加权系数的差异加权系数和为深度偏差的差异偏差。此处，根据情况表示为深度加权预测处理。
另一方面，当在步骤S331中判定预测目标深度图像的像素值不是视差值时，处理继续进行至步骤S333。在步骤S333中，计算用于沿深度方向的位置(距离)的校正系数。用于沿深度方向的位置(距离)的校正系数使用以下等式(15)来获得。
[公式12]
vref,==1Zrefnear-1Zreffar1Zcurnear-1Zcurfar&CenterDot;vref+255&CenterDot;1Zreffar-1Zcurfar1Zcurnear-1Zcurfar=avref+b...(15)]]>
在等式(15)中，Vref'和Vref分别为校正后深度图像的预测图像的像素值和预校正深度图像的预测图像的像素值。Zcur_near和Zref_near分别为最靠近编码目标深度图像的对象沿深度方向的位置(最小值Znear)和最靠近深度图像的预测图像的对象沿深度方向的位置(最小值Znear)。Zcur_far和Zref_far分别为距编码目标深度图像最远的对象沿深度方向的位置(最达值Zfar)和距深度图像的预测图像最远的对象沿深度方向的位置(最达值Zfar)。
对于用于沿深度方向的位置的校正系数，深度校正单元341生成等式(15)的a和b作为校正系数。校正系数a为深度值的加权系数(深度加权系数)，校正系数b为深度值的偏差(深度偏差)。深度校正单元341根据深度加权系数和深度偏差基于上述等式(15)来计算校正后深度图像的预测图像的像素值。
此处的处理为如下加权预测处理：即使用为深度图像的深度图像作为目标并且在对为深度图像的像素值的深度值规范化时使用。加权预测处理基于深度范围使用为深度加权系数的深度加权系数和为深度偏差的深度偏差。此处，根据情况表示深度加权预测处理。
以此方式，取决于处理目标深度图像的像素值为视差值(D)还是表示沿深度方向(距离)的位置的深度值1/Z(Z)，使用不同的等式计算校正系数。另外，使用校正系数并暂时计算校正后的预测图像。此处，使用术语“暂时”原因是：在之后阶段，执行亮度值的校正。一旦以此方式计算了校正系数，则处理继续进行至步骤S334。
当以此方式计算校正系数时，设定单元344生成表示是计算用于视差值的校正系数还是计算用于沿深度方向的位置(距离)的校正系数的信息；将该信息包含在片头中，并将该片头递送至解码侧。
换言之，设定单元344判定是基于在表示沿深度方向的位置(距离)的深度值进行规范化时使用的深度范围执行深度加权处理，还是基于在对视差值进行规范化时使用的差异范围执行深度加权处理。基于确定，设定标识执行预测处理的深度标识数据，并将该深度标识数据递送给解码侧。
可以由设定单元344来设定深度标识数据，将其包含在片头中并发送。在编码侧和解码侧可以共享深度标识数据时，通过在解码侧参照深度标识，可以判定是基于在表示沿深度方向的位置(距离)的深度值进行规范化时使用的深度范围执行的深度加权处理，还是基于在对表示视差的视 差值进行规范化时使用的差异范围执行深度加权处理。
另外，可以判定是否要取决于片的类型计算校正系数，并且可以不基于片的类型来计算校正系数。特别地，当片的类型为P片、SP片或B片时，计算(执行深度加权预测)校正系数，而当片为另外的片时，可以不计算校正系数。
此外，因为一副图片是由多个片配置的，所以判定是否取决于片的类型计算校正系数的配置还可以是其中判定是否基于图片的类型(图片类型)计算校正系数的配置。例如，当图片类型为B图片时，可以不计算校正系数。此处，将继续基于片的类型来判定是否计算校正系数的假设进行描述。
在P片或SP片的情况下，当执行深度加权预测处理时，设定单元344例如将depth_weighted_pred_flag设定为1；而当不执行深度加权预测处理，设定单元344将depth_weighted_pred_flag设定为0，并且可以例如将depth_weighted_pred_flag包含在片头中并将其发送。
在B片的情况下，当执行深度加权预测处理时，设定单元例如将depth_weighted_bipred_flag设定为1；而当不执行深度加权预测处理(跳过深度加权预测处理)时，设定单元例如将depth_weighted_bipred_flag设定为0，并且可以例如将depth_weighted_bipred_flag包含在片头中并将其发送。
根据以上内容，在解码片中，可以通过参考depth_weighted_pred_flag和depth_weighted_bipred_flag来判定是否有必要计算校正系数。换言之，可以在解码侧上执行处理(例如执行控制)以使得基于片的类型来判定是否计算校正系数，以及使得不基于片的类型来计算校正系数。
在步骤S334中，通过亮度校正单元342来计算用于亮度的校正系数。可以通过例如应用在AVC方法中的亮度校正来计算用于亮度的校正系数。通过执行使用加权系数和偏差的加权预测处理以与上述深度加权预测处理相同的方式来校正AVC方法中的亮度校正。
换言之，生成通过上述深度加权预测处理校正的预测图像、针对经校正的预测图像执行用于校正亮度值的加权预测处理，并且生成在对深度图像进行编码时使用的预测图像(深度预测图像)。
同样在用于亮度的校正系数的情况下，可以设定标识计算校正系数的情况和不计算校正系数的情况的数据，并将其递送至解码侧。例如，在P 片和SP片的情况下，当计算亮度值的校正系数时，例如将weighted_pred_flag设定为1，当不计算亮度值的校正系数时，例如将weighted_pred_flag设定为0，并且可以将weighted_pred_flag例如包含在片头中并将其发送。
另外，在B片的情况下，当计算亮度值的校正系数时，例如将weighted_bipred_flag设定为1，当不计算亮度值的校正系数时，例如将weighted_bipred_flag设定为0，并且将weighted_bipred_flag例如包含在片头中并将其发送。
以此方式，首先，在步骤S332或步骤S333中，在固定规范化移位并且获得转换至相同坐标系的效果之后时，在步骤S334中，执行定点亮度移位的处理。假设地，当在固定亮度之后执行固定规范化移位的处理时，破坏了最小值Znear和最大值Zfar之间的关系，并且存在可能不能适当地固定规范化移位的可能性。因此，首先固定规范化移位，随后可以固定亮度移位。
此外，此处，给出了执行固定规范化移位的深度加权预测处理和校正亮度值的加权预测处理的描述；然而，仅执行预测处理中的一种的配置也是可以的。
以此方式，当计算校正系数时，处理继续进行至步骤S335。在步骤S335中，由亮度校正单元342生成预测图像。由于已经描述了预测图像的生成，所以将省略对其描述。另外，使用所生成的深度预测图像对深度图像进行编码，生成编码数据(深度流)并将其递送至解码侧。
将给出接收以此方式生成的图像并对它们进行处理的解码装置的描述。
<片解码单元的配置>
图36是提取了配置多视点图像解码单元151(图15)的片头解码单元173和片解码单元174(图16)的图示。在图36中，为了与图16所示的片头解码单元173和片解码单元174区分，以对其分配的不同附图标记来给出描述；然而，由于一般的处理与图5所示的片头编码单元173和片单元单元174相同，所以将根据情况省略对其描述。
片解码单元552基于从片头编码单元551提供的除了与摄像机间距离、视差最大值和视差最小值有关的信息之外的SPS、PPS和片头、使用与在片编码单元302(图24)中的编码方法相对应的方法对片单元的多路 复用彩色图像的编码数据进行解码。
另外，片解码单元552基于除了与摄像机间距离、视差最大值和视差最小值有关的信息之外的SPS、PPS和片头，并且基于摄像机间距离、视差最大值和视差最小值使用与在片编码单元302(图24)中的编码方法相对应的方法对片单元的多路复用视差图像(多路复用深度图像)的编码数据进行解码。片解码单元552将作为解码结果而获得的经多视点校正的彩色图像和多视点视差图像提供给图15的视点组合单元152。
图37是示出对图35的片解码单元552内的一个任意视点的深度图像进行解码的解码单元的配置示例的框图。换言之，对片解码单元552内的多视点视差图像进行解码的解码单元被配置成具有与视点的数目相对应的多个图37的片解码单元552。
图37的片解码单元552被配置成具有累积缓冲器571、无损解码单元572、逆量化单元573、逆正交变换单元574、加法单元575、去块滤波器576、画面重排缓冲器577、D/A转换器578、帧存储器579、画面内预测单元580、运动矢量生成单元581、运动补偿单元582、校正单元583和开关584。
图37所示的片解码单元552与图17所示的片解码单元250具有相同的配置。换言之，图37所示的片解码单元552的累积缓冲器571至开关584分别与图17所示的累积缓冲器251至开关264具有相同的功能。因此，此处将省略对其详细的描述。
图37所示的片解码单元552和图17所示的片解码单元250具有相同的配置；然而，校正单元583的内部配置与图17所示的校正单元263的内部配置不同。在图38中示出了校正单元583的配置。
图38所示的校正单元583被配置成具有选择单元601、设定单元602、深度校正单元603和亮度校正单元604。在下文中将参照流程图来描述由这些部分中的每个部分执行的处理。
图39是用于示出与深度图像的解码处理相关的处理的流程图。换言之，将给出关于在接收在上述编码侧的处理中使用与预定视点的深度图像有关的信息校正的预定视点的深度图像的深度预测图像进行编码的预定视点的深度图像的深度流以及与预定视点的深度图像有关的信息的一侧上执行的处理的描述。。
图39是详细说明图36至图38所示的片解码单元552的视差图像解 码处理的流程图。针对每个视点执行视差图像解码处理。
图39所示的片解码单元552与图16和图17所示的片解码单元174具有相同的一般结构；然而，将说明的是，校正单元583的内部配置是不同的。因此，除了校正单元583执行的处理之外的处理基本上为图16和图17所示的片解码单元172的处理相同的处理，即按照图20所示的流程图的处理相同的处理来执行。此处，将省略与和由图20所示的流程图说明的部分重叠的部分有关的描述。
将以与图20的步骤261至步骤S267以及步骤S270至步骤S275的处理相同的方式来执行图39的步骤S351至步骤S357以及步骤S359至步骤S364的处理。换言之，在步骤S358中执行的预测图像生成处理中，除了与图20所示的流程图的处理不同之外，基本上执行相同的处理。
此处，将参照图40给出在步骤S358中执行的预测图像生成处理的描述。
在步骤S371中，判定处理目标片为P片还是SP片。在步骤S371中，当判定处理目标片为P片或SP片时，处理处理继续进行至步骤S372。在步骤S372中，判定是否depth_weighted_pred_flag＝1。
当在步骤S372中判定depth_weighted_pred_flag＝1，处理继续进行至步骤S373，而当在步骤S372中判定depth_weighted_pred_flag＝1不为真时，跳过步骤S373至步骤S375的处理，并且处理继续进行至步骤S376。
在步骤S373中，判定处理目标深度图像的像素值是否为视差值。当在步骤S373中判定处理目标深度图像的像素值为视差值时，处理继续进行至步骤S374。
在步骤S374中，由深度校正单元603计算用于视差值的校正系数。以与图26的深度校正单元341相同的方式，深度校正单元603基于视差最大值、视差最小值和摄像机间距离计算校正系数(差异加权系数和差异偏差)。当计算校正系数时，暂时计算校正后的预测图像。此处，使用术语“暂时”是因为，以与编码侧相同的方式，因为在之后阶段执行亮度值的校正，校正后的预测图像不是在解码中所使用的最终预测图像。
另一方面，在步骤S373中，当判定处理目标深度图像的像素值不为视差值时，处理继续进行至步骤S375。在此情况下，因为处理目标深度图像的像素值为表示沿深度方向的位置(距离)的深度值，所以在步骤 S375中，以与图26的深度校正单元341相同的方式，深度校正单元603基于沿深度方向的位置(距离)的最大值和最小值来计算校正系数(深度加权系数和深度偏差)。当计算校正系数时，暂时计算校正后的预测图像。此处，使用术语“暂时”是由于，以与编码侧相同的方式，因为在之后阶段执行亮度值的校正，校正后的预测图像不是在解码中所使用的最终预测图像。
当在步骤S374或步骤S375中计算校正系数时，在步骤S372中判定depth_weighted_pred_flag＝1不为真时，处理继续至步骤S376。
在步骤S376中，判定是否weighted_pred_flag＝1。当判定weighted_pred_flag＝1时，处理继续进行至步骤S377。在步骤S377中，由亮度校正单元604来计算用于亮度的校正系数。以与图26的亮度校正单元342相同的方式，亮度校正单元604基于预定方法来计算用于计算出的亮度的校正系数。使用计算出的校正系数并且计算校正了亮度值的预测图像。
当以此方式计算了用于亮度的校正系数时或者当在步骤S376中判定weighted_pred_flag＝1时，处理继续进行至步骤S385。在步骤S385中，使用计算出的校正系数等，并生成预测图像。
另一方面，在步骤S371中，当判定处理目标片不为P片或SP片时，处理继续进行至步骤S378，并且判定处理目标片是否为B片。在步骤S378中，当判定处理目标片为B片时，处理继续进行至步骤S379，当判定处理目标片不为B片时，处理继续至步骤S385。
在步骤S379中，判定是否depth_weighted_pred_flag＝1。当在步骤S379中判定depth_weighted_pred_flag＝1时，处理继续进行至步骤S380。当判定depth_weighted_pred_flag＝1不为真时，跳过步骤S380至步骤S382的处理，并且处理继续进行至步骤S383。
在步骤S380中，判定处理目标图像的像素值是否为视差值。在步骤S380中，当判定处理目标深度图像的像素值为视差值时，处理继续进行至步骤S381，并且由深度校正单元603计算用于视差值的校正系数。以与图26的深度校正单元341相同的方式，深度校正单元603基于视差最大值、视差最小值和摄像机间距离来计算校正系数。使用所计算的校正系数，并且计算所校正的预测图像。
另一方面，在步骤S380中，当判定处理目标深度图像的像素值不为 视差值时，处理继续进行至步骤S382。在该情况下，由于处理目标深度图像的像素值为表示沿深度方向的位置(距离)的深度值，所以在步骤S382中，以与图26的深度校正单元341相同的方式，深度校正单元603基于沿深度方向的位置(距离)的最大值和最小值来计算校正系数。使用计算出的校正系数，并且计算校正后的预测图像。
当在步骤S381或步骤S382中计算了校正系数时或者当在步骤S379中判定depth_weighted_bipred_flag＝1不为真时，处理继续进行至步骤S383。
在步骤S383中，判定是否weighted_bipred_flag＝1。在步骤S383中，当判定weighted_bipred_flag＝1时，处理继续进行至步骤S384。在步骤S384中，由亮度校正单元604计算用于亮度的校正系数。以与图26的亮度校正单元342相同的方式，亮度校正单元604基于预定方法例如AVC方法计算用于所计算的亮度的校正系数。使用所计算的校正系数，然后计算校正了亮度的预测图像。
在以此方式计算用于亮度的校正系数情况下，当在步骤S383中判定weighted_pred_flag＝1不为真时或者当在步骤S378中判定处理目标片不为B片时，处理处理继续进行至步骤S385。在步骤S385中，使用所计算出的校正系数等，并生成预测图像。
当以此方式执行步骤S358中的预测图像生成处理(图39)时，处理继续进行至步骤S360。以与图20的步骤S271之后的处理相同的方式执行步骤S360之后的处理，由于已经给出了对其的描述，此处将省略描述。
针对处理目标深度图像的像素值为视差值的情况和像素值不为视差值的情况分别计算用于视差值的校正系数和用于沿深度方向的位置(距离)的校正系数。因此，可以适当地支持从视差值生成的预测图像的情况和从表示沿深度方向的位置的深度值生成预测图像的情况，并且可以计算适当的校正系数。另外，同样通过计算用于亮度的校正系数，还可以适当地执行亮度校正。
此外，此处基于针对处理目标深度图像的像素值为视差值的情况和像素值不为视差值的情况(像素值为深度值的情况)分别计算用于视差值的校正系数和用于沿深度方向的位置(距离)的校正系数的假设给出描述。然而，可以计算校正系数中的一个校正系数。例如，在编码侧和解码侧处，当视差值用作处理目标深度图像的像素值，并且将用于视差值的校正系数 设定成待计算时，可以计算仅用于视差值的校正系数。另外，例如，在编码侧和解码侧处，当沿深度方向的位置(距离)的深度值用作处理目标深度图像的像素值时并且将用于沿深度方向的位置(距离)的校正系数设定成待计算时，可以计算仅用于沿深度方向的位置(距离)的校正系数。
<关于校正精度1>
如上所述，编码侧例如在步骤S333(图35)中计算用于沿深度方向的位置的校正系数，并且解码侧例如在步骤S375(图40)中计算用于沿深度方向的位置的校正系数。以此方式，编码侧和解码侧分别计算用于沿深度方向的校正系数；然而，由于如果所计算出的校正系数不同，则生成不同的预测图像，所以有必要在编码侧和解码侧计算出相同的校正系数。换言之，有必要使计算精度在编码侧和解码侧相同。
此外，此处，继续给出用于沿深度方向的位置(距离)的校正系数作为示例的描述；然而，用于视差值的校正系数是相同的。
此处，下面将再次示出在计算用于沿深度方向的位置的校正系数时使用的等式(15)作为等式(16)。
[公式13]
vref,==1Zrefnear-1Zreffar1Zcurnear-1Zcurfar&CenterDot;vref+255&CenterDot;1Zreffar-1Zcurfar1Zcurnear-1Zcurfar=avref+b...(16)]]>
等式(16)内的校正系数的一部分由以下等式(17)来表示。
[公式14]
a=1Zrefnear-1Zreffar1Zcurnear-1Zcurfar=A-BC-D...(17)]]>
为了将等式(17)中的A、B、C以及D设定成定点数值，根据以下等式(18)来计算每一个。
A＝INT({1<<shift}/Zref_near)
B＝INT({1<<shift}/Zref_far)
C＝INT({1<<shift}/Zcur_near)
D＝INT({1<<shift}/Zcur_far)...(18)
在等式(17)中，A为(1/Zrefnear)；然而，存在(1/Zrefnear)会变成包含小数点后面的数值的可能性。假设地，在当包含小数点后面的值时执行诸如丢弃小数点后面的数之外的数的情况下，存在由于所丢弃的小数点后面的数值而造成会在编码侧和解码侧处的计算精度中出现差别的可能性。
例如，当整数部分为较大值时，假设地，即使丢弃小数点后面的数值，但由于小数点后面的数值在占整个值的比例较小，所以在计算精度中将不会存在显著误差；然而，当整数部分为较小值时，例如当整数部分为0时，小数点后面的数值是重要的，并且当在这样的情况下丢弃小数点后面的数值时，在计算精度中存在会出现误差的可能性。
因此，如上所述，当小数点后面的数字为重要的时，可以通过将A、B、C和D设定成定点数来执行控制使得不丢弃小数点后面的数值。另外，将上述A、B、C和D设定成定点数；然而，根据这些值计算的校正系数a同样为满足以下等式(19)的值。
a＝{(A-B)<<denom}/(C-D)...(19)
在等式(19)中，可以使用由AVC定义的luma_log2_weight_denom作为denom。
例如，当1/Z的值为0.12345，并且当值被移M位时，然后将其四舍五入到整数，并作为整数值处理，其结果如下。
0.12345→×1000INT(123.45)＝123
在该情况下，由于计算了通过乘以值1000而获得的123.45的整数，将整数值123用作1/Z的值。另外，在该情况下，如果由编码侧和解码侧共享信息×1000，则可以使计算精度相匹配。
以此方式，当获得浮点数时，将浮点数转换成定点数，并且进一步从定点数转换成整数。定点数例如是由整数M位和小数N位表示的，并且根据标准设定M和N。另外，整数例如被设定成N位整数部分和M位小数部分，该N位整数部分和M位小数部分可以被设定成整数值a和小 数值b。例如，在12.25的情况下，N＝4、M＝2，a＝1100以及b＝0.01。另外，在该情况下，(a<<M+b)＝110001。
以此方式，可以基于等式(18)和等式(19)计算校正系数a的部分。此外，如果shift和denom的值被配置成由编码侧和解码侧共享，则可以使编码侧和解码侧的计算精度相匹配。可以通过将shift和denom的值从编码侧提供给解码侧来实现共享方法。另外，可以通过将编码侧和解码侧设定成使用相同shift和denom值来实现共享方法，即设定成使用固定值。
此处将以校正系数a的部分作为示例给出描述；然而，可以以相同的方式计算校正系数b的部分。另外，可以将根据上述移位的小数精度设定为位置Z的小数精度或更大。换言之，可以设定移位使得在移位中所乘的值大于由位置Z所乘的值。此外，换言之，可以将位置Z的小数精度设定成取决于移位或更小的小数精度。
另外，当递送shift和demon时，这些可以连同depth_weighted_pred_flag一起递送。此处，可以将校正系数a和校正系数b即位置Z的加权系数和偏差描述成由编码侧和解码侧来共享；然而，还可以设定和共享计算顺序。
可以采用深度校正单元341(图26)设置有设定这样的计算精度的设定单元的配置。在该情况下，当深度校正单元341执行以深度图像作为目标、使用深度加权系数和深度偏差的深度加权预测处理时，可以采用其中设定在计算中使用的计算精度的配置。另外，如上所述，深度校正单元341根据所设定的计算精度对深度图像执行深度加权预测处理，并且可以采用通过使用作为结果而获得的深度预测图像对深度图像进行编码而生成深度流的配置。以此方式，深度校正单元603(图38)还可以被配置成设置有设定计算精度的设定单元。
当计算的顺序不同时，由于存在相同的校正系数会不被计算的可能性，所以还可以由编码侧和解码侧共享计算顺序。另外，其共享方法与上述情况相同，可以通过递送来共享并且可以通过被设定成固定值来共享。
另外，设定表示移位计算的移位量的移位参数，并且所设定的移位量可以被设定成连同所生成的深度流一起被递送或接收。移位参数可以被设定成固定在顺序单元、GOP中的变量、图片(图片)和片(片)单元中。
<关于计算精度2>
在上述等式(16)中的校正系数a的部分可以被修改成由以下等式 (20)来表示的情况下。
[公式15]
a=(Zreffar-Zrefnear)(Zcurnear*Zcurfar)(Zcurfar-Zcurnear)(Zrefnear*Zreffar)...(20)]]>
在等式(20)中，由于在分子项(Zcur_near×Zcur_far)和分母项(Zref_near×Zref_far)中，Z彼此相乘，所以存在出现溢出的可能性。例如，当上限为32位并且保持denom＝5、27位的情况下；因此，当以此方式设定时，13位×13位是限度。因此，在该情况下，仅±4096可以用作Z的值；然而，例如预计大于4096的值(例如10000)将会用作Z的值。
因此，为了执行控制使得Z×Z的部分不溢出并且拓宽Z的值的范围，当使用等式(20)计算校正系数a时，通过将Z设定成满足以下等式(21)来计算校正系数。
Znear＝Znear<<x
Zfar＝Zfar<<y...(21)
通过移位来降低Znear和Zfar的精度，从而执行控制以满足等式(21)使得不发生溢出。
移位量例如x和y与上述情况相同，可以通过从编码侧向解码侧递送来共享，并且可以通过作为定值由编码侧和解码侧来共享。
可以用于校正系数a和b的信息以及与精度(移位量)有关的信息可以包含在片头中，并且可以包含在SPS或PPS等的网络抽象层(NAL)中。
<第二实施方式>
[对应用本技术的计算机的描述]
接下来，上述一系列处理可以使用硬件来执行，并且可以使用软件来执行。当使用软件来执行所述一系列处理时，在通用计算机等上安装配置软件的程序。
因此，图41示出了安装有执行上述一系列处理的程序的计算机的实施方式的配置示例。
可以预先将程序记录在充当内置在计算机中的记录介质的存储器单元808或ROM(只读存储器)802中。
可替选地，可以将程序存储(记录)在可移除介质811上，可移除介质811可以设置有所称的软件包。此处，可移除介质811的示例包括软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字化多功能光盘(DVD)、磁盘、半导体存储器等。
此处，除了经由驱动810从可移除介质811(例如以上所描述的)安装在计算机上，还可以经由通信网络或广播网络将程序下载到计算机上，并将该程序安装在内置的存储单元808上。换言之，可以以无线方式经由用于数字卫星广播的卫星将程序从下载地址递送到计算机上，例如，可以以有线方式经由网络(例如LAN(局域网)或因特网)递送到计算机上。
中央处理单元(CPU)801内置在计算机中，并且输入-输出接口805经由总线804连接至CPU801。
当由用户经由输入-输出接口805操作输入单元806等而输入命令时，CPU根据命令执行存储在ROM802中的程序。可替选地，CPU801将存储在存储器单元808中的程序下载到随机存取存储器(RAM)803并执行该程序。
因此，CPU801根据上述流程执行处理，或者执行根据上述框图的配置执行的处理。此外，根据必要，例如CPU801经由输入-输出接口805从输出单元807输出处理的结果，或者从通信单元809发送该结果并进一步使存储单元808记录该结果等。
此外，输入单元806被配置有键盘、鼠标或麦克风等。另外，输出单元807被配置有液晶显示器(LCD)或扬声器等。
此处，在本说明书中，计算机根据程序执行的处理不必以由流程表示的顺序的时间序列顺序来执行。换言之，计算机根据程序执行的处理包括并行或单个执行的处理(例如，并行处理或基于对象的处理)。
另外，程序可以由一个计算机(处理器)来处理，并且还可以以分布的方式由多个计算机来处理。此外，可以程序递送至远距离的计算机并执行。
本技术可以应用到在经由网络介质例如卫星广播、有线电视(TV)、因特网和移动电话等执行通信时或在记录介质例如光盘或磁盘和闪速存储器上处理时使用的编码装置和解码装置。
另外，可以将上述编码装置和解码装置应用待任意电子装置。下面将给出对其示例的描述。
<第三实施方式>
[电视机装置的配置示例]
图42示出了应用本技术的电视机装置的示意性配置的示例。电视机装置900包括天线901、调谐器902、多路分用器903、解码器904、视频信号处理单元905、显示单元906、音频处理单元907、扬声器908和外部接口单元909。此外，电视机装置900包括控制单元910和用户接口单元911等。
调谐器902根据由天线901接收到的广播信号选择所需通道、执行解调并输出编码位流。
多路分用器903从编码位流提取为观看目标的节目的视频包和音频包，并所提取的分组数据输出至解码器904。另外，多路分用器903将数据(例如电子节目指南)包提供给控制单元910。此外，当执行了置乱时，由多路分用器等执行对置乱的移除。
解码器904执行包的解码处理，将由解码处理生成的视频数据输出至视频信号处理单元905，以及将音频数据输出至音频信号处理单元907。
视频信号处理单元905针对视频数据执行与用户设定相对应的噪声移除、视频处理等。视频信号处理单元905基于经由网络等提供的应用、根据处理生成待显示在显示单元906上的节目的视频数据、图像数据。另外，视频信号处理单元905生成用于显示菜单画面等例如项目选择的视频数据，并将该视频数据叠加在显示的视频数据上。视频信号处理单元905基于以此方式生成的视频数据生成驱动信号，并驱动实现单元906。
显示单元906基于来自视频信号处理单元905的驱动信号驱动显示装置(例如，液晶显示装置等)，并且使显示装置显示节目等的视频。
音频信号处理单元907使音频数据经受预定处理(例如噪声移除)、通过使处理后的音频数据经受D/A转换处理和放大处理并将该结果提供给扬声器908来执行音频输出。
外部接口单元909为用于连接至外部装置或网络的接口，并且执行视频数据和音频数据等的数据传输和接收。
用户接口单元911连接至控制单元910。用户接口单元911被配置成具有操作开关和远程控制信号接收单元等，并且用户接口单元911将与用户操作相关的操作信号提供给控制单元910。
控制单元910被配置成使用CPU(中央处理单元)、存储器等。存储器存储由CPU执行的程序、对于CPU执行处理所必需的各种数据、EPG数据和经由网络获取的数据等。存储在存储器中的程序由CPU在预定时间点(例如电视机装置900启动时)读取和执行。
此外，电视机装置900被设置有调谐器902、多路分用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等和用于连接控制单元910的总线912。
在以此方式配置的电视机装置中，解码器904被设置有本申请的解码装置(解码方法)的功能。因此，可以对通过使用于视差图像相关的信息执行编码而提高编码效率的视差图像的编码位流进行解码。
<第四实施方式>
[移动电话的配置示例]
图43示出了应用本技术的移动电话的示意性配置的示例。移动电话920包括通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、多路分用单元928、记录和重现单元929、显示单元930和控制单元931。这些经由总线933彼此连接。
另外，天线921连接至通信单元922，并且扬声器924和麦克风925连接至音频编解码器923。此外，操作单元923连接至控制单元931。
移动电话920执行各种操作例如音频信号的传输和接收、电子邮件和图像数据的传输和接收、图像摄影以及在各种模式例如语音呼叫模式和数据通信模式下的数据记录。
在语音呼叫模式下，将由麦克风925生成的音频信号转换成音频数据并由音频编解码器923对其执行数据压缩，并将结果提供给通信单元922。通信单元922执行音频数据的调制处理、频率转换处理等，并生成传输信号。另外，通信单元922将传输信号提供给天线921并将传输信号发送给基站(未示出)。另外，通信单元922对由天线921接收到所接收信号执行放大、频率转换处理、解调处理等，并将所获得的音频数据提供给音频编解码器923。音频编解码器923使音频数据经受数据扩展并转换成模拟信号，并将结果输出至扬声器924。
另外，在数据通信模式下，当执行邮件传输时，控制单元931接收通过操作单元932的操作而输入的字符数据，并将所输入的字符数据显示在显示单元930上。另外，控制单元931基于操作单元932中的用户命令等 生成邮件数据，并将邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并发送从天线921获得的传输信号。另外，通信单元922对由天线921接收到的接收信号执行放大、频率转换处理、解调处理等，并恢复邮件数据。将邮件数据提供给显示单元930，执行对邮件内容的显示。
此外，移动电话920还可以使记录和重现单元929在存储介质上存储所接收到的邮件数据。存储介质为任意可重复写入的存储介质。存储介质的示例包括半导体存储器(例如RAM)和内置闪速存储器、硬盘、可移除介质(例如磁盘、磁光盘、光盘、USB存储器或存储卡)。
当以数据通信模式发送图像数据时，将由摄像机单元926生成的图像数据提供给图像处理单元927。图像处理单元927对图像数据执行编码处理并生成编码数据。
多路分用单元928使用预定方法将由图像处理单元927生成的编码位流和从音频编解码器923提供的音频数据复用，并将所复用的数据提供给通信单元922。通信单元922对所复用的数据执行调制处理、频率转换处理等，并发送从天线921获得的传输信号。另外，通信单元922对由天线921接收到的接收信号执行放大、频率转换处理和解调处理等，并恢复所复用的数据。将所复用的数据提供给多路分用单元928。多路分用单元928对所复用的数据执行多路分用，并将编码数据提供给图像处理单元927并且将音频数据提供给音频编解码器923。图像处理处理927对编码数据执行解码处理并生成图像数据。将图像数据提供给显示单元930，执行对所接收到的图像的显示。音频编解码器923通过将音频数据转换成模拟音频信号来输出所接收到的音频，并将该模拟音频信号提供给扬声器924。
在以此方式配置的移动电话装置中，图像处理单元927被设置有本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以使用与视差图像有关的信息提高视差图像的编码效率。另外，可以对使通过用与视差图像有关的信息执行编码而提高编码效率的视差图像的编码数据进行解码。
<第五实施方式>
[记录和再现装置的配置示例]
图44示出了应用本技术的记录和再现装置的示意性配置的示例。记录和再现装置940将所接收到的广播节目的音频数据和视频数据记录在 例如记录介质上，并在与用户的命令相对应的时间点向用户提供所记录的数据。另外，可以例如使记录和再现装置940从另一装置获取音频数据和视频数据并在记录介质上记录该数据。此外，记录和再现装置940可以通过对记录在记录介质上的音频数据和视频数据进行解码并将其输出来在监视器装置上执行图像显示和音频输出。
记录和再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动(HDD)单元944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。
调谐器941从由天线(未示出)接收到的广播信号选择所需通道。调谐器941输出通过对所需通道的所接收信号进行解调而获得的编码位流。
外部接口单元924被配置成具有IEEE1394接口、网络接口单元、USB接口或闪速存储器接口中的至少一个。外部接口单元942为用于连接至外部装置、网络或存储卡等的接口并且执行所记录的视频数据和音频数据等的数据接收。
编码器943在从外部接口单元924提供的视频数据和音频数据未被编码的情况下使用预定方法执行编码处理，并将经编码的位流输出至选择器946。
HDD单元944在内置硬盘上记录内容数据(例如视频和音频、各种程序和其他数据等)，并且在重现等期间从硬盘读取所记录的内容。
盘驱动器945针对所安装的光盘执行信号的记录和再现处理。光盘例如是DVD(视频DVD、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW等)或蓝光光盘等。
在对视频和音频的记录期间，选择器946从调谐器941和编码器943选择编码位流，并将编码位流提供给HDD单元944和盘驱动器945中的一个，选择器946将从HDD单元944或盘驱动器945中输出的编码位流提供给解码器947。
解码器947对编码位流执行解码处理。解码器947将通过解码处理而生成的视频数据提供给OSD单元948。另外，解码器947输出通过执行解码处理而生成的音频数据。
OSD单元948生成用于显示菜单画面等(例如项目选择)的视频数据，并将该视频数据叠加在从解码器947输出的视频数据上，并输出该结果。
用户接口单元950连接至控制单元949。用户接口单元950被配置成具有操作开关和远程控制信号接收单元等，并向控制单元949提供与用户操作相对应的操作信号。
控制单元949被配置成使用CPU和存储器等。存储器存储由CPU执行的程序和对于CPU执行处理所必需的各种数据。存储在存储器中的程序由CPU在预定时间点(例如当记录和再现装置940启动时)读取和使用。通过执行程序，CPU控制每个部分使得记录和再现装置940执行与用户操作相对应的操作。
在以此方式配置的记录和再现装置中，解码器947被设置有本申请的解码装置(解码方法)。因此，可以对视差图像的编码数据进行解码，其中，通过使用与视差图像有关的信息执行编码而提高了编码效率。
<第六实施方式>
[成像装置的配置示例]
图45示出了应用本技术的成像装置的示意性配置的示例。成像装置960对对象进行成像、使显示单元显示对象的图像、将图像记录在记录介质上作为图像数据。
成像装置960包括光学块961、成像单元962、摄像机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。另外，用户接口单元971连接至控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970等经由总线972彼此连接。
光学块961被配置成使用聚焦透镜或孔径机构。光学块961使在成像单元962的成像表面上形成对象的光学图像。成像单元962被配置成使用CCD或CMOS图像传感器、使用光电转换生成与光学图像相对应的电信号，并将电信号提供给摄像机信号处理单元963。
摄像机信号处理单元963针对从成像单元962提供的电信号执行各种摄像机信号处理例如拐点校正、伽玛校正以及色彩校正。摄像机信号处理单元963将校正的摄像机信号提供给图像数据处理单元964。
图像数据处理单元964对从摄像机信号处理单元963提供的图像数据编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供给外部接口单元966或介质驱动器968。另外，图像数据处理单元964 对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供给显示单元965。另外，图像数据处理单元964将通过将从摄像机信号处理单元963提供的图像数据提供给显示单元965的处理获得的数据或来自OSD单元969的数据叠加在图像数据上。图像数据处理单元964将其结果提供给显示单元965。
OSD单元969生成显示数据例如由符号、特征或图形形成的菜单画面和图标，并将显示数据输出至图像数据处理单元964。
外部接口单元966被配置成具有例如USB输入-输出端子等，并且在执行图像的打印时连接至打印机。另外，根据需要将驱动器连接至外部接口单元966，根据需要在其中适当地安装可移除介质(例如磁盘或光盘)并且安装从其中读取的计算机程序。此外，外部接口单元966包括连接至预定网络(例如LAN或因特网)的网络接口。控制单元970例如根据来自用户接口单元971的命令从存储器单元967读取编码数据，并且可以将来自外部接口单元966的编码数据经由网络提供给另一装置。另外，控制单元970经由外部接口单元966获取经由网络从另一装置提供的编码数据和图像数据，并且可以将编码数据和图像数据提供给图像数据处理单元964。
由介质驱动器968驱动的记录介质的可用示例包括可从例如半导体存储器读取和写入例如半导体存储器的磁盘、磁光盘、光盘或任意可移除介质。另外，记录介质的可移除介质的类型也是任意的，并且可以为磁带装置、磁盘或存储卡。自然地，磁带可以是非接触式IC卡等。
另外，介质驱动器968和记录介质可以例如是集成的并且被配置成具有非可移动记录介质例如内置硬盘或SSD(固态驱动器)。
控制单元970被配置成使用CPU、存储器等。存储器存储由CPU执行的程序和对于CPU执行处理是必要的各种数据。存储在存储器中的程序由CPU在预定时间点例如在成像装置960启动时读取和执行。通过执行程序，CPU控制每个部分使得成像单元960执行与用户操作相对应的操作。
在以此方式配置的成像装置中，图像数据处理单元964被设置有本申请的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以使用与视差图像相关的信息提高视差图像的编码效率。另外，可以使用与视 差图像相关的信息执行编码而提供的编码效率的视差图像的编码数据进行解码。
本技术的实施方式不限于上述实施方式，在不背离本技术的精神的范围内可以做出各种修改。
此外，本技术可以采用以下配置。
(1)一种图像处理装置，包括：设定单元，所述设定单元设定在以深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成深度预测图像；以及编码单元，所述编码单元通过使用由所述深度加权预测单元生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
(2)根据(1)所述的图像处理装置，其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。
(3)根据(2)所述的图像处理装置，其中，所述设定单元设定计算所述深度加权系数时的计算精度。
(4)根据(2)或(3)所述的图像处理装置，其中，所述设定单元设定计算所述深度偏差时的计算精度。
(5)根据(3)或(4)所述的图像处理装置，其中，所述设定单元将所述计算精度设定为定点数精度。
(6)根据(5)所述的图像处理装置，其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算。
(7)根据(6)所述的图像处理装置，其中，所述设定单元将取决于所述移位计算的小数精度设定成所述深度图像的小数精度或更大。
(8)根据(6)所述的图像处理装置，其中，所述设定单元将根据所述移位计算的小数精度设定为所述深度图像的小数精度或更大的小数精度。
(9)根据(6)至(8)中任一项所述的图像处理装置，其中，所述设定单元设定表示所述移位计算的移位量的移位参数，并且其中，所述图像处理装置还包括递送单元，所述递送单元将由所述编码单元生成的所述深度流和由所述设定单元设定的所述移位参数进行递送。
(10)根据(2)至(9)中任一项所述的图像处理装置，其中，所述设定单元设定计算所述深度加权系数时的计算顺序。
(11)根据(2)至(10)中任一项所述的图像处理装置，其中，所述设定单元设定计算所述深度偏差时的计算顺序。
(12)一种图像处理方法，其中，所述图像处理装置包括：设定步骤，所述设定步骤设定在以深度图像作为目标使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度使用与所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理来生成深度预测图像；以及编码步骤，所述编码步骤通过使用由所述深度加权预测步骤的处理生成的所述深度预测图像对所述深度图像进行编码来生成深度流。
(13)一种图像处理装置，包括：接收单元，所述接收单元接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；解码单元，所述解码单元通过对由所述接收单元接收到的所述深度流进行解码来生成所述深度图像；设定单元，所述设定单元设定在以由所述解码单元生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及深度加权预测单元，所述深度加权预测单元通过根据由所述设定单元设定的所述计算精度、使用与由所述接收单元接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测，来生成所述深度预测图像，其中，所述解码单元使用由所述深度加权预测单元生成的所述深度预测图像，对所述深度流进行解码。
(14)根据(13)所述的图像处理装置，其中，所述设定单元设定对于在对所述深度图像编码时的计算与在对所述深度图像解码时的计算都匹配的所述计算精度。
(15)根据(14)所述的图像处理装置，其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算精度。
(16)根据(15)所述的图像处理装置，所述设定单元将所述计算精度设定为定点数精度。
(17)根据(16)所述的图像处理装置，其中，所述深度加权预测单元在根据所述计算精度进行所述计算期间执行移位计算，并且其中，所述设定 单元将根据所述移位计算的小数精度设定成所述深度图像的小数精度或更大的小数精度。
(18)根据权利要求(17)所述的图像处理装置，其中，所述接收单元接收被设定为表示所述移位计算的移位量的参数的移位参数，并且其中，所述深度加权预测处理基于所述移位参数执行所述移位计算。
(19)根据(14)至(18)所述的图像处理装置，其中，所述设定单元设定计算所述深度加权系数和所述深度偏差中的至少一个时的计算顺序。
(20)一种图像处理方法，其中，所述图像处理装置包括：接收步骤，所述接收步骤接收深度流和信息，所述深度流是使用通过使用与深度图像相关的信息校正后的深度预测图像而被编码的，所述信息与所述深度图像相关；解码步骤，所述解码步骤通过对由所述接收步骤的处理接收到的所述深度流进行解码来生成所述深度图像；设定步骤，所述设定步骤设定在以由所述解码步骤的处理生成的所述深度图像作为目标、使用深度加权系数和深度偏差执行深度加权预测处理时使用的计算的计算精度；以及深度加权预测步骤，所述深度加权预测步骤通过根据由所述设定步骤的处理设定的所述计算精度、使用与由所述接收步骤的处理接收到的所述深度图像有关的信息执行关于所述深度图像的所述深度加权预测处理，来生成所述深度预测图像，并且其中，在所述解码步骤的处理中，使用由所述深度加权预测步骤的处理生成的所述深度预测图像，对所述深度流进行解码。
附图标记列表
50 编码装置、61 SPS编码单元、123 计算单元、134 运动预测和补偿单元、135 校正单元、150 解码装置、152 视点组合单元、171 SPS解码单元、255 加法单元、262 运动补偿单元、263 校正单元