编码设备和编码方法、及解码设备和解码方法.pdf

本技术涉及一种能够提高具有多个视点的图像的编码效率的编码设备、编码方法、解码设备和解码方法。运动视差预测/补偿单元按照第一顺序在列表(L0)中设置以下信息并且按照与第一顺序不同的第二顺序在列表(L1)中设置以下信息：第一图像指定信息和第二图像指定信息，第一图像指定信息指定具有存在于自要编码的图像的视点起的第一方向上延伸的视点的第一图像，第二图像指定信息指定具有存在于与第一方向相反的第二方向上延伸的视点的第二图像。运动视差预测/补偿单元和计算单元基于列表(L0)和(L1)编码要编码的图像并生成编码数据。本技术例如可以用于编码3D图像的编码设备等中。

权利要求书1.  一种编码设备，包括：设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及编码单元，其通过基于由所述设置单元设置的所述第一参考列表和所述第二参考列表编码所述编码对象的图像，生成编码数据。2.  根据权利要求1所述的编码设备，其中所述设置单元按照所述第一图像指定信息和所述第二图像指定信息的顺序在所述第一参考列表中设置所述第一图像指定信息和所述第二图像指定信息，并且按照所述第二图像指定信息和所述第一图像指定信息的顺序在所述第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息。3.  根据权利要求1所述的编码设备，还包括：发送单元，其发送标识视点的标识信息和由所述编码单元生成的编码数据，所述标识信息被分配给所述第一图像、所述第二图像和所述编码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加，其中，所述设置单元基于所述标识信息将具有下述视点的图像设置为所述第一图像：具有小于编码对象的图像的标识信息的值的标识信息被分配给该视点，并将具有下述视点的图像设置为所述第二图像：具有大于编码对象的图像的标识信息的值的标识信息被分配该视点。4.  根据权利要求3所述的编码设备，其中设置单元基于顺序可靠性信息设置所述第一参考列表和所述第二参考列表，所述顺序可靠性信息标识所述视点标识信息被分配给所述第一图像、所述第二图像和所述编码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加。5.  根据权利要求3所述的编码设备，其中所述设置单元按照所述标识信息的最大值到最小值的顺序在所述第一参考列表和所述第二参考列表中设置所述第一图像指定信息，并按照所述标识信息的最小值到最大值的顺序在所述第一参考列表和所述第二参考列表中设置所述第二图像指 定信息。6.  一种使用编码设备的编码方法，所述编码方法包括：设置步骤，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及编码步骤，通过基于所述第一图像指定信息和所述第二图像指定信息的所述设置步骤中设置的所述第一参考列表和所述第二参考列表编码所述编码对象的图像，生成编码数据。7.  一种解码设备，包括：设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及解码单元，其基于由所述设置单元设置的所述第一参考列表和所述第二参考列表解码所述解码对象的图像的编码数据。8.  根据权利要求7所述的解码设备，其中所述设置单元按照所述第一图像指定信息和所述第二图像指定信息的顺序在所述第一参考列表中设置所述第一图像指定信息和所述第二图像指定信息，并且按照所述第二图像指定信息和所述第一图像指定信息的顺序在所述第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息。9.  根据权利要求7所述的解码设备，其中基于标识视点的标识信息，所述设置单元将具有下述视点的图像设置为所述第一图像：具有小于所述解码对象的图像的标识信息的值的标识信息被分配该视点，并将具有下述视点的图像设置为所述第二图像：具有大于所述解码对象的图像的标识信息的值的标识信息被分配该视点，其中所述标识信息被分配给所述第一图像、所述第二图像和所述解码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加的。10.  根据权利要求9所述的解码设备，其中所述设置单元基于顺序可靠性信息设置所述第一参考列表和所述第二参考列表，所述顺序可靠性信息标识视点标识信息被分配给所述第一图像、所述第二图像和所述解码对象的图像的视点，使得值自最存在所述第一方向的视点起顺序地增加。11.  根据权利要求9所述的解码设备，其中，所述设置单元按照所述标识信息的最大值到最小值的顺序在所述第一参考列表和所述第二参考列表中设置所述第一图像指定信息，并按照所述标识信息的最小值到最大值的顺序在所述第一参考列表和所述第二参考列表中设置所述第二图像指定信息。12.  一种使用解码设备的解码方法，所述解码方法包括：设置步骤，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及解码步骤，基于所述第一图像指定信息和所述第二图像指定信息的所述设置步骤中设置的所述第一参考列表和所述第二参考列表解码所述解码对象的图像的编码数据。

说明书编码设备和编码方法、及解码设备和解码方法
技术领域
本技术涉及一种编码设备、编码方法、解码设备和解码方法，尤其涉及一种能够提高具有多个视点的图像的编码效率的编码设备、编码方法、解码设备和解码方法。
背景技术
最近，基于HEVC(高效率视频编码)系统的3D图像的编码系统(下文中称为3D编码系统)的标准取得了进展(例如，非专利文献1和2)。
图1是图示3D编码系统的VPS(视频参数集合)的语法的示例的图。
如图1的第10行中所图示的，在VPS中，设置了唯一地标识与该VPS对应的图像的每一个视点(视图)的视图ID(视图_id)。另外，如第11行到第14行中所示，在VPS中，设置了每个视点的图像的参考图像的编号(num_direct_ref_layers(编号_直接_参考_层))以及指定参考图像的参考图像指定信息(ref_layer_id(参考_层_id))。
每个视图ID例如被用于表示各视点之间的参考关系，且与参考图像指定信息相对应。这里，可以不管摄像装置的布置来分配视图ID。更具体地，例如，如图2中所图示的，3D图像由5个视点的图像构成，且在布置拍摄3D图像的摄像装置11到15使得以摄像装置13位于中心每个摄像装置沿倾斜方向布置的情况下，视图ID例如可以如图2的A或图2的B中所图示地分配。
换言之，如图2的A中所图示的，视图ID“0”可以被分配给位于中心的摄像装置13，且视图ID“1”、“2”、“3”和“4”可以以位于摄像装置13的左上侧的摄像装置11、位于右上侧的摄像装置12、位于左下侧的摄像装置14以及位于右下侧的摄像装置15的顺序被分配。可选择地，如图2的B中所图示的，视图ID“0”到“4”可以按照光栅扫描的顺序被分配给摄像装置11到15。
另外，如图3中所图示的，在3D图像由5个视点的图像构成，且拍 摄3D图像的摄像装置31到35被沿水平方向从左侧开始顺序对齐的情况下，视图ID例如可以如图3的A或图3的B中所图示地分配。
换言之，如图3的A中所图示的，可以从摄像装置31到35的左端起顺序地分配视图ID“0”到“4”。可选择地，如图3的B中所图示的，视图ID“0”可以被分配到位于中心的摄像装置33，且视图ID“1”到“4”可以按照距摄像装置33的最高接近程度的顺序从左侧到右侧顺序地分配给剩余的摄像装置。
如上所述，由于可以不管摄像装置的布置分配视图ID，所以用户可以不管摄像装置的布置自由地分配视图ID。此外，摄像装置的布置可能被形成为难以常规地分配视图ID的布置。
然而，即使在摄像装置的布置是一维布置的情况下，也不能确定视图ID被从端部顺序地分配，从而，不能基于视图ID来识别摄像装置的布置。因此，通过利用作为表示视点的位置的信息的视图ID来编码具有多个视点的图像，不能提高编码效率。
引用列表
非专利文献
非专利文献1：Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,“MV-HEVC Working Draft 1”,JCT3V-A1004(第一版),2012。8.21
非专利文献2：Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,“MV-HEVC Working Draft 2”,JCT3V-B1004(第一版),2012。11.7
发明内容
发明要解决的问题
然而，在3D编码系统中，设计将具有与当前预测图像的视点不同的视点的图像设置为参考图像。在这种情况下，具有与当前预测图像的视点不同的视点的参考图像被以相同的顺序登记(设置)在列表L0和列表L1二者中，列表L0是其POC(图片顺序计数)在当前预测图像的POC之前的参考图像的列表，列表L1是其POC在当前预测图像的POC之后的参考图像的列表。于是，不能充分地提高编码效率。
考虑这种情况设计本技术，且本技术能够提高具有多个视点的图像的编码效率。
解决问题的方案
本技术的第一方面的编码设备包括：设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与第一顺序不同的第二顺序在第二参考列表中设置第一图像指定信息和第二图像指定信息，第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，第二图像指定信息指定具有存在于与第一方向相反的第二方向上的视点的第二图像；以及编码单元，其通过基于由设置单元设置的第一参考列表和第二参考列表编码编码对象的图像，生成编码数据。
本技术第一方面的编码方法对应于本技术第一方面的编码设备。
根据本技术的第一方面，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与第一顺序不同的第二顺序在第二参考列表中设置第一图像指定信息和第二图像指定信息，第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，第二图像指定信息指定具有存在于与第一方向相反的第二方向上的视点的第二图像；并且通过基于第一参考列表和第二参考列表编码编码对象的图像生成编码数据。
本技术的第二方面的解码设备是这样的解码设备，其包括：设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与第一顺序不同的第二顺序在第二参考列表中设置第一图像指定信息和第二图像指定信息，第一图像指定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，第二图像指定信息指定具有存在于与第一方向相反的第二方向上的视点的第二图像；以及解码单元，其基于由设置单元设置的第一参考列表和第二参考列表对解码对象的图像的编码数据进行解码。
本技术第二方面的解码方法对应于本技术第二方面的解码设备。
根据本技术的第二方面，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与第一顺序不同的第二顺序在第二参考列表中设置第一图像指定信息和第二图像指定信息，第一图像指 定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，第二图像指定信息指定具有存在于与第一方向相反的第二方向上的视点的第二图像；并且基于第一参考列表和第二参考列表对该解码对象的图像的编码数据进行解码。
另外，第一方面的编码设备和第二方面的解码设备能够通过在计算机中执行程序来实现。
此外，为了实现第一方面的编码设备和第二方面的解码设备，可以通过传输介质发送或者通过记录在记录介质上来提供在计算机中执行的程序。
这里，根据第一方面的编码设备和根据第二方面的解码设备可以是独立的设备或者是构成一个设备的内部模块。
发明效果
根据本技术的第一方面，能够提高具有多个视点的图像的编码效率。
另外，根据本技术的第二方面，能够对提高了具有多个视点的图像的编码效率的编码数据进行解码。
附图说明
图1是图示3D编码系统的VPS的语法的示例的图。
图2是图示摄像装置和视图ID之间的关系的示例的图。
图3是图示摄像装置和视图ID之间的关系的示例的图。
图4是图示应用本技术的第一实施例的编码设备的配置的示例的框图。
图5是图示由图4中图示的设置单元设置的VPS的语法的示例的图。
图6是图示视图ID和摄像装置之间的位置关系的示例的图。
图7是图示图4中图示的编码单元的配置的示例的框图。
图8是图示时间伸缩处理和视差伸缩处理的计算的图。
图9是图示登记列表的常规方法的图。
图10是图示登记列表的常规方法的图。
图11是图示由图7中图示的运动视差预测/补偿单元执行的登记列表的方法的图。
图12是图示由图7中图示的运动视差预测/补偿单元执行的登记列表的方法的图。
图13是图示由编码设备执行的生成处理的流程图。
图14是详细图示图13中所图示的编码处理的流程图。
图15是详细图示图14中所图示的设置处理的流程图。
图16是详细图示图15中所图示的列表登记处理的流程图。
图17是图示应用本技术的第一实施例的解码设备的配置的示例的框图。
图18是图示图17中图示的解码单元的配置的示例的框图。
图19是图示由图17中图示的解码设备执行的图像生成处理的流程图。
图20是详细图示图19中所图示的解码处理的流程图。
图21是图示应用本技术的第二实施例的编码设备的配置的示例的框图。
图22是图示由图21中图示的设置单元设置的VPS的语法的示例的图。
图23是图示图21中图示的编码单元的配置的示例的框图。
图24是图示由图21中图示的编码设备执行的生成处理的流程图。
图25是详细图示图24中所图示的编码处理中的设置处理的流程图。
图26是图示应用本技术的第二实施例的解码设备的配置的示例的框图。
图27是图示图26中图示的解码单元的配置的示例的框图。
图28是图示由图26中图示的解码设备执行的图像生成处理的流程图。
图29是图示应用本技术的第三实施例的编码设备的配置的示例的框图。
图30是图示由图29中图示的设置单元设置的VPS的语法的示例的 图。
图31是图示图29中图示的编码单元的配置的示例的框图。
图32是图示由图29中图示的编码设备执行的生成处理的流程图。
图33是详细图示图32中所图示的编码处理的流程图。
图34是详细图示图33中所图示的登记处理的流程图。
图35是图示应用本技术的第三实施例的解码设备的配置的示例的框图。
图36是图示图35中图示的解码设备的配置的示例的框图。
图37是图示由图35中图示的解码设备执行的图像生成处理的流程图。
图38是详细图示图37中所图示的解码处理的流程图。
图39是图示计算机的硬件配置的示例的框图。
图40图示应用本技术的电视装置的示意性配置的示例。
图41图示应用本技术的移动电话的示意性配置的示例。
图42图示应用本技术的记录和再现装置的示意性配置的示例。
图43图示应用本技术的成像装置的示意性配置的示例。
图44是图示应用本技术的视频装备的示意性配置的示例的框图。
图45是图示应用本技术的视频处理器的示意性配置的示例的框图。
图46是图示应用本技术的视频处理器的示意性配置的另一个示例的框图。
具体实施方式
<第一实施例>
(根据第一实施例的编码设备的配置示例)
图4是图示应用本技术的第一实施例的编码设备的配置的示例的框图。
图4中图示的编码设备50由设置单元51和编码单元52配置。编码设备50通过利用3D编码系统对由作为按照一维布置平行地对齐的多个 成像单元的摄像装置拍摄的多个视点的图像(下文中称为多视点图像)进行编码来生成编码流，并发送所生成的编码流。
更具体地，编码设备50的设置单元51设置SPS(序列参数集合)、PPS(图片参数集合)等。另外，设置单元51自按照一维布置平行地对齐的多个摄像装置中的、在端部处设置的摄像装置的视点起顺序地分配视图ID(视点标识信息)。另外，设置单元51生成顺序可靠性标志(顺序可靠性信息)，顺序可靠性标志用于标识自按照一维布置对齐的多个摄像装置中的、在端部处设置的摄像装置的视点起顺序地分配视图ID。然后，设置单元51设置包括视图ID和顺序可靠性标志的VPS。设置单元51向编码单元52提供诸如SPS、PPS、VPS等的参数集合。
编码单元52通过使用3D编码系统，基于包括于从设置单元51提供的VPS中的顺序可靠性标志和视图ID来对从外部输入的多视点图像进行编码，从而生成编码数据。编码单元52将从设置单元51提供的参数集合相加到编码数据，从而生成编码流。编码单元52用作发送单元并发送所生成的编码流。
(VPS的语法的配置示例)
图5是图示由图4中图示的设置单元51设置的VPS的语法的示例的图。
如图5的第6行中图示的，顺序可靠性标志(view_order_idc(视图_顺序_idc))被包括在VPS中。在顺序可靠性标志表示视图ID被分配以自按照一维布置平行地对齐的多个摄像装置中的、在端部处设置的摄像装置的视点起顺序地增大的情况下，顺序可靠性标志为“0”，并且在顺序可靠性标志表示视图ID被分配以自在端部处设置的摄像装置的视点起顺序地减小的情况下，顺序可靠性标志为“1”。另外，在顺序可靠性标志表示自按照一维布置平行地对齐的多个摄像装置中的、在端部处设置的摄像装置的视点起没有顺序地分配视图ID的情况下，顺序可靠性标志为“0”。
例如，在摄像装置沿水平方向对齐、并且自左端处设置的摄像装置起顺序地分配视图ID使得右端处设置的摄像装置的视点的视图ID最大的情况下，顺序可靠性标志为“0”。另外，在摄像装置沿水平方向对齐、并且自左端处设置的摄像装置起顺序地分配视图ID使得右端处设置的摄像装置的视点的视图ID最小的情况下，顺序可靠性标志为“1”。
另外，如第11行和第15行图示的，类似于图1中所表示的情形，在 VPS中，包括视图ID(view_id(视图_id))、参考图像编号(num_direct_ref_layers(编号_直接_参考_层))以及参考图像指定信息(ref_layer_id(参考_层_id))。
(视图ID的描述)
图6是图示视图ID和摄像装置之间的位置关系的示例的图。
在图6中，水平轴表示摄像装置的位置，且竖直轴表示视图ID。
如图6中图示的，视图ID自端部处设置的摄像装置起单调地增加。更具体地，在图6所表示的示例中，存在5个摄像装置，当设置在中心处的摄像装置的位置为“0”时，各摄像装置的位置分别为–n’-m’、-n、0、n和n+m。在这种情况下，设置在最端部位置(换言之，位置–n’-m’)处的摄像装置的视图ID是v-2，并且设置在与上述摄像装置相邻的位置-n’处的摄像装置的视图ID是v-1。另外，设置在中心处的摄像装置的视图ID是v，设置在位置n处的摄像装置的视图ID是v+1，并且设置在位置n+m处的摄像装置的视图ID是v+2。
这样，由于视图ID自设置在端部处的摄像装置起单调地增加，所以编码单元52可以使用视图ID作为表示每个视点的位置的信息。
(编码单元的配置示例)
图7是图示图4中图示的编码单元52的配置的示例的框图。
图7中图示的编码单元52包括：A/D转换器101；屏幕重排缓冲器102；计算单元103；正交变换单元104；量化单元105；无损编码单元106；以及累积缓冲器107。另外，编码单元52包括：逆量化单元108；逆正交变换单元109；计算单元110；滤波器111；解码图片缓冲器112；选择单元113；帧内预测单元114；运动视差预测/补偿单元115；预测图像选择单元116；以及多视点解码图片缓冲器121。编码单元52针对每个视点顺序地对从外部输入的多视点图像进行编码。
更具体地，编码单元52的A/D转换器101执行预定视点的输入图像的A/D转换，并将作为转换后的数字数据的图像提供到屏幕重排缓冲器102，以被存储在屏幕重排缓冲器102中。屏幕重排缓冲器102根据GOP(图片组)按照用于编码的帧的顺序重排按照帧的显示顺序的所存储的图像。屏幕重排缓冲器102将其帧顺序已被重排的图像与图像的视图ID和POC(图片顺序计数)一起提供给计算单元103。
另外，屏幕重排缓冲器102还将其帧顺序已被重排的图像与图像的视图ID和POC一起提供给帧内预测单元114和运动视差预测/补偿单元115。
计算单元103用作编码单元，并通过从自屏幕重排缓冲器102读取的图像减去通过预测图像选择单元116从帧内预测单元114或者运动视差预测/补偿单元115提供的预测图像来执行编码。计算单元103将作为其结果获取的差信息输出到正交变换单元104。
例如，在执行帧内编码的情况下，计算单元103从自屏幕重排缓冲器102读取的图像减去从帧内预测单元114提供的预测图像。另一方面，在执行帧间编码的情况下，计算单元103从自屏幕重排缓冲器102读取的图像减去从运动视差预测/补偿单元115提供的预测图像。
正交变换单元104对从计算单元103提供的差信息执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换。这里，用于该正交变换的方法是任意的。正交变换单元104将其变换系数提供给量化单元105。
量化单元105执行从正交变换单元104提供的变换系数的量化。量化单元105基于与编码量的目标值有关的信息设置量化参数，并执行量化。这里，用于该量化的方法是任意的。量化单元105将量化的变换系数提供给无损编码单元106。
无损编码单元106使用任意编码系统执行由量化单元105量化的变换系数的无损编码，从而生成编码的数据。另外，无损编码单元106从帧内预测单元114获取包括表示帧内预测的模式的信息等的帧内预测信息，并从运动视差预测/补偿单元115获取包括表示帧间预测的模式的信息、运动视差向量信息等的帧间预测信息。另外，无损编码单元106获取在滤波器111中使用的滤波器系数等。
无损编码单元106使用任意编码系统执行这样的各种信息的无损编码，并将编码的信息设置为编码数据的头信息的一部分(复用)。无损编码单元106将头信息被复用的编码数据提供给累积缓冲器107，以被累积在其中。
作为无损编码单元106的编码系统，例如，存在可变长度编码、算术编码等。作为可变长度编码，例如，存在H.264/AVC系统中定义的CAVLC(上下文自适应可变长度编码)等。作为算术编码，例如，存在CABAC(上下文自适应二进制算术编码)等。
累积缓冲器107临时存储从无损编码单元106提供的编码数据。累积缓冲器107例如在预定定时、将所存储的编码数据与从图4中所图示的设置单元51提供的参数集合一起作为编码流输出到图中未图示的后面的阶段的记录装置(记录介质)、传输线路等。换言之，编码流被提供到解码侧。
另外，由量化单元105量化的变换系数也被提供到逆量化单元108。逆量化单元108通过使用与由量化单元105执行的量化处理相对应的方法执行量化的变换系数的逆量化。用于该逆量化处理的方法可以是任何方法，只要该方法对应于由量化单元105执行的量化处理即可。逆量化单元108将获取的变换系数提供给逆正交变换单元109。
逆正交变换单元109通过使用与由正交变换单元104执行的正交变换处理相对应的方法，执行从逆量化单元108提供的变换系数的逆正交变换。用于逆正交变换处理的方法可以是任何方法，只要该方法对应于由正交变换单元104执行的正交变换处理即可。将进行了逆正交变换的输出(本地恢复的差信息)提供到计算单元110。
计算单元110将通过预测图像选择单元116从帧内预测单元114或运动视差预测/补偿单元115提供的预测图像相加到从逆正交变换单元109提供的逆正交变换的结果，换言之，相加本地恢复的差信息，从而获取本地解码的图像(下文中称为重构图像)。将重构图像提供到滤波器111或解码图片缓冲器112。
滤波器111包括去块滤波器、自适应环路滤波器等，并适当地对从计算单元110提供的重构图像执行滤波处理。例如，滤波器111通过对重构图像执行去块滤波处理消除重构图像的块失真。另外，滤波器111通过使用Wiener滤波器对去块滤波处理的结果(已经消除了块失真的重构图像)进行环路滤波处理来提高图像质量。
滤波器111可以被配置为对重构图像执行任意滤波处理。另外，如果需要，滤波器111可以被配置为将用于滤波处理的滤波器系数信息等提供到无损编码单元106，以对这些信息进行无损编码。
滤波器111将滤波处理的结果(下文中称为解码图像)提供到解码图片缓冲器112。
解码图片缓冲器112存储从计算单元110提供的重构图像以及从滤波器111提供的解码图像。另外，解码图片缓冲器112存储解码图像和重构图像的视图ID和POC。
解码图片缓冲器112在预定定时或者基于来自诸如帧内预测单元114的外部的请求，通过选择单元113将所存储的重构图像和该重构图像的视图ID和POC提供给帧内预测单元114。另外，解码图片缓冲器112在预定定时或者基于来自诸如运动视差预测/补偿单元115的外部的请求，通过选择单元113将所存储的解码图像和该解码图像的视图ID和POC提供给运动视差预测/补偿单元115。
选择单元113表示从解码图片缓冲器112输出的重构图像或解码图像的提供目的地。更具体地，在执行帧内编码的情况下，选择单元113从解码图片缓冲器112读取尚未进行滤波处理的重构图像，并将所读取的重构图像作为位于当前预测区域的外围的外围区域的图像(外围图像)提供到帧内预测单元114。
另外，在执行帧间编码的情况下，选择单元113从解码图片缓冲器112读取已经进行滤波处理的解码图像，并将所读取的解码图像作为参考图像提供到运动视差预测/补偿单元115。
当从解码图片缓冲器112获取外围图像时，帧内预测单元114通过使用外围图像的像素值执行帧内预测处理，在帧内预测处理中，基本上使用预测单位(PU)作为处理单位来生成预测图像。帧内预测单元114在作为候选的所有帧内预测模式中的每个模式下执行帧内预测。
帧内预测单元114通过使用由作为候选的所有帧内预测模式的帧内预测生成的预测图像和从屏幕重排缓冲器102提供的输入图像来评估预测图像的成本函数值，并选择最优帧内预测模式。然后，帧内预测单元114将以最优帧内预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
另外，在从预测图像选择单元116通知了选择的情况下，帧内预测单元114适当地将包括与最优帧内预测模式等的帧内预测有关的信息的帧内预测信息提供给无损编码单元106以被编码。
运动视差预测/补偿单元115基于从图4中图示的设置单元51提供的VPS中包括的顺序可靠性标志将包括在VPS中的参考图像指定信息登记在列表中，从而生成列表。
更具体地，运动视差预测/补偿单元115按照VPS中设置的顺序将这样的参考图像指定信息登记在列表L0中：每个参考图像指定信息将其POC在当前预测图像的POC之前的相同视点的图像作为参考图像。另外， 运动视差预测/补偿单元115按照VPS中设置的顺序将这样的参考图像指定信息登记在列表L1中：每个参考图像指定信息将其POC在当前预测图像的POC之后的相同视点的图像作为参考图像。此外，运动视差预测/补偿单元115用作设置单元，并基于顺序可靠性标志将这样的参考图像指定信息登记(设置)在列表L0和L1中，每个参考图像指定信息将与当前预测图像的视点不同的视点的图像作为参考图像。
运动视差预测/补偿单元115从解码图片缓冲器112按照登记在列表中的顺序读取由登记在列表中的参考图像指定信息指定的解码图像，作为参考图像。运动视差预测/补偿单元115通过使用从屏幕重排缓冲器102提供的输入图像和参考图像，执行运动预测或者视差预测，作为基本上将PU作为处理单位的帧间预测。
运动预测是使用时间方向的相关性的预测，且视差预测是使用视差方向的相关性的预测。运动视差预测/补偿单元115检测运动向量以作为运动预测的结果，并检测视差向量以作为视差预测的结果。下文中，在运动向量和视差向量不需要特别地彼此区分的情况下，向量将被统称为运动视差向量。
运动视差预测/补偿单元115根据被检测为帧间预测的结果的运动视差向量执行补偿处理，从而生成预测图像。运动视差预测/补偿单元115在作为候选的所有帧间预测模式中的每个模式下执行帧间预测和补偿处理。
运动视差预测/补偿单元115通过使用作为候选的所有帧间预测模式的预测图像和从屏幕重排缓冲器102提供的输入图像来评估预测图像的成本函数值，并选择最优帧间预测模式。然后，运动视差预测/补偿单元115将以最优帧间预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
另外，在从预测图像选择单元116通知了选择的情况下，运动视差预测/补偿单元115基于顺序可靠性标志生成与在最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。
更具体地，在运动视差向量是运动向量的情况下，运动视差预测/补偿单元115执行时间伸缩处理，在时间伸缩处理中，基于当前预测图像的POC和该图像的参考图像的POC之间的差，以及当前预测图像的时间上的外围区域的图像(下文中称为时间外围区域图像)的POC和该图像的参 考图像的POC之间的差，校正时间外围区域图像的运动向量，并将校正的运动向量设置为预测向量。
另一方面，在运动视差向量是视差向量的情况下，运动视差预测/补偿单元115基于顺序可靠性标志执行视差伸缩处理。视差伸缩处理是这样的处理：在视差伸缩处理中，通过使用视图ID作为表示每个视点的位置的信息，基于各视点之间的距离(摄像装置之间的距离)校正当前预测图像的视差外围区域的图像(下文中称为视差外围区域图像)的视差向量，并且所校正的视差向量被设置为预测向量。更具体地，在视差伸缩处理中，基于当前预测图像的视图ID和该图像的参考图像的视图ID之间的差，以及视差外围区域图像的视图ID和该视差外围区域图像的参考图像的视图ID之间的差，校正视差外围区域图像的视差向量，并将校正的视差向量设置为预测向量。
运动视差预测/补偿单元115计算所生成的预测向量和与在最优帧间预测模式下生成的预测图像相对应的运动视差向量之间的差，并将所计算的差设置为运动视差向量信息。另外，运动视差预测/补偿单元115将包括与帧间预测有关的信息(诸如运动视差向量信息和最优帧间预测模式)的帧间预测信息提供到无损编码单元106以被无损编码。
预测图像选择单元116基于从帧内预测单元114和运动视差预测/补偿单元115提供的成本函数值选择要提供到计算单元103和计算单元110的预测图像的提供源。
更具体地，在从帧内预测单元114提供的成本函数值小于从运动视差预测/补偿单元115提供的成本函数值的情况下，预测图像选择单元116选择帧内预测单元114作为预测图像的提供源。因此，从帧内预测单元114提供的预测图像被提供到计算单元103和计算单元110，并执行帧内编码。
另一方面，在从运动视差预测/补偿单元115提供的成本函数值小于从帧内预测单元114提供的成本函数值的情况下，预测图像选择单元116选择运动视差预测/补偿单元115作为预测图像的提供源。因此，从运动视差预测/补偿单元115提供的预测图像被提供到计算单元103和计算单元110，并执行帧间编码。运动视差预测/补偿单元115向所选择的提供源通知该选择。
在解码图片缓冲器112存储当前处理视点的解码图像和重构图像以 及解码图像和重构图像的视图ID和POC的同时，多视点解码图片缓冲器121存储每个视点的解码图像和解码图像的视图ID和POC。换言之，多视点解码图片缓冲器121获取提供到解码图片缓冲器112的解码图像以及解码图像的视图ID和POC，并与解码图片缓冲器112一起存储它们。
当改变当前处理视点时，解码图片缓冲器112去除先前处理视点的解码图像，多视点解码图片缓冲器121按原样保持先前处理视点的解码图像。然后，根据来自解码图片缓冲器112等的请求，所存储的解码图像以及解码图像的视图ID和POC被提供到解码图片缓冲器112，以作为“非当前处理视点的解码图像以及解码图像的视图ID和POC”。解码图片缓冲器112通过选择单元113，将从多视点解码图片缓冲器121读取的“非当前处理视点的解码图像以及解码图像的视图ID和POC”提供到运动视差预测/补偿单元115。
(时间伸缩处理和视差伸缩处理的描述)
图8是图示时间伸缩处理和视差伸缩处理的计算的图。
在时间伸缩处理中，通过用系数distScaleFactor(距离伸缩因数)乘以时间外围区域图像的预测向量，校正时间外围区域图像的预测向量。如图8的第1行和第2行中图示的，基于系数tb和系数td获取该系数distScaleFactor。
如第7行中所图示的，基于当前预测图像的POC(PicOrderCntVal)和该图像的参考图像的POC PicOrderCnt(refpicListA[refIdxA]))之间的差获取系数tb。另外，如第8行中所图示的，基于时间外围区域图像的POC(PicOrderCntVal)和时间外围区域图像的参考图像的POC(PicOrderCnt(RefpicListX[refIdxLX]))之间的差获取系数td。
另一方面，在视差伸缩处理中，通过用系数distScaleFactor(距离伸缩因数)乘以视差外围区域图像的预测向量，校正视差外围区域图像的预测向量。如图8的第1行和第2行中图示的，类似于时间伸缩处理的情况，基于系数tb和系数td获取该系数distScaleFactor。
然而，如第10行中所图示的，这时基于当前预测图像的视图ID(ViewOrderIdx Val)和该图像的参考图像的视图ID(ViewOrderIdx(refpicListA[refIdxA]))之间的差获取系数tb。另外，如第11行中所图示的，基于视差外围区域图像的视图ID(ViewOrderIdx Val)和视差外围区域图像的预测图像的视图ID(ViewOrderIdx (RefpicListX[refIdxLX]))之间的差获取系数td。
(登记列表的方法的描述)
图9和图10是图示登记列表的常规方法的图，并且图11和图12是图示由图7中图示的运动视差预测/补偿单元115执行的登记列表的方法的图。
如图9所图示的，在登记列表的常规方法中，列表L0(RefPicListTemp0[rIdx])和列表L1(RefPicListTemp0[rIdx])是按照设置在VPS中的顺序的参考图像指定信息(RefPicSetIvCurr)。
因此，例如，如图10中图示的，在视图ID“0”、“1”和“2”被分配给I图片、B图片和P图片的视点，且编码顺序(视图顺序索引)例如按照I图片、P图片和B图片的顺序的情况下，当将I图片和P图片作为参考图像的参考图像指定信息作为B图片的参考图像指定信息被顺序地设置在VPS中时，将I图片和P图片作为参考图像的参考图像指定信息被顺序地登记在L0列表和L1列表二者中。
另一方面，在由运动视差预测/补偿单元115执行的登记列表的方法中，如图11中图示的第5行和第6行中所图示的，将具有比当前预测图像的视图ID小的视图ID的图像作为参考图像的参考图像指定信息按照视图ID距当前预测图像的视图ID接近程度最高的顺序被设置在RefPicSetIvCurrBefore中。另外，如第7行和第8行中所图示的，将具有比当前预测图像的视图ID大的视图ID的图像作为参考图像的参考图像指定信息按照视图ID距当前预测图像的视图ID接近程度最高的顺序被设置在RefPicSetIvCurrAfter中。
这样，运动视差预测/补偿单元115通过使用每个视图ID作为表示每个视点的位置的信息，按照距当前预测图像的视点接近程度最高的顺序，将参考图像指定信息设置为RefPicSetIvCurrBefore，该参考图像指定信息将具有自当前预测图像的视点起沿预定方向存在的视点的图像作为参考图像。另外，运动视差预测/补偿单元115通过使用每个视图ID作为表示每个视点的位置的信息，按照距当前预测图像的视点接近程度最高的顺序，将参考图像指定信息设置为RefPicSetIvCurrAfter，该参考图像指定信息将具有自当前预测图像的视点起沿与预定方向相反的方向存在的视点的图像作为参考图像。
然后，如第19行到第22行中所示，作为L0列表 (RefPicListTemp0[rIdx])，在设置RefPicSetIvCurrBefore之后，设置RefPicSetIvCurrAfter。另外，如第33行到第36行中所示，作为L1列表(RefPicListTemp0[rIdx])，在设置RefPicSetIvCurrAfter之后，设置RefPicSetIvCurrBefore。
另外，例如，如图12中图示的，视图ID“0”到“3”被顺序地分配到I图片、两个B图片和P图片的视点，且编码顺序例如是I图片、P图片、B图片和B图片的顺序，根据由运动视差预测/补偿单元115执行的登记列表的方法，当布置在编码顺序中的前侧的B图片、I图片和P图片被设置在VPS中作为布置在编码顺序中的后侧的B图片的参考图像指定信息时，如图11中图示的，首先，按照距视图ID“2”接近程度最高的顺序将参考图像指定信息登记在L0列表中，该参考图像指定信息各自将具有比布置在编码顺序中的后侧的B图片的视图ID“2”小的视图ID的图片作为参考图像。
换言之，按照视图ID“1”和“0”的顺序将参考图像指定信息登记在列表L0中，该参考图像指定信息将视图ID分别为小于“2”的“0”和“1”的I图片和B图片作为参考图像。之后，把视图ID为大于“2”的“3”的P图片作为参考图像的参考图像指定信息被登记在列表L0中。
另外，如图11中图示的，在列表L1中，首先登记这样的参考图像指定信息，该参考图像指定信息将视图ID为大于布置在编码顺序中的后侧的B图片的视图ID“2”的“3”的P图片作为参考图像。之后，在列表L1中，按照作为视图ID距视图ID“2”的接近程度最高的顺序的视图ID“1”和“0”的顺序，登记将视图ID分别为小于“2”的“0”和“1”的I图片和B图片作为参考图像的参考图像指定信息。
如上，根据由运动视差预测/补偿单元115执行的登记列表的方法，具有与当前预测图像的视点不同的视点的参考图像(视点方向的参考图片)的登记顺序在列表L0和L1之间是不同的。因此，即使在能够登记在列表中的参考图像指定信息的数目有限的情况下，也可以在列表L0或L1中登记更多不同的参考图像指定信息，从而提高编码效率。
<由编码设备执行的处理的描述>
图13是图示由编码设备执行的生成处理的流程图。
在图13中呈现的步骤S11中，编码设备50的设置单元51设置SPS。在步骤S12，设置单元51设置PPS。在步骤S13，设置单元51设置包括 视图ID和顺序可靠性标志的VPS。设置单元51向编码单元52提供诸如SPS、PPS和VPS的参数集合。
在步骤S14，编码单元52执行编码处理，在编码处理中，基于从设置单元51提供的VPS中包括的视图ID和顺序可靠性标志，使用3D编码系统，对从外部输入的多视点图像进行编码。后面参考后面要描述的图14详细描述该编码处理。
在步骤S15中，编码单元52通过将从设置单元51提供的参数集合加到在累积缓冲器107中累积的编码数据来生成编码流，并发送生成的编码流。然后，处理结束。
图14是详细图示图13中所呈现的步骤S14的编码处理的流程图。
在图14中呈现的步骤S101中，编码单元52的A/D转换器101执行具有预定视点的输入图像的A/D转换，并将作为数字数据的转换后的图像提供到屏幕重排缓冲器102，以进行存储。
在步骤S102中，屏幕重排缓冲器102根据GOP，按照用于编码的帧顺序，将所存储的、以显示顺序配置的帧的图像重排。屏幕重排缓冲器102还将其帧顺序已被重排的图像与该图像的视图ID和POC一起提供给计算单元103、帧内预测单元114和运动视差预测/补偿单元115。
在步骤S103中，帧内预测单元114通过使用经由选择单元113从解码图片缓冲器112提供的外围图像，执行用于基本上使用PU作为处理单位生成预测图像的帧内预测。帧内预测单元114在作为候选的所有帧内预测模式中的每个模式下执行该帧内预测。
另外，帧内预测单元114通过使用经由作为候选的所有帧内预测模式的帧内预测生成的预测图像和从屏幕重排缓冲器102提供的输入图像来评估预测图像的成本函数值，并选择最优帧内预测模式。然后，帧内预测单元114将以最优帧内预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
在步骤S104中，运动视差预测/补偿单元115通过基于包括在从图4中图示的设置单元51提供的VPS中的顺序可靠性标志登记列表L0和L1，执行用于设置视差伸缩处理的存在/不存在的设置处理。将参考后面要描述的图15描述该设置处理。
在步骤S105中，运动视差预测/补偿单元115基于从屏幕重排缓冲器102提供的输入图像以及列表L0和L1，通过使用参考图像执行基本上使 用PU作为处理单位的帧间预测。然后，运动视差预测/补偿单元115根据被检测为帧间预测的结果的运动视差向量执行补偿处理，从而生成预测图像。运动视差预测/补偿单元115在作为候选的所有帧间预测模式中的每个模式下执行该帧间预测和补偿处理。
另外，运动视差预测/补偿单元115通过使用作为候选的所有帧间预测模式的预测图像和从屏幕重排缓冲器102提供的输入图像来评估预测图像的成本函数值，并选择最优帧间预测模式。然后，运动视差预测/补偿单元115将以最优帧间预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
在步骤S106中，预测图像选择单元116基于从帧内预测单元114和运动视差预测/补偿单元115提供的成本函数值确定是否选择帧内预测单元114作为要提供到计算单元103和计算单元110的预测图像的提供源。
在步骤S106中确定要选择帧内预测单元114的情况下，预测图像选择单元116将从帧内预测单元114提供的预测图像提供到计算单元103和计算单元110，并向帧内预测单元114通知该选择。然后，在步骤S107中，帧内预测单元114将帧内预测信息提供到无损编码单元106，且处理进行到步骤S109。
另一方面，在步骤S106中确定不选择帧内预测单元的情况下，预测图像选择单元116将从运动视差预测/补偿单元115提供的预测图像提供到计算单元103和计算单元110，并向运动视差预测/补偿单元115通知该选择。然后，在步骤S108，运动视差预测/补偿单元115生成与在最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。
更具体地，在视差伸缩处理有效的情况下，运动视差预测/补偿单元115通过执行时间伸缩处理或视差伸缩处理生成预测向量。另一方面，在视差伸缩处理无效时，运动视差预测/补偿单元115通过执行时间伸缩处理生成预测向量，或者将视差外围区域图像的视差向量按照原样设置为预测向量。
然后，运动视差预测/补偿单元115获取预测向量和与在最优帧间预测模式下生成的预测图像相对应的运动视差向量之间的差，作为运动视差向量信息。然后，运动视差预测/补偿单元115将包括运动视差向量信息、最优帧间预测模式等的帧间预测信息提供给无损编码单元106，且处理进行到步骤S109。
在步骤S109中，计算单元103计算从屏幕重排缓冲器102读取的图像和经由预测图像选择单元116从帧内预测单元114或运动视差预测/补偿单元115提供的预测图像之间的差。计算单元103将作为其结果获取的差信息输出到正交变换单元104。
在步骤S110中，正交变换单元104执行从计算单元103提供的差信息的正交变换，并将作为其结果获取的变换系数提供给量化单元105。
在步骤S111中，量化单元105量化从正交变换单元104提供的变换系数，并将量化的变换系数提供给无损编码单元106以及逆量化单元108。
在步骤S112中，逆量化单元108使用与由量化单元105执行的量化处理相对应的方法，执行从量化单元105提供的量化的变换系数的逆量化，并将获取的变换系数提供给逆正交变换单元109。
在步骤S113中，逆正交变换单元109通过使用与由正交变换单元104执行的正交变换处理相对应的方法，执行从逆量化单元108提供的变换系数的逆正交变换，并将作为其结果获取的、本地恢复的差信息提供给计算单元110。
在步骤S114中，计算单元110将本地恢复的、从逆正交变换单元109提供的差信息加到经由预测图像选择单元116从帧内预测单元114或运动视差预测/补偿单元115提供的预测图像，从而获取重构图像。将重构图像提供到滤波器111或解码图片缓冲器112。
在步骤S115中，滤波器111适当地对从计算单元110提供的重构图像执行滤波处理，并将作为其结果获取的解码图像提供给解码图片缓冲器112。
在步骤S116中，解码图片缓冲器112存储从计算单元110提供的重构图像以及该重构图像的视图ID和POC。另外，解码图片缓冲器112和多视点解码图片缓冲器121存储从滤波器111提供的重构图像以及该重构图像的视图ID和POC。
在执行帧内编码的情况下，经由选择单元113读取存储在解码图片缓冲器112中的重构图像以及该重构图像的视图ID和POC，并将其作为外围图像和外围图像的视图ID和POC提供给帧内预测单元114。另一方面，在执行帧间编码的情况下，经由选择单元113读取存储在解码图片缓冲器112中的重构图像以及该重构图像的视图ID和POC，并将其作为参考图像和参考图像的视图ID和POC提供给运动视差预测/补偿单元115。
另外，将存储在多视点解码图片缓冲器121中的解码图像和解码图像的视图ID和POC提供到解码图片缓冲器112，以按照需要将其存储在解码图片缓冲器112中。
在步骤S117中，无损编码单元106执行从量化单元105提供的量化的变换系数的无损编码，从而获取编码数据。另外，无损编码单元106执行从帧内预测单元114提供的帧内预测信息、从运动视差预测/补偿单元115提供的帧间预测信息、用于滤波器111的滤波器系数等的无损编码，并将编码信息设置为编码数据的头信息的一部分。无损编码单元106将编码数据提供给累积缓冲器107。
在步骤S118中，累积缓冲器107临时存储从无损编码单元106提供的编码数据。然后，处理返回到图13中图示的步骤S14，且处理进行到步骤S15。
图15是详细图示图14中图示的步骤S104的设置处理的流程图。
在图15所呈现的步骤S131中，运动视差预测/补偿单元115确定包括在从设置单元51提供的VPS中的顺序可靠性标志是否为“1”或更小。在步骤S131中确定顺序可靠性标志为“1”或更小的情况下，换言之，在视图ID自设置在端部处的摄像装置的视点起被顺序地分配的情况下，处理进行到步骤S132。
在步骤S132中，运动视差预测/补偿单元115使视差伸缩处理有效。在步骤S133中，运动视差预测/补偿单元115执行列表登记处理，在列表登记处理中，通过使用视图ID作为表示每个视点的位置的信息，将参考图像指定信息登记在列表中。将参考后面要描述的图16详细描述该列表登记处理。在步骤S132的处理之后，处理返回到图14中呈现的步骤S104，且处理进行到步骤S105。
另一方面，在步骤S131中确定顺序可靠性标志不为“1”或更小的情况下，换言之，在视图ID没有自设置在端部处的摄像装置的视点起被顺序地分配的情况下，处理进行到步骤S134。
在步骤S134中，运动视差预测/补偿单元115使视差伸缩处理无效。在步骤S135中，运动视差预测/补偿单元115按照VPS中设置的顺序将参考图像指定信息登记在列表L0和L1中。然后，处理返回到图14中呈现的步骤S104，且处理进行到步骤S105。
图16是详细图示图15中图示的步骤S133的列表登记处理的流程图。
在图16中呈现的步骤S151中，运动视差预测/补偿单元115按照距当前预测图像的视图ID的接近程度最高的顺序(按照最大到最小视图ID的顺序)，将包括在VPS中的参考指定信息中的如下参考图像指定信息设置在RefPicSetIvCurrBefore中：该参考图像指定信息各自将具有比当前预测图像的视图ID小的视图ID的图像作为参考图像。
在步骤S152中，运动视差预测/补偿单元115按照距当前预测图像的视图ID的接近程度最高的顺序(按照最小到最大视图ID的顺序)，将包括在VPS中的参考指定信息中的如下参考图像指定信息设置在RefPicSetIvCurrAfter中：该参考图像指定信息各自将具有比当前预测图像的视图ID大的视图ID的图像作为参考图像。
在步骤S153中，运动视差预测/补偿单元115按照RefPicSetIvCurrBefore和RefPicSetIvCurrAfter的顺序对列表L0执行登记。在步骤S154中，运动视差预测/补偿单元115按照RefPicSetIvCurrAfter和RefPicSetIvCurrBefore的顺序对列表L1执行登记。然后，处理返回到图15中呈现的步骤S133，处理返回到图14中呈现的步骤S104，且处理进行到步骤S105。
如上，由于基于顺序可靠性标志对多视点图像进行编码，编码设备50可以仅在视图ID自设置在端部处的摄像装置的视点起被顺序分配的情况下执行列表登记处理和视差伸缩处理。结果，具有与当前预测图像的视点不同的视点的参考图像(视点方向的参考图片)的登记顺序可以被配置为在列表L0和列表L1之间不同。另外，能够正确地执行视差伸缩处理。因此，可以提高编码效率。
另外，在没有自设置在端部处的摄像装置的视点起顺序分配视图ID的情况下，通过执行列表登记处理和视差伸缩处理，可以防止编码效率劣化。
(根据第一实施例的解码设备的配置示例)
图17是图示应用本技术的第一实施例的对从图4图示的编码设备50发送的编码流进行解码的解码设备的配置的示例的框图。
图17中图示的解码设备200由提取单元201和解码单元202配置。解码设备200通过使用与由编码设备50使用的编码方法相对应的解码方法对从编码设备50发送的编码流进行解码，从而生成多视点图像。
更具体地，解码设备200的提取单元201用作接收单元，并接收从编 码设备50发送的编码流。提取单元201从编码流提取诸如SPS、PPS、和VPS的参数集合以及编码数据，并将参数集合和编码数据提供到解码单元202。
解码单元202基于从提取单元201提供的VPS中包括的顺序可靠性标志和视图ID对从提取单元201提供的编码数据进行解码，从而生成多视点图像。这时，按照需要，解码单元202参考SPS、PPS等。解码单元202输出多视点图像。
(解码单元的配置示例)
图18是图示图17中图示的解码单元202的配置的示例的框图。
图18中图示的解码单元202包括：累积缓冲器301；无损解码单元302；逆量化单元303；逆正交变换单元304；计算单元305；环路滤波器306；屏幕重排缓冲器307；以及D/A转换器308。另外，解码单元202包括：解码图片缓冲器309；选择单元310；帧内预测单元311；运动视差补偿单元312；以及选择单元313。
另外，解码单元202包括多视点解码图片缓冲器321。解码单元202针对每个视点顺序地对从图17中图示的提取单元201提供的多视点图像的编码数据进行解码。
累积缓冲器301累积从提取单元201提供的预定视点的编码数据，并在预定定时将该编码数据提供给无损解码单元302。无损解码单元302通过使用与图7中图示的无损编码单元106的编码系统相对应的系统，执行从累积缓冲器301提供的编码数据的无损解码。无损解码单元302将通过执行无损解码处理获取的量化的变换系数和与该变换系数对应的图像的视图ID和POC一起提供给逆量化单元303。
另外，在通过对编码数据进行解码获取了帧内预测信息的情况下，无损解码单元302将该帧内预测信息提供给帧内预测单元311。另一方面，在获取了帧间预测信息的情况下，无损解码单元302将帧间预测信息提供给运动视差补偿单元312。
逆量化单元303使用与图7中图示的量化单元105的量化系统相对应的系统，执行从无损解码单元302提供的量化的变换系数的逆量化，并将获取的变换系数提供给逆正交变换单元304。逆正交变换单元304通过使用与图7中图示的正交变换单元104的正交变换系统相对应的系统，执行从逆量化单元303提供的变换系数的逆正交变换，从而获取差信息。
将通过逆正交变换处理获取的差信息提供到计算单元305。另外，经由选择单元313从帧内预测单元311或者运动视差补偿单元312将预测图像提供到计算单元305。
计算单元305用作解码单元，并通过将差信息和预测图像加在一起执行解码，从而获取重构图像。计算单元305将重构图像提供给环路滤波器306或者解码图片缓冲器309。
类似于图7中图示的滤波器111，环路滤波器306适当地对从计算单元305提供的重构图像执行滤波处理，从而生成解码图像。另外，在通过由无损解码单元302执行的无损解码处理获取了滤波器系数的情况下，环路滤波器306使用该滤波器系数执行滤波处理。
环路滤波器306将作为滤波处理的结果的解码图像提供给屏幕重排缓冲器307和解码图片缓冲器309。
屏幕重排缓冲器307重排从环路滤波器306提供的解码图像。换言之，按照原始显示顺序重排由图7中图示的屏幕重排缓冲器102针对编码顺序重排的帧顺序。D/A转换器308执行从屏幕重排缓冲器307提供的多视点解码图像的D/A转换。D/A转换器308将作为其结果获取的多视点图像输出到图中未示出的显示器，以在其上显示。
解码图片缓冲器309存储从计算单元305提供的重构图像以及该重构图像的视图ID和POC。另外，解码图片缓冲器309存储从环路滤波器306提供的解码图像以及该解码图像的视图ID和POC。
另外，解码图片缓冲器309在预定定时或者基于来自外部(诸如帧内预测单元311或运动视差补偿单元312)的请求，通过选择单元310将所存储的重构图像和该重构图像的视图ID和POC提供给帧内预测单元311。另外，解码图片缓冲器309在预定定时或者基于来自外部(诸如运动视差预测/补偿单元115)的请求，通过选择单元310将所存储的解码图像和该解码图像的视图ID和POC提供给运动视差补偿单元312。
帧内预测单元311基本上执行与图7中图示的帧内预测单元114的处理相同的处理。然而，帧内预测单元311仅针对其中预测图像是在编码处理时通过帧内预测生成的区域，执行从无损解码单元302提供的帧内预测信息的最优帧内预测模式的帧内预测。帧内预测单元311将作为帧内预测的结果获取的预测图像提供给选择单元313。
运动视差补偿单元312用作设置单元，并类似于图7中图示的运动视 差预测/补偿单元115，基于从图17中图示的提取单元201提供的VPS中包括的顺序可靠性标志将包括在VPS中的参考图像指定信息登记在列表(参考列表)中。然后，运动视差补偿单元312按照列表中登记的顺序，从解码图片缓冲器309读取由登记在列表中的参考图像指定信息指定的图像，作为参考图像。
另外，类似于运动视差预测/补偿单元115，运动视差补偿单元312基于顺序可靠性标志生成与在从无损解码单元302提供的帧间预测信息的最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。另外，运动视差补偿单元312通过将所生成的预测向量和从无损解码单元302提供的帧间预测信息的运动视差向量信息相加在一起，生成运动视差向量。
运动视差补偿单元312基于所生成的运动视差向量和参考图像，执行基本使用PU作为处理单位的最优帧间预测模式的补偿处理，从而生成预测图像。另外，运动视差补偿单元312基于从无损解码单元302提供的帧间预测信息执行仅针对在编码处理时执行了帧间预测的区域的补偿处理。运动视差补偿单元312通过选择单元313将所生成的预测图像提供给计算单元305。
选择单元313将从帧内预测单元311提供的预测图像，或者从运动视差补偿单元312提供的预测图像提供给计算单元305。
在解码图片缓冲器309存储当前处理视点的解码图像和重构图像以及该解码图像和重构图像的视图ID和POC的同时，多视点解码图片缓冲器321存储每个视点的解码图像和该解码图像的视图ID和POC。换言之，多视点解码图片缓冲器321获取从解码图片缓冲器309提供的解码图像以及该解码图像的视图ID和POC，并与解码图片缓冲器309一起存储该解码图像和解码图像的视图ID和POC。
当改变当前处理视点时，解码图片缓冲器309去除先前处理视点的解码图像，多视点解码图片缓冲器321按原样保持先前处理视点的解码图像。然后，根据来自解码图片缓冲器309等的请求，所存储的解码图像以及解码图像的视图ID和POC作为“非当前处理视点的解码图像以及解码图像的视图ID和POC”被提供到解码图片缓冲器309。解码图片缓冲器309通过选择单元310，将从多视点解码图片缓冲器321读取的“非当前处理视点的解码图像以及解码图像的视图ID和POC”提供到运动视差补偿单元312。
(由解码设备执行的处理的描述)
图19是图示由图17中图示的解码设备200执行的图像生成处理的流程图。
在图19中呈现的步骤S170中，解码设备200的提取单元201接收从编码设备50发送的编码流。在步骤S171中，提取单元201从编码流提取SPS，并将所提取的SPS提供到解码单元202。在步骤S172中，提取单元201从编码流提取PPS，并将所提取的PPS提供到解码单元202。在步骤S173中，提取单元201从编码流提取包括视图ID和顺序可靠性标志的VPS，并将所提取的VPS提供到解码单元202。
在步骤S174中，提取单元201从编码流提取编码数据，并将所提取的编码数据提供到解码单元202。在步骤S175中，解码单元202基于从提取单元201提供的VPS中包括的顺序可靠性标志和视图ID执行用于将从提取单元201提供的编码数据解码的解码处理，且处理结束。
图20是详细图示图19中图示的步骤S175的解码处理的流程图。
在图20中呈现的步骤S300中，运动视差补偿单元312执行与图15中图示的设置处理相似的设置处理。在步骤S301中，累积缓冲器301累积从图17中图示的提取单元201提供的预定视点的编码数据，并在预定定时将该编码数据提供给无损解码单元302。
在步骤S302中，无损解码单元302通过使用与图7中图示的无损编码单元106的编码系统相对应的系统，执行从累积缓冲器301提供的编码数据的无损解码。无损解码单元302将通过无损解码处理获取的量化的变换系数和与该变换系数对应的图像的视图ID和POC一起提供给逆量化单元303。
另外，在通过将编码数据解码获取了帧内预测信息的情况下，无损解码单元302将该帧内预测信息提供给帧内预测单元311。另一方面，在获取了帧间预测信息的情况下，无损解码单元302将帧间预测信息提供给运动视差补偿单元312。
在步骤S303中，逆量化单元303使用与图7中图示的量化单元105的量化系统相对应的系统，执行从无损解码单元302提供的量化的变换系数的逆量化，并将获取的变换系数提供给逆正交变换单元304。在步骤S304中，逆正交变换单元304通过使用与图7中图示的正交变换单元104的正交变换系统相对应的系统，执行从逆量化单元303提供的变换系数的 逆正交变换，从而获取差信息。将通过逆正交变换获取的差信息提供到计算单元305。
在步骤S305中，帧内预测单元311确定是否从无损解码单元302提供了帧内预测信息。在步骤S305中确定提供了帧内预测信息的情况下，在步骤S306中，帧内预测单元311执行与图7中图示的帧内预测单元144的帧内预测基本上相同的帧内预测。帧内预测单元311将作为帧内预测的结果获取的预测图像提供给选择单元313，且处理进行到步骤S309。
另一方面，在步骤S305中确定未提供帧内预测信息的情况下，换言之，在运动视差补偿单元312获取帧间预测信息的情况下，处理进行到步骤S307。在步骤S307中，运动视差补偿单元312生成与在从无损解码单元302提供的帧间预测模式信息的最优帧间预测模式下生成的预测图像相对应的运动视差向量。
在步骤S308中，运动视差补偿单元312基于所生成的运动视差向量和参考图像，执行基本使用PU作为处理单位的最优帧间预测模式的补偿处理，从而生成预测图像。运动视差补偿单元312通过选择单元313将所生成的预测图像提供给计算单元305。
在步骤S309中，计算单元305将从逆正交变换单元304提供的差信息和从选择单元313提供的预测图像加在一起，从而获取重构图像。计算单元305将重构图像提供给环路滤波器306或者解码图片缓冲器309。
在步骤S310中，类似于图7中图示的滤波器111，环路滤波器306适当地对从计算单元305提供的重构图像执行滤波处理，从而生成解码图像。另外，在通过由无损解码单元302执行的无损解码处理获取了滤波器系数的情况下，环路滤波器306通过使用该滤波器系数执行滤波处理。环路滤波器306将作为滤波处理的结果的解码图像提供给屏幕重排缓冲器307和解码图片缓冲器309。
在步骤S311中，屏幕重排缓冲器307重排从环路滤波器306提供的解码图像。在步骤S312中，D/A转换器308执行从屏幕重排缓冲器307提供的多视点的解码图像的D/A转换，并将作为其结果获取的多视点图像输出到图中未示出的显示器，以在其上显示。
在步骤S313中，解码图片缓冲器309存储从计算单元305提供的重构图像以及该重构图像的视图ID和POC。另外，解码图片缓冲器309和多视点解码图片缓冲器321存储从环路滤波器306提供的解码图像和解码 图像的视图ID和POC。此外，解码图片缓冲器309读取并存储在多视点解码图片缓冲器321中所存储的解码图像以及解码图像的视图ID和POC，作为“非当前处理视点的解码图像以及解码图像的视图ID和POC”。
将解码图片缓冲器309中存储的重构图像和该重构图像的视图ID和POC通过选择单元310提供到帧内预测单元311。另外，将解码图片缓冲器309中存储的解码图像和该解码图像的视图ID和POC通过选择单元310提供到运动视差补偿单元312。然后，处理返回到图19中呈现的步骤S175，且处理结束。
如上，由于解码设备200接收顺序可靠性标志，并基于顺序可靠性标志将多视点图像解码，所以可以将从编码设备50发送的编码流解码。
<第二实施例>
(根据第二实施例的编码设备的配置示例)
图21是图示应用本技术的第二实施例的编码设备的配置的示例的框图。
图21中图示的编码设备400由设置单元401和编码单元402配置。编码设备400发送VPS，代替顺序可靠性标志，该VPS中包括列表标志和伸缩标志，列表标志用于标识执行了图16的列表登记处理，伸缩标志用于标识执行了视差伸缩处理。
更具体地，相似于图4中图示的设置单元51，编码设备400的设置单元401设置SPS、PPS等。另外，相似于设置单元51，设置单元401自按照一维布置对齐的多个摄像装置中的设置在端部的摄像装置的视点起顺序地分配视图ID。此外，设置单元401生成列表标志(顺序可靠性信息)，该列表标志自视图ID按照一维布置对齐的多个摄像装置中的设置在端部处的摄像装置的视点起被顺序地分配，并用于标识执行了列表登记处理。
另外，设置单元401生成伸缩标志(顺序可靠性信息)，该伸缩标志自视图ID按照一维布置对齐的多个摄像装置中的设置在端部处的摄像装置的视点起顺序地分配，并用于标识执行了视差伸缩处理。然后，设置单元401设置包括视图ID、列表标志和伸缩标志的VPS。设置单元401向编码单元402提供诸如SPS、PPS和VPS的参数集合。
编码单元402通过使用3D编码系统，基于包括在从设置单元401提 供的VPS中的列表标志、伸缩标志和视图ID将从外部输入的多视点图像编码，从而生成编码数据。编码单元402将从设置单元401提供的参数集合加到编码数据，从而生成编码流。编码单元402发送所生成的编码流。
(VPS的语法的配置示例)
图22是图示由图21中图示的设置单元401设置的VPS的语法的示例的图。
如图22中的第10行图示的，相似于图1中呈现的情况，视图ID(视图_id)被包括于VPS中。另外，如第11行中图示的，列表标志(inter_view_default_reference_flag(帧间_视图_默认_参考_标志))被包括在VPS中。在列表标志表示执行了列表登记处理的情况下，列表标志是“1”，在列表标志表示未执行列表登记处理的情况下，列表标志是“0”。
另外，如第12行中图示的，伸缩标志(inter_view_scaling_flag(帧间_视图_伸缩_标志))被包括在VPS中。在伸缩标志表示执行了视差伸缩处理的情况下，伸缩标志是“1”，在伸缩标志表示未执行视差伸缩处理的情况下，伸缩标志是“0”。
此外，如第13行到第16行图示的，在VPS中，相似于图1中所呈现的情形，包括参考图像编号(num_direct_ref_layers(编号_直接_参考_层))以及参考图像指定信息(ref_layer_id(参考_层_id))。
(编码单元的配置示例)
图23是图示图21中图示的编码单元402的配置的示例的框图。
在图23中图示的配置中，相同的附图标记被分配给与图7中图示的相同的配置。适当地不再呈现重复描述。
图23中图示的编码单元402的配置与图4中图示的编码单元52的配置的不同之处在于：代替运动视差预测/补偿单元115，布置运动视差预测/补偿单元411。
编码单元402的运动视差预测/补偿单元411基于从图21中图示的设置单元401提供的VPS中包括的列表标志将包括在VPS中的参考图像指定信息登记在列表中。
相似于图7中图示的运动视差预测/补偿单元115，运动视差预测/补偿单元411从解码图片缓冲器112按照列表的登记的顺序读取由登记在列表中的参考图像指定信息指定的图像，作为参考图像。相似于运动视差预 测/补偿单元115，运动视差预测/补偿单元411通过使用从屏幕重排缓冲器102提供的输入图像和参考图像执行帧间预测，并根据作为其结果检测到的运动视差向量执行补偿处理，从而生成预测图像。运动视差预测/补偿单元411在作为候选的所有帧间预测模式的每个模式下执行帧间预测和补偿处理。
相似于运动视差预测/补偿单元115，运动视差预测/补偿单元411评估预测图像的成本函数值，并选择最优帧间预测模式。然后，相似于运动视差预测/补偿单元115，运动视差预测/补偿单元411将以最优帧间预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
另外，在从预测图像选择单元116通知了选择的情况下，运动视差预测/补偿单元411基于伸缩标志生成与在最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。然后，运动视差预测/补偿单元411计算所生成的预测向量和与在最优帧间预测模式下生成的预测图像相对应的运动视差向量之间的差，并将所计算的差设置为运动视差向量信息。另外，运动视差预测/补偿单元411将包括运动视差向量信息、最优帧间预测模式等的帧间预测信息提供给无损编码单元106，以进行无损编码。
(由编码设备执行的处理的描述)
图24是图示由图21中图示的编码设备400执行的生成处理的流程图。
图24中图示的步骤S331和S332的处理相似于图13中图示的步骤S11和S12的处理，且将不呈现对其的描述。
在步骤S332的处理之后，在步骤S333中，设置单元401设置包括视图ID、伸缩标志和列表标志的VPS。设置单元401向编码单元402提供诸如SPS、PPS和VPS的参数集合。
在步骤S334，编码单元402执行编码处理，在编码处理中，基于从设置单元401提供的VPS中包括的视图ID、伸缩标志和列表标志，使用3D编码系统，将从外部输入的多视点图像编码。除了图14中图示的步骤S104的设置处理之外，该编码处理的细节与图14中图示的编码处理的细节相同。因此，将仅参考后面要描述的图25描述该设置处理的该处细节。
在步骤S335中，编码单元402通过将从设置单元401提供的参数集合加到在累积缓冲器107中累积的编码数据来生成编码流，并发送生成的 编码流。然后，处理结束。
图25是详细图示图24中所图示的步骤S334的编码处理中的设置处理的流程图。
在图25所呈现的步骤S351中，运动视差预测/补偿单元411确定包括在从设置单元401提供的VPS中的伸缩标志是否是“1”。在步骤S351中确定伸缩标志是“1”的情况下，在步骤S352中，运动视差预测/补偿单元411使视差伸缩处理有效，且处理进行到步骤S354。
另一方面，在步骤S351中确定伸缩标志不是“1”的情况下，在步骤S353中，运动视差预测/补偿单元411使视差伸缩处理无效，且处理进行到步骤S354。
在步骤S354中，运动视差预测/补偿单元411确定包括在从设置单元401提供的VPS中的列表标志是否是“1”。在步骤S354中确定列表标志是“1”的情况下，在步骤S355中，运动视差预测/补偿单元411执行图16中图示的列表登记处理。然后，设置处理结束。
另一方面，在步骤S354中确定列表标志不是“1”的情况下，在步骤S356中，运动视差预测/补偿单元411按照VPS的设置的顺序将参考图像指定信息登记在列表L0和L1中。然后，设置处理结束。
如上，由于编码设备400基于列表标志和伸缩标志将多视点图像编码，所以仅在自设置在端部处的摄像装置的视点起顺序地分配视图ID的情况下，能够执行列表登记处理或视差伸缩处理。其结果是，具有与当前预测图像的视点不同的视点的参考图像(视点方向的参考图片)的登记顺序可以被配置为在列表L0和列表L1之间不同。另外，能够正确地执行视差伸缩处理。因此，可以提高编码效率。
另外，在没有自设置在端部处的摄像装置的视点起顺序分配视图ID的情况下，通过执行列表登记处理和视差伸缩处理，可以防止编码效率劣化。
(根据第二实施例的解码设备的配置示例)
图26是图示应用本技术的第二实施例的将从图21图示的编码设备400发送的编码流解码的解码设备的配置的示例的框图。
在图26中图示的配置中，相同的附图标记被分配给与图17中图示的相同的配置。适当地不再呈现重复描述。
图26中图示的解码设备500的配置与图17中图示的解码设备200的配置的不同之处在于：代替解码单元202，布置解码单元501。解码设备500通过使用与由编码设备400使用的编码方法相对应的解码方法将从编码设备400发送的编码流解码，从而生成多视点图像。
更具体地，解码设备500的解码单元501通过基于从提取单元201提供的VPS中包括的列表标志、伸缩标志和视图ID将从提取单元201提供的编码数据解码，来生成多视点图像。这时，按照需要，解码单元501参考SPS、PPS等。然后，解码单元501输出多视点图像。
(解码单元的配置示例)
图27是图示图26中图示的解码单元501的配置的示例的框图。
在图27中图示的配置中，相同的附图标记被分配给与图18中图示的相同的配置。适当地不再呈现重复描述。
图27中图示的解码单元501的配置与图18中图示的解码单元202的配置的不同之处在于：代替运动视差补偿单元312，布置运动视差补偿单元511。
相似于图23中图示的运动视差预测/补偿单元411，运动视差补偿单元511基于从图26中图示的提取单元201提供的VPS中包括的列表标志将包括在VPS中的参考图像指定信息登记在列表中。然后，运动视差补偿单元511从解码图片缓冲器309按照列表的登记的顺序读取由登记在列表中的参考图像指定信息指定的图像，作为参考图像。
另外，相似于运动视差预测/补偿单元411，运动视差补偿单元511基于伸缩标志生成与在从无损解码单元302提供的帧间预测信息的最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。然后，运动视差补偿单元511将所生成的预测向量和从无损解码单元302提供的帧间预测信息的运动视差向量信息相加在一起，从而生成运动视差向量。
运动视差补偿单元511基于所生成的运动视差向量和参考图像，执行基本使用PU作为处理单位的最优帧间预测模式的补偿处理，从而生成预测图像。另外，运动视差补偿单元511基于从无损解码单元302提供的帧间预测信息执行仅针对在编码时已执行帧间预测的区域的运动视差补偿。运动视差补偿单元511通过选择单元313将所生成的预测图像提供给计算单元305。
(由解码设备执行的处理的描述)
图28是图示由图26中图示的解码设备500执行的图像生成处理的流程图。
图28中图示的步骤S370到S372的处理相似于图19中图示的步骤S170到S172的处理，且将不呈现对其的描述。在步骤S373中，提取单元201从编码流提取包括视图ID、列表标志和伸缩标志的VPS，并将所提取的VPS提供到解码单元501。
在步骤S374中，提取单元201从编码流提取编码数据，并将所提取的编码数据提供到解码单元501。在步骤S375中，解码单元501基于从提取单元201提供的VPS中包括的视图ID、列表标志和伸缩标志，执行用于将从提取单元201提供的编码数据解码的解码处理。除了图20中呈现的步骤S300的设置处理用相似于图25中呈现的设置处理的设置处理替换之外，该解码处理的细节与图20中图示的解码处理的细节相同。在步骤S375的处理之后，处理结束。
如上，由于解码设备500接收列表标志和伸缩标志，并基于列表标志和伸缩标志将多视点图像解码，所以可以将从编码设备400发送的编码流解码。
<第三实施例>
(根据第三实施例的编码设备的配置示例)
图29是图示应用本技术的第三实施例的编码设备的配置的示例的框图。
图29中图示的编码设备600由设置单元601和编码单元602配置。编码设备600发送VPS，代替伸缩标志，该VPS中包括表示视差伸缩处理中的系数tb和系数td的系数信息。
更具体地，相似于图4中图示的设置单元51，编码设备600的设置单元601设置SPS、PPS等。另外，相似于设置单元51，设置单元601自按照一维布置对齐的多个摄像装置中的、设置在端部处的摄像装置的视点起顺序地分配视图ID。此外，设置单元601生成列表标志和系数信息。
另外，当在自按照一维布置对齐的多个摄像装置中的、设置在端部处的摄像装置的视点起顺序地分配视图ID的情况下如参考图8描述的那样生成系数信息时，在没有自上述视点顺序地分配视图ID的情况下，生成预定值作为系数信息。
设置单元601设置包括视图ID、列表标志和系数信息的VPS。设置单元601向编码单元602提供诸如SPS、PPS和VPS的参数集合。
编码单元602通过使用3D编码系统，基于包括在从设置单元601提供的VPS中的列表标志、系数信息和视图ID，将从外部输入的多视点图像编码，从而生成编码数据。编码单元602将从设置单元601提供的参数集合加到编码数据，从而生成编码流。编码单元602发送所生成的编码流。
(VPS的语法的配置示例)
图30是图示由图29中图示的设置单元601设置的VPS的语法的示例的图。
如图30中的第10行图示的，相似于图1中图示的情况，视图ID(视图_id)被包括于VPS中。另外，如第11行中图示的，相似于图22中图示的情况，列表标志(inter_view_default_reference_flag(帧间_视图_默认_参考_标志))被包括在VPS中。
另外，如第12行到第16行中所示，在VPS中，包括参考图像的编号(num_direct_ref_layers(编号_直接_参考_层))、参考图像指定信息(ref_layer_id(参考_层_id))以及系数信息(inter_view_scaling_factor(帧间_视图_伸缩_因数))。
(编码单元的配置示例)
图31是图示图29中图示的编码单元602的配置的示例的框图。
在图31中图示的配置中，相同的附图标记被分配给与图23中图示的相同的配置。适当地不再呈现重复描述。
图31中图示的编码单元602的配置与图23中图示的编码单元402的配置的不同之处在于：代替运动视差预测/补偿单元411，布置运动视差预测/补偿单元611。
相似于运动视差预测/补偿单元411，编码单元602的运动视差预测/补偿单元611基于从图29中图示的设置单元601提供的VPS中包括的列表标志将参考图像指定信息登记在列表中。
相似于运动视差预测/补偿单元411，运动视差预测/补偿单元611从解码图片缓冲器112按照列表的登记的顺序读取由登记在列表中的参考图像指定信息指定的图像，作为参考图像。相似于运动视差预测/补偿单元411，运动视差预测/补偿单元611通过使用从屏幕重排缓冲器102提供 的输入图像和参考图像执行帧间预测，并根据作为其结果检测到的运动视差向量执行补偿处理，从而生成预测图像。运动视差预测/补偿单元611在作为候选的所有帧间预测模式中的每个模式下执行该帧间预测和补偿处理。
相似于运动视差预测/补偿单元411，运动视差预测/补偿单元611评估预测图像的成本函数值，并选择最优帧间预测模式。然后，相似于运动视差预测/补偿单元411，运动视差预测/补偿单元611将以最优帧间预测模式生成的预测图像和成本函数值提供给预测图像选择单元116。
另外，在从预测图像选择单元116通知了选择的情况下，运动视差预测/补偿单元611通过使用系数信息生成与在最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。更具体地，在与在最优帧间预测模式下生成的预测图像相对应的运动视差向量是运动向量的情况下，运动视差预测/补偿单元611执行时间伸缩处理。另一方面，在与在最优帧间预测模式下生成的预测图像相对应的运动视差向量是运动向量的情况下，运动视差预测/补偿单元611通过使用系数信息执行视差伸缩处理。
然后，运动视差预测/补偿单元611计算所生成的预测向量和与在最优帧间预测模式下生成的预测图像相对应的运动视差向量之间的差，并将所计算的差设置为运动视差向量信息。运动视差预测/补偿单元611将包括运动视差向量信息、最优帧间预测模式等的帧间预测信息提供给无损编码单元106，以进行编码。
(由编码设备执行的处理的描述)
图32是图示由图29中图示的编码设备600执行的生成处理的流程图。
图32中图示的步骤S401和S402的处理相似于图24中图示的步骤S331和S332的处理，且将不呈现对其的描述。
在步骤S402的处理之后，在步骤S403中，设置单元601设置包括视图ID、系数信息和列表标志的VPS。设置单元601向编码单元602提供诸如SPS、PPS和VPS的参数集合。
在步骤S404，编码单元602执行编码处理，在编码处理中，基于从设置单元601提供的VPS中包括的视图ID、系数信息和列表标志，使用3D编码系统，将从外部输入的多视点图像编码。参考后面要描述的图33详细描述该编码处理。
在步骤S405中，编码单元602通过将从设置单元601提供的参数集合加到在累积缓冲器107中累积的编码数据来生成编码流，并发送生成的编码流。然后，处理结束。
图33是详细图示图32中所呈现的步骤S404的编码处理的流程图。
图33中图示的步骤S421到S423的处理相似于图14中图示的步骤S101到S103的处理，且将不呈现对其的描述。
在步骤S424中，运动视差预测/补偿单元611基于包括在从图29中图示的设置单元601提供的VPS中的列表标志执行用于登记列表L0和L1的登记处理。参考后面要描述的图34详细描述该登记处理。
步骤S425到S427的处理相似于图14中图示的步骤S105到S107的处理，且将不呈现对其的描述。
在步骤S426中确定不选择帧内预测单元的情况下，预测图像选择单元116将从运动视差预测/补偿单元611提供的预测图像提供到计算单元103和计算单元110，并向运动视差预测/补偿单元611通知该选择。然后，在步骤S428中，运动视差预测/补偿单元611通过使用从设置单元601提供的VPS中包括的系数信息，生成与在最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。
然后，运动视差预测/补偿单元611获取预测向量和与在最优帧间预测模式下生成的预测图像相对应的运动视差向量之间的差，作为运动视差向量信息。然后，运动视差预测/补偿单元611将包括运动视差向量信息、最优帧间预测模式等的帧间预测信息提供给无损编码单元106，且处理进行到步骤S429。
步骤S429到S438的处理相似于图14中图示的步骤S109到S118的处理。
图34是详细图示图33中图示的步骤S424的登记处理的流程图。
图34中图示的步骤S451到S453的处理相似于图25中图示的步骤S354到S356的处理，且将不呈现对其的描述。
如上，由于编码设备600通过使用系数信息将多视点图像编码，所以能够不管视图ID是否自设置在端部处的摄像装置的视点起顺序地被分配而正确地执行视差伸缩处理。因此，可以提高编码效率。
(根据第三实施例的解码设备的配置示例)
图35是图示应用本技术的第三实施例的将从图29图示的编码设备600发送的编码流解码的解码设备的配置的示例的框图。
在图35中图示的配置中，相同的附图标记被分配给与图26中图示的相同的配置。适当地不再呈现重复描述。
图35中图示的解码设备700的配置与图26中图示的解码设备500的配置的不同之处在于：代替解码单元501，布置解码单元701。解码设备700通过使用与由编码设备600使用的编码方法相对应的解码方法将从编码设备600发送的编码流解码，从而生成多视点图像。
更具体地，解码设备700的解码单元701通过基于从提取单元201提供的VPS中包括的列表标志、系数信息和视图ID将从提取单元201提供的编码数据解码，来生成多视点图像。这时，按照需要，解码单元701参考SPS、PPS等。然后，解码单元701输出多视点图像。
(解码单元的配置示例)
图36是图示图35中图示的解码单元701的配置的示例的框图。
在图36中图示的配置中，相同的附图标记被分配给与图27中图示的相同的配置。适当地不再呈现重复描述。
图36中图示的解码单元701的配置与图27中图示的解码单元501的配置的不同之处在于：代替运动视差补偿单元511，布置运动视差补偿单元711。
相似于图31中图示的运动视差预测/补偿单元611，运动视差补偿单元711基于从图35中图示的提取单元201提供的VPS中包括的列表标志，将包括在VPS中的参考图像指定信息登记在列表中。然后，运动视差补偿单元711从解码图片缓冲器309按照列表的登记的顺序读取由登记在列表中的参考图像指定信息指定的图像，作为参考图像。
另外，相似于运动视差预测/补偿单元611，运动视差补偿单元711通过使用系数信息，生成与在从无损解码单元302提供的帧间预测信息的最优帧间预测模式下生成的预测图像相对应的运动视差向量的预测向量。然后，运动视差补偿单元711将所生成的预测向量和从无损解码单元302提供的帧间预测信息的运动视差向量信息相加在一起，从而生成运动视差向量。
运动视差补偿单元711基于所生成的运动视差向量和参考图像，执行 基本使用PU作为处理单位的最优帧间预测模式的补偿处理，从而生成预测图像。另外，运动视差补偿单元711基于从无损解码单元302提供的帧间预测信息，执行仅针对在编码时已执行了帧间预测的区域的运动视差补偿。运动视差补偿单元711通过选择单元313将所生成的预测图像提供给计算单元305。
(由解码设备执行的处理的描述)
图37是图示由图35中图示的解码设备700执行的图像生成处理的流程图。
图37中图示的步骤S470到S472的处理相似于图28中图示的步骤S370到S372的处理，且将不呈现对其的描述。在步骤S473中，提取单元201从编码流提取包括视图ID、列表标志和系数信息的VPS，并将所提取的VPS提供到解码单元701。
在步骤S474中，提取单元201从编码流提取编码数据，并将所提取的编码数据提供到解码单元701。在步骤S475中，解码单元701基于从提取单元201提供的VPS中包括的列表标志、系数信息和视图ID，执行用于将从提取单元201提供的编码数据解码的解码处理。将参考后面要描述的图38描述该解码处理的细节。在步骤S475的处理之后，处理结束。
图38是详细图示图37中图示的步骤S475的解码处理的流程图。
在图38中呈现的步骤S490中，运动视差补偿单元711执行与图34中图示的登记处理相似的登记处理。步骤S491到S496的处理相似于图20中呈现的步骤S301到S306的处理，且将不呈现对其的描述。
在步骤S495中确定未提供帧内预测信息的情况下，处理进行到步骤S497。在步骤S497中，运动视差补偿单元711通过使用从图35中图示的提取单元201提供的VPS中包括的系数信息，生成与在从无损解码单元302提供的最优帧间预测模式下生成的预测图像相对应的运动视差向量。然后，处理进行到步骤S498。
步骤S498到S503的处理相似于图20中图示的步骤S308到S313的处理，且将不呈现对其的描述。
如上，由于解码设备700接收列表标志和系数信息，并基于列表标志和系数信息将多视点图像解码，所以可以将从编码设备600发送的编码流解码。
在第三实施例中，虽然在视图ID没有自设置在端部处的摄像装置的视点起顺序地被分配的情况下也生成系数信息，但是可配置使得不生成系数信息，且不执行视差伸缩处理。
另外，在第三实施例中，虽然列表标志被包括在编码流中，但是顺序可靠性标志可以被配置为包括在编码流中，来代替列表标志。在这种情况下，基于顺序可靠性标志执行列表登记处理。
<第四实施例>
<应用本技术的计算机的描述>
可以通过硬件或软件执行上述一系列处理。在通过软件执行该系列处理的情况下，将构成该软件的程序安装到计算机。这里，计算机包括：内置在专用硬件中的计算机、能够通过将各种程序安装在其中执行各种功能的计算机(诸如通用计算机)等。
图39是图示根据程序执行上述一些列处理的计算机的硬件配置的示例的框图。
在计算机中，经由总线804互连CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803。
另外，输入/输出接口805被连接到总线804。输入单元806、输出单元807、存储单元808、通信单元809和驱动器810被连接到输入/输出接口805。
通过键盘、鼠标、麦克风等配置输入单元806。通过显示器、扬声器等配置输出单元807。通过硬盘、非易失性存储器等配置存储单元808。通过网络接口等配置通信单元809。驱动器810驱动可移除811，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，CPU 801例如通过将存储在存储单元808中的程序经由输入/输出接口805以及总线804加载到RAM 803中并执行该程序，来执行上述一系列处理。
由计算机(CPU 801)执行的程序例如可以通过记录在作为封装介质的可移除介质811等上而被提供。另外，可以通过有线或无线传输介质(诸如局域网、因特网或者数字卫星广播)提供程序。
在计算机中，可以通过将可移除介质811加载到驱动器810中经由输入/输出接口805将程序安装到存储单元808。另外，可以经由有线或无线 传输介质通过通信单元809接收程序，并将其安装到存储单元808。此外，程序可以被预先安装到ROM 802或存储单元808。
另外，由计算机执行的程序可以是按照这里描述的顺序按照时间序列执行处理的程序，或者可以是按照并行方式执行处理，或者在需要的定时(诸如在程序被调用的定时)执行处理的程序。
<第五实施例>
(电视装置的配置示例)
图40图示应用本技术的电视装置的示意性配置。电视装置900包括：天线901；调谐器902；解复用器903；解码器904；视频信号处理单元905；显示单元906；音频信号处理单元907；扬声器908；以及外部接口单元909。另外，电视装置900包括控制单元910、用户接口单元911等。
调谐器902从由天线901接收的广播波信号选择期望的频道，执行解调，并将获取的编码比特流输出到解复用器903。
解复用器903从编码比特流提取当前观看节目的视频或音频的分组，并将所提取的分组的数据输出到解码器904。另外，解复用器903将诸如EPG(电子节目指南)等的数据的分组提供给控制单元910。此外，在执行扰频的情况下，使用解复用器等释放扰频。
解码器904执行分组的解码处理，并将通过解码处理生成的视频数据输出到视频信号处理单元905，并将音频数据输出到音频信号处理单元907。
视频信号处理单元905执行视频数据的噪声去除、根据用户设置的视频处理等。视频信号处理单元905生成要显示在显示单元906上的节目的视频数据、根据经由网络提供的应用的处理的图像数据等。另外，视频信号处理单元905生成用于显示诸如项目选择屏幕的菜单屏幕等的视频数据，并将所生成的视频数据重叠在节目的视频数据上。视频信号处理单元905基于如上生成的视频数据生成驱动信号，并驱动显示单元906。
显示单元906基于从视频信号处理单元905提供的驱动信号驱动显示设备(例如，液晶显示设备等)，从而显示节目的视频等。
音频信号处理单元907执行诸如音频数据的噪声去除的预定处理，在该处理或者音频数据的放大处理之后执行音频数据的D/A转换处理，并将获得的数据提供给扬声器908，从而执行音频输出。
外部接口单元909是用于到外部设备或网络的连接的接口，并发送/接收诸如视频数据或音频数据的数据。
用户接口单元911被连接到控制单元910。用户接口单元911由操作开关、遥控信号接收单元等配置，并向控制单元910提供根据用户操作的操作信号。
控制单元910由CPU(中央处理单元)、存储器等配置。存储器存储由CPU执行的程序、由CPU执行处理所需的各种数据、EPG数据、经由网络获取的数据等。在诸如电视装置900开启的预定定时由CPU读取并执行存储在存储器中的程序。通过执行程序，CPU执行每个单元的控制，使得电视装置900根据用户操作进行操作。
另外，在电视装置900中，为了将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910，设置了总线912。
在这样配置的电视装置中，在解码器904中实现根据本申请的解码设备(解码方法)的功能。因此，可以将具有多个视点的图像的提高的编码效率的编码流解码。
<第六实施例>
(移动电话的配置示例)
图41图示应用本技术的移动电话的示意性配置。移动电话920包括：通信单元922；音频编解码器；摄像装置单元926；图像处理单元927；复用/分离单元928；记录/再现单元929；显示单元930；以及控制单元931。这些经由总线933互连。
另外，天线921被连接到通信单元922，且扬声器924和麦克风925被连接到音频编解码器923。此外，操作单元932被连接到控制单元931。
移动电话920执行各种操作，诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、图像捕获、以及以诸如语音呼叫模式和数据通信模式的各种模式下的数据记录。
在语音呼叫模式下，由麦克风925生成的音频信号由音频编解码器923转换为音频数据或压缩，并将得到的信号提供给通信单元922。通信单元922对音频数据执行调制处理、频率转换处理等，从而生成传输信号。另外，通信单元922将传输信号提供给天线921，以发送到图中未示出的 基站。此外，通信单元922对由天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，并将所获取的音频数据提供给音频编解码器923。音频编解码器923执行音频数据的数据解压，并将音频数据转换为模拟音频信号，并将得到的信号输出到扬声器924。
另外，在数据通信模式中，在发送邮件的情况下，控制单元931接收通过对操作单元932的操作输入的字符数据，并将输入的字符显示在显示单元930上。此外，控制单元931基于来自操作单元932的用户的指令等生成邮件数据，并将所生成的邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并从天线921发送获取的传输信号。另外，通信单元922对由天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复邮件数据。该邮件数据被提供给显示单元930，由此显示邮件的内容。
另外，移动电话920可以使用记录/再现单元929将接收到的邮件数据存储在存储介质中。存储介质可以是任意可重写的存储介质。例如，存储介质是诸如RAM或内置型闪存存储器的半导体存储器、硬盘、磁盘、磁光盘、光盘，或者诸如USB(通用串行总线)存储器或存储卡的可移除介质。
在数据通信模式下，在图像数据被发送的情况下，由摄像装置单元926生成的图像数据被提供给图像处理单元927。图像处理单元927执行图像数据的编码处理，从而生成编码数据。
复用/分离单元928根据预定系统将由图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据复用，并将复用数据提供给通信单元922。通信单元922执行复用数据的调制处理、频率转换处理等，并从天线921发送获取的传输信号。另外，通信单元922对由天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复复用数据。该复用数据被提供给复用/分离单元928。复用/分离单元928分离复用数据，并将编码数据提供给图像处理单元927，并将音频数据提供给音频编解码器923。图像处理单元927执行编码数据的解码处理，从而生成图像数据。该图像数据被提供给显示单元930，由此显示接收的图像。音频编解码器923将音频数据转换为模拟音频信号，并将转换的模拟音频信号提供给扬声器924，从而输出接收的音频。
在这样配置的移动电话设备中，以图像处理单元927实现根据本申请的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以提高具 有多个视点的图像的编码效率。另外，可以将具有多个视点的图像的提高的编码效率的编码流解码。
<第七实施例>
(记录和再现设备的配置示例)
图42图示应用本技术的记录和再现设备的示意性配置。记录和再现设备940例如将接收的广播节目的音频数据和视频数据记录在记录介质上，并在根据用户的指令的定时为用户提供记录的数据。另外，记录和再现设备940例如可以从另外的设备获取音频数据和视频数据，并将该音频数据和视频数据记录在记录介质上。此外，记录和再现设备940将记录在记录介质上的音频数据和视频数据解码并输出，由此可以在监视器设备等中执行图像的显示或音频的输出。
记录和再现设备940包括：调谐器941；外部接口单元942；编码器943；HDD(硬盘驱动)单元944；盘驱动器945；选择器946；解码器947；OSD(屏幕上显示)单元948；控制单元949；以及用户接口单元950。
调谐器941从由图中未示出的天线接收的广播信号中选择期望的频道。调谐器941将通过解调期望频道的接收信号获取的编码比特流输出到选择器946。
外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存存储器接口等至少之一配置。外部接口单元942是用于到外部设备、网络、存储卡等的连接的接口，并执行要记录的视频数据、音频数据等的数据接收。
当从外部接口单元942提供的视频数据和音频数据未被编码时，编码器943根据预定系统将视频数据和音频数据编码，并将编码的比特流输出到选择器946。
HDD单元944将诸如视频和音频、各种程序、其它数据等的内容数据记录在内置硬盘上，并在再现等的时间从硬盘读取所记录的数据。
盘驱动器945执行加载的光盘的信号记录和信号再现。光盘例如是DVD盘(DVD-Video(视频)、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。
当记录了视频或音频时，选择器946选择从调谐器941或编码器943提供的编码比特流中任何一个，并将所选择的码比特流提供给HDD单元 944和盘驱动器945之一。另外，当再现视频或音频时，选择器946将从HDD单元944或者盘驱动器945输出的编码比特流提供给解码器947。
解码器947执行编码比特流的解码处理。解码器947将通过执行解码处理生成的视频数据提供给OSD单元948。另外，解码器947输出通过执行解码处理生成的音频数据。
OSD单元948生成用于显示诸如项目选择菜单等的菜单屏幕的视频数据，并输出所生成的视频数据，以与从解码器947输出的视频数据重叠。
用户接口单元950被连接到控制单元949。用户接口单元950由操作开关、遥控信号接收单元等配置，并向控制单元949提供根据用户操作的操作信号。
通过使用CPU、存储器等配置控制单元949。存储器存储由CPU执行的程序以及由CPU执行处理所需的各种数据。在诸如记录和再现设备940开启的预定定时由CPU读取并执行存储在存储器中的程序。CPU执行程序，从而执行每个单元的控制，使得记录和再现设备940根据用户操作进行操作。
在这样配置的记录和再现设备中，以解码器947实现根据本申请的解码设备(解码方法)的功能。因此，可以解码具有多个视点的图像的提高的编码效率的编码流。
<第八实施例>
<成像装置的配置示例>
图43是图示应用本技术的成像装置的示意性配置的示例的图。成像装置960对被摄体成像，并将被摄体的图像显示在显示单元上，或者将被摄体的图像作为图像数据记录在记录介质上。
成像装置960包括：光学块961；成像单元962；摄像装置信号处理单元963；图像数据处理单元964；显示单元965；外部接口单元966；存储器单元967；媒体驱动器968；OSD单元969；以及控制单元970。另外，用户接口单元971被连接到控制单元970。此外，经由总线972互连图像数据处理单元964、外部接口单元966、存储器单元967、媒体驱动器968、OSD单元969、控制单元970等。
通过使用聚焦镜头、光阑机构等配置光学块961。光学块961在成像单元962的成像表面上形成被摄体的光学图像。通过使用CCD或CMOS 图像传感器配置成像单元962，且成像单元962通过光电转换根据光学图像生成电信号，并将所生成的电信号提供给摄像装置信号处理单元963。
摄像装置信号处理单元963对从成像单元962提供的电信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正和颜色校正。摄像装置信号处理单元963将摄像装置信号处理之后的图像数据提供到图像数据处理单元964。
图像数据处理单元964执行从摄像装置信号处理单元963提供的图像数据的编码处理。图像数据处理单元964将通过执行编码处理生成的编码数据提供给外部接口单元966或者媒体驱动器968。另外，图像数据处理单元964执行从外部接口单元966或媒体驱动器968提供的编码数据的解码处理。图像数据处理单元964将通过执行解码处理生成的图像数据提供给显示单元965。另外，图像数据处理单元964执行将从摄像装置信号处理单元963提供的图像数据提供给显示单元965的处理，并将从OSD单元969获取的显示数据与图像数据重叠地提供给显示单元965。
OSD单元969生成显示数据(诸如由符号、字符或图形配置的图标或菜单屏幕)，并将所生成的显示数据输出到图像数据处理单元964。
外部接口单元966例如由USB输入/输出端子等配置，并在图像被打印的情况下被连接到打印机。另外，驱动器按照需要被连接到外部接口单元966，诸如磁盘或光盘的可移除被适当地安装，且按照需要安装从可移动存储介质读取的计算机程序。此外，外部接口单元966包括被连接到诸如LAN或因特网的预定网络的网络接口。例如，根据来自用户接口单元971的指令，控制单元970能够从媒体驱动器968读取编码数据，并将所读取的编码数据从外部接口单元966提供到经由网络连接的另一个设备。另外，控制单元970能够通过外部接口单元966获取经由网络从另一个设备提供的编码数据或图像数据，并将所获取的数据提供给图像数据处理单元964。
作为由媒体驱动器968驱动的记录媒体，例如使用任意可读/写可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。另外，作为可移除介质的记录介质的类型是任意的，因此可以是带设备、盘或存储卡。此外，可以将非接触IC(集成电路)卡等用作记录介质。
另外，通过将媒体驱动器968和记录介质整合在一起，例如，可以由非便携记录介质(诸如内置型硬盘驱动器或SSD(固态驱动器))配置记录介 质。
通过使用CPU配置控制单元970。存储器单元967存储由控制单元970执行的程序、由控制单元970执行处理所需的各种数据等。在诸如成像装置960开启的预定定时由控制单元970读取并执行存储在存储器单元967中的程序。控制单元970执行程序，从而执行每个单元的控制，使得成像装置960根据用户操作进行操作。
在这样配置的成像装置中，以图像数据处理单元964实现根据本申请的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以提高具有多个视点的图像的编码效率。另外，可以将具有多个视点的图像的提高的编码效率的编码流解码。
<第九实施例>
<其它示例>
在上述说明书中，虽然描述了应用本技术的设备的示例，但是本技术不限于此。因此，本技术可以被应用为安装到配置这种设备的设备的所有配置，例如，作为系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元，或者通过将其它功能加到单元获取的装备等(换言之，设备的配置的一部分)。
(视频装备的配置示例)
将参考图44描述本技术被应用为装备的情况的示例。图44图示应用本技术的视频装备的示意性配置的示例。
最近，正在进行多功能电子设备的实现，且在其开发或制造中，在提供配置的一部分用于销售、提供等的情况下，不仅存在应用具有一个功能的配置的情况，还存在应用通过结合多个具有有关功能的配置获取的具有多个功能的一个装备的情况，这种情况被广泛地使用。
图44中图示的视频装备1300具有这种多功能配置，并通过将具有与图像编码或图像解码(任何之一或二者)有关的功能的设备和具有与该功能有关的其它功能的设备相结合获取视频装备1300。
如图44中图示的，视频装备1300包括：包括视频模块1311、外部存储器1312、电力管理模块1313、前端模块1314等的模块组以及具有连接1312、摄像装置1322、传感器1323等的有关功能的设备。
通过将彼此有关的若干组分功能布置在一起，模块被形成为包含具有 整体性的功能的部件。虽然特定物理配置是任意的，例如，可以考虑在线路板等上通过布置各自具有功能的多个处理器、诸如电阻器或电容器的电子电路部件以及其它器件等以整合在一起来获取的模块。另外，可以考虑通过将模块与其它模块、处理器等相结合来形成新的模块。
在图44中图示的例子中，通过将具有与图像处理有关的功能的配置相结合获取视频模块1311，视频模块1311包括：应用处理器；视频处理器；宽带调制解调器1333；以及RF模块1334。
通过在半导体芯片上集成具有预定功能的配置作为SOC(片上系统)获取处理器，例如，还存在被称为系统LSI(大规模集成)等的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)，包括CPU、ROM、RAM等的配置以及使用它们执行的程序(软件配置)，或者组合了上述两个配置的配置。例如，可以配置使得处理器包括逻辑电路、CPU、ROM、RAM等，通过逻辑电路(硬件配置)实现一些功能，并通过由CPU执行程序(软件配置)实现其它功能。
图44中图示的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，由应用处理器1331执行的应用可以不仅执行计算处理，而且按照需要控制诸如视频处理器1332的视频模块1311的内部和外部的配置。
视频处理器1332是具有与图像编码和图像解码(其中之一或两者)有关的功能的处理器。
宽带调制解调器1333是执行与通过诸如因特网或公共电话网络的宽带线路执行的有线或无线(或其二者)宽带通信有关的处理的处理器(或模块)。例如，宽带调制解调器1333将要发送的数据(数字信号)通过数字调制等转换为模拟信号，或者解调接收的模拟信号以转换为数据(数字信号)。例如，宽带调制解调器1333能够执行任意信息的数字调制/解调，任意信息诸如是由视频处理器1332处理的图像数据、图像数据被编码的流、应用程序、设置数据等。
RF模块1334是对经由天线发送/接收的RF(射频)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等生成RF信号。另外，例如，RF模块1334通过对经由前端模块1314接收的RF信号执行频率转换等生成基带信号。
另外，如图44中的虚线1341表示的，应用处理器1331和视频处理器1332可以被整合以配置为一个处理器。
外部存储器1312是设置在视频模块1311外部的模块，其包括由视频模块1311使用的存储设备。外部存储器1312的存储设备可以用特定的物理配置来实现。然而，一般地，由于存储设备被频繁地用于存储具有大容量的数据(诸如以帧为单位配置的图像数据)，优选通过具有相对低成本的大容量的诸如DRAM(动态随机存取存储器)的半导体存储器实现存储设备。
电力管理模块1313管理并控制对视频模块1311(视频模块1311内的每个配置)的供电。
前端模块1314是提供RF模块1334的前端功能(天线侧的发送/接收端电路)的模块。如图44中图示的，前端模块1314例如包括天线单元1351、滤波器1352以及放大单元1353。
天线单元1351包括发送/接收无线信号的天线和其外围配置。天线单元1351发送从放大单元1353提供的信号作为无线信号，并将接收的无线信号作为电子信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号执行滤波处理等，并将处理之后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并将放大的RF信号提供给天线单元1351。
连接1321是具有与到外部的连接有关的功能的模块。连接1321的物理配置是任意的。例如，连接1321包括：具有除了宽带调制解调器1333对应的通信规范之外的通信功能的配置、外部输入/输出端子等。
例如，连接1321可以被配置为包括具有与无线电通信规范兼容的通信功能的模块以及发送/接收与该规范兼容的信号的天线，无线电通信规范诸如是蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真；注册商标))、NFC(近场通信)以及IrDA(红外数据协会)。另外，例如，连接1321可以被配置为包括具有与有线通信规范兼容的通信功能的模块以及与该规范兼容的端子，有线通信规范诸如是USB(通用串行总线)和HDMI(注册商标)(高清晰度多媒体接口)。此外，例如，连接1321可以被配置为具有模拟输入/输出端子等的附加数据(信号)发送功能等。
另外，连接1321可以被配置为包括作为数据(信号)的发送目的地设备。例如，连接1321可以被配置为包括执行针对记录介质的数据读取或 数据写入的驱动器(不仅包括可移除介质，而且包括硬盘、SSD(固态驱动器)、NAS(网络附加存储)等)，记录介质诸如是磁盘、光盘、磁光盘或半导体存储器。此外，连接1321可以被配置为包括图像或音频的输出设备(监视器、扬声器等)。
摄像装置1322是具有用于通过对被摄体成像获取被摄体的成像数据的功能的模块。通过由摄像装置1322执行的成像处理获取的图像数据例如被提供到视频处理器1332，并被编码。
传感器1323是具有任意传感器的功能的模块，任意传感器诸如是音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁标识传感器、碰撞传感器或温度传感器。例如由传感器1323检测的数据被提供给应用处理器1331，并由应用等使用。
在上面呈现的描述中，被描述为模块的每个配置可以由处理器实现，且被描述为处理器的每个配置可以由模块实现。
如后面将描述的，本技术可以应用于具有如上所述的配置的视频装备1300的视频处理器1332。因此，视频装备1300可以被配置为应用本技术的装备。
(视频处理器的配置示例)
图45图示应用本技术的视频处理器1332(图44)的示意性配置的示例。
在图45中所图示的示例中，视频处理器1332具有用于接收视频信号和音频信号的输入以及根据预定系统将所接收的信号编码的功能，以及用于将编码的视频数据和编码的音频数据解码以及再现并输出视频信号和音频信号的功能。
如图45中图示的，视频处理器1332包括：视频输入处理单元1401；第一图像放大/缩小单元1402；第二图像放大/缩小单元1403；视频输出处理单元1404；帧存储器1405；以及存储器控制单元1406。另外，视频处理器1332包括：编码/解码引擎1407；视频ES(基础流)缓冲器1408A和1408B，以及音频ES缓冲器1409A和1409B。另外，视频处理器1332包括：音频编码器1410；音频解码器1411；复用器(MUX)1412；解复用器(DMUX)1413；以及流缓冲器1414。
视频输入处理单元1401例如获取从连接1321(图44)等输入的视频信 号，并将所获取的视频信号转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换和图像放大/缩小处理。第二图像放大/缩小单元1403根据经由视频输出处理单元1404的输出目的地的格式对图像数据执行图像放大/缩小处理，或者执行与第一图像放大/缩小单元1402的处理相似的格式转换、图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换为模拟信号、等，并将得到的信号作为再现的视频信号例如输出到连接1321(图44)等。
帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的用于图像数据的存储器。帧存储器1405被实现为诸如DRAM的半导体存储器。
存储器控制单元1406接收从编码/解码引擎1407提供的同步信号，并控制对帧存储器1405的存取，以根据被写入在存取管理表1406A中的用于帧存储器1405的存取时间表进行写入/读取。由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理更新存取管理表1406A。
编码/解码引擎1407执行图像数据的编码处理，并执行通过将图像数据编码获取的视频流的解码处理。例如，编码/解码引擎1407将从帧存储器1405读取的图像数据编码，并顺序地将读取的图像数据作为视频流写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407从视频ES缓冲器1408B顺序地读取视频流，将所读取的视频流解码，并将所解码的视频流作为图像数据顺序地写入到帧存储器1405中。编码/解码引擎1407在该编码或解码处理中使用帧存储器1405作为工作区。另外，编码/解码引擎1407例如在启动每个宏块的处理的定时向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A缓存由编码/解码引擎1407生成的视频流，并将视频流提供给复用器(MUX)1412。视频ES缓冲器1408B缓存从解复用器(DMUX)1413提供的视频流，并将视频流提供给编码/解码引擎1407。
视频ES缓冲器1409A缓存由音频编码器1410生成的音频流，并将音频流提供给复用器(MUX)1412。音频ES缓冲器1409B缓存从解复用器(DMUX)1413提供的音频流，并将音频流提供给音频解码器1411。
音频编码器1410将例如从连接1321(图44)等输入的音频信号例如转 换为数字信号，并根据诸如MPEG音频系统或AC3(音频码3号(AudioCode number 3))系统的预定系统将所转换的音频信号编码。音频编码器1410顺序地将作为通过将音频信号编码获取的数据的音频流写入音频ES缓冲器1409A中。音频解码器1411将从音频ES缓冲器1409B提供的音频流解码，执行解码音频流例如到模拟信号等的转换，并将所转换的信号作为再现音频信号例如提供给连接1321(图44)等。
复用器(MUX)1412复用视频流和音频流。复用方法(换言之，通过复用生成的比特流的格式)是任意的。另外，在复用时，复用器(MUX)1412可以将预定头信息等添加到比特流。换言之，复用器(MUX)1412能够通过复用处理来转换流的格式。例如，通过复用视频流和音频流，复用器(MUX)1412将视频流和音频流转换为作为具有用于发送的格式的比特流的传输流。另外，例如，通过复用视频流和音频流，复用器(MUX)1412将视频流和音频流转换为具有用于记录的格式的数据(文件数据)。
解复用器(DMUX)1413使用与由复用器(MUX)1412执行的复用处理对应的方法对视频流和音频流被复用的比特流进行解复用。换言之，解复用器(DMUX)1413从自流缓冲器1414读取的比特流提取视频流和音频流(视频流和音频流被分开)。换言之，解复用器(DMUX)1413能够通过解复用处理来转换(由复用器(MUX)1412执行的转换的逆转环)流的格式。例如，解复用器(DMUX)1413通过流缓冲器1414获取例如从连接1321(图44)、宽带调制解调器1333等提供的传输流，并将所获取的传输流解复用，从而将传输流转换为视频流和音频流。另外，例如，解复用器(DMUX)1413通过流缓冲器1414获取例如通过连接1321(图44)从各种记录介质读取的文件数据，并将所获取的文件数据解复用，从而将文件数据转换为视频流和音频流。
流缓冲器1414缓存比特流。例如，流缓冲器1414缓存从复用器(MUX)1412提供的传输流，并在预定定时或基于来自外部的请求将传输流提供到例如连接1321(图44)、宽带调制解调器1333(图44)等。
另外，例如，流缓冲器1414缓存从复用器(MUX)1412提供的文件数据，并在预定定时或者基于从外部发送的请求将文件数据例如提供到连接1321(图44)等，以记录在各种记录媒体的任何一个中。
此外，流缓冲器1414缓存例如通过连接1321(图44)、宽带调制解调器1333(图44)等获取的传输流，并在预定定时或基于来自外部的请求等将传输流提供到解复用器(DMUX)1413。
另外，流缓冲器1414缓存例如通过连接1321(图44)等从各种记录媒体读取的文件数据，并在预定定时或基于来自外部等的请求等将文件数据提供到解复用器(DMUX)1413。
接下来，将描述具有这种视频处理器1332的操作的示例。例如，从连接1321(图44)等输入到视频处理器1332的视频信号等由视频输入处理单元1401根据预定系统(诸如4:2:2Y/Cb/Cr系统)转换为数字图像数据，并被顺序地写入到帧存储器1405中。由第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取该数字图像数据，并对数字图像数据执行到诸如4:2:0Y/Cb/Cr系统等的预定系统的格式转换和放大/缩小处理，并将处理的数字图像数据再次写入到帧存储器1405中。该图像数据由编码/解码引擎1407编码，并作为视频流写入到视频ES缓冲器1408A中。
另外，从连接1321(图44)等输入到视频处理器1332的音频信号由音频编码器1410编码，并作为音频流被写入到音频ES缓冲器1409A中。
存储在视频ES缓冲器1408A中的视频流和存储在音频ES缓冲器1409A中的音频流被复用器(MUX)1412读取并复用，并被转换为传输流、文件数据等。由复用器(MUX)1412生成的传输流被缓存到流缓冲器1414中，然后例如通过连接1321(图44)、宽带调制解调器1333(图44)等被输出到外部网络。另外，由复用器(MUX)1412生成的文件数据被缓存到流缓冲器1414中，然后例如被输出到连接1321(图44)等，并记录在各种记录媒体的任何一个中。
另外，例如通过连接1321(图44)、宽带调制解调器1333(图44)等从外部网络输入到视频处理器1332的传输流被缓存在流缓冲器1414中，然后由解复用器(DMUX)1413解复用。另外，例如通过连接1321(图44)等从各种记录媒体的任何一个读取的且被输入到视频处理器1332的文件数据被缓存在流缓冲器1414中，然后由解复用器(DMUX)1413解复用。换言之，输入到视频处理器1332的传输流或文件数据由解复用器(DUMX)1413分离为视频流和音频流。
通过音频ES缓冲器1409B将音频流提供到音频解码器1411并将其解码，并再现音频信号。另外，视频流被写入在视频ES缓冲器1408B中，然后由编码/解码引擎1407顺序地读取，被解码，并被写入在帧存储器1405中。处理解码图像数据以由第二图像放大/缩小单元1403放大或缩小，并写入在帧存储器1405中。然后，解码图像数据由视频输出处理单元1404读取，具有被转换到诸如4:2:2Y/Cb/Cr系统的预定系统的格式， 并进一步转换为模拟信号，且再现并输出视频信号。
在本技术被应用于这样配置的视频处理器1332的情况下，根据上述每个实施例的本技术可以被应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407可以被配置为具有根据第一到第三实施例中任何一个的编码设备和解码设备的功能。通过这样配置，视频处理器1332能够获取与上面参考图1到图38描述的优点相同的优点。
另外，在编码/解码引擎1407中，本技术(换言之，根据上述每个实施例的图像编码设备和图像解码设备的功能)可以通过诸如逻辑电路的硬件实现，可以通过诸如内置程序的软件实现，或可以通过硬件和软件二者实现。
(视频处理器的另一个配置示例)
图46是图示应用本技术的视频处理器1332(图44)的示意性配置的另一个示例的图。在图46图示的示例的情况下，视频处理器1332具有用于根据预定系统编码/解码视频数据的功能。
更具体地，如图46中图示的，视频处理器1332包括：控制单元1511；显示接口1512；显示引擎1513；图像处理引擎1514；以及内部存储器1515。另外，视频处理器1332包括：编解码器引擎1516；存储器接口1517；复用器/解复用器(MUX/DMUX)1518；网络接口1519；以及视频接口1520。
控制单元1511控制布置在视频处理器1332内的处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。
如图46中图示的，控制单元1511例如包括主CPU 1531、副CPU 1532以及系统控制器1533。主CPU 1531执行用于控制布置在视频处理器1332内的每个处理单元的操作的程序。主CPU 1531根据程序等生成控制信号，并将控制信号提供给每个处理单元(换言之，控制每个处理单元的操作)。副CPU 1532实现主CPU 1531的辅助角色。例如，副CPU 1532执行由主CPU执行的程序等的子处理、副例程等。系统控制器1533控制主CPU1531和副CPU 1532的操作，诸如要由主CPU 1531和副CPU 1532执行的程序的指定。
显示接口1512在控制单元1511的控制下将图像数据例如输出到连接1321(图44)等。例如，显示接口1512将作为数字数据的图像数据转换为模拟信号，并将图像数据作为是数字数据的图像数据或再现视频信号输出 到连接1321(图44)的监视设备等。
在控制单元1511的控制下，显示引擎1513对图像数据执行诸如格式转换、大小转换以及色域转换的各种转换处理，以调整到显示图像等的监视设备的硬件规格。
在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定图像处理，诸如用于提高图像质量的滤波处理等。
内部存储器1515是设置在由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的视频处理器1332内部的存储器。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间执行数据互换。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并按照需要(例如，根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。虽然该内部存储器1515可以由任何存储设备实现，但是一般地，内部存储器1515被频繁地用于存储具有小容量的数据(诸如以块为单位配置的图像数据或参数)，因此，优选由具有相对小容量(例如，相比于外部存储器1312)和高响应速度的半导体存储器(诸如SRAM(静态随机存取存储器))来实现。
编解码器引擎1516执行与编码或解码图像数据有关的处理。编解码器引擎1516对应的编码/解码系统是任意的，其数目可以是一个或两个或更多。例如，编解码器引擎1516可以包括多个编码/解码系统的编解码器功能，并通过使用多个编码/解码系统中选择的一个执行图像数据的编码或编码数据的解码。
在图46中图示的示例中，编解码器引擎1516例如包括作为与编解码器有关的处理的功能块的MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551。
MPEG-2视频1541是用于根据MPEG-2系统编码或解码图像数据的功能块。AVC/H.2641542是用于根据AVC系统编码或解码图像数据的功能块。另外，HEVC/H.2651543是用于根据HEVC系统编码或解码图像数据的功能块。HEVC/H.265(可伸缩)1544是用于根据HEVC系统可伸缩编码或可伸缩解码图像数据的功能块。HEVC/H.265(多视图)1545是用于根据HEVC系统多视点编码或多视点解码图像数据的功能块。
MPEG-DASH 1551是用于根据MPEG-DASH(MPEG-HTTP上动态自适应流)系统发送/接收图像数据的功能块。MPEG-DASH是用于通过使用HTTP(超文本传输协议)流送视频的技术，其具有这样的特征：以片段为单位在预先准备的具有相互不同分辨率等的多个编码数据中选择其一，并进行发送。MPEG-DASH 1551执行与规范兼容的流的生成、流的传输控制等，且使用上述MPEG-2视频1541或者HEVC/H.265(多视图)1545来编码/解码图像数据。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517被提供到外部存储器1312。另外，从外部存储器1312读取的数据通过存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用器/解复用器(MUX DMUX)1518复用或解复用与图像有关的各种数据，诸如编码数据、图像数据或视频信号的比特流。复用/解复用方法是任意的。例如，在复用处理时，复用/解复用(MUX DMUX)1518可能不仅将多个数据布置在一个中，而且将预定头信息等加入到数据。另外，在解复用处理时，复用/解复用(MUX DMUX)1518可以不仅将一个数据分割为多个部分，而且将预定头信息等加入到分割的数据。换言之，复用器/解复用器(MUX DMUX)1518能够通过复用/解复用处理转换数据的格式。例如，复用器/解复用器(MUX DMUX)1518可以通过复用比特流，将比特流转换为传输流，传输流是用于传输的格式的比特流或者用于记录的文件格式的数据(文件数据)。明显地，可以通过解复用处理执行逆转换。
网络接口1519是专用接口，诸如宽带调制解调器1333(图44)或连接1321(图44)。视频接口1520是专用接口，诸如连接1321(图44)或摄像装置1322(图44)。
接下来，将描述该视频处理器1332的操作的示例。例如，当例如通过连接1321(图44)、宽带调制解调器1333(图44)等从外部网络接收传输流时，传输流通过网络接口1519被提供给复用/解复用(MUX DMUX)1518，被解复用，并由编解码器引擎1516解码。对通过编解码器引擎1516执行的解码处理获取的图像数据，例如由图像处理引擎1514执行预定图像处理，并由显示引擎1513执行预定转换，所得到的图像数据通过显示接口1512被提供给例如连接1321(图44)等，且图像被显示在监视器上。另外，例如，通过由编解码器引擎1516执行的解码处理获取的图像数据由编解码器引擎1516进行再编码，由复用/解复用(MUX  DMUX)1518复用，转换为文件数据，通过视频接口1520输出到例如连接1321(图44)等，并记录在各种记录媒体中的任一个上。
另外，例如，通过对经由连接1321(图44)等从图中未图示的记录介质读取的图像数据进行编码获取的编码数据的文件数据通过视频接口1520被提供给复用/解复用(MUX DMUX)1518，被解复用，并由编解码器引擎1516解码。对通过编解码器引擎1516执行的解码处理获取的图像数据，由图像处理引擎1514执行预定图像处理，并由显示引擎1513执行预定转换，且所得到的图像数据通过显示接口1512被提供给例如连接1321(图44)等，且图像被显示在监视器上。此外，例如，通过由编解码器引擎1516执行的解码处理获取的图像数据由编解码器引擎1516进行再编码，由复用/解复用(MUX DMUX)1518复用，转换为传输流，通过网络接口1519提供到例如连接1321(图44)、宽带调制解调器1333(图44)等，并发送到图中未图示的另一个设备。
另外，例如使用内部存储器1515或外部存储器1312执行设置在视频处理器1332内的处理单元之间的图像数据或其它数据的互换。另外，电力管理模块1313例如控制到控制单元1511的供电。
在本技术被应用于这样配置的视频处理器1332的情况下，根据上述每个实施例的本技术可以被应用于编解码器引擎1516。换言之，例如，编解码器引擎1516可以包括实现根据第一到第三实施例中任何一个的编码设备以及解码设备的功能块。另外，例如，通过这样配置编解码器引擎1516，视频处理器1332能够获取与上面参考图1到图38描述的优点相同的优点。
另外，在编解码器引擎1516中，本技术(换言之，根据上述每个实施例的图像编码设备和图像解码设备的功能)可以通过诸如逻辑电路的硬件实现，可以通过诸如内置程序的软件实现，或可以通过硬件和软件二者实现。
如上，虽然作为示例描述了视频处理器1332的两个配置，但是视频处理器1332的配置是任意的，且可以是除了上述两个配置之外的配置。另外，该视频处理器1332可以由一个半导体芯片或者多个半导体芯片配置。例如，视频处理器1332可以由其中层压有多个半导体的三维层压LSI配置。另外，视频处理器1332可以由多个LSI实现。
(到设备的应用的示例)
视频装备1300可以被内置在处理图像数据的各种设备中。例如，视频装备1300可以内置在电视装置900(图40)、移动电话920(图41)、记录和再现设备940(图42)、成像装置960(图43)等中。通过将视频装备1300内置在其中，设备可以获取与上面参考图1到图38描述的优点相同的优点。
另外，在视频处理器1332被包括在其中的情况下，上述视频装备1300的一些配置可以是应用本技术的配置。例如，仅视频处理器1332可以被配置为应用本技术的视频处理器。另外，例如，如上所述，由虚线1341表示的处理器、视频模块1311等可以被配置为应用本技术的处理器、模块等。此外，例如，可以组合视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314，以配置为应用本技术的视频单元1361。在各配置的任一个配置中，可以获取与上面参考图1到图38描述的优点相同的优点。
换言之，相似于视频装备1300的情况，包括视频处理器的任何配置可以内置在处理图像的各种设备中。通过内置应用本技术的任何配置，相似于视频装备1300的情况，设备可以获取如上面参考图1到图38描述的优点的相同优点。
本技术的实施例不限于上述实施例，可以在不背离本技术的构思的范围内进行各种改变。
例如，本技术可以采用云计算的配置，其中，一个功能被分割，并通过网络由多个设备协作处理。
另外，上述每个流程图中描述的每个步骤可以由一个设备执行，或由多个设备以共享方式执行。
此外，在多个处理器被包括在一个步骤中的情况下，包括在一个步骤中的多个处理器可以由一个设备执行，或由多个设备以共享方式执行。
另外，本技术可以采用如下描述的配置。
(1)一种编码设备，包括：
设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方 向相反的第二方向上的视点的第二图像；以及
编码单元，其通过基于由所述设置单元设置的所述第一参考列表和所述第二参考列表编码所述编码对象的图像，生成编码数据。
(2)根据(1)的编码设备，其中所述设置单元按照所述第一图像指定信息和所述第二图像指定信息的顺序在所述第一参考列表中设置所述第一图像指定信息和所述第二图像指定信息，并且按照所述第二图像指定信息和所述第一图像指定信息的顺序在所述第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息。
(3)根据(1)或(2)的编码设备，还包括：
发送单元，其发送标识视点的标识信息和由所述编码单元生成的编码数据，所述标识信息被分配给所述第一图像、所述第二图像和所述编码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加，
其中，所述设置单元基于所述标识信息将具有下述视点的图像设置为所述第一图像：具有小于编码对象的图像的标识信息的值的标识信息被分配给该视点，并将具有下述视点的图像设置为所述第二图像：具有大于编码对象的图像的标识信息的值的标识信息被分配该视点。
(4)根据(3)的编码设备，其中设置单元基于顺序可靠性信息设置所述第一参考列表和所述第二参考列表，所述顺序可靠性信息标识所述视点标识信息被分配给所述第一图像、所述第二图像和所述编码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加。
(5)根据(3)或(4)的编码设备，其中所述设置单元按照所述标识信息的最大值到最小值的顺序在所述第一参考列表和所述第二参考列表中设置所述第一图像指定信息，并按照所述标识信息的最小值到最大值的顺序在所述第一参考列表和所述第二参考列表中设置所述第二图像指定信息。
(6)一种使用编码设备的编码方法，所述编码方法包括：
设置步骤，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自编码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及
编码步骤，通过基于所述第一图像指定信息和所述第二图像指定信息的所述设置步骤中设置的所述第一参考列表和所述第二参考列表编码所述编码对象的图像，生成编码数据。
(7)一种解码设备，包括：
设置单元，其按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及
解码单元，其基于由所述设置单元设置的所述第一参考列表和所述第二参考列表解码所述解码对象的图像的编码数据。
(8)根据(7)的解码设备，其中所述设置单元按照所述第一图像指定信息和所述第二图像指定信息的顺序在所述第一参考列表中设置所述第一图像指定信息和所述第二图像指定信息，并且按照所述第二图像指定信息和所述第一图像指定信息的顺序在所述第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息。
(9)根据(7)或(8)的解码设备，其中基于标识视点的标识信息，所述设置单元将具有下述视点的图像设置为所述第一图像：具有小于所述解码对象的图像的标识信息的值的标识信息被分配该视点，并将具有下述视点的图像设置为所述第二图像：具有大于所述解码对象的图像的标识信息的值的标识信息被分配该视点，其中所述标识信息被分配给所述第一图像、所述第二图像和所述解码对象的图像的视点，使得值自最存在于所述第一方向的视点起顺序地增加的。
(10)根据(9)的解码设备，其中所述设置单元基于顺序可靠性信息设置所述第一参考列表和所述第二参考列表，所述顺序可靠性信息标识视点标识信息被分配给所述第一图像、所述第二图像和所述解码对象的图像的视点，使得值自最存在所述第一方向的视点起顺序地增加。
(11)根据(9)或(10)的解码设备，其中，所述设置单元按照所述标识信息的最大值到最小值的顺序在所述第一参考列表和所述第二参考列表中设置所述第一图像指定信息，并按照所述标识信息的最小值到最大值的顺序在所述第一参考列表和所述第二参考列表中设置所述第二图像指定信 息。
(12)一种使用解码设备的解码方法，所述解码方法包括：
设置步骤，按照第一顺序在第一参考列表中设置第一图像指定信息和第二图像指定信息，并且按照与所述第一顺序不同的第二顺序在第二参考列表中设置所述第一图像指定信息和所述第二图像指定信息，所述第一图像指定信息指定具有存在于自解码对象的图像的视点起的第一方向上的视点的第一图像，所述第二图像指定信息指定具有存在于与所述第一方向相反的第二方向上的视点的第二图像；以及
解码步骤，基于所述第一图像指定信息和所述第二图像指定信息的所述设置步骤中设置的所述第一参考列表和所述第二参考列表解码所述解码对象的图像的编码数据。
附图标记列表
50  编码设备
51  设置单元
52  编码单元
200 解码设备
201 提取单元
202 解码单元
400 编码设备
401 设置单元
402 编码单元
500 解码设备
501 解码单元
600 编码设备
601 设置单元
602 编码单元
700 解码设备
701 解码单元