用于经编码的立体图像/视频数据的文件格式.pdf

提供了一种用于经编码的图像数据的文件格式，该经编码的图像数据可通过用于显示立体图像的显示设备而被重现为逼真的立体图像。该用于经编码的图像数据的文件格式包括图像数据单元和报头单元，所述图像数据单元包含经编码的立体图像的图像信息，而所述报头单元包含用于解码和重现被包含在图像数据单元中的经编码的立体图像的图像信息的元数据。报头单元可以包括相机报头子单元、编解码器报头子单元和显示报头子单元中的至少一者，其中所述相机报头子单元包含关于用于获取立体图像的左侧相机和右侧相机的信息，所述编解码器报头子单元包含关于立体图像的编码的信息，而所述显示报头子单元包含关于用于接收和重现经编码的立体图像数据的栅格型显示设备的信息。

1.  一种用于经编码的立体图像的数据的文件格式，该文件格式包括：
图像数据单元，该图像数据单元包含所述经编码的立体图像的图像信息；以及
报头单元，该报头单元包含用以对被包含在所述图像数据单元内的经编码的立体图像的图像信息进行解码和重现的元数据。

2.  根据权利要求1所述的文件格式，其中所述报头单元包括相机报头子单元，该相机报头子单元包含关于用以获取所述立体图像的左侧相机和右侧相机的信息。

3.  根据权利要求2所述的文件格式，其中所述相机报头子单元包含左侧图像和右侧图像之间的视差信息，所述左侧图像和右侧图像用于构成所述立体图像。

4.  根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于所述左侧相机与右侧相机之间的距离的信息。

5.  根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于分别由所述左侧相机和右侧相机捕捉的左侧图像和右侧图像的帧速率的信息。

6.  根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于左侧图像和右侧图像之间的同步的信息，所述左侧图像和右侧图像用于构成所述立体图像。

7.  根据权利要求2所述的文件格式，其中所述相机报头子单元包含关于左侧相机和右侧相机的种类的信息，所述左侧相机和右侧相机用于获取所述立体图像。

8.  根据权利要求1所述的文件格式，其中所述报头单元包括编解码器报头子单元，该编解码器报头子单元包含关于对所述立体图像进行编码的信息。

9.  根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含用于指示被包含在所述图像数据单元中的图像信息是否与立体图像或不同类型的图像相对应的信息。

10.  根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含关于构造被包含在所述图像数据单元中的图像信息的方法的信息。

11.  根据权利要求8所述的文件格式，其中所述编解码器报头子单元包含关于用以获取被包含在所述图像数据单元中的图像信息的编码方法的信息。

12.  根据权利要求1所述的文件格式，其中所述报头单元包括显示报头子单元，该显示报头子单元包含关于用以接收和重现所述经编码的立体图像的数据的栅格型显示设备的信息。

13.  根据权利要求12所述的文件格式，其中所述显示报头子单元包含用于指示所述栅格型显示设备的栅格图案的类型的信息，针对所述栅格图案的类型，被包含在所述图像数据单元中的图像信息被优化。

14.  根据权利要求12所述的文件格式，其中所述显示报头子单元包含用于指示所述栅格型显示设备的栅格图案的栅距的信息，针对所述栅格图案的栅距，被包含在所述图像数据单元中的图像信息被优化。

用于经编码的立体图像/视频数据的文件格式
技术领域
本发明涉及图像编解码器，并且特别地，涉及用于经编码的立体图像或视频数据的文件格式。
背景技术
双眼立体图像(在下文中被称为立体图像)包括通过使用左侧相机和右侧相机对对象进行拍摄而获取的一对左侧图像和右侧图像，所述左侧相机和右侧相机彼此之间相距一段预定的距离。由于所述左侧图像和右侧图像是通过对同一对象从不同的拍摄角度进行拍摄而获取的，它们中的图像信息可能会略有不同，这取决于对象的表面性质、光源位置等等。从同一对象获取的左侧图像与右侧图像之间的图像信息的差别被称为视差。
立体图像指的是通过使用左侧相机和右侧相机而分别获取的图像，但还广义地包括通过对平面图像应用预定的转换算法而获取的三维图像。立体图像通常用于给将被显示的对象带来三维效果。
有多种通过使用立体图像给由诸如液晶显示(LCD)装置和等离子显示面板(PDP)装置的平面显示设备进行重现(reproduce)的图像带来三维效果的方法。其中一种方法是使用栅格(barrier)型显示设备。栅格型显示设备由于其能够显示平面图像和立体图像两者而成为引起广泛关注的下一代显示设备。
拼接(merge)组合图像指的是以图线为单位对一对左侧图像和右侧图像的像素进行交替编排而构成的图像。例如，如图1所示，拼接组合图像12可以通过提取并交替编排左侧图像10a的奇数垂直图线像素和右侧图像10b的偶数垂直图线像素而构成。所述拼接组合图像可以通过从左侧图像10a提取偶数垂直图线像素以及从右侧图像10b提取奇数垂直图线像素而构成，或通过从左侧图像10a和右侧图像10b提取水平图线像素而非垂直图线像素来实现。
图2是描绘栅格型显示设备的示意图。如图2所示，在所述栅格型显示设备中，由偏振薄膜或偏振玻璃构成的栅格偏振板被附加或提供到显示设备20的前表面上。线型栅格图案22形成于栅格偏振板上。这类栅格图案能够被简单地划分为垂直图线类和水平图线类。所述栅格图案还可被划分为直线形、锯齿形、对角线形等等，这取决于所述垂直图线或水平图线的细微形状。所述栅格图案的细微图线形状的不同会引起将被显示的图像之间三维效果的差别。
当拼接组合图像由这种栅格型显示设备20来显示时，栅格偏振板22使得左眼24a只能看到左侧图像的像素图线，并使得右眼24b看到右侧图像的像素图线。由此，通过使用所述栅格型显示设备，观看者可以在不使用任何辅助工具的情况下用肉眼看到具有三维效果的图像。近年来，栅格型显示设备被广泛地应用于使用3D电视或诸如移动电话、PMP和DMB接收机的移动电子装置来显示三维图像。
需要有一种能够有效地对立体图像进行编码的方法以使用诸如栅格型显示设备的平面显示设备来显示三维图像。这种方法的一个实例是使用MPEG-2格式的多视角配置(multiview profile)(MVP)。在这种方法中，左侧图像和右侧图像中的一者、例如左侧图像，通过使用对平面图像进行编码的相同方法作为基本层被编码，并且只对另一图像、例如右侧图像中与左侧图像的关联信息进行编码，其中所述右侧图像被用作增强层。然后，平面显示设备从接收到的比特流中解码所述左侧图像和右侧图像，并通过使用经解码的左侧图像和右侧图像来创建及显示拼接合并图像，或可选地显示左侧图像和右侧图像。
已知另一种用于对立体图像进行编码的方法是以帧为单位而不是使用左侧图像和右侧图像来对拼接合并图像进行编码。该方法与上面提到的方法的不同之处在于编码器提取和创建拼接组合图像，并通过使用任何已知的编码方法来以帧为单位对所创建的拼接组合图像进行编码。已知的编码方法的实例可以包括按照JPEG格式对静止图像进行编码的方法以及按照MPEG-1、MPEG-2、MPEG-4、H.264/AVC和VC-1格式对移动图像进行编码的方法。
通过已知的对静止图像或移动图像进行编码的方法来进行编码的图像数据被传送到支持这种编码方法的显示设备，并由该显示设备进行重现，或者被存储在存储介质中并随后由显示设备重现。在这种情况下，可能会需要在图像数据被传送到显示设备之前对由左侧相机和右侧相机获取的图像执行修正工作或编辑工作。例如，涉及安全性的数据、涉及版权的数据等等可以被插入到所述图像数据中。可替换地，通过使用该立体图像，可能会产生特定的内容，或者由于考虑到显示设备的特性，可能会需要对所获取的立体图像进行必要的修正操作。
一般来讲，显示设备为了解码并重现经编码的图像数据，还需要用于指示解码和显示经编码的图像数据所必需的各种附加信息的数据以及用于指示诸如亮度和色度等图像信息的数据。由此，传送到显示设备的数据包括各种附件数据和图像数据。
图3是描述将要传送到显示设备的常规的经编码的图像数据的文件格式的示意图。参见图3，常规的经编码的图像数据的文件格式30大致包括基本报头子单元32和图像数据单元34。这里，所述图像数据单元34可以包含诸如亮度和色度的纹理(texture)信息、作为关于背景或对象的信息的形状信息、动作信息以及各种在编码标准中定义的图像信息。基本报头子单元32可以包含不同于被包含在图像数据单元34中的各种图像信息的元数据，该元数据是显示设备用以对被包含在图像数据单元34中的图像信息进行解码和重现所需的信息。
使用图3中所示的经编码的图像数据的已知文件格式32在不经过改变的情况下对立体图像数据进行重现是有很大的限制性的。这是因为已知数据结构通常用于显示平面图像，而且包含在基本报头子单元32中并被传送到显示设备的信息不能包括对三维图像进行解码及重现所需的所有信息，其中所述三维图像是立体图像。由此，需要有一种新的文件格式，该文件格式可以包含所有对立体图像数据进行解码和重现所需的信息。
发明内容
与平面图像情况不同的是，获取立体图像通常需要使用两个相机来完成。左侧图像和右侧图像具有在亮度和色度上不同的图像信息，这是由在获取立体图像时刻光源的不同位置所决定的。诸如栅格型显示设备的特殊显示设备被用于重现三维图像。然而，由于立体图像的特性和/或显示设备的特性，通过使用经编码的图像数据的常规文件格式将重现逼真三维图像所需的所有信息传送到解码器并不容易。
因此，本发明的技术目的是提供一种经编码的立体图像或视频数据的文件格式，该文件格式使得能够对具有所述特性的立体图像进行有效的编码，由此使得能够生成适于从所获取的立体图像重现三维图像的内容，并使得能够向立体图像的显示设备传送重现逼真三维图像所需的信息。
为了完成上述技术目的，根据本发明的一个方面，提供了一种用于经编码的立体图像的文件格式，该文件格式包括：图像数据单元，包含所述经编码的立体图像的图像信息；以及报头单元，包含用以对被包含在所述图像数据单元内的经编码的立体图像的图像信息进行解码和重现的元数据。
在上述方面中，所述报头单元可以包括下列中的至少一者：相机报头子单元，该相机报头子单元包含关于用以获取所述立体图像的左侧相机和右侧相机的信息；编解码器报头子单元，该编解码器报头子单元包含关于对所述立体图像进行编码的信息；以及显示报头子单元，该显示报头子单元包含关于用以接收和重现所述经编码的立体图像的数据的栅格型显示设备的信息。
在这种情况中，所述相机报头子单元可以包含构成所述立体图像的左侧图像和右侧图像之间的视差信息、关于所述左侧相机与右侧相机之间的距离的信息、关于分别由所述左侧相机和右侧相机捕捉的左侧图像和右侧图像的帧速率的信息、以及关于用以获取所述立体图像的左侧相机和右侧相机的类型的信息中的一者或多者。
所述编解码器报头子单元可以包含用于指示被包含在所述图像数据单元中的图像信息是否与立体图像或不同类型的图像相对应的信息、关于构造被包含在所述图像数据单元中的图像信息的方法的信息、以及关于用以获取被包含在所述图像数据单元中的图像信息的编码方法的信息中的一者或多者。
所述显示报头子单元可以包含下列中的一者或两者：用于指示所述栅格型显示设备的栅格图案的类型的信息，其中被包含在所述图像数据单元中的图像信息被优化；以及用于指示所述栅格型显示设备的栅格图案的栅距的信息，其中被包含在所述图像数据单元中的图像信息被优化。
将被传送到显示设备的经编码的图像数据的常规文件格式通常关注的是平面图像而并不考虑立体图像的性质。由此，常规文件格式不能包含显示设备重现逼真立体图像所需的所有信息。根据本发明，由于提出了适用于能够重现立体图像或既能重现平面图像又能重现立体图像的显示设备的编码立体图像数据的新文件格式，因此用于重现立体图像的显示设备可以重现逼真的三维图像。
特别地，根据本发明，所述文件格式中可以包含关于栅格型显示设备的栅格图案的信息，并且显示设备通过使用关于栅格图案的信息能够重现针对所述栅格图像而优化的三维图像。
附图说明
图1是描述从左侧图像的奇数垂直图线和右侧图像的偶数垂直图线来创建拼接合并图像的方法的示意图；
图2是描述通过使用栅格型显示设备来显示立体图像的原理的示意图；
图3是描述经编码图像数据的常规文件格式的框图；
图4是描述根据本发明的一种实施方式的经编码的立体图像数据的文件格式的框图；
图5是描述图4中所示的文件格式中的相机报头子单元的详细配置的框图；
图6是描述图4中所示的文件格式中的编解码器报头子单元的详细配置的框图；
图7是描述图4中所示的文件格式中的显示报头子单元的详细配置的框图。
具体实施方式
在下文中，本发明的示例性实施方式将会参考附图进行具体描述。随后将要描述的实施方式只意在解释本发明的技术本质，由此本发明的技术本质不应被限于这些实施方式。
图4是描述根据本发明的一种实施方式的经编码的立体图像数据的文件格式的框图。
参见图4，根据该实施方式的文件格式100除了包括基本报头子单元110和图像数据单元150之外，还包括相机报头子单元120、编解码器报头子单元130和显示报头子单元140中的至少一者。根据该实施方式的文件格式100在不修改的情况下使用按照JPEG、MPEG、H.264/AVC格式进行编码的图像(平面图像或按照诸如多视角配置的已知编码协议进行编码的多视角图像)的数据的常规文件格式(基本报头子单元110和图像数据单元150)，并且还包括包含对立体图像进行解码和/或重现所需的附加信息的报头单元(相机报头子单元120、编解码器报头子单元130和/或显示报头子单元140)。
在经编码的图像的数据的常规文件格式中，不同于包含像素图像信息等等的图像数据单元150的部分可被认为是报头单元A。由此，在根据这种实施方式的文件格式100中，相机报头子单元120、编解码器报头子单元130以及显示报头子单元140同基本报头子单元110一起组成一个报头单元A。然而，报头单元110、120、130和140是为了解释方便的目的而任意划分的。
在这种实施方式中使用的报头单元的名称也是为了解释方便的目的而任意使用的。根据本实施方式，在报头子单元120、130和140中包含什么数据(随后会参照附图4、5、6和7作详细说明)是非常重要的，并且其中的具体名称可以根据包含在报头子单元中的信息的性质或其它相关法则而被适当的修改。
根据本实施方式的文件格式100中的报头单元A除了包括基本报头子单元110之外还包括相机报头子单元120、编解码器报头子单元130以及显示报头子单元140。例如，在一些实例中，报头单元A可以包括基本报头子单元120和编解码器报头子单元130，可以包括基本报头子单元110、相机报头子单元120和编解码器报头子单元130，或者可以包括基本报头子单元110、相机报头子单元120、编解码器报头子单元130以及显示报头子单元140。所述报头单元可以包括不同的组合。
在图4中，相机报头子单元120、编解码器报头子单元130和/或显示报头子单元140与基本报头子单元110被相互区分并以预定的顺序被安排，这同样只是为了解释方便的目的。由此，在一些实例中，包含在报头单元A中的组成元素的安排顺序可以被改变。在一些情况下，报头子单元110、120、130和140的信息可以连同其它报头子单元的信息一起被包含在相同的报头子单元中。
现在将参考附图4-7对包含在根据本实施方式的经编码的立体图像的数据的文件格式100中的信息进行具体描述。这里，图5、6和7是示出了如图4中所示的文件格式100中的相机报头子单元120、编解码器报头子单元130和显示报头子单元140的具体配置的框图。
首先，与经编码的图像的数据的常规文件格式(例如，参见图3)中的基本报头子单元和图像数据单元中包含的信息相似或基本相同的信息被包含在基本报头子单元110和图像数据单元150中。在对平面图像进行编码的过程中得到的各种元数据或在对根据多视角配置的多视角图像进行编码的过程中得到的各种元数据可被包含在基本报头子单元110中。然而，正如随后将要描述的一样，用于指示包含在图像数据单元150中的图像信息是否与常规平面图像或立体图像相对应的信息还可以被包含在基本报头子单元110中。
关于以立体图像的像素或块为单位的亮度、色度和形状的信息以及动作信息被包含在图像数据单元150中。包含在图像数据单元150中的信息可以是通过使用预定的编码方法对平面图像进行编码而获取的图像信息、通过使用预定的编码方法对拼接合并图像进行编码而获取的图像信息、或使用已知的多视角配置进行编码的图像信息。
关于用于获取立体图像的左侧相机和右侧相机的信息被包含在相机报头子单元120中。例如，图6a中示出的五种信息类型(块Ca1到块Ca5，具体细节将在随后介绍)可以都被包含在相机报头子单元120中，或者由于所述信息类型是关于左侧相机和右侧相机的独立信息，由此五种信息类型中的一部分可以被包含在报头子单元120中。
用于指示左侧图像与右侧图像之间的图像信息的差别的信息，比如亮度(Y)的差别、色度Cb和Cr的差别或RGB值的差别，也就是视差信息，被包含在块Ca1中。一般来讲，当立体图像是通过使用互相之间相距预定的距离的左侧相机和右侧相机从同一对象获取的时，在左侧图像与右侧图像之间可以存在图像信息的差别，这取决于照明器具(光源)的位置。例如，左侧和右侧图像中的一个可能会比另一个明亮或灰暗。关于图像信息的差别的信息被包含在块Ca1中。
优选地，立体图像的图像信息中的差别应当被考虑用于提高编码效率(压缩效率)或重现逼真的三维图像。这是由于当图像信息中的差别并未体现出来时，整个数据量会增加，并且立体图像的三维效果可能会被破坏。
在一种对左侧图像与右侧图像之间的图像信息中的差别进行编码的方法中，所述差别作为包含在图像数据单元150中的图像信息而被编码。例如，当左侧图像和右侧图像根据多视角配置而被编码时，视差信息作为两个图像之间的关联信息而被包含在图像数据单元150中，并以块、画面或帧为单位被编码。然而，这种编码方法会增加图像数据单元150中的数据量以减少数据压缩率。另一方面，由于用于对视差信息进行编码的单元还在已知的编码器中提供，所述编码器的配置可以是复杂的。应用这种编码方法来对拼接合并图像进行编码将是非常复杂的。解码器具有的刚度(stiffness)使得将不考虑显示设备分辨率或性能而总是考虑视差信息而对立体图像进行重现。
由此，在这种实施方式中，视差信息被包含在相机报头子单元120的块Ca1中，并作为报头信息被传送。由于在通常的静止图像或运动图像中照明器具并不会随着时间的流逝而快速改变，因此能够以预定时间间隔通过在相机报头子单元120中包含视差信息来尽可能地增强编码效率。根据本实施方式，由于可以在考虑到显示设备的分辨率或性能的情况下使用解码器对画面进行修正，在具有不同性质的显示设备中可使用相同的解码器。
可以以多种方式来表述所述视差信息。例如，在存在亮度(或色度)视差的情况中，左侧图像与右侧图像之间的平均亮度值的相对差别(例如，右侧图像的平均亮度值相对于左侧图像的平均亮度值)或绝对差别(例如，左侧图像与右侧图像之间的平均亮度差别)可以被表述为视差信息。左侧图像与右侧图像之间的亮度差别能够以预定的时间间隔进行测量，并可以周期性地被包含在相机报头子单元的块Ca1中。
关于左侧相机与右侧相机之间的距离的信息被包含在块Ca2中。左侧相机与右侧相机之间的距离可以是左侧相机的中心与右侧相机的中心之间的距离，但并不仅限于此。左侧相机与右侧相机之间的距离通常是固定的。然而，这取决于用于获取立体图像的图像采集装置的性质，所述距离也可以周期性地或任意地增加或减少。在这种情况下，所述距离信息可以周期性地或自由地被包含在块Ca2中。
关于左侧相机与右侧相机之间的距离的信息被包含在块Ca2中使得立体图像的中点在具有解码器的显示设备对立体图像进行重现的过程中能够被识别。所述距离信息提供相机与对象之间的距离，从而为重现将被显示的立体图像的逼真三维效果做出贡献。例如，所述距离信息可以向观看立体图像的观看者提供用于观看立体图像或对象与相机之间的实际距离信息的最适宜的距离信息。
关于通过使用左侧相机和右侧相机进行捕捉的图像的每秒帧数(帧/秒，fps)的信息、即关于帧速率的信息被包含在块Ca3中。关于帧速率的信息可以是用于指示左侧相机和右侧相机的帧速率的信息或用于指示与特定基准(比如每秒30帧)之间的差别的信息(例如，10表示当左侧相机每秒捕捉10帧时的帧速率，或20，它是与基准值之间的差别)。可替换地，在一些实例中，左侧相机与右侧相机之间的帧速率的差别值(例如20，它是当假设左侧相机的每秒帧数是30而右侧相机的每秒帧数是10时的差别)可以被包含在块Ca3中。关于帧速率的信息可以周期性地被包含在块Ca3中，或可以根据需要被添加到块Ca3中。
被更广泛使用的数字相机包括诸如CMOS图像传感器或电荷耦合装置(CCD)的图像采集装置。数字相机通常被配置为以每秒30帧的速度捕捉图像。然而，当照明器具比较暗时，数字相机可以以每秒15帧或每秒10帧或更小的速度来捕捉较少数目的图像。特别地，当照明工具(光源)偏离到一侧时，比如当偏离到左侧时，左侧相机具有高照明度并从而以每秒30帧来创建图像。然而，右侧相机具有低照明度并从而以每秒15帧来创建图像。
在这种情况中，由左侧相机和右侧相机所捕捉的立体图像的每秒帧数互不相同。当立体图像由显示设备在不考虑这种差别的情况下进行重现时，很难重现自然且逼真的三维图像。由此，编码器可以在修正每秒帧数之后执行编码过程，但在这种情况下所要传输的数据量会增长。可替换地，解码器需要修正每秒帧数的差别来重新构造立体图像并通过使用显示设备来重现立体图像。由此，关于相机的每秒帧数的信息需要被传输到具有解码器的显示设备。
以包含在Ca3中的关于每秒帧数的信息为基础的在显示设备中修正立体图像的方法可以使用多种方式嵌入，而且本发明不只限于该方法。例如，当左侧相机的每秒帧数是30而右侧相机的每秒帧数是15时，可以通过重复右侧图像的前一帧或通过使用前一图像和随后图像来改写(interpolate)右侧图像的帧来重现不足的右侧图像。
关于左侧图像与右侧图像之间的同步的信息被包含在块Ca4中。例如，如上所述，当左侧相机和右侧相机的每秒帧数互不相同时，需要左侧图像和右侧图像的同步来重现准确的立体图像。当左侧图像和右侧图像的数据量互不相同时，左侧图像与右侧图像之间的编码次数(times)会有所不同。当存储在存储介质中的内容随后在显示设备中被使用时，需要关于左侧图像与右侧图像之间的同步的信息。由此，包含在块Ca4中的关于左侧图像与右侧图像之间的同步的信息通过在显示设备中修正左侧图像与右侧图像之间的暂时(temporal)错误来为重现精确的立体图像做出贡献。
关于用于捕捉立体图像的左侧相机和右侧相机的类型的信息被包含在块Ca5中。关于相机类型的信息可以是用于指示相机是完全高清(Full HD)相机、HD-级相机、或是SD-级相机的关于相机的图像质量的信息，和/或关于诸如CCD图像传感器或CMOS图像传感器的图像采集单元的信息，但并不局限于此。关于左侧相机和右侧相机的类型的信息对显示设备中的立体图像重现过程中的增强图像质量的精确度或增强三维效果有所贡献。
根据本发明的一种实施方式的经编码的立体图像的数据的文件格式100中的编解码器报头子单元130将参考图4和图6进行描述。
关于立体图像的编码的信息被包含在文件格式100的编解码器报头子单元130中。例如，图6中示出的三种信息类型(块Co1到Co3，细节将在下文中描述)都被包含在编解码器报头子单元130中，或者由于所述信息类型是关于立体图像的编码的独立信息，由此所述三种信息类型中的一部分将被包含在编解码器报头子单元130中。
关于将被显示的图像类型的信息将被包含在块Co1中。例如，包含在块Co1中的信息可以是指示包含在图像数据单元150中的图像信息是用于显示平面图像或立体图像或用于显示平面图像或立体图像两者的信息。
块Co1中的信息用以允许显示设备识别包含在图像数据单元150中的图像信息的类型。优选地，显示设备尽可能快地判断出接收到的图像信息或将被重现的图像信息是平面图像还是立体图像。在这种情况下，块Co1的信息可以被尽可能地置于根据本实施方式的文件格式100或数据结构的前端。例如，在一些实例中，包含在块Co1中的信息可以被包含在基本报头子单元110中。
关于构造将要被显示的图像的方法的信息被包含在块Co2中。例如，当包含在块Co2中的信息指示包含在图像数据单元150中的图像信息是立体图像时，用于指示如何构造立体图像的信息可被包含在块Co2中。如上所述，可以使用诸如使用已知编码方法对拼接合并图像进行编码和使用多视角配置对左侧图像和右侧图像两者进行编码的各种方法来对立体图像进行编码。所述信息可被包含在块Co2中。当拼接合并图像由栅格型显示设备显示时，可以使用多种方法(例如，一种左侧图像和右侧图像的垂直图线交替编排的类型或一种水平图线交替编排的类型)来构造所述拼接合并图像，并且所述信息可以同样被包含在块Co2中。
假设由显示设备接收的内容是通过对整个左侧图像和右侧图像的偶数垂直图线进行拼接而获取的立体图像。在这种情况下，可以在显示设备重现左侧图像时观看平面图像并且在显示设备重现接收到的整个内容时观看立体图像。也就是说，栅格型显示设备既可以显示平面图像又可以显示立体图像。在这种情况下，关于构造平面图像和立体图像的方法的信息应当被包含在接收到的信息中。由此，关于构造平面图像和立体图像的方法的信息可以被包含在块Co2中。
关于用以对立体图像进行编码的方法的信息、例如用于指示一类编解码器的信息被包含在块Co3中。此处，立体图像的编码可能意味着对左侧图像和右侧图像进行单独编码或对拼接合并图像进行编码。可以使用诸如JPEG、MPEG-1、MPEG-2、MPEG-4、H.264/AVC和VC-1的各种编解码方法来对立体图像进行编码，并且所述信息被包含在块Co3中。块Co3能被用以指示编解码方法，该方法用于在支持多种编解码方法的解码器中重新构造立体图像或确定接收到的图像数据是否是可被只支持特定编解码方法的解码器解码的数据。由此，块Co3的信息可以被尽可能地置于根据本实施方式的文件格式100或数据结构的前端，这与块Co1中的信息类似。
根据本发明的一种实施方式的经编码的立体图像的数据的文件格式100中的显示报头子单元140将参考图4和图7进行描述。
关于用于显示立体图像的显示设备的信息被包含在根据本实施方式的文件格式100中的显示报头子单元140中。例如，图7中示出的两种信息类型(块D1和块D2，细节将在随后描述)都包含在显示报头子单元140中，或者由于所述信息类型是关于经编码的立体图像的性质的独立信息，由此两种信息类型中可以只有一种信息类型被包含在显示报头子单元140中。显示报头子单元140可以包含关于栅格型显示设备的栅格图案的信息。
关于栅格图案的类型的信息被包含在块D1中，针对栅格图案的类型，立体图像被优化。如上所述，栅格图案的类型可被归类为“1”形、锯齿形以及对角线形，并且该信息被包含在块D1中。关于用于优化立体图像的栅格图案的栅距(pitch)的信息被包含在块D2中。栅格图案的栅距可以在整个屏幕上是常量，或者屏幕边缘处的栅格图案的栅距可以大于或小于屏幕中心处的栅格图案的栅距。该信息被包含在块D2中。
一般来讲，在使用通过左侧图像和右侧图像获取的立体图像来加工内容的过程中，会执行考虑到显示设备的栅格图案的处理或修正图像信息的过程，也就是针对加工内容的调整过程。这意在通过考虑各种存在的栅格图案的类型和栅格图案的栅距来优化针对特定栅格图案的相应内容。当所述内容的栅格图案不同于显示设备的栅格图案时，仍然可能观看立体图像。然而，当栅格图案不互相匹配时，立体图像的三维效果或动态效果将会被破坏。由此，包含在块D1和/或块D2中的信息指示用于优化由显示设备接收到的内容(也就是包含在图像数据单元150中的图像信息)的栅格图案。当显示设备的栅格图案不同于由包含在块D1和/或块D2中的信息指示的栅格图案时，包含在图像数据单元150中的图像信息可以被修正和显示，由此可适用于显示设备的栅格图案。
虽然本发明的实施方式已被具体描述，但对于本领域技术人员而言，这些实施方式显然是对本发明的一些例证，本发明的技术本质可以以多种变形来体现。
本发明有利于在用于编码和/或解码立体图像的装置、具有这种装置的显示设备以及诸如移动电话的移动装置的整个工业领域中使用。