用于产生、传送和接收立体图像的方法及有关设备.pdf

本发明涉及一种用于产生包含合成图像(C)的立体视频流(101)的方法，所述合成图像(C)包含关于右图像(R)和左图像(L)以及至少一个深度图的信息。根据该方法，从右图像(R)和左图像(L)选择像素，然后将所选择的像素加入到立体视频流的合成图像(C)中。该方法还通过使所述两个图像之一不变并且将另一个分解成包含多个像素的区域(R1、R2、R3)，为将右图像(R)的所有像素和左图像(L)的所有像素加入到合成图像(C)中作好准备。然后，将深度图的像素加入到未被右图像和左图像的像素占据的合成图像的区域中。本发明还涉及一种用于从合成图像开始重构左图像和右图像的方法以及一种允许实现所述方法的设备。

权利要求书1.  一种用于产生包含合成图像(C)的立体视频流(101)的方法， 所述合成图像(C)包含关于三维视频内容的右图像(R)和左图像(L) 的信息，其中， 选择所述右图像(R)的像素和所述左图像(L)的像素，并且 将所选择的像素加入到所述立体视频流的合成图像(C)中， 所述方法的特征在于：通过使得所述两个图像之一不变，将另一 个图像分解成总面积等于所述另一个图像(R)的面积的多个区域(R1、 R2、R3)，并且将所述区域加入到所述合成图像(C)中，来将所述 右图像(R)的所有像素以及所述左图像(L)的所有像素加入到所述 合成图像(C)中， 其中，所述合成图像(C)具有比加入所述左图像(L)和右图 像(R)的所有像素所需的尺寸更大的尺寸， 并且其中，在所述加入之后剩余的合成图像(C)的像素中，加 入与所述三维视频内容的像素的深度或视差有关的至少一个深度或视 差图(DM)，所述图针对在接收时重构未在所述立体流中传送的图 像。 2.  根据权利要求1所述的方法，其中，将所述至少一个深度或视 差图(DM)编码为灰度图像。 3.  根据权利要求2所述的方法，其中，由单个亮度信号而不使用 色度信号来传输所述至少一个深度或视差图的视频信息内容。 4.  根据前述权利要求中的任一项所述的方法，其中，所述至少一 个深度或视差图(DM)具有比其原始版本低的分辨率，后者的分辨 率等于所述左图像(L)和右图像(R)的分辨率。 5.  根据权利要求4所述的方法，其中，通过对所述原始深度图进 行4到1的欠采样来获得所述至少一个深度或视差图(DM)。 6.  根据前述权利要求中的任一项所述的方法，其中，所述至少一 个深度或视差图(DM)是与两个右图像(R)或左图像(L)之一关 联的或者与L和R之间的中间视点关联的深度或视差图。 7.  根据前述权利要求中的任一项所述的方法，其中，所述至少一 个深度或视差图(DM)包含与右图像(R)关联的深度或视差图以及 与左图像(L)关联的深度或视差图。 8.  根据权利要求7所述的方法，其中，通过帧封装技术将与右图 像(R)和左图像(L)关联的所述深度或视差图加入到所述合成图像 (C)的剩余像素中。 9.  根据前述权利要求中的任一项所述的方法，其中，如果所述区 域的数量为3，则通过以下步骤获得所述区域： 将所述另一个图像(R)划分为具有相同水平尺寸的两个部分(R1、 R2R3)； 将所述两个部分(R2R3)之一划分为具有相同垂直尺寸的两个 部分(R2、R3)。 10.  根据前述权利要求中的任一项所述的方法，其中，将标识所产 生的视频流的类型的信令信息作为元数据加入到所述合成图像(C) 或所述立体视频流中。 11.  根据权利要求10所述的方法，其中，调整所述信令信息使得 允许在合成帧的以下类型中的至少两个之间进行区分： 不带有深度图的瓦片格式类型的合成帧； 带有一个深度图的瓦片格式类型的合成帧； 带有并排配置的两个深度图的瓦片格式类型的合成帧； 带有上下配置的两个深度图的瓦片格式类型的合成帧； 带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。 12.  一种用于产生包含合成图像(C)的立体视频流(101)的设 备，所述合成图像(C)包含关于右图像(R)和左图像(L)的信息， 其特征在于：所述设备包含用于实现根据前述权利要求中的任一项所 述的方法的步骤的装置。 13.  一种用于从合成图像(C)开始重构立体视频流的至少一对图 像的方法，所述合成图像(C)包含关于右图像(R)和左图像(L) 的信息，所述方法包含以下步骤： 通过从所述合成图像的第一区域(C1)复制单组连续像素来产生 所述右图像(R)和左图像(L)的第一图像； 通过从所述合成图像的多个不同区域(C2、C3、C4)复制其他 组连续像素来产生所述右图像(R)和左图像(L)的剩余图像，所述 多个不同区域不同于所述第一区域(C1)；以及 通过从所述合成图像的不同于所述第一区域和所述多个不同区 域的另外的区域(C5)复制至少一组连续像素来产生至少一个深度或 视差图(DM)。 14.  根据权利要求13所述的方法，其中，如果所述区域的数量为 3，则： 所述合成图像(C)的区域之一(C2)具有与所述第一区域(C1) 相同的垂直尺寸以及所述第一区域的水平尺寸的一半； 所述合成图像(C)的区域中的剩余的两个(C3、C4)具有相等 的水平和垂直尺寸，并且为所述第一区域(C1)的垂直尺寸的一半。 15.  根据权利要求13所述的方法，其中，从得自包含在所述另外 的区域(C5)的连续像素中的亮度信号的灰度图像开始，产生所述至 少一个深度或视差图(DM)。 16.  根据权利要求15所述的方法，包含以下步骤：增加所述至少 一个深度或视差图(DM)的水平和垂直尺寸，直到尺寸等于所述右 图像(R)和左图像(L)的尺寸。 17.  根据权利要求13所述的方法，包含以下步骤：从所述合成图 像(C)或者从视频流获得适于识别正在产生的视频流的类型的信令 信息。 18.  根据权利要求17所述的方法，其中，调整所述信令信息使得 允许在合成帧的以下类型中的至少两个之间进行区分： 不带有深度图的瓦片格式类型的合成帧； 带有一个深度图的瓦片格式类型的合成帧； 带有并排配置的两个深度图的瓦片格式类型的合成帧； 带有上下配置的两个深度图的瓦片格式类型的合成帧； 带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。 19.  一种用于从合成图像(C)开始重构立体视频流的至少一对图 像的设备，所述合成图像(C)包含关于右图像(R)和左图像(L) 的信息，所述设备包含： 用于通过从所述合成图像的第一区域(C1)复制单组连续像素来 产生所述右图像(R)和左图像(L)的第一图像的装置； 用于通过从所述合成图像的多个不同区域(C2、C3、C4)复制 其他组连续像素来产生所述右图像(R)和左图像(L)的剩余图像的 装置，所述多个不同区域不同于所述第一区域(C1)； 用于通过从所述合成图像的不同于所述第一区域和所述多个不 同区域的另外的区域(C5)复制至少一组连续像素来产生至少一个深 度或视差图(DM)的装置。 20.  根据权利要求19所述的设备，其中，如果所述区域的数量为 3，则： 所述合成图像(C)的区域之一(C2)具有与所述第一区域(C1) 相同的垂直尺寸以及所述第一区域(C1)的水平尺寸的一半； 所述合成图像(C)的区域中的剩余的两个(C3、C4)具有相等 的水平和垂直尺寸，并且为所述第一区域(C1)的垂直尺寸的一半。 21.  根据权利要求19所述的设备，其中，用于产生至少一个深度 或视差图(DM)的装置利用得自包含在所述另外的区域(C5)的连 续像素中的亮度信号的灰度图像。 22.  根据权利要求21所述的设备，包含用于增加所述至少一个深 度或视差图(DM)的水平和垂直尺寸直到尺寸等于所述右图像(R) 和左图像(L)的尺寸的装置。 23.  根据权利求19所述的设备，包含适于基于包含在所述合成图 像(C)或所述视频流中的标识所述流类型的信令信息来识别正在接 收的视频流的类型的装置。 24.  根据权利要求23所述的设备，其中，所述信令信息允许在合 成帧的以下类型中的至少两个之间进行区分： 不带有深度图的瓦片格式类型的合成帧； 带有一个深度图的瓦片格式类型的合成帧； 带有并排配置的两个深度图的瓦片格式类型的合成帧； 带有上下配置的两个深度图的瓦片格式类型的合成帧； 带有以瓦片格式配置的两个深度图的瓦片格式类型的合成帧。 25.  根据权利要求24所述的设备，包含适于基于对区分合成帧的 类型有用的信息来输出以下图像的装置： 所述右图像(R)和左图像(L)中的仅仅所述第一图像；或者 所述右图像(R)和左图像(L)中的所述第一图像和所述第二 图像；或者 所述右图像(R)和左图像(L)中的所述第一图像和所述第二 图像以及所述至少一个深度或视差图(DM)。 26.  根据权利要求23所述的设备，包含适于基于所述信令信息来 执行以下操作中的一个或多个的装置： 为了适当地重构三维视频内容的两个右图像和左图像的目的，识 别正在接收的帧的类型； 识别一个或两个深度或视差图的存在及其配置的类型； 在两个深度或视差图的情况下，获得两个图中的每一个； 对所述深度或视差图执行适于使图的尺寸成为等于视频内容的 图像的尺寸的值的操作。 27.  根据权利要求19所述的设备，包含被设计为通过从所述右图 像(R)和左图像(L)开始并且通过使用所述深度图来产生与另外的 视图对应的另外的图像的装置。 28.  根据权利要求27所述的设备，包含适于显示两个图像序列的 装置，所述两个图像序列中的至少一个包含从所传送的视图中的至少 一个以及从至少一个深度图开始合成的图像。 29.  根据权利要求28所述的设备，包含适于使观看者能够选择与 更多或更少的邻近视点有关的图像序列以便改变对深度的感知的装置。 30.  根据权利要求27所述的设备，包含自立体显示器，并且包含 适于利用与另外的视图对应的另外的图像以便允许位于空间中的不同 点处的观看者看见不同的图像序列的装置。 31.  一种立体视频流(1101)，其特征在于，包含通过根据权利要 求1至11中的任一项所述的方法产生的至少一个合成图像(C)。

说明书用于产生、传送和接收立体图像的方法及有关设备
技术领域
本发明涉及立体视频流(亦即，当在可视化设备中被适当地处理 时生成被观看者感知为是三维的图像序列的视频流)的产生、存储、 传送、接收和再现。
背景技术
众所周知，可以通过再现两个图像(一个针对观看者的右眼，并 且另一个针对观看者的左眼)来获得对三维的感知。
因此，立体视频流传输关于与对象或场景的右透视和左透视对应 的两个图像序列的信息。这样的流还可以传输补充信息。
于2011年6月30日作为WO2011/077343A1公布的国际专利申 请PCT/IB2010/055918描述了一种左/右图像复用方法及解复用方法 (以及有关设备)，该方法允许保留水平分辨率和垂直分辨率之间的 平衡，从而相对于诸如“并排(side by side)”和“上下(top and bottom)” 的已知技术提供了优点。
根据所述复用方法，将第一图像(例如左图像)的像素不变地加 入到合成图像中，而将第二图像划分成区域，其像素被布置在合成图 像的空闲区中，如图1所示，其示出将两个所谓的720p图像加入到容 器帧1080p中的情况。
在接收时，重构被划分成区域的图像，然后发送给显示器。例如， 已知根据所谓的“帧交替”原理进行操作(亦即，在时间上相继地示出 两个图像L和R)的显示器。为了立体视觉，需要佩戴所谓的“主动 式(active)”眼镜，亦即如下眼镜：该眼镜与图像L和R的相继同步 地遮蔽一个透镜并且保持另一个眼睛的透镜打开、使得每个眼睛只能 够看见想要给它的图像。
已知对于某些观看者而言，通过这样的显示器得到的立体视觉可 以被证实是令人讨厌的，期望对他们提供变化(减小)图像的深度的 可能性，以便使其适合于他们的主观偏好和屏幕的大小。为此，需要 在显示器内在正在被传送的那些图像之间提供中间图像的合成，其然 后将被显示在实际传送的图像的地方。如果可以得到与所传送的图像 关联的一个或多个深度图，则可以通过使用已知的技术完成这样的重 构。
另外，所谓的自立体(self-stereoscopic)显示器最近开始出现在 市场上，其不需要使用眼镜。这样的显示器还执行未传送图像的合成， 因此需要提供这样的合成所需的信息的至少一个深度图。
从而，已经需要引入一种用于产生、传输和重构立体流的新格式， 该格式可以用于传统的2D接收和再现设备、当前的双视图(two-view) 立体3D接收和再现设备(具有或不具有深度调节)以及使用多于两 个视图的未来的自立体设备，同时保留与当前使用的视频流生成和分 发基础设施及设备的格式的最大兼容性。
发明内容
因此，本发明的目的是针对满足上述需求，提出一种用于产生、 传送和接收立体图像的方法以及有关设备。
本发明涉及一种用于在单个合成帧内复用与右透视和左透视有 关的两个图像(以下称为右图像和左图像)以及一个或多个深度图的 方法和设备。
本发明还涉及一种用于解复用所述合成图像(亦即，用于从中提 取通过复用设备加入的右图像和左图像以及深度图)的方法和设备。
在图1a中可见，关于上述国际专利申请(所谓的“瓦片格式”)， 在合成图像中存在尺寸在水平和垂直方向上均为两个图像L和R的尺 寸的一半的未用区域(C5)。根据本发明的一个可能的实施例，如图 1b所示，可以将至少一个深度图(DM)加入到所述未用区域中。
将与图像x有关的深度图理解为灰度图像，其中每个像素具有与 像素本身的深度(亦即，坐标“z”)成比例的亮度值，其中按照惯例假 设值z＝0与屏幕上的位置对应，z的正值与位于屏幕后面的像素对应， 而负值与位于屏幕的前面的像素对应。因为合成图像的未用区域具有 水平和垂直尺寸(其是图像L和R的尺寸的一半)，所以在本发明的 一个实施例中，可以将具有等于对应的图像的一半的水平和垂直分辨 率的深度图(与两个图像L和R之一有关)加入到这样的区域中。已 经观察到分辨率的这种损失不是有害的，因为通常可以在不精确的情 况下计算或测量深度图，优选对全分辨率图通过在像素值之间进行插 值来进行欠采样操作，因为这样的操作可以减少噪声分量，从而得到 更高质量的重构图像。
根据本发明的其他实施例，可以将两个深度图加入到所述未用区 域(C5)中。
上述国际专利申请还描述了立体图像L和R的复用和解复用的 其他形式，虽然因为可用于加入深度图的剩下的空间更小而不那么有 效，但是也可以对其应用本发明的方法。因此，将存在所述图的分辨 率的进一步的降低。虽然仍然落入本发明的一般原理之内，但是在本 文中将不描述这样的替代的实施方式。
本发明的具体目标是提供一种如作为本描述的组成部分的所附 权利要求中所述的用于产生、传送和接收立体图像的方法以及有关设 备。
附图说明
本发明的进一步的目的和优点将根据下面的对其若干实施例的 描述变得明显，参考附图通过非限制性的示例提供该描述，其中：
图1a示出现有技术格式(瓦片格式)中的合成帧；
图1b示出根据本发明的合成帧的一个示例；
图2示出用于将右图像、左图像和深度图复用到合成图像中的设 备的框图；
图3是由图2的设备执行的方法的流程图；
图4示出要加入到合成图像中的图像的拆卸的一种可能形式；
图5示出用于从合成帧中提取左图像、右图像和深度图的设备的 框图；
图6是由图5的设备执行的方法的流程图。
具体实施方式
图2示出根据本发明的变型的用于产生具有至少一个深度图的立 体视频流101的设备100的框图。
在图2中，设备100接收两个图像序列102和103(例如，分别 用于左眼(L)和右眼(R)的两个视频流)以及与和立体视频流关联 的三维内容有关的深度图序列106。
序列106的深度图可以与分别属于序列102和103的两个右图像 和左图像之一关联，或者可以被创建为右图像和左图像的深度图之间 的插值，亦即，与场景的中间视点有关。
在将在下面描述的这个第一实施例中，通过现有技术中已知的算 法中的任何一个来产生深度图，例如，基于右图像和左图像之间的比 较，并且返回大小等于两个比较图像之一的像素并且元素具有与所述 图像的每个像素的深度成比例的值的矩阵(亦即，深度图)。另一种 深度图产生技术基于测量场景中的对象与拍摄场景的摄像机对的距离： 可以通过激光容易地测量该距离。在利用电子计算机的帮助产生伪视 频流的情况下，摄像机是虚拟摄像机，因为它们由计算机仿造的某个 场景的两个视点组成。在这样的情况下，深度图由计算机产生，并且 非常精确。
作为图2的示例的替代，可以在设备100内产生序列106的深度 图。在该情况下，设备100包含被输入序列102和103的图像L和R、 然后计算对应的深度图的适当的模块(未在图中示出)，而不是从外 部接收深度图序列。
设备100允许实现用于复用两个序列102和103的两个图像以及 序列106的深度图的方法。
为了实现用于复用右图像和左图像以及深度图的方法，设备100 包含：拆卸器模块104，用于将输入图像(图1b的示例中的右图像) 分解成多个子图像，每个子图像与所接收的图像的一个区域对应；欠 采样和滤波模块107，用于处理深度图；以及组装器模块105，能够将 所接收的图像(包括深度图)的像素加入到单个合成图像中以在其输 出处提供。如果不需要对序列106进行处理，则可以省略模块107。 例如，这可以是当深度图是激光产生的并且从一开始就具有比图像L 和R的分辨率低的分辨率时的情况。
现在将参考图3来描述由设备100实现的复用方法的一个示例。
该方法开始于步骤200。随后(步骤201)，如图4所示，两个 输入图像之一(右或左)被分解为多个区域。在图4的示例中，所拆 卸的图像是720p视频流的帧R，亦即具有1280x720个像素的分辨率 的渐进(progressive)格式。
图4的帧R来自携带用于右眼的图像的视频流103，并且被拆卸 成优选地在形状上为矩形的三个区域R1、R2和R3。
图像R的拆卸通过将其划分成相同大小的两个部分并且随后将 这些部分中的一个细分成相同大小的两个部分来获得。
区域R1具有640x720个像素的大小，并且通过取得各行的所有 前640个像素来获得。区域R2具有640x360个像素的大小，并且通 过取得前360行的从641开始至1280为止的像素来获得。区域R3具 有640x360个像素的大小，并且通过取得图像R的剩余像素(亦即， 最后360行的从641开始至1280为止的像素)来获得。
在图2的示例中，由模块104执行拆卸图像R的步骤，模块104 接收输入图像R(在该情况下是帧R)并且输出与三个区域R1、R2 和R3对应的三个子图像(亦即，三组像素)。
随后(步骤202、203和204)构造合成图像C，其包含关于右图 像和左图像这两者以及所接收的深度图的信息；在本文中描述的示例 中，所述合成图像C是输出立体视频流的帧，因此也将其称为容器帧。
首先(步骤202)，将设备100所接收的并且未被设备105拆卸 的输入图像(图2的示例中的左图像L)不变地加入到容器帧内的未 划分区域，其中以包括两个输入图像的所有像素的方式调整容器帧的 大小。例如，如果输入图像具有1280x720个像素的大小，则适合于包 含两者的容器帧将是1920x1080个像素的帧，例如1080p类型的视频 流的帧(具有1920x1080个像素的渐进格式)。
在图1的示例中，左图像L被加入到容器帧C中，并且位于左 上角。这通过将图像L的1280x720个像素复制到由容器帧C的前720 行的前1280个像素组成的区域C1中来获得。
在接下来的步骤203中，由模块104在步骤201中拆卸的图像被 加入到容器帧中。这由模块105通过将拆卸的图像的像素在容器帧C 中的未被图像L占据的区域(亦即，在区域C1外部的区域)中复制 到容器帧C中来实现。
为了获得可能的最佳压缩并且减少在解压缩视频流时的伪像的 的产生，通过保留相应的空间关系来复制由模块104输出的子图像的 像素。换言之，仅仅通过平移操作，将区域R1、R2和R3在不受到 任何变形的情况下复制到帧C的相应的区域中。
在图1b中示出由模块105输出的容器帧C的示例。
将区域R1复制到前720行的最后640个像素(区域C2)中，亦 即紧挨着先前复制的图像L。
将区域R2和R3复制到区域C1的下面，亦即分别在区域C3和 C4中，区域C3和C4分别包含最后360行的前640个像素和后面的 640个像素。
用于将图像L和R加入到容器帧中的操作不隐含对水平和垂直 分辨率之间的平衡的任何改变。
在下文中，上述用于将图像L和R加入到容器帧C中的技术将 被定义为瓦片格式类型。
在帧C的空闲像素中，亦即在区域C5中，模块105以图像的形 式加入关于立体对L和R的深度图(DM)(步骤204)。在步骤204 之前，可以由模块107对深度图DM进行欠采样、滤波或进一步的处 理。
优选地，将深度图编码为灰度图像，因此可以单独地通过亮度信 号传输其信息内容；不使用色度，并且例如色度可以为空；这允许获 得容器帧C的有效的压缩。
在优选实施例中，深度图DM具有640x360个像素的分辨率， 与对具有1280x720个像素的分辨率(匹配图像L和R的分辨率)的 原始深度图的4到1的欠采样(或抽取)对应。经欠采样的图DM的 每个像素与原始图的2x2像素区域对应。通常通过使用本身在现有技 术中已知的过程来执行该欠采样操作。
随后，对这样获得的帧C进行压缩，并且传送或保存到存储介质 (例如DVD)。为此目的，提供适于对图像或视频信号进行压缩的压 缩装置以及用于记录和/或传送压缩图像或视频信号的装置。
图5示出接收器1100的框图，接收器1100对接收的容器帧进行 解压缩(如果被压缩的话)，重构两个右图像和左图像，并且使它们 可用于允许3D内容的实现的可视化设备(例如电视机)。接收器1100 可以是机顶盒或者内置在电视机中的接收器。
针对接收器1100做出的相同说明还可以应用于存储图像读取器 (例如DVD读取器)，存储图像读取器读取容器帧(可能是压缩的) 并且对其进行处理以便获得与被加入到由读取器读取的容器帧(可能 是压缩的)中的右图像和左图像对应的一对帧。
回到图5，接收器接收(经由电缆或天线)压缩的立体视频流1101， 并且通过解压缩模块1102对其进行解压缩，从而获得包含与帧C对 应的帧C’的序列在内的视频流。在理想信道的情况下，或者如果正在 从海量存储器或数据介质(蓝光、CD、DVD)中读取容器帧，则帧C’ 与携带除了由压缩处理引入的任何伪像之外的关于右图像和左图像以 及深度图的信息的容器帧C对应。
然后，将这些帧C’提供给重构模块1103，重构模块1103执行如 下面参考图6所述的图像重构和深度图提取方法。
显然，如果视频流未被压缩，则可以省略解压缩模块1102，并且 可以将视频信号直接提供给重构模块1103。
当经解压缩的容器帧C’被接收时重构处理开始于步骤1300。
重构模块1103通过将经解压缩的帧的前720x1080个连续像素复 制到小于容器帧的新的帧(例如720p流的帧)中来提取(步骤1301) 左图像L。将这样重构的图像L发送给接收器1100的输出(步骤1302)。
术语“连续像素”是指属于帧的未划分区域的未改变的图像的像 素。
随后，该方法为从容器帧C’提取右图像R作好准备。
提取右图像(还参见图4)的步骤通过复制(步骤1303)存在于 帧C’中的区域R1开始。更详细地，将R1的640列的像素复制到表 示重构图像Rout的新帧的对应的前640列中。随后，提取R2(步骤 1304)。从解压缩的帧C’(如上所述，对应于图1b的帧C)中选择 区域C3(对应于源区域R2)的像素。此时，将640列的像素复制到 邻近刚从R1复制的那些列的空闲列中。
就R3而言(步骤1305)，从帧C’提取区域C4的像素，并且将 其复制到重构帧的左下角中的最后的空闲列中。
此时，右图像Rout已经被完全重构并且可以被输出(步骤1306)。
最后，重构模块1103通过将经解压缩的容器帧C’的与区域C5 对应的最后640x320个像素的亮度值复制到存储区中来提取(步骤 1307)深度图。所述存储区的内容被输出给接收器1100(步骤1302)， 并且将被显示器用于产生未在立体视频流中传送的插值图像。这样完 成(步骤1309)了用于重构包含在容器帧C’中的右图像和左图像以及 深度图的处理。对于由接收器1100所接收的视频流的每个帧重复所述 处理，使得输出将包含分别用于右图像和左图像的两个视频流1104 和1105以及与深度图对应的一个视频流1106。
用于重构用于图像合成的深度图以及右图像和左图像的上述处 理基于如下假设：解复用器1100知道容器帧C是如何建立的，并且 从而可以提取右和左图像以及合成深度图。
当然，如果复用方法是标准化的，则这是可行的。
为了考虑可以根据利用作为所附权利要求的主题的解决方案的 方法中任何一种来产生容器帧的事实，解复用器优选使用以元数据的 形式包含在合成图像的预定区域中或视频流中的信令信息，该信令信 息标识正在产生的视频流的类型，以便知道如何对合成图像的内容进 行拆包以及如何重构用于补充立体图像的合成的深度图以及右图像和 左图像。
在对信令进行了解码之后，解复用器将知道未改变的图像(例如 在上述示例中的左图像)的位置以及其他图像(例如在上述示例中的 右图像)被拆卸到的区域的位置和深度图的位置。
利用该信息，解复用器可以提取未改变的图像(例如左图像)和 深度图，并且重构被拆卸的图像(例如右图像)。
虽然到目前为止参考一些优选和有利的实施例例示了本发明，但 是显然其不限于这样的实施例，并且想要将与对象或场景的两个不同 透视(右和左)有关的两个图像以及关联的深度图组合到合成图像中 的本领域的技术人员可以对其进行很多改变。
在可能的变型中，例如加入所谓的“视差图”或“置换贴图”，而不 是将与两个图像之一有关的深度图加入到合成帧C中。在适当的假设 下(用配备有相同光学器件的摄像机进行拍摄)，可以容易地根据深 度图得出这样的图，可以容易地将这样的图与深度图联系起来。如果 两个右图像和左图像被重叠地显示在同一个显示器上，并且未使用眼 镜将它们分开，则可以容易地意识到：为了从一个图像获得另一个图 像，需要将对象移动一定的量。更精确地，为了从左图像开始获得右 图像，需要将位于屏幕后面的对象向右移动随着这样的对象所处的深 度而增加的量。不需要移动恰好位于屏幕上的对象，但是需要将位于 屏幕前面的对象向左移动根据与屏幕的距离增加的量
在先前提及的条件下，在深度P和视差D之间存在以下类型的 关系：
D＝I*P/(P+P0)
其中，I是两眼间的距离，并且P0是观看者与屏幕的距离。应当 注意，对于趋于无限的P，D将趋于I，并且对于P＝0(位于屏幕上的 对象)，D将等于0。
当然，为了重构左图像和右图像之间的中间图像，可以采用与上 述相同的过程，但是视差值将需要乘以在0和1之间的系数c，系数c 为中间视点与参考图像的视点(在该情况下的左边的一个)的距离的 函数。
应当注意的是，当根据以上描述从左边的一个开始重构右图像时， 或者当重构中间图像时，留下一些区域未被覆盖，其对应于存在于右 图像但是不存在于左图像中的对象的像素，因为它们被在它们前面的 其他对象所遮蔽(所谓的“阻塞”)。
为了对中间图像进行完整的重构，因此将需要具有右图像和左图 像这两者以及深度或视差图这两者。实际上，用这种方式可以通过从 其他图像取得对应的像素并且将它们移动等于乘以系数1-c的相对视 差的量来填充空(阻塞)区域。
如可以从以上描述理解到的那样，本发明的另一个可能的变型可 能需要加入两个深度或视差图而不是一个。例如可以通过使用诸如并 排或上下的已知的帧封装技术，将分别涉及左图像和右图像的这样的 图加入到与在前面的情况下加入单个图的空间相同的空间中。在前者 的情况下，将两个图的水平分辨率进一步地折半，而在后者的情况下， 将垂直分辨率折半。还可以使用在上面被定义为“瓦片格式”的帧封装 技术的进一步的变型。
用于在产生侧加入两个图以及在接收侧提取两个图的过程可以 容易地根据参考单个图的情况描述的那些过程中得出，明显的变型对 于本领域的技术人员是公知的。
当然，存在于视频流中的信令还需要能够分清存在一个还是两个 图。因此，所述信令需要包含适于允许在合成帧的以下类型中的至少 两种之间进行区分的信息：
1)不带有深度或视差图的瓦片格式类型的合成帧(图1a的情况)；
2)带有一个深度或视差图的瓦片格式类型的合成帧(图1b的情 况)；
以及还可能：
3)带有上下配置的两个深度或视差图的瓦片格式类型的合成帧；
4)带有并排配置的两个深度或视差图的瓦片格式类型的合成帧；
5)带有以瓦片格式配置的两个深度或视差图的瓦片格式类型的 合成帧。
接收器优选地包含适于基于信令信息执行以下操作中的一个或 多个的一个或多个处理块：
-识别正在接收的帧的类型，以便如上所述地适当地重构三维视 频内容的两个右和左图像；
-识别一个或两个深度或视差图的存在及其配置的类型；
-如果存在两个深度或视差图，则获得两个图中的每一个；
-对深度或视差图执行适于使图的尺寸为等于视频内容的图像 的尺寸的值的操作。这些操作可以是例如与欠采样相反的类型的操作， 例如插值操作。
其他变型可能涉及本发明的物理实现方式。例如，可以不同地细 分和分配实现上述设备(具体地，设备100和接收器1100)的电子模 块；另外，可以将它们提供为硬件模块的形式或者作为由处理器(具 体地，配备有用于临时存储所接收的输入帧的适合的存储区域的视频 处理器)实现的软件算法。因此，这些模块可以并行地或串行地执行 根据本发明的图像复用和解复用方法的一个或多个视频处理步骤。虽 然优选实施例涉及将两个720p视频流复用成一个1080p视频流，但 是也可以使用其他的格式，这也是显然的。
显然，执行在图3和6中示出的复用和解复用过程的次序仅仅是 示例性的：在不改变本发明的实质的情况下，可以出于任何理由对其 进行修改。
本发明不限于合成图像的布置的特定类型，因为用于产生合成图 像的不同的解决方案可以提供特定的优点和/或不足。
本发明及其所有的变型提出一种用于产生、传输和在任何类型的 当前的或将来的显示器上再现3D内容的通用格式。
在2D再现设备的情况下，再现设备的视频处理器将简单地丢弃 可能存在于接收器1100的输出处的图像R和深度图(DM或者DM1 和DM2)，并且将在关联的可视化设备上只显示(经过缩放)图像L 的序列。
这同样适用于用户启用2D显示模式的3D再现设备的情况。
取决于是否可以调节(减小)场景的深度，启用了3D显示模式 的3D再现设备可以表现出两种不同的行为。在前者的情况下，视频 处理器将使用图像L和R的两个序列来产生三维效果。在后者的情况 下，视频处理器将使用包括在与每对立体图像R和L关联的合成帧C’ 中的深度图(一个或两个)来产生L和R之间的中间视图，从而获得 具有低于可以从L和R得到的深度的可变深度的三维图像。
由自立体播放器来代表后一情况，其需要超大量的视图(几十) 来为位于显示器前面的空间中的不同点处的观看者产生三维效果。在 该情况下，视频处理器将使用包括在合成帧C’中的深度图(一个或两 个)以及图像L和R本身来合成一系列的其他图像。在显示器的前面， 存在大量的透镜或屏障，使得观看者将在能够进行立体视觉的空间中 的任何点处只感知一对所述图像。
因此，再现设备的视频处理器可以包含适于向显示器发送两个图 像序列的装置，这两个图像序列中的至少一个包含从所传送的视图中 的至少一个以及至少一个深度图开始合成的图像。在该情况下，还优 选地包含适于使观看者能够选择与更多的或更少的接近的视点有关的 图像的序列以便改变对深度的感知的装置。
再现设备的视频处理器还可以包含适于产生与另外的视图对应 的另外的图像，使得位于空间中的不同点处的观看者可以通过关联的 自立体显示器看见不同的图像序列的装置。
就水平和垂直分辨率的平衡以及针对立体图像以及关联的深度 图的适当的分辨率分配而言，到目前为止所提出的格式均未提供在仍 然确保非常好的再现质量的同时的这样的使用的灵活性和宽度。
可以部分地在接收器设备中以及部分地在显示设备中进行上述 再现操作。
本发明可以有利地至少部分地通过计算机程序实现，所述计算机 程序包含用于在这样的程序被计算机执行时实现上述方法的一个或多 个步骤的编码装置。因此，要理解的是，保护范围延伸至所述计算机 程序以及包含所记录的消息的计算机可读装置，所述计算机可读装置 包含用于在所述程序被计算机执行时实现上述方法的一个或多个步骤 的程序编码装置。可以在不脱离本发明的保护范围(包括本领域的技 术人员已知的所有等效设计)的情况下针对上述实施例示例进行变型。
可以将在各个优选实施例中示出的元素和特征组合在一起，然而 这不脱离本发明的保护范围。
根据以上描述，本领域的技术人员将能够在不引入任何另外的实 现细节的情况下实现本发明的目标。