用于编码数据与三维渲染的系统与格式.pdf

用于编码数据与三维渲染的系统与格式
    技术领域 本发明总体上涉及计算机视觉和图形， 尤其是涉及一种用于三维编码和渲染的格 式和系统， 特别应用到移动装置。
     背景技术 三维 （3D） 立体视觉成像技术能被描述为在现代视频技术的下一代革命。 立体视觉 是在三维的视觉感知， 尤其是捕获场景的两个分离的图像， 并将这些图像合并为该场景的 一个 3D 感知。作为 3D 观看的基础， 立体视觉的概念源于 1800’ s， 但迄今为止， 因为技术障 碍而并未被广泛使用。从某个观点看， 目前二维 （2D） 成像技术的过剩连累到 3D 成像。目 前， 大量的研究开发聚焦在 3D 成像上。最近的进展包括 ： •3D 立体视觉 LCD 显示， 能使使用者观看 3D 的立体和多视点图像， 而无需用户戴眼镜。
     •3D 电影院正成为非常普通 （皮克斯， 迪斯尼 3-D 和 IMAX） • 用于增加的 3D 程序的电视广播计划 （例如， ESPN 目前计划以 3D 方式播送 2010 世界
     杯） •3D 电影 （例如， 阿凡达） 是享有出乎意外的受欢迎的成功。
     许多领域和应用计划结合 3D 成像。可以断定， 大的消费市场包括 3D 电视、 3D 智 能电话和 3D 牌匾。目前， 高清 （HD） 电视 （HDTV） 是视频质量的标准。带有压缩 LCD 分辨率 （720p） 的 HD 智能电话都出现在移动电话市场上。3D 成像将带来 HD 的新维度。
     在本说明书的内容中， 3D 立体成像、 3D 立体视觉和 3D 成像都是可替换使用的术 语， 除非另外特别指明。 3D 立体视觉包括一个关于与 2D 成像相比的内容信息量倍增的基础 问题， 这导致存储量和传输带宽要求都倍增。因此， 正在开发用于减少 3D 成像所需的信息 的方法， 优选地通过某个因子， 该因子是显著低于 2。
     参考图 1， 该图是综合的 3D 内容和技术链的图， 源 3D 成像信息， 通常是指作为内 容， 或 3D 内容 （例如， 3D 电影） ， 是由内容提供商 110 来创建 100 的。减少 3D 信息的步骤是 在编码阶段 （在本例中， 3D 编码阶段） 由已知的作为编码算法的那些算法来进行 102。3D 编 码算法的目标是将源格式的给定的量的源 3D 成像信息转换为编码格式的减少量的信息， 该编码格式也称为图像格式。 在本说明书的内容中， 3D 内容已经被编码， 总体上被称为编码 信息。
     编码通常是在传输之前进行的， 在应用服务器 112 内离线进行。流行的例子包括 Itunes（由苹果电脑公司推出的一款数字媒体播放应用程序） 和 YouTube（目前世界上最大 的视频分享网站） ， 它们对存储的内容进行编码， 允许所存储的编码信息可按需被传输。
     在由通信服务提供商 114 传输 104（例如， 通过第四代无线通信标准 “4G” ） 之后， 所编码的信息需要由接收设备 120 来解码， 并渲染用于显示。接收设备 120 也被称为用户 设备或者客户端设备。解码包括将编码信息从编码格式转换为适用于渲染的格式。渲染包 括从解码信息中产生足够的用于在显示器上浏览的 3D 内容的信息。对于 3D 立体视觉， 需 要产生两个视图， 大体上称为左视图和右视图， 分别与用户的左眼和右眼相关联。 如下面所述， 解码和渲染 106 在传统上是由移动电话制造商 116 在移动电话的应用处理器内实施的。 取决于编码格式、 应用和接收设备， 解码和渲染可在分离的阶段或者在某些程度的合并中 完成。为实施立体视觉成像， 包括源 3D 内容的左视图和右视图都必须被渲染并发送到被显 示 108 以供用户浏览。显示通常是由显示制造商 118 来提供， 并整合入用户设备。
     目前最流行的渲染技术是基于 2D+ 深度图像格式来开发的， 在 MPEG 论坛上被推 进。 2D+ 深度图像格式的基本原理是第一视图 （例如， 右视图） 的 2D 图像与深度图像的结合。 解码 2D+ 深度图像格式需要在接收设备上的复杂算法 （与相关的高能量要求） 以便从第一视 图 （例如， 右视图） 产生第二视图 （例如， 左视图） 。
     现在所描述的传统的 2D 和 2D+ 深度图像格式是为了提供背景和作为 3D 成像架 构、 编码、 格式、 解码、 渲染和显示的参考。再次参考图 1， 2D+ 深度图像格式主要需要在编码 阶段 102 和解码与渲染阶段 106 执行。 如上所述， 2D+ 深度图像格式的基础原理是第一视图 的 2D 图像与深度图像的结合。2D 图像通常是这些视图 （例如， 左视图或右视图） 之一， 或者 是接近于这些视图之一的一个视图 （例如， 中央视图） 。这个 2D 视图可无需采用深度图来浏 览， 而将显示内容的普通 2D 视图。
     参考图 2A， 对象 200、 202 和 204 在三维的中央视图的 2D 图像， 这些对象分别远离 观察者。参考图 2B， 一个简单化的深度图像， 对象与观察者的深度 （距离） 是被提供作为一 个灰度图像。对象 210、 212 和 214 的灰度梯度表示相关点的深度， 以不同的杂线标示在图 内。
     参考图 3， 一个典型的 2D 架构的图， 移动电话架构被用作一个例子， 说明在用户设 备上的视频重放 （也被应用到流视频） 的处理流程， 以帮助使本解释更清楚。在这个例子中， 压缩视频包的编码信息是由视频解码器 302（也被称为视频硬件引擎） 在一个应用处理器 304 中从存储卡 300 中读取， 并通过外部总线接口 306 发送到视频解码存储器 308（通常是 专门的应用处理器的外部存储器） 。编码信息 （视频包） 是由视频解码器 302 来解码， 以产生 解码帧， 这些帧被发送到显示接口 310。解码通常包括解压缩。在视频包为 H.264 格式的例 子中， 视频解码器 302 是一个 H.264 解码器， 并读取来自前面的帧的数据包， 这些数据包被 存储在存储器 308 中 （在本例中， 包括作为双帧缓冲器的架构） ， 以便采用的耳塔 （delta） 数 据 （在前面帧与当前帧之间的差异的信息） 产生一个新的帧。经 H.264 解码的帧还被发送到 存储器 308， 用于存储在双帧缓冲器中， 用于后续的编码包的解码。
     解码的帧是从在应用处理器 304 中的显示接口 310 （例如， 通过 MIPI DSI 接口） 发 送的， 经过在显示系统 322 内的显示系统接口 312 发送到显示控制器 314（在本例中， LCD 控制器） ， 在显示存储器 320 中存储解码的帧。LCD 控制器 314 从显示存储器 320 发送解码 的帧， 通过显示驱动器 316 发送到显示器 318。 显示器 318 被架构为适合用于特定的设备和 应用， 将解码的帧表现给用户， 使得该用户能浏览想要的内容。
     可选地， 在移动电话提供了无线电频率 （RF） 前端用于移动电话服务的例子中， 2D 架构可以包括服务提供商通信模块 330。 可选地， 用户通信模块 332 能提供对于用户的本地 通信， 例如蓝牙或 Wi-Fi。这两者附图提供商和用户通信都可被用于将内容提供给用户设 备。
     参考图 4， 一个典型的 2D+ 深度架构的图， 该架构是用于在用户设备上的视频的处 理流程， 移动电话架构被再次用作一个例子。总体上， 用于 2D+ 深度的处理流程是类似于用于 2D 的处理流程， 显著的区别在于 ： 更多数据需要被处理， 且需要附加处理来产生用于立 体视觉成像的左视图和右视图。
     编码信息室从存储卡 300 中读取， 在本例中， 包括与每个帧关联的两个 2D 图像 （如 上所述， 一个 2D 图像是第一视图的， 而另一个 2D 图像是深度图像） 。编码信息是由视频解 码器和 3D 渲染模块 402 来解码以产生解码的帧 （解压缩） 。在 2D 重放中， 视频解码器 302 （图 3） 执行一次解码， 与之相比， 在 2D+ 深度重放的例子中， 视频解码器 402 需要对每个帧 执行两次解码 ： 一次解码用于 2D 图像， 另一次解码用于深度图像。在视频包为 H.264 格式 的例子中， 深度图像是压缩的灰度 2D 图像， 而在视频解码器和 3D 渲染存储器 408 中需要附 加双帧缓冲器以用于解码深度图像。存储器 408 通常被实施为专门的应用处理器的外部存 储器， 在本例中， 约为存储器 308 的尺寸的 1.5 倍大。视频解码器 402 包括硬件渲染机 （未 示出） 以处理所解码的帧， 并渲染需要用于立体视觉的左视图和右视图。
     对于每个帧的经渲染的左视图和右视图都从在应用处理器 304 中的显示接口 310 发送， 经过在显示系统 322 内的显示系统接口 312 发送到显示控制器 314（在本例中， LCD 控制器） 。注意， 与前述的 2D 重放相比， 因为两次解码， 更多数据被传输， 通信频道需要更高 带宽和更高能量来操作。此外， LCD 控制器处理两个视图而不是一个视图， 这需要更高带宽 和能量。每个视图被存储在显示存储器 420 中， 该存储器可以是 2D 显示存储器 320（图 3） 的两倍尺寸。LCD 控制器 314 从显示存储器 420 发送解码的帧， 通过显示驱动器 316 发送到 3D 显示器 418。 能量分析已经显示， 2D+ 深度处理需要名义上 50% 以上能量， 两倍的带宽， 以 及高至两倍的存储器， 与 2D 处理相比。 正如从图 3 和图 4 中可见， 将用户设备从 2D 处理升级到 2D+ 深度处理需要在该设 备的多个方面进行显著的改变。特别地， 新的硬件， 包括附加存储器和芯的视频解码器， 以 及新的可执行代码 （通常称为软件） 也需要在应用处理器 304 上。这个新的硬件是必需的， 以便使得 2D+ 深度的能量消耗最小化。
     解码 2D+ 深度图像格式需要在接收设备上的复杂的算法 （以及相关联的高能量要 求） 以便从第一视图 （例如， 右视图） 产生第二视图 （例如， 左视图） 。复杂的渲染算法可参与 几何计算， 例如， 计算在左视图与右视图之间的不一致， 这可被用于渲染左视图和右视图。 一个渲染图像的一些部分是仅能从右眼看到的， 而另一些部分是仅能从左眼看到的。不能 在第二图像中看到的第一图像的部分是所谓的被遮蔽。 因此， 当发生渲染处理时， 每个将被 渲染的像素必须被测试用于遮蔽。在另一方面， 在 2D 图像中不可见的像素必须从过头信息 中被渲染。这使得渲染处理更复杂和更耗时。此外， 取决于以 2D+ 深度格式编码的内容， 大 量的过头信息会需要与编码信息一起被传输。
     正如上述的用于 3D 成像的传统技术可见， 对于接受设备的架构实施需求是显著 的。尤其是， 对于手持移动设备， 例如， 智能电话， 传统的 3D 成像架构具有在以下方面的 直接影响 ： 硬件复杂度、 设备尺寸、 能量消耗和硬件成本 （在本领域中通常是指材料成本、 BoM） 。
     因此， 有需要开发一种系统和格式， 以便采用比传统技术降低的能量需求的方法 在用户设备上进行 3D 渲染， 同时提供高质量、 工业标准的图像质量。进一步还需要使该系 统能便利于以最小化的硬件来实施传统用户设备的改变， 优选地是便利于在现有的 2D 硬 件架构上实现改变。
     发明内容 根据本发明的具体实施方式的教导， 提供了一种用于存储数据的方法， 包括以下 步骤 ： 接收第一组数据 ； 接收第二组数据 ； 通过结合第一组和第二组数据， 生成融合组的数 据和相关联的生成矢量， 以致所述融合组的数据包括与所述第一组和第二组数据的元素相 关联的信息， 且所述生成矢量表示在所述融合组的数据的元素上可被执行的操作， 以恢复 第一组和第二组数据 ； 以及存储所述融合组的数据和所述互相关联的生成矢量。
     根据本发明的具体实施方式的教导， 提供了一种用于编码数据的方法， 包括以下 步骤 ： 从第一视角的场景中接收第一二维 （2D） 图像 ； 从第二视角的场景中接收第二 2D 图 像； 通过结合第一 2D 图像和第二 2D 图像， 生成融合视图的 2D 图像和相关联的生成矢量， 以 致所述融合视图的 2D 图像包括与所述第一 2D 图像和第二 2D 图像的元素相关联的信息， 且 所述生成矢量表示在所述融合视图的 2D 图像的元素上可被执行的操作， 以恢复第一 2D 图 像和第二 2D 图像 ； 以及存储所述融合视图的 2D 图像和所述互相关联的生成矢量。
     根据本发明的具体实施方式的教导， 提供了一种用于解码数据的方法， 包括以下 步骤 ： 提供融合视图的 2D 图像， 该图像包括与所述第一 2D 图像和第二 2D 图像的元素相关 联的信息 ； 提供与所述融合视图的 2D 图像相关联的生成矢量， 所述生成矢量表示在所述融 合视图的 2D 图像的元素上可被执行的操作， 以渲染第一 2D 图像和第二 2D 图像 ； 以及采用 所述融合视图的 2D 图像与所述生成矢量渲染至少所述第一 2D 图像。
     在可选的实施例中， 所述的方法还包括渲染所述第二 2D 图像的步骤。
     根据本发明的具体实施方式的教导， 提供了一种用于存储数据的系统， 包括 ： 处理 系统， 包括一个或多个处理器， 所述处理系统是被架构为 ： 接收第一组数据 ； 接收第二组数 据； 通过结合第一组和第二组数据， 生成融合组的数据和相关联的生成矢量， 以致所述融合 组的数据包括与所述第一组和第二组数据的元素相关联的信息， 且所述生成矢量表示在所 述融合组的数据的元素上可被执行的操作， 以恢复第一组和第二组数据 ； 以及存储模块， 被 配置为存储所述融合组的数据和所述互相关联的生成矢量。
     在可选的实施例中， 所述的系统存储的数据是 H.264 格式或 MPEG4 格式。
     根据本发明的具体实施方式的教导， 提供了一种用于编码数据的系统， 包括 ： 处理 系统， 包括一个或多个处理器， 所述处理系统是被架构为 ： 从第一视角的场景中接收第一二 维 （2D） 图像 ； 从第二视角的场景中接收第二 2D 图像 ； 通过结合第一 2D 图像和第二 2D 图 像， 生成融合视图的 2D 图像和相关联的生成矢量， 以致所述融合视图的 2D 图像包括与所述 第一 2D 图像和第二 2D 图像的元素相关联的信息， 且所述生成矢量表示在所述融合视图的 2D 图像的元素上可被执行的操作， 以恢复第一 2D 图像和第二 2D 图像 ； 以及存储模块， 被配 置为存储所述融合视图的 2D 图像和所述互相关联的生成矢量。
     根据本发明的具体实施方式的教导， 提供了一种用于解码数据的系统， 包括 ： 处理 系统， 包括一个或多个处理器， 所述处理系统是被架构为 ： 提供融合视图的 2D 图像， 该图像 包括与所述第一 2D 图像和第二 2D 图像的元素相关联的信息 ； 提供与所述融合视图的 2D 图 像相关联的生成矢量， 所述生成矢量表示在所述融合视图的 2D 图像的元素上可被执行的 操作， 以渲染第一 2D 图像和第二 2D 图像 ； 以及采用所述融合视图的 2D 图像与所述生成矢 量渲染至少所述第一 2D 图像。
     根据本发明的具体实施方式的教导， 提供了一种用于处理数据的系统， 包括 ： 处理 系统， 包括一个或多个处理器， 所述处理系统是被架构为 ： 提供融合视图的 2D 图像， 该图像 包括与所述第一 2D 图像和第二 2D 图像的元素相关联的信息 ； 以及提供与所述融合视图的 2D 图像相关联的生成矢量， 所述生成矢量表示在所述融合视图的 2D 图像的元素上可被执 行的操作， 以渲染第一 2D 图像和第二 2D 图像 ； 以及显示模块， 可操作地连接到所述处理系 统， 所述显示模块是被配置为 ： 采用所述融合视图的 2D 图像与所述生成矢量渲染至少所述 第一 2D 图像 ； 以及显示所述第一 2D 图像。
     在可选的实施例中， 所述显示模块还被配置为 ： 采用所述融合视图的 2D 图像与所 述生成矢量渲染至少所述第二 2D 图像 ； 以及显示所述第二 2D 图像。在可选的实施例中， 所 述显示模块包括集成电路， 该集成电路被配置为执行所述渲染。 附图说明 本发明在这里将仅通过实施例结合相关的附图来进行描述， 在这些附图中 ： 图 1 是综合的 3D 内容和技术链的图。
     图 2A 是对象在三维的中央视图的 2D 图像。
     图 2B 是简化的深度图像。 图 3 是典型的 2D 架构的图。 图 4 是典型的 2D+ 深度架构用于在用户设备上的视频的处理流程图。 图 5 是 3D+F 内容和技术链的图。 图 6 是融合的 2D 视图的图。 图 7 是采用 3D+F 渲染的图。 图 8 是 3D+F 架构用于在用户设备上的视频的处理流程图。 图 9 是采用 3D+F 渲染的算法的流程图。 图 10 是生成矢量编码表的特殊的非限制性例子。具体实施方式
     根据本发明的具体实施方式所述的系统的原理和操作将根据附图以及相关的说 明而得以清楚的理解。本发明是一种用于编码数据和三维渲染的系统和格式。该系统便利 于采用比传统技术降低的能量需求的 3D 渲染， 同时提供高质量、 工业标准的图像质量。本 发明的一个特征是两种来源的 2D 图像的编码， 尤其是左视图和右视图的 3D 内容结合入单 独的 2D 图像， 且生成矢量表示在单独的 2D 图像的元素上可执行的操作， 以恢复第一 2D 图 像和第二 2D 图像。这个单独的 2D 图像被称为 “融合视图” 或 “独眼视图” ， 且生成矢量是对 应于所述编码的信息， 也被称为 “融合信息” 。这个编码的生成矢量被命名为 3D+F 融合， 而 编码算法、 解码算法、 格式和架构都综合地称为 3D+F， 该 “F” 是指 “融合信息” 。虽然生成矢 量支持综合操作 （例如过滤和控制） ， 特别地， 这些生成矢量便利于仅采用复制和插入操作 来解码所融合视图的 2D 图像， 从融合视图到渲染在左视图或右视图中的每个元素。
     本发明的另一个特征是便利于在显示模块中实施， 而在传统技术中， 都是在应用 处理器中实施。这个特征使得对于应用处理器的硬件改变最小化， 以致使 2D 硬件能保留不 变， 通过向 2D 用户设备提供新的 3D 显示器来实施 3D+F 格式。在本说明书的内容中， 图像都是包含信息的综合数据结构。对这些图像的参考 也可被解释为对于综合数据结构的参考， 除非另外特别指出。需注意， 虽然为了清楚的目 的， 在本说明书中， 本发明是以移动网络和移动电话为参考进行描述的， 但本说明书仅是示 例性的， 本发明也可以多种类似架构来实施， 或者以用于与 3D 成像具有类似要求的其他应 用。
     本系统便利于采用与传统技术相比降低了能量需求的 3D 渲染， 同时提供了高质 量、 工业标准图像质量。能量消耗分析结构已经表明 ： 对于 HDTV 视频的典型应用， 在 4.3 英 寸的智能手机显示屏上以 720p 分辨率进行 3D 重放， 而与传统的 2D 回放的能量消耗相比， 实施 3D+F 的能量消耗损失是 1%。 与之相比， 传统 2D+ 深度格式和渲染方案的能量消耗损失 是 50%（最好的例子） 。
     再次参考附图， 图 5 是 3D+F 内容和技术链的图， 类似于图 1 所述的模型。在应用 服务器 512 中， （内容 100） 的 3D 编码 502 是被编码为 3D+F 格式， 在本实施例中， 对于编码 信息是 3D+F 视频格式。应用服务器通常具有大的能量、 处理和带宽源用于执行资源密集和 / 或复杂处理。3D+F 的特征是代表对于服务器端 （例如， 应用服务器） 的处理密集任务和简 化在客户端 （例如， 用户设备） 的处理。该 3D+F 编码信息是类似于传统的 2D 编码信息， 并能 被传输 （例如， 采用传统的 4G 标准 104 通过移动运营商 114） 到接收设备 120。3D+F 便于高 质量、 工业标准图像质量， 以接近于传统 2D 成像的带宽来传输。
     类似于由电话制造商解码 （解压缩） 传统的 2D 图像的方式， 3D+F 编码信息的融合 视图 2D 图像部分是在应用处理器 506 中被解码。相比于 2D+ 深度格式， 在应用处理器 506 中的 3D+F 上不执行渲染。该解码的融合视图 2D 图像信息和相关联的生成矢量被发送到显 示模块 508， 在该模块 3D+F 信息被用于渲染左视图和右视图， 并显示这些视图。如上所述， 显示通常是由显示器制造商 518 来提供， 并整合到用户设备。
     3D+F 的一个特征是便于通过向 2D 用户设备提供 3D 显示模块 （该模块实施 3D+F 渲 染） 来设计 3D 用户设备， 同时使得 2D 用户设备的硬件部件能保留不变。这样具有潜力以给 用户设备制造商带来巨大优势， 节省时间、 成本和关于设计、 测试、 集成、 一致性、 互用性的 复杂性， 以及营销时间。在显示模块内 3D+F 渲染的一个影响是降低了能量消耗， 相比于在 应用处理器中传统的 2D+ 深度渲染而言。
     所述 3D+F 格式包括两部分 ： 融合视图部分和生成矢量部分。参考图 6， 一个融合 2D 视图的图， 融合视图是通过使场景的左视图 600 和右视图 610 相关联而导出融合的视图， 也被称为单独的独眼视图 620， 类似于人脑从两个图像导出的一个图像。 在本说明书的内容 中， 这个处理被称为融合。 虽然左视图和右视图的每个视图包含仅关于各自视图的信息， 融 合的视图包括有效渲染左视图和右视图所需要的所有信息。 在本说明书的内容中， 术语 “场 景” 通常是指正被浏览的内容。一个场景可包括正被浏览的一个或多个对象或一个地点。 场景是从某个位置来浏览的， 该位置称为视角。 在立体视觉的例子中， 两个视图中的每个视 图都采用不同视角来浏览。 人们感知的立体视觉是采用每个眼睛捕捉一个视图的方式来实 现。在技术上， 两个图像捕获装置， 例如两台视频照相机， 在不同位置提供来自不同视角的 图像， 用于立体视觉成像。
     在一个非限制性实施例中， 在本例中， 对于单独的对象， 场景的左视图 600 包括来 自左视角 606 的对象的前面和对象的左侧 602。场景的右视图 610 包括来自右视角 616 的对象的前面和对象的右侧 614。 融合的视图 620 包括对于对象的左侧 622 的信息、 对象的右 侧 624 的信息， 以及对象的前面 626 的信息。需注意， 虽然对于融合视图的信息， 对象的左 侧 622 的信息可仅包括左视图 602 的信息， 且对于融合视图的信息， 对象的右侧 624 的信息 可仅包括右视图 614 的信息， 对于对象的前面 626 的信息包括同时来自左前视图 606 和右 前视图 616 的信息。
     特别地， 融合视图的特征包括 ： • 在融合视图中没有被遮蔽的元素。在本说明书的内容中， 术语 “元素” 通常是指一个 图像的显著的最小特征。通常， 元素可以是像素， 但取决于具体应用和 / 或图像内容， 也可 以是多边形或区域。在本文中经常使用的术语 “像素” 是用于清楚和易于解释的目的。通过 从融合视图复制相应的像素 （有时一次复制更多像素） 到在左视图或右视图中的正确位置， 可以对左视图或右视图的每个像素进行渲染。
     • 处理算法需要生成融合视图的工作类似于人脑如何处理图像， 因此消除诸如光 和像素的阴影等问题。
     所产生的融合视图的类型取决于具体应用。 融合视图的一种类型包括比原始的左 视图和右视图更多的像素。参考图 6 来描述这个例子。在这个例子中， 在左视图或右视图 中所有被遮蔽的像素都被整合进入融合视图。在这个例子中， 如果该融合视图将由用户来 浏览， 该视图是内容扭曲的 2D 视图。融合视图的另一种类型具有与原始的左视图或右视图 近似相同量的信息。通过在左视图或右视图中以在这两个视图中的可见像素混合 （内插或 过滤） 一部分被遮蔽的像素， 可以生成这个融合视图。在这个例子中， 如果该融合视图将由 用户来浏览， 该视图是内容正常的 2D 视图。需注意， 3D+F 可采用上述任意一种类型的融合 视图， 或者另一种类型的融合视图， 取决于具体应用。 编码算法应当优选地被设计为使所渲 染的视图的质量最优化。 对于哪些部分的被遮蔽像素将与在这两个视图中的可视像素混合 的选择， 以及混合操作的选择， 都可通过合成在分析处理中完成。 例如， 采用这样一个处理， 其中， 像素和操作都是最优选为被持续监控的渲染图像质量的函数。
     总的来说， 生成更好质量的融合视图需要更多复杂的融合算法， 这些算法需要更 多能量来执行。因为想要是在用户设备 （例如， 图 5 所示的接收设备 120） 上所需的能量最 小化， 可以在应用服务器 （例如， 图 5 所示的应用服务器 512） 上实施融合。用于执行融合的 算法是本领域所熟知的， 它们通常是采用立体匹配的算法来完成。基于本说明书， 本领域 的技术人员应当能够选择合适的融合算法用于特定的应用， 并修改该融合算法以符合 3D+F 所需来生成相关联的生成矢量。
     3D+F 格式的第二个部分是生成矢量部分。该生成矢量部分包括大量生成矢量， 简 称为生成矢量。两种类型的生成矢量， 左生成矢量和右生成矢量分别用于生成左视图和右 视图。
     生成矢量的第一元素是运行长度数， 它被称为生成数 （GN） 。 该生成数被用于指示 ： 当生成左视图或右视图时， 在融合视图内的一个像素的操作 （下面定义） 将被重复多少次。 由生成操作代码所特别执行的操作， 如下面所述。
     生成矢量的第二元素是生成操作代码 （GOC） ， 也被简称为 “生成算子” 或 “操作” 。 生成操作代码指示 ： 什么类型的操作 （例如， 函数或算法） 将在相关联的像素上执行。操作 可根据具体应用来改变。在一个优选实施例中， 至少以下操作是可用的 ：• 复制 ： 将像素从融合视图复制到正被生成的视图 （左视图或右视图） 。如果 GN 是等于 n， 则该像素被复制 n 次。
     • 遮蔽 ： 遮蔽像素。例如， 在正被生成的视图中不产生像素。如果 GN 是等于 n， 则 不产生 n 个像素， 意味着来自该融合视图的 n 个像素在正被生成的视图中被遮蔽。
     • 转到下一行 ： 当前行已完成， 开始生成新一行。
     • 转到下一帧 ： 当前帧已完成， 开始生成新一帧。
     附加和可选的操作的一个非限制性实施例包括复制和过滤 ： 像素被复制， 然后以 周围的像素来平滑。这个操作可被用于改善图像质量， 即使未过滤而获得的质量也是可接 受的。
     需注意， 在总体上， 生成矢量不是均匀随机分布的。 这样的分布使得生成矢量部分 是被有效编码的， 例如， 采用霍夫曼编码或者类似的另一种类型的熵编码。 另外， 总的来说， 由于左视图和右视图的相似性， 左视图生成矢量与右视图生成矢量都具有显著的相关度， 因而左生成矢量与右生成矢量可被结合编码为一个代码。 这些生成矢量的能力是足以编码 的，3D+F 成像的带宽要求是近似等于传统 2D 成像的带宽要求。
     参考图 7， 采用 3D+F 渲染的图。融合的 2D 视图 720， 也称为单一独眼视图， 是被用 于结合相关的生成矢量以渲染场景的左视图 700 和右视图 710。 融合视图 720 包括 ： 用于对 象的左侧 722 的信息、 用于对象的右侧 724 的信息、 用于对象的前面 726 的信息， 以及用于 对象的顶面 728 的信息。生成矢量包括 ： 什么操作将在融合视图 720 的哪些元素上执行， 以 渲染场景的左视图 700 和右视图 710 的部分。如上所述， 3D+F 的一个特征是 ： 渲染可被实 施为仅采用从融合视图中复制元素， 包括遮蔽， 以渲染左视图和右视图。 在一个非限制实施 例中， 对象的左侧 722 的融合视图的元素被复制以渲染该对象的左侧的左视图 702。 对象的 左侧 722 的融合视图的元素的一个子集被复制以该对象的左侧的右视图 712。 类似地， 对象 的右侧 724 的融合视图的元素被复制以渲染该对象的右侧的左视图 704， 而对象的右侧 724 的融合视图的元素被复制以渲染该对象的右侧的右视图 714。
     对象的顶面 728 的融合视图的元素的第一子集被复制以渲染该对象的顶面的左 视图 708， 而对象的顶面 728 的融合视图的元素的第二子集被复制以渲染该对象的顶面的 右视图 718。 类似地， 对象的前面 726 的融合视图的元素的第一子集被复制以渲染该对象的 前面的左视图 706， 而对象的前面 728 的融合视图的元素的第二子集被复制以渲染该对象 的前面的右视图 716。
     虽然 3D+F 的一个优选实施方式是渲染来自融合视图的原始的左视图和右视图， 3D+F 并不限于渲染原始的左视图和右视图。在一个非限制性实施例中， 3D+F 是被用于渲染 来自不同于原始视角的其他角度的视图， 并渲染某个场景的多个视图。 在一个实施例中， 融 合操作 （例如， 在诸如应用服务器 512 上） 生成多于一组生成矢量， 其中， 每组生成矢量产生 场景的一个或多个 2D 图像。在另一个实施方式中， 这些生成矢量可被处理 （例如， 在诸如接 收设备 120 上） 以生成一个或多个替换组的生成矢量， 然后将这些矢量用于渲染一个或更多 替换的 2D 图像。
     参考图 9， 采用 3D+F 渲染的一个算法的流程图， 描述了结合生成矢量从融合的视 图中渲染左视图和右视图的一个非限制性例子。对于来自融合视图的左视图和右视图， 生 成像素是一种处理， 该处理可通过从融合视图图像中一次处理一行的方式来完成， 称为逐行。假设在融合视图中有 M 行。设 m= [1, M]。则对于第 m 行， 有 N(m) 像素在该融合视 图的第 m 行上。对于每行， N(m) 不需要是相同的。在方块 900， 变量 m 被设为 1， 而在方块 902， 变量 n 被设为 1。在该图中， 方块 904 是用于清楚的目的。在方块 906， gocL(n) 是一 种操作， 该操作输入的是在融合视图 （Fused(n)） 上第 n 个像素以及在左视图的指针 （Left_ ptr） ， 指向最近生成的像素。左 _ 指针 （Left_ptr） 可由操作来更新。类似地， 在方块 908， gocL(n) 是一种操作， 该操作输入的是在融合视图 （Fused(n)） 上第 n 个像素以及在右视图 的指针 （Right_ptr） ， 指向最近生成的像素。右 _ 指针 （Right_ptr） 可由操作来更新。在上 述的基础操作之外， 操作的例子包括但不限于 ： FIR 过滤和 IIR 过滤。在方块 910， 对于某一 行， 如果不是所有的像素已经被操作， 则在方块 912， 处理移动至下一个像素， 在方块 904 中 继续处理。另外， 在方块 914， 如果仍有更多的行需要处理， 则在方块 916， 处理移动至下一 行。 从方块 914， 如果在一个图像中的所有行都已经被处理， 则在方块 918 中， 继续处理下一 个图像， 如果可应用的话。
     从融合视图渲染 （左或右） 视图的更特殊的非限制性例子是被描述为由在该融合 视图的元素之上逐线推进的一种处理 （与图 9 中的描述一致） 。操作 gocR(n) 和 gocL(n) 都是从生成矢量中识别的， 如下所述 ： 设 GV(i) 为给定的线的解码生成矢量 （GV） ， 例如， 线 m, m=1,… M， 对于给定的视图 （类 似的说明应用到两种视图） 。 这些生成矢量可被写成组件形式， 例如， 操作 （op） 和生成数 （gn） ： op = GV(i).goc (1) gn = GV(i).GN (2) 对于 (i=1… k) //k 指在该线上的生成矢量的数 op = GV(i).goc (1) gn = GV(i).GN (2) 对于 (k=1,… gn) 以 goc = op 完成图 9 的内环 结束 // 对于 (k=1,… gn) 结束 // 对于 (i=1… k) 虽然上述实施例已经清楚说明了在单独像素上的相关操作， 正如他处所说明的， 3D+F 也支持在多个元素与多个元素块上的操作。虽然上述算法可以是作为优选的实施方式， 基 于本说明书， 本领域技术人员也应能够实施可适用于特殊应用的算法。
     可被用于渲染的操作的一些非限制性例子在下面的伪代码中详细说明 ： • 复制 P（CopyP） ： 复制像素到像素 调入 ：像素 _ 指针 = 复制 P [ 融合输入 (n), 像素 _ 指针 ] 输入 ： 融合输入 (n) ： 融合视图的第 n 个像素 （在第 m 行上） 像素 _ 指针 ： 在左视图或右视图上的指针（最后生成） 处理 ： 将融合输入 (n) 复制到 像素 _ 指针 +1 输出 ：
     更新 像素 _ 指针 = 像素 _ 指针 +1 • 复制 P 到块 （CopyPtoBlock） ： 复制像素到像素块 调入 ： 像素 _ptr= 复制 P 到块 [ 融合输入 (n), 像素 _ 指针 , 块长度 ] 输入 ： 融合输入 (n) ：融合视图的第 n 个像素 （在第 m 行上） 像素 _ 指针 ： 在左视图或右视图上的指针（最后生成） 块长度 （BlockLength） ：块长度 处理 ： 将融合输入 (n) 复制到 像素 _ 指针 +1， 像素 _ 指针 +2，... 像素 _ 指针 + 块长度 输出 ： 更新 像素 _ptr= 像素 _ptr+ 块长度 • 遮蔽 P（OccludeP） ：遮蔽像素 调入 ： 遮蔽 P [ 融合输入 (n)] 输入 ： 融合输入 (n) ：融合视图的第 n 个像素 （在第 m 行上） 处理 ： 无操作 输出 ： 无 • 加权复制 P（WeightCopyP） ： 复制加权像素到像素 调入 ：加权复制 P [ 融合输入 (n), 像素 _ptr, a] 输入 ： 融合输入 (n) ：融合视图的第 n 个像素 （在第 m 行上） 像素 _ 指针 ：在左视图或右视图上的指针（最后生成） a： 权重 处理 ： 将 a* 融合输入 (n) 复制到像素 _ 指针 +1 输出 ： 更新 像素 _ 指针 = 像素 _ 指针 +1 • 插入和复制 （InterpolateAndCopy） ： 插入融合视图的两个像素并复制 调入 ：插入和复制 [ 融合输入 (n), 像素 _ 指针 , a] 输入 ： 融合输入 (n) ：融合视图的第 n 个像素 （在第 m 行上） 像素 _ 指针 ：在左视图或右视图上的指针（最后生成） a： 权重 处理 ： 将 a* 融合输入 (n) + (1-a)* 融合输入 (n+1) 复制到 像素 _ 指针 +1 输出 ： 更新 像素 _ 指针 = 像素 _ 指针 +1。参考图 10， 描绘了生成矢量编码表的一个特殊的非限制例子。优选的实施方式是 以熵编码来编码生成矢量， 因为这些生成矢量的高冗余。 该冗余来自这样的事实 ： 通常在图 像中， 相邻的像素经常具有相同或近似的距离， 因此在融合视图与渲染视图之间的不一致 对于相邻的像素是相同或近似的。熵编码的一个例子是霍夫曼编码。在图 10 中， 采用上述 操作的列表， 霍夫曼编码以较少的字节编码了大多数经常使用的操作。
     需注意， 正如前所述， 生成矢量的多种实施方式都是可行的， 而本实施例仅是一个 非限制性例子， 它基于代码的逻辑。可以预见， 用于生成矢量的更多优化代码能被开发出 来。 对于生成代码的一种选项包括 ： 采用基于内容的不同的生成矢量编码表， 优选地优化用 于图像内容。 在另一个可选的实施方式中， 这些编码表可在处理过程中被构建， 例如在视频 重放的开始。
     参考图 8， 在用户设备上用于视频的处理流程的 3D+F 结构图， 移动电话结构被再 次用作范例。总体上， 用于 3D+F 的处理流程是类似于根据图 3 所描述的用于 2D 的处理流 程。如上所述， 传统的应用处理器 304 硬件和存储器 （包括视频解码存储器 308 和显示存储 器 320） 都能被用于实施 3D+F。明显的结构差别包括 ： 在显示系统 322 中附加的 3D+F 渲染 模块 840， 以及 3D 显示模块 818。
     编码信息， 在本例中是压缩的视频包和相关联的 3D+F 生成矢量， 都由在应用处理 器 304 中的视频解码器 802 从存储卡 300 中读取， 在通过外部总线接口 306 发送到视频解 码存储器 308。类似于传统的 2D 成像， 3D+F 仅包含需被解码的一串 2D 图像， 因此， 该视频 解码存储器 308 需要用于 2D 和 3D+F 的相同尺寸。由视频解码器 802 解码的编码信息 （在 本例中， 视频包） 以生成解码帧， 这些帧被发送到显示接口 310。在一个例子中， 视频包是 H.264 格式的， 如上所述地进行处理。
     解码帧和相关联的 3D+F 信息 （生成矢量） 从在应用处理器 304 内的显示接口 310 经过在显示系统中的显示系统接口 312 发送到显示控制器 314（在本例中， LCD 控制器） ， 在 显示存储器 320 中存储解码的帧。显示系统 322 实施左视图和右视图的渲染， 并根据图 5 所述地显示 508。类似于传统的 2D 成像， 3D+F 仅包含一串解码的 2D 图像 （帧） ， 因此显示存 储器 320 需要用于 2D 和 3D+F 的相同尺寸。从显示存储器 320， LCD 控制器 314 发送解码 的帧和相关联的生成矢量到 3D+F 渲染模块 840。在一个例子中， 生成矢量已经被压缩， 可 再显示系统 322 中实施解压缩， 优选是在 3D+F 渲染模块 840 内解压缩。在 3D+F 渲染模块 840 内将生成矢量解压缩的方式还便于在传统的 2D 架构上实施 3D+F， 这样限制了所需硬件 和软件的变更。 如上所述， 2D 图像被采用生成矢量来渲染左视图和右视图， 这些视图都通过 显示驱动器 316 发送到 3D 显示器 818。3D 显示器 818 是被构造为适用于特定设备和应用 以将解码的帧呈现给用户， 允许用户浏览想要的立体视觉的内容。
     正如本领域所熟知， 这些实施例的多种不同模块、 处理和部件都可被实施为硬件、 固件、 软件或它们的结合。3D+F 渲染模块的一个优选实施方式是作为基层电路 （IC） 芯片。 在另一个优选实施例中， 底层的 VLSI（超大规模集成） 电路的实施方式是一种简单的一维 （1D） 复制机。相对于需要特殊逻辑的 2D+ 深度， 1D 复制机是本领域所熟知的。
     需要明确的是， 上面的说明仅是试图用作示例， 而有许多其他实施方式都是可行 的， 它们都落入本发明所附的权利要求所定义的保护范围之内。