飞行时间深度成像.pdf

飞行时间深度成像
    【技术领域】
     本发明涉及深度成像， 尤其涉及飞行时间深度成像。背景技术 深度相机系统获得关于人或其他对象在物理空间内的位置的数据。 该相机具有一 个或多个传感器， 这些传感器具有收集光强度的像素。深度值可以根据光强度来确定。例 如， 来自两个传感器的光强度数据可被相关并且可确定每一像素的深度值。深度值可被输 入到计算系统内的应用来用于各种各样的应用。可以有许多应用， 例如用于军事、 娱乐、 体 育和医学目的。例如， 关于人的深度值可被映射到三维 (3-D) 人类骨架模型并用于创建动 画人物或化身。
     为了确定深度值， 深度相机可以将光投射到该相机的视野中的对象上。光从该对 象反射并且反射回该相机中的收集光强度的一个或多个图像传感器。 这些传感器可以是例 如 CCD 或 CMOS 传感器。这些传感器可包括像素阵列， 使得每一像素基于有多少光子到达该 像素来随时间累计光强度。各像素处的光强度可被处理以确定深度值。一种用于确定到对 象的距离的技术基于光的往返飞行时间。
     然而， 对象的反射率的差异可能导致问题。 例如， 处于同一距离处但具有不同反射 率的两个对象将造成传感器处的不同光强度读数。为了克服这一问题以及其他问题， 一些 技术执行两种不同的深度测量并对结果进行组合。 这两种不同的深度测量可以使用同一传 感器， 但在不同的时间进行测量。因此， 在传感器捕捉测量结果的时间之间可能存在对象 ( 或相机 ) 运动。或者， 使用两个传感器允许同时进行深度测量。然而， 这两个传感器需要 被置于不同的物理位置， 这会导致视差差数。从这两个测量收集的数据需要被相关 ( 或匹 配 ) 以创建单个深度值。然而， 两个深度测量中的上述差数可能使得难以将深度测量进行 相关或导致不准确性。
     另外， 深度相机可能受到噪声深度测量的损害。 例如， 可存在可与从对象反射的光 一起被收集的一些背景光。噪声可能以多种其他方式而产生。
     因此， 需要进一步的改进以允许对深度相机的视野内对象的深度进行更准确的确 定。该技术应与现有的深度检测相机兼容。
     发明内容 提供了用于确定到电子设备的视野内的对象的深度或距离的技术。 基于在不同的 位置或时间收集的两个光强度图像来确定深度图像。 基于两个光强度图像生成深度图像可 以补偿视野中的对象的反射率的差异。 可以使用迭代过程来减轻对光强度图像之间的精确 匹配的需求。从而， 两个光强度图像之间的像素未对准可得到补偿。同样， 该迭代过程可以 补偿光强度图像中的噪声。因此， 可以使用来自多个传感器或来自同一传感器的不同的时 间的光强度信息来生成高质量深度图像 ( 例如， 最终深度值 )。
     一个实施例包括确定深度图像的方法， 该方法包括以下步骤。基于第一光强度图
     像和第二光强度图像来计算深度图像。第一和第二光强度图像包含同一场景的像素值。对 深度图像进行平滑， 并且基于经平滑的输出深度图像和第二光强度图像来修改第一光强度 图像。基于经修改的第一光强度图像和第二光强度图像来计算深度图像的新值。重复平滑 深度图像、 修改第一光强度图像 ( 在预定义边界内 )、 以及计算深度图像的新值， 直至确定 对深度图像的处理完成为止。此时， 将这两个光强度图像中的像素对准并且细化的深度图 像完成。
     一个实施例包括一种包括处理器和耦合到该处理器的计算机可读存储介质的装 置。计算机可读存储介质其上存储有指令， 当该指令在处理器上执行时使得该处理器执行 以下步骤。处理器访问包含同一场景的像素值的第一光强度图像和第二光强度图像。处 理器基于第一光强度图像中的一个或多个邻居像素来确定第一光强度图像中的像素的边 界值。处理器基于第一光强度图像和第二光强度图像来计算深度图像并平滑该深度图像。 处理器基于平滑深度图像的结果来确定是否要修改第一光强度图像。在确定第一光强度 图像应当被修改时， 处理器基于经平滑的深度图像和第二光强度图像来修改第一光强度图 像。修改可包括使第一光强度图像中的像素的值保持在边界值内。而且， 如果第一光强度 图像被修改， 则处理器基于经修改的第一光强度图像和第二光强度图像来计算深度图像的 新值。处理器继续修改第一光强度图像并计算深度图像的新值， 直至确定不修改第一光强 度图像为止。此时， 将这两个强度图像对准并且经平滑的深度图像提取完成。 一个实施例包括确定深度图像的方法， 该方法包括以下步骤。访问具有带同一视 野的光强度值的像素的第一光强度图像和第二光强度图像。 基于第一光强度图像和第二光 强度图像之间的可能的像素未对准来确定第一光强度图像中的像素的边界值。 基于第一光 强度图像和第二光强度图像来确定深度图像。 平滑深度图像并基于平滑该深度图像的结果 来作出是否要修改第一光强度图像的判断。 可基于经平滑的深度图像和第二光强度图像来 修改第一光强度图像， 这可包括执行计算深度图像的逆运算。 同样， 修改第一光强度图像包 括使第一光强度图像中的像素值保持在边界值内。 基于经修改的第一光强度图像和第二光 强度图像来计算深度图像的新值。 重复平滑、 修改第一光强度图像、 以及计算深度图像的新 值， 直至确定不修改第一光强度图像为止。
     提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的 一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征， 也不旨 在用于限定所要求保护的主题的范围。
     附图说明 图 1 描绘了运动捕捉系统的示例实施例。
     图 2A 描绘了图 1 的运动捕捉系统的示例框图。
     图 2B 描绘了图 2A 中描绘的图像相机组件的一个可能的配置。
     图 2C 描绘了图 2A 中描绘的图像相机组件的另一个可能的配置。
     图 3 是确定深度图像的过程的一个实施例的流程图。
     图 4A 和图 4B 描绘了生成第一和第二光强度图像的过程的实施例的流程图。
     图 5A 和图 5B 描绘了基于门控传感器和非门控传感器来生成第一和第二光强度图 像的过程的实施例的流程图。
     图 5C 描绘了生成第一和第二光强度图像的过程的一个实施例的流程图， 其中图 像之间具有相差。
     图 6A、 6B 和 6C 描绘了光脉冲的定时以及门控传感器和非门控传感器的激活的一 个示例。
     图 7A 和 7B 是描绘基于门控传感器和非门控传感器来处理深度图像的实施例的流 程图。
     图 8A 和 8B 是描绘基于具有相差的输入图像来处理深度图像的实施例的流程图。
     图 9 是在确定深度图像时确定边界值的过程的一个实施例的流程图。
     图 10 是在确定深度图像时使用边界值的过程的一个实施例的流程图。
     图 11 描绘了可以在图 1 的运动捕捉系统中使用的计算环境的示例框图。
     图 12 描绘了可以在图 1 的运动捕捉系统中使用的计算环境的另一示例框图。
     图 13A、 13B 和 13C 描绘了用于图 5C 的实施例的已调制光束和传感器激活的一个 示例。 具体实施方式
     提供了用于确定到对象的深度的技术。 基于在不同的位置或时间收集的两个光强 度图像来确定深度图像。 例如， 光束被发射到一视野中， 在该视野中在稍微不同的位置处的 两个图像传感器被用来收集两个输入光强度图像。作为替换， 可以从同一传感器但在不同 的时间收集光强度图像。可基于这两个光强度图像来生成深度图像。这一技术可以补偿视 野中的对象的反射率的差异。 然而， 这两个光强度图像中的像素之间可能存在某种未对准。 可以使用迭代过程来减轻对光强度图像之间的精确匹配的需求。 该迭代过程可涉及基于从 这两个光强度图像生成的深度图像的经平滑的版本来修改光强度图像之一。随后， 基于经 修改的光强度图像和另一光强度图像来确定深度图像的新值。在一些实施例中， 基于这两 个光强度图像之间的可能的像素未对准来确定要被修改的光强度图像中的像素的边界值。 在处理期间， 被修改的光强度图像中的像素可被保持在它们相应的边界值内。该迭代过程 可以补偿这两个光强度图像之间的像素未对准。换言之， 该迭代过程可以减轻对这两个输 入光强度图像之间的严格像素对准的需求。此外， 该迭代过程可以补偿光强度图像中的噪 声。因此， 可以使用来自多个传感器或来自同一传感器的不同的时间的深度信息来生成高 质量的深度图像。
     在某些实施例中， 对深度图像进行确定被用于运动捕捉系统中。 因此， 将描述示例 运动捕捉系统。然而， 可以理解， 本文所描述的技术不限于运动捕捉系统。图 1 描绘了其中 个人与应用交互的运动捕捉系统 10 的示例。 运动捕捉系统 10 包括显示器 196、 深度相机系 统 20、 以及计算环境或装置 12。深度相机系统 20 可包括图像相机组件 22， 其具有光发射 器 24、 光接收器 25 和红 - 绿 - 蓝 (RGB) 相机 28。在一个实施例中， 光发射器 24 发射准直 光束。准直光束的示例可包括但不限于， 红外 (IR) 和激光。在一个实施例中， 光发射器 24 是 LED。从视野内的对象 8 反射离开的光由光接收器 25 检测。
     也称为个人或玩家的用户站在深度相机系统 20 的视野 6 中。线 2 和 4 表示视野 6 的边界。在该示例中， 深度相机系统 20 和计算环境 12 提供了其中显示器 196 上的化身 197 追随对象 8( 例如， 用户 ) 的移动的应用。例如， 当用户举起手臂时， 化身 197 可举起手臂。化身 197 站在 3-D 虚拟世界的公路 198 上。可以定义笛卡儿世界坐标系， 其包括沿着 深度相机系统 20 的焦距延伸 ( 例如， 水平地 ) 的 z 轴、 垂直地延伸的 y 轴、 以及横向地并且 水平地延伸的 x 轴。注意， 附图的透视被修改成简化表示， 显示器 196 在 y 轴方向上垂直延 伸， z 轴垂直于 y 轴和 x 轴且与用户所站立的地平面平行地从深度相机系统 20 延伸出来。
     一般而言， 运动捕捉系统 10 用于识别、 分析和 / 或跟踪对象。计算环境 12 可包括 计算机、 游戏系统或控制台等等， 以及执行应用的硬件组件和 / 或软件组件。
     深度相机系统 20 可以包括相机， 相机用于在视觉上监视诸如用户等的一个或多 个对象 8， 从而可以捕捉、 分析并跟踪用户所作出的姿势和 / 或移动， 来执行应用中的一个 或多个控制或动作， 如使化身或屏幕上人物活动起来或选择用户界面 (UI) 中的一菜单项。
     运动捕捉系统 10 可以连接到诸如显示器 196 等向用户提供视觉和音频输出的视 听设备， 如电视机、 监视器、 高清电视机 (HDTV) 等， 或甚至是墙或其他表面上的投影。还可 以经由单独的设备来提供音频输出。为驱动显示器， 计算环境 12 可包括提供与应用相关联 的视听信号的诸如图形卡之类的视频适配器和 / 或诸如声卡之类的音频适配器。显示器 196 可以通过例如 S- 视频电缆、 同轴电缆、 HDMI 电缆、 DVI 电缆、 VGA 电缆等等连接到计算 环境 12。 可使用深度相机系统 20 来跟踪对象 8， 使得用户的姿势和 / 或移动被捕捉并用于 使化身或屏幕上人物活动起来， 和 / 或被解释为对计算机环境 12 所执行的应用的输入控 制。
     对象 8 的某些移动可被解释为可以和除控制化身之外的动作相对应的控制。例 如， 在一个实施方式中， 玩家可以使用运动来结束、 暂停或保存游戏， 选择级别， 查看高分， 与朋友进行交流等等。玩家可以使用移动来从主用户界面中选择游戏或其他应用， 或以别 的方式导航选项菜单。由此， 对象 8 的全范围运动可以用任何合适的方式来获得、 使用并分 析以与应用进行交互。
     个人可在与应用交互时抓握诸如道具等物体。在此类实施例中， 个人和物体的移 动可用于控制应用。例如， 可以跟踪并利用手持球拍的玩家的运动来控制模拟网球游戏的 应用中的屏幕上的球拍。在另一示例实施例中， 可以跟踪并利用玩家手持诸如塑料剑等玩 具武器的运动来控制提供海盗船的应用的虚拟世界中对应的武器。
     运动捕捉系统 10 还可以用于将目标移动解释成处于游戏或旨在娱乐和休闲的其 他应用的领域之外的操作系统和 / 或应用控制。例如， 操作系统和 / 或应用的基本上任何 可控方面可由对象 8 的移动来控制。
     图 2A 描绘了图 1 的运动捕捉系统 10 的示例框图。深度相机系统 20 可被配置成 捕捉具有深度信息的视频， 深度信息包括可包括深度值的深度图像。此处描述了用于确定 深度图像的技术。深度相机系统 20 可将深度信息组织为 “Z 层” ， 即可与从深度相机系统 20 沿其视线延伸的 Z 轴垂直的层。
     深度相机系统 20 可包括图像相机组件 22， 如捕捉物理空间中的场景的深度图像 的深度相机。深度图像可包括所捕捉的场景的二维 (2-D) 像素区域， 其中该 2-D 像素区域 中的每一像素具有代表距离图像相机组件 22 的线性距离 ( 径向距离 ) 的或由像素观察的 3D 位置的 Z 分量 ( 垂直距离 ) 的相关联的深度值。
     图像相机组件 22 可包括光发射器 24 和一个或多个光传感器 25 来捕捉深度信息。
     例如， 深度相机系统 20 可使用光发射器 24 将光发射到物理空间上并使用光传感器 25 来检 测从物理空间内一个或多个对象的表面所反射的光。
     在一些实施例中， 光发射器 24 发射脉冲红外光。光脉冲从视野中的对象反射离 开， 并且在传感器处被收集， 传感器可随时间累计光子。例如， 每一像素包含基于在收集时 间段内到达该像素的光子的数量的光强度值。深度值可以基于光强度来确定。这样的技术 有时被称为 “飞行时间” 测量， 因为像素处的光强度与光的往返飞行时间之间有关系。
     在一些实施例中， 所发射的光被调制成所需频率。经调制的光从视野中的对象反 射离开， 并且在一个或多个传感器处被收集， 传感器可随时间累计光子。在一个实施例中， 在所发射的光 ( 在源处 ) 具有第一相位 ( 或相位范围 ) 时， 一个传感器收集光， 并且在所发 射的光具有第二相位 ( 或第二相位范围 ) 时， 第二传感器收集光。这一技术也被称为 “飞行 时间” 测量， 因为像素处的光强度与光的往返飞行时间之间有关系。
     深度相机系统 20 可以捕捉同一场景的两个或更多个光强度图像并且处理它们以 生成单个深度图像。 在一个实施例中， 两个光强度图像在同时， 但用两个不同的传感器来捕 捉。图 2B 描绘了图像相机组件 22 的一个可能的配置， 其中光发射器 24 处于两个光传感器 25a、 25b 之间的中点。 在该示例中， 一个光传感器 25a 处于光源 24 上方， 并且另一个光传感 器 25b 处于光源 24 下方。可以使用其他配置。例如， 一个光传感器 25c 可以处于光源 24 左侧， 并且另一光传感器 25d 可以处于光源 24 右侧， 如图 2C 所示。在图 2B 中， 传感器 25a、 25b 沿 y 轴排列。在图 2C 中， 传感器 25c、 25d 沿 x 轴对准。在一些实施例中， 可以通过使 用马达等来使图像相机组件 22 倾斜。因此， 可以明白， 传感器 25 的定向不需要沿 x 轴或 y 轴。在处理两个捕捉到的光强度图像以生成最终的单个深度图像时， 可以使用与光传感器 25 相对于光发射器 24 的物理配置有关的信息。 在一些实施例中， 两个光强度图像用同一光 传感器 25， 但在不同的时间来捕捉。
     红 - 绿 - 蓝 (RGB) 相机 28 可用于捕捉可见光图像。深度相机系统 20 还可以包括 话筒 30， 其包括例如接收声波并将其转换成电信号的换能器或传感器。另外， 话筒 30 可用 于接收由人提供的诸如声音之类的音频信号， 以控制由计算环境 12 运行的应用。音频信号 可包括人声， 如说的话、 口哨声、 喊声及其他发声， 以及非人声， 如掌声或跺脚。在一些实施 例中， 话筒 30 是话筒阵列， 它可具有一起运行的任何数量的话筒。
     深度相机系统 20 可包括与图像相机组件 22 进行通信的处理器 32。处理器 32 可 包括可执行包括例如用于接收深度图像和对深度图像去混叠的指令等指令的标准化处理 器、 专用处理器、 微处理器等等。
     深度相机系统 20 还可包括存储器组件 34， 存储器组件 34 可存储由处理器 32 执行 的指令、 以及存储 RGB 相机所捕捉的图像或图像帧、 或任何其他合适的信息、 图像等等。根 据一个示例实施方式， 存储器组件 34 可包括随机存取存储器 (RAM)、 只读存储器 (ROM)、 高 速缓存、 闪存、 硬盘或任何其他合适的有形计算机可读存储组件。存储器组件 34 可以是经 由总线 21 与图像捕捉组件 22 和处理器 32 通信的单独的组件。根据另一实施例， 存储器组 件 34 可被集成到处理器 32 和 / 或图像捕捉组件 22 中。
     深度相机系统 20 可以通过通信链路 36 与计算环境 12 进行通信。通信链路 36 可 以是有线和 / 或无线连接。根据一个实施方式， 计算环境 12 可以经由通信链路 36 向深度 相机系统 20 提供时钟信号， 该时钟信号指出何时从位于深度相机系统 20 的视野中的物理空间捕捉图像数据。
     此外， 深度相机系统 20 可通过通信链路 36 向计算环境 12 提供深度信息和由 RGB 相机 28 捕捉的图像。计算环境 12 然后可使用深度值和所捕捉的图像来控制应用。例如， 如图 2A 所示， 计算环境 12 可包括诸如姿势过滤器集合等姿势库 190， 每一姿势过滤器具有 关于 ( 在用户移动时 ) 可作出的姿势的信息。例如， 可为各种手势 ( 如手的猛击或投掷 ) 提供姿势过滤器。通过将检测到的运动与每一个过滤器进行比较， 可以标识由人执行的指 定的姿势或移动。还可以确定执行移动的程度。
     计算环境还可包括用于执行存储在存储器 194 中的指令以向显示设备 196 提供音 频 - 视频输出信号并实现其他功能的处理器 192。
     图 3 是确定深度图像的过程 300 的一个实施例的流程图。过程 300 可在诸如图 1 的示例系统 10 等运动捕捉系统 10 中使用。例如， 过程 300 可由深度相机系统 20 或计算环 境 12 来执行。在步骤 302， 生成同一场景或视野的第一和第二光强度图像。在一个实施例 中， 第一和第二光强度图像在同时， 但用不同的传感器 25 来生成。两个传感器 25 之间的物 理分隔可保持很小， 以便可减少视差伪像。 在一个实施例中， 第一和第二光强度图像用同一 传感器， 但在不同的时间生成。通常， 生成这两个图像之间的时间间隔保持很小， 以便可减 少运动伪像。因而， 这两个光强度图像之间一开始可能存在像素的某种未对准。过程 300 可减少或消除这一像素未对准。 在一个实施例中， 这两个光强度图像之一是门控深度图像而另一个是非门控深度 图像。 生成门控和非门控光强度图像的进一步细节在下文讨论。 简言之， 门控光强度图像可 以是其中传感器 25 在某时间段期间不活动的图像， 而非门控深度图像可以是其中传感器 25 比门控图像传感器活动了更长时间段的图像第一和第二光强度图像不限于是门控图像 和非门控图像。在一个实施例中， 这两个光强度图像在已调制发射光束的相位方面是不同 的。例如， 可以在与已调制发射光束中的 90 度相差相对应的时刻收集这两个光强度图像。
     在步骤 304， 生成第一光强度图像中的像素的边界值。 边界值可以是在第一光强度 图像的处理期间所准许的每一像素的上限值和下限值。 边界值可以基于第一和第二光强度 图像之间的可能的像素未对准。注意， 第一图像可以是任一光强度图像。例如， 第一光强度 图像可以是门控光强度图像或非门控光强度图像。作为一个示例， 确定门控光强度图像的 边界值。然而， 相反， 可以确定非门控光强度图像的边界值。另一示例， 可以确定相位不同 的两个光强度图像中的任一个的边界值。如下所述， 在过程 300 期间， 可以更改第一光强度 图像的值。在一个实施例中， 边界值基于一个或多个邻居像素的值。下文中结合图 9 和 10 讨论确定并使用边界值的进一步细节。
     在步骤 306， 基于第一和第二光强度图像来计算深度图像。 使用两个收集的光强度 图像来形成深度图像的一个原因是这可补偿这两个收集的光强度图像中的对象的反射率 的差异。
     作为一个示例， 基于等式 1 中的以下近似来确定深度图像 ：
     等式 1 ： 深度图像≈门控光强度图像 / 非门控光强度图像
     在以上计算中， 可以执行逐像素相除。 例如， 门控光强度图像中的像素的光强度值 可以除以非门控光强度图像中的对应像素的光强度值， 这可产生深度值。可基于诸如发射 光的特性和传感器的操作等各种参数从深度值中确定距离。 注意， 以上等式是近似 ； 所使用
     的实际等式可能更加复杂。
     在步骤 308， 对来自步骤 306 的深度图像进行平滑。 平滑可包括但不限于对深度图 像应用高斯滤波器或中值滤波器。因此， 平滑可造成对在步骤 306 确定的深度值的改变。
     在步骤 310， 作出深度图像的处理是否完成的判断。如果是， 则过程 300 以经平滑 的深度图像是最终深度图像而结束。在一个实施例中， 步骤 310 包括将经平滑的深度图像 与这一平滑步骤之前的版本进行比较以确定平滑具有多少效果。 如果平滑没有影响深度图 像超过某预定量， 则过程 300 完成。在一个实施例中， 步骤 310 还包括确定过程 300 迭代了 多少次。如果过程 300 迭代了超过预定次数， 则步骤 310 可确定深度图像的处理完成。
     如果步骤 310 确定处理应当继续， 则执行步骤 312。在步骤 312， 基于经平滑的深 度图像和第二光强度图像来修改第一光强度图像。步骤 312 可涉及执行其中计算深度图像 的步骤 306 的计算的逆运算。作为一个示例， 步骤 312 的修改可基于等式 1 中的以下近似 ：
     等式 2 ： 经修改的门控光强度图像≈经平滑的深度图像 * 非门控光强度图像
     在一个实施例中， 经修改的门控光强度图像的值不允许超出在步骤 304 确定的边 界值之外。 在一个实施例中， 如果第一光强度图像中的对应像素将要超出边界值之外， 则可 以调整第二光强度图像中的像素的值。下文结合图 10 讨论进一步细节。
     在步骤 314， 基于经修改的第一光强度图像 ( 来自步骤 312) 和第二光强度图像来 确定深度图像的新值。可以使用在步骤 306 中使用的相同等式。例如， 可以使用等式 3 中 的以下近似 ：
     等式 3 ： 深度图像≈经修改的门控光强度图像 / 非门控光强度图像
     过程 300 随后从步骤 314 返回到步骤 308 以对深度图像进行平滑。可以再次使用 先前使用的相同平滑算法。然而， 可以使用不同的平滑算法。随后， 步骤 310 再次判断深度 图像的处理是否完成。过程 300 重复步骤 308-314， 直至步骤 310 确定处理完成。此时， 可 以确立深度图像的最后的深度值为最终深度值。此时， 这两个光强度图像中的像素的对准 可以完成。注意， 不需要这两个光强度图像中的像素的完美对准。即， 一些未对准是可容忍 的。
     如上所述， 输入到过程 300 的第一和第二光强度图像可以用两个传感器来同时生 成或用一个传感器在不同的时间生成。图 4A 和 4B 提供生成第一和第二光强度图像的两个 示例实施例。图 4A 和 4B 描绘过程 300 的步骤 302 的不同实施例。在图 4A 的过程 400 的 步骤 402 和 404， 使用不同的图像传感器来同时收集第一和第二光强度图像。在该示例中， 设备具有两个传感器， 如在图 2B 或 2C 中描绘的实施例中一样。这两个传感器的物理位置 的差异会导致视差误差。换言之， 第一和第二光强度图像中的像素之间会存在失配。像素 之间的失配可被如下解释。每一传感器可以是 n×m 个像素的阵列。理想地， 第一光强度图 像的像素 (i， j) 与第二光强度图像的像素 (i， j) 应当表示视野中的同一个点。然而， 因为 这两个传感器处于不同的位置， 所以情况并非如此。注意， 原始像素未对准可能非常小。例 如， 原始像素未对准可能小于一个像素 ： (i+Di， j+Dj)， 其中 Di 和 Dj 小于 1。然而， 甚至很 小的像素未对准也会对深度计算产生负面影响。图 3 的迭代过程 300 能够减少或消除像素 未对准。因而， 即使在输入的光强度图像的像素未对准的情况下， 过程 300 也可以产生高质 量的深度图像。
     图 4B 描绘生成第一和第二光强度图像的过程 450 的一个实施例， 在该实施例中使用单个传感器。在步骤 452， 使用光传感器 25 来收集第一光强度图像。在步骤 454， 使用同 一传感器 25 在不同的时间收集基本上同一场景 ( 或视野 ) 的第二光强度图像。在该示例 中， 设备具有至少一个传感器 25， 如在图 2A 的实施例中一样。实际上， 传感器 25 在这两个 读数之间可被保持在同一物理位置。 然而， 在收集第一和第二光强度图像的时间之间， 可能 存在场景中的对象的某种运动。因此， 这些运动伪像可导致第一和第二光强度图像之间的 像素失配。即使在存在这些运动伪像的情况下， 图 3 的迭代过程 300 也能够产生高质量的 输出深度图像。作为像素对准过程的一部分， 过程 300 能够减少或消除这些运动伪像。
     在一些实施例中， 第一和第二光强度图像是基于脉冲光束的反射生成的。图 5A 和 5B 描绘两个这样的实施例的过程， 它们使用门控传感器和非门控传感器来收集光。 图 5A 和 5B 是过程 300 的步骤 302 的实施例。图 5A 也是图 4A 的一个实施例。图 6A-6C 描绘光脉冲 的定时、 以及门控传感器和非门控传感器的激活的一个示例， 它可用于图 5A 的过程。
     在步骤 502， 发射脉冲光束。在一个实施例中， 该光束是红外线 (IR)。注意， 该光 束可以是可见光或另一波长。图 6A 示出其中光束被脉冲式地打开和关闭的示例。注意， 在 传感器处收集光期间可有许多脉冲。例如， 在单个收集时间段期间可有数百、 数千、 或更多 个光脉冲。因而， 可以理解， 通过仅示出两个光脉冲来简化了图 6A。 在步骤 504， 在对光束进行脉冲式发射时， 操作门控传感器和非门控传感器两者。 图 6C 示出其中在光脉冲从活动变得不活动之后， 非门控传感器在时间段 “T” 期间活动的示 例。注意， 非门控传感器可在光脉冲变得不活动之前活动。门控传感器 ( 图 6B) 在比非门 控传感器短的时间段期间操作。在该示例中， 门控传感器在时间段 “T” 的大约后一半期间 活动。因而， 在该示例中， 门控传感器在非门控传感器的活动时间段的子集期间活动。光脉 冲的特性 ( 例如， 脉冲持续时间、 频率 ) 以及传感器的操作可以基于图像传感器的所需范围 来选择。
     在步骤 506， 当门控传感器和非门控传感器在操作时， 在它们两者处捕捉光。如上 所述， 在收集时间段期间可能有许多发射光脉冲。门控传感器和非门控传感器的像素可以 对每一光脉冲收集少量光， 而所收集的光的量随时间累积。 在一些实施例中， 在给定传感器 像素处收集的光的强度可被用来确定该像素到对象的距离。如上所述， 一种用于确定深度 值的技术涉及使门控传感器的光强度除以非门控传感器的光强度。
     过程 500 继续， 直至光收集阶段结束， 如步骤 508 所确定的。在一个实施例中， 光 收集阶段是预定数量的光脉冲。随后， 在步骤 510， 基于传感器所收集的光来存储第一和第 二光强度图像。作为一个示例， 来自 CCD 或 CMOS 的最终像素值可以存储在存储器中， 以便 存储光强度图像。
     图 5B 描绘基于脉冲光束生成第一和第二光强度图像的过程 550 的一个实施例的 流程图， 该脉冲光束在对象上的反射被作为门控传感器并且稍后作为非门控传感器的单个 传感器来检测。过程 550 是过程 300 的步骤 302 的一个实施例。过程 550 也是图 4B 的一 个实施例。在步骤 552， 发射脉冲光束。在一个实施例中， 该光束是 IR。该脉冲可以类似于 在图 5A 的过程中使用的脉冲。在步骤 554， 在光束被脉冲式地发射时， 操作门控传感器。在 步骤 556， 在传感器 25 处捕捉光， 该传感器当前作为门控传感器来操作。过程 550 继续， 直 至光收集阶段结束， 如步骤 558 所确定的。在一个实施例中， 光收集阶段是预定数量的光脉 冲。随后， 在步骤 559， 基于传感器所检测到的光来存储第一光强度图像。
     接着， 在步骤 560 再次脉冲式地发射光束， 使得可以用作为非门控传感器来操作 的该传感器来收集数据。在步骤 562， 在光束被脉冲式地发射时， 传感器作为非门控传感器 来操作。 在步骤 564， 当传感器作为非门控传感器来操作时， 在该传感器处收集光。 过程 550 继续， 直至光收集阶段结束， 如步骤 566 所确定的。 随后， 在步骤 568， 基于传感器在步骤 564 所检测到的光来存储第二光强度。
     如上所述， 基于脉冲光的门控传感和非门控传感来生成这两个光强度图像不是必 需的。在一个实施例中， 通过对已调制光束在视野中的对象上的反射进行传感来生成第一 和第二光强度图像。可基于在不同的时间点的采样来生成第一和第二光强度图像， 使得这 两个光强度图像之间有 90 度 ( 或某一其它量 ) 的相移。相移可以是根据所发射的光束的。
     图 5C 描绘了生成第一和第二光强度图像的过程 580 的一个实施例的流程图， 其中 图像之间具有相差。过程 580 是过程 300 的步骤 302 的一个实施例。过程 580 也是图 4A 的一个实施例。在步骤 582， 发射已调制光束。例如， IR 光束是使用幅度调制来调制的。图 13A-13C 描绘了经幅度调制的光束的示例波形以及过程 580 期间传感器的操作。 注意， 只描 绘了已调制光束的很小一部分。
     在步骤 584， 第一和第二传感器在彼此有 90 度相差的情况下操作。图 13B 和 13C 描绘了第一和第二传感器的定时的一个示例。在该示例中， 在已调制光束 ( 在它发射处 ) 处于或接近 0 度时， 一个传感器是活动的。活动时间段的宽度可以比所示出的时间段更长 或更短。在已调制光束 ( 在它发射处 ) 处于或接近 90 度时， 第二传感器是活动的。同样， 活动时间段的宽度可以比所示出的时间段更长或更短。 对于所发射的已调制光束的每一周 期， 这一收集模式可以重复。 在步骤 586， 在第一和第二传感器处检测光。过程 580 在收集时间段期间继续， 该 收集时间段可以是任何所需长度的时间。 在收集时间段结束之后 ( 如步骤 588 所确定的 )， 在步骤 590 基于检测到的光来存储第一和第二光强度图像。结果是已经基于来自这两个 传感器的数据生成了两个光强度图像。一个光强度图像可被称为 ImagePhase0( 相位 0 图 像 )， 而另一个可被称为 ImagePhase90( 相位 90 图像 )。注意， 可以使用其他相差。
     图 7A 是描绘处理深度图像的过程 700 的一个实施例的流程图。在这一实施例中， 所输入的光强度图像的门控和非门控的深度光强度图像。 因此， 过程 700 可以与图 5A 或 5B 的过程一起使用， 但不限于此。过程 700 覆盖了在图 3 的过程 300 期间在使用门控和非门 控光强度图像时如何执行处理的附加细节。具体而言， 过程 700 提供图 3 的步骤 306、 312、 以及 314 的附加细节。
     在步骤 702， 深度图像被计算成门控光强度图像除以非门控光强度图像。 每一光强 度图像可具有相同数量的像素。例如， 每一光强度图像中可以有 360x240 个像素 ( 或某一 其他数量的像素 )。 在一个实施例中， 步骤 702 包括将门控光强度图像中的每一像素的值除 以非门控光强度图像中的对应像素的值。然而， 可以使用其他技术来将门控图像除以非门 控深度图像。以下是可在步骤 702 中使用的若干示例等式。
     步骤 702 是图 3 的步骤 306 的一个实施例。所输出的深度图像随后被平滑， 如在 图 3 的步骤 306 中讨论的。
     等式 4 ： 深度＝门控 / 非门控
     等式 5 ： 深度＝ A+B*( 门控 / 非门控 )
     等式 6 ： 深度＝ A*X3+B*X2+C*X+D， 其中 X ＝ log(G/U) 或 X ＝ G/U。
     在以上等式中， 深度是深度图像中的深度值， 门控是门控传感器所收集的强度图 像的强度值， 并且非门控是非门控传感器所收集的强度图像的强度值。参数 “A” 和 “B” 可 以是取决于相机设置的常数， 如所发射的光脉冲的数量以及传感器的定时 ( 例如， 传感器 活动 / 不活动的时间 )。常数 “X” 指的是 “门控 / 非门控” 。注意， 对于等式 5 和 6， 深度值 可以是距离单位， 如距相机的厘米数。对于等式 4， 深度值可以是某一范围中的值 ( 例如， 0 和 1 之间的值 )。
     在步骤 704， 经修改的门控光强度图像被计算成经平滑的深度图像乘以非门控光 强度图像。步骤 704 是图 3 的步骤 312 的一个实施例。步骤 704 可涉及使用用于步骤 702 中的函数的反函数来执行计算。例如， 如果在步骤 702 中使用了等式 5， 则可在步骤 704 中 使用等式 7。
     等式 7 ： 门控＝非门控 *( 深度 -A)/B
     例如， 可从深度图像中的深度值中减去常数 A 来执行 ( 深度 -A)。乘以 “非门控” 指的是将所输入的非门控光强度图像中的像素的强度值乘以对应的深度值。在此， 可基于 各自是 nxm 个值的阵列的深度图像和强度图像来确定对应的深度值。 注意， 步骤 704 的另外的变型是可能的。图 10 描绘其中经修改的门控光强度图像 的值可被保持在边界值内的一个实施例。
     在步骤 706， 深度图像被重新计算成经修改的门控光强度图像除以 ( 原始 ) 非门控 光强度图像。步骤 706 是图 3 的步骤 314 的一个实施例。过程 700 的步骤 704 和 706 可被 重复 ( 参见图 3 被重复的步骤 312、 314)。
     当门控和非门控光强度图像被处理时， 这两个光强度图像的相对角色可以反转。 图 7B 是描绘类似于图 7A 的过程但角色转换了的用于处理深度图像的过程 750 的一个实施 例的流程图。过程 750 提供图 3 的步骤 306、 312、 以及 314 的附加细节。在步骤 702， 深度 图像被计算成门控光强度图像除以非门控光强度图像。这是步骤 306 的一个实施例。原始 深度图像随后可被平滑， 如在图 3 的步骤 306 中讨论的。注意， 这一步骤可类似于图 7A 的 过程 700。
     在步骤 754， 经修改的非门控光强度图像被计算成门控光强度图像除以经平滑的 深度图像。注意， 步骤 754 与图 7A 的对应步骤 ( 步骤 704) 不同。步骤 754 是图 3 的步骤 312 的一个实施例。注意， 步骤 754 的另外的变型是可能的。图 10 描绘其中经修改的非门 控光强度图像的值可被保持在非门控光强度图像中的像素的边界值内的一个实施例。
     在步骤 756， 深度图像被重新计算成 ( 原始 ) 门控光强度图像除以来自步骤 754 的 经修改的非门控光强度图像。步骤 756 是图 3 的步骤 314 的一个实施例。过程 700 的步骤 704 和 706 可被重复 ( 参见图 3 被重复的步骤 312、 314)。
     如上所述， 第一和第二光强度图像可以不同于门控和非门控图像。图 8A 和 8B 描 绘过程 800、 850 的实施例， 其中第一和第二光强度图像是基于相差的。生成这样的深度图 像的一个示例结合图 5C 和 6B 来讨论。例如， 第一和第二光强度图像是通过在其间存在 90 度相差处收集的数据来生成的。出于讨论的目的， 这些光强度图像将被称为 ImagePhase0 和 ImagePhase90。然而， 将注意到， 可以使用其他相差。图 8A 和 8B 的过程之间的差异是哪 一所收集的光强度图像在该过程期间被修改。注意， 在提供图 3 的步骤 306、 312、 以及 314
     的附加细节方面， 图 8A 和图 8B 类似于图 7A 和 7B。
     在图 8A 的步骤 802 中， 深度图像被计算成 ImagePhase0 和 ImagePhase90 的函数。 一般形式可如以下等式 7 所示 ：
     等式 8 ： 深度图像 A*atan2(ImagePhase0， ImagePhase90)+B
     换言之， 深度图像可以是这两个光强度图像的反正切的函数。 步骤 802 是步骤 306 的一个实施例。原始深度图像随后被平滑， 如在图 3 的步骤 306 中讨论的。
     在 步 骤 804， 基 于 经 平 滑 的 深 度 图 像 和 ImagePhase90 来 计 算 经 修 改 的 ImagePhase0。在一些实施例中， 在步骤 804 中使用的函数是在步骤 802 上使用的函数的反 函数。步骤 804 是图 3 的步骤 312 的一个实施例。注意， 步骤 804 的另外的变型是可能的。 图 10 描绘其中经修改的 ImagePhase0 图像的值可被保持在 ImagePhase0 深度图像中的像 素的边界值内的一个实施例。
     在 步 骤 806， 深 度 图 像 被 重 新 计 算 成 经 修 改 的 ImagePhase0 和 ( 原 始 ) ImagePhase90。步骤 806 可涉及使用与步骤 802 相同或相似的等式。步骤 806 是图 3 的步 骤 314 的一个实施例。过程 800 的步骤 804 和 806 可被重复 ( 参见图 3 被重复的步骤 312、 314)。
     在图 8A 的实施例中， 在步骤 804 中修改 ImagePhase0 光强度图像。在另一实施例 中， 以类似的方式修改 ImagePhase90 深度图像。图 8B 是描绘处理深度图像的过程 850 的 一个实施例的流程图。过程 850 提供图 3 的步骤 306、 312、 以及 314 的附加细节。在步骤 852 中， 原始深度图像被计算成 ImagePhase0 和 ImagePhase90 的函数。这是步骤 306 的一 个实施例。原始深度图像随后被平滑， 如在图 3 的步骤 306 中讨论的。注意， 这一步骤可类 似于图 8A 的步骤 802。
     在 步 骤 854， 基 于 经 平 滑 的 深 度 图 像 和 ImagePhase0 来 计 算 经 修 改 的 ImagePhase90。 在一些实施例中， 在步骤 854 中使用的函数是在步骤 802 上使用的函数的反 函数。例如， 如果在步骤 802 使用反正切函数， 则可在步骤 854 中使用正切函数。步骤 804 是图 3 的步骤 312 的一个实施例。
     在 步 骤 856， 深 度 图 像 被 重 新 计 算 成 经 修 改 的 ImagePhase90 和 ( 原 始 ) ImagePhase0。步骤 856 可涉及使用与步骤 802 相同或相似的等式。步骤 856 是图 3 的步 骤 314 的一个实施例。过程 850 的步骤 854 和 856 可被重复 ( 参见图 3 被重复的步骤 312、 314)。这结束了图 8B 的讨论。
     在一些实施例中， 确定第一光强度图像 ( 其在过程 300 中被修改 ) 中的像素的边 界值。在修改第一光强度图像时， 将像素值保持在边界值内。图 9 是在处理第一光强度图 像时确定边界值的过程 900 的一个实施例的流程图。过程 900 提供图 3 的步骤 304 的进一 步细节。
     可以影响对光强度图像的处理的一个因素是第一和第二光强度图像之间的预期 的像素误差量。 像素误差指的是由于光强度图像是从不同物理位置处的传感器收集的或从 同一传感器但却在不同的时间收集而存在某种像素未对准的事实。 在步骤 902， 估计像素误 差。对于使用两个不同的传感器同时收集的光强度图像， 可至少部分地基于这两个传感器 的物理位置来确定预期的误差量。预期误差也可基于其他因素， 如深度相机系统 10 的视野 的范围和角度以及传感器 25 的特性 ( 例如， 像素数目 )。例如， 参考图 2C， 深度传感器 25a和 25b 处于光发射器 24 的左侧和右侧的已知位置处。作为示例， 传感器 25c 可被用来收集 第一光强度图像且传感器 25d 可被用来收集第二光强度图像。在这种情况下， 在特定方向 上 ( 例如， 向左侧或向右侧 ) 可存在小于 1 个像素的预期平移误差。由于几何学， 将预期误 差限制在一个方向上是可能的。对于诸如图 2B 中所示的传感器配置， 预期误差可以在与图 2C 的示例不同的方向上。注意， 在一些情况下， 预期误差可能超过 1 个像素。
     在步骤 904， 作出预期像素误差 ( 或失配 ) 是否小于 1 个像素的判断。如果是， 则 在步骤 906-912 执行对第一光强度图像中的像素的处理。注意， 第一光强度图像可以是这 两个所收集的光强度图像中的任一个。例如， 它可以是门控或非门控光强度图像。或者， 它 可以是 ImagePhase0 或 ImagePhase90 光强度图像。在步骤 906， 访问第一光强度图像中的 第一像素的值。
     在步骤 908， 访问第一像素的邻居的值。 可以基于预期的像素未对准的方向来选择 邻居。作为示例， 对于图 2C 的配置， 可以选择右侧或左侧的邻居。
     在步骤 910， 基于第一像素的值和邻居的值来确定第一像素的边界值。 在一个实施 例中， 这涉及将下边界值设置成这两个像素值中的较低值， 以及将上边界值设置成这两个 像素值中的较高值。实际上， 这在第一像素的值与所选邻居的值之间确立了第一像素的边 界。这可涉及假定第一像素与它的所选邻居之间的线性内插， 但这不是必需的。换言之， 边 界值可以扩展至这两个像素值中的较低值以下或较高值以上。
     在步骤 912， 作出第一光强度图像中是否还存在要处理的像素的判断。如果是， 则 处理对下一像素重复步骤 906-910。 一旦确立了第一光强度图像中的所有像素的边界值， 则 处理完成。
     如上所述， 在一些情况下， 预期的像素误差 ( 或未对准 ) 可能大于 1 个像素。在这 种情况下， 可执行步骤 914( 在步骤 904 之后 )。步骤 914 是对第一光强度图像进行降采样。 注意， 第二图像也可被降采样以用于稍后处理。对图像进行降采样 ( 也被称为重新采样 ) 可涉及减少光强度图像中的像素的数量。例如， 360x 120 像素图像可被降采样成 180x 60 像素图像。对图像进行降采样在本领域中很好理解并且不再赘述。
     对光强度图像进行降采样可减少第一和第二光强度图像中的误差 ( 未对准 ) 像 素。 因此， 在降采样之后， 在步骤 904， 作出第一和第二光强度图像之间是否存在小于 1 个像 素误差的重新判断。可以使用先前使用并且在上文中描述的类似技术。如果降采样达到了 小于 1 个像素的未对准， 则处理可如先前在步骤 906-912 中描述的那样继续。否则， 在步骤 904， 第一光强度图像 ( 以及可能第二光强度图像 ) 可被进一步降采样。
     图 10 是在处理第一光强度图像时使用边界值的过程 1000 的一个实施例的流程 图。过程 1000 提供图 3 的步骤 312 的进一步细节。过程 1000 还讨论了在第一图像的像素 否则会超出其边界值时对第二光强度图像的可能修改。
     在步骤 1002， 基于经平滑的深度图像和第二光强度图像来确定第一光强度图像的 新值。 作为一个示例， 将经平滑的深度图像中的像素乘以非门控光强度图像中的对应像素。 注意， 这可被认为是将深度图像计算成门控光强度图像除以非门控光强度图像的逆运算。
     步骤 1002 的结果可以是第一光强度图像 ( 例如， 门控图像 ) 中的像素中的一些超 出了边界值。在步骤 1004， 作出 ( 经修改的 ) 第一光强度图像中是否还存在要针对边界值 违反进行检查的像素的判断。如果否， 则过程 1000 结束。否则， 在步骤 1004， 访问下一像素的值及其边界值。这些边界值可以通过图 9 的过程 900 来确定。
     在步骤 1008， 作出 ( 经修改的 ) 第一光强度图像中的第一像素是否超出其边界值 的判断。如果否， 则该过程返回步骤 1004 以确定第一光强度图像中是否还存在要被检查来 确定与边界值的遵从性的像素。
     如果第一像素超出其边界值， 则在步骤 1010 调整像素值以使它保持在边界内。此 外， 作为可任选步骤， 在步骤 1012， 可调整第二光强度图像中的对应像素的值。 例如， 如果像 素是 8 位值， 则该值可被递增 ( 或递减 )1。当然， 像素可以是除 8 位值以外的值。此外， 该 值可被修改超过 1。该值被递增还是递减可取决于第一光强度图像中的像素的值是高于还 是低于边界。在步骤 1012 之后， 过程 1000 返回步骤 1004 以判断是否还有要确定其与边界 值的遵从性的像素。
     图 11 描绘了可以在图 1 的运动捕捉系统中使用的计算环境的示例框图。深度相 机系统 20 可向控制台 100 提供输入。在一个实施例中， 深度相机系统 20 确定深度值并将 它们提供给控制台 100。 在一个实施例中， 深度相机系统 20 收集图像数据 ( 例如， 光强度图 像 )， 它将该图像数据提供给控制台以确定深度图像。
     上文所描述的诸如计算环境 12 等的计算环境可包括诸如游戏控制台等的多媒 体控制台 100。多媒体控制台 100 包括具有一级高速缓存 102、 二级高速缓存 104 和闪存 ROM( 只读存储器 )106 的中央处理单元 (CPU)101。一级高速缓存 102 和二级高速缓存 104 临时存储数据并因此减少存储器访问周期数， 由此改进处理速度和吞吐量。 CPU 101 可以设 置成具有一个以上的内核， 以及由此的附加的一级和二级高速缓存 102 和 104。诸如闪存 ROM 之类的存储器 106 可存储当多媒体控制台 100 通电时在引导过程的初始阶段期间加载 的可执行代码。 图形处理单元 (GPU)108 和视频编码器 / 视频编解码器 ( 编码器 / 解码器 )114 形 成用于高速、 高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元 108 输 送到视频编码器 / 视频编解码器 114。视频处理流水线向 A/V( 音频 / 视频 ) 端口 140 输出 数据， 以便传输到电视机或其他显示器。存储器控制器 110 连接到 GPU 108， 以便于处理器 对各种类型的存储器 112， 比如 RAM( 随机存取存储器 ) 的访问。
     多媒体控制台 100 包括可在模块 118 上实现的 I/O 控制器 120、 系统管理控制器 122、 音频处理单元 123、 网络接口 124、 第一 USB 主控制器 126、 第二 USB 控制器 128 和前面板 I/O 子部件 130。USB 控制器 126 和 128 用作外围控制器 142(1)-142(2)、 无线适配器 148、 和外置存储器设备 146( 例如闪存、 外置 CD/DVD ROM 驱动器、 可移动介质等 ) 的主机。网络 接口 (NW IF)124 和 / 或无线适配器 148 提供对网络 ( 例如， 因特网、 家庭网络等 ) 的访问 并且可以是包括以太网卡、 调制解调器、 蓝牙模块、 电缆调制解调器等的各种不同的有线或 无线适配器组件中任何一种。
     提供系统存储器 143 来存储在引导过程期间加载的应用数据。提供了媒体驱动器 144， 其可以包括 DVD/CD 驱动器、 硬盘驱动器、 或其他可移动媒体驱动器。媒体驱动器 144 可以是多媒体控制台 100 内部或外部的。应用数据可经由媒体驱动器 144 访问， 以由多媒 体控制台 100 执行、 回放等。媒体驱动器 144 经由诸如串行 ATA 总线或其他高速连接等总 线连接到 I/O 控制器 120。
     系统管理控制器 122 提供涉及确保多媒体控制台 100 的可用性的各种服务功能。
     音频处理单元 123 和音频编解码器 132 形成具有高保真度和立体声处理的对应的音频处理 流水线。音频数据经由通信链路在音频处理单元 123 与音频编解码器 132 之间传输。音频 处理流水线将数据输出到 A/V 端口 140 以供外置音频播放器或具有音频能力的设备再现。
     前面板 I/O 子部件 130 支持暴露在多媒体控制台 100 的外表面上的电源按钮 150 和弹出按钮 152 以及任何 LED( 发光二极管 ) 或其他指示器的功能。系统供电模块 136 向 多媒体控制台 100 的组件供电。风扇 138 冷却多媒体控制台 100 内的电路。
     CPU 101、 GPU 108、 存储器控制器 110、 和多媒体控制台 100 内的各个其他组件经 由一条或多条总线互连， 包括串行和并行总线、 存储器总线、 外围总线、 和使用各种总线架 构中任一种的处理器或局部总线。
     当多媒体控制台 100 通电时， 应用数据可从系统存储器 143 加载到存储器 112 和 / 或高速缓存 102、 104 中并在 CPU 101 上执行。应用可呈现在导航到多媒体控制台 100 上可 用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中， 媒体驱动器 144 中 包含的应用和 / 或其他媒体可从媒体驱动器 144 启动或播放， 以向多媒体控制台 100 提供 附加功能。
     多媒体控制台 100 可通过将该系统连接到电视机或其他显示器而作为独立系统 来操作。在该独立模式中， 多媒体控制台 100 允许一个或多个用户与该系统交互、 看电影、 或听音乐。然而， 随着通过网络接口 124 或无线适配器 148 可用的宽带连接的集成， 多媒体 控制台 100 还可作为较大网络社区中的参与者来操作。 当多媒体控制台 100 通电时， 可以保留指定量的硬件资源以供多媒体控制台操作 系统作系统使用。 这些资源可包括预留存储器 ( 例如， 16MB)、 CPU 和 GPU 周期 ( 例如， 5％ )、 网络带宽 ( 例如， 8kbs) 等等。因为这些资源是在系统引导时保留的， 所以所保留的资源对 应用而言是不存在的。
     具体地， 存储器保留可以是足够大以包含启动内核、 并发系统应用和驱动程序。 CPU 保留可以是恒定的， 使得若所保留的 CPU 使用不被系统应用使用， 则空闲线程将消耗任 何未使用的周期。
     对于 GPU 保留， 通过使用 GPU 中断来显示由系统应用生成的轻量消息 ( 例如， 弹出 窗口 )， 以调度代码来将弹出窗口呈现为覆盖图。 覆盖图所需的存储器量取决于覆盖区域大 小， 并且覆盖图可与屏幕分辨率成比例缩放。 在并发系统应用使用完整用户界面的情况下， 优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率， 从而无需改变频率并 无需引起 TV 重新同步。
     在多媒体控制台 100 引导且系统资源被保留之后， 就执行并发系统应用来提供系 统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内 核标识是系统应用线程而非游戏应用线程的线程。 系统应用可被调度为在预定时间并以预 定时间间隔在 CPU 101 上运行， 来为应用提供一致的系统资源视图。进行调度是为了把由 在控制台上运行的游戏应用所引起的高速缓存中断最小化。
     当并发系统应用需要音频时， 则由于时间敏感性而将音频处理异步地调度给游戏 应用。多媒体控制台应用管理器 ( 如下所述 ) 在系统应用活动时控制游戏应用的音频水平 ( 例如， 静音、 衰减 )。
     输入设备 ( 例如， 控制器 142(1) 和 142(2)) 由游戏应用和系统应用共享。输入设
     备不是所保留的资源， 但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。 应用管理器可控制输入流的切换， 而无需知晓游戏应用的知识， 并且驱动程序维持有关焦 点切换的状态信息。 控制台 100 可从包括相机 28 的图 2 的深度相机系统 20 接收附加输入。
     图 12 描绘可被用来确定深度图像的计算环境的另一示例框图。在一个实施例中， 深度相机系统 20 向计算环境提供图像数据 ( 例如， 两个光强度图像 ) 以确定深度图像。在 一个实施例中， 深度相机系统 20 提供深度值以供计算环境 220 使用。
     计算环境 220 包括通常包括各种有形计算机可读存储介质的计算机 241。这可以 是能由计算机 241 访问的任何可用介质， 而且包含易失性和非易失性介质、 可移动和不可 移动介质。 系统存储器 222 包括易失性和 / 或非易失性存储器形式的计算机存储介质， 如只 读存储器 (ROM)223 和随机存取存储器 (RAM)260。基本输入 / 输出系统 224(BIOS) 包含诸 如在启动期间帮助在计算机 241 内的元件之间传输信息的基本例程， 它通常储存储在 ROM 223 中。 RAM 260 通常包含处理单元 259 可立即访问和 / 或目前正在操作的数据和 / 或程序 模块。图形接口 231 与 GPU 229 进行通信。作为示例而非局限， 图 12 描绘了操作系统 225、 应用 226、 其他程序模块 227 和程序数据 228。
     计算机 241 也可以包括其他可移动 / 不可移动、 易失性 / 非易失性计算机存储介 质， 例如， 读写不可移动、 非易失性磁性介质的硬盘驱动器 238， 读写可移动、 非易失性磁盘 254 的磁盘驱动器 239， 以及读写诸如 CD ROM 或其他光学介质之类的可移动、 非易失性光盘 253 的光盘驱动器 240。可以在该示例性操作环境中使用的其他可移动 / 不可移动、 易失性 / 非易失性有形计算机可读存储介质包括但不限于， 磁带盒、 闪存卡、 数字多功能盘、 数字录 像带、 固态 RAM、 固态 ROM 等等。硬盘驱动器 238 通常由例如接口 234 等不可移动存储器接 口连接至系统总线 221， 而磁盘驱动器 239 和光盘驱动器 240 通常由例如接口 235 等可移动 存储器接口连接至系统总线 221。
     以上讨论并在图 12 中描绘的驱动器及其相关联的计算机存储介质为计算机 241 提供了对计算机可读指令、 数据结构、 程序模块和其他数据的存储。例如， 硬盘驱动器 238 被描绘为存储了操作系统 258、 应用 257、 其他程序模块 256、 以及程序数据 255。注意， 这 些组件可与操作系统 225、 应用 226、 其他程序模块 227 和程序数据 228 相同， 也可与它们 不同。在此给操作系统 258、 应用 257、 其他程序模块 256、 以及程序数据 255 提供了不同的 编号， 以说明至少它们是不同的副本。用户可以通过输入设备， 例如键盘 251 和定点设备 252——通常是指鼠标、 跟踪球或触摸垫——向计算机 241 输入命令和信息。其他输入设备 ( 未示出 ) 可包括话筒、 操纵杆、 游戏手柄、 圆盘式卫星天线、 扫描仪等。这些和其他输入设 备通常通过耦合至系统总线的用户输入接口 236 连接至处理单元 259， 但也可以由其他接 口和总线结构， 例如并行端口、 游戏端口或通用串行总线 (USB) 来连接。 包括相机 28 的图 2 的深度相机系统 20 可为控制台 100 定义附加输入设备。监视器 242 或其他类型的显示器 也通过接口， 诸如视频接口 232， 连接至系统总线 221。除监视器之外， 计算机还可以包括可 以通过输出外围接口 233 连接的诸如扬声器 244 和打印机 243 之类的其他外围输出设备。
     计算机 241 可以使用到一个或多个远程计算机 ( 如远程计算机 246) 的逻辑连接， 以在联网环境中操作。远程计算机 246 可以是个人计算机、 服务器、 路由器、 网络 PC、 对等 设备或其他常见的网络节点， 且通常包括许多或所有以上相对于计算机 241 描述的元件， 但是在图 12 中仅示出了存储器存储设备 247。逻辑连接包括局域网 (LAN)245 和广域网(WAN)249， 但也可以包括其他网络。这些联网环境在办公室、 企业范围计算机网络、 内联网 和因特网中是常见的。
     当用于 LAN 网络环境中时， 计算机 241 通过网络接口或适配器 237 连接到 LAN 245。当在 WAN 联网环境中使用时， 计算机 241 通常包括调制解调器 250 或用于通过例如 因特网等 WAN 249 建立通信的其他手段。调制解调器 250， 可以是内置的或外置的， 可以经 由用户输入接口 236 或其他适当的机制， 连接到系统总线 221。在联网环境中， 参考计算机 241 所描述的程序模块， 或其某些部分， 可以存储在远程存储器存储设备中。作为示例而非 限制， 图 12 描绘了远程应用 248 驻留在存储器设备 247 上。应当理解， 所示的网络连接是 示例性的， 并且可使用在计算机之间建立通信链路的其他手段。
     前面的对本技术的详细描述只是为了说明和描述。 它不是为了详尽的解释或将本 技术限制在所公开的准确的形式。鉴于上述教导， 许多修改和变型都是可能的。所描述的 实施例只是为了最好地说明本技术的原理以及其实际应用， 从而使精通本技术的其他人在 各种实施例中最佳地利用本技术， 适合于特定用途的各种修改也是可以的。本技术的范围 由所附的权利要求进行定义。