使用摄像机和电视监视器的三维物体扫描 相关申请的交叉引用
该申请对2007年8月17日提交的题为“3D Object Scanning Using Video Camera and TV Monitor”的美国专利申请NO.11/840,813和2007 年4月24日提交的题为“3D Object Scanning Using Video Camera and TV Monitor”的美国临时专利申请No.60/913,793主张优先权，以上申请通 过引用并入本申请。
发明背景
本发明涉及根据物体的二维图像建立该物体的三维模型的方法及其 装置。许多计算机图形图像(computer graphic image)的建立是通过利用 一个场景下的三维模型，从给定的视点数学地建模光线的交互。这种过 程称之为绘制(rendering)，其从给定的视点产生场景的二维图像，并且 其类似于拍摄现实世界场景的照片。当场景随着时间流逝逐渐变化时， 通过绘制一系列的场景图像，可以建立动画序列。交互式软件应用程序 (诸如游戏和其它教育性或娱乐性的应用程序)经常使用绘制软件和硬 件以交互帧速率产生计算机图形图像，从而响应用户的输入。
典型地，交互式软件应用程序中的三维模型通过计算机图形艺 术家使用复杂的三维草图绘制或者建模应用程序产生。另外，雕刻家可 以创作物体的实物(physical)模型，然后通过使用专门的三维扫描仪将 其转换为三维计算机图形模型。所有这些技术都需要专门的硬件、软件 和受过高度训练的艺术家。由于这种复杂性，包含在交互式软件应用程 序中的三维物体通常仅限于那些由软件供应商或者能访问三维模型应用 程序的用户所提供的三维物体。
因此，需要一种系统和方法以允许用户建立实物物体(physical object)的三维图形模型用于交互式软件应用程序。进一步的需要是在不 要求使用建模或者草图绘制应用程序的情况下建立三维计算机图形模 型。更进一步的需要是使用成本低、广泛可用的消费电子产品来实现该 系统。
发明内容
本发明的一实施例包括一种用于建立实物物体的计算机图形模型的 系统。在显示设备上显示的照明图案(Illumination Pattern)随之而来照 亮了实物物体。摄像机获取一张或多张被照明图案所照亮的实物物体的 图像。照明图案可以包括运动和多样性颜色，从而使摄像机能获取实物 物体的表面阴影有较大变化的图像。分析来自所获取实物物体的图像的 阴影值以确定该实物物体上点的表面方位。本发明一实施例评估所获取 的图像的质量和适合性，并可以使用该评估的结果来进一步选择合适的 要被显示的照明图案。照明图案可以针对实物物体的特定的光学、几何 和物理属性而设计，以增加系统对不同类型物体的通用性。
在一实施例中，根据由照明图案所产生的实物物体的图像中的每个 阴影值，照明模型确定一个或多个候选的表面方位(candidate surface orientation)。可选地，每个照明图案的阴影值可以与校准物体上类似的阴 影值相互参照(be crossed referenced)，校准物体具有已知的几何图形并 且被同一照明图案照亮。随着更多的实物物体图像和其它的的照明图案， 实物物体模型上的点的候选表面方位组在减少，直至模型表面能拟合于 模型点的表面方位。
本发明的实施例可以为任意目的向应用提供实物物体的模型，包括 使用户能建立和交换定制的虚拟物体，加强对实物物体的跟踪和视频会 议应用。
附图说明
本发明将参考以下附图描述，其中：
图1示出了根据本发明实施例的用于建立实物物体的三维计算机图 形模型的系统；
图2A-2B示出了适合于与本发明实施例一起使用的、评估实物物体 上的点的表面方位的技术；
图3示出了根据本发明实施例的建立三维计算机图形模型的方法；
图4A-4D示出了适合于与本发明实施例一起使用的照明图案实例；
图5A-5C示出了适合于与本发明实施例一起使用的校准物体实 例；
图6示出了适合于实现本发明实施例的计算机系统实例；以及
图7示出了适合于实现本发明实施例的处理器实例。
具体实施方式
图1示出了根据本发明实施例的用于建立实物物体的三维计算机图 形模型的系统100。系统100包括计算机设备105，其可以为任何类型的 计算设备，包括个人计算机、娱乐用机顶盒(set-top entertainment)、家 用或者便携式视频游戏控制台、个人数字助理、或视频会议设备。设备 105经有线接口或者无线接口与摄像机110连接。在一实施例中，摄像机 110内置于设备105中。在一替代实施例中，摄像机110与设备105分离。 摄像机110被配置成获取静止或者移动的图像并传送这些图像到设备 105。在一实施例中，摄像机110进一步包括一个或者多个内置光源112， 该光源可以有选择地被激活，以提供可见的或者红外照明。相似地，摄 像机110可以具有获取由可见光和/或者红外光组成的图像的能力。在一 个典型实施例中，摄像机110可以类似于通常应用于因特网上或者其它 广域网络上的视频会议的低成本网络摄像头。
除摄像机110之外，系统100还包括显示设备115。显示设备115可 以为使用任何类型显示技术的电视或者计算机监视器，包括阴极射线管、 LED、LCD、OLED、和/或者等离子显示技术。设备105连接于显示设备 115，以使设备105所产生的计算机图形图像和图案由显示设备115显示。
系统100的实施例设置显示设备115，使得由该显示设备115所产生 的图像照亮要被扫描的物体120。物体120可以是由用户所选择的任何实 物物体。尽管显示设备115不是旨在在屏幕或者任何其它物体上投射图 像或者图案的投影仪，但显示设备115在显示图像时，通常有足够的亮 度来附带照亮物体。
当物体120被显示设备115所产生的一个或者多个图案所照亮时， 摄像头110将获取其图像。正如以下的详细讨论，显示设备115可以输 出许多不同的照明图案以建立物体120的准确模型。另外，用户能旋转 或者移动物体120至不同的位置和方位，以至于从所有角度建立物体120 的完整模型。通过分析这些图像，设备105能建立物体120的三维计算 机图形模型。由设备105或者其它设备所执行的交互式软件应用程序随 后可以将该三维计算机图形模型结合到它的操作中。
有许多本领域熟知技术来根据一张或多张图像确定物体的结构或者 形状。一种常用的技术是根据响应于来自一个或者多个光源的照亮的物 体的阴影来确定物体表面上的点的方位。图2A-2B所示为适合与本发明 实施例一起使用的、评估实物物体上的点的表面方位的技术。
图2A示意常用的照明模型200，其基于物体表面在一个点上的方位 规定该物体上该点的阴影。在照明模型200中，表面207上的点205的 阴影是基于表面207上在点205处的法向矢量210和光线矢量215之间 的角度，光线矢量215从点205延伸至光源。例如，Phong照明模型基于 点积或者矢量210和215之间的角度给点分配漫射阴影值(diffuse shading value)。进一步，照明模型200可以让点205的阴影的一部分基于光线矢 量215的反射225和观察矢量220之间的角度，其中，观察矢量220从 点205延伸至摄像机或者观察者。例如，Phong照明模型基于点积或者矢 量210和215之间的角度的指数值分配镜面阴影值(specular shading value)。
由于表面上点的阴影基于表面的方位，因此可以根据阴影值确定表 面的方位。通常，来自单一光源的给定阴影值可以对应于多个可能的表 面方位。然而，通过分析来自不同位置的多个光源的图像，表面点的候 选方位数量可以通常减少至一个方位。对图像的额外处理以及所得到的 提取的表面方位数据(诸如噪音减少和其它滤波、背景抽取、轮廓提取、 以及网格(mesh)的产生、复合和简化)然后可以被用于构建物体的三 维计算机模型。
图2B示意物体250的图像。通过从不同光源照明物体并分析多个点 上的表面的阴影，可以确定物体表面的方位。矢量域包括矢量255a-255t， 其定义物体250表面的法向矢量。本发明的实施例拟合表面于矢量域， 以定义物体250的计算机图形模型。矢量域255中的矢量数量以示意目 的示出，并且本发明实施例可以使用任意数量的矢量的矢量域来定义物 体的模型的表面，其仅受限于摄像机的分辨率和应用程序的需求。
这种技术的之前实施方案在相对于物体和摄像机的特定位置上需要 专门的光源。通常，这些光源的调整必须考虑(account for)特定物体的 独特的拓扑特征、物理特征和光学特征，以建立精确和完整的物体。
相反，本发明的实施例使用显示设备所产生的图像或者图案作为光 源来照亮物体。由于显示设备能够产生复杂并且变化的图案(这对于常 规光源通常是不可能实现的)，所以本发明的实施例可以在不需要用户对 光源进行复杂的人工调整的情况下，用于建立多种不同类型物体的模型。
图3示意根据本发明实施例的建立三维计算机图形模型的方法300。 可选步骤305校准阴影参数。在一实施例中，步骤305在显示设备上显 示一个或者多个照明图案，并测量已知物体的表面上的阴影值以使摄像 机获取的阴影值与已知的表面方位值匹配。
步骤310选择用于显示的照明图案。在一实施例中，系统包括多个 预先选定的或者算法产生的照明图案可供选择。在又一实施例中，照明 图案可以包括动画，以使摄像机在光源相对物体移动时能够获取表面阴 影的变化。如以下的详细讨论，每个照明图案可以合适地与任何类型的 物体一起使用，或者可以设计为适合(be tailored to)获取具有特殊拓扑 的、物理的、和/或者光学的特征的物体的细节。在步骤310的初始迭代 时，通常选择通用的照明图案。利用这些照明图案所获取的作为结果的 图像以及模型的几何形状可以在随后的迭代步骤310中用于选择更加特 定的照明图案。
步骤315显示所选择的照明图案并使用摄像机来获取物体表面阴影 的一个或者多个图像。在一实施例中，步骤315使照明图案与空白图案 交替显示。涉及两个图案的图像之间差异将消除或者减少周围环境或其 它光源对物体表面阴影的影响。
步骤320判断在步骤315所获得的一个或者多个图像中的物体表面 的阴影是否适合用于确定模型的几何形状。例如，如果图像全部是或者 几乎是空白，那么其可能不适合用来提取物体的表面方位。如果物体不 能反射足够来自照明图案的光(例如如果蓝色的照明图案投射于绿色的 物体上)，那么可产生空白图像。合适性的其它标准可以包括：是否有较 多的图像噪音，图像是否清晰并且正确曝光，图像中物体的轮廓是否相 似于从之前图像产生的轮廓，关联于物体的图像的一部分是否连续、或 者在图像的这部分中是否存在许多空白区域或者间隙，以及阴影是否和 其它图像的阴影相一致。
如果步骤315所获取的图像中的物体阴影不适合用于建立物体模型， 则方法300从步骤320返回至步骤310以选择不同的照明图案。在一实 施例中，步骤310中运用关于哪些照明图案产生合适的或者不合适的物 体图像的知识来选择一个合的照明图案，以获取物体的其它图像。例如， 如果蓝色的照明图案导致空白图像(其意味着物体很少或者几乎没有反 射蓝光)，则步骤310的实施例可以将随后选择的照明图案限定在那些包 括红色或者绿色光的照明图案。
相反地，如果步骤315所获取的一个或多个图像包括充分品质的物 体阴影，方法300将从步骤320执行至步骤325。步骤325运用步骤315 所获取的图像中的物体阴影来更新几何形状。在一实施例中，物体的轮 廓被确定并且其内部分布大量的网格点。使用一个或者多个交叠或者靠 近每个网格点的图像点的阴影值来确定每个网格点的一个或者多个候选 表面方位。一个或者多个照明模型可以用于根据阴影值确定候选表面方 位。随着来自不同照明图案的其他图像被处理，每个网格点的候选表面 方位值的数量在减少。
在一实施例中，通过初始化每个网格点减少每个网格点的候选表面 方位值的数量以包括所有可能表面方位。当根据网格点的照明图案确定 候选表面方位组时，该表面方位组与网格点的之前候选表面方位的交集 (intersection)被确定。然后，该候选表面方位的相交的子集作为网格点 的剩余候选表面方位被存储。来自其它的的照明图案的其它候选表面方 位与方法300的后续迭代中的网格点剩下的表面方位形成交集。近似和 估计技术(诸如平均处理和最小二乘法近似)可以被运用于解决来自摄 像机的测量误差。
步骤330判断物体模型几何形状是否完全确定。在一实施例中，如 果所有或者大部分的网格点具有单个剩余候选表面方位，那么步骤330 判定物体模型的几何形状是充分完整的。在又一实施例中，任何其它网 格点的表面方位可以通过插值确定。一旦网格点的表面方位已经被确定， 则拟合表面方位的模型表面被定义。模型表面可以使用三角形、多边形、 诸如NURBS的高次曲面(higher-order curved surface)、细分表面、粒子 系统(particle system)、或者本领域所熟知的任何其它的物体几何形状的 数学表示来定义。
在一个实施例中，判断网格点的至少实质部分的每个是否与单一候 选表面方位相关联。随后，响应于网格点的至少实质部分的每个与单一 候选表面方位相关联的判定，定义适于网格点的实质部分的候选表面方 位的所述计算机图形模型的表面。
如果几何形状被完全确定，那么方法300执行到步骤335以输出目 标模型。否则，方法300返回至步骤310以选择其它的照明图案。在一 实施例中，由步骤310后继迭代所选择的照明图案由网格点剩下的候选 表面方位的数量和类型至少部分地确定。
例如，如果物体的一部分表面可能凸起或者凹陷(基于该表面点的 候选表面方位)，则步骤310的实施例可以选择照明图案，该照明图案被 设计为辨认凸起和凹陷的几何形状。例如，如果物体的凸起部分是从下 方照亮，则该部分的底部将比该部分的顶部更亮。相反地，如果物体的 凹陷部分是从下方照亮，那么，该部分的顶部将比该部分的底部更亮。
在又一实施例中，可以指导用户将物体旋转至新的位置，并重复步 骤310-330以确定摄像机之前所不能看到的物体的其它部分的几何形状。 该几何形状可以结合从物体之前的方位所辩识的物体几何形状以从所有 角度建立完整的和闭合的物体模型。或者，从一个或多个方位所确定的 物体几何形状可以结合预先定义的物体几何形状以建立闭合的物体。例 如，方法300可以用来确定用户脸部的几何形状。该几何形状可以结合 预先定义的头部模型。在再一实施例中，还根据物体图像建立结构图 (texture map)或者其它表面阴影信息。在一实施例中，建立方式为选择 其中一个图像或者多个图像的组合，消除背景，并且然后投影图像至模 型表面以确定结构的坐标。
本发明的实施例可以使用广泛多样的不同类型的照明图案以确定物 体表面上的点的方位。通常，照明图案被设计成从物体一个或者多个方 向投射光线至物体表面。图4A-4D示出了适合于与本发明实施例一起 使用的照明图案实例。
图4A示意照明图案400实例。照明图案400包括图案左上角的红光 区域405、图案右上角的绿光区域410、和图案底端中部的蓝光区域415。 照明图案400适合与彩色摄像机一起使用。由于典型的彩色摄像机能同 时地获取图像中的红、绿、蓝光，照明图案400使摄像机可以在单个图 像的不同位置获取来自三种不同光源的物体的阴影。在该实例中，图像 中所有的红光(即每个像素的红色分量)来源于区域405，图像中所有的 绿光(即每个像素的绿色分量)来源于区域410，并且图像中所有的蓝光 (即每个像素的蓝色分量)来源于区域415。
照明图案400实例假设物体表面对所有颜色的光的反射大约相等。 每个颜色分量的阴影值的比例化(scaling)或者归一化可以被用于补偿以 不同的量反射光的不同颜色的物体表面。在又一实例中，图4B示意第二 种照明图案420。除了颜色区域的位置被交换外，照明图案420与图案 400相似。在照明图案420中，红色区域430位于右上角，绿色区域435 位于底端中部，蓝色区域位于左上角。通过分别对比来自区域405和425 的物体阴影、来自区域410和430的物体阴影、来自区域415和435的 物体阴影，本发明实施例可以补偿物体对不同颜色的反射特性。例如， 来自区域405和区域425的阴影值之比正比于红色光和蓝色光之间的物 体表面反射差的比率。
除使用颜色之外，照明图案可以利用运动(诸如平移和旋转)来观 察物体表面阴影的变化以响应于光源的移动。图4C示意包括在第一位置 和方位的照明三角形445的照明图案440实例。图4D示意包括在不同位 置和方位的相似三角形465的照明图案460实例。通过获取当三角形在 不同位置和方位之间移动时的物体阴影的图像，就有可能辨认物体表面 上的点的方位。
如上所述，表面光反射的阴影或者照明模型可以被用于基于来自光 源的点的阴影值确定点的候选表面方位。在又一实施例中，具有已知表 面方位的校准物体可以被用来改进表面方位分析的精确度。在一实施例 中，系统用一个或多个照明图案照亮校准物体。通过摄像机获取在多个 表面点上的校准物体的表面阴影。因为准物体具有已知的几何形状，所 以每个表面点的方位也是已知的。这样，对于每个照明图案，系统存储 使每个阴影值与一个或者多个候选表面方位相关联的数据结构。当以同 样的照明图案分析未知物体时，表面点的阴影值可以用来从该数据结构 中查找出一组候选表面方位。
图5A-5C示出了适合于与本发明实施例一起使用的校准物体实例。 图5A示意由第一照明图案500照亮的校准物体实例。在该实例中，校准 物体是球形的。如果第一照明图案以迎面方向照亮校准物体，则区域505 将具有大致相同的阴影值。由于校准物体的几何形状是已知的，所以区 域505将与一组包括表面法向矢量510a-510h的候选表面方位组510相 关联。当用同样的照明图案分析未知物体时，其阴影值相似于区域505 的阴影值的任何表面点将被分配以候选表面方位组的部分或全部方位。 对于第一照明图案，可以为具有其它阴影值的校准物体表面的其它区域 进行相似的分析。
图5B示意由第二照明图案520照亮的同一实例校准物体。在该实例 中，第二照明图案520从侧面照亮校准物体。校准物体表面的区域525 将具有大致相同的阴影值。由于校准物体的几何形状是已知的，区域525 将与一组包括表面法向矢量530a-530h的候选表面方位组530相关联。 当用同样的照明图案分析未知物体时，其阴影值相似于区域525的阴影 值的任何表面点将被分配以候选表面方位组530的部分或者全部方位。 对于第二照明图案，可以为具有其它阴影值的校准物体表面的其它区域 进行相似的分析。
作为特定校准物体的另一个选择，本发明的实施例可以使用用户的 脸部特征作为校准物体。图5C示意由照明图案照亮的用户脸部实例550。 某一用户脸部特征可具有已知的几何形状。例如，鼻尖560、额头555和 眼睛565都大致为球形。该发明的实施例可以使用所有或者任一脸部特 征上的照明图案的阴影，使阴影值与候选表面方位相关联。
使用本发明实施例所建立的物体模型可以以多种方式结合于交互式 软件应用程序中。例如，用户所喜爱的物体模型可以用来装饰用户的虚 拟空间，或者作为电子礼物给其它用户。用户可以把他们的脸加到游戏 中的角色上。使用本来领域所熟知的任何绘制(rendering)技术(包括多 边形光栅化(polygon rasterization)和射线跟踪绘制(ray tracing rendering) 技术)，物体模型能被绘制和显示给用户。
在又一实例中，本发明的实施例在视频会议应用中可以纠正摄像机 的位置。通常，视频会议的用户更多是看视频屏幕而不是摄像机。由于 在视频会议应用中摄像机通常置于屏幕的旁边或者上面，所以在视频会 议中用户难以通过眼睛交流。该发明的实施例使用以上所描述的技术建 立用户的头部模型。该模型被用于确定摄像机相对于用户的头部的位置。 基于这些信息，本发明实施例的应用程序可以将获取的视频映射为模型 上的结构，并且然后绘制用户的头部模型，头部模型从迎面方向被获取 的视频结构覆盖。这样模拟了用户直接看着摄像机的效果。
在再一实施例中，系统使用从显示设备投射的照明图案以建立物体 的初始高分辨率模型。然后，系统可以使用来自显示设备的部分的可见 照明图案、或者从与该摄像机或另一摄像机关联的光源所投射的可见或 红外照明图案，以获取物体的低分辨率模型。低分辨率模型可被应用程 序用于追踪物体的位置或者方位的改变，或者用于获取物体形状的持续 变化，例如，用户脸部的表情变化。这些变化可用来修改物体模型的高 分辨率版本的位置或者形状。来自低分辨率模型的信息可用来作为应用 程序的输入，例如让游戏中角色的脸部表情真实反映用户的脸部表情、 或者让应用程序中的虚拟物体跟随用户的实物物体的运动。
图6示出了适合于用于实现本发明实施例的计算机系统1000实例。 图6是适合于实现本发明实施例的计算机系统1000的方块图，该计算机 系统例如是个人计算机、视频游戏控制台、个人数字助理或者其它数字 设备。计算机系统1000包括中央处理器(CPU)1005，其用于运行软件 应用程序，执行逻辑功能，和可选的操作系统。CPU 1005可以包括一个 或者多个处理核。内存1010存储CPU1005所使用的应用程序和数据。 存储器1015为应用程序和数据提供非易失性存储，并且其可以包括固定 盘驱动器(fixed disk drives)、移动盘驱动器(removable disk drives)、闪 存、CD-ROM、DVD-ROM、蓝光光盘、HD-DVD或者其它光学存储装置。 用户输入设备1020将来自一个或多个用户的输入传输至计算机系统 1000，用户输入设备1020的例子可包括键盘、鼠标、操纵杆、触控板(touch pad)、触摸屏，静态或者动态摄像机和/或麦克风。网络接口1025允许计 算机系统1000经由电子通信网络与其它计算机系统通信，并且可以包括 在局域网和例如英特网之类的广域网上的有线或者无线通信。音频处理 器1055用于根据CPU1005、内存1010和/或存储器1015提供的指令和/ 或数据产生模拟的或者数字的音频输出。计算机系统1000的组件包括 CPU1005、内存1010、数据存储器1015、用户输入设备1020、网络接口 1025和音频处理器1055，这些组件经由一条或多条数据总线1060连接 在一起。在又一实施例中，静态或者摄像机1065与数据总线1060连接。 摄像机1065可以经由例如USB或火线(Firewire)接口的外部接口、无 线接口或者内部接口与数据线1065连接。
图形子系统1030与数据总线1060和计算机系统1000的组件进一步 连接。图形子系统1030包括图形处理单元(GPU)1035和图形存储器 1040。图形存储器1040包括用于存储输出图像的每个像素的像素数据的 显存(例如，帧缓冲器)。图形存储器1040可以集成在相同的装置内作 为GPU1035，也可以作为单独的器件连接于GPU1035，和/或在内存1010 中实现。可以直接从CPU10005向图形存储器1040提供像素数据。或者， CPU1005提供定义所需输出图像的数据和/或指令给GPU1035，GPU1035 据此产生一个或多个输出图像的像素数据。定义所需输出图像的数据和/ 或指令可以存储在内存1010和/或图形存储器1040中。在一实施例中， GPU1035包括根据指令和数据为输出图像产生像素数据的3D绘制能力， 其中指令和数据定义几何形状、照明(lighting)、阴影、结构、运动和/ 或场景的摄像机参数。GPU1035进一步可包括一个或多个能执行阴影化 程序(shader programs)的可编程执行单元。
图形子系统1030从图像存储器1040中周期性地输出图像的像素数 据，以将这些像素数据显示于显示设备1050上。显示设备1050是任何 能够响应于计算机系统1000信号而显示视觉信息的设备，其包括CRT、 LCD、等离子显示器、OLED显示器。计算机系统1000能给显示设备1050 提供模拟或者数字信号。
在本发明的实施例中，CPU1005是一个或多个具有一个或多个处理 核的通用微处理器。本发明的其它实施例可使用下列一个或者多个CPU 实现，该CPU具有特别适合于高度并行和高计算强度的应用(例如媒体 和交互娱乐应用)的微处理器架构。图7示出了适合于实现本发明实施 例的处理器2000实例。
处理器2000包括多个处理器单元，每个能够并行执行独立的程序。 处理器2000包括PPE处理器单元2005。PPE处理器单元是CISC、RISC 或者本领域所熟知的其它处理器架构的通用处理器。在一实例中，PPE 处理器单元2005是64位、多线程RISC架构的处理器，例如，PowerPC 架构。PPE处理器单元2005可以包括分为一级、二级或者更多级的缓存 (cache memory)2007，其暂时存储由PPE处理器单元2005所执行的数 据和指令。
作为附加性能，处理器2000包括多个SPE处理器单元2010。在该 实例中，处理器2000包括8个SPE处理器单元2010A-2010H；然而， 其它实例的处理器可以包括不同个数的SPE处理器单元。SPE处理器单 元2010适用于数据的流处理。在流处理中，程序在大的数据组中的每一 项上被重复地执行。为促进数据流处理，SPE处理器单元2010可以包括 指令执行单元，其能够同时对多个数据操作数执行SIMD指令。SPE处 理器单元2010也可包括指令单元，其能够执行用于更通常的处理任务的 单指令、单数据(SISD)。
每个SPE处理器单元(例如SPE处理器单元2010A)包括本地数据 和指令存储器2012A。数据和指令可以经由DMA单元2014A传送至和 传送出本地数据指令存储器2012A。DMA单元(例如2014A单元)能够 在没有处理器监督的情况下从每个SPE处理器单元2010传送出和传送进 数据，从而使SPE处理器单元2010能够不中断地持续地处理数据。
数据和指令由处理器2000经由内存和I/O接口2015进行输入和输 出。数据和指令可以经由处理器总线2020在内存与I/O接口2015、PPE 处理器单元2005和SPE处理器单元2010之间通信。
为阐明目的，讨论了以上计算机系统实例，本发明实施例能够容易 地适用于与包括摄像机以及能够照明附近物体的任何类型的显示设备的 任何类型系统一起工作。本领域普通技术人员可以从说明书和附图预想 出进一步的实施例。在其它实施例中，可以方便地做出对以上所揭示的 发明的组合或者子组合。对结构的框图和流程图归类以易于理解。然而， 应当理解的是，在当前发明可选择的实施例中，方框的组合、新方框的 增加、方框的重新排布等都是可预料的。
相应地，说明书及附图被认为是示意性的而不是限制性的。但是， 在不脱离本发明的精神和权利要求所阐明范围的前提下，在其上做出的 各种各样的改进或者改动被认为是显而易见的。