经由深度相机的眼睛追踪.pdf

《经由深度相机的眼睛追踪.pdf》由会员分享，可在线阅读，更多相关《经由深度相机的眼睛追踪.pdf（17页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 (43)申请公布日 (21)申请号 201480036259.X (22)申请日 2014.06.23 13/926223 2013.06.25 US A61B 3/113(2006.01) G06F 3/01(2006.01) (71)申请人 微软技术许可有限责任公司 地址 美国华盛顿州 (72)发明人 D. 尼斯特 I. 埃登 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 初媛媛 景军平 (54) 发明名称 经由深度相机的眼睛追踪 (57) 摘要 公开了涉及基于用户眼睛的飞行时间深度图 像数据来追踪用户眼睛的实施例。 例如， 一个所公 开的实。

2、施例提供一种眼睛追踪系统， 包括光源、 配 置成使用具有不受约束的基线距离的深度传感器 来获取用户眼睛的二维图像和用户眼睛的深度数 据的感测子系统、 以及逻辑子系统， 其配置成控制 光源发射光、 控制感测子系统获得用户眼睛的二 维图像而同时点亮光源、 控制感测子系统获得用 户眼睛的深度数据、 从二维图像确定用户眼睛的 凝视方向、 基于凝视方向和深度数据确定凝视方 向与显示器相交的显示器上的地点、 以及输出所 述地点。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2015.12.24 (86)PCT国际申请的申请数据 PCT/US2014/043544 2014.06.23 (87。

3、)PCT国际申请的公布数据 WO2014/209816 EN 2014.12.31 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图7页 CN 105407791 A 2016.03.16 CN 105407791 A 1/2 页 2 1.一种眼睛追踪系统， 包括 ： 光源 ； 配置成获取用户眼睛的二维图像以及包含用户眼睛的区的飞行时间深度图像数据的 图像感测子系统 ； 逻辑子系统， 配置成 ： 控制光源发射光 ； 控制图像感测子系统获得用户眼睛的二维图像而同时经由光源发射光 ； 控制图像感测子系统获得用户眼睛的飞行时间深度图。

4、像 ； 从二维图像确定用户眼睛的凝视方向 ； 基于凝视地点确定凝视方向与显示器相交的地点 ； 以及 输出所述地点。 2.如权利要求 1 所述的系统， 其中图像感测子系统包括飞行时间深度相机和二维图像 传感器。 3.如权利要求 1 所述的系统， 其中图像感测子系统包括飞行时间深度相机， 并且其中 指令可被执行以从飞行时间深度相机所获得的图像数据检测用户眼睛的瞳孔地点以确定 用户眼睛的凝视方向。 4.如权利要求 1 所述的系统， 其中该系统还包括显示器。 5.如权利要求 1 所述的系统， 其中图像感测子系统包括飞行时间深度相机并且光源包 括飞行时间深度相机的光源。 6.如权利要求 1 所述的系统，。

5、 其中指令可被执行以从飞行时间深度图像检测沿着凝视 方向从用户眼睛到显示器的距离以确定凝视方向与显示器相交的显示器上的地点。 7. 如权利要求 1 所述的系统， 其中二维图像是第一二维图像， 并且其中指令还可执行 成 ： 控制图像感测子系统获得第二二维图像， 第二二维图像具有比第一二维图像更宽的视 场， 以及 在从第一二维图像确定用户眼睛的凝视方向之前， 经由第二二维图像确定用户眼睛的 地点。 8.如权利要求 7 所述的系统， 其中图像感测子系统包括飞行时间深度相机、 较高分辨 率的二维图像传感器以及较低分辨率的二维图像传感器， 并且其中经由较低分辨率的二维 图像传感器获得第二二维图像并且经由。

6、较高分辨率的二维图像传感器获得第一二维图像。 9.在移动计算设备上， 一种用于相对于显示器上所显示的用户界面而追踪用户的眼睛 的方法， 所述方法包括 ： 点亮光源 ； 在点亮光源时获得包括眼睛的图像的图像数据 ； 经由具有不受约束的基线距离的深度传感器获得眼睛的深度数据 ； 从图像数据检测眼睛的瞳孔地点以及来自光源的光的反射地点 ； 从瞳孔地点和反射地点确定眼睛的凝视方向 ； 从深度数据检测沿着凝视方向从眼睛到显示器的距离 ； 以及 输出凝视方向与显示器相交的地点。 权 利 要 求 书 CN 105407791 A 2 2/2 页 3 10.如权利要求 9 所述的方法， 其中深度传感器包括飞行。

7、时间深度相机， 并且其中经由 来自飞行时间深度相机的图像数据检测瞳孔地点和反射地点。 权 利 要 求 书 CN 105407791 A 3 1/7 页 4 经由深度相机的眼睛追踪 背景技术 0001 实时眼睛追踪可以用于估计用户的凝视方向并将其映射到显示设备上的坐标。 例 如， 用户的凝视方向与显示器相交的显示器上的地点可以用作用于与显示器上所显示的用 户界面对象交互的机制。可以使用各种眼睛追踪方法。例如， 在一些方案中， 来自一个或多 个光源的光 （例如， 在红外范围或任何其它适当的频率中） 可以朝向用户眼睛定向， 并且相 机可以用于捕获用户眼睛的图像数据。 用户眼睛上的光的反射地点以及眼睛。

8、瞳孔的位置可 以在图像数据中检测以确定用户凝视的方向。 凝视方向信息可以与关于从用户眼睛到显示 器的距离的信息组合地使用以确定用户眼睛凝视方向与显示器相交的显示器上的地点。 发明内容 0002 公开了涉及利用用户眼睛的飞行时间深度图像数据的眼睛追踪的实施例。例如， 一个所公开的实施例提供眼睛追踪系统， 包括光源、 配置成获取用户眼睛的二维图像和用 户眼睛的深度数据的感测子系统、 以及逻辑子系统， 以控制光源发射光， 控制感测子系统在 从光源发射光时获得用户眼睛的二维图像， 控制感测子系统获得用户眼睛的深度数据， 从 二维图像确定用户眼睛的凝视方向， 基于从深度数据所获取的用户眼睛的深度和凝视方。

9、向 来确定用户凝视与显示器相交的显示器上的地点， 并且输出该地点。 0003 提供本发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的 选择。本发明内容不意图标识所要求保护的主题的关键特征或必要特征， 也不意图用于限 制所要求保护的主题的范围。此外， 所要求保护的主题不限于解决本公开内容的任何部分 中所指出的任何或全部缺点的实现方案。 附图说明 0004 图 1A-4 示出了示例眼睛追踪场景。 0005 图 5 示出了依照本公开内容的眼睛追踪模块的实施例。 0006 图 6 图示了依照本公开内容的实施例的基于飞行时间深度图像数据的眼睛追踪 的示例。 0007 图 7 示出了用于基于。

10、飞行时间深度图像数据追踪用户眼睛的方法的实施例。 0008 图 8 示意性地示出了计算系统的实施例。 具体实施方式 0009 如以上描述的， 眼睛追踪可以用于基于所估计的凝视与显示设备相交的地点而将 用户的凝视映射到显示在显示设备上的用户界面。 用户的凝视方向与显示设备相交的地点 因而可以充当用于用户界面的用户输入机构。图 1A-2A 和 1B-2B 示意性地描绘了其中用户 104凝视在显示设备120的不同地点处的示例场景 （分别从顶视图和正视图） 。 显示设备120 可以示意性地表示任何适当的显示设备， 包括但不限于计算机监视器、 移动设备、 电视、 平 板计算机、 近眼显示器和可穿戴计算机。

11、。用户 104 包括头部 106、 具有第一瞳孔 110 的第一 说 明 书 CN 105407791 A 4 2/7 页 5 眼睛 108、 以及具有第二瞳孔 116 的第二眼睛 114， 如图 1A 中所示。第一眼睛凝视方向 112 指示其中第一眼睛 108 所凝视的方向， 并且第二眼睛凝视方向 118 指示其中第二眼睛 114 所凝视的方向。 0010 图 1A 和 2A 示出了在显示设备 120 上的第一聚焦地点 122 处会聚的第一眼睛凝视 方向 112 和第二眼睛凝视方向 118。图 2A 还示出了在第一聚焦地点 122 处与第一眼睛凝视 方向 112 和第二眼睛凝视方向 118 。

12、相交的第一用户界面对象 206。接下来， 图 1B 和 2B 示出 了由于眼睛 114 和 108 从朝向显示设备 120 的左侧的方向到朝向显示设备 120 的右侧的反 向的旋转而在第二聚焦地点124处会聚的第一眼睛凝视方向112和第二眼睛凝视方向118。 图 2B 还示出了在第二聚焦地点 124 处与第一眼睛凝视方向 112 和第二眼睛凝视方向 118 相交的第二用户界面对象 208。因而， 通过追踪用户的凝视， 可以基于用户的凝视与显示设 备相交的地点而生成作为用户界面输入的位置信号， 由此允许用户至少部分地通过凝视与 第一用户界面对象 204 和第二用户界面对象 208 交互。 001。

13、1 眼睛追踪可以以各种方式执行。 例如， 如上文描述的， 从用户眼睛反射的来自经校 准光源的闪光连同检测到或估计到的用户眼睛的瞳孔地点一起可以用于确定用户的凝视 方向。 然后可以估计或检测从用户眼睛到显示设备的距离以确定用户的凝视方向与显示器 相交的显示器上的地点。作为一个示例， 具有到显示器的固定的或以其它方式已知的关系 的立体相机可以用于确定从用户眼睛到显示器的距离。 然而， 如下文描述的， 立体相机可能 强加使得其难以在一些环境中使用的几何约束。 0012 眼睛追踪可以在各种不同的硬件环境中使用。例如， 图 3 示出了穿戴有被描绘为 头部安装式增强现实显示设备的可穿戴计算设备 304 并。

14、且凝视在环境 302 中的对象 306 处 的用户104。 在该示例中， 设备304可以包括集成式眼睛追踪系统以追踪用户的凝视并且检 测与显示在设备 304 上的虚拟对象的交互， 以及与通过可穿戴计算设备 304 可观看的背景 中的真实世界对象的交互。图 4 描绘了眼睛追踪硬件环境的另一示例， 其中眼睛追踪用于 检测用户所凝视的计算机监视器 404 上的地点。 0013 在这些和 / 或其它硬件设置中， 眼睛追踪系统的准确性和稳定性可以取决于从相 机平面获取眼睛的距离的准确估计。当前的眼睛追踪系统可以通过使用立体相机对以使 用计算机视觉算法估计三维眼睛位置来解决该问题。图 4 图示了如包括通过。

15、基线距离 412 分离的第一相机 406 和第二相机 408 的立体相机配置。图 4 还图示了可以被点亮而发射光 414 以用于从眼睛 114 反射的光源 410。用户眼睛的图像 （不管是由立体相机图像传感器获 得还是由其它 （多个） 图像传感器获得） 可以用于确定来自眼睛 114 的反射相对于眼睛的瞳 孔 116 的地点以确定眼睛 114 的凝视方向。另外， 来自第一相机 406 和第二相机 408 的眼 睛的图像可以用于估计眼睛 114 距显示器 402 的距离， 使得可以确定用户的凝视与显示器 相交的地点。 0014 然而， 第一相机 406 与第二相机 408 之间的基线距离 412 。

16、可以在几何上受约束为 大于用于用户眼睛 114 与显示器 402 之间的距离的准确确定 （三角测量） 的阈值距离 （例如 大于10cm） 。 这可能限制减小这样的眼睛追踪单元的大小的能力， 并且可能难以与一些硬件 配置一同使用， 诸如头部安装式显示器或其它紧凑的显示设备。 0015 确定用户眼睛与显示器之间的距离的其它方案可能依赖于单个相机系统并且利 用眼睛距离的微弱估计。然而， 这样的方案可能导致实际凝视地点与屏幕坐标之间的非稳 说 明 书 CN 105407791 A 5 3/7 页 6 定映射。 0016 相应地， 本文公开了涉及在眼睛追踪系统中使用具有不受约束基线距离 （即， 没有 最。

17、小基线距离， 与立体相机布置相对） 的深度传感器以获取关于用户眼睛的地点和位置的 信息的实施例。这样的深度传感器的一个示例是飞行时间深度相机。飞行时间深度相机利 用配置成发射光脉冲的光源， 以及配置成快门式的 （shuttered） 以捕获相对于对应光脉冲 定时的时间顺序图像帧的序列的一个或多个图像传感器。 深度相机中的图像传感器的每一 个像素处的深度， 即来自光源的、 通过对象反射的光从对象到图像传感器的该像素所行进 的有效距离， 可以基于每一个顺序图像中的光强度而确定， 这是由于从不同深度处的对象 所反射的光被捕获在不同顺序图像帧中。 0017 因为飞行时间深度相机可以从单个地点获得图像数。

18、据而不是像图像传感器的立 体对那样从两个地点获得， 所以利用飞行时间深度相机的眼睛追踪系统可以不具有如关于 立体相机配置所发现的最小基线维度约束。 这可以允许眼睛追踪系统在诸如头部安装式显 示器、 智能电话、 平板计算机以及其中用于立体相机眼睛追踪系统的充足空间可能不可用 的其它小设备之类的硬件配置中更为容易地利用。 具有不受约束基线距离的深度传感器的 其它示例可以包括但不限于 LIDAR（光检测和测距） 以及基于声音传播的方法。 0018 图 5 示出了利用飞行时间深度相机进行眼睛追踪的示例眼睛追踪模块 500。所描 绘的眼睛追踪模块 500 可以包括包含或以其它方式支持以下描述的所有组件的。

19、主体 502， 由此形成模块化系统。由于飞行时间深度相机 504 的使用， 主体 502 的大小相比于相当的 立体相机眼睛追踪系统可以极大地减小。在一些示例中， 眼睛追踪模块 500 可以与诸如例 如移动计算设备或可穿戴计算设备的显示设备集成。在这样的示例中， 眼睛追踪模块 500 和 / 或其组件可以由显示设备主体支持。在其它示例中， 眼睛追踪模块可以在它向其提供 输入的计算设备的外部和 / 或在它针对其提供位置信号的显示设备的外部。在这样的示例 中， 主体 502 可以围封和 / 或支持眼睛追踪系统的组件以形成可以容易地安装到其它设备 中和 / 或用作独立式设备的模块化组件。 0019 眼。

20、睛追踪模块 500 包括配置成获取用户眼睛的二维图像以及还有用户眼睛的深 度数据的感测子系统 506。例如， 感测子系统 506 可以包括飞行时间深度相机 504， 其中飞 行时间深度相机 504 包括光源 510 和一个或多个图像传感器 512。如上文描述的， 光源 510 可以配置成发射光脉冲， 并且一个或多个图像传感器可以配置成快门式的以捕获相对于对 应光脉冲定时的时间顺序图像帧的序列。 每一个像素处的深度， 即来自光源的、 由对象反射 的光从对象行进到图像传感器的该像素的有效距离， 可以基于每一个顺序图像中的光强度 而确定， 这是由于从不同深度处的对象反射的光被捕获在不同顺序图像帧中。。

21、 将领会的是， 在其它实施例中可以作为飞行时间深度相机 504 的替代或附加地使用具有不受约束的基 线距离的任何其它深度传感器。 0020 在一些示例中， 除深度数据之外， 包括在深度相机 504 中的 （多个） 图像传感器 512 也可以用于获得二维图像数据 （即作为图像传感器的视场中的水平和竖直位置的函数的强 度数据， 而不是深度） 以确定用户眼睛的瞳孔和反射的地点。例如， 用于深度测量的所有顺 序图像可以被求和以确定每一个像素处的总光强度。在其它实施例中， 一个或多个分离的 图像传感器可以用于检测用户瞳孔的图像以及来自用户眼睛的光源光的反射， 如通过 （多 个） 二维相机 514 所示出。

22、的。 说 明 书 CN 105407791 A 6 4/7 页 7 0021 在一些实施例中， 可以连同飞行时间深度相机一起使用单个二维相机 514。在其 它实施例中， 除飞行时间深度相机之外， 感测子系统 506 可以利用多于一个的二维相机。例 如， 感测子系统 506 可以利用第一二维相机来获取相对较宽视场的图像以帮助定位用户的 眼睛位置。这可以帮助寻找和追踪用户的眼窝， 使得可以标识包含用户眼睛的用户区。另 外， 可以使用第二二维相机来捕获定向在所标识的用户眼睛的区处的较窄视场的较高分辨 率图像以获得眼睛追踪数据。通过以这种方式粗糙地标识眼睛地点， 被分析以用于瞳孔和 角膜模式检测的空间。

23、区可以在较高分辨率图像中减小， 因为如从较低分辨率图像数据所确 定的非眼睛区可以在分析较高分辨率图像数据时被忽略。 0022 在一些实施例中， 深度相机可以在红外范围中操作并且附加相机 514 可以在可见 范围中操作。 例如， 眼睛追踪模块可以包括深度相机和可见范围高分辨率相机 （例如平板上 的前置相机） 。 0023 在一些实施例中， 眼睛追踪模块 500 还可以包括提供用于生成角膜反射的光的光 源 518， 其与深度相机 504 的光源 510 不同。可以使用任何适合的光源作为光源 518。例 如， 光源 518 可以包括相对于向前凝视的用户的光轴线定位在任何适当的位置处的一个或 多个红外。

24、发光二极管 （LED） 。 可以使用光源的任何适当的组合， 并且光源可以以任何适当的 时间模式被点亮。在其它实施例中， 飞行时间深度相机 504 的光源 510 可以配置成用作用 于从用户眼睛反射光的光源。 将理解到， 这些实施例出于示例的目的而被描述， 并且它们不 意图以任何方式而是限制性的。 0024 眼睛追踪模块500还包括逻辑子系统520和包括存储在其上的指令的存储子系统 522， 该指令是由逻辑子系统可执行的以施行各种任务， 包括但不限于涉及眼睛追踪和利用 眼睛追踪的用户界面交互的任务。关于计算系统硬件的更多细节在下文描述。 0025 图6示出了经由眼睛追踪模块500基于飞行时间深度。

25、图像数据的眼睛追踪的示意 性描绘。如所描绘的， 深度相机 504、 二维相机 514 和光源 518 是集成模块的部分， 但是可 以采取任何其它适当的形式。在一些示例中， 眼睛追踪模块 500 可以与诸如移动设备、 平板 计算机、 电视机或头部安装式显示设备的显示设备 120 集成。在其它示例中， 眼睛追踪模块 500 可以在显示设备 120 的外部。 0026 图 6 还图示了凝视方向 118 与显示设备 120 相交的地点的确定的示例。 （多个） 光 源 518， 例如定位在轴线上或轴线外的红外 LED， 可以被点亮使得从 （多个） 光源所发射的光 604 在用户眼睛 114 上创建反射。。

26、 （多个） 光源还可以用于创建用户眼睛 114 中的明亮瞳孔 响应使得可以定位瞳孔， 其中术语 “明亮瞳孔响应” 是指检测到来自光源 510 或者从用户眼 睛的眼底 （内表面） 反射的光源 518 的光 （例如摄像中的 “红眼” 效应） 。在其它示例中， 可 以在不使用明亮瞳孔响应的情况下定位瞳孔。 另外， 在一些示例中， 可以使用不同类型的光 照、 光学器件和 / 或相机来辅助区分明亮瞳孔响应的顶上反射。例如， 从光源发射的不同波 长的光可以用于优化光源反射响应和明亮瞳孔响应。 0027 为了确定用户眼睛 114 的旋转， 每一个反射提供基准， 瞳孔可以与该基准比较以 确定眼睛旋转方向。照此。

27、， 二维相机 514 可以获得如从用户眼睛所反射 606 的反射的二维 图像数据。用户眼睛 114 的瞳孔 116 的地点和光反射地点可以从二维图像数据确定。凝视 方向 118 然后可以从瞳孔的地点和反射的地点来确定。 0028 另外， 深度相机504可以经由通过深度相机光源发射的光脉冲609引起的、 从眼睛 说 明 书 CN 105407791 A 7 5/7 页 8 反射 608 的光而获得飞行时间深度图像。深度相机然后可以用于检测用户眼睛距显示器的 距离。 深度相机504相对于显示器120的角度或定位可以是固定的或以其它方式已知的 （例 如经由校准过程） 。因而， 二维图像数据和深度数据。

28、可以用于确定和输出凝视方向与显示器 相交的地点。 0029 图7示出了描绘出用于执行利用飞行时间深度图像数据的眼睛追踪的方法700的 示例实施例的流程图。将理解到， 方法 700 可以以任何适当的方式实现。例如， 方法 700 可 以表示由眼睛追踪模块执行的连续操作， 并且在一些示例中， 方法 700 的一个或多个步骤 可以由眼睛追踪模块的不同组件并行地执行。方法 700 可以可选地包括在 702 处经由图像 数据确定用户眼睛的地点， 例如经由模式识别或 （多个） 其它适当的方法。例如， 可以使用宽 视场相机来操纵窄视场相机以得到眼睛区的更详细图像。 0030 在704处， 方法700包括点亮。

29、光源以从光源发射光。 可以使用任何适当的光源。 例 如， 光源可以包括定位在轴线上或轴线外的一个或多个红外发光二极管 （LED） 。 可以使用轴 线上和轴线外光源的任何适当的组合， 并且光源可以以任何适当的时间模式被点亮。 另外， 在一些示例中， 光源可以包括并入在飞行时间深度相机中的光源。 将理解到， 出于示例的目 的而描述这些实施例， 并且其不意图以任何方式进行限制。 0031 方法 700 还包括在 706 处获得眼睛的图像而同时从光源发射光。例如， 眼睛的二 维图像可以经由专用二维相机获取， 或者可以跨用于深度测量的所有顺序的快门图像而对 飞行时间深度数据求和。另外， 在 708 处，。

30、 方法 700 包括获得眼睛的飞行时间图像， 例如经 由飞行时间深度相机， 或者以其它方式经由具有不受约束的基线距离的适当深度传感器而 获得眼睛的深度数据。 0032 在 710 处， 方法 700 包括从二维数据检测眼睛瞳孔的地点。可以使用任何适当的 光学和 / 或图像处理方法来检测眼睛瞳孔的地点。例如， 在一些实施例中， 可以产生明亮瞳 孔效应以帮助检测眼睛瞳孔的位置。在其它实施例中， 可以在不使用明亮瞳孔效应的情况 下定位瞳孔。在 712 处， 方法 700 还包括从二维图像数据检测来自眼睛的一个或多个反射 的地点。将理解到， 可以使用各种技术来区分源自眼睛追踪光源的反射和源自环境源的反。

31、 射。 例如， 仅外界的图像可以在所有光源关断的情况下获得， 并且仅外界的图像可以从光源 接通时的图像减去以从图像移除环境反射。 0033 方法700还包括在714处从瞳孔的地点和源自光源的用户眼睛上的反射的地点来 确定眼睛的凝视方向。一个或多个反射提供一个或多个基准， 瞳孔可以与该基准比较以用 于确定眼睛所凝视的方向。 0034 在 716 处， 方法 700 包括确定从眼睛到显示器的距离。例如， 可以使用眼睛的飞行 时间图像数据来确定从眼睛到深度相机中的图像传感器的距离。 从眼睛到图像传感器的距 离然后可以用于确定沿着到显示器的眼睛凝视方向的距离。从该信息， 在 718 处， 方法 700。

32、 包括确定和输出凝视方向与显示器相交的显示器上的地点。 0035 因而， 所公开的实施例可以允许稳定且准确的眼睛追踪系统而不使用立体相机， 并且因而不使用可以在立体相机系统发现的大的最小基线约束。 这可以允许产生可以并入 到任何适当设备中的紧凑型模块化眼睛追踪系统。 0036 图 8 示意性地示出了可以制定以上描述的方法和过程中的一个或多个的计算系 统 800 的非限制性实施例。眼睛追踪模块 500 和显示设备 120 可以是计算系统 800 的非限 说 明 书 CN 105407791 A 8 6/7 页 9 制性示例。 计算系统800以简化形式示出。 将理解到， 实质上可以使用任何计算机架。

33、构而不 脱离本公开内容的范围。在不同实施例中， 计算系统 800 可以采取显示设备、 可穿戴计算设 备 （例如头部安装式显示设备） 、 大型计算机、 服务器计算机、 桌上型计算机、 膝上型计算机、 平板计算机、 家用娱乐计算机、 网络计算设备、 游戏设备、 移动计算设备、 移动通信设备 （例 如智能电话） 、 模块化眼睛追踪设备等的形式。 0037 计算系统 800 包括逻辑子系统 802 和存储子系统 804。计算系统 800 可以可选地 包括输出子系统 806、 输入子系统 808、 通信子系统 810 和 / 或图 8 中未示出的其它组件。 0038 逻辑子系统 802 包括配置成执行指。

34、令的一个或多个物理设备。例如， 逻辑子系统 可以配置成执行作为一个或多个应用、 服务、 程序、 例程、 库、 对象、 组价、 数据结构或其它逻 辑构造的部分的指令。 这样的指令可以实现为执行任务、 实现数据类型、 变换一个或多个组 件的状态或者以其它方式达到期望结果。 0039 逻辑子系统可以包括配置成执行软件指令的一个或多个处理器。 附加地或可替换 地， 逻辑子系统可以包括配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。 逻辑子系统的处理器可以是单核或多核的， 并且在其上执行的程序可以配置用于串行、 并 行或分布式处理。在一些示例中， 逻辑子系统可以包括图形处理单元 （GPU） 。逻。

35、辑子系统可 以可选地包括分布在两个或更多设备之中的个体组件， 其可以远程地定位和 / 或配置用于 协调处理。逻辑子系统的方面可以通过配置在云计算配置中的远程可访问的、 联网计算设 备而虚拟化和执行。 0040 存储子系统804包括配置成保持由逻辑子系统可执行的数据和/或指令以实现本 文描述的方法和过程的一个或多个物理设备。 当实现这样的方法和过程时， 存储子系统804 的状态可以变换例如变换成保持不同数据。 0041 存储子系统804可以包括可移除计算机可读介质和/或内置式计算机可读介质设 备。存储子系统 804 可以包括光学存储器设备 （例如 CD、 DVD、 HD-DVD、 蓝光盘等） 、。

36、 半导体存 储器设备 （例如 RAM、 EPROM、 EEPROM 等） 和 / 或磁性存储器设备 （例如硬盘驱动、 软盘驱动、 带驱动、 MRAM 等） 以及其它。存储子系统 804 可以包括易失性、 非易失性、 动态、 静态、 读 / 写、 只读、 随机存取、 序列存取、 位置可寻址、 文件可寻址和 / 或内容可寻址设备。 0042 将领会到， 存储子系统 804 包括一个或多个物理设备并且排除传播信号本身。然 而， 在一些实施例中， 本文描述的指令的方面可以通过纯信号 （例如电磁信号、 光学信号等） 而经由通信介质传播， 如与存储在包括计算机可读存储介质的存储设备上相对。 此外， 与本 。

37、公开内容有关的数据和 / 或其它形式信息可以通过纯信号传播。 0043 在一些实施例中， 逻辑子系统 802 和存储子系统 804 的方面可以一起集成到通过 其可以制定本文描述的功能性的一个或多个硬件逻辑组件中。例如， 这样的硬件逻辑组件 可以包括现场可编程门阵列 （FPGA） 、 程序和应用专用集成电路 （PASIC/ASIC） 、 程序和应用 专用标准产品 （PSSP/ASSP） 、 片上系统 （SOC） 系统以及复杂可编程逻辑器件 （CPLD） 。 0044 当包括时， 输出系统806可以用于呈现由存储子系统804保持的数据的视觉表示。 该视觉表示可以采取图形用户界面 （GUI） 的形式。

38、。当本文描述的方法和过程改变由存储子 系统保持的数据， 并且因而转换存储子系统的状态时， 输出子系统 806 的状态可以同样地 变换成在视觉上表示底层数据中的改变。输出子系统 806 可以包括实质上利用任何类型技 术的一个或多个显示设备。这样的显示设备可以与逻辑子系统 802 和 / 或存储子系统 804 说 明 书 CN 105407791 A 9 7/7 页 10 组合在共享外壳中， 或者这样的显示设备可以是外围显示设备。 0045 当包括时， 输入子系统 808 可以包括诸如键盘、 鼠标、 触摸屏或游戏控制器之类的 一个或多个用户输入设备或者与其对接。在一些实施例中， 输入子系统可以包括。

39、所选自然 用户输入 （NUI） 元件部分或者与其对接。这样的元件部分可以是集成的或外围的， 并且输 入动作的换能和 / 或处理可以在板上或板外处置。示例 NUI 元件部分可以包括用于话音和 / 或语音识别的麦克风 ； 用于机器视力和 / 或手势识别的红外、 彩色、 立体和 / 或深度相机 ； 用于运动检测和 / 或意图识别的头部追踪器、 眼睛追踪器、 加速度计和 / 或陀螺仪 ； 以及用 于评估脑部活动的电场感测元件部分。 0046 当包括时， 通信子系统 810 可以配置成在通信上将计算系统 800 与一个或多个其 它计算设备耦合。通信子系统 810 可以包括与一个或多个不同通信协议相容的有。

40、线和 / 或 无线通信设备。作为非限制性示例， 通信子系统可以配置用于经由无线电话网络或者有线 或无线局域网或广域网的通信。在一些实施例中， 通信子系统可以允许计算系统 800 经由 诸如互联网之类的网络将消息发送给其它设备和 / 或从其它设备接收消息。 0047 将理解到， 本文描述的配置和 / 或方案在本性上是示例性的， 并且这些具体实施 例或示例不以限制性意义来考虑， 因为众多变形是可能的。本文描述的具体例程或方法可 以表示任何数目的处理策略中的一个或多个。因此， 所图示和 / 或描述的各种动作可以以 所图示和 / 或描述的顺序执行、 以其它顺序执行、 并行地执行或者被省略。同样地， 以。

41、上描 述的过程的次序可以改变。 0048 本公开内容的主题包括本文公开的各种过程、 系统和配置与其它特征、 功能、 动作 和 / 或性质的全部新颖且非显而易见的组合和子组合， 以及其任何和全部等同物。 说 明 书 CN 105407791 A 10 1/7 页 11 图 1A 说 明 书 附 图 CN 105407791 A 11 2/7 页 12 图 1B 图 2A 说 明 书 附 图 CN 105407791 A 12 3/7 页 13 图 2B 图 3 说 明 书 附 图 CN 105407791 A 13 4/7 页 14 图 4 图 5 说 明 书 附 图 CN 105407791 A 14 5/7 页 15 图 6 说 明 书 附 图 CN 105407791 A 15 6/7 页 16 图 7 说 明 书 附 图 CN 105407791 A 16 7/7 页 17 图 8 说 明 书 附 图 CN 105407791 A 17 。