在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器.pdf

公开了一种在头戴式显示器上提供用户界面(UI)的装置和方法及其头戴式显示器(HMD)。该装置包括：传感器单元，其被配置成检测目标是否存在于HMD的附近，并且如果检测到目标，则感测在目标和HMD之间的距离，和处理器，其被配置成，如果检测到的目标是在离HMD预先确定的距离之内，则应用实体用户界面(UI)模式，其中实体UI模式提供用于虚拟目标的显示，处理器被进一步配置成：当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合，和基于调整的显示距离，显示虚拟目标。

权利要求书
1.  一种用于头戴式显示器(HMD)的用户界面(UI)装置，包括：
传感器单元，所述传感器单元被配置成检测目标是否存在于所述 HMD的附近，并且如果检测到所述目标，则感测在所述目标和所述 HMD之间的距离；以及
处理器，所述处理器被配置成，如果检测到的目标在离所述HMD 预先确定的距离之内，则应用实体用户界面(UI)模式，
其中，所述实体UI模式提供用于虚拟目标的显示，
所述处理器被进一步配置成：
当所述虚拟目标是3维(3D)目标，并且所述3D目标包括触摸 识别表面时，调整所述虚拟目标的显示距离，以便所述触摸识别表面 与所述目标的表面重合，以及
基于调整的显示距离，显示所述虚拟目标。

2.  根据权利要求1所述的装置，其中，所述处理器调整所述虚拟 目标的显示距离，以便当所述3D目标包括多个触摸识别表面时，基于 选择信息通过预先确定的方法选择的至少一个触摸识别表面与所述目 标的表面重合，以及基于所述调整的显示距离，显示所述虚拟目标。

3.  根据权利要求2所述的装置，其中，所述选择信息包括有关显 示区的信息、有关使用频率的信息，和有关在所述虚拟目标的前侧和 后侧之间距离的信息的至少一个。

4.  根据权利要求1所述的装置，其中，所述传感器单元被进一步 配置成检测有关所述虚拟目标的用户手势，并且其中，所述处理器被 进一步配置成：
当所述3D目标包括多个触摸识别表面时，根据预先确定的显示距 离显示所述虚拟目标，
当检测到所述用户手势时，获得在通过所述手势检测到的输入目 标和所述多个触摸识别表面之间的距离，
确定是否所获得的距离小于或等于预先确定的距离，
调整所述虚拟目标的显示距离，以便被确定为小于或者等于所述 预先确定的距离的所述触摸识别表面与所述目标的表面重合，以及
基于所调整的显示距离，显示所述虚拟目标。

5.  根据权利要求1所述的装置，其中，当所述虚拟目标是3D目 标，并且所述3D目标包括触摸识别表面时，所述处理器根据预先确定 的距离显示所述虚拟目标。

6.  根据权利要求1所述的装置，其中，所述处理器被配置成，如 果所述目标没有被检测到或者不在离所述HMD预先确定的距离内，则 应用非实体用户界面(UI)模式，
其中，所述处理器接收通过实际接触所述目标以所述实体UI模式 和通过非实际接触所述目标以所述非实体UI模式输入到所述HMD的 UI的用户命令。

7.  根据权利要求6所述的装置，其中，所述非实体UI模式在其 中所述非实体UI不具有与所述目标的实际接触的状态下操作。

8.  根据权利要求7所述的装置，其中，所述非实体UI模式包括 语音识别用户界面(UI)或者手势用户界面(UI)的至少一个。

9.  根据权利要求6所述的装置，其中，如果所述检测到的目标在 所述预先确定的距离内并且所述检测到的目标在视角内，则所述处理 器选择所述实体UI模式。

10.  根据权利要求9所述的装置，其中，如果所述检测到的目标 在所述视角之内但不是用户可对接的，则所述处理器变为所述非实体 UI模式。

11.  根据权利要求6所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离内但不在所述视角内，则所述处理器选 择所述非实体UI模式。

12.  根据权利要求11所述的装置，其中，如果所述检测到的目标 不在所述视角内，但在预先确定的时间段内返回所述视角内，则所述 处理器变为所述实体UI模式。

13.  根据权利要求11所述的装置，其中，如果所述检测到的目标 不在所述视角内并且在所述预先确定的时间段内不返回所述视角内， 则所述处理器保持所述非实体UI模式。

14.  根据权利要求6所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离内但不在所述视角内，并且在所述预先 确定的时间段内所述检测到的目标不返回所述视角内，则所述处理器 选择所述非实体UI模式。

15.  根据权利要求6所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离之内但不在所述视角内，并且在特定时 间段内在所述预先确定的距离内检测到新的数字设备，则所述处理器 将所述新的数字设备的显示功能应用为所述实体UI模式。

16.  根据权利要求6所述的装置，其中，如果所述目标没有被检 测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在 所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新 的数字设备的显示器应用为所述实体UI模式。

17.  根据权利要求6所述的装置，其中，如果所述目标没有被检 测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在 所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新 的数字设备的显示器应用为所述实体UI模式。

18.  一种提供用于头戴式显示器(HMD)的用户界面(UI)的方 法，所述方法包括：
检测目标是否存在于所述HMD的附近；
感测在检测到的目标和所述HMD之间的距离；
如果所述目标在离所述HMD预先确定的距离内，则应用实体用 户界面(UI)模式，其中，所述实体UI模式提供用于虚拟目标的显示；
当所述虚拟目标是3维(3D)目标并且所述3D目标包括触摸识 别表面时，调整所述虚拟目标的显示距离，以便所述触摸识别表面与 所述目标的表面重合；以及
基于所调整的显示距离，显示所述虚拟目标。

19.  根据权利要求18所述的方法，其中，所述3D目标包括多个 触摸识别表面，并且其中，所述调整显示距离的步骤包括调整所述虚 拟目标的显示距离，以便基于选择信息使用预先确定的方法选择的触 摸识别表面的至少一个与所述目标的表面重合。

20.  一种用于头戴式显示器(HMD)的用户界面(UI)装置，包 括：
传感器单元，所述传感器单元检测目标是否存在于所述HMD的 附近，并且如果检测到所述目标，则感测在所述目标和所述HMD之间 的距离；以及
处理器，所述处理器基于所述传感器单元的结果控制所述HMD 的用户界面(UI)，使得如果所述检测到的目标在离所述HMD预先确 定的距离内，则应用实体用户界面(UI)模式，并且如果所述目标没 有被检测到或者不在离所述HMD预先确定的距离内，则应用非实体用 户界面(UI)模式。

21.  根据权利要求20所述的装置，其中，所述实体UI模式在所 述检测到的目标的表面上显示假想的用户界面(UI)功能。

22.  根据权利要求21所述的装置，其中，所述实体UI模式包括 虚拟键盘用户界面(UI)或者绘图用户界面(UI)的至少一个。

23.  根据权利要求20所述的装置，其中，所述非实体UI模式在 其中所述非实体UI不具有与所述目标的实际接触的状态下操作。

24.  根据权利要求23所述的装置，其中，所述非实体UI模式包 括语音识别用户界面(UI)或者手势用户界面(UI)的至少一个。

25.  根据权利要求20所述的装置，其中，如果所述检测到的目标 在所述预先确定的距离内并且所述检测到的目标在视角范围内，则所 述处理器选择所述实体UI模式。

26.  根据权利要求25所述的装置，其中，如果所述检测到的目标 在所述视角内但不是用户可接口的，则所述处理器变为所述非实体UI 模式。

27.  根据权利要求20所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离内但不在所述视角内，则所述处理器选 择所述非实体UI模式。

28.  根据权利要求27所述的装置，其中，如果所述检测到的目标 不在所述视角内，但在预先确定的时间段内返回所述视角内，则所述 处理器变为所述实体UI模式。

29.  根据权利要求27所述的装置，其中，如果所述检测到的目标 不在所述视角内，并且在预先确定的时间段内不返回所述视角内，则 所述处理器保持所述非实体UI模式。

30.  根据权利要求20所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离内但不在所述视角内，并且在预先确定 的时间段内所述检测到的目标不返回所述视角内，则所述处理器选择 所述非实体UI模式。

31.  根据权利要求20所述的装置，其中，如果所述检测到的目标 在离所述HMD预先确定的距离内但不在所述视角内，并且在特定时间 段内在所述预先确定的距离内检测到新的数字设备，则所述处理器将 所述新的数字设备的显示功能应用为所述实体UI模式。

32.  根据权利要求20所述的装置，其中，如果所述目标没有被检 测到或者不在离所述HMD预先确定的距离内，并且在特定时间段内在 所述预先确定的距离内检测到新的数字设备，则所述处理器将所述新 的数字设备的显示器应用为所述实体UI模式。

33.  一种用于头戴式显示器(HMD)的用户界面(UI)装置，包 括：
通信单元，所述通信单元与在所述HMD附近的数字设备执行通 信；
传感器单元，所述传感器单元检测所述数字设备是否存在于所述 HMD的附近，并且如果检测到所述数字设备，则感测在所述数字设备 和所述HMD之间的距离；以及
处理器，所述处理器基于所述传感器单元的结果，控制所述HMD 的用户界面(UI)，其中，如果所述检测到的数字设备在离所述HMD 预先确定的距离内，则所述数字设备的显示功能被应用为实体用户界 面(UI)模式，并且如果所述数字设备没有被检测到或者不在离所述 HMD预先确定的距离内，则应用非实体用户界面(UI)模式。

34.  一种提供用于头戴式显示器(HMD)的用户界面(UI)的方 法，所述方法包括：
检测目标是否存在于所述HMD的附近；
如果检测到所述目标，则确定在所述检测到的目标和所述HMD 之间的距离；以及
如果所述目标在离所述HMD预先确定的距离内，则应用实体用 户界面(UI)模式，并且如果所述目标没有被检测到或者不在离所述 HMD预先确定的距离内，则应用非实体UI模式。

35.  根据权利要求34所述的方法，包括如果所述检测到的目标在 离所述HMD预先确定的距离内并且在所述视角内，则选择所述实体 UI模式。

36.  根据权利要求35所述的方法，包括如果所述检测到的目标在 所述视角内但不是用户可接口的，则变为所述非实体UI模式。

37.  根据权利要求34所述的方法，包括如果所述检测到的目标在 离所述HMD预先确定的距离内但不在所述视角内，则选择所述非实体 UI模式。

38.  根据权利要求37所述的方法，包括如果所述检测到的目标不 在所述视角内，但在预先确定的时间段内返回所述视角内，则变为所 述实体UI模式。

39.  根据权利要求37所述的方法，包括如果所述检测到的目标不 在所述视角内，并且在预先确定的时间段内不返回所述视角内，则连 续地保持所述非实体UI模式。

说明书在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器
技术领域
本发明的示例的实施例涉及提供用户界面(UI)和/或用户体验 (UX)(在此处，以后称为“UI”)的装置和方法，更具体涉及确定最 佳的UI，和在头戴式显示器上提供UI的装置和方法及其头戴式显示 器。
背景技术
UI技术是一种帮助用户方便地利用各种的数字设备的界面方法。 更详细地，UI技术是用户相对交互作用以便用户和数字设备提供和获 得信息的程序的一部分。例如，其被称作命令行界面，其中用户输入 运行程序的命令，由菜单选择的命令操作的菜单驱动的界面，和图形 用户界面(GUI)，其中图形显示程序通过使用位置定位设备，诸如光 笔、鼠标、控制球和操纵杆操作。此外，近来，由用户的动作命令操 作的手势UI，和无需他的或者她的动作由用户的语音操作的语音识别 UI已经被开发去应用于数字设备。
此外，作为朝着最小化数字设备的重量和尺寸方向的趋势，已经 开发了各种的可佩带的数字设备。作为可佩带的数字设备的一种，已 经开发了可以在面部上佩戴的头戴式显示器(HMD)，就像眼镜。除 简单显示器使用以外，HMD可以与诸如增加实体技术，和N个屏幕技 术的技术协作，提供用户许多各种的便利。
发明内容
技术问题
因此，前面提到的各种的UI技术可以应用于HMD。但是，因为 HMD可以由用户佩戴，并且自由地移动，所以其很难确定用于HMD 的最佳的UI。因此，考虑到HMD的特征和在HMD附近的周围环境条 件，需要提供非常有效和便利的UI的技术。
技术方案
因此，本发明示例的实施例提出一种提供用户界面的装置和方法， 其大体上消除由于现有技术的限制和缺点而造成的一个或多个问题。
有益效果
本发明示例的实施例提供一种考虑到HMD的特征和在HMD附近 的周围环境条件，提供非常有效和便利的UI的技术。
附图说明
该伴随的附图被包括以提供对本发明进一步的理解，并且被结合 进和构成本申请书的一部分，其图示本发明的示例的实施例，并且与 该说明书一起可以起解释示例的实施例原理的作用。在附图中：
图1a和1b示出根据本发明示例的实施例解释HMD的图；
图2示出根据本发明示例的实施例用于HMD内部配置的框图；
图3和4示出作为本发明的第一示例的实施例根据目标位置的UI 模式确定过程的流程图；
图5a、5b和5c是示出UI模式确定过程如何应用于本发明的第一 示例的实施例的图；
图6a和6b示出根据本发明示例的实施例的实体UI模式(例如， 键盘、绘图)的示例；
图7a和7b示出根据本发明示例的实施例的非实体UI模式(例如， 语音、手势)的示例；
图8和9示出作为本发明第二示例的实施例考虑到HMD视角的 UI模式确定的流程图；
图10a和10b是示出UI模式确定过程如何应用于本发明的第二示 例的实施例的图；
图11和12示出作为本发明的第三示例的实施例考虑到目标类型 的UI模式确定的流程图；
图13a和13b是示出UI模式确定过程如何应用于本发明的第三示 例的实施例的图；
图14和15示出作为本发明的第四示例的实施例利用在视角内的 数字设备的UI模式确定过程的流程图；
图16是示出UI模式确定过程如何应用于本发明的第四示例的实 施例的图；
图17和18示出作为本发明的第五示例的实施例利用数字设备的 UI模式确定过程的流程图；
图19a和19b图示显示包括一个触摸识别表面的虚拟的3D目标的 HMD；
图20a和20b图示显示包括多个触摸识别表面的虚拟的3D目标的 HMD；
图21a、21b、21c和21d图示基于用户的手势显示包括多个触摸 识别表面的虚拟的3D目标的HMD；
图22是根据本公开的实施例在HMD中提供用户界面的流程图； 和
图23是根据本公开的另一个实施例在HMD中提供用户界面的流 程图。
具体实施方式
示例的实施例的一个目的是提供头戴式显示器用户界面 (HMDUI)，提供考虑到在HMD附近的周围环境条件而最佳的 HMDUI。特别地，示例的实施例的另一个目的是基于是否用于HMD UI 的可使用的目标存在于HMD的附近，不同地应用HMD UI。
示例的实施例的另一个目的是基于在目前使用的HMD附近的周 围环境条件，改变和提供最佳的HMD UI。
在下面的描述中将在某种程度上阐述示例的实施例的额外的优 点、目的和特点，在参阅以下内容时或者可以从示例的实施例的实践 中获悉，在某种程度上对于那些本领域普通的技术人员将变得显而易 见。通过尤其在著述的说明书和此处的权利要求以及所附的附图中指 出的结构，可以实现和获得示例的实施例的目的和其它的优点。
为了实现这些目的和其它的优点，和按照示例的实施例的目的， 如在此处实施和广泛地描述的，一种提供用户界面(UI)的方法，包 括：检测是否目标存在于HMD的附近；感测在检测到的目标和HMD 之间的距离；如果目标是在离HMD预先确定的距离范围之内，应用实 体用户界面(UI)模式，其中实体UI模式提供用于虚拟目标的显示； 当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调 整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合；和基 于调整的显示距离，显示虚拟目标。
在示例的实施例的另一个方面中，一种包括用于头戴式显示器 (HMD)的用户界面(UI)装置的UI装置，包括：传感器单元，配置 成检测是否目标存在于HMD的附近，并且如果检测到目标，则感测在 目标和HMD之间的距离；和处理器，其被配置成，如果检测到的目标 是在离HMD预先确定的距离范围之内，则应用实体用户界面(UI)模 式，其中实体UI模式提供用于虚拟目标的显示，处理器被进一步配置 成：当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时， 调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合，和 基于调整的显示距离，显示虚拟目标。
应该明白，实施例的上文的概述和后面的详细说明两者是示例性 和说明性的，并且作为权利要求意欲对示例的实施例提供进一步解释。
现在将详细地介绍本发明的示例的实施例，其示例在伴随的附图 中图示。只要可能，贯穿本附图将使用相同的附图标记以涉及相同的 或者类似的部分。
图1a和1b示出根据本发明示例的实施例作为例子解释HMD的 图。更详细地，图1a表示HMD 100的外部配置的示例，并且图1b表 示在用户10上佩戴的HMD 100的示例。因此，本发明不局限于HMD 100的外部配置，并且明显地可以使用HMD的任何外部配置以实现示 例的实施例。
特别地，UI被应用于的HMD 100包括显示屏幕101和至少一个 传感器102。不仅所有内容和图像由HMD经由显示屏幕101提供给用 户10，而且提供有关示例的实施例的UI的信息。此外，HMD 100包 括至少一个传感器102，检测在HMD 100附近的周围环境条件，并且 被使用作为确定运行这样的传感器功能的HMD UI的重要的元素。此 外，HMD 100能够包括以便用户10在头部佩戴HMD 100的支撑部件 103和在耳朵中可佩带的音频输出单元104。
图1b示出在用户10上佩带的HMD 100，以便解释目前使用的 HMD 100的状态的图。按照提及的实施例，HMD 100包括视角区200 的预先确定的距离。视角区200是对应于佩带HMD 100的用户10的 预先确定的区域，并且可以包括在HMD 100的正向中具有某个角度的 区域。此外，按照该实施例，HMD 100和外部数字设备(在图中未示 出)可以由网络300连接去通信。例如，可使用的无线网络是近场通 信(NFC)、Zigbee、红外通信、蓝牙和WIFI。也就是说，在示例的 实施例中，在HMD 100和数字设备之间的通信可以由以上列举的网络 300或者它们的组合的一个实现。但是，示例的实施例不局限于如上所 述的那些。
图2示出用于HMD内部配置的框图。
按照图2，示例的实施例的HMD 100包括处理器110、传感器单 元120、存储单元130、通信单元140、用户输入单元150、显示控制 器160、UI控制单元170。
传感器单元120可以内部地或者外部地配备在HMD 100中，并且 通知处理器110该HMD 100识别的周围环境条件。因而，传感器单元 120可以包括多个感测方法。例如，传感器单元120不仅检测在HMD 100附近，称作“目标”的目标或者事物，而且确保检测到的目标的类 型，并且可以包括感测在检测到的目标和HMD之间距离的目标传感器 121。此外，传感器单元120可以包括感测HMD 100视角的视角传感 器122。目标传感器121和视角传感器122的更加详细的功能和操作将 在下面图示。因此，传感器单元，例如，可以类似在图1a中的102内 部地或者外部地配备在HMD中。
此外，可以配置有多个感测方法的传感器单元120例如包括重力 传感器、磁性传感器、运动传感器、陀螺传感器、加速度传感器、红 外传感器、倾斜传感器、亮度传感器、仰角传感器、嗅觉传感器、温 度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视 频传感器、全球定位系统(GPS)传感器和触摸传感器。但是，示例的 实施例不局限于该列举的。也就是说，传感器单元120感测HMD用户 和在他或者她附近的周围环境条件，并且发送感测的结果，以便处理 器110据此操作是足够的，并且传感器单元120的详细感测方法不局 限于列举的感测方法。
此外，存储单元130可以存储各种的数字数据，诸如视频、音频、 图片、电影片断和应用。存储单元130表示各种的数字数据存储空间， 诸如闪存、随机存取存储器(RAM)和固态硬盘(SSD)。
此外，通信单元140通过与外部数字设备执行通信发送和接收数 据和各种的协议。示例的实施例的HMD 100通过使用通信单元140与 在HMD 100附近的数字设备执行配对和连接通信。另一方面，通信单 元140可以包括多个天线。HMD 100通过使用多个天线检测正在与 HMD通信的数字设备的位置。也就是说，HMD 100通过使用在经由多 个天线发送或者接收的信号之间的时间和高度差，检测正在与HMD通 信的数字设备的位置。
此外，用户输入单元是接收控制HMD 100的使用的用户控制命令 的设备。用户控制命令可以包括用户配置命令。例如，按照示例的实 施例的实施例，用户10可以设置对应于在HMD UI附近的周围环境条 件的操作，并且无需周围环境条件，通过使用来自用户输入单元150 的用户控制信息预先确定某个UI模式。因此，基于由用户预先确定的 设置，当HMD UI被设置对应于周围环境条件操作时，UI模式可以按 照示例的实施例的实施例自动地变化。同时，基于由用户预先确定的 设置，当不考虑周围环境条件，特定UI模式是固定时，如果固定的 UI模式处于可操作状态下，则固定的UI模式将在“开”状态上操作， 并且如果不是，则UI模式将在“关”状态上操作。
此外，显示控制单元160在HMD显示屏幕101上输出电影或者 图像。此外，按照实施例，显示控制单元160对HMD外部目标提供以 成像的UI屏幕，或者执行用于对外部数字设备提供UI屏幕的控制功 能。此外，按照实施例，显示控制单元160提供信息去按照确定的UI 确定用于HMD显示屏幕101的UI或者图像。详细描述将进一步图示。
此外，UI控制单元170对HMD用户提供UI，并且控制提供的 UI。UI控制单元170包括实体UI控制单元171和非实体UI控制单元 172。
作为实体UI控制单元171表示可以具有与用户实际接触的UI， 例如，其可以是作为实施例的虚拟键盘UI和绘图UI。虚拟键盘UI表 示在HMD附近的检测到的目标的表面上显示虚拟键盘，接收通过用户 的键盘触摸的命令，并且据此操作的UI方法。此外，绘图UI表示在 HMD附近的检测到的目标的表面上提供虚拟的绘图板，并且在绘图板 上，由用户使用绘图工具，诸如电子笔或者手指输入命令的UI方法。 此外，由于非实体UI控制单元172表示不具有与用户实际接触的UI， 例如，其可以作为实施例是手势UI和语音识别UI。因此，UI方法的 详细描述将进一步图示。
因此，在示例的实施例中图示的实体和非实体UI是某些UI方法， 并且不局限于仅仅前面提到的虚拟键盘、绘图、手势和语音识别UI。 也就是说，实体UI表示可以具有与目标实际接触的所有UI，并且非实 体UI表示不需要与目标实际接触的所有UI。
由于处理器110是主HMD控制器，其不仅控制HMD 100的每个 块，而且控制在每个块之间的信息和数据传输和接收。在下文中，示 例的实施例的详细过程可以主要地由处理器110的控制操作来操作。 因此，在图2中示出的HMD 100的内部配置框图作为仅仅用于解释目 的的实施例图示。因此，在图2中示出的每个块可以整个地组合，或 者某些必要的块可以整个地分解和组合。例如，处理器110可以与UI 控制单元合成为组合的控制器。
图3和4作为示例的实施例的实施例示出按照目标位置的HMD  UI模式确定过程的流程图。此外，图5a、5b、5c、6a、6b、7a和7b 是解释本发明示例的实施例的图。
在示例的实施例中，目标是存在于在HMD上佩带的用户附近的 物体或者实体，并且其包括例如墙、桌子和球。示例的实施例的第一 个实施例基于在HMD 100附近的目标的检测应用UI模式。进一步描 述如下。
应用HMD的UI模式确定过程由用户的请求或者自动化系统设置 操作S110。例如，S110可以基于由用户确定的设置操作。更详细地， 例如，用户10可以按照在HMD UI附近的周围环境条件预先确定设置， 并且在那种情况下，处理器110可以控制HMD，使得HMD UI按照周 围环境条件自动地变化。在下文中，在HMD UI被预置以按照周围环 境条件操作的情形下，本发明示例的实施例将描述最佳的HMD UI确 定过程。
按照示例的实施例的第一个实施例，HMD UI模式过程包括目标 位置确定S120和HMD UI模式确定S130的步骤。当HMD UI模式过 程开始时，HMD处理器110检测在HMD附近的目标，并且经由目标 传感器S121确定目标的位置。基于S121确定的结果，处理器110将 在HMD和目标之间的关系分为三个状态。
例如，在图5a，当检测到目标时，并且检测到的目标保持在其中 实体反馈是可能的距离之内时，其被称作F1状态，如在S122示出的。 此外，在图5b，当检测到目标时，并且检测到的目标没有保持在其中 实体反馈是可能的距离之内时，其被称作F2状态，如S123示出的。 最后，在图5c，当目标不存在于HMD附近时，其被称作F3状态，如 S124示出的。
在图5a、5b和5c中F1、F2和F3状态的进一步说明如下。HMD 100处理器110确定目标400是否存在，并且经由目标传感器121定位 其位于哪里。例如，图5a和5b说明在HMD附近检测到目标400时， 并且图5c说明目标不存在时。此外，图5a示出在检测到的目标400 和HMD之间的距离(称作D1)小于预先确定的距离(称作Th)时， S122。另一方面，图5b示出在检测到的目标400和HMD之间的距离 (称作D2)大于预先确定的距离(称作Th)时。因此，该预先确定的 距离Th可以被设置为其中用户可以具有与目标400实际接触并且触摸 目标400的距离。因此，图5a的F1状态表示其中用户可以触摸目标 的状态，并且图5b的F2状态表示其中即使目标存在，但用户无法触 摸目标400的状态。此外，图5c的F3状态是其中目标400不存于HMD 附近的状态。
当在HMD附近目标的状态经由S121的步骤被确定为F1(S122)、 F2(S123)，或者F3(S124)时，HMD处理器110选择HMD UI，并 且由UI控制单元170对其操作。例如，在F1(S122)的情况下，应 用前面提到的实体UI模式S131，并且在F2状态(S123)或者F3状 态(S124)的情况下，应用前面提到的非实体UI模式S132。这些实体 和非实体UI模式也可以分别地称为目标和非目标模式。
此外，虽然某个HMD UI当前正在经由S131、S132或者S133应 用，但是处理器110连续地检测目标，并且确定目标S121的位置，并 且当状态，例如，从F1变到F3，或者从F2变到F1时，HMD UI模式 可以自动地变化。因此，在实施例中，当UI模式自动地变化时，有可 能通知用户10该变化。
因此，作为F1状态应用于表示用户10可以直接接触或者触摸UI 的UI模式，其例如可以是在图6a中示出的虚拟键盘UI方法，或者在 图6b中示出的绘图UI方法。但是，这些仅是示例的实施例的实施例， 并且可以实际触摸的其它各种的UI方法可以明显地存在。
例如，图6a的虚拟键盘UI方法在检测到的目标400的表面上显 示虚拟键盘410，并且通过触摸虚拟键盘410产生用户直接输入的命令。 然后，相应的目标400对用户10提供触摸感觉，使得用户10可以有 效地使用虚拟键盘410。此外，图6b的绘图UI方法是例如其中可以绘 制的虚拟窗口420显示在检测到的目标400的表面上，并且通过使用 笔430，用户10产生期望的命令的方法。然后，相应的目标400对用 户10提供触摸感觉，使得用户10可以有效地使用笔430。
因此，当实体UI模式在S131中被选择为HMD UI时，多个实体 模式UI的一个可以通过用户的设置或者系统的设置选择。例如，由于 用户10可以通过使用用户输入单元150预先确定该设置，所以在实体 UI模式确定的情况下，有可能或者在图6a中示出的虚拟键盘的一个， 或者在图6b中示出的绘图UI方法可以被提前地设置为默认。或者， 当用户的设置不存在时，UI控制单元170可以确定是否诸如笔430的 绘图输入设备存在。如果绘图输入设备存在，则在图6b中示出的绘图 UI方法可以提前地选择，并且如果绘图设备不存在，则在图6a中示出 的虚拟键盘可以被提前地选择。此外，虽然UI方法已经提前地选择， 但是如果存在任何变化，则可以使用不同的UI方法。例如，当用户10 正在使用在图6a中示出的虚拟键盘UI方法时，在用手抓住绘图输入 设备的情况下，在图6b中示出的绘图UI方法可以自动地使用。此外， 关于原始确定的UI模式，当用户希望改变为特定UI模式时，用户可 以随时地改变UI模式。
此外，当虚拟键盘UI方法作为实体UI如图6a所示应用时，在目 标的表面上的虚拟键盘410的位置可以以各种方式控制。进一步说明 如下。
例如，虚拟键盘410可以在用户手10位于的点处生成。也就是说， 处理器110确定是否用户手10正在接近，或者触摸目标400的表面， 并且控制以在相应的用户手10位于的点处产生虚拟键盘410。因此， 由于用户希望的目标被生成，并且虚拟键盘被在目标的表面的某个点 处生成，用户可以方便地利用虚拟键盘。
此外，取决于是否用户正在仅仅使用一只手或者双手，有可能生 成不同类型和大小的虚拟键盘。例如，UI控制单元170配备有类似小 型的键盘的一只手虚拟键盘，或者类似大型的键盘的双手虚拟键盘， 并且处理器110通过确定接近或者触摸该目标手指的数目，控制以产 生或者一只手或者双手键盘中的一个。
此外，虚拟键盘410的位置可以基于用户的视角确定。例如，处 理器110可以控制以确定是否用户正在使用第一视角，右眼的视角， 或者第二视角，左眼的视角，或者两者。处理器110然后控制虚拟键 盘410，使得虚拟键盘410位于对应于视角的适宜的点处。例如，当仅 仅使用一个视角时，对应于视角的适宜的点可以是相应的视角的中心 点，或者当使用两个视角时，可以是相应的视角的重叠点。
此外，所有前面提到的实施例可以被组合和使用。也就是说，例 如，处理器110可以通过确定是否用户10正在仅仅使用一只手或者双 手确定虚拟键盘的类型，并且在用户手10正在接近或者触摸的目标的 表面上产生确定的虚拟键盘。此外，处理器110可以首先通过确定是 否用户10正在使用一只手或者双手确定虚拟键盘的类型，并且在用户 使用的视角的适宜的点处产生确定的虚拟键盘。此外，处理器110可 以首先通过确定是否用户10正在使用一只手或者双手确定虚拟键盘的 类型，并且在用户使用的视角的适宜的点处产生确定的虚拟键盘，并 且移动在用户手10接近或者触摸的目标的表面上产生的虚拟键盘。
此外，处理器110可以首先通过确定是否用户10正在使用一只手 或者双手确定虚拟键盘的类型，并且通过将视角的适宜的点与用户10 接近或者触摸的目标表面的位置比较，在最适宜的位置处产生确定的 虚拟键盘。例如，在用户手10不在视角内的情况下，虚拟键盘可以在 视角的边缘处生成。这是因为其确定用户手10对虚拟键盘毫无动作。 另一方面，在用户手10在视角内的情况下，虚拟键盘可以在首先用户 手10的位置处生成。这是因为其确定用户手10为虚拟键盘的使用作 准备。
因此，有关前面提到的虚拟键盘410的类型和位置的各种示例可 以同样地应用于在图6b中示出的绘图UI的窗口420的类型和窗口420 的位置的确定。
此外，由于F2和F3状态应用于的非实体UI模式是其中用户10 没有实际利用目标400的UI模式，例如，其可以是在图7a中示出的 语音识别UI方法、在图7b中示出的手势UI方法，或者使用眼球运动 的UI。但是，这仅仅是本发明的实施例，并且如提及的，具有与目标 400非实际接触的其它各种的UI方法明显地存在。
例如，图7a的语音识别UI方法显示图标440，该图标440显示 语音识别UI正在HMD显示器的屏幕上执行，并且一旦输入用户的10 语音，语音命令在非实体UI模式控制单元172中经由语音识别过程被 识别和转换。然后，语音识别UI方法经由处理器110执行相应的命令。 此外，图7b的手势UI方法显示图标450，该图标450显示语音识别 UI正在HMD显示器的屏幕上执行，并且用户10的手势，诸如用户的 手指移动451和头部移动(未示出)用于输入命令。一旦输入用户的 手势，手势命令在非实体UI模式控制单元172中经由手势识别过程被 识别和转换，并且相应的命令由处理器110执行。
因此，当非实体UI模式在S132和S133的步骤中被确定为作为 HMD UI应用时，多个前面提到的非实体模式UI的任何一个可以由用 户的设置或者系统设置选择。例如，由于用户10可以通过使用用户输 入单元150预先确定该设置，所以当非实体UI模式正在确定时，或者 语音识别UI方法或者手势UI方法的一个可以提前地选择为默认。此 外，当用户的设置不存在时，UI控制单元170分析围绕用户10的噪声， 并且如果该噪声低于某个水平，则在图7a中的示出的语音识别UI方 法被选择，并且如果该噪声高于某个水平，则在图7b中示出的手势 UI方法被提前地选择。此外，虽然UI方法被最初确定，但是如果存在 任何变化，则可以使用不同的UI方法。例如，当围绕用户10的噪声 从低于到高于某个水平变化时，在图7a中示出的语音识别UI方法可 以自动地变为在图7b中示出的手势UI方法。此外，关于原始确定的 UI模式，用户可以在用户期望的任何时间改变UI方法。另外，就非实 体UI模式而论，例如，在图7a中示出的语音识别模式和在图7b中示 出的手势UI方法可以被设置同时操作，并且在那种情况下，用户10 可以利用语音识别UI或者手势UI或者两者去发送命令。
图8和9示出作为示例的实施例的第二个实施例考虑到HMD视 角的UI模式方法的流程图。此外，图10a和10b是示出UI模式确定 过程如何应用于第二个实施例的图。因此，当UI模式正在确定时，示 例的实施例的第二个实施例考虑大于第一个实施例的视角。进一步说 明如下。
按照示例的实施例的第二个实施例，HMD UI模式确定过程包括 目标位置确定S220、视角确定S230，和HMD UI模式确定S240的步 骤。一旦HMD UI模式确定过程开始S210，处理器110检测在HMD 附近的目标，并且确定检测到的目标S221的位置。在S221的步骤之 后，处理器110确定是否在HMD和目标之间的关系是前面提到的F1、 F2或者F3状态的一个。例如，当检测到目标时并且检测到的目标保持 在其中实体反馈是可能的距离之内时(S122)，其被称作F1状态。此 外，当检测到目标时并且检测到的目标没有保持在其中实体反馈是可 能的距离之内时(S123)，其被称作F2状态。最后，当目标不存在于 HMD附近时(S124)，其被称作F3状态。
然后，在确定F1状态S222之后，HMD 100处理器110进一步经 由视角传感器120确定是否检测到的目标是在HMD视角的范围之内。 例如，按照S231，视角可以具有二个状态。进一步描述根据图10a和 10b如下。
图10a示出用于目标400在HMD视角内的流程图，并且该情形 称作S1状态。此外，图10b示出用于不在HMD视角内目标400的流 程图，并且该情形称作S2状态。也就是说，S1状态表示在HMD附近 的目标400不仅在预先确定的距离内，而且在用户10的视角内存在。 另一方面，S1状态表示在HMD附近的目标400是在预先确定的距离 范围之内，但是不在用户10的视角内。
如果HMD处理器110经由S231的步骤确认S1状态S232，则HMD  UI模式可以确定为实体UI模式，并且经由前面提到的实体UI模式控 制单元171作为虚拟键盘UI或者绘图UI操作(S241)。在第一个实 施例中示出的实体UI类型和操作方法可以同样地应用于第二个实施 例。
此外，如果HMD处理器110经由S231的步骤确认S2状态S233， 则目标400的位置在预先确定的时间段，例如，5秒(5s)或者10秒 (10s)内被连续地确认(S234)。在S234的步骤中，如果目标400 在预先确定的时间段内在视角内被重新检测到，也就是说，如果S2状 态被转变为S1状态，则实体UI模式将保持(S242)。此外，如果当 前正在应用非实体UI模式，则其将转变为实体UI模式(S242)。因 此，在预先确定的时间段内用户10的状态从S2状态改变为S1状态的 事实表示用户10暂时地从目标400转移目光，并且不意欲永久地从其 转移目光。也就是说，在那种情况下，由于用户的临时眼球运动(假 定短期的意图)，实体UI模式将保持，并且如果当时存在的UI模式 是非实体UI模式，则UI模式可以转变为实体UI模式是合适的。
另一方面，在S234的步骤中，如果在预先确定的时间段(例如， 5或者10秒)内在视角内没有检测到目标400，也就是说，如果S2状 态保持，或者转变为F2或者F3状态，则UI模式将转变为非实体UI 模式(S243)。或者，如果当前正在应用实体UI模式，则其将转变为 非实体UI模式(S243)。
因此，在S234的步骤中，如果用户10的S2状态保持预先确定的 时间段，则其被认为用户10意欲长期从目标400转移目光。也就是说， 在那种情况下，由于用户意图长期的转移目光，如果当时存在的UI模 式是实体UI模式，则保持非实体UI模式或者转变为非实体UI模式是 合适的。此外，经由S234的步骤，如果用户10状态在预先确定的时 间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标 400。也就是说，在那种情况下，由于目标400无法利用实体UI模式， 所以非实体UI模式可以保持，并且如果当时存在的UI模式是实体模 式，则其可以被转变为非实体UI模式。
此外，在实体UI模式就像在S241和S242的步骤中示出的那样应 用的情况下，处理器110连续地确定是否用于实体UI的目标400没有 保持HMD视角内(S241/S242)？(S231)。另一方面，在非实体UI 模式就像在S243和S244的步骤中示出的那样应用的情况下，处理器 110连续地确定是否在预先确定的距离内检测到目标400(S221)。
图11和12作为示例的实施例的第三个实施例示出关于目标类型 的UI模式确定过程的流程图。此外，图13a和13b示出UI模式确定 如何应用于第三个实施例的图。因此，第三个实施例考虑大于第二个 实施例的目标类型。进一步说明如下。
按照示例的实施例的第三个实施例，HMD UI模式确定过程包括 目标位置确定S320、视角确定S330、目标类型确定S340，和HMD UI 模式确定S350的步骤。一旦HMD UI模式确定过程开始S310，HMD 处理器110通过目标传感器121检测在HMD附近的目标，并且确定检 测到的目标的位置S321。在确定S321的步骤之后，处理器110确定在 HMD和目标之间的关系作为前面提到的F1、F2和F3状态的一个。例 如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能 的距离之内时，其被称作F1状态，如在S322中示出的。此外，当检 测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距 离之内时，其被称作F2状态，如在S323中示出的。最后，在S324中 示出，当目标不存在于HMD附近时，其被称作F3状态。
然后，在已经确定F1状态(S322)的情况下，HMD 100处理器 110进一步确定是否检测到的目标是在HMD视角的范围之内(S331)。 例如，按照S331的步骤，其可以确定或者S1或者S2状态。
经由S331的步骤，如果HMD处理器110确认在当前的HMD和 目标之间的关系是S2状态(S333)，则目标400的位置将在预先确定 的时间段(例如，5、10秒)内被连续地确认。在S334的步骤中，如 果目标在预先确定的时间段内在视角内被检测到，也就是说，如果该 状态被转变为S1状态，则实体UI模式将被保持，或者该模式将被转 变为实体UI模式(S352)。也就是说，经由S334的步骤，用户10的 状态在预先确定的时间段内从S2改变为S1的事实表示用户10暂时地 从目标400转移目光，并且不意欲从目标400转移目光。也就是说， 在那种情况下，由于用户意图短期的转移目光，所以实体UI模式可以 保持，或者如果当时存在的UI模式是非实体UI模式，则当时存在的 UI模式可以转变为实体UI模式是合适的。
另一方面，在S334的步骤中，如果在预先确定的时间段内没有在 视角内检测到目标，也就是说，如果S2状态保持，或者如果其被转变 为F2或者F3状态，则非实体UI模式可以保持，或者UI模式可以被 转变为非实体UI模式(S353)。也就是说，经由S334的步骤，如果 用户10的状态在预先确定的时间段内被保持为S2状态，则其被认为 用户10从目标转移目光，并且意欲转移目光。因此，在那种情况下， 由于用户意图长期的转移目光，所以非实体UI模式可以保持，或者如 果当时存在的UI模式是实体UI模式，则UI模式可以转变为非实体 UI模式。此外，经由S334的步骤，如果用户10状态在预先确定的时 间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标 400。也就是说，在那种情况下，由于目标400无法利用UI，所以非实 体UI模式可以保持，或者如果UI模式是实体UI模式，则UI模式可 以被转变为非实体UI模式。
另一方面，如果经由视角确定S331的步骤，在当前的HMD和目 标之间的关系被确认为是S1状态S332，则HMD处理器110进一步确 定目标类型(S341)。因此，目标类型是目标的外部形状，并且可以 基于是否目标是用户可对接的分类。例如，在图13a中示出的墙461 或者桌子462是用户可以容易地与其接触或者用户可对接的类型1。相 比之下，例如，在图13b中示出的篮球463是用户无法容易地与其接 触或者不是用户可对接的类型2。
当HMD处理器110经由目标类型确定S341的步骤确定相应的目 标是类型1时，其确定实体UI模式为HMD UI模式(S351)。然后， 经由前面提到的实体UI模式控制单元171，UI方法，诸如可以接触或 者触摸类型1目标，诸如墙461和桌子462的虚拟键盘UI和绘图UI 将操作。
此外，当HMD处理器110经由目标类型确定的步骤S341确定相 应的目标是类型2时，其选择非实体UI模式为HMD UI模式(S353)。 然后，经由前面提到的非实体UI模式控制单元172，不考虑在预先确 定的距离和视角内存在的类型2目标463，可应用的非实体UI方法， 诸如语音识别UI和手势UI将操作。因此，在第一个实施例中示出的 实体和非实体UI的类型和操作方法将在第三个实施例中同样应用。
此外，在实体UI模式就像在S351和S352中示出的那样应用的情 况下，处理器110连续地确定是否用于实体UI的目标400没有保持在 HMD视角内(S351/S352)？(S331)。另一方面，在非实体UI模式 就像在S343和S344的步骤中示出的那样应用的情况下，处理器110 连续地确定是否在预先确定的距离内检测到目标400(S343/S344)？ (S321)。
图14和15作为第四个实施例示出考虑检测新的数字设备的UI 模式确定的流程图。此外，图16示出UI模式确定如何应用于第四个 实施例的图。因此，示例的实施例的第四修改考虑检测大于第二个实 施例的新的数字设备。进一步描述如下。
按照示例的实施例的第四个实施例，HMD UI模式确定过程包括 目标位置确定S420、视角确定S430、数字设备检测和位置确定S440 和HMD UI模式确定S450的步骤。一旦HMD UI模式确定过程开始 S410，HMD处理器110通过目标传感器121检测在HMD附近的目标， 并且确定目标的位置S421。在确定S421的步骤之后，处理器110确定 在HMD和目标之间的关系作为前面提到的F1、F2和F3状态的一个。 例如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可 能的距离之内时，其被称作F1状态，如在S422中示出的。此外，当 检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的 距离之内时，其被称作F2状态，如在S423中示出的。最后，在S424 中示出，当目标不存在于HMD附近时，其被称作F3状态。
然后，在已经确定F1状态(S422)的情况下，HMD 100处理器 110进一步通过视角传感器120确定是否检测到的目标是在HMD视角 的范围之内(S431)。例如，按照S431的步骤，其可以确定或者S1 或者S2状态。
经由S431的步骤，如果HMD处理器110确定检测到的目标不在 视角(S2状态，S433)内，则其确定是否在预先确定的距离内存在新 的数字设备(S441)。例如，按照图16，HMD用户10可以从初始检 测到的目标400转移目光到附近数字设备500。因此，在那种情况下， 如果经由S441的步骤在预先确定的距离内检测到新的设备500，则 HMD处理器110通过使用通信单元140试图执行与相应的数字设备 500的连接通信。一旦在HMD 100和设备500之间连接通信，HMD处 理器110通过使用UI控制单元170利用在数字设备500中的显示方法 510作为实体模式(S452)。
此外，在S441的步骤中，如果其被认为新的数字设备在视角内不 存在，则HMD处理器110解释用户意欲长期的转移目光，并且保持非 实体UI模式。如果初始UI模式是实体UI模式，则其可以被转变为非 实体UI模式。
另一方面，经由视角确定S431的步骤，如果HMD处理器110确 定检测到的目标是在预先确定的距离范围之内(S1状态，S432)，则 HMD处理器110将实体UI模式作为HMD UI模式操作(S451)。在 第一修改中示出的实体和非实体UI的类型和操作方法将在第四修改中 同样应用。
此外，虽然在图中没有示出，按照S451的步骤，如果在预先确定 的距离内检测到新的数字设备，同时在预先确定的距离内的目标正在 作为实体UI应用，则相应的新的数字设备的显示功能可以作为实体 UI模式使用。例如，在目标表面上的实体UI可以被删除，但是，删除 的实体UI可以被除去，并且应用于数字设备的显示。此外，实体UI 可以停留在目标的表面上，并且数字设备的显示功能可以用作不同于 目标的表面的实体UI的另一个实体UI。例如，目标表面的实体UI可 以用作虚拟键盘UI，并且数字设备的显示功能可以用作绘图UI。此外， 例如，目标表面的实体UI可以用作虚拟键盘的数字键区，并且数字设 备的显示功能可以用作虚拟键盘的字母键区。
此外，在实体UI模式就像在S451和S452中示出的那样应用的情 况下，处理器110连续地确定是否用于实体UI的目标400或者数字设 备500没有保持在HMD视角内(S451/S452->S431)。另一方面，在 非实体UI模式就像在S453和S454中示出的那样应用的情况下，处理 器110连续地确定是否在预先确定的距离内检测到目标 (S453/S454->S321)。
图17和18作为示例的实施例的第五个实施例示出考虑数字设备 检测的UI模式确定的流程图。进一步说明如下。
按照第五个实施例，HMD UI模式包括数字设备检测和位置确定 S520和HMD UI模式确定S530的步骤。当HMD UI模式确定过程开 始时S510，HMD处理器110使用目标传感器121和通信单元140检测 在HMD附近的数字设备，并且确定检测的数字设备的位置(S521)。 在确定S521的步骤之后，处理器110确定在HMD和数字设备之间的 关系作为前面提到的F1、F2和F3状态的一个。例如，当检测到设备 时，并且检测的设备保持在其中实体反馈是可能的距离之内时，其被 称作F1状态，如在S522中示出的。此外，当检测到设备时，并且检 测的设备没有保持在其中实体反馈是可能的距离之内时，其被称作F2 状态，如在S523中示出的。最后，在S524中示出，当设备在HMD附 近不存在时，其被称作F3状态。
如果HMD处理器110确定其是F1状态S522，则HMD处理器110 经由通信140执行连接通信(S531)。如果通信连接完成，则HMD处 理器110经由前面提到的UI控制单元170通过使用在设备中的显示器 操作实体UI模式(S531)。也就是说，配备在相应的设备中的显示器 可以作为HMD虚拟键盘使用。另一方面，如果HMD处理器110确定 其是F2状态(S523)或者F3状态(S524)，则HMD处理器110经 由前面提到的UI控制单元170操作非实体UI模式(S533)。
在下文中，将解释用于应用实体UI模式的HMD的额外的实施例。
如上所述，实体UI模式通常公知使用其中用户可以实际接触的各 种的方法描述在HMD中UI的方法，并且包括要在下面解释的虚拟的 3D目标UI方法。当检测到的目标是在离HMD预先确定的距离范围之 内时，如在第一个实施例中与图3至图7一起解释的实体UI模式是可 应用的。
在这里，虚拟的3D目标UI方法指的是提供用于包括至少一个触 摸识别界面的虚拟的3D目标显示的UI方法。更详细地，虚拟的3D 目标UI方法显示虚拟目标，以便虚拟目标的触摸识别表面与经由传感 器单元检测的真实目标的表面重合，并且基于有关触摸识别表面的用 户触摸输入，通过接收用户命令操作。经由这个过程，由于虚拟目标 的触摸识别表面和真实目标的表面重合，所以与真实目标的触摸输入 相同的实体反馈可以提供给虚拟目标的触摸输入。在本公开中表面的 重合不仅指的是它们是精确地一致，而且包括大体上重合，以及包括 在预先确定的范围内重合。
在这里，虚拟的3D目标指的是包括至少一个触摸识别表面的虚拟 的3D目标。例如，虚拟的3D目标可以是虚拟的3D开关，虚拟的3D 开关包括用作控制在HMD附近的数字设备的电源开/关的输入按钮的 触摸识别表面。在另一个示例中，虚拟的3D目标可以是包括用作键盘 输入的多个触摸识别表面的虚拟的3D键盘。在下文中，虚拟的3D目 标UI方法可以称为虚拟目标UI方法，并且虚拟的3D目标可以称为虚 拟目标。
在这里，触摸识别表面指的是经由HMD产生的虚拟的触摸表面。 例如，触摸识别表面可以经由安装在HMD中的3D运动传感器产生， 但是，不仅仅受限于3D运动传感器。在实施例中，触摸识别表面可以 在虚拟目标的前侧上产生，但是，不仅仅受限于前侧。更详细地，HMD 可以使用3D运动传感器在虚拟目标的前侧中产生触摸识别表面，通过 感测触摸输入目标的向上/向下和向右/向左运动，控制指针的运动，并 且通过感测触摸输入目标的深度，确定触摸识别表面的触摸识别。
此外，虚拟目标UI方法可以基于用户输入或者预先存储的系统设 置被设置为自动模式或者半自动模式的一个。自动模式自动地调整虚 拟目标的显示距离，以便与检测到的真实目标的表面和虚拟目标的触 摸识别表面重合。以自动模式应用虚拟目标UI方法的HMD的实施例 在图19和图20中图示。此外，在半自动模式中，视觉目标首先由预 置的距离显示，并且基于用户输入，诸如显示的视觉目标的用户的手 势，通过自动地调整显示距离以与虚拟目标的触摸识别表面和检测到 的真实目标的表面重合来显示虚拟目标。图21是图示以半自动模式应 用视觉目标UI方法的HMD的实施例。
在这里，显示距离指的是对于显示，以便在HMD中具有虚拟目 标的空间感觉说来必需的距离。例如，显示距离可以是用于显示虚拟 的3D目标的深度信息。在一个实施例中，显示距离可以被设置为在 HMD和在HMD中显示的虚拟目标的触摸识别表面之间的距离。在另 一个实施例中，显示距离可以被设置为在HMD和在HMD中显示的虚 拟目标的后侧之间的距离。
参考该图，将解释应用循环出现处理器操作的虚拟目标UI方法的 HMD。
图19至图21图示显示在HMD中应用虚拟的3D目标UI方法的 实体UI模式的虚拟的3D目标的各种的实施例。
特别地，图19图示显示包括一个触摸识别表面的虚拟的3D目标 的HMD，图20图示显示包括多个触摸识别表面的虚拟的3D目标的 HMD，和图21图示基于用户的手势显示包括多个触摸识别表面的虚拟 的3D目标的HMD。
图19a和19b图示按照该实施例显示包括一个触摸识别表面的虚 拟的3D目标的HMD的透视图和侧视图。
在图19b中的Dvs表示在HMD 100和在HMD中显示的虚拟目标 的触摸识别表面610之间的距离。另外，Drs是在HMD 100和由HMD 检测到的目标的表面400之间的距离。此外，Dv指的是在虚拟目标的 前侧610和后侧620之间的距离。虚拟目标的前侧可以包括至少一个 触摸识别表面。Dth指的是确定是否HMD将应用实体UI模式的预先 确定的距离。因此，Dth可以被设置为是用户可以实体地触摸检测到的 目标的距离。在这样的情况下，Dth可以与在图5中解释的Th相同。
参考图19a和19b，经由传感器单元检测到目标的表面400，并且 如果检测到的目标的表面400是在其中实体反馈是可能的(Drs<Dth) 预先确定的距离范围之内，则处理器可以通过HMD的UI方法应用实 体UI模式。此时，如果在HMD中显示的虚拟目标是3D目标并且3D 目标包括触摸识别表面，则处理器可以选择虚拟目标UI方法的实体 UI模式。处理器可以由系统或者由用户设置去选择这样的过程。
此外，当实体UI模式通过虚拟目标UI方法应用时，当虚拟目标 600仅仅包括一个触摸识别表面610时，处理器可以调整虚拟目标600 的显示距离，以便触摸识别表面600与检测到的目标的表面400重合。 例如，如果在HMD和在HMD中显示的虚拟目标的触摸识别表面之间 的显示距离被设置为Dvs，则处理器可以调整显示距离，使得Dvs值 与Drs值相同。
此外，处理器可以基于调整的显示距离(Dvs＝Drs)显示虚拟目标 600。经由这个过程，虚拟目标的触摸识别表面610与检测到的目标的 表面500重合，与真实目标的触摸输入相同的实体反馈可以提供给虚 拟目标600的触摸输入。
图20a和20b图示按照每个实施例基于选择的信息显示包括多个 触摸识别表面的虚拟的3D目标的HMD的透视图和侧视图。
在图20b中，Drs和Dth的定义与在以上的图19b中描述的定义相 同。Dvs-1是在HMD 100和第一触摸识别表面610-1之间的距离，并 且Dvs-2是在HMD 100和第二触摸识别表面610-2之间的距离。此外， Dv-1表示在第一触摸识别表面610-1和虚拟目标的后侧610之间的距 离，并且Dv-2表示在第二触摸识别表面610-1和虚拟目标的后侧620 之间的距离。
参考图20a和20b，当应用虚拟目标UI方法的实体UI模式，并 且虚拟目标600包括多个触摸识别表面610-1、610-2时，基于该选择 信息，处理器可以通过预先确定的方法选择至少一个触摸识别表面。
在这里，选择信息可以包括有关触摸识别表面的显示区的信息、 有关使用频率的信息，和有关在虚拟目标的前侧和后侧之间距离的信 息的至少一个。
在一个实施例中，当有关在虚拟目标的前侧和后侧之间的距离的 信息(以下简称为“距离信息”)被包括作为选择信息时，处理器可 以使用预先确定的方法，使用该距离信息从多个触摸识别表面中选择 至少一个触摸识别表面。例如，基于该距离信息该过程可以选择在多 个触摸识别表面之中具有最长距离值的至少一个触摸识别表面。因此， 如在图20b中图示的，基于该距离信息处理器可以从多个触摸识别表 面中选择具有最长的距离Dv-2的触摸识别表面610-2。
在另一个实施例中，当有关触摸识别表面的显示区的信息(以下 简称为“区域信息”)被包括作为选择信息时，基于该区域信息处理 器可以使用预先确定的方法，选择在多个触摸识别表面之中的触摸识 别表面的至少一个。例如，基于该区域信息处理器可以选择在多个触 摸识别表面之中具有最大或者最小显示区的至少一个触摸识别表面。
在另一个实施例中，当触摸识别表面的使用频率(以下简称为“使 用频率信息”)被包括作为选择信息时，基于该使用频率信息处理器 可以使用预先确定的方法，选择在多个触摸识别表面之中的触摸识别 表面的至少一个。例如，基于使用频率信息处理器可以选择在多个触 摸识别表面之中具有最高使用频率的触摸识别表面。在这里，基于用 户的触摸输入，处理器计算触摸识别表面每个的使用频率，在存储器 中存储，和必要时，从存储器中检索频率信息。
此外，处理器可以调整虚拟目标的显示距离，使得选择的触摸识 别表面与检测到的目标的表面重合。例如，如图20b所示，如果显示 距离被设置为在HMD 100和选择的第二触摸识别表面610-2之间的距 离Dvs-2，则处理器可以调整显示距离Dvs-2值以与Drs值重合。
基于调整的显示距离Dvs-2＝Drs处理器也可以显示虚拟目标。在 这样的情况下，与图19a和19b一起使用以上解释的方法显示虚拟目 标。
现在，在包括多个触摸识别表面的HMD中显示虚拟的3D目标的 详细解释将参考图21基于用户手势解释。在图21b和21f中的Drs、 Dth、Dvs-1、Dvs-02、Dv-1和Dv-2的定义与参考图20b以上定义的那 些相同。
图21a和21b表示基于每个实施例按照预先确定的显示距离显示 虚拟的3D目标的HMD的透视图和侧视图。
参考图21a和21b，当应用虚拟目标UI方法的实体UI模式，并 且虚拟目标600包括多个触摸识别表面610-1和610-2时，处理器可以 首先以预先确定的显示距离显示虚拟目标。这个显示距离称为第一显 示。例如，如在图21a中图示的，处理器可以在具有预先确定的显示 距离的自由空间中显示虚拟目标。在另一个示例中，处理器可以以显 示距离显示虚拟目标，使得虚拟目标的后侧与检测到的目标的表面重 合。
图21c和21d每个表示其中检测到按照每个实施例显示的触摸识 别表面的用户手势的图像的透视图和侧视图。
参考图21c和21d，当经由传感器单元检测到用户手势时，处理器 可以获得在经由手势检测的输入目标700和多个触摸识别表面610-1、 610-2之间的距离，并且确定是否获得的距离等于或者小于预先确定的 距离。在这里，输入目标700指的是为在触摸识别表面上触摸输入提 供的目标。例如，输入目标可以是输入装置，诸如用户的手指或者触 摸笔。
在实施例中，处理器可以获得在手势识别的输入目标和多个触摸 识别表面之间的水平距离d1和垂直距离d2，并且确定是否获得的距离 (d1,d2)等于或者小于预先确定的距离。在这里，假设输入目标的中 心点和触摸识别表面的中心点存在于相同的X-Y平面上，水平距离d1 可以通过测量在中心点之间的距离获得。假设输入目标的中心点和触 摸识别表面的中心点存在于相同的Z轴上，垂直距离d2可以通过测量 在中心点之间的距离获得。另外，输入目标的中心点和触摸识别表面 的中心点可以以各种方法设置。
在另一个实施例中，处理器可以选择一种方法，其中处理器首先 获得如上所述的水平距离d1，并且确定是否获得的距离等于或者小于 预先确定的距离，然后只有当触摸识别表面的水平距离d1小于或等于 预先确定的距离时，确定是否以上解释的垂直距离d2小于或者等于预 先确定的距离。经由这个过程，有可能减少在确定用户希望调整的显 示距离的触摸识别表面时的计算量。
图21e和21f图示按照每个实施例显示虚拟的3D目标的调整的显 示距离的HMD的透视图和侧视图。
参考图21e和21f，在调整虚拟目标的显示距离以与触摸识别表面 (其被确定小于预先确定的距离)重合之后，基于调整的显示距离处 理器可以重新显示虚拟目标。这称为第二显示。在这种情况下，处理 器可以与图20a和20b一起使用如上所述的方法，通过调整显示距离 显示虚拟目标。
图22是根据本公开的实施例在HMD中提供用户界面的流程图。
参考图22，当实体UI模式应用于显示虚拟目标时，并且当虚拟 目标是包括触摸识别表面的至少一个的3D目标时，HMD可以调整虚 拟目标的显示距离，以便触摸识别表面与目标的表面重合S2210。在这 里，表面重合的含义不仅指的是如上所述大体上匹配表面，而且指的 是表面的实际匹配，并且在预先确定的距离内匹配。在这样的情况下， HMD可以与图19a和19b一起按照如上所述的方法调整显示距离。
更详细地，HMD通过传感器单元检测在HMD附近的目标，并且 感测在检测到的目标和HMD之间的距离。然后，HMD确定是否检测 到的目标存在于离HMD预先确定的距离内。如果HMD确定检测到的 目标存在于离HMD预先确定的距离内，应用实体UI模式。此时，实 体UI模式可以提供虚拟目标的显示，并且其可以是以上解释的3D UI 方法。在这样的情况下，HMD可以与图3至图4一起使用以上解释的 方法，确定目标的位置，并且确定HMD的模式。然后，HMD可以调 整虚拟目标的显示距离，以便触摸识别表面去与目标的表面重合。
接下来，基于调整的显示距离，HMD显示虚拟目标S2220。在这 里，HMD可以与图19a和19b一起使用如上所述的方法显示虚拟目标。
另外，当通过应用实体UI模式显示虚拟目标，并且虚拟目标是包 括多个触摸识别表面的3D目标时，在步骤S2210之前，HMD可以进 一步包括基于该选择信息使用预先确定的方法，选择在多个触摸识别 表面之中的至少一个触摸识别表面的步骤。并且，HMD可以在调整显 示距离之后，基于调整的显示距离显示虚拟目标，以便选择的触摸识 别表面与检测到的目标的表面重合。在这种情况下，HMD可以与图20a 和20b一起使用如上所述的方法，调整显示距离和显示虚拟目标。
图23是根据本公开的另一个实施例在HMD中提供用户界面的流 程图。
参考图23，当实体UI模式应用于显示虚拟目标时，并且当虚拟 目标是包括触摸识别表面的至少一个的3D目标时，HMD按照预先确 定的显示距离显示虚拟目标S2310。这个显示称为第一显示。例如， HMD可以如以上与图21a一起解释的在具有预先确定的显示距离的自 由空间中显示虚拟目标。
更详细地，HMD通过传感器单元检测在HMD附近的目标，并且 感测在检测到的目标和HMD之间的距离。然后，HMD确定是否检测 到的目标存在于离HMD预先确定的距离内。如果HMD确定检测到的 目标存在于离HMD预先确定的距离内，则应用实体UI模式。此时， 实体UI模式可以提供虚拟目标的显示，并且其可以是以上解释的3D  UI方法。在这样的情况下，HMD可以与图3至图4一起使用以上解释 的方法，确定目标的位置，并且确定HMD的模式。然后，按照预先确 定的显示距离，HMD显示虚拟目标。
然后，HMD确定是否检测到用户手势S2320。如果检测到用户手 势，则应用步骤S2330，并且如果没有检测到用户手势，则应用步骤 S2310。
当检测到用户手势时，HMD获得在由手势检测的输入目标和多个 触摸识别表面之间的距离S2330。在这里，输入目标指的是在触摸识别 表面上提供触摸输入的目标。在这种情况下，HMD可以与图21c和图 21d一起使用如上所述的方法获得在输入目标和多个触摸识别表面之 间的距离。
HMD然后确定是否获得的距离小于或等于预先确定的距离 S2340。在这里，如果获得的距离小于或等于预先确定的距离，然后， 应用步骤S2350，并且如果获得的距离大于预先确定的距离，则应用步 骤S2320。
HMD可以调整虚拟目标的显示距离，以便确定为小于或者等于预 先确定的距离的触摸识别表面去与目标的表面重合S2350。
基于调整的显示距离，HMD可以显示虚拟目标。这称为第二显示。 在这种情况下，HMD可以与图20a和20b一起使用如上所述的方法， 调整显示距离和显示虚拟目标。
如上与图3至图7一起在第一个实施例中所述，用于以上的图19 至图23的解释来解释其中当检测到的目标存在于HMD的设置距离内 时，并且当检测到的目标的实体反馈可以被提供时，实体UI模式是可 应用的各种的实施例。
但是，实体UI模式还可以应用于与图8至图10一起描述的第二 个实施例(例如，如果检测到的目标是在预先确定的距离范围之内， 并且检测到的目标是在视角范围之内，则可以应用实体UI模式)，以 及与图11至图13一起描述的第三个实施例，与图14至图16一起描 述的第四个实施例，和与图17至图18一起描述的第五个实施例。在 这样的情况下，在本公开中描述的第二个至第五个实施例中实体UI的 解释可用于支持在与图19至图23一起如上所述的第一个实施例中的 实体UI的解释。因此，详细描述被省略。
此外，图19至图23描述将实体UI模式应用于HMD的各种的实 施例。但是，也存在将非实体UI模式应用于HMD的实施例。在这样 的情况下，在本公开中描述的第一个至第五个实施例中的非实体UI的 解释可用于支持非实体UI的概念。因此，详细描述被省略。
发明模式
以用于执行本发明的最好的模式已经描述了各种的实施例。
对于本领域技术人员来说显而易见的是，不脱离本发明的精神或 者范围的情况下可以在本发明中进行各种的改进和变化。因此，想要 的是本发明覆盖落在所附的权利要求及其等同物的范围内提供的本发 明的改进和变化。
工业实用性
如上所述，本发明完全地或者部分地可应用于电子设备。