用于注视交互的系统.pdf

本发明提供了用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法和系统。本发明提供了使用基于注视的输入和基于手势的用户命令的组合使不具有传统触摸屏的计算机系统的用户能够以触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本发明提供了例如在与常规触摸屏的交互难使用或者富有人体工程学挑战的情形下作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代的使用注视输入和基于手势的输入的触摸屏式交互的解决方案。此外，本发明提供了用于与图形用户界面进行基于组合的注视和手势的交互以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境的系统、设备和方法。

1.  一种用于在与信息呈现区域进行用户交互期间产生基于手势的命令的控制模块，其中所述控制模块被配置为：
从适于检测用户产生的手势的输入装置获取用户输入，并且从注视跟踪模块获取注视数据信号；以及
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

2.  根据权利要求1所述的控制模块，还被配置为：
基于经由所述输入装置的多个同时的用户输入来确定至少一个基于手势的控制命令；
基于所述注视数据信号来确定所述信息呈现区域上包括所述用户注视点的注视点区域；以及
基于所确定的注视点区域和所述至少一个基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

3.  根据前述权利要求1或2所述的控制模块，其中所述控制模块包括输入模块，所述输入模块被配置为解释表示至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述输入模块被配置为使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释表示所述至少一个用户产生的手势的所述信号，每一个可能的控制命令与相对于所述输入装置的特定用户手势 相对应。

4.  根据前述权利要求1至3中任一项所述的控制模块，其中，至少一个对象被呈现在所述信息呈现区域上，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵，所述控制模块被配置为：
基于所述注视数据信号来确定所述用户注视点是否在对象上或者在所述对象周围的区域中；
如果与由经由所述输入装置的用户输入得到的用户产生的基于手势的控制命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中，能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。

5.  一种用于在与和计算机设备相关联的信息呈现区域进行用户交互期间产生基于手势的控制命令的方法，所述方法包括：
获取用户输入，所述用户输入与用户产生的手势和注视数据信号相对应；以及
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

6.  根据权利要求5所述的方法，还包括：获取用户产生的基于手势的控制命令，所述基于手势的控制命令是通过触摸包括触摸板或触摸屏的输入装置的表面或者触摸所述触摸板的表面而产生的。

7.  根据权利要求5或6所述的方法，还包括：
基于经由输入装置的多个同时的用户输入来确定至少一个基于手势的控制命令；
基于所述注视数据信号来确定所述信息呈现区域上包括所述用户注视点的注视点区域；以及
基于所确定的注视点区域和所述至少一个基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

8.  根据权利要求7所述的方法，还包括：解释表示所述至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述信号是使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释的，每一个可能的控制命令与相对于所述输入装置的特定用户手势相对应。

9.  根据前述权利要求5至8中任一项所述的方法，还包括：
在所述信息呈现上呈现至少一个对象，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵；
基于所述注视数据信号来确定所述用户的所述注视点是否在对象上或者在所述对象周围的区域中；
如果与由经由所述输入装置的用户输入得到的用户产生的激活命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。

10.  根据前述权利要求5至9中任一项所述的方法，还包括：
获取基于手势的控制命令，其中用户能够通过在包括触摸板的输入装置的表面上的压力的捏合移动来产生导致缩小在所述信息呈现区域上呈现的对象的控制命令。

11.  根据前述权利要求5至9中任一项所述的方法，还包括：
获取基于手势的控制命令，其中用户能够通过在包括触摸板的输入装置的表面上的旋转移动来产生导致旋转在所述信息呈现区域上呈现的对象的控制命令。

12.  一种无线发送/接收单元“WTRU”，所述WTRU与信息呈现 区域相关联，并且包括适于检测用户产生的手势的输入装置和适于检测所述信息呈现区域的观看者的注视数据的注视跟踪模块，所述WTRU还包括控制模块，所述控制模块被配置为：
从所述输入装置获取用户输入，并且从所述注视跟踪模块获取注视数据信号；以及
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

13.  一种用于与信息呈现区域进行用户交互的系统，所述系统包括：
输入装置，适于检测用户产生的手势；
注视跟踪模块，适于检测所述信息呈现区域的观看者的注视数据；
控制模块，被配置为：
从所述输入装置获取用户输入，并且从所述注视跟踪模块获取注视数据信号；
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中，使用所确定的注视点区域作为起始点来执行所述用户动作。

14.  一种与信息呈现区域相关联的计算机设备，所述计算机设备包括：
输入装置，适于检测用户产生的手势；
注视跟踪模块，适于检测所述信息呈现区域的观看者的注视数据；
控制模块，被配置为：
从适于检测用户产生的手势的输入装置获取用户输入，并且从注视跟踪模块获取注视数据信号；
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

15.  一种手持便携式设备，包括信息呈现区域并且包括适于检测用户产生的手势的输入装置和适于检测所述信息呈现区域的观看者的注视数据的注视跟踪模块，所述设备还包括控制模块，所述控制模块被配置为：
从所述输入装置获取用户输入，并且从所述注视跟踪模块获取注视数据信号；
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述信息呈现区域上的视图进行操作的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

16.  一种用于与可佩带的头戴式信息呈现区域进行用户交互的系统，所述系统包括：
输入装置，适于佩戴在手腕、手或至少手指上，所述输入装置被 配置为检测用户产生的手势并且适于与控制模块进行无线通信；
注视跟踪模块，适于检测所述信息呈现区域的观看者的注视数据；以及
其中，所述控制模块被配置为：
从所述输入装置获取用户输入，并且从所述注视跟踪模块获取注视数据信号；
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行所述用户动作。

17.  一种用于与信息呈现区域进行用户交互的系统，所述系统包括：
输入装置，适于检测用户产生的手势，所述输入装置包括至少一个触摸板，所述至少一个触摸板被布置在车辆的转向设备上或者适于集成在车辆的转向设备中；
注视跟踪模块，适于检测所述信息呈现区域的观看者的注视数据；
控制模块，被配置为：
从所述输入装置获取用户输入，并且从所述注视跟踪模块获取注视数据信号；
基于所述用户输入来确定至少一个用户产生的基于手势的控制命令；
至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及
基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在所述图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起 始点来执行所述用户动作。

用于注视交互的系统
技术领域
本发明大体上涉及用于利用与交互式图形用户界面相结合的眼睛移动检测的计算机实现系统和方法。具体地，本发明涉及用于在用户与图形用户界面交互时通过将基于眼睛的输入与基于手势的输入和基于手势的用户命令进行结合来辅助用户的系统和方法。
背景技术
已经通过引入图形用户界面(GUI)使人机交互发生革命性巨变。由此，提供了用于以极大地超出任何先前信道的带宽向用户呈现信息的有效方式。多年以来，已经通过彩色屏幕、增大的显示器、智能图形对象(例如，弹出窗口)、窗口标签、菜单、工具栏等进一步提高了可以呈现信息的速度。然而，在此期间，输入设备基本上保持不变，即，键盘和定点设备(例如，鼠标、跟踪球或触摸板)。近年来，已经引入了(例如，手写笔或图形笔形式的)手写设备。然而，虽然输出带宽已经增加了很多倍，但是输入带宽实质上未改变。因此，人机交互中的通信带宽的严重不对称性已经显现。
为了减小这种带宽不对称性以及为了改善和促进用户交互，已经进行了多种尝试来将眼睛跟踪用于这些目的。通过在例如膝上型计算机中实现眼睛跟踪设备，可以显著提高用户与在计算机上运行的不同软件应用之间的交互可能性。
因此，一种用于改善和促进用户交互并且用于移除带宽不对称性的令人关注的思想是：取而代之地使用眼睛注视跟踪，或者使用眼睛注视跟踪作为鼠标输入的补充。通常，根据计算出的用户注视点将光标定位在显示器上。已经提出了多种不同的技术以在这些系统中选择和激活目标对象。在一个示例中，在检测到用户在特定时间段期间将他或她的注视集中在特定对象处之后，系统激活对象。另一种方法是 当用户眨眼时检测对象的激活。
然而，存在与这些使用眼睛跟踪的解决方案相关联的问题。例如，人类将其眼睛用于感知动作而不是控制。因此，小心地使用眼睛移动来与计算机交互以例如激活和选择呈现在计算机的显示器上的对象可能是充满压力的。还可能难以控制眨眼或凝视，以与呈现在显示器上的对象进行交互。
因此，本领域中需要改善技术，该技术实现与配备有眼睛跟踪设备的计算机的用户交互从而允许用户以更直观和自然的方式使用他或她的眼睛来控制、选择和激活呈现在计算机的显示器上的对象或对象的一部分。此外，在本领域中还需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互的技术。
在Beymer等的美国专利申请(公开号2005/0243054)中给出了一种这样的尝试，在该专利申请中，公开了一种用于使用眼睛注视和键按压来选择和激活目标对象的技术。更具体地，用户注视目标对象，例如，图形用户界面上的按钮，然后按压键盘的选择键。一旦按压了选择键，就使用概率推理确定了最可能的目标。然后，所确定的目标对象被突出显示并且用户可以通过再次按压选择键来选择该目标对象。如果突出显示的对象不是目标对象，则用户可以使用额外键导航至期望的目标对象来选择另一目标对象。
然而，该技术局限于基于眼睛注视与对一个专用选择键的两次连续按压的组合的对象选择和激活。
在Amir等的US 6,204,828中，公开了用于通过集成眼睛注视和手动操作员输入来辅助用户定位光标的计算机驱动系统。注视跟踪装置在用户观看屏幕时监视用户的眼睛方位。同时，计算机在诸如鼠标等的输入设备上监视操作员的机械激活。当计算机检测到输入设备的机械激活时，其确定当前注视区域中的初始光标显示位置。然后，在初始显示位置处将光标显示在屏幕上，此后，根据用户对输入设备的操控而不参考注视来手动地定位光标。
因此，在现有技术中仍然需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互(具体地，与图形用户界面 的用户交互)的改善技术。
发明内容
本发明的目的是提供用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法、设备和系统。
本发明的另一目的是提供用于与图形用户界面进行对用户友好且直观的交互的方法、设备和系统。
本发明的特定目的是提供使不具有传统触摸屏的计算机系统的用户能够使用基于注视的输入和基于手势的用户命令的组合来通过触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本发明提供了以下解决方案：例如在与常规触摸屏的交互难以使用或者富有人体工程学挑战性的情形下，使用注视输入和基于手势的输入的触摸屏式交互来作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代。
本发明的另一特定目的是提供以下系统、设备和方法：与图形用户界面进行基于组合的注视和手势的交互，以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境。
在本发明的上下文中，术语“GUI”(图形用户界面)是指基于图形的用户界面，其在并入了例如可移动窗口和图标的显示器上具有画面或图像和文字(包括例如符号和数字)。
此外，在本发明的上下文中，术语“对象”或“对象部分”是指交互式图形对象或GUI对象(例如，窗口、图标、按钮、滚动条、超链接)或非交互式对象(例如，图像、文本或文本中的用户期望选择或激活的文字)。
在本方面的上下文中，术语“触摸板”(或术语“跟踪板”)是指用于检测一根或多根手指和/或旨在定点、绘制或做手势的一个或多个其他对象(例如，手写笔)的位置和移动的表面传感器。
通过具有独立权利要求中所定义的特征的系统的方式来实现本发明的这些目的和其他的目的。通过从属权利要求描述本发明的实施例。
根据本发明的一个方面，提供了用于实现在例如计算机设备或手持设备或无线发送/接收单元(WTRU)中以处理和产生基于手势的控制命令从而基于这些命令执行用户动作的控制模块。控制模块被配置为从适于检测用户产生的手势的输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于所述用户输入来确定至少一个用户产生的基于手势的控制命令。此外，控制模块被配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。用作起始点的注视点区域可以是用户初始注视的区域或者微调区域，即，用户已经通过例如经由输入装置的调节或校正命令来选择的区域，从而将初始注视点区域校正或调节至所选区域。
根据本发明的另一方面，提供了一种在与(例如，与计算机设备或手持设备相关联或包括在计算机设备或手持设备中，或者与无线发送/接收单元(WTRU)相关联或者包括在WTRU中的)信息呈现区域进行用户交互期间产生基于手势的命令的方法。该方法包括：获取用户输入，该用户输入与用户产生的手势和注视数据信号相对应，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。此外，至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种手持便携式设备，该手持便携式设备配备有信息呈现区域或者与信息呈现区域相关联并且包括适于检测用户产生的手势的输入装置和适于检测所述信息呈现区域的观 看者的注视数据的注视跟踪模块。该手持设备还包括：控制模块，控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。该控制模块被还配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。在本发明的实施例中，手持设备可以是蜂窝电话、智能电话、iPad或类似设备、平板电脑、phoblet/phablet、膝上型计算机或类似设备。
根据本发明的另一方面，提供了一种无线发送/接收单元WTRU，该WTRU与信息呈现区域相关联并且包括适于检测用户产生的手势的输入装置和适于检测信息呈现区域的观看者的注视数据的注视跟踪模块。该WTRU还包括：控制模块，控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。该控制模块被还配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
术语“无线发送/接收单元(WTRU)”包括但不限于用户设备(UE)、移动站、固定或移动订户单元、蜂窝电话、智能电话、个人数字助理(PDA)、计算机、或者能够在无线环境(例如，无线局域网(WLAN)或无线移动通信系统(例如，第三代(3G)全球移动通信系统和包括长期演进(LTE)小区的用于移动通信的系统))中操作的任何其他类型的设备。
根据本发明的另一方面，提供了一种用于与信息呈现区域进行用户交互的系统。该系统包括：输入装置，适于检测用户产生的手势，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。此 外，该系统包括：控制模块，被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。控制模块还被配置为：至少基于注视数据信号来确定信息呈现区域上用户注视点所在的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中，使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种与信息呈现区域相关联的计算机设备。该计算机设备包括：输入装置，适于检测用户产生的手势，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。该计算机设备还包括：控制模块，该控制模块被配置为：从适于检测用户产生的手势的输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。此外，控制模块被配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，计算机设备可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器或设备、或者手持设备，例如蜂窝电话、智能电话或类似设备、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、iPAD或类似设备、平板电脑、Phoblet/Phablet。
根据本发明的实施例，输入装置被配置为使用例如光学测量技术或电容测量技术来检测手或手指例如相对于键盘或信息呈现区域的用户手势。
根据本发明的一个方面，提供了一种用于与可佩带的头戴式信息呈现区域进行用户交互的系统。该系统包括：被配置为陀螺戒指的输入装置，适于检测用户产生的手势并且适于与(还可通信地连接到信 息呈现区域的)控制模块进行无线通信，以及注视跟踪模块，适于检测信息呈现区域的观看者的注视数据。控制模块被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号；以及基于用户输入来确定至少一个用户产生的基于手势的控制命令；至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域；以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的另一方面，提供了一种用于与信息呈现区域进行用户交互的系统。该系统包括：输入装置，适于检测用户产生的手势，其中输入装置包括至少一个触摸板，该触摸板被布置在车辆的转向设备上或者适于集成在车辆的转向设备中。此外，系统包括：注视跟踪模块，适于检测信息呈现区域的观看者的注视数据，以及控制模块，被配置为：从输入装置获取用户输入并且从注视跟踪模块获取注视数据信号；以及基于用户输入来确定至少一个用户产生的基于手势的控制命令；至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域；以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，输入装置包括触摸板，该触摸板被配置为使用户能够产生基于手势的控制命令。例如可以通过在触摸板的表面上移动至少一根手指或者使用例如手指触摸触摸板的表面来产生基于手势的命令。
根据本发明的实施例，触摸板表面的专用部分或区域被配置为接收基于手势的控制命令。
根据本发明的实施例，触摸板表面的至少第一专用部分或区域被配置为接收第一组基于手势的控制命令，并且触摸板表面的至少第二部分或区域被配置为接收第二组基于手势的控制命令。例如，触摸板可以被配置为接收诸如在专用区域或部分处滚动或缩放等的手势。
在本发明的实施例中，控制模块被配置为基于经由输入装置的多个同时的用户输入来确定至少一个基于手势的控制命令。此外，基于注视数据信号来确定信息呈现区域上用户注视点所在的注视点区域，并且基于所确定的注视点区域和至少一个基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。
根据本发明的实施例，输入模块被配置为解释表示至少一个用户产生的手势的信号，以提供反映用户手势的至少一个基于手势的控制命令。根据本发明的实施例，输入模块被布置在控制模块中。
在本发明的实施例中，输入模块被配置为使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释表示至少一个用户产生的手势的信号，每一个可能的控制命令与相对于输入装置的特定用户手势相对应。
根据本发明的实施例，至少一个对象被呈现在图形信息呈现区域上，对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵，其中控制模块被配置为：基于注视数据信号来确定用户注视点是否在对象上或者在该对象周围的区域中。此外，控制模块可以被配置为：基于注视数据信号来确定用户注视点在预定时间点是否已经在对象上或者在该对象周围的区域中。例如，控制模块可以被配置为确定用户注视点在0.1秒之前是否在对象上或者该对象周围的区域上。
如果与由经由输入装置的用户输入得到的用户产生的激活命令同步地，用户注视点在对象上或者在该对象周围的区域中，则启用对象的用户激活，其中可以通过由经由输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。如果与由经由输入装置的用户输入得到的用户产生的激活命令在预定时间段上同步地，用户注视点曾在对象上或者在该对象周围的区域内，则也启用对象的用户激活，其中可以通过由于经由输入装置的用户输入得到的用户产生的命令来操纵激活的对象。
根据本发明的实施例，当用户触摸触摸板时，通过诸如十字准线 或类似标记等的视觉反馈来指示初始注视点的位置。用户可以通过在触摸板上移动手指来调整该初始位置。然后，用户可以使用不同的手势以触摸屏式方式与信息呈现区域进行交互。视觉反馈的强度(例如，十字准线的光的强度)可以取决于信息呈现区域上用户的注视所在的位置。例如，如果在注视点处发起用于平移(pan)窗口的拖动操作，则视觉反馈最初可以是不连续(discrete)的。当拖动操作已经维持一段时间时，可以增强视觉反馈以向用户指示此时执行拖动操作的位置。
在包括触摸板的实施例中，手势是相对于触摸板的手指移动，并且每一个手势与导致用户动作的基于特定手势的控制命令相关联或相对应。在下文中，将讨论可以使用手势和注视的组合执行的用户动作的非穷举数量的示例：
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地在预定时间段期间下压触摸板并在触摸板上保持手指，呈现与该对象相关的视觉反馈。例如，通过在第一时间段期间下压触摸板并且在触摸板上保持手指，可以突出显示对象，并且通过在第二时间段期间继续在触摸板上保持手指，可以显示对与该对象相关的信息进行呈现的信息框。
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地使用手指轻击触摸板，可以发起主动作。例如，可以通过注视表示应用的图标并且使用手指轻击触摸板来打开和启动应用。
●通过例如注视呈现在信息呈现区域上的对象并且通过与之关联地抬起已经与触摸板相接触的手指，可以发起主动作。例如，可以通过注视表示应用的图标并且抬起已经与触摸板相接触的手指来打开和启动应用。
●用户可以通过注视信息呈现区域并且通过与之关联地在触摸板上滑动他或她的手指来滑动或拖动由信息呈现区域呈现的视图。从而在用户注视点处发起拖动。可以通过注视对象并且通过与之关联地在触摸板上滑动手指来实现在信息呈现区域上滑动对象的类似动作。通过需要两根手指来进行划动或者一根手 指用于划动而另一根手指按下按钮的方式，可以取而代之地实现这两个目的。
●用户可以通过注视对象并且通过与之关联地在触摸板上向下划动他或她的手指来选择对象以进行进一步动作。
●通过注视呈现在信息呈现区域上的对象或对象部分并且通过与之关联地使用他或她的两根手指进行捏合，可以对该对象或对象部分进行缩放。通过使例如拇指推动按钮或键盘键并且手指在触摸板上远离或朝向按钮或键盘键移动，也可以在仅能够感测单一触摸的触摸板上实现相同的功能。
●通过注视呈现在信息呈现区域上的对象或对象部分并且通过与之关联地使用他或她的两根手指旋转，可以旋转对象或对象部分。类似地，当使用仅能够感测单一触摸的触摸板时，拇指可以按压按钮同时手指在触摸板上与按钮相距恒定距离的曲线中移动以旋转对象。
●通过注视信息呈现区域的边缘并且在触摸板上在可能朝向信息呈现区域的中心的方向上(如果已经在注视位置做出手势)滑动手指，可以呈现或显示在正常使用期间隐藏的菜单或其他窗口(例如，帮助菜单)。也即是说，如果用户注视例如信息呈现区域的左边缘并且在触摸板上在向右方向上划动他或她的手指，则可以显示或呈现隐藏菜单或其他窗口。
●通过注视滑动条控制(例如，音量控制)，手指可以在触摸板上、在触摸屏的预定义区域上或者在键盘上上移/下移(或者针对水平控制，左移/右移)以调整滑动条控制的值。
●通过注视复选框控制同时在触摸板上做出“选中-手势”(例如，“V”)，复选框可以是选中的或未选中的。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时使用一根手指(例如，拇指之一)用力按压压力敏感触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个用力按压在不同缩放水平之间切换(toggle)。
●通过注视有多个选项可用(例如，“复制”或“重命名”)的对象或对象部分，可以在预置聚焦停留时间已经过去之后或者在已经提供适当的用户输入之后在对象的不同侧上显示不同的选项。此后，触摸板或触摸屏的预定义区域用于选择动作。例如，向左划动以复制并且向右滑动以重命名。
根据本发明的另一个实施例，注视跟踪模块和用户输入装置被实现在配备有触摸屏的设备(例如，iPad或类似设备)中。触摸屏用作信息呈现区域和用于输入用户手势的输入设备二者。控制模块被包括在配备有触摸屏的设备中，并且被配置为基于注视数据信号来确定信息呈现区域(即，触摸屏)上用户注视点所在的注视点区域，并且基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在触摸屏上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。经由触摸屏输入用户手势。根据该实施例，用户手势或触摸屏上的手指移动是相对于注视点的，这伴随着配备有触摸屏的设备的更用户友好且人体工程学的使用。例如，用户可以用两只手握住设备并且使用注视和拇指的移动与触摸屏上的图形用户界面进行交互，其中所有用户动作和激活都将用户注视点作为起始点。
如上所述，上文所讨论的手势和注视发起的动作仅是示例性的，并且存在与注视点相结合导致可感知的动作的大量其他手势。在下文中，描述一些其他示例：
●可以通过注视对象或对象部分并且按压手指(例如，拇指)、通过移动手指来进行微调、并且释放手指施加的压力以选择对象或对象部分，来对该对象或对象部分进行选择；
●可以通过注视对象或对象部分、按压手指(例如，拇指)、通过移动手指来进行微调、使用另一手指(例如，另一拇指)轻击以选择对象或对象部分，来对该对象或对象部分进行选择。此外，双轻击可以用于“双击动作”，并且快速下移可以用于“右击”。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时以圆周运动移动手指(例如，拇指之一)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，顺时针运动执行“放大”命令，并且逆时针运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，并且通过与之关联地使一根手指(例如，拇指之一)保持静止同时上移或下移另一根手指(例如，另一根拇指)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，上移运动执行“放大”命令，下移运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时使用一根手指(例如，拇指之一)双轻击触摸屏，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个双轻击在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时在相反的水平方向上同时滑动两根手指(例如，两根拇指)，可以对该对象或对象部分进行缩放。
●通过注视可缩放对象并且与之关联地使手指(例如，一根拇指)在触摸屏上保持静止同时以圆周运动移动另一根手指(例如，另一根拇指)，可以对该对象或对象部分进行缩放。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，可以激活自动平移(panning)功能，使得在注视点靠近信息呈现区域的边缘的同时呈现区域从屏幕的边缘之一向中心连续地滑动，直到接收到第二用户输入为止。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，呈现区域立即根据注视点(例如，注视点用于指示滑动信息呈现区域应该滑动到的中心)滑动。
●通过注视呈现在信息呈现区域上的对象或对象部分同时在相反的垂直方向上同时滑动两根手指(例如，两根拇指)，可以旋转该对象或对象部分。
在执行两指手势之前，手指之一可以用于微调动作点。例如，当用户触摸触摸屏时，可以在注视点上示出诸如“虚拟手指”等的用户反馈符号。第一根手指可以用于四处滑动以相对于原点来调整动作点。当用户使用第二根手指触摸屏幕时，动作点固定并且第二根手指用于“点击”动作点或者用于执行诸如上述旋转、拖动和缩放示例等的两指手势。
根据本发明的另一实施例，注视跟踪模块和用户输入装置被实现在诸如iPad、超级本平板电脑或类似设备等的便携式设备中。然而，替代使用拇指在呈现区域上执行手势，将一个或两个单独的触摸板放置在设备的背面，以允许使用除了拇指之外的其他手指的两指手势。
根据本发明的另一实施例，注视跟踪模块和用户输入装置被实现在车辆中。信息呈现区域可以是平视显示器或信息娱乐屏幕。输入装置可以是转向设备的背面(以与食指一起使用)或正面(以与拇指一起使用)上的一个或两个单独的触摸板。
根据本发明的另一实施例，注视跟踪模块和信息呈现区域被实现在可佩带的头戴式显示器中，该头戴式显示器可以被设计为看似一副眼镜(例如，US8,235,529中所述的解决方案)。用户输入装置可以 包括陀螺仪，并且适于佩戴在手腕、手或至少一根手指上。例如，输入装置可以是与眼镜(或处理单元，诸如可通信地连接到眼镜智能电话等)无线连接的戒指和检测佩戴戒指的手指的小幅移动的陀螺仪。检测到表示的移动的手势数据然后被无线地传送到检测到注视的眼镜，并且基于来自输入装置的手势数据的基于手势的控制命令用于识别和执行用户动作。
通常，在大多数应用中，触摸板显著小于信息呈现区域，这使得在特定情形中触摸板可以对可能的用户动作施加限制。例如，可能期望在整个信息呈现区域上拖动或移动对象同时用户手指的移动受到较小触摸板区域的限制。因此，在本发明的实施例中，如果例如按下或按压特定或专用的按钮或键盘键，则尽管用户已经从触摸板移走了手指，也可以维持触摸屏式会话。由此，用户可以执行需要触摸板上的多次触摸的动作。例如，可以通过触摸板上的多次拖动移动来在整个信息呈现区域上移动或拖动对象。
在本发明的其他实施例中，在手指沿着与手指的初始方向相同的方向到达触摸板的边缘之后，信息呈现区域上的拖动移动或者其他用户动作继续。继续的移动或其他动作可以持续到传送中断命令为止，该中断命令可以是例如下压键盘键或按钮、触摸板上的轻击或者当从触摸板移走了手指时。
在本发明的其他实施例中，当用户手指靠近触摸板的边缘时，增加或加快拖动移动或其他动作的速度。如果手指在相反的方向上移动，则可以减小速度。
在本发明的实施例中，可以基于注视位置来加快动作，例如，对象的拖动移动。例如，通过注视对象、在期望方向上发起该对象的拖动操作、然后注视该对象的期望结束位置，对象的初始位置与期望结束位置之间的距离越长，对象移动的速度将越高。
在本发明的其他实施例中，语音命令可被用于选择要对当前注视的对象执行什么动作，然后需要手势来执行该动作。例如，诸如词“移动”等的语音命令可以允许用户通过在触摸板或触摸屏上移动手指来移动当前正在注视的对象。要执行的另一个动作可以是删除对象。在 该情况下，词“删除”可以允许删除当前正在注视的对象，但是另外需要诸如向下划动等的手势来实际删除对象。因此，通过注视要作用于的对象来选择对象，通过语音命令来选择要执行的特定动作，并且通过手势来完成要执行的移动或确认。
下面将通过例证实施例的方式来讨论本发明的其他目的和优点。
当参照以下详细描述、所附权利要求和附图来考虑时，将更全面地理解本发明的这些和其他特征和优点。
附图说明
附图不必按比例绘制，并且以举例说明而非限制性的方式概括地示出了本发明的多个实施例。因此，在附图的图示中通过举例说明而非限制性的方式说明了示例性实施例，在附图中，相似的附图标记指示相似的元件。应当注意的是，在本讨论中对“一”或“一个”实施例的提及不一定是对相同实施例的提及，并且这种提及意味着至少一个。
图1示出了用户控制可以在其中实现本发明的计算机装置的概览图；
图2是示出了根据本发明的布置的实施例的框图；
图3是示出了根据本发明的布置的另一实施例的框图；
图4示出了根据本发明导致用户产生的基于手势的控制命令的示例性手势；
图5示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图6示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图7示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图8示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图9示出了根据本发明导致用户产生的基于手势的控制命令的另 一示例性手势；
图10示出了根据本发明导致用户产生的基于手势的控制命令的另一示例性手势；
图11a示出了在其中实现本发明的另一实施例的配备有触摸屏的设备的概览图；
图11b示出了在其中实现本发明的另一实施例的在背面配备有触摸板的设备的概览图；
图12是示出了图11a中所示的根据本发明的实施例的框图；
图13a是根据本发明的实施例的控制模块的示意图；
图13b是根据本发明的另一实施例的控制模块的示意图；
图13c是根据本发明的另一实施例的控制模块的示意图；
图14是根据本发明的实施例的无线发送/接收单元WTRU的示意图；
图15a是根据本发明的实施例的计算机设备或手持设备的实施例的示意图；
图15b是根据本发明的计算机设备或手持设备的另一实施例的示意图；
图16是示出了根据本发明的实施例的方法的实施例的步骤的示意性流程图；
图17是示出了根据本发明的方法的另一实施例的步骤的示意性流程图；
图18是示出了根据本发明的实施例的方法的另一实施例的步骤的示意性流程图；
图19是示出了根据本发明的实施例的方法的另一实施例的步骤的示意性流程图；
图20是示出了根据本发明的布置的另一实施例的框图；
图21是本发明的另一实现的示意图；
图22是本发明的另一实现的示意图；以及
图23是本发明的实现的示意图。
具体实施方式
本文使用的术语“模块”指代专用集成电路(ASIC)、电子电路、执行一个或多个软件程序的处理器(共享的、专用的、或组)以及存储器、组合逻辑电路、或者提供所述功能的其他适合的组件。术语“模块”还指代实现本文所述的方法(具体地，结合每一个特定“模块”所述的功能)必需的特定形式的软件。认为将主要通过根据本发明的系统中采用的特定系统架构并且通过根据本发明的系统采用的特定方法来确定特定形式的软件。
下文是根据本发明的示例性实施例的描述。不应从限制性的意义理解该描述，而是仅为了描述本发明的一般原理的目的给出该描述。将理解的是，在不偏离本发明的范围的情况下可以利用其他实施例并且进行结构和逻辑改变。
参照图1、图2、图3和图20，将描述根据本发明的计算机系统的实施例。图1示出了根据本发明具有集成的注视和手动控制的计算机系统的实施例。用户110能够至少部分地基于眼睛跟踪信号D_EYE(眼睛跟踪信号D_EYE描述了用户在信息呈现区域或显示器20上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，从而经由诸如触摸板51等的用户输入装置50产生基于手势的控制命令)，来控制计算机系统10。
在本发明的上下文中，如上所述，术语“触摸板”(或术语“跟踪板”)是指以触觉传感器(即，可以将用户手指的运动和位置转换为屏幕(信息呈现区域)上的相对位置的专用表面)为特征的定点设备。触摸板是膝上型计算机的公共特征，并且也在桌面空间不足的情况下用作鼠标的替换。因为它们的尺寸不同，因此也可以在个人数字助理(PDA)和一些便携式媒体播放器上发现它们。无线触摸板也可以作为拆卸的配件使用。触摸板以多种方式之一操作，包括电容感测和电导感测。如今最常用的技术伴随着感测手指的电容虚拟地效应或传感器之间的电容。虽然诸如触摸屏等的触摸板能够感测绝对位置，但是分辨率受到其尺寸的限制。对于作为指针设备的通常使用，与操纵被抬起并放回表面的鼠标类似，手指的拖动运动被转换为光标在屏幕上 的更精细的相对运动。与标准鼠标的左右按钮相当的硬件按钮被定位在触摸板的下方、上方或旁边。上网本有时采用最后一种方式作为节约空间的方式。一些触摸板和相关联的设备驱动器软件可以将轻击板解释为点击，并且其后接着是连续定点运动的轻击(“点击-半按(click-and-a-half)”)可以指示拖动。触觉触摸板允许通过将按钮功能并入到触摸板自身的表面中来进行点击和拖动。为了选择，下压触摸板而不是物理按钮。为了拖动，不是执行“点击-半按”技术，而是进行下压同时拖动对象而不释放压力，并且当完成时放开。触摸板驱动器还可以允许使用多根手指来促进其他鼠标按钮(通常针对中心按钮两指轻击)。一些触摸板具有“热点”，即触摸板上用于除了鼠标之外的功能的位置。例如，在特定触摸板上沿着触摸板的边缘移动手指将被用作滚轮，控制滚动条并且垂直地或水平地滚动具有焦点的窗口。Apple(苹果)使用两指拖动来在其触摸板上进行滚动。此外，一些触摸板驱动器支持轻击区，即，轻击将执行功能(例如，暂停媒体播放器或者启动应用)的区域。所有这些功能是在触摸板设备驱动器软件中实现的，并且可以被禁用。触摸板主要用于整装(self-contained)的便携式膝上型计算机中，并且不需要靠近机器的平坦表面。触摸板接近键盘，并且只需要非常短的手指移动以在显示屏上移动光标；虽然是有利的，但是这还使得用户的拇指可能在键入时无意地移动鼠标的光标。在具有内置触摸板的键盘中，触摸板功能可用于台式计算机。
触摸板的示例包括一维触摸板，该一维触摸板用作第二代及以后的iPod Classic便携式音乐播放器上的菜单导航的主控制界面，其中它们被称作“点击滑轮”，这是因为它们仅感测沿着一个轴的运动，该轴像轮子一样回绕。在触摸板的另一实现中，第二代Microsoft Zune产品线(Zune 80/120和Zune 4/8)将触摸应用于Zune Pad。Apple的PowerBook 500系列是其携带这种设备的第一台膝上型计算机，Apple将其称为“跟踪板(trackpad)”。Apple最近的膝上型计算机以跟踪板为特征，该跟踪板可以同时感测多达五指手指，从而为输入提供更多选项，例如，通过轻击两根手指提供快捷菜单的能力。在2008年下半年，Apple的MacBook和MacBook Pro的修订版并入了“触觉触摸板 (Tactile Touchpad)”设计，该“触觉触摸板”设计具有并入到跟踪表面的按钮功能。
本发明提供了使用基于注视的输入和基于手势的用户命令使不具有传统触摸屏的计算机系统的用户以触摸屏式方式与图形用户界面进行交互的解决方案。此外，本发明提供了使用注视输入和基于手势的输入的触摸屏式交互的解决方案，作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代。
因此，显示器20可以是任意类型的已知计算机屏幕或监视器以及两个或更多个单独的显示器的组合。例如，显示器20可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。
计算机30可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器、或者手持设备，例如蜂窝电话、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、以及类似的其他设备。还可以在“智能环境”中实现本发明，例如，在该“智能环境”中，可以选择和激活在多个显示器上呈现的对象。
为了产生注视跟踪信号D_EYE，注视跟踪器单元40被包括在显示器20中或者与显示器20相关联。同一申请人在题为“Method and Installation for detecting and following an eye and the gaze direction thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。
与注视跟踪模块40相关联的软件程序或软件执行指令可以被包括在注视跟踪模块40中。图2、图3和图20中所示的具体示例示出了在注视跟踪模块中实现的相关联软件，所述相关联软件可以根据特定的应用单独地包含在计算机30中、包括在注视跟踪模块40中、或者包括这二者的组合中。
计算机系统10包括计算机设备30、注视跟踪模块40、显示器20、控制模块36、36’、以及用户输入装置50、50’，如图2、图3和图20所示。除了图2和图20中所示的组件之外，计算机设备30还包括多 种其他组件，但是为了说明的目的，从图2、图3和图20中省略了这些组件。
用户输入装置50、50’包括对压力、物理接触、手势或用户的其他手动控制敏感的元件，例如触摸板51。此外，输入设备装置50、50’还可以包括计算机键盘、鼠标、“跟踪球”或者任何其他设备，例如，IR传感器、语音激活的输入装置，或者可以使用具有基于身体姿态或邻近的输入的检测设备。然而，在图2、图3和图20所示的具体实施例中，触摸板51被包括在用户输入设备50、50’中。
输入模块32被配置为从触摸板51接收反映用户的手势的信号，其中输入模块32可以是单独地包括在控制模块36’或者包括在用户输入装置50中的软件模块，或者作为与控制模块和输入装置50’分离的模块包括的软件模块。此外，输入模块32还适于解释接收的信号，并且基于解释的信号提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
如果输入模块32被包括在输入装置50中，则基于手势的控制命令被提供给控制模块36，如图2所示。在本发明的实施例中，控制模块36’包括基于来自用户输入装置50’的手势数据的输入模块32，如图3所示。
控制模块36、36’还被配置为从注视跟踪模块40获取注视数据信号。此外，控制模块36、36’被配置为基于注视数据信号确定信息呈现区域20上用户注视点所在的注视点区域120。如图1中所示，注视点区域120优选地是用户注视点周围的局部区域。
此外，控制模块36、36’被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对在图形信息呈现区域20上呈现的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点执行用户动作。控制模块36、36’可以集成到计算机设备30中或者可以关联或耦合到计算机设备30。
因此，本发明允许用户使用注视和手势(例如通过在触摸板51上移动至少一根手指)以触摸屏式方式与计算机设备30进行交互(例如操纵呈现在信息呈现区域20上的对象)。
优选地，当用户触摸触摸板51时，通过诸如十字准线或类似标记等的视觉反馈来指示初始注视点的位置。可以通过在触摸板51上移动手指来调整该初始位置。此后，用户可以使用不同的手势和注视以触摸屏式方式与信息呈现区域20交互。在包括触摸板的实施例中，手势是相对于触摸板51的手指移动，并且每一个手势与导致用户动作的基于特定手势的用户命令相关联或者相对应。
在下文中，将参照图4至图10讨论可以使用手势和注视的组合执行的用户动作的非穷举数量的示例：
●通过例如注视在信息呈现区域20上呈现的对象并且通过与之关联地触摸触摸板或者下压触摸板51并在y ms的时段期间在触摸板51上保持手指60(见图4)，来突出显示该对象。如果在z ms的第二时段期间手指60保持压下，则可以显示对与该对象有关的信息进行呈现的信息框。在图4中，关于触摸板51示出了该手势。
●通过例如注视在信息呈现区域20上呈现的对象并且通过与之关联地使用手指71轻击触摸板51，可以发起主动作。例如，通过注视表示应用的图标并且使用手指轻击触摸板51，可以打开和启动应用。在图5中，关于触摸板51示出了该手势。
●用户可以通过注视信息呈现区域20上的某一位置并且通过与之关联地在触摸板51上滑动他或她的手指81来滑动或拖动由信息呈现区域20呈现的视图。可以通过注视对象并且通过与之关联地在触摸板51上滑动手指81来实现在信息呈现区域20上滑动对象的类似动作。在图6中关于触摸板51示出了该手势。当然，可以通过多于一根手指(例如，通过使用两根手指)来执行该手势。
●用户可以通过注视对象并且通过与之关联地在触摸板51上在特定方向上划动他或她的手指来选择对象以进行进一步动作。在图7中关于触摸板51示出了该手势。当然，可以通过多于一根手指(例如，通过使用两根手指)来执行该手势。
●通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使用他或她的两根手指101和102进行捏合，可以缩小该对象或对象部分。在图8中关于触摸板51示出了该手势。类似地，通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使他或她的手指101和102分开，可以扩大或放大该对象或对象部分。
●通过注视在信息呈现区域20上呈现的对象或对象部分并且通过与之关联地使用他或她的两根手指111和112旋转，可以旋转对象或对象部分。在图9中关于触摸板51示出了该手势。
●通过注视信息呈现区域20的边缘或边框部分或者与边缘或边框邻近的区域并且通过与之关联地在触摸板51上在从信息呈现区域的边缘到中心的方向上(如果在注视点执行的话)滑动他或她的手指124，菜单可以从边缘显现。
●通过注视滑动条控制(例如，音量控制)，手指可以上移/下移(或者针对水平控制左移/右移)以调整滑动条控制的值。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
●通过注视复选框控制同时在触摸板上做出“选中-手势”(例如，“V”)，复选框可以是选中的或未选中的。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
●通过注视有多个选项可用(例如，“复制”或“重命名”)的对象或对象部分，可以在预置聚焦停留时间已经过去之后或者在已经提供适当的用户输入之后在对象的不同侧上显示不同的选项。此后，做出手势以选择动作。例如，向左划动以复制并且向右划动以重命名。使用适当的输入装置，可以在触摸板上、在触摸屏上或者在空中检测到该手势，而无需物理地触摸该输入装置。
通过将手指用力压在触摸板上，即，增加手指触摸触摸板的压力， 可以发起滑动模式。例如，通过注视对象、触摸触摸板、增加触摸板上的压力并且在触摸屏上移动手指，可以在信息呈现区域上移动或拖动对象。当用户从触摸板51移走手指时，触摸屏式会话完成。此后，用户可以通过注视信息呈现区域20并且将手指放在触摸板51上来开始新的触摸屏式会话。
如上所述，上文所讨论的手势和注视发起的动作仅是示例性的，并且存在与注视点相结合导致可感知动作的大量其他手势。使用适合的输入装置，可以在触摸板上、在触摸屏上的预定区域上、在空中(在无需物理地接触输入装置的情况下)或者通过佩戴在用户的手指或手上的输入装置检测到这些手势中的很多手势。在下文中，描述一些其他示例：
●可以通过注视对象或对象部分并且按压手指(例如，拇指)、通过移动手指来进行微调、并且释放手指施加的压力以选择对象或对象部分，来对该对象或对象部分进行选择；
●可以通过注视对象或对象部分、按压手指(例如，拇指)、通过移动手指来进行微调、使用另一手指(例如，另一拇指)轻击以选择对象或对象部分，来对该对象或对象部分进行选择。此外，双轻击可以用于“双击动作”，并且快速下移可以用于“右击”。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时以圆周运动移动手指(例如，拇指之一)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，顺时针运动执行“放大”命令，并且逆时针运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，并且与之关联地使一根手指(例如，拇指之一)保持静止同时上移和下移另一根手指(例如，另一根拇指)，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，上移运动执行“放大”命令，下移运动执行“缩小”命令，反之亦然。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分，同时使用一根手指(例如，拇指之一)用力按压压力敏感触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个用力按压在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时使用一根手指(例如，拇指之一)双轻击触摸板，可以使用注视点作为缩放中心点来对所述对象进行放大或缩小，其中，每一个双轻击在不同的缩放水平之间切换。
●通过注视呈现在信息呈现区域上的可缩放对象或对象部分同时在相反的水平方向上同时滑动两根手指(例如，两根拇指)，可以对该对象或对象部分进行缩放。
●通过注视可缩放对象并且与之关联地使手指(例如，一根拇指)在触摸屏上保持静止同时以圆周运动移动另一根手指(例如，另一根拇指)，可以对该对象或对象部分进行缩放。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分并且与之关联地使手指(例如，拇指之一)在触摸屏上保持静止同时滑动另一根手指(例如，另一根拇指)，可以滑动或拖动由信息呈现区域呈现的视图。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，可以激活自动平移功能，使得在注视点靠近信息呈现区域的边缘的同时呈现区域从屏幕的边缘之一向中心连续地滑动，直到接收到第二用户输入为止。
●通过注视呈现在信息呈现区域上的对象或对象部分同时使用手指(例如，拇指之一)轻击或双轻击，呈现区域立即根据 注视点(例如，注视点用于指示滑动信息呈现区域应该滑动到的中心)滑动。
●通过注视呈现在信息呈现区域上的对象或对象部分同时在相反的垂直方向上同时滑动两根手指(例如，两根拇指)，可以旋转该对象或对象部分。
在执行两指手势之前，手指之一可以用于微调动作点。例如，当用户触摸触摸屏时，可以在注视点上示出诸如“虚拟手指”等的用户反馈符号。第一根手指可以用于四处滑动以相对于原点来调整动作点。当用户使用第二根手指触摸屏幕时，动作点固定并且第二根手指用于“点击”动作点或者用于执行诸如上述旋转、拖动和缩放示例等的两指手势。
在本发明的实施例中，如果按下或按压特定或专用的按钮或键盘键，则尽管用户已经从触摸板移走了手指，也可以维持触摸屏式会话。由此，用户可以执行需要触摸板上的多次触摸的动作。例如，可以通过触摸板上的多次拖动来移动在整个信息呈现区域上移动或拖动对象。
现在参照图11a、图11b和图12，将讨论本发明的其他实施例。图11a示出了根据本发明的利用集成的注视和手动控制的系统的另一实施例。系统的该实施例被实现在具有触摸屏151的设备100(例如，iPad或类似设备)中。用户110能够至少部分地基于注视跟踪信号(注视跟踪信号描述了用户在触摸屏151上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，从而经由包括触摸屏151的用户输入装置150产生基于手势的控制命令)，来控制设备100。
本发明提供了使具有触摸屏151的设备100的用户能够使用注视作为直接输入并且使用基于手势的用户命令作为相对输入来与图形用户界面进行交互的解决方案。由此，例如可以用两只手握住设备100，并且使用注视以及拇指161和162来与呈现在触摸屏上的图形用户界面180进行交互，如图11a所示。
在备选实施例中，一个或多个触摸板168可以被布置在设备100’的背面上，即，布置在设备的用户在使用期间正常而言看不到的面上。在图11b中示出了该实施例。由此，允许用户至少部分地基于注视跟踪信号(注视跟踪信号描述了用户在信息呈现区域上的关注点x、y)并且基于用户产生的手势(即，至少一根手指在设备100’的背面上的一个或多个触摸板168上的移动，从而产生由控制模块解释的基于手势的控制命令)来控制设备。为了产生注视跟踪信号，注视跟踪模块140被包括在设备100、100’中。由同一申请人在题为“Method and Installation for detecting and following an eye and the gaze direction thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。
与注视跟踪模块140相关联的软件程序或软件实现的指令可以被包括在注视跟踪模块140中。
设备100包括注视跟踪模块140、包括触摸屏151和输入模块132的用户输入装置150、以及控制模块136，如图12所示。除了图12中所示的组件之外，设备100还包括多个其他组件，但是为了说明的目的，从图12中省略了这些组件。
输入模块132(其可以是单独地包括在控制模块中或者包括在用户输入装置150中的软件模块)被配置为从触摸屏151接收反映用户手势的信号。此外，输入模块132还适于解释接收的信号，并且基于所解释的信号来提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
控制模块136被配置为从注视跟踪模块140获取注视数据信号并且从输入模块132获取基于手势的控制命令。此外，控制模块136被配置为确定信息呈现区域(即，触摸屏151)上的注视点区域180，其中基于注视数据信号来定位用户注视点。如图1中所示，注视点区域180优选地是用户注视点周围的局部区域。
此外，控制模块136被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在触摸屏151上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为 起始点来执行用户动作。还可以使用本发明的该实施例来执行本申请的上下文中所述的所有用户动作。
在可能的其他实施例中，当用户触摸触摸屏151时，通过可视反馈(例如，十字准线或类似标记)来指示初始注视点的位置。可以通过在触摸屏151上移动手指(例如，使用拇指161或162)来调整初始位置。此后，用户可以使用不同的手势和注视来与触摸屏151交互，其中注视是用户兴趣的直接指示者，并且手势是相对于触摸屏151的。在包括触摸屏的实施例中，手势是相对于触摸屏151的手指移动，并且每一个手势与导致用户动作的特定的基于手势的用户命令相关联或者相对应。
现在参照图13a、图13b和图13c，将描述用于在与信息呈现区域201的用户交互期间产生基于手势的命令的控制模块，该控制模块例如与(如下文参照图14所述的)WTRU或者(如参照图15a或图15b所述的)计算机设备或手持便携式设备相关联，或者在(如下文参照图21所述的)车辆中，或者在(如下文参照图22所述的)可佩带的头戴式显示器中。现在将再次结合该实施例详细地描述上述部件或模块。
根据图13a中所示的本发明的实施例，控制模块200被配置为从例如其中布置有该控制模块的设备中包括的输入装置205获取用户输入，其中输入装置205适于检测用户产生的手势。为此，控制模块200可以包括输入模块232，输入模块232包括数据获取模块210，数据获取模块210被配置为将来自输入装置205的手势数据转换为输入信号。输入装置205可以包括对压力、物理接触、手势或用户的其他手动控制敏感的元件，例如触摸板。此外，输入装置205还可以包括计算机键盘、鼠标、“跟踪球”或者任何其他设备，例如可以使用IR传感器、语音激活的输入装置，或者具有基于身体姿态或邻近的输入的检测设备。
此外，输入模块232被配置为基于输入信号来确定至少一个用户产生的基于手势的控制命令。为此，输入模块232还包括与数据获取模块210进行通信的手势确定模块220。手势确定模块220还可以与 注视数据分析模块240进行通信。手势确定模块220可以被配置为检查输入信号是否与预定义或预定的相对手势相对应，并且可选地使用注视输入信号来解释输入信号。例如，控制模块200可以包括手势存储单元(未示出)，该手势存储单元存储预定义手势的库或列表，每一个预定义手势与特定输入信号相对应。因此，手势确定模块220适于解释接收的信号，并且基于解释的信号来提供基于手势的控制命令，例如，用于激活对象的轻击命令、划动命令或者滑动命令。
注视数据分析模块240被配置为至少基于来自注视跟踪模块235的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。然后，处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
根据另一实施例，在图13b中示出了根据本发明的控制模块，控制模块260被配置为从输入模块232’获取基于手势的控制命令。输入模块232’可以包括手势确定模块和数据获取模块，如上文参照图13a所述的。注视数据分析模块240被配置为至少基于从注视跟踪模块235接收的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构 成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
参照图13c，将讨论根据本发明的控制模块的另一实施例。输入模块232”被分布为使得数据获取模块210被设置在控制模块280外部并且手势确定模块220被设置在控制模块280内部。注视数据分析模块240被配置为至少基于从注视跟踪模块235接收的注视数据信号来确定信息呈现区域201上包括用户注视点的注视点区域。信息呈现区域201可以是任意类型的已知计算机屏幕或监视器的显示器、以及两个或更多个单独的显示器的组合，这将取决于控制模块被实现在其中的特定设备或系统。例如，显示器201可以构成常规计算机屏幕、立体屏幕、车辆中的平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。处理模块250可以被配置为基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域201上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。因此，用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器201上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置205产生基于手势的控制命令)，来控制设备或系统。
参照图14，将描述根据本发明的诸如蜂窝电话或智能电话等的无线发送/接收单元(WTRU)。将不再详细描述上述部件或模块。此外，下面将仅描述与本发明有关的部件或模块。因此，WTRU包括本文未 描述的大量附加部件、单元和模块，例如天线和发送/接收单元。无线发送/接收单元(WTRU)300与信息呈现区域301相关联，并且还包括输入装置305(输入装置305包括例如上文已经描述的输入模块)和注视跟踪模块325，该输入装置305适于检测用户产生的手势，以及该注视跟踪模块325适于检测信息呈现区域301的观看者的注视数据。WTRU还包括上文参照图13a、图13b和图13c所述的控制模块200、260或280。用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器301上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置305产生基于手势的控制命令)，来控制WTRU。还可以使用本发明的该实施例来执行在本申请的上下文中所述的所有用户动作。
参照图15a和图15b，将描述根据本发明的计算机设备或手持便携式设备。将不再详细描述上述部件或模块。此外，下面将仅描述与本发明有关的部件或模块。因此，设备包括本文未描述的大量附加部件、单元和模块，例如存储单元(例如，RAM/ROM)或处理单元。计算机设备或手持便携式设备400可以例如是来自具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器或设备、或者手持设备，例如蜂窝电话、智能电话或类似设备、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、iPAD或者类似的设备、Tablet、Phoblet/Phablet。
如图15a所示，计算机设备或手持设备400a可以连接到信息呈现区域401a(例如，外部显示器或平视显示器(HUD)、或者至少一个头戴式显示器(HMD))，或者如图15b中所示，计算机设备或手持设备400b包括信息呈现区域401b，例如，常规计算机屏幕、立体屏幕、平视显示器(HUD)、或者至少一个头戴式显示器(HMD)。此外，计算机设备或手持设备400a、400b包括输入装置405和注视跟踪模块435，输入装置405适于检测用户产生的手势，以及注视跟踪模块435适于检测信息呈现区域401的观看者的注视数据。此外，计算机设备或手持设备400a、400b包括如上文关于图13a、图13b或图13c 所述的控制模块200、260或280。用户能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域或显示器401上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由诸如触摸板等的用户输入装置405产生基于手势的控制命令)，来控制计算机设备或手持设备400a、400b。还可以使用本发明的该实施例来执行在本申请的上下文中所述的所有用户动作。
现在将参照图16至图19来描述根据本发明的方法的示例性实施例。结合图16至图19所述的方法实施例被实现在这样的环境中，即特定步骤是在诸如以下各项等的设备中执行的：在上文参照图14所述的WTRU、或者在上文参照图15a或图15b所述的计算机设备或手持设备，并且特定步骤是在诸如以下各项等的控制模块中执行的：在上文参照图13a、图13b和图13c所述的控制模块。本领域技术人员认识到，还可以在其他环境中执行本文所述的方法，例如，在上文参照图2、图3和图20所述的系统中，或者在图21至图23所示的实现中。将在下文中使用相同的附图标记来指示在不同实施例中执行的类似或相似步骤。
首先参照图16，在步骤S500，设备等待用户输入。在步骤S510，用户使用每一只手的一根或多根手指来触摸设备上的触摸敏感区域(例如，上述输入装置)。该步骤不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤 S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图17，在步骤S500，设备等待用户输入。在步骤S590，用户使用一根或多根手指和/或至少一只手在信息呈现区域前方做手势(如上所述由输入装置来解释该手势)。步骤S590不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。如上所述，步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图18，在步骤S500，设备等待用户输入。在步骤S592，用户通过触摸触摸板或触摸屏的预定义区域产生输入。步骤S592不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和 在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图19，在步骤S500，设备等待用户输入。在步骤S594，用户通过使用他或她的手指中的一根或多根手指和/或至少一只手做手势来产生输入。步骤S594不是根据本发明的实施例的方法的一部分。存在用户可以使用来控制设备的动作的大量可感知的手势，并且上文已经描述了非穷举数量的此类手势。在步骤S520，将手势数据(即，用户输入)转换为输入信号。在步骤S530，检查输入信号是否与预定义或预定的相对手势相对应。如果否，则过程返回步骤S500。另一方面，如果是(即，输入信号与预定义手势相对应)，则在步骤S570产生基于手势的控制命令。在步骤S540，用户观看屏幕或者信息呈现区域，并且在步骤S550，在信息呈现区域处检测到用户的注视。步骤S540不是根据本发明的实施例的方法的一部分。在步骤S560，确定屏幕或信息呈现区域上包括用户注视点的注视点区域。在步骤S580，根据基于手势的控制命令和在信息呈现区域处确定的注视点来执行与用户注视点处的相对手势相对应的动作。
参照图21，将讨论本发明的另一实现。注视跟踪模块(未示出)和用户输入装置900被实现在车辆(未示出)中。信息呈现区域(未示出)可以是平视显示器或信息娱乐屏幕。输入装置900可以是车辆的转向设备910的背面(以与食指一起使用)或正面(以与拇指一起使用)上的一个或两个单独的触摸板。控制模块950被布置在处理单元中，该处理单元被配置为插入到车辆中或车辆的中央处理单元中。优选地，控制模块是上文参照图13a至图13c所述的控制模块。
参照图22，将讨论本发明的另一实现。注视跟踪模块(未示出)和信息呈现区域(未示出)被实现在可佩带的头戴式显示器1000中，该头戴式显示器1000可以被设计为看似一副眼镜。在US 8,235,529中描述了一种此类解决方案。用户输入装置1010可以包括陀螺仪，并且适于由用户1020佩戴在手腕、手或至少一根手指上。例如，输入装置1010可以是与眼镜无线连接的戒指以及检测佩戴戒指的手指的小幅移动的陀螺仪。表示所检测到的移动的手势数据然后被无线地传送 到检测到注视的眼镜，并且基于来自输入装置的手势数据的基于手势的控制命令被用于识别和执行用户动作。优选地，将上文参照图13a至图13c所述的控制模块与该实现结合使用。
将参照图23讨论本发明的实现。在该实现中，用户1120能够至少部分地基于眼睛跟踪信号(眼睛跟踪信号描述了用户在信息呈现区域1140上的关注点x、y)并且基于用户产生的手势(即，可以检测到用户的至少一个身体部位的移动，经由用户输入装置1150产生基于手势的控制命令)来控制计算机设备1100。在该实施例中，用户1120可以通过在计算机设备1100的键盘之上或相对于该键盘执行手势来产生基于手势的控制命令。输入装置1140例如使用光学测量技术或电容测量技术来检测手势。优选地，将参照图13a至图13c所述的控制模块与该实现一起使用并且可以将其布置在计算机设备1100中。计算机设备1100可以例如是具有以下各项的组中的任意一个：个人计算机、计算机工作站、大型计算机、车辆中的处理器、或者手持设备，例如蜂窝电话、便携式音乐播放器(例如，iPod)、膝上型计算机、计算机游戏、电子书、以及类似的其他设备。可以在“智能环境”中实现本发明，例如，在该“智能环境”中，可以选择和激活在多个显示器上呈现的对象。为了产生注视跟踪信号，注视跟踪器单元(未示出)被包括在计算机设备1100中或者与信息呈现区域1140相关联。同一申请人在题为“Method and Installation for detecting and following an eye and the gaze direction thereof”的美国专利No.7,572,008中描述了适合的注视跟踪器，其全部内容被并入本文。虽然本说明书包含大量具体实施例，但是这些实施例不应当被理解为限制本发明的范围或者可能要求保护的范围，而是被理解为对本发明的示例性实现特定的特征的描述。在本说明书中在单独实现的上下文中所述的特定特征还可以组合地实现在单个实现中。相反，在单个实现的上下文中实现的各个特征也可以单独地或者以任何适当的子组合实现在多个实现中。此外，虽然可以在上文中将特征描述为以特定的组合或者甚至以最初要求保护的方式操作，但是在一些情况下可以从要求保护的组合中删除 组合的一个或多个特征，并且要求保护的组合可以涉及子组合或者子组合的变形。
类似地，虽然以特定的顺序在附图中描绘了操作，但是这不应当被理解为需要以所示的特定顺序或以连续顺序执行这些操作或者执行所有所示的操作以实现期望结果。在特定环境中，多任务和并行处理可能是有利的。此外，上述实现中的各个系统组件的分离应当被理解为在所有实现中需要这种分离，并且应当理解的是，所述程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。