基于手势控制远程装置.pdf

上传人:00****42 文档编号:56152 上传时间:2018-01-21 格式:PDF 页数:19 大小:2.10MB
返回 下载 相关 举报
摘要
申请专利号:

CN201380017846.X

申请日:

2013.04.02

公开号:

CN104205015A

公开日:

2014.12.10

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):G06F3/01申请日:20130402|||公开

IPC分类号:

G06F3/01; G08C21/00; G06F3/0346

主分类号:

G06F3/01

申请人:

高通股份有限公司

发明人:

巴巴科·福鲁坦保尔; 理查德·O·法利; 沙瓦库马尔·巴拉苏部拉马尼亚姆

地址:

美国加利福尼亚州

优先权:

2012.04.09 US 61/621,833; 2013.03.14 US 13/827,709

专利代理机构:

北京律盟知识产权代理有限责任公司 11287

代理人:

宋献涛

PDF下载: PDF下载
内容摘要

本发明的实施例涉及基于通过检测用户身体的一部分的表面形态检测到的手部手势控制电子装置。举例来说,可检测到指示对应于用户手的特定移动、位置和/或姿势的用户骨骼和组织位置的压力数据。耦接到所述用户的皮肤的肌电(EMG)传感器也可用于确定由所述用户作出的手势。这些传感器可耦接到相机,所述相机可用以基于所辨识手势捕获装置的图像。于是可识别并控制所述装置。

权利要求书

1.  一种用于基于手部手势控制装置的系统,所述系统包括:
压敏传感器,其经配置以检测用户身体的一部分的表面形态并将压力数据提供到处理模块;
所述处理模块,其经配置以基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势;和
发射器,其经配置以基于所述所识别手势将信息发射到所述装置。

2.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中:
所述用户的所述身体的所述部分为所述用户的手的背部;且
所述压敏传感器经配置以检测受到掌骨位置影响的所述手的所述背部的所述表面形态。

3.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中:
所述用户的所述身体的所述部分为所述用户的手腕;且
所述压敏传感器经配置以检测所述手腕的至少一部分的所述表面形态。

4.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括:
运动传感器,其经配置以检测所述用户的运动并将运动数据发射到所述处理模块。

5.
  根据权利要求4所述的用于基于手部手势控制所述装置的系统,其中:
所述处理模块进一步经配置以使用所述运动数据识别所述手势。

6.
  根据权利要求4所述的用于基于手部手势控制所述装置的系统,其中所述运动传感器包括加速计或陀螺仪中的至少一者。

7.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述用户的所述身体的所述部分包括所述用户的前臂。

8.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括肌电传感器。

9.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括相机,其中所述处理模块经配置以使用由所述相机所捕获的所述装置的图像识别所述装置。

10.
  根据权利要求9所述的用于基于手部手势控制所述装置的系统,其中所述处理模块经配置以基于使用来自所述压敏传感器的特定压力数据所识别的特定手势致使所述相机捕获所述装置的所述图像。

11.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括接收器,其经配置以从所述装置接收指示用于使用手部手势控制所述装置的命令的信息。

12.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括第二压敏传感器,所述第二压敏传感器经配置以检测所述用户的所述身体的第二部分的表面形态,并将第二压力数据提供到所述处理模块,其中所述处理模块进一步经配置以使用所述第二压力数据识别所述手势。

13.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别手势包括握紧的拳头。

14.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别手势包括手指触摸拇指。

15.
  根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别手势包括屈伸手腕使得所述手向上、向下、向左或向右移动。

16.
  一种用于基于手势控制装置的方法,所述方法包括:
收集指示用户身体的一部分的表面形态的压力数据;
基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关 联的手势;和
基于所述所识别手势将信息发射到所述装置。

17.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中:
所述用户的所述身体的所述部分为所述用户的手的背部;且
所述收集包括使用压敏传感器收集所述压力数据,所述压敏传感器经配置以收集指示受到掌骨位置影响的所述手的所述背部的所述表面形态的所述压力数据。

18.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中:
所述用户的所述身体的所述部分为所述用户的手腕;且
所述收集包括使用压敏传感器收集所述压力数据,所述压敏传感器经配置以收集指示所述手腕的至少一部分的所述表面形态的所述压力数据。

19.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括检测所述用户的运动。

20.
  根据权利要求19所述的用于基于手势控制所述装置的方法,其中对所述手势的识别进一步是基于所述检测到的运动。

21.
  根据权利要求19所述的用于基于手势控制所述装置的方法,其进一步包括用加速计或陀螺仪中的至少一者检测所述用户的所述运动。

22.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述用户的所述身体的所述部分包括所述用户的前臂。

23.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中对所述手势的识别进一步是基于来自肌电传感器的信息。

24.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括用相机捕获所述装置的图像。

25.
  根据权利要求24所述的用于基于手势控制所述装置的方法,其中捕获所述装置的 所述图像是基于使用特定压力数据所识别的特定手势。

26.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括从所述身体的第二部分收集第二压力数据,其中对所述手势的识别进一步是基于所述第二压力数据。

27.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识别手势包括握紧的拳头。

28.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识别手势包括手指触摸拇指。

29.
  根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识别手势包括屈伸手腕使得所述手向上、向下、向左或向右移动。

30.
  一种其上嵌入有用于基于手势控制装置的指令的非暂时性计算机可读媒体,所述指令包含用于进行如下操作的计算机可执行代码:
收集指示用户身体的一部分的表面形态的压力数据;
基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势;和
基于所述所识别手势将信息发射到所述装置。

31.
  一种用于基于手势控制装置的系统,所述系统包括:
用于收集指示用户身体的一部分的表面形态的压力数据的装置;
用于基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势的装置;和
用于基于所述所识别手势将信息发射到所述装置的装置。

32.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的手的背部的所述表面形态相关联的所述手势的装置。

33.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的手腕相关联的所述手势的装置。

34.
  根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括:
用于检测所述用户的运动的装置;和
用于进一步使对所述手势的所述识别基于所述检测到的运动的装置。

35.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的前臂的所述表面形态相关联的所述手势的装置。

36.
  根据权利要求31所述的用于基于手势控制装置的系统,其包含用于进一步使对所述手势的所述识别基于来自肌电传感器的信息的装置。

37.
  根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括用于捕获所述装置的图像的装置。

38.
  根据权利要求37所述的用于基于手势控制装置的系统,其进一步包括用于使对所述装置的所述图像的所述捕获基于使用特定压力数据所识别的特定手势的装置。

39.
  根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括用于从所述身体的第二部分收集第二压力数据的装置,其中对所述手势的识别进一步是基于所述第二压力数据。

40.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别握紧的拳头的装置。

41.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别手指触摸拇指的装置。

42.
  根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别屈伸手腕使得所述手向上、向下、向左或向右移动的装置。

说明书

基于手势控制远程装置
背景技术
许多电子装置用于远程地进行控制。常见实例包含电视、机顶盒、DVR、媒体播放器(例如,CD播放器、DVD播放器、蓝光播放器)、平板电脑、桌上型和膝上型计算机和电话会议设备。目前,用户控制此设备的常见方式为使用例如可与电视一起使用的远程控制装置。这种方式可在若干方面不便。首先,其要求用户具有远程控制装置。其次,需要使用的远程控制装置可仅与特定设备零件一起工作,因此对于具有可远程地控制的多个装置的位置,可需要多个远程控制装置。
发明内容
本发明的实施例涉及基于通过检测用户身体的一部分的表面形态检测到的手部手势控制电子装置。举例来说,压力数据可指示对应于用户手的特定移动、位置和/或姿势的用户骨骼和组织的位置。耦接到所述用户皮肤的肌电(EMG)传感器还可用于确定由所述用户作出的手势。这些传感器可耦接到相机,所述相机可用以基于所辨识手势捕获装置的图像。于是可识别并控制所述装置。
根据本发明的一种用于基于手部手势控制装置的实例系统包含经配置以检测用户身体的一部分的表面形态并将压力数据提供到处理模块的压敏传感器,其经配置以基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势。所述系统也包含经配置以基于所述所识别手势将信息发射到所述装置的发射器。
根据描述的一种用于基于手势控制装置的实例方法包含:收集指示用户身体的一部分的表面形态的压力数据;基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势,和基于所述所识别手势将信息发射到所述装置。
根据本发明的一种实例非暂时性计算机可读媒体上嵌入有用于基于手势控制装置的指令。所述指令包含用于收集指示用户身体的一部分的表面形态的压力数据,基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势,并基于所述所识别手势将信息发射到所述装置的计算机可执行代码。
根据描述的一种用于基于手势控制装置的实例系统包含:用于收集指示用户身体 的一部分的表面形态的压力数据的装置,用于基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势的装置,和用于基于所述所识别手势将信息发射到所述装置的装置。
本文中所描述的项目和/或技术可提供以下能力中的一或多者以及未提及的其它能力。技术可使用相比于传统远程控制较不可能丢失的具有可穿戴形状因数的系统提供对多种装置中的任一者的选择和控制。此外,所述系统可包含和/或集成有用于额外功能性的单独装置,例如,移动电话、头部安装式显示器和其类似者。结合下文的文字和附图更详细地描述这些和其它实施例连同其许多优势和特征。
附图说明
图1为附着有压力传感器的用户手的实施例的说明。
图2为附着有压力传感器的用户手腕的实施例的说明。
图3为说明用于使用手部手势指定和/或控制装置的系统的实施例的框图。
图4为说明用于使用手部手势指定和/或控制装置的系统的另一实施例的框图。
图5为说明用于基于手部手势控制一或多个远程装置的方法的实施例的流程图。
图6为说明用于指定一或多个远程装置以用于控制的方法的实施例的流程图。
图7说明计算机系统的实施例。
具体实施方式
参考图式提供以下描述,其中类似参考编号始终用以指类似组件。虽然本文中描述一或多个技术的各种细节,但其它技术也是可能的。在一些情况下,以框图形式展示结构和装置以便促进描述各种技术。
由用户执行的手部手势可用于控制多个不同远程装置,例如移动电话、计算机、头部安装式显示器、电视和/或其它电子装置。当用户通过手执行手势时,可检测用户身体的各种特性以便识别手势。当用户执行手部手势(例如,握拳)时,骨骼、韧带、皮肤和/或其它组织的移动和/或位置可特定于手势。换句话说,基于骨骼、韧带、皮肤和/或其它组织的移动和/或位置,可确定用户正握拳。在用户身体上的多个地方处可显而易见所述特性。举例来说,在用于作出手势的用户手的背部上,手的掌骨的移动和/或位置可用于识别手势。作为另一实例,骨骼、韧带、皮肤和/或(用于作出手势的同一手的)用户手腕上的其它组织的位置可用于识别所执行手势。
图1说明附着有压力传感器的用户手的实施例100。压力传感器120可贴附到用户 手110的背部。在一些实施例中,传感器120可经配置为包围手的带子或用于横跨手的背部放置的条带,(例如)如图1中所说明。虚线用于表示手的掌骨骨骼的近似位置。压力传感器120可经配置以大体上检测用户手110的背部的表面形态。用户手110的背部的表面形态可受到骨骼(例如,掌骨骨骼)、韧带、皮肤和/或用户手的其它组织的位置的影响。由用户手所执行的手势可导致用户手110的背部呈现可用以识别手势的表面形态。可基于用户手的表面形态识别的手势包含:用户的拇指触摸手指(其中每一手指呈现不同手势);形成拳头;和形成拳头并将用户手腕向上、向下、向左或向右屈伸(各自为单独手势)。额外手势可是可能的。压力传感器120可收集用户手110的背部上的多个点的压力数据。可将这些压力数据发射至另一装置以用于分析。压力传感器120可经由贴片胶、带子或用于附着的一些其它装置贴附到用户手110的背部。
在其它实施例中,除了或并非使用压力传感器以检测用户手的背部的表面形态,可经由肌电描记术(EMG)检测用户手中的肌肉中存在的电活动。使用所检测电活动确定由用户手所执行的手势可是可能的。因而,EMG传感器可使用一或多个电极以检测用户手的背部上(或一些其它位置中,例如,用户前臂上)存在的电活动。
图2说明附着有压力传感器的用户手腕的实施例200。类似于图1的实施例100,可使用用户手腕的表面形态检测由用户手所执行的各种手势。可检测手腕的整个外周的表面形态或仅检测部分,例如,用户手腕的下表面。实施例200说明压力传感器220正用于确定用户手腕210的下表面的表面形态。用户手腕210的表面形态可受到骨骼、韧带、皮肤和/或用户手腕210的其它组织的位置的影响。正由用户手执行的手势可导致用户手腕210呈现可用以识别手势的表面形态。可基于用户手腕210的表面形态识别的手势包含:用户的拇指触摸手指(其中每一手指呈现不同手势);形成拳头;和形成拳头并将用户手腕向上、向下、向左或向右屈伸(各自为单独手势)。压力传感器220可经由贴片胶、带子(例如,表带)或用于附着的一些其它装置贴附到用户手腕210。
图1和2中所说明的实施例仅是出于实例目的。实施例可利用多个压力传感器,此情况可包含使用附着到用户手或手腕的多个垫片或条带。举例来说,两个传感器120可贴附到用户手110的背部,且来自两传感器120的数据可用于确定表面形态和/或相关联手势。在一些实施例中,多个传感器使得能够检测较复杂的手势和/或检测具有增加的可信度的手势。还可使用其它形状因数,例如正方形、圆形等。在一些实施例中,代替多个传感器条带,使用至少覆盖多个传感器条带将覆盖的区域量的填补的正方形传感器。
图3说明呈框图形式的系统300的实施例。系统300可经配置以使用手部手势控制一或多个远程装置。系统300可包含:运动传感器310、处理模块320、压力传感器330、扬声器/麦克风模块340、发射器模块350、相机370和远程装置360。压力传感器330可如关于图1和2所描述。在一些实施例中,除了或并非压力传感器,一或多个肌电描记术(EMG)传感器可用于测量用户手的背部和/或用户手腕(或更确切地说,用户手腕的下表面)上的肌肉的电活动。一或多个EMG传感器可另外或替代地用于用户前臂上。压力传感器330可为经配置以测量多个点的压力的基于聚合物或基于电容性传感器。举例来说,压力传感器330可经配置以测量用户身体(例如,手腕、手的背部)上的特定区中的个别点网格。在一些实施例中,压力传感器330包括线性电位计。
运动传感器310是任选的,且可包含加速计和/或陀螺仪。可结合压力测量使用用户身体的部分(例如,用户手和/或手腕)的运动以确定手势。举例来说,手势可包含形成拳头(可基于压力测量检测所述手势),同时可基于由运动传感器310所收集的运动数据确定拳头的运动(例如,朝向或远离用户身体)。作为一实例,当此手势可有用时,考虑用于远程装置的缩放功能。用户形成拳头可激活缩放功能。将拳头朝向用户身体移动可进行缩小,且将拳头移动远离用户身体可进行放大。作为另一实例,用户拇指触摸手指(例如,食指)的手势可为用以激活光标控制的手势。运动传感器310可接着用于检测用户手是否向左、向右、向上或向下移动。光标的移动可模拟用户手的运动。
另外或替代地,取决于受控的远程装置和/或受控远程装置的状态,可将手的运动与手的位置耦合以对应于各种不同功能。在一些实施例中,用户可将其手腕转动或弯曲一定方向以诱发功能,此手势可与手和/或臂的移动组合以控制所述功能。举例来说,朝上弯曲手腕可诱发“移动光标”功能性,其中手和/或臂的移动对光标进行移动;朝下弯曲手腕可诱发“突出显示文字”功能性,其中手和/或臂的移动可用以选择待突出显示的文字;朝左弯曲手腕可诱发“滚动”功能性,其中手和/或臂的移动可用以控制滚动(例如,在移动方向上滚动);且朝右弯曲手腕可诱发“缩放”功能性,其中手和/或臂的移动可用以控制缩放(例如,朝前放大、朝后缩小)。其它组合是可能的,如调换上文的手腕弯曲方向和功能。
另外或替代地,可在无需来自运动传感器320的输入的情况下执行光标移动和/或其它功能。在一些实施例中,可由手的位置控制光标移动。举例来说,拇指触摸食指可将光标向上移动,拇指触摸中指可将光标向下移动,拇指触摸无名指可将光标向左移动,且拇指触摸小指可将光标向右移动。其它光标移动是可能的,如调换上文的手位置和功能。另外,可通过拇指触摸所有手指执行其它功能(例如,选择图标)。
处理模块320可分析分别从运动传感器310和压力传感器330所收集的运动数据和/或压力数据。处理模块320可基于运动数据和/或压力数据确定正由用户手所执行的手势。
扬声器/麦克风模块340是任选的,且可用于将信息提供到用户和从用户接收信息。举例来说,如果用户处于多个远程装置可用于控制的位置,那么扬声器可用于向用户告知可用的远程装置,并接收用户希望控制的远程装置选择(经由麦克风)。在一些实施例中,选择可是基于由用户所执行的手势(使用运动传感器310和/或压力传感器330所检测),而非用户对麦克风说话以指定其希望控制哪个远程装置。响应于所检测手势,这些数据可用于确定应由收发器模块350发射何命令。扬声器/麦克风模块340可将指示应控制哪个远程装置的信息提供到处理模块320。
在其它实施例中,可基于用户手势指向的远程装置选择远程装置。对于所述实施例,可将相机370集成到系统300中,和/或可将其包含于(例如)远程装置或用户身体上。如果用户戴有扩增实境护目镜、抬头显示器或其它头部安装式显示器,那么识别用户正注视或用户正指向的远程装置可是可能的。由用户所执行的手势可用于激活特定于扩增实境护目镜、抬头显示器或其它头部安装式显示器的功能,或手势可导致将命令发射到远程装置。
相机370可使用多种手势中的任一者实现远程装置指定。举例来说,在一个实施例中,系统300的组件中的一些或所有(包含相机370)可集成于用户手、手腕和/或臂上所佩戴的腕带或其它附件中,并与背对用户的相机一起经配置以拍摄用户指向处的图像。可通过手或臂的所辨识手势(例如,指向、弹响指等)触发图像捕获,使得用户可执行针对于待控制装置的手势,且相机可基于手势捕获装置的图像。接着,可处理图像以识别用户想要控制哪个装置,且可将腕带与所识别装置无线耦接。下文关于图6提供关于使用相机370的装置指定的额外细节。可利用用于捕获图像的替代性装置,例如视频和/或静态图像相机、一或多个光传感器和其类似者。
另外或替代地,可利用基于手势的图像捕获以提供其它功能性。实施例可利用基于手势的图像捕获以提供(例如)允许用户捕获对象的图像,并基于所捕获图像进行因特网搜索的基于图像的因特网搜索。取决于所要的功能性,可向用户有声地读出搜索结果,或在以通信方式连接的装置(例如,移动电话、头部安装式显示器等)上有声地再现搜索结果。
收发器模块350可包括经配置以将命令发射到希望控制的远程装置360和/或从远程装置360和/或其它装置接收信息的无线发射器和接收器。收发器模块350可使用红 外线、RF、蓝牙、WiFi或一些其它形式的无线通信以与远程装置360进行通信。此通信可包含用于移动光标位置或执行功能(例如,缩放、移动、复制、粘贴、删除、频道调整、音量调整、挂机、启动等)的命令。可由处理模块320基于受控远程装置360和/或所识别手势选择发射到远程装置360的命令。在其它实施例中,收发器模块350可经配置以与远程装置360或有线接口通信。举例来说,手或手腕传感器可布线到头部安装式显示器。
图4说明呈框图形式的系统400的实施例。系统400可经配置以使用手部手势控制一或多个远程装置。系统400可包含:运动传感器310、压力传感器330、收发器模块410、扬声器/麦克风模块340和移动装置435。移动装置435可包含收发器模块420和处理模块430。运动传感器310、压力传感器330和扬声器/麦克风模块340可如关于图1至图3所描述。单独的装置可用于处理分别来自运动传感器310和压力传感器330的运动数据和压力数据,而非与传感器物理连接的处理装置。举例来说,用户移动电话的处理能力可用于使用运动数据和/或压力数据确定所执行的手势。收发器模块410可将原始运动数据和/或原始压力数据转送到移动装置435。
移动装置435的收发器模块420可接收原始运动数据和/或压力数据,并将此数据提供到处理模块430以用于分析。可正执行经配置以处理运动数据和/或压力数据的应用程序的处理模块430可基于来自运动传感器310和压力传感器330的此数据,确定正由用户所执行的手势。基于所确定手势,可识别待发送到远程装置360的命令。收发器模块420可将命令无线地发射到远程装置360。远程装置360与收发器模块420之间的无线通信链路可使用不同收发器模块420与收发器模块410之间的无线通信链路的协议和/或频率。举例来说,蓝牙可用于收发器模块410与收发器模块420之间的通信,而可在收发器模块420与远程装置360之间使用WiFi或红外线。
在一些实施例中,可将所执行手势的指示发射到远程装置360,使得远程装置360确定对应于所识别手势的命令,而非图4的处理模块430或图3的处理模块320基于所确定手势识别远程装置360应执行哪个命令。因而,可由远程装置360执行处理中的一些。在又额外实施例中,可将运动数据和/或压力数据发射到远程装置360,使得远程装置基于原始数据确定用户通过其手所执行的手势。所述实施例可要求降低由处理模块320或处理模块430进行的处理量。
图5说明用于使用手部手势控制一或多个远程装置的方法500的实施例。可使用图1和2的压力传感器配置执行方法500。可使用图3或图4的系统或经配置以准许使用手部手势控制一或多个远程装置的一些其它系统执行方法500。在任选步骤510处, 如果存在可进行控制的多个远程装置,那么可选择特定远程装置。这种情况可以若干方式发生。在一个实施例中,扬声器和麦克风(例如,图3和4的扬声器/麦克风模块340)可用以有声地询问用户打算控制哪个远程装置。用户可接着说出希望控制的远程装置的指示。在一些实施例中,用户可呈现有菜单。举例来说,如果用户戴有显示装置(例如,抬头显示器或扩增实境装置),那么可向用户呈现识别可用远程装置的菜单且可允许用户选择待控制的远程装置。可基于用户正指向或用户面向哪个远程装置选择远程装置。所述实施例可利用观察用户正指向或面向的位置的相机(例如,图3的相机370)。因而,可将此相机安装于用户上、远程装置上、或用户附近内的一些其它位置处。在一些实施例中,用户可执行识别待控制的远程装置的手部手势。可(例如)通过图3和4的压力传感器330、相机370和/或运动传感器330检测手部手势。可将手势关联到远程装置,使得当感测到已执行手势时,激活对那个远程装置的控制。
取决于所要的功能性,可以不同方式中的任一者产生待控制的可用装置的选择。举例来说,来自腕带或其它控制系统(例如,分别为图3和4的系统300和/或400)与一或多个远程装置的配置和/或之前配对的历史数据可用以产生可用装置的选择,可存储、更新并利用所述数据以用于后续装置选择。此外,来自远程装置的无线信标(例如,根据蓝牙、AllJoynTM和/或用于控制远程装置的其它技术)可向腕带或其它控制系统指示哪些远程装置可是可用以进行控制的。
可基于使用、用户喜好和/或其它因素优先排序待控制的可用装置的选择。如先前所指示,用户可通过使用手部手势选择装置。在经优先排序的列表中,(例如)用户使手指中的一者触摸拇指可指示选择哪个编号的列表。在一些配置中,可存在默认装置且某种手势可选择默认而另一手势可选择不同装置。对可用装置的选择可是基于位置的,使得当用户行走到房间中时,腕带或其它控制系统可检测其可在那个房间中控制哪些装置。如果仅存在一个装置,那么腕带或其它控制系统可自动地与那个装置配对。如果发现有多个装置,那么用户可使用(例如)先前所论述技术中的一者(例如,有声选择、手部手势等)从列表进行选择。
一些实施例可允许用户执行抓紧手势,此手势可使得用户能够在一段时间内继续控制所选择远程装置,直至检测到触发事件(例如,松开手势)为止。举例来说,用户可朝向装置作出“抓取”手势(例如,将打开的手握紧成拳头)而非指向待控制的远程装置,从而使得用户能够连续地执行若干手势。当用户完成对装置的控制时,用户可作出“放下”手势(例如,以相反于抓取运动的运动将所有5个手指向外远离手掌伸展)以松开对远程装置的控制。可结束用户对装置的控制的其它触发事件可包含经过一定时 间段、一段时期停止使用、用户离开装置所位于的房间,和/或其它事件。取决于装置、用户喜好和/或其它因素,抓紧和/或松开手势可发生变化。
在步骤520处,可使用图1和2中所说明的一或多个压力传感器(例如,图3和4的压力传感器330)从用户收集压力数据。可从用户的手腕(或更确切地说,用户手腕的下表面)和/或用户手的背部收集所述压力数据。压力数据可指示用户手腕和/或手的表面形态。用户手腕和/或用户手的背部的表面形态可受到用户手的位置的影响。因而,如果用户通过其手执行手势,那么(同一手的)用户手腕和/或用户(同一)手的背部的表面形态可对应于所执行的手势。基于用户手腕和/或用户手的背部的表面形态,可确定用户手部手势。
在任选步骤530处,可使用可包含加速计或陀螺仪的运动传感器(例如,图3和4的运动传感器310)收集运动数据。运动数据可指示用户身体的部分(例如,用户手腕或手)的运动。可在用户身体上相同于收集压力数据处的位置处收集运动数据。此运动数据可用于识别手势的基于运动部分。
在步骤540处,可基于步骤520和530处所分别收集的压力数据和/或运动数据识别手势。举例来说,可使用步骤520处所收集的压力数据识别特定手位置,同时可使用步骤530处所收集的运动数据识别用户手的运动。此情况的实例可为光标移动。用户可形成指示希望控制光标的抓握(例如,拳头);用户可接着向左、向右、向上或向下移动其手同时握拳以控制光标。任选地,手势可重新产生计算机鼠标的功能性。举例来说,手的运动可使光标来回移动,且抓取手势可选择(“点击”)物件。手指至拇指手势可等效于“右击”。另外或替代地,手腕的弯曲可提供对光标的控制。举例来说,在检测到拳头之后,在手正握拳(如由压力数据所指示)时以一定方向弯曲手腕可使得光标来回移动。手腕弯曲还可用于执行其它动作,例如使用文字选择接口(例如,)键入文字。如先前所指示,手势和功能性可发生变化。可由处理模块(例如,分别为图3和4的处理模块320和/或430)执行手势识别。
在步骤550处,响应于所确定手势,可将指示远程装置应执行的动作的命令发射到远程装置。举例来说,参看光标实例,命令可指示光标应向上或向下和/或向左或向右移动。步骤550处所发射的命令可取决于所确定手势和正控制的远程装置。因而,同一手势可导致针对不同远程装置发射不同命令。可分别使用(例如)图3和4的收发器模块350和/或420发射命令。
类似功能性可用以指定用于控制的一或多个远程装置。图6说明根据一个实施例的用于作出此指定的方法600。可使用经配置以准许使用手部手势控制一或多个远程装 置的系统(例如,图3或图4的系统)执行图6中的步骤中的一或多者。类似于图5中所说明的步骤,方法600可包含在步骤610处从用户身体收集压力数据,和在步骤620处使用压力数据和/或运动数据确定手势。此外,可从图1和2中所说明的一或多个压力传感器(例如,图3和4的压力传感器330)获得压力数据。
尽管手势可为用户手和/或臂的移动、定位和/或姿势的任何组合,但在这里,可利用使得用户能够朝向待控制的装置引导相机的特定手势。对于具有(例如)向外面向式相机的腕带,所述手势可包含在大体上指向装置时弹响指、指向、握拳和其类似者,使得装置处于相机的视野内。在步骤630处,一旦确定用于图像捕获的手势,相机(例如,图3的相机370)捕获图像。
在步骤640处,处理图像以识别待控制装置。一些实施例可利用一或多个识别符(例如,贴纸、标志、或其它可见标签)以促进装置识别。另外或替代地,处理图像可包含将图像或其特征或关键点与早期校准阶段期间所存储的已知物件的数据库进行比较。早期校准阶段可涉及用户捕获装置的一或多个图像,并输入关于装置的识别信息。可将所捕获图像或所提取特征和/或关键点发射到用以处理的远程装置(例如,发射到视觉搜索提供商)。在装置不可经由图像处理识别的状况下,可使用另一技术(例如,有声确认)确认选择。另外或替代地,可结合关于待控制范围内的装置(例如,可用于蓝牙配对的装置)的信息和/或历史数据(例如,指示用户想要控制特定装置的机率、给定用户的历史)使用图像,确认选择或解析所捕获图像中的不明确性。用于执行步骤640的装置可包含硬件与软件的任何组合,分别包含图3和4的处理模块320和430。
在步骤650处,一旦已识别装置,用户可任选地收到通知,从而向用户指示成功捕获图像。此通知可包含噪音或其它音频指示符(例如,哔哔声、说出装置名称的语音((例如)使用图3和4的扬声器/麦克风模块340)等)、触觉反馈、图像(如果用户具有头部安装式或其它显示器)和其类似者。另外或替代地,一旦装置准备好受到控制,用户可接收通知。
在步骤660处,系统以通信方式与所识别装置连接。可使用无线通信接口(例如,图3和4的收发器模块350)进行连接。取决于所使用的技术类型,用于连接的方法可发生变化。经由(例如)蓝牙进行连接可涉及从可用蓝牙装置连接的列表选择对应于步骤640处所识别装置的连接。系统可接着使用蓝牙配对协议与所识别装置以通信方式连接。其它无线技术可涉及不同的连接方法。可分别使用(例如)图3和4的收发器模块350和/或420进行连接。
任选地,在步骤670处,可接收用于控制装置的命令。举例来说,取决于待控制 的所识别装置,可将不同手势映射到不同功能(例如,顺时针旋转手可增加无线电的音量、改变电视的频道、上翻屏所显示列表等)。取决于装置的功能性,装置自身可提供命令,可以使得将手势映射到命令的XML或另一格式提供命令。另外或替代地,可从与所识别装置分离的提供与装置通信和控制装置必需的命令、协议和/或其它信息的数据库检索命令。可分别使用(例如)图3和4的收发器模块350和/或420接收命令。
应了解,图5和6中所说明的特定步骤分别提供基于手部手势控制一或多个远程装置和指定用于控制的一或多个远程装置的实例方法500、600。替代实施例可包含对所展示实施例的更改。取决于特定应用,可添加、移除、同时执行、组合和/或以其它方式更改额外特征。所属领域的一般技术人员将认识到许多变化、修改和替代方案。
图7说明可实施图3和4的系统的组件中的一些或所有的计算机系统700的实施例。另外,计算机系统700可表示本申请案中所论述的远程装置的组件中的至少一些。图7提供可执行由各种其它实施例所提供的方法的部分的计算机系统700的一个实施例的示意性说明。应注意,图7仅意味提供各种组件的一般化说明,可按需要利用所述组件中的任一者或所有。因此,图7大致说明可如何以相对分离或相对较集成方式实施个别系统元件。
计算机系统700展示为包括可经由总线705电耦接的硬件元件(或按需要可以其它方式进行通信)。硬件元件可包含一个或多个处理器710,包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如,数字信号处理芯片、图形加速处理器和/或其类似者);一或多个输入装置715,其可包含(但不限于)鼠标、键盘、压力传感器、EMG传感器、相机、麦克风和/或其类似者;和一或多个输出装置720,其可包含(但不限于)显示装置、打印机、扬声器和/或其类似者。
计算机系统700可进一步包含一或多个非暂时性存储装置725(和/或与之通信),所述非暂时性存储装置725可包括(但不限于)本地和/或网络可访问存储装置,和/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、可编程且可快闪更新的固态存储装置(例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))和/或其类似者。所述存储装置可经配置以实施任何适当的数据存储装置,包含(但不限于)各种文件系统、数据库结构和/或其类似者。
计算机系统700还可包含通信子系统730,其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如,BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设备等)和/或其类似者。通信子系统730可准许与网络(例如,作为一个实例,下文所描述的网络)、其它计算机系统和/ 或本文中所描述的任何其它装置交换数据。在许多实施例中,计算机系统700将进一步包括工作存储器735,其可包含RAM或ROM装置,如上文所描述。
计算机系统700还可包括展示为当前位于工作存储器735内的软件元件,所述软件元件包含操作系统740、装置驱动程序、可执行库和/或例如一或多个应用程序745的其它代码,所述应用程序745可包括由各种实施例所提供的计算机程序,和/或可经设计以实施由其它实施例所提供的方法和/或配置由其它实施例所提供的系统,如本文中所描述。仅仅作为实例,关于上文所论述的一或多种方法所描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令;接着,在一方面中,此代码和/或指令可用以配置和/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
可将一组这些指令和/或代码存储于非暂时性计算机可读存储媒体上,例如上文所描述的一或多个非暂时性存储装置725上。在一些状况下,存储媒体可并入于计算机系统(例如,计算机系统700)内。在其它实施例中,存储媒体可与计算机系统分离(例如可装卸式媒体,例如光盘),和/或配置于安装包中,使得存储媒体可用以编程、配置和/或调适其上存储有指令/代码的通用计算机。这些指令可采取可由计算机系统700执行的可执行代码形式,和/或可采取源代码和/或可安装代码的形式,其在于计算机系统700上编译和/或安装(例如,使用多种一般可用的编译程序、安装程序、压缩/解压缩公用程序等中的任一者)之后,接着采取可执行代码的形式。
所属领域的技术人员将显而易见,可根据特定要求作出大量变化。举例来说,还可使用定制硬件,和/或可将特定元件实施于硬件、软件(包含便携式软件,例如小程序等)或两者中。另外,可利用到其它计算装置(例如,网络输入/输出装置)的连接。
如上文所提及,在一个方面中,一些实施例可利用计算机系统(例如,计算机系统700)以执行根据本发明的各种实施例的方法。根据一组实施例,响应于处理器710执行工作存储器735中所含有的一或多个指令的一或多个序列(其可并入于操作系统740和/或其它代码(例如,应用程序745)中),由计算机系统700执行所述方法的程序中的一些或所有。可将所述指令从另一计算机可读媒体(例如,非暂时性存储装置725中的一或多者)读取到工作存储器735中。仅仅作为实例,执行工作存储器735中所含有的指令序列可使得一或多个处理器710执行本文中所描述方法的一或多个程序。
如本文中所使用,术语“机器可读媒体”和“计算机可读媒体”是指参与到提供导致机器以特定方式进行操作的数据中的任何媒体。在使用计算机系统700所实施的实施例中,各种计算机可读媒体可参与将指令/代码提供到一或多个处理器710以用于 执行,和/或可用于存储和/或载运所述指令/代码。在许多实施方案中,计算机可读媒体为物理和/或有形存储媒体。此媒体可采取非易失性媒体或易失性媒体的形式。非易失性媒体包含例如光盘和/或磁盘,诸如一或多个非暂时性存储装置725。易失性媒体包含(但不限于)例如工作存储器735的动态存储器。
常见形式的物理和/或有形计算机可读媒体包含例如软盘、柔性磁盘、硬盘、磁带,或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带,或可供计算机读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到一或多个处理器710以用于执行时可涉及各种形式的计算机可读媒体。仅仅作为实例,可将指令初始地载运于远程计算机的磁盘和/或光学光盘上。远程计算机可将指令载入到其动态存储器中,并经由发射媒体将指令作为信号进行发送以由计算机系统700接收和/或执行。
通信子系统730(和/或其组件)大体上将接收信号,且总线705可接着将信号(和/或由信号所载运的数据、指令等)载运到一或多个处理器710从其检索并执行指令的工作存储器735。可在由一或多个处理器710执行之前抑或之后,将由工作存储器735所接收的指令任选地存储于非暂时性存储装置725上。
如先前所指示,计算机系统700的元件可分别反映于图3和4的系统300和系统400内。举例来说,一或多个处理器710可执行图3和4的处理模块320和430的处理功能中的一些或所有。同样地,通信子系统730可包含收发器模块350、410和/或420。具体来说,收发器模块350、410和/或420可包含通信子系统730的一或多个接收器和/或发射器,所述子系统可经配置以使用多种有线和无线技术中的任一者进行通信。类似地,一或多个输入装置715可包含运动传感器310、压力传感器330、扬声器/麦克风模块340和/或相机370。另外或替代地,运动传感器310、压力传感器330、扬声器/麦克风模块340、和/或相机370可经由通信子系统730与计算机系统700通信。
上文所论述的方法、系统和装置为实例。各种配置可按需要省略、替代或添加各种程序或组件。尽管实施例可描述指定和/或控制“远程”装置,但所述装置可接近用户。对于不同情况和情境,用户与装置之间的距离可发生变化。举例来说,在替代配置中,所述方法可以不同于所描述的顺来执行,和/或可添加、省略和/或组合各种阶段。而且,可以各种其它配置组合关于特定配置所描述的特征。可以类似方式组合配置的不同方面和元件。而且,技术发展,且因此元件中的许多为实例且并不限制本发明或权利要求的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而,可在并无这些特定细节的情况下实践配置。举例来说,已在并无不必要细节的情况下展示熟知电路、过程、算法、结构和技术以便避免混淆配置。这个描述仅提供实例配置,且并不限制权利要求的范围、适用性或配置。实际上,配置的之前描述将向所属领域的技术人员提供授权描述以用于实施所描述的技术。在不脱离本发明的精神或范围的情况下可对元件的功能和配置作出各种改变。
而且,可将配置描述为描绘为流程图或框图的方法。尽管每一流程图或框图可将操作描述为顺序方法,但许多操作可并行地或同时执行。另外,可重新排列操作顺序。方法可具有不包含在图式中的额外步骤。此外,可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时,用以执行必要任务的程序代码或代码段可存储在例如存储媒体的非暂时性计算机可读媒体中。处理器可执行所描述任务。
如本文中所使用,术语“和”以及“或”可包含多种含义,这些含义预期至少部分取决于使用所述术语的上下文。通常,“或”如果用于相关联列表(例如A、B或C),那么其打算意味A、B和C,这里是在包含性意义上使用,以及A、B或C,这里是在排他性意义上使用。另外,如本文中所使用的术语“一或多个”可用于以单数形式描述任何特征、结构或特性,或可用于描述特征、结构或特性的一些组合。然而,应注意这仅仅为说明性实例,且所主张的主题并不限于这个实例。此外,如果术语“中的至少一者”用以相关联列表(例如A、B或C),那么可将其解释为意味A、B和/或C中的任何组合,例如A、AB、AA、AAB、AABBCCC等。
已描述若干实例配置,可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说,上文元件可为较大系统的组件,其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。而且,可在考虑上文元件之前、期间或之后进行数个步骤。因此,上文描述并不约束权利要求的范围。

基于手势控制远程装置.pdf_第1页
第1页 / 共19页
基于手势控制远程装置.pdf_第2页
第2页 / 共19页
基于手势控制远程装置.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《基于手势控制远程装置.pdf》由会员分享,可在线阅读,更多相关《基于手势控制远程装置.pdf(19页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104205015A43申请公布日20141210CN104205015A21申请号201380017846X22申请日2013040261/621,83320120409US13/827,70920130314USG06F3/01200601G08C21/00200601G06F3/034620060171申请人高通股份有限公司地址美国加利福尼亚州72发明人巴巴科福鲁坦保尔理查德O法利沙瓦库马尔巴拉苏部拉马尼亚姆74专利代理机构北京律盟知识产权代理有限责任公司11287代理人宋献涛54发明名称基于手势控制远程装置57摘要本发明的实施例涉及基于通过检测用户身体的一部分的表面形。

2、态检测到的手部手势控制电子装置。举例来说,可检测到指示对应于用户手的特定移动、位置和/或姿势的用户骨骼和组织位置的压力数据。耦接到所述用户的皮肤的肌电EMG传感器也可用于确定由所述用户作出的手势。这些传感器可耦接到相机,所述相机可用以基于所辨识手势捕获装置的图像。于是可识别并控制所述装置。30优先权数据85PCT国际申请进入国家阶段日2014092986PCT国际申请的申请数据PCT/US2013/0349172013040287PCT国际申请的公布数据WO2013/154864EN2013101751INTCL权利要求书3页说明书10页附图5页19中华人民共和国国家知识产权局12发明专利申请。

3、权利要求书3页说明书10页附图5页10申请公布号CN104205015ACN104205015A1/3页21一种用于基于手部手势控制装置的系统,所述系统包括压敏传感器,其经配置以检测用户身体的一部分的表面形态并将压力数据提供到处理模块;所述处理模块,其经配置以基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势;和发射器,其经配置以基于所述所识别手势将信息发射到所述装置。2根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述用户的所述身体的所述部分为所述用户的手的背部;且所述压敏传感器经配置以检测受到掌骨位置影响的所述手的所述背部的所述表面形态。3根据权利要。

4、求1所述的用于基于手部手势控制所述装置的系统,其中所述用户的所述身体的所述部分为所述用户的手腕;且所述压敏传感器经配置以检测所述手腕的至少一部分的所述表面形态。4根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括运动传感器,其经配置以检测所述用户的运动并将运动数据发射到所述处理模块。5根据权利要求4所述的用于基于手部手势控制所述装置的系统,其中所述处理模块进一步经配置以使用所述运动数据识别所述手势。6根据权利要求4所述的用于基于手部手势控制所述装置的系统,其中所述运动传感器包括加速计或陀螺仪中的至少一者。7根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述用户的。

5、所述身体的所述部分包括所述用户的前臂。8根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括肌电传感器。9根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括相机,其中所述处理模块经配置以使用由所述相机所捕获的所述装置的图像识别所述装置。10根据权利要求9所述的用于基于手部手势控制所述装置的系统,其中所述处理模块经配置以基于使用来自所述压敏传感器的特定压力数据所识别的特定手势致使所述相机捕获所述装置的所述图像。11根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括接收器,其经配置以从所述装置接收指示用于使用手部手势控制所述装置的命令的信息。12。

6、根据权利要求1所述的用于基于手部手势控制所述装置的系统,其进一步包括第二压敏传感器,所述第二压敏传感器经配置以检测所述用户的所述身体的第二部分的表面形态,并将第二压力数据提供到所述处理模块,其中所述处理模块进一步经配置以使用所述第二压力数据识别所述手势。13根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别手势包括握紧的拳头。14根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别手势包括手指触摸拇指。15根据权利要求1所述的用于基于手部手势控制所述装置的系统,其中所述所识别权利要求书CN104205015A2/3页3手势包括屈伸手腕使得所述手向上、向下、。

7、向左或向右移动。16一种用于基于手势控制装置的方法,所述方法包括收集指示用户身体的一部分的表面形态的压力数据;基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势;和基于所述所识别手势将信息发射到所述装置。17根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述用户的所述身体的所述部分为所述用户的手的背部;且所述收集包括使用压敏传感器收集所述压力数据,所述压敏传感器经配置以收集指示受到掌骨位置影响的所述手的所述背部的所述表面形态的所述压力数据。18根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述用户的所述身体的所述部分为所述用户的手腕;且所述收。

8、集包括使用压敏传感器收集所述压力数据,所述压敏传感器经配置以收集指示所述手腕的至少一部分的所述表面形态的所述压力数据。19根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括检测所述用户的运动。20根据权利要求19所述的用于基于手势控制所述装置的方法,其中对所述手势的识别进一步是基于所述检测到的运动。21根据权利要求19所述的用于基于手势控制所述装置的方法,其进一步包括用加速计或陀螺仪中的至少一者检测所述用户的所述运动。22根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述用户的所述身体的所述部分包括所述用户的前臂。23根据权利要求16所述的用于基于手势控制所述装置的。

9、方法,其中对所述手势的识别进一步是基于来自肌电传感器的信息。24根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括用相机捕获所述装置的图像。25根据权利要求24所述的用于基于手势控制所述装置的方法,其中捕获所述装置的所述图像是基于使用特定压力数据所识别的特定手势。26根据权利要求16所述的用于基于手势控制所述装置的方法,其进一步包括从所述身体的第二部分收集第二压力数据,其中对所述手势的识别进一步是基于所述第二压力数据。27根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识别手势包括握紧的拳头。28根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识。

10、别手势包括手指触摸拇指。29根据权利要求16所述的用于基于手势控制所述装置的方法,其中所述所识别手势包括屈伸手腕使得所述手向上、向下、向左或向右移动。30一种其上嵌入有用于基于手势控制装置的指令的非暂时性计算机可读媒体,所述指令包含用于进行如下操作的计算机可执行代码权利要求书CN104205015A3/3页4收集指示用户身体的一部分的表面形态的压力数据;基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势;和基于所述所识别手势将信息发射到所述装置。31一种用于基于手势控制装置的系统,所述系统包括用于收集指示用户身体的一部分的表面形态的压力数据的装置;用于基于所述压力数。

11、据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势的装置;和用于基于所述所识别手势将信息发射到所述装置的装置。32根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的手的背部的所述表面形态相关联的所述手势的装置。33根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的手腕相关联的所述手势的装置。34根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括用于检测所述用户的运动的装置;和用于进一步使对所述手势的所述识别基于所述检测到的运动的装置。35根据权利要求31所述的用于。

12、基于手势控制装置的系统,其中所述用于识别所述手势的装置包含用于识别与所述用户的前臂的所述表面形态相关联的所述手势的装置。36根据权利要求31所述的用于基于手势控制装置的系统,其包含用于进一步使对所述手势的所述识别基于来自肌电传感器的信息的装置。37根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括用于捕获所述装置的图像的装置。38根据权利要求37所述的用于基于手势控制装置的系统,其进一步包括用于使对所述装置的所述图像的所述捕获基于使用特定压力数据所识别的特定手势的装置。39根据权利要求31所述的用于基于手势控制装置的系统,其进一步包括用于从所述身体的第二部分收集第二压力数据的装置,。

13、其中对所述手势的识别进一步是基于所述第二压力数据。40根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别握紧的拳头的装置。41根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别手指触摸拇指的装置。42根据权利要求31所述的用于基于手势控制装置的系统,其中所述用于识别所述手势的装置包括用于识别屈伸手腕使得所述手向上、向下、向左或向右移动的装置。权利要求书CN104205015A1/10页5基于手势控制远程装置背景技术0001许多电子装置用于远程地进行控制。常见实例包含电视、机顶盒、DVR、媒体播放器例如,CD播放。

14、器、DVD播放器、蓝光播放器、平板电脑、桌上型和膝上型计算机和电话会议设备。目前,用户控制此设备的常见方式为使用例如可与电视一起使用的远程控制装置。这种方式可在若干方面不便。首先,其要求用户具有远程控制装置。其次,需要使用的远程控制装置可仅与特定设备零件一起工作,因此对于具有可远程地控制的多个装置的位置,可需要多个远程控制装置。发明内容0002本发明的实施例涉及基于通过检测用户身体的一部分的表面形态检测到的手部手势控制电子装置。举例来说,压力数据可指示对应于用户手的特定移动、位置和/或姿势的用户骨骼和组织的位置。耦接到所述用户皮肤的肌电EMG传感器还可用于确定由所述用户作出的手势。这些传感器可。

15、耦接到相机,所述相机可用以基于所辨识手势捕获装置的图像。于是可识别并控制所述装置。0003根据本发明的一种用于基于手部手势控制装置的实例系统包含经配置以检测用户身体的一部分的表面形态并将压力数据提供到处理模块的压敏传感器,其经配置以基于所述压力数据,识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势。所述系统也包含经配置以基于所述所识别手势将信息发射到所述装置的发射器。0004根据描述的一种用于基于手势控制装置的实例方法包含收集指示用户身体的一部分的表面形态的压力数据;基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势,和基于所述所识别手势将信息发射到所述装。

16、置。0005根据本发明的一种实例非暂时性计算机可读媒体上嵌入有用于基于手势控制装置的指令。所述指令包含用于收集指示用户身体的一部分的表面形态的压力数据,基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势,并基于所述所识别手势将信息发射到所述装置的计算机可执行代码。0006根据描述的一种用于基于手势控制装置的实例系统包含用于收集指示用户身体的一部分的表面形态的压力数据的装置,用于基于所述压力数据识别与所述用户的所述身体的所述部分的所述表面形态相关联的手势的装置,和用于基于所述所识别手势将信息发射到所述装置的装置。0007本文中所描述的项目和/或技术可提供以下能力中的一或。

17、多者以及未提及的其它能力。技术可使用相比于传统远程控制较不可能丢失的具有可穿戴形状因数的系统提供对多种装置中的任一者的选择和控制。此外,所述系统可包含和/或集成有用于额外功能性的单独装置,例如,移动电话、头部安装式显示器和其类似者。结合下文的文字和附图更详细地描述这些和其它实施例连同其许多优势和特征。附图说明说明书CN104205015A2/10页60008图1为附着有压力传感器的用户手的实施例的说明。0009图2为附着有压力传感器的用户手腕的实施例的说明。0010图3为说明用于使用手部手势指定和/或控制装置的系统的实施例的框图。0011图4为说明用于使用手部手势指定和/或控制装置的系统的另一。

18、实施例的框图。0012图5为说明用于基于手部手势控制一或多个远程装置的方法的实施例的流程图。0013图6为说明用于指定一或多个远程装置以用于控制的方法的实施例的流程图。0014图7说明计算机系统的实施例。具体实施方式0015参考图式提供以下描述,其中类似参考编号始终用以指类似组件。虽然本文中描述一或多个技术的各种细节,但其它技术也是可能的。在一些情况下,以框图形式展示结构和装置以便促进描述各种技术。0016由用户执行的手部手势可用于控制多个不同远程装置,例如移动电话、计算机、头部安装式显示器、电视和/或其它电子装置。当用户通过手执行手势时,可检测用户身体的各种特性以便识别手势。当用户执行手部手。

19、势例如,握拳时,骨骼、韧带、皮肤和/或其它组织的移动和/或位置可特定于手势。换句话说,基于骨骼、韧带、皮肤和/或其它组织的移动和/或位置,可确定用户正握拳。在用户身体上的多个地方处可显而易见所述特性。举例来说,在用于作出手势的用户手的背部上,手的掌骨的移动和/或位置可用于识别手势。作为另一实例,骨骼、韧带、皮肤和/或用于作出手势的同一手的用户手腕上的其它组织的位置可用于识别所执行手势。0017图1说明附着有压力传感器的用户手的实施例100。压力传感器120可贴附到用户手110的背部。在一些实施例中,传感器120可经配置为包围手的带子或用于横跨手的背部放置的条带,例如如图1中所说明。虚线用于表示。

20、手的掌骨骨骼的近似位置。压力传感器120可经配置以大体上检测用户手110的背部的表面形态。用户手110的背部的表面形态可受到骨骼例如,掌骨骨骼、韧带、皮肤和/或用户手的其它组织的位置的影响。由用户手所执行的手势可导致用户手110的背部呈现可用以识别手势的表面形态。可基于用户手的表面形态识别的手势包含用户的拇指触摸手指其中每一手指呈现不同手势;形成拳头;和形成拳头并将用户手腕向上、向下、向左或向右屈伸各自为单独手势。额外手势可是可能的。压力传感器120可收集用户手110的背部上的多个点的压力数据。可将这些压力数据发射至另一装置以用于分析。压力传感器120可经由贴片胶、带子或用于附着的一些其它装置。

21、贴附到用户手110的背部。0018在其它实施例中,除了或并非使用压力传感器以检测用户手的背部的表面形态,可经由肌电描记术EMG检测用户手中的肌肉中存在的电活动。使用所检测电活动确定由用户手所执行的手势可是可能的。因而,EMG传感器可使用一或多个电极以检测用户手的背部上或一些其它位置中,例如,用户前臂上存在的电活动。0019图2说明附着有压力传感器的用户手腕的实施例200。类似于图1的实施例100,可使用用户手腕的表面形态检测由用户手所执行的各种手势。可检测手腕的整个外周的表面形态或仅检测部分,例如,用户手腕的下表面。实施例200说明压力传感器220正用于确定用户手腕210的下表面的表面形态。用。

22、户手腕210的表面形态可受到骨骼、韧带、皮肤和说明书CN104205015A3/10页7/或用户手腕210的其它组织的位置的影响。正由用户手执行的手势可导致用户手腕210呈现可用以识别手势的表面形态。可基于用户手腕210的表面形态识别的手势包含用户的拇指触摸手指其中每一手指呈现不同手势;形成拳头;和形成拳头并将用户手腕向上、向下、向左或向右屈伸各自为单独手势。压力传感器220可经由贴片胶、带子例如,表带或用于附着的一些其它装置贴附到用户手腕210。0020图1和2中所说明的实施例仅是出于实例目的。实施例可利用多个压力传感器,此情况可包含使用附着到用户手或手腕的多个垫片或条带。举例来说,两个传感。

23、器120可贴附到用户手110的背部,且来自两传感器120的数据可用于确定表面形态和/或相关联手势。在一些实施例中,多个传感器使得能够检测较复杂的手势和/或检测具有增加的可信度的手势。还可使用其它形状因数,例如正方形、圆形等。在一些实施例中,代替多个传感器条带,使用至少覆盖多个传感器条带将覆盖的区域量的填补的正方形传感器。0021图3说明呈框图形式的系统300的实施例。系统300可经配置以使用手部手势控制一或多个远程装置。系统300可包含运动传感器310、处理模块320、压力传感器330、扬声器/麦克风模块340、发射器模块350、相机370和远程装置360。压力传感器330可如关于图1和2所描。

24、述。在一些实施例中,除了或并非压力传感器,一或多个肌电描记术EMG传感器可用于测量用户手的背部和/或用户手腕或更确切地说,用户手腕的下表面上的肌肉的电活动。一或多个EMG传感器可另外或替代地用于用户前臂上。压力传感器330可为经配置以测量多个点的压力的基于聚合物或基于电容性传感器。举例来说,压力传感器330可经配置以测量用户身体例如,手腕、手的背部上的特定区中的个别点网格。在一些实施例中,压力传感器330包括线性电位计。0022运动传感器310是任选的,且可包含加速计和/或陀螺仪。可结合压力测量使用用户身体的部分例如,用户手和/或手腕的运动以确定手势。举例来说,手势可包含形成拳头可基于压力测量。

25、检测所述手势,同时可基于由运动传感器310所收集的运动数据确定拳头的运动例如,朝向或远离用户身体。作为一实例,当此手势可有用时,考虑用于远程装置的缩放功能。用户形成拳头可激活缩放功能。将拳头朝向用户身体移动可进行缩小,且将拳头移动远离用户身体可进行放大。作为另一实例,用户拇指触摸手指例如,食指的手势可为用以激活光标控制的手势。运动传感器310可接着用于检测用户手是否向左、向右、向上或向下移动。光标的移动可模拟用户手的运动。0023另外或替代地,取决于受控的远程装置和/或受控远程装置的状态,可将手的运动与手的位置耦合以对应于各种不同功能。在一些实施例中,用户可将其手腕转动或弯曲一定方向以诱发功能。

26、,此手势可与手和/或臂的移动组合以控制所述功能。举例来说,朝上弯曲手腕可诱发“移动光标”功能性,其中手和/或臂的移动对光标进行移动;朝下弯曲手腕可诱发“突出显示文字”功能性,其中手和/或臂的移动可用以选择待突出显示的文字;朝左弯曲手腕可诱发“滚动”功能性,其中手和/或臂的移动可用以控制滚动例如,在移动方向上滚动;且朝右弯曲手腕可诱发“缩放”功能性,其中手和/或臂的移动可用以控制缩放例如,朝前放大、朝后缩小。其它组合是可能的,如调换上文的手腕弯曲方向和功能。0024另外或替代地,可在无需来自运动传感器320的输入的情况下执行光标移动和/或其它功能。在一些实施例中,可由手的位置控制光标移动。举例来。

27、说,拇指触摸食指可将光标向上移动,拇指触摸中指可将光标向下移动,拇指触摸无名指可将光标向左移动,且拇说明书CN104205015A4/10页8指触摸小指可将光标向右移动。其它光标移动是可能的,如调换上文的手位置和功能。另外,可通过拇指触摸所有手指执行其它功能例如,选择图标。0025处理模块320可分析分别从运动传感器310和压力传感器330所收集的运动数据和/或压力数据。处理模块320可基于运动数据和/或压力数据确定正由用户手所执行的手势。0026扬声器/麦克风模块340是任选的,且可用于将信息提供到用户和从用户接收信息。举例来说,如果用户处于多个远程装置可用于控制的位置,那么扬声器可用于向用。

28、户告知可用的远程装置,并接收用户希望控制的远程装置选择经由麦克风。在一些实施例中,选择可是基于由用户所执行的手势使用运动传感器310和/或压力传感器330所检测,而非用户对麦克风说话以指定其希望控制哪个远程装置。响应于所检测手势,这些数据可用于确定应由收发器模块350发射何命令。扬声器/麦克风模块340可将指示应控制哪个远程装置的信息提供到处理模块320。0027在其它实施例中,可基于用户手势指向的远程装置选择远程装置。对于所述实施例,可将相机370集成到系统300中,和/或可将其包含于例如远程装置或用户身体上。如果用户戴有扩增实境护目镜、抬头显示器或其它头部安装式显示器,那么识别用户正注视或。

29、用户正指向的远程装置可是可能的。由用户所执行的手势可用于激活特定于扩增实境护目镜、抬头显示器或其它头部安装式显示器的功能,或手势可导致将命令发射到远程装置。0028相机370可使用多种手势中的任一者实现远程装置指定。举例来说,在一个实施例中,系统300的组件中的一些或所有包含相机370可集成于用户手、手腕和/或臂上所佩戴的腕带或其它附件中,并与背对用户的相机一起经配置以拍摄用户指向处的图像。可通过手或臂的所辨识手势例如,指向、弹响指等触发图像捕获,使得用户可执行针对于待控制装置的手势,且相机可基于手势捕获装置的图像。接着,可处理图像以识别用户想要控制哪个装置,且可将腕带与所识别装置无线耦接。下。

30、文关于图6提供关于使用相机370的装置指定的额外细节。可利用用于捕获图像的替代性装置,例如视频和/或静态图像相机、一或多个光传感器和其类似者。0029另外或替代地,可利用基于手势的图像捕获以提供其它功能性。实施例可利用基于手势的图像捕获以提供例如允许用户捕获对象的图像,并基于所捕获图像进行因特网搜索的基于图像的因特网搜索。取决于所要的功能性,可向用户有声地读出搜索结果,或在以通信方式连接的装置例如,移动电话、头部安装式显示器等上有声地再现搜索结果。0030收发器模块350可包括经配置以将命令发射到希望控制的远程装置360和/或从远程装置360和/或其它装置接收信息的无线发射器和接收器。收发器模。

31、块350可使用红外线、RF、蓝牙、WIFI或一些其它形式的无线通信以与远程装置360进行通信。此通信可包含用于移动光标位置或执行功能例如,缩放、移动、复制、粘贴、删除、频道调整、音量调整、挂机、启动等的命令。可由处理模块320基于受控远程装置360和/或所识别手势选择发射到远程装置360的命令。在其它实施例中,收发器模块350可经配置以与远程装置360或有线接口通信。举例来说,手或手腕传感器可布线到头部安装式显示器。0031图4说明呈框图形式的系统400的实施例。系统400可经配置以使用手部手势控说明书CN104205015A5/10页9制一或多个远程装置。系统400可包含运动传感器310、压。

32、力传感器330、收发器模块410、扬声器/麦克风模块340和移动装置435。移动装置435可包含收发器模块420和处理模块430。运动传感器310、压力传感器330和扬声器/麦克风模块340可如关于图1至图3所描述。单独的装置可用于处理分别来自运动传感器310和压力传感器330的运动数据和压力数据,而非与传感器物理连接的处理装置。举例来说,用户移动电话的处理能力可用于使用运动数据和/或压力数据确定所执行的手势。收发器模块410可将原始运动数据和/或原始压力数据转送到移动装置435。0032移动装置435的收发器模块420可接收原始运动数据和/或压力数据,并将此数据提供到处理模块430以用于分析。

33、。可正执行经配置以处理运动数据和/或压力数据的应用程序的处理模块430可基于来自运动传感器310和压力传感器330的此数据,确定正由用户所执行的手势。基于所确定手势,可识别待发送到远程装置360的命令。收发器模块420可将命令无线地发射到远程装置360。远程装置360与收发器模块420之间的无线通信链路可使用不同收发器模块420与收发器模块410之间的无线通信链路的协议和/或频率。举例来说,蓝牙可用于收发器模块410与收发器模块420之间的通信,而可在收发器模块420与远程装置360之间使用WIFI或红外线。0033在一些实施例中,可将所执行手势的指示发射到远程装置360,使得远程装置360确。

34、定对应于所识别手势的命令,而非图4的处理模块430或图3的处理模块320基于所确定手势识别远程装置360应执行哪个命令。因而,可由远程装置360执行处理中的一些。在又额外实施例中,可将运动数据和/或压力数据发射到远程装置360,使得远程装置基于原始数据确定用户通过其手所执行的手势。所述实施例可要求降低由处理模块320或处理模块430进行的处理量。0034图5说明用于使用手部手势控制一或多个远程装置的方法500的实施例。可使用图1和2的压力传感器配置执行方法500。可使用图3或图4的系统或经配置以准许使用手部手势控制一或多个远程装置的一些其它系统执行方法500。在任选步骤510处,如果存在可进行。

35、控制的多个远程装置,那么可选择特定远程装置。这种情况可以若干方式发生。在一个实施例中,扬声器和麦克风例如,图3和4的扬声器/麦克风模块340可用以有声地询问用户打算控制哪个远程装置。用户可接着说出希望控制的远程装置的指示。在一些实施例中,用户可呈现有菜单。举例来说,如果用户戴有显示装置例如,抬头显示器或扩增实境装置,那么可向用户呈现识别可用远程装置的菜单且可允许用户选择待控制的远程装置。可基于用户正指向或用户面向哪个远程装置选择远程装置。所述实施例可利用观察用户正指向或面向的位置的相机例如,图3的相机370。因而,可将此相机安装于用户上、远程装置上、或用户附近内的一些其它位置处。在一些实施例中。

36、,用户可执行识别待控制的远程装置的手部手势。可例如通过图3和4的压力传感器330、相机370和/或运动传感器330检测手部手势。可将手势关联到远程装置,使得当感测到已执行手势时,激活对那个远程装置的控制。0035取决于所要的功能性,可以不同方式中的任一者产生待控制的可用装置的选择。举例来说,来自腕带或其它控制系统例如,分别为图3和4的系统300和/或400与一或多个远程装置的配置和/或之前配对的历史数据可用以产生可用装置的选择,可存储、更新并利用所述数据以用于后续装置选择。此外,来自远程装置的无线信标例如,根据蓝说明书CN104205015A6/10页10牙、ALLJOYNTM和/或用于控制远。

37、程装置的其它技术可向腕带或其它控制系统指示哪些远程装置可是可用以进行控制的。0036可基于使用、用户喜好和/或其它因素优先排序待控制的可用装置的选择。如先前所指示,用户可通过使用手部手势选择装置。在经优先排序的列表中,例如用户使手指中的一者触摸拇指可指示选择哪个编号的列表。在一些配置中,可存在默认装置且某种手势可选择默认而另一手势可选择不同装置。对可用装置的选择可是基于位置的,使得当用户行走到房间中时,腕带或其它控制系统可检测其可在那个房间中控制哪些装置。如果仅存在一个装置,那么腕带或其它控制系统可自动地与那个装置配对。如果发现有多个装置,那么用户可使用例如先前所论述技术中的一者例如,有声选择。

38、、手部手势等从列表进行选择。0037一些实施例可允许用户执行抓紧手势,此手势可使得用户能够在一段时间内继续控制所选择远程装置,直至检测到触发事件例如,松开手势为止。举例来说,用户可朝向装置作出“抓取”手势例如,将打开的手握紧成拳头而非指向待控制的远程装置,从而使得用户能够连续地执行若干手势。当用户完成对装置的控制时,用户可作出“放下”手势例如,以相反于抓取运动的运动将所有5个手指向外远离手掌伸展以松开对远程装置的控制。可结束用户对装置的控制的其它触发事件可包含经过一定时间段、一段时期停止使用、用户离开装置所位于的房间,和/或其它事件。取决于装置、用户喜好和/或其它因素,抓紧和/或松开手势可发生。

39、变化。0038在步骤520处,可使用图1和2中所说明的一或多个压力传感器例如,图3和4的压力传感器330从用户收集压力数据。可从用户的手腕或更确切地说,用户手腕的下表面和/或用户手的背部收集所述压力数据。压力数据可指示用户手腕和/或手的表面形态。用户手腕和/或用户手的背部的表面形态可受到用户手的位置的影响。因而,如果用户通过其手执行手势,那么同一手的用户手腕和/或用户同一手的背部的表面形态可对应于所执行的手势。基于用户手腕和/或用户手的背部的表面形态,可确定用户手部手势。0039在任选步骤530处,可使用可包含加速计或陀螺仪的运动传感器例如,图3和4的运动传感器310收集运动数据。运动数据可指。

40、示用户身体的部分例如,用户手腕或手的运动。可在用户身体上相同于收集压力数据处的位置处收集运动数据。此运动数据可用于识别手势的基于运动部分。0040在步骤540处,可基于步骤520和530处所分别收集的压力数据和/或运动数据识别手势。举例来说,可使用步骤520处所收集的压力数据识别特定手位置,同时可使用步骤530处所收集的运动数据识别用户手的运动。此情况的实例可为光标移动。用户可形成指示希望控制光标的抓握例如,拳头;用户可接着向左、向右、向上或向下移动其手同时握拳以控制光标。任选地,手势可重新产生计算机鼠标的功能性。举例来说,手的运动可使光标来回移动,且抓取手势可选择“点击”物件。手指至拇指手势。

41、可等效于“右击”。另外或替代地,手腕的弯曲可提供对光标的控制。举例来说,在检测到拳头之后,在手正握拳如由压力数据所指示时以一定方向弯曲手腕可使得光标来回移动。手腕弯曲还可用于执行其它动作,例如使用文字选择接口例如,键入文字。如先前所指示,手势和功能性可发生变化。可由处理模块例如,分别为图3和4的处理模块320和/或430说明书CN104205015A107/10页11执行手势识别。0041在步骤550处,响应于所确定手势,可将指示远程装置应执行的动作的命令发射到远程装置。举例来说,参看光标实例,命令可指示光标应向上或向下和/或向左或向右移动。步骤550处所发射的命令可取决于所确定手势和正控制的。

42、远程装置。因而,同一手势可导致针对不同远程装置发射不同命令。可分别使用例如图3和4的收发器模块350和/或420发射命令。0042类似功能性可用以指定用于控制的一或多个远程装置。图6说明根据一个实施例的用于作出此指定的方法600。可使用经配置以准许使用手部手势控制一或多个远程装置的系统例如,图3或图4的系统执行图6中的步骤中的一或多者。类似于图5中所说明的步骤,方法600可包含在步骤610处从用户身体收集压力数据,和在步骤620处使用压力数据和/或运动数据确定手势。此外,可从图1和2中所说明的一或多个压力传感器例如,图3和4的压力传感器330获得压力数据。0043尽管手势可为用户手和/或臂的移。

43、动、定位和/或姿势的任何组合,但在这里,可利用使得用户能够朝向待控制的装置引导相机的特定手势。对于具有例如向外面向式相机的腕带,所述手势可包含在大体上指向装置时弹响指、指向、握拳和其类似者,使得装置处于相机的视野内。在步骤630处,一旦确定用于图像捕获的手势,相机例如,图3的相机370捕获图像。0044在步骤640处,处理图像以识别待控制装置。一些实施例可利用一或多个识别符例如,贴纸、标志、或其它可见标签以促进装置识别。另外或替代地,处理图像可包含将图像或其特征或关键点与早期校准阶段期间所存储的已知物件的数据库进行比较。早期校准阶段可涉及用户捕获装置的一或多个图像,并输入关于装置的识别信息。可。

44、将所捕获图像或所提取特征和/或关键点发射到用以处理的远程装置例如,发射到视觉搜索提供商。在装置不可经由图像处理识别的状况下,可使用另一技术例如,有声确认确认选择。另外或替代地,可结合关于待控制范围内的装置例如,可用于蓝牙配对的装置的信息和/或历史数据例如,指示用户想要控制特定装置的机率、给定用户的历史使用图像,确认选择或解析所捕获图像中的不明确性。用于执行步骤640的装置可包含硬件与软件的任何组合,分别包含图3和4的处理模块320和430。0045在步骤650处,一旦已识别装置,用户可任选地收到通知,从而向用户指示成功捕获图像。此通知可包含噪音或其它音频指示符例如,哔哔声、说出装置名称的语音例。

45、如使用图3和4的扬声器/麦克风模块340等、触觉反馈、图像如果用户具有头部安装式或其它显示器和其类似者。另外或替代地,一旦装置准备好受到控制,用户可接收通知。0046在步骤660处,系统以通信方式与所识别装置连接。可使用无线通信接口例如,图3和4的收发器模块350进行连接。取决于所使用的技术类型,用于连接的方法可发生变化。经由例如蓝牙进行连接可涉及从可用蓝牙装置连接的列表选择对应于步骤640处所识别装置的连接。系统可接着使用蓝牙配对协议与所识别装置以通信方式连接。其它无线技术可涉及不同的连接方法。可分别使用例如图3和4的收发器模块350和/或420进行连接。0047任选地,在步骤670处,可接。

46、收用于控制装置的命令。举例来说,取决于待控制的说明书CN104205015A118/10页12所识别装置,可将不同手势映射到不同功能例如,顺时针旋转手可增加无线电的音量、改变电视的频道、上翻屏所显示列表等。取决于装置的功能性,装置自身可提供命令,可以使得将手势映射到命令的XML或另一格式提供命令。另外或替代地,可从与所识别装置分离的提供与装置通信和控制装置必需的命令、协议和/或其它信息的数据库检索命令。可分别使用例如图3和4的收发器模块350和/或420接收命令。0048应了解,图5和6中所说明的特定步骤分别提供基于手部手势控制一或多个远程装置和指定用于控制的一或多个远程装置的实例方法500、。

47、600。替代实施例可包含对所展示实施例的更改。取决于特定应用,可添加、移除、同时执行、组合和/或以其它方式更改额外特征。所属领域的一般技术人员将认识到许多变化、修改和替代方案。0049图7说明可实施图3和4的系统的组件中的一些或所有的计算机系统700的实施例。另外,计算机系统700可表示本申请案中所论述的远程装置的组件中的至少一些。图7提供可执行由各种其它实施例所提供的方法的部分的计算机系统700的一个实施例的示意性说明。应注意,图7仅意味提供各种组件的一般化说明,可按需要利用所述组件中的任一者或所有。因此,图7大致说明可如何以相对分离或相对较集成方式实施个别系统元件。0050计算机系统700。

48、展示为包括可经由总线705电耦接的硬件元件或按需要可以其它方式进行通信。硬件元件可包含一个或多个处理器710,包含但不限于一或多个通用处理器和/或一或多个专用处理器例如,数字信号处理芯片、图形加速处理器和/或其类似者;一或多个输入装置715,其可包含但不限于鼠标、键盘、压力传感器、EMG传感器、相机、麦克风和/或其类似者;和一或多个输出装置720,其可包含但不限于显示装置、打印机、扬声器和/或其类似者。0051计算机系统700可进一步包含一或多个非暂时性存储装置725和/或与之通信,所述非暂时性存储装置725可包括但不限于本地和/或网络可访问存储装置,和/或可包含但不限于磁盘驱动器、驱动阵列、。

49、光学存储装置、可编程且可快闪更新的固态存储装置例如随机存取存储器“RAM”和/或只读存储器“ROM”和/或其类似者。所述存储装置可经配置以实施任何适当的数据存储装置,包含但不限于各种文件系统、数据库结构和/或其类似者。0052计算机系统700还可包含通信子系统730,其可包含但不限于调制解调器、网卡无线或有线、红外线通信装置、无线通信装置和/或芯片组例如,BLUETOOTHTM装置、80211装置、WIFI装置、WIMAX装置、蜂窝式通信设备等和/或其类似者。通信子系统730可准许与网络例如,作为一个实例,下文所描述的网络、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施例中。

50、,计算机系统700将进一步包括工作存储器735,其可包含RAM或ROM装置,如上文所描述。0053计算机系统700还可包括展示为当前位于工作存储器735内的软件元件,所述软件元件包含操作系统740、装置驱动程序、可执行库和/或例如一或多个应用程序745的其它代码,所述应用程序745可包括由各种实施例所提供的计算机程序,和/或可经设计以实施由其它实施例所提供的方法和/或配置由其它实施例所提供的系统,如本文中所描述。仅仅作为实例,关于上文所论述的一或多种方法所描述的一或多个程序可实施为可由计算机和/或计算机内的处理器执行的代码和/或指令;接着,在一方面中,此代码和/或指令可用以配置和/或调适通用计。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1