使用多个传感器空间的免提的基于手势的接口.pdf

一种用于解译手势的系统，包括至少一个并且优选地包括不止一个微电子机械传感器，其包括适合于附在人体的第一位置(诸如手指或手)上的底座。信号累积单元连接到传感器，并且具有适合于附在例如人体的第二位置上的底座。信号累积单元包括用于对在一个或多个传感器处传感的在多个空间的有关手势的数据进行打包和/或解译以产生解译数据的逻辑。信号累积单元还包括用于与主计算机通信的通信端口，解译数据通过该通信端口被发送到主计算机。

1.  一种用于解译手势的系统，包括：
传感器，包括适合于附在人体位置上的底座；
连接到所述传感器的信号累积单元，所述信号累积单元包括用于对关于在所述传感器处传感的手势的数据进行打包以产生打包数据的逻辑；以及
用于与主计算机通信的通信链路，所述打包数据通过所述通信链路被发送到所述主计算机。

2.  根据权利要求1所述的系统，包括连接到所述信号累积单元的多个传感器，其包括适合于附在人体位置上的底座。

3.  根据权利要求1所述的系统，其中所述信号累积单元将来自所述传感器的数据从模拟形式转换为数字形式，以及组装数字手势数据的包，所述打包数据包括所述包。

4.  根据权利要求1所述的系统，其中所述通信链路包括无线电通信信道。

5.  根据权利要求1所述的系统，其中所述信号累积单元包括存储分解动作数据库的存储器，以及用于将来自所述传感器的数据与所述分解动作数据库中的数据进行比较以产生解译数据的逻辑，并且所述打包数据包括所述解译数据。

6.  根据权利要求1所述的系统，其中所述信号累积单元接收到的所述手势数据包括多个空间中的数据，并且所述信号累积单元包括存储分解动作数据库的存储器，以及用于将来自所述传感器的所述多个空间中的数据与所述分解动作数据库中的数据进行比较以产生解译数据的逻辑，其中所述分解动作数据库包括定义在多个空间中至少一个分解动作的规范，并且所述打包数据包括所述解译数据。

7.  根据权利要求1所述的系统，包括所述主计算机，所述主计算机包括用于解译所述打包数据以识别结果信号以及用于将所述结果信号发送给目标的资源。

8.  根据权利要求1所述的系统，包括所述主计算机，所述主计算机包括环境的机器可读映射，以及用于使用所述机器可读映射来解译所述打包数据以识别结果信号以及用于将所述结果信号发送给目标的资源。

9.  一种用于解译手势的系统，包括：
多个微电子机械传感器MEMS，包括适合于附在人体的相应位置上的底座；
连接到所述传感器的信号累积单元，其与所述多个微电子机械传感器中的一个装配在一起，或者可选地包括适合于附在人体的另一位置上的底座，所述信号累积单元包括用于对关于在所述多个传感器处传感的手势的数据进行打包以产生打包数据的逻辑；以及
用于与主计算机通信的通信链路，所述打包数据通过所述通信链路被发送到所述主计算机。

10.  根据权利要求9所述的系统，其中所述信号累积单元根据位移、速度和加速度中的多个对来自所述传感器的数据进行处理。

11.  根据权利要求9所述的系统，其中所述传感器产生指示线位移、线速度、线加速度、角位移、角速度、角加速度中的多个的数据。

12.  根据权利要求9所述的系统，其中所述通信链路包括无线电通信信道。

13.  根据权利要求9所述的系统，其中所述信号累积单元包括存储分解动作数据库的存储器，以及用于将来自所述传感器的数据与所述分解动作数据库中的数据进行比较以产生解译数据的逻辑。

14.  根据权利要求9所述的系统，其中所述信号累积单元接收到的所述手势数据包括多个空间中的数据，并且所述信号累积单元包括存储分解动作数据库的存储器，以及用于将来自所述传感器的所述多个空间中的数据与所述分解动作数据库中的数据进行比较以产生解译数据的逻辑，其中所述分解动作数据库包括定义在多个空间中至少一个分解动作的规范，并且所述打包数据包括所述解译数据。

15.  根据权利要求9所述的系统，包括所述主计算机，所述主计算机包括用于解译所述打包数据以识别结果信号以及用于将所述结果信号发送给目标的资源。

16.  根据权利要求9所述的系统，包括所述主计算机，所述主计算机包括环境的机器可读映射，以及用于使用所述机器可读映射来解译所述打包数据以识别结果信号以及用于将所述结果信号发送给目标的资源。

17.  根据权利要求9所述的系统，其中所述信号累积单元包括存储分解动作数据库的存储器，以及用于将来自所述传感器的数据与所述分解动作数据库中的数据进行比较以产生解译数据的逻辑；并且所述系统包括所述主计算机，所述主计算机包括用于对所述解译数据进行处理以识别结果信号以及用于将所述结果信号发送给目标的资源，其中所述处理包括将分解动作序列与手势字典中的条目进行匹配以识别结果信号，所述字典包括基于分解动作的相应序列的手势规范。

18.  一种用于使用手势来生成计算机可读信号的方法，包括：
使用装配在人体的一个或多个位置处的传感器来传感所述一个或多个位置上的一个或多个传感器的动作，以产生多个空间中的手势数据，所述多个空间选自线位移空间、线速度空间、线加速度空间、角位移空间、角速度空间和角加速度空间；
将所述手势数据与机器可读手势规范字典中的条目进行匹配以识别信号，所述字典将字典中的条目映射到目标处理的信号集合，其中所述条目包括在一个或多个所述位置处的在多个空间中的动作规范，所述多个空间选自线位移空间、线速度空间、线加速度空间、角位移空间、角速度空间和角加速度空间；以及
将所述信号发送给目标处理。

19.  根据权利要求18所述的方法，其中所述一个或多个位置包括手的多个手指上的位置。

20.  根据权利要求18所述的方法，其中所述一个或多个位置包括多个手的手指上的位置。

21.  根据权利要求18所述的方法，其中所述一个或多个位置包括人体的多个手指上超过第三关节的位置。

22.  根据权利要求18所述的方法，其中所述一个或多个位置包括人体的多个手指上超过第三关节的位置以及人体的拇指上超过第二关节的位置。

23.  根据权利要求18所述的方法，包括将所述手势数据发送给人体上的处理器，以及在所述处理器中将所述手势数据打包，通过无线通信链路将所述打包的手势数据从人体上的所述处理器转发到主计算机。

24.  根据权利要求18所述的方法，包括将所述手势数据从所述一个或多个传感器发送到装配在人体上的处理器，将所述手势数据转换为数字形式，对数字手势数据进行处理以识别分解动作集合中的分解动作；以及其中在所述匹配中使用的手势数据包括所述识别的分解动作。

25.  根据权利要求18所述的方法，包括使用所述字典以及环境的机器可读映射对所述手势数据进行分析以识别所述信号。

使用多个传感器空间的免提的基于手势的接口
技术领域
本发明涉及用于人机接口的基于手势的通信。
背景技术
已经提出了基于手势的人机接口系统。例如，Park等人的美国专利No.7,259,756描述了一种系统，用于传感和估计用户的运动，其用作用于选择信息的计算机接口。按照Park等人的专利，附在手指和手或其他身体部位上的“运动单元”的运动可以被传感、解译和筛选，并且结果用作输入给计算机的信息。Park等人所构想的传感器包括基于图像的传感器以及基于巨磁电阻GMR的传感器，其远离这些运动单元，并且不由用户携带。使用成像传感器，有关手势的信息可能很容易被物体所阻挡，因为成像传感器(照相机)固定在环境中或者位于距离用户的特定位置处，而不是由用户携带。因此，要检测的手势必须限制在传感器视场中的小型安置区域内。
除了上面提到的可视传感器存在的问题之外，GMR技术遭受含有磁性材料(诸如内部铁结构材料)的建筑材料所引起的干扰。因此，GMR在多数建筑物和环境中不可行。
Park等人还提到可以使用测量加速度和角速度的变化的微电子机械系统(MEMS)惯性传感器，但是未进行讨论。其没有教导有关如何从MEMS传感器取回数据。
基于手势的输入设备的另一普遍问题涉及计算机可以如何区分具有不同含义的各种手势，以及如何辨认给定手势的动作变化范围，在该变化范围内表示相同的意思。例如在Goldberg的美国专利No.5,596,656中描述了这样的概念，提供包含具有几何规范的符号集合的字母表，其中这些符号在图形上“很好区别”，因此可由计算机区分。
因此，希望提供一种用于基于手势的导航的系统和工具，其不太容易受环境运动的干扰和约束，并且能够支持对复杂手势的可靠解译。
发明内容
一种用于解译手势的系统，包括至少一个，并且优选地包括不止一个小型传感器，诸如微电子机械传感器MEMS，传感器包括适合于附在人体的位置(诸如手指或手)上的底座。信号累积单元连接到传感器，其或者附在传感器上，或者具有适合于附在人体的另一位置上的底座。信号累积单元包括用于对来自一个或多个传感器的数据进行打包以产生打包数据的逻辑，该数据包括多个空间中的数据以及来自多个传感器的有关在一个或多个传感器处传感的手势的数据。信号累积单元还包括用于与主计算机通信的通信端口，打包数据通过该通信端口被发送到主计算机。主计算机包括与信号累积单元处的处理协作的资源，该资源对传感器产生的数据进行解译并且生成结果输入信号。该输入信号继而由主机使用适当的计算机生成的消息被递送到目标系统。典型的目标系统包括此类程序，诸如商务呈现软件、字处理软件、软件管理家用照明和空调、软件管理视听设备、软件管理机器人，等等。
所使用的每个MEMS可以产生一个或多个空间中的数据，其中一个空间包括在时间上采样的至少两个维度，包括线性空间中的平移的位移、速度和加速度以及角度空间中的旋转的位移、速度和加速度。多空间分析使用来自装配在不同位置的多个传感器的多个空间的手势数据，和/或来自装配在单个位置的一个或多个传感器的多个空间的手势数据，这种多空间分析的使用为手势分析显著改善了识别系统的能力，支持解译复杂的手势。多空间分析支持对复杂符号语言的机器解译，在其中任何一个空间中的图形分割可能不够用。例如，预期使用多空间分析、基于来自手势人的手指上的MEMS的输入，可以翻译复杂的符号语言，诸如美式手语ASL、国际手语、使用手语字母的手指拼写，等等。而且，使用多空间分析、利用自学习过程，可以开发专用手势字典。
描述了主机计算机系统，其包括用于与用户上的信号累积单元进行通信的接口，以及用于解译多个空间中的数据的资源。除了数据处理硬件之外，资源包括手势规范数据库以及用于将输入数据与数据库中的规范进行比较的程序，其中手势规范数据库包括多个空间中的一个或多个手势规范。而且，主机中的资源包括用于组成含有对手势数据的解译结果的消息以及将消息发送到目标的通信资源，数据在目标处用作输入命令或数据。
在以下的附图、具体实施方式以及权利要求中提供本发明的其他方面和优势。
附图说明
图1是基于手势的人机接口的简化框图；
图2-图16示出了可以被解译以用于利用此处描述的微传感器创建和检测手势的动作传感“空间”；
图17是用于此处所描述的人机接口系统的微传感器信号累积单元的框图；
图18是用于此处所描述的人机接口系统的主计算机的框图；以及
图19A和图19B提供了示出用于此处所描述的人机接口系统的操作方法的流程图。
具体实施方式
图1是基于在环境9中做的手势的人机接口的简化框图。主机器10(诸如个人计算机)或具有图形用户接口或显示器的其他设备与附在人体上(使得使用者不必握着或抓着传感器)的“hold-free(免提)”传感器系统进行通信。在优选实现中，传感器包括非常小的MEMS传感器11-18，其通过有线或无线地链接到信号累积单元18，信号累积单元18将来自传感器的数据进行打包，并且使用无线电通信链路(例如蓝牙)或使用红外通信链路将打包数据传输给主机器。某些实施方式在需要时也可以使用有线连接。
如图所示，各个传感器13-17附在手上五个手指的每一个上，优选地在拇指的第二关节和手指的第三关节后部。在有些系统中，可以在两个手上都使用传感器。而且，传感器单元可以如图所示地附在身体19上，例如包括在衬衫口袋12中或在耳用配件11上。传感器11-17和累积单元18包括相应的底座，其适合于附在人体或衣服(诸如手套或衬衫)的各位置处。在有些实施方式中，信号累积单元可以附在其中一个传感器上，而不需要单独的底座。而且，在有些实施方式中，每个传感器附在单独的信号累积单元上，所述信号累积单元与主机进行通信或者与另一信号累积单元进行通信，该另一信号累积单元继而与主机或目标系统进行通信。
在利用多个传感器单元的系统中，提供较少维度的传感，诸如对于每个传感器有三个线性维度可能足够。对于利用单个传感器单元或较少传感器单元的系统而言，可能希望每个单元包括一个或多个传感器以传感多达6个自由度。
由于传感器和支持电路的尺寸非常小且重量轻，所以传感器单元可以直接或间接地附在人体上的多个位置处，包括手、肘、胳膊、身体、腹部、脖子、头、脚、膝盖、脚趾等等。传感器单元可以使用弹性环或带、夹子、腕带、胶带、胶或带子附在手指上。可选地，传感器单元可以包含在衣服内，诸如手套、袜子、帽子、衬衫或鞋子中。传感器单元可以装配在戒指、手表、眼镜、耳环、其他耳用配件和项链等上。
典型的传感器单元包括惯性传感器和陀螺仪，其能够传感多达6个运动度，包括x-，y-和z-轴上的平移以及x-，y-和z-轴上的旋转。运动可以通过在针对平移和旋转两者的位移、速度和加速度空间中分解传感器数据来进行解译。特定的基于手势的系统可以利用一个或多个传感器空间，包括针对装配在不同位置处的多个传感器的每一个传感器的一个传感器空间，或者针对装配在单个位置处的一个或多个传感器的多个传感器空间。多数传感器可以传感多个轴和运动类型，其可以提供重要信息以用于构成基于手势的语言，以及用于区分不同手势。此外，单个传感器可以提供线性的和角度的加速度空间、速度空间和位移空间中的输入信息，给出了在现有的基于视觉的系统中实际无法获得的丰富的输入数据。
出于描述目的，微电子机械传感器MEMS是构成单元的任意一类传感器，其中所述单元小巧轻便，可以附在手指尖上而不会干扰手指尖在系统所用手势的形成期间的正常运动，并且其可以定义为第一级封装的裸片级组件，包括压力传感器、加速度计、陀螺仪、麦克风等。通常MEMS包括与环境交互的元件，其宽度或长度在1毫米的量级，并且可以与诸如模数转换器、信号处理器和通信端口之类的支持电路封装在一起。
适合于此处所描述的基于手势的系统的典型MEMS包括双轴加速度计。对于给定应用，两个这种加速度计传感器可以装配在单个位置以传感多个三维线加速度。用于此处所描述的基于手势的系统的其他典型MEMS包括陀螺仪，其包括压电振动陀螺仪。
主机器10和信号累积单元18包括数据处理资源，其提供对接收自传感器的手势数据的解译。在有些实施方式中，信号累积单元18执行比其他实施方式中更多的解译处理，使得主机器10基于信号累积单元18处的补充处理而执行不同的解译处理量。所解译的手势数据由主机处理以产生特定信号。
主机器10确定作为所解译的手势数据的结果的特定信号，确定该特定信号的目标，以及将得到的信号发给目标。目标可以包括在主机器10上运行或在用户环境中操作的其他系统上运行的计算机程序，用户正通过手势语言与它进行交互。因此，手势数据从用户递送到主机再到环境，并且用于控制环境中的设备，包括将手势语言转换为控制视听设备的信号，将手势语言转换为语音或其他音频信号，将手势语言转换为经由互联网或其他通信协议发送到远程系统的消息，诸如此类。
主机器10还包括充当用户的反馈提供者的资源。这得到用户提供手势信号给主机器，主机器解译信号并且产生响应的交互环路。用户继而可以在交互式系统中发出新手势信号，等等。典型的交换式系统包括视频游戏等，其中用户使用手势向游戏提供输入。
主机器10可以包括映射数据库，其包括要用于通信的手势规范，以及手势到特定信号的映射。手势规范可以采取上述多个空间中唯一的标印的形式。主机器10可以包括提供交互式学习过程的计算机程序，通过该计算机程序向用户呈现特定手势的规范，继而用户做手势以尝试匹配所呈现的规范。这提供了学习循环，在此循环中，计算机使得用户能够学习用于与计算机系统进行交互的手势库。
主机器10可以包括交互式程序，用户通过该程序来定义要使用的手势规范。在此模式中，用户用信号通知主机器10，其将定义期望解译为特定信号的手势。用户继而做出定义手势的动作，主机将其接收并存储。主机对手势数据进行处理，手势数据例如包括多个手势实例的手势数据，从而产生多个空间中该手势的标印并且存储该标印。用户继而重复定义手势的动作，主机尝试将得到的手势数据与标印进行匹配。此过程可以一直重复，直到完成自我学习。
主机器10还可以充当居间器，其中第一用户使用手势库发出信号，主机解译该手势数据，并且通过直接消息、通过用户所共享的环境的附加或者其他方式将手势数据递送到其他用户的组或第二用户，诸如视频游戏中的一个或多个对手。其他用户能够提供响应，该响应也是使用手势库中信号的信号。
主机器10可以包括环境9的映射，并且利用环境映射以及手势字典来产生特定信号。例如，包括指向环境中的特定项的手势可以解译为期望影响位于所指示方向的设备的信号。因此，可以生成指示用户正在指着房间中的特定灯的手势数据，并且第二手势可以产生指示是否增大或减小此灯的亮度的手势数据。
在此所描述的系统可以使用描述传感器在空间中的运动的传感器来实现，包括提供涉及多达6个自由度的手势数据，包括由加速度计提供的线性空间中的3个平移自由度以及由陀螺仪提供的角度空间中的3个旋转自由度。理论上还有可能使用针对所有6个自由度的加速度计或者使用针对所有6个自由度的陀螺仪来描述物体的空间位移。使用针对多达6个自由度的传感函数所提供的多个空间，可以使得系统能够快速可靠地区分不同的复杂手势。可以通过线性空间和角度空间中的位移、速度、加速度来对传感器贯穿给定手势的运动期间产生的手势数据进行分析。跨越多个空间的这种分析为每个手势提供了标印，其可以用于定义使得该手势能够区别于其他手势的规范，以及用于识别特定手势以转换为期望的信号。
在典型的系统中，MEMS加速度计用于提供线加速度空间中的手势数据，MEMS陀螺仪可以用于提供角速度空间中的手势数据。给定手势在线加速度空间中和角速度空间中的标印可以用于识别特定手势。将要使用的传感器、传感器数量以及要分析的空间数量的选择取决于具体应用，并且影响给定手势字典的成本、响应时间和传感器选择的可行性。
图2-图16示出了可以如何在各种空间中解译给定动作以从单个传感器提供丰富的输入信息以进行手势解译。当多个传感器装配在人体的选定位置上时，惯性传感器可以用来检测复杂动作，其使用在多个空间中采集的数据的组合。有些基于MEMS的传感器适合于加速度空间中的测量。不过，数据很容易解译用于所示出的其他空间。而且，使用不止一个多维传感器，或者一个多维传感器与一个固定位置或单维传感器的组合，可以基于在这些不同空间采集的数据来检测基于手势的语言，其中使用有关相对运动或相对位移的信息来解译数据。图2-图6示出了针对相对复杂的动作在位移空间、线速度空间、线加速度空间、角速度空间和角加速度空间中的标印。图7-图11示出了针对基于匀速线性运动的间隔的手势在位移空间、线速度空间、线加速度空间、角速度空间和角加速度空间中的标印。图12-图16示出了针对基于匀速角运动的间隔的手势在位移空间、线速度空间、线加速度空间、角速度空间和角加速度空间中的标印。这些附图中示出的全部或部分数据可以用作区分特定手势或手势的分解动作的标印。
例如，如果用户利用手指装配式传感器在空间中旋转手指，其在时域上具有恒定的角速度，则该运动在角速度空间中将表现为固定的点。该运动还会在角加速度空间中表现为位于(0，0，0)处的固定点，例如，其在时域上具有为零的角加速度。
对于另一示例，用户利用手指装配式传感器在空间中画一条直线，其在时域上具有恒定的线速度，则该运动在线速度空间中将表现为固定的点。该运动还会在线加速度空间中表现为位于(0，0，0)处的固定点，例如，其在时域上具有为零的线加速度。
简单手势在此处称为分解动作的组合，可以用于形成更复杂的手势。可以对要使用的手势进行设计，使得在数据处理系统中可以将其相互区分，其中使用系统检测到的一个或多个空间中的图形分割来识别手势。特定手势或分解动作的标印可以包括来自两个或更多传感器的手势数据，从而用于标印的多个空间包括：来自第一传感器的线位移空间和来自第二传感器的线位移空间；来自第一传感器的角位移空间和来自第二传感器的线位移空间；来自第一传感器的角加速度空间和来自第二传感器的线位移空间；等等。例如，复杂手势的标印可以包含来自一只手上拇指和其余四个手指的每一个的传感器的空间数据。可以使用各种各样的配置来产生多个空间中的唯一标印。
图17是基于MEMS传感器的手势传感系统的框图。手势传感系统包括一组MEMS传感器单元30-33(优选地包括多个传感器单元)，其耦合到多通道模数转换电路34。MEMS传感器单元30-33可以包括惯性传感器，诸如加速度计和陀螺仪。转换电路34耦合到总线，微控制器单元MCU 35在总线上协调执行系统固件之间的多个单元的行为，以及协调用于手势导航的应用逻辑的处理。在所示示例中，总线上的其他单元包括看门狗定时器36；比较器逻辑37，其用于将指示手势或包括一系列分解动作的手势的分解动作的数据输入序列与所存储的数据序列进行比较，其中所存储的数据序列指明已记忆手势的分解动作的唯一标志；SRAM 38工作存储器，例如用于在做手势时存储手势的位移、速度和加速度数据；嵌入式闪存39，用于存储分解动作数据库和应用程序，以支持自学和校正；除了微控制器单元所提供的逻辑之外的任何必要的应用逻辑40，其作为胶连逻辑或高速逻辑进行操作以支持手势解译和导航处理；ROM存储器41，用于存储指令或其他控制数据；以及输出设备42，用于与主计算机通信。看门狗定时器36可操作用于设置对用于解译手势的处理的时间限制，排除无效命令或从其恢复。输出设备42可以是模拟或数字通道，诸如蓝牙模块、红外模块、WIFI模块或能够传送手势输入数据的其他无线或有线链接。图7中示出的部件可以装配在身体上的信号累积单元上(例如图1中单元18)，或者根据需要分布在装配在身体上的单元与主机系统之间。
尽管未示出，但是手势传感系统可以包括电池或电池组。而且，可以使用诸如通常在RF ID技术中用于射频功率递送的功率耦合器。
图18是安排为用于此处所描述的基于手势的通信系统的主计算机的数据处理系统100的简化框图。系统100包括一个或多个中央处理单元110，其安排用于执行存储在程序存储器101中的计算机程序、访问数据存储器102、访问诸如磁盘驱动之类的大规模存储器106以及控制通信端口103、标准用户输入设备104和显示器105，其中通信端口103包括用于与图1所示的信号累积单元10通信的端口。使用图18所表示的主计算机的手势语言系统包括单个工作站、计算机网络以及包括由软件控制的器械、机器人等的专用机器。
对于示例性系统，手势分析过程所利用的数据处理资源包括实现为存储在存储器101中的计算机程序的逻辑。可选地，逻辑可以使用本地或分布式机器上的计算机程序来实现，并且可以部分地使用专用硬件或其他数据处理资源来实现。典型的手势分析系统中的逻辑包括用于解译手势数据以及用于递送携带解译所得到的信号的消息的资源，和用于手势语言学习和自学习过程的资源。
数据存储器102通常用于存储机器可读手势字典，其包含有多个空间中的手势定义，用于结合手势数据来解译手势的环境映射以及其它数据密集型库。大规模存储器例如用于存储多个手势字典以及其它大规模数据资源。
图19A和图19B提供了示出可由传感器处的处理器、信号累积单元中的处理器、主计算机中的处理器或系统可用于指定目的的处理器执行各个步骤的系统的简化操作顺序的流程图。流程图开始于MEMS和信号累积单元的上电或初始化(50)。如果系统成功上电，(也即，没有系统中断)(51)，则可选地执行校正或自学习过程(52)。如果系统没有成功上电，则逻辑将进入“等待重置”模式(53)。在校正/自学习过程期间，接受来自传感器的输入(54)，对其进行筛选和解译。此过程可以使用计算机图形用户界面进行引导，其中指示用户做出特定手势或分解动作，将所采集的作为这种手势的结果的输入数据与对应于这种手势或分解动作的预期数据进行比较。可以向用户提供反馈以改进手势或分解动作以便更好地与预期数据相匹配，或者可以修改预期数据以匹配用户所使用的动作。而且，用户可以使用交互逻辑来指定要解译为特定命令的特定手势。此外，此步骤可以用来建立针对左手使用和右手使用的系统。作为校正/自学习过程的结果或者与其相结合，创建或更新手势或分解动作数据库(56)，参照此数据库可以测试操作期间的输入以检测特定输入命令或语言。
在确定完成校正/自学习过程之后(55)，系统转移到等待手势输入的预备模式(57)。在预备模式期间，采集来自传感器的输入(58)，对其进行筛选和分析以确定是否接收到有效的手势输入信号(59)。输入信号可以使用机械信号或音频信号来描述，或者识别为特定手势命令的结果，等等。输入数据可以进一步被格式化以用于解译沿着上述各个线性轴和角度轴的位移、速度和加速度(60)。得到的数据继而与手势或分解动作数据库中的信息进行比较(61)。如果发现匹配(62)，则该输出被递送到主计算机(64)以作为在系统输出(66)处的手势语言/指令命令。有关手势或分解动作的解译的反馈也提供给手势或分解动作数据库56。如果手势或分解动作不与数据库中的任何条目匹配，则可以对其进行分析以确定最相似的手势或分解动作(63)。该分析的结果可以用作学习工具以向用户提供反馈，从而提高使用手势导航系统的技能，或者可以用于按照概率方式来选择该动作最可能期望的手势。
在手势或分解动作已经被解译和递送到主机系统之后，例如针对包含一系列分解动作的手势，主机系统可以应用进一步处理以识别期望的输入信号，或者在手势完全在信号累积单元中识别的情况中，向执行该信号所指示的命令的目标处理发送消息，或者对该信号所指示的数据适当地进行处理。
系统还为用户提供了选择所解译的命令或使用来自另一源的输入覆盖手势命令的功能(65)。此选择/覆盖工具65可以用于模糊手势，例如通过允许选择框63中所确定的“最相似手势”之一，用作针对表示对主机系统有重要影响的命令的手势的确认信号，并且用作第二层解译。该选择/覆盖可以使用响应于可听到的“进行(go)”或“不进行(no go)”命令的语音解译器来实现，或者使用其他输入系统，诸如键盘或触摸板来实现。
MEMS传感器单元超轻便并且非常小，从而它们附在人体部位上可以是非常无干扰的。这种技术使得手势传感有可能结合使用附在身体上的小型轻便型传感器的“免提”技术，从而操作者不需要抓着运动单元或棍棒来提供手势输入。其允许直观的、交互式、象人一样的自然方式来向机器发出消息和命令。而且，通过传感线性空间和角度空间的位移、速度和加速度，可以利用精细的手势。系统能够学习用户定义的手势以定制用户语言和命令。
此处描述的基于手势的系统能够利用复杂的命令集合，并且能够应用于解译人类符号语言。传感和破译复杂手势的能力具有多种应用，包括针对家庭、办公室和顾客信息处理功能的应用。手势传感技术可以用作呈现控制工具，允许说话者使用所传感的手势来导航所显示的图像，诸如使得图像放大、滚动图像、移动到下一页，诸如此类。
手势传感技术可以解译不止一个参与者的手势。例如，计算机游戏中的对手可以使用此处所描述的手势传感技术来交互。
提供了解译基于手势的输入的能力，其可在现有技术中还无法使用的多处使用。例如，基于手势的输入信号可以应用于汽车安全。例如，在开车时可以将传感器戴在手上或附在方向盘上，并且可以用于检测方向盘的转动或者驾驶员做出的基于另一只手的动作。与检测道路上的活动(例如前方停止的车辆)的诸如图像识别、雷达或超声波之类的传感器相结合，如果系统没有检测到转动方向盘以避开障碍物，则可以发出警报。而且，手势传感技术可以由医院的病人使用以便与其房间外的医院人员联系，或者在他们说话能力受损时使用。此处所描述的手势传感技术还可以在恶劣环境中使用，包括工业场景、海底场景、消防，等等。
尽管参考上述优选实施方式和示例描述了本发明，但是应当理解这些示例旨在于示意性意义而不是限制意义。本领域技术人员很容易构想出变形和组合，这些变形和组合在本发明的精神范围内。