具有手指鉴别的智能触摸屏键盘.pdf

本公开的实现方式包括以下动作：在触摸屏上显示多个按键，接收向所述触摸屏的用户输入，所述用户输入包括与所述触摸屏的接触，响应于接收所述用户输入，确定与所述接触相关联的空间信息并且生成所述接触的图像，基于所述图像和所述空间信息来确定输出，以及执行所述输出。

1.  一种计算设备，包括：
触摸屏；
一个或多个处理器，其与所述触摸屏通信；以及
计算机可读介质，其耦合至所述一个或多个处理器并且具有在其上存储的指令，所述指令当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下操作，包括：
在所述触摸屏上显示多个按键；
接收向所述触摸屏的用户输入，所述用户输入包括与所述触摸屏的接触；
响应于接收所述用户输入，确定与所述接触相关联的空间信息并且生成所述接触的图像；
基于所述图像和所述空间信息来确定输出；以及执行所述输出。

2.  根据权利要求1所述的计算设备，其中所述触摸屏可配置为显示触摸屏键盘，所述触摸屏键盘包括多个按键。

3.  根据权利要求1所述的计算设备，其中所述空间信息包括所述图像的位置。

4.  根据权利要求3所述的计算设备，其中操作进一步包括生成多个概率分布并且基于所述概率分布来确定所述输出。

5.  根据权利要求4所述的计算设备，其中每个概率分布与所述多个按键的按键和所述用户的手指中的一个或两者相关联。

6.  根据权利要求4所述的计算设备，其中每个概率分布基于所述图像的特征和所述图像的所述位置中的一个或两者。

7.  根据权利要求4所述的计算设备，其中确定输出包括基于所述概率分布选择所述多个按键的按键，所述输出对应于所述按键。

8.  根据权利要求1所述的计算设备，其中所述图像使用包括表面声波感测、电容感测、红外感测和光学感测的一个或多个技术被 生成。

9.  根据权利要求1所述的计算设备，其中操作进一步包括生成一个或多个手指模型，所述一个或多个手指模型中的每个手指模型基于至少一个图像。

10.  根据权利要求8所述的计算设备，其中所述一个或多个手指模型对应于特定用户。

11.  根据权利要求1所述的计算设备，其中操作进一步包括使用一个或多个分类机制分类所述图像，所述分类机制包括基于图像的分类和基于特征的分类。

12.  根据权利要求11所述的计算设备，其中操作进一步包括基于确定所述接触的所述位置来分类所述图像。

13.  根据权利要求12所述的计算设备，其中操作进一步包括通过将所述图像与所述一个或多个手指模型进行比较来分类所述图像。

14.  根据权利要求13所述的计算设备，其中操作进一步包括基于所述图像来更新所述多个手指模型中的一个手指模型。

15.  根据权利要求1所述的计算设备，其中操作进一步包括存储所述图像。

16.  根据权利要求1所述的计算设备，其中操作进一步包括确定所述接触是叩击。

17.  根据权利要求1所述的计算设备，其中操作进一步包括通过执行功能和在所述触摸屏上显示字符中的一个或多个来执行所述输出。

18.  一种使用一个或多个处理器被执行的计算机实现的方法，所述方法包括：
在触摸屏上显示多个按键；
接收向所述触摸屏的用户输入，所述用户输入包括与所述触摸屏的接触；
响应于接收所述用户输入，确定与所述接触相关联的空间信息并 且生成所述接触的图像；
基于所述图像和所述空间信息来确定输出；以及
执行所述输出。

19.  一种存储有指令的计算机可读介质，所述指令当被一个或多个处理器执行时，使得所述一个或多个处理器执行以下操作，包括：
在触摸屏上显示多个按键；
接收向所述触摸屏的用户输入，所述用户输入包括与所述触摸屏的接触；
响应于接收所述用户输入，确定与所述接触相关联的空间信息并且生成所述接触的图像；
基于所述图像和所述空间信息来确定输出；以及
执行所述输出。

具有手指鉴别的智能触摸屏键盘
相关申请的交叉引用
本发明要求于2012年1月9日提交的美国临时申请No.61/584,587的权益和优先权，其公开内容通过引用明确地并入于此。
背景技术
计算设备(诸如移动计算设备)包括为用户提供输入的输入装置。在某些场景下，用户可以通过触摸键入提供输入，触摸键入可以是一种用于文本录入计算设备的快速且有效的方法。例如，触摸键入可以用于写入电子消息、程序代码、输入搜索查询、写入聊天消息和博客。然而，触摸键入通常使用物理键盘或小键盘执行，倾向于占用尤其是移动计算设备中的可用空间。因此，某些计算设备包括触摸屏显示器，用户通过该触摸屏显示器能够向计算设备提供输入。
发明内容
通常，本说明书中所述主题的创新方面可以体现在包括以下动作的方法中，在触摸屏上显示多个按键，接收向所述触摸屏的用户输入，所述用户输入包括与所述触摸屏的接触，响应于接收所述用户输入，确定与所述接触相关联的空间信息并且生成所述接触的图像，基于所述图像和所述空间信息来确定输出，以及执行所述输出。此方面的其他实现包括对应的系统、装置和编码在计算机存储设备上的被配置为执行所述方法的动作的计算机程序。
这些及其他实现方式可以每个可选地包括以下特征中的一个或多个。例如，触摸屏可配置为显示触摸屏键盘，所述触摸屏键盘包 括多个按键；所述空间信息包括所述图像的位置；动作进一步包括生成多个概率分布并且基于所述概率分布来确定所述输出；每个概率分布与所述多个按键的按键与所述用户的手指中的一个或两者相关联；每个概率分布基于所述图像的特征和所述图像的所述位置中的一个或两者；确定输出包括基于所述概率分布选择所述多个按键的按键，所述输出对应于所述按键；所述图像使用包括表面声波感测、电容感测、红外感测和光学感测的一个或多个技术生成；动作进一步包括生成一个或多个手指模型，所述一个或多个手指模型中的每个手指模型基于至少一个图像；所述一个或多个手指模型对应于特定用户；动作进一步包括使用一个或多个分类机制分类所述图像，所述分类机制包括基于图像的分类和基于特征的分类；动作进一步包括基于确定所述接触的所述位置来分类所述图像；动作进一步包括通过将所述图像与所述一个或多个手指模型进行比较来分类所述图像；动作进一步包括基于所述图像来更新所述多个手指模型中的一个手指模型；动作进一步包括存储所述图像；动作进一步包括确定所述接触是叩击；动作进一步包括通过执行功能和在所述触摸屏上显示字符中的一个或多个来执行所述输出。
在附图和下文描述中阐述在本说明书中描述的主题内容的一个或者多个实现方式的细节。主题内容的其他潜在特征、方面和优点将从描述、附图和权利要求中变得清楚。
附图说明
图1描绘了包括显示在计算设备的触摸屏上的触摸屏键盘的示例计算设备。
图2描绘了从手指对触摸屏的接触生成的手指接触图像的示例集的表示。
图3描绘了可以根据本公开实现的示例模块。
图4描绘了可以在本公开实现方式中执行的示例过程。
图5是描绘了示例计算设备的示例组件的框图。
贯穿全文，相似参考标号表示对应部分。
具体实施方式
本公开的实现方式总体上涉及用于确定用户使用触摸屏接口(例如，触摸屏键盘)的输入意图的系统和方法。在某些实现方式中，当用户用一个或多个手指接触设备的触摸屏时，设备可以生成一个或多个相关联的手指接触图像并且将所述图像与设备上存储的手指模型进行比较。该比较可以使得设备能够例如估计手指概率集。在某些示例中，手指概率可以包括特定手指是接触触摸屏的手指的概率。手指概率可以通过假设特定手指到键盘指派来转换成字符概率集。进一步将字符概率集与从统计键盘几何模型获得的字符概率整合可以使得设备能够确定手指接触意图的最可能的字符。该最可能的字符可以被选择并且可以被显示在触摸屏上。通过此方式，用户在触摸屏表面上录入文本和/或命令的精度可以是宽松的。这显著改进了用户将文本快速且准确地输入设备的能力，以及设备的整体可用性。
图1描绘了包括显示在计算设备100的触摸屏104上的触摸屏键盘102的示例计算设备100。在图1的示例中，计算设备100是平板计算设备。然而，在其他实现方式中，计算设备100可以是包括触摸屏的台式计算机、包括触摸屏的膝上型计算机、个人数字助理(PDA)、包括触摸屏的移动电话、交互墙、交互平板、或者包括触摸屏的许多其他类型计算设备之一。
触摸屏104响应接触(例如，响应手指在触摸屏104上施加的力度)，并且该响应可以被调节。触摸屏104通常在计算设备100的表面上的限定区域内显示。触摸屏104还可以在包括纵向定向和横向定向的一个或多个定向中显示。在特定定向中，触摸屏104的高宽比可以变化以相对于触摸屏104的高度改变触摸屏104的长度。触摸屏104可以同时显示触摸屏键盘102以及可以包括触摸屏键盘102的输出的字符或其他图形表示的一个或多个其他图像中的一个 或多个。
图1的触摸屏键盘102显示在触摸屏104的较低区域(相对于图1描绘的定向)；然而，触摸屏键盘102通常可以显示在触摸屏104的任意区域内。触摸屏键盘102可以跨整个触摸屏104显示，或者可以在触摸屏104的一部分内显示。触摸屏键盘102可以以一个或多个键盘布局显示。示例键盘布局可以包括针对拉丁文的QWERTY布局、针对非拉丁文的QWERTY布局、针对拉丁文的非QWERTY布局和针对非拉丁文的非QWERTY布局。在某些示例中，触摸屏键盘字符键106上字符标签的字形和字体大小可以被改变。触摸屏字符键106对手指接触的响应可以是触摸屏104上显示的所生成的字符输出、触摸屏104上显示的一个或多个字符的删除、或者程序命令的执行。
图2描绘了从手指对触摸屏(例如，图1的触摸屏104)的接触生成的手指接触图像200的示例集的表示。如这里所使用的，术语手指包括人手的指部(即，手指或大拇指)。左手手指接触图像202包括左大拇指接触图像202a、左食指接触图像202b、左中指接触图像202c、左无名指接触图像202d和左小指接触图像202e。右手手指接触图像204包括右大拇指接触图像204a、右食指接触图像204b、右中指接触图像204c、右无名指接触图像204d和右小指接触图像204e。一个或多个手指接触202a-202e、204a-204e的图像可以响应于一个或多个手指与触摸屏之间的接触而生成。一个或多个手指接触的图像202a-202e、204a-204e可以例如在一个或多个手指接触触摸屏键盘和/或触摸屏中没有当前显示触摸屏键盘的不同区域时生成。
各种触摸感测技术可以用于生成手指接触图像，包括声表面波(SAW)技术、电容感测、红外感测和光学感测。预计这里所述的一个或多个触摸感测技术可以用于生成一个或多个手指接触图像。在某些实现方式中，手指接触图像可以以包括图像纹理、强度、图像轮廓、主图像轴的定向和基于图像区域的信息的一个或多个特征 为特性。
在某些示例中，电阻感测可以与包括由窄隙分离的导电层的触摸屏一起使用。当对象(诸如手指)通过向下按压触摸屏104向该触摸屏施加力度时，导电层彼此接触使得触摸屏104表现为具有连接输出的一对分压器。此连接使得电流变化，这被记为与触摸屏给定点的接触。电流的变化可以由控制器处理以生成表示手指与触摸屏接触的一个或多个图像(例如，图像202a-202e和204a-204e的一个或多个)。
在某些示例中，SAW技术使用在触摸屏上行进的超声波。当触摸屏104被接触时，超声波的一部分被吸收。超声波产生的变化位于接触的位置。此信息可以由控制器处理以生成表示手指与触摸屏接触的一个或多个图像(例如，图像202a-202e和204a-204e的一个或多个)。
在某些示例中，电容感测可以与触摸屏一起使用，该触摸屏包括具有微电容器阵列的电容触摸传感器。在某些示例中，微电容器的状态可以受与触摸屏的接触的影响。与触摸屏的接触扭曲了触摸屏的静电场，其位于接触的位置。此扭曲可以由控制器处理以生成表示手指与触摸屏接触的一个或多个图像(例如，图像202a-202e和204a-204e的一个或多个)。
在某些示例中，红外感测可以与触摸屏一起使用，该触摸屏包括红外LED阵列以及置于触摸屏边界周围的光检器对。LED光束以垂直模式和水平模式彼此交叉，其被与触摸屏的接触打断。该打断位于接触的位置并且由一个或多个传感器检测。控制器对该打断进行处理以生成表示手指与触摸屏接触的一个或多个图像(例如，图像202a-202e和204a-204e的一个或多个)。
在某些示例中，光学感测可以与触摸屏一起使用，该触摸屏包括置于触摸屏边界周围的LED并且可以基于受抑全内反射的现象，其中在触摸屏下面行进的LED光束在与触摸屏的接触时完全反射到光检器。该检测位于接触的位置，并且控制器对该打断进行处理以 生成表示手指与触摸屏接触的一个或多个图像(例如，图像202a-202e和204a-204e的一个或多个)。
在某些示例中，手指接触图像202a-202e和204a-204e可以包括形成对于接触触摸屏的每个手指唯一的图案的脊线和谷线。针对每个手指接触图像202a-202e和204a-204e，图像202a-202e和204a-204e属于10个手指的每个手指的概率可以被估计。每个图像202a-202e和204a-204e使用手指鉴别被分类为10个手指每个手指之一。在某些示例中，手指鉴别依赖于被指派给生成手指接触图像202a-202e和204a-204e的每个手指的手指模型或概率值集。此概率集可以在与键入信号的其他源组合时提供有用信号。在某些示例中，键入信号的其他资源可以包括图形键盘上的手指接触位置、语言模型(例如，字母级N元语法模型或词语级N元语法模型)或者限制许可字母排列的数目的词语的词典。在某些实现方式中，手指模型可以基于一个或多个参数，所述参数包括图像区域、主图像轴的定向和图像强度图。在某些示例中，手指模型可以为个别用户不断更新。
一旦接触的图像202a-202e和204a-204e生成，图像202a-202e和204a-204e就被滤波以移除噪声、被分析、被预处理以及被读取至矩阵。
在某些实现方式中，手指模型可以通过可选的注册过程生成并且通过没有被用户立即擦除的识别的手指图像202a-202e和204a-204e进行连续训练。在注册过程期间，可以提示用户将所有十个放在屏幕上，并且可以生成十个手指接触图像202a-202e和204a-204e。在某些实现方式中，用户可以同时将所有10个手指放在触摸屏上。在某些示例中，此过程可以被重复一次或多次。在某些实现方式中，用户可以同时将少于10个的手指放在触摸屏上，然后以一次一个或多个手指为一组继续将任意剩余手指放在触摸屏上，直到所有10个手指接触图像202a-202e和204a-204e被生成。在某些示例中，此过程可以被重复一次或多次。在某些示例中，注册过程可以在用户在触摸屏上键入的第一实例发生。在某些示例中，注 册过程可以在每次键入会话之前发生。在此情况下，用户在开始键入之前习惯性地将所有10个手指放在键盘上，并且计算设备100可以将此输入模式识别为注册过程。在某些示例中，用户可以注册小于10个的手指。
每个手指接触图像202a-202d和204a-204e相对于手指接触图像202e的位置分别确定对应于手指接触图像202d、202c、202b、202a、204a、204b、204c、204d和204e的相关联手指标签，其中第一手指对应于手指接触图像202e。
在某些实现方式中，注册过程可以被放弃。在某些示例中，手指模型可以由中性值初始化并且标志，使得接下来一系列的一个或多个手指接触图像202a-202e和204a-204e可以用于手指模型生成(直到所有10个手指模型被生成)。
在某些实现方式中，手指模型是可以包括用户在触摸屏上键入的历史上聚集的信息的聚集模型，其中新生成的手指接触图像202a-202e和204a-204e用于更新该聚集模型。当聚集时，指派给新图像的权重被设置使得其不太高(以避免误差)也不太低(使得模型可以快速更新)。为了减少模型中出现的误差的概率，异常规则集可以在模型被更新之前应用于新的手指接触图像202a-202e和204a-204e。例如，如果新的手指接触图像202a-202e和204a-204e很大程度上不同于当前模型中包括的手指接触图像202a-202e和204a-204e，则新的图像202a-202e和204a-204e将被搁置，直到采集到足够相似于该新的图像202a-202e和204a-204e以及彼此足够相似的若干附加图像202a-202e和204a-204e。在某些情况下，如果不同用户使用计算设备100，则新的手指接触图像202a-202e和204a-204e可能很大程度上不同于当前模型中包括的手指接触图像202a-202e和204a-204e。如果这些附加图像202a-202e和204a-204e彼此不相似，则其可以被丢弃。如果这些新的手指接触图像202a-202e和204a-204e彼此相似，则新的手指模型可以基于这些新的图像202a-202e和204a-204e生成，并且旧的模型可以被丢弃。
在某些实现方式中，手指模型可以包括子模型。在某些示例中，每个子模型基于单个图像202a-202e和204a-204e输入。一系列子模型形成队列，使得当新的手指接触图像202a-202e和204a-204e被认为违背手指模型时，其可以与队列中所有子模型进行比较并且接收总相似度得分。总相似度得分可以被确定并且可以量化新的图像202a-202e和204a-204e与手指模型之间的相似度。在某些示例中，总相似度得分可以基于新的图像202a-202e和204a-204e与每个子模型之间所有得分的加权平均。在某些示例中，从新的手指接触图像202a-202e和204a-204e与每个子模型的比较产生的最高匹配得分被作为总相似度的测量。在某些示例中，子模型的权重可以基于子模型的新近程度来提供(例如，越新近的子模型，指派给该子模型的权重越高)。
在某些实现方式中，更新手指模型的频率可以变化。在某些示例中，未校正的(即，还没有指派权重或得分)手指接触图像202a-202e和204a-204e可以用于更新手指模型。在某些示例中，手指接触图像202a-202e和204a-204e的子集可以用于更新手指模型。
各种分类机制可以用于分类手指接触图像，包括基于图像的分类和基于特征的分类。在某些示例中，一个或多个分类机制的组合可以用于分类手指接触图像。手指模型的表示可以基于使用的特定分类方法。在某些示例中，如果分类机制是基于图像的，则手指模型可以由图像202a-202e和204a-204e表示。在某些示例中，如果分类机制是基于特征的，则手指模型可以由特征和参数集表示。
在某些实现方式中，基于图像的分类基于先前生成的手指接触图像202a-202e和204a-204e。新的手指接触图像202a-202e和204a-204e与现存的基于图像的手指模型进行匹配以便估计新的手指接触图像202a-202e和204a-204e属于每个手指的概率。基于图像的分类可以使用各种方法实现，包括原始图像匹配、核心图像匹配和手指码图像匹配。
在原始图像匹配中，每个手指模型F_i(i＝1-10)包含N个子模型 的集合。每个子模型F_i,j(j＝1-N)基于先前采集的给定手指的图像(即，第i个手指的第j个子模型)。当新的手指接触图像202a-202e和204a-204e T生成时，T与每个子模型F_i,j之间的最小距离通过水平和垂直将T相对于F_i,j移位若干像素来获得。在某些示例中，确定这些最小距离的过程可以由相关领域的技术人员已知的标准技术进行优化。在某些示例中，确定这些最小距离的过程可以通过首先将T的中心点与F_i,j的中心点对齐来加速。
中心点可以被定义为大量图像的中心或者图像边界框的中心。在某些示例中，当中心点在T与F_i,j之间对齐时，最可能发生向新的手指接触图像202a-202e和204a-204e指派正确的手指模型。因此，在某些示例中，手指模型可以通过仅搜索围绕T与F_i,j的中心点的小区域来指派。由搜索这些小区域获得的最小距离很可能等于由搜索T与F_i,j的整个图像区域获得的最小距离。T与F_i,j的图像之间获得的距离度量可以是本领域技术人员已知的各种形式(例如，欧氏距离、城市街区距离等)
在核心图像匹配中，适当的手指模型可以根据先前采集的图像202a-202e和204a-204e的核心子图像(图像中围绕图像中心点的区域)而不是根据先前采集的图像202a-202e和204a-204e的整体来指派给新的手指接触图像202a-202e和204a-204e。在某些示例中，核心子图像可以通过从新的手指接触图像202a-202e和204a-204e中提取N×N像素的中心区域来获得，其中N小于新的图像202a-202e和204a-204e的像素总数，并且N是常量。T与F_i,j之间的最小距离继而可以通过将F_i,j水平和垂直位移T坐标内若干像素来确定。在某些示例中，确定这些最小距离的过程可以由相关领域的技术人员已知的标准技术进行优化。在某些示例中，确定这些最小距离的过程可以通过首先将T的中心点与F_i,j的中心点对齐来加速。
在某些示例中，由于N小于边界框中像素的总数，因此计算在核心图像匹配中比在原始图像匹配中可以更快地进行。此外，由于核心子图像位于手指接触图像202a-202e和204a-204e的中心，因此 不太可能生成通常与匹配整个图像202a-202e和204a-204e的边界相关联的误差。另一方面，触摸图像轮廓信息(即，边界外形)可能不被采集。为了对此进行补偿，在确定T与F_i,j之间的最小距离时可以考虑附加特征，诸如图像轮廓形状和图像区域。
在手指码匹配中，参考点与感兴趣的区域被标识在手指接触图像202a-202e和204a-204e上。在某些示例中，参考点可以被标识为图像202a-202e和204a-204e上凹脊的最大曲率的点。在某些示例中，感兴趣的区域可以被标识为围绕着参考点的圆形区域。在某些示例中，参考点可以基于细节点的集合。在某些示例中，感兴趣的区域可以被标识为封闭细节点的集合的矩形。在某些示例中，感兴趣的区域可以被标识为固定中心区域。针对此情况，T与F_i,j通常可能是未对齐的；然而，此未对齐被最小化，因为触摸屏104的用户倾向于以相似接近角用相同手指敲击相同的按键。
在某些实现方式中，使用固定中心区域与使用围绕可变参考点的感兴趣的区域相比可以提供更快的计算。
在某些实现方式中，感兴趣的区域可以被分配至扇区集合。例如，感兴趣的区域可以被分配至80个扇区。在某些示例中，如果感兴趣的区域是围绕最大曲率参考点的圆形区域，则感兴趣的区域可以被分配至同心环。在某些示例中，每个环可以被进一步分配至扇区(单元)的集合。在某些示例中，如果感兴趣的区域是矩形区域，则感兴趣的区域可以被分配至大小相等的更小矩形单元的集合。
在某些实现方式中，手指码匹配可以通过使用滤波器组滤波不同方向的感兴趣的区域来执行。示例滤波器可以包括加博滤波器。例如，计算设备从指派给每个扇区的灰度值的平均值计算平均绝对离差，从而提供手指码特征向量。在某些示例中，新的手指接触图像202a-202e和204a-204e的手指码特征向量与手指模型的手指码特征向量继而可以进行比较以确定他们之间的欧氏距离。
在基于特征的分类中，包括手指接触图像202a-202e和204a-204e的区域、图像202a-202e和204a-204e的定向和图像轮廓的形状的特 征集合用于将一个手指与另一手指进行区分。相关领域技术人员已知的标准机器学习技术(例如，使用线性分类器)用于训练模型并且分类新的手指接触图像202a-202e和204a-204e。在某些示例中，基于方向线素特征(DEF)的分类可以用于分类新的手指接触图像202a-202e和204a-204e，并且可以尤其用于中文字符和日文字符的识别。
在某些实现方式中，T中属于手指i的概率p_i可以根据以下示例关系由示例非线性函数f估计：
p_i＝f(d_i)   (1)
其中距离d在手指接触图像T与手指模型F_i,j之间测量。非线性函数f可以是各种形式之一。在某些示例中，可以假设新的手指接触图像202a-202e和204a-204e T与手指模型F_i,j之间的距离为正态分布。在此情况下，新的图像202a-202e和204a-204e属于手指i的概率可以与概率q_i成正比，其中q_i可以基于以下示例关系确定：
qi=12πσ2e-d22σ2---(2)]]>
新的图像202a-202e和204a-204e属于每个手指的概率合计为1；因此，q_i可以被正规化以基于以下示例关系提供概率p_i：
pi=qiΣi=110qi---(3)]]>
在某些实现方式中，手指的概率分布可以通过使用M×N手指至字符转换矩阵C来转换成字符概率分布，其中M是手指的总数并且N是触摸屏键盘104上字符的总数。给定手指i,C(i,k)定义字符k的条件概率。
在某些实现方式中，C(i,k)可以使用标准指派来初始化和计算，针对该标准指派假设QWERTY键盘布局上的标准手指指派。例如，在标准指派中，左中指(手指3)可以在字母e、d或c中的任意字母上叩击。因此，针对手指3，字母e、d或c中的每个字母被叩击的概率为1/3。右食指(手指7)可以在字母y、u、h、j、n或m中 的任意字母上叩击。因此，针对手指7，字母y、u、h、j、n或m中的每个字母被叩击的概率为1/6。在某些示例中，如果键盘布局是非Qwerty布局，则可以应用另一规范化手指指派。
在某些实现方式中，C(i,k)可以使用统一指派来初始化和计算，针对该统一指派不存在向特定触摸屏键盘按键106的手指指派的假设。因此，C(i,k)可以用1/N值初始化，并且无论检测到哪个手指，任意字符被叩击的概率相同。
在某些实现方式中，转换矩阵C可以被不断更新。例如，C可以通过随着当检测到手指i时字符k被录入并且未校正的次数计算C(i,k)来更新。因此，针对每个字符k的概率分布可以通过以下示例关系给出：
p_k＝p_iC(i，k)   (4)
在某些实现方式中，每个字符的概率分布可以从统计的键盘几何模型进行估计。在某些示例中，针对散布在用户目标按键的中心的周围的手指接触图像可以假设高斯分布。针对统计的键盘几何模型的此假设，可以使用贝叶斯规则估计作为目标字符的每个字符的概率。
在某些实现方式中，系统可以具有训练阶段，在该训练阶段期间手指模型从已知文本训练。例如，系统可以从用户以各种速度键入给定文本同时立即校正任意键入误差中进行训练。
在某些实现方式中，手指接触敲击手势可以通过在触摸屏键盘102上大幅度滑动手指来进行以调用程序命令。例如，在手指抬起事件后，计算设备100可以确定已经进行了敲击手势。此确定可以例如通过检测接触轨迹相对于触摸屏键盘字符按键106的大小的长度来进行。当长度通过设置阈值时，该接触可以被确定为敲击手势。在某些示例中，单、直线从右向左敲击可以用于调用擦除命令。这意味着用户可以通过在键入字符之后立即(即，没有叩击空格键)在触摸屏键盘102上的任意位置滑动手指足够长度(例如，大于按键宽度的长度)来擦除键入错误。还可以定义附加命令。在某些示 例中，两个手指从右到左敲击可以被定义为词语级擦除命令。在某些示例中，向上单或双敲击可以被定义为改变待大写键入的最后一个字母或词语的大小写，取决于是否录入空格。此外，如果敲击手势具有圆形曲率，最后一个字母或词语的大小写可以循环通过字母或词语的所有合理大小写，直到用户停止此动作。
在某些实现方式中，手指鉴别方法可以通过将手指接触鉴别改变成字符按键图像鉴别来进行修改。许多字符估计步骤是相似的，除了每个字符按键可以与图像模型或图像模型集相关联。这些模型可以根据所识别并且未校正字符上先前的手指接触图像202a-202e和204a-204e进行类似地更新。手指接触按键的角度可以被称为敲击角。因为相同手指的敲击角可以在按键之间变化，因此该方法可以在检测用户倾向于键入哪个按键方面略微更准确和更有辨别力。
在某些实现方式中，词语特定节拍模型(即，时间模型)可以被用作误差校正的附加信息。在某些示例中，词语特定节拍模型可以基于录入词语中连续字母i与i+1之间的时间段(T_i)以及录入该词语的总时间段。例如，词语特定节拍模型可以基于{T₁/T_w,T₂T_w,…,T_m/T_w}，其中m是词语中字母的总数。在某些实现方式中，统计键盘几何模型可以动态改变。在某些实现方式中，高维特征空间复合模型可以用于估计字符输出。例如，高维特征空间复合向量可以包括手指接触图像位置和字符条件概率。
图3描绘了可以根据本公开实现的示例模块300。在某些实现方式中，示例系统(诸如系统100)可以包括图像采集模块302、模型更新器模块304、手指模型模块306、图像分类模块308、手指至字符转换模块310、字符概率整合器模块312和键盘几何模块314。在某些示例中，每个模块可以被提供作为可以在计算设备(例如，图1的计算设备100)上执行的一个或多个软件模块和/或子模块。
在某些实现方式中，图像采集模块302可操作用于从用户的手指1-10中的一个或多个手指接收一个或多个手指接触之后生成手指接触图像202a-202e和204a-204e的一个或多个。在某些示例中，图 像采集模块302可以被配置为使用各种触摸感测技术中的一个或多个来生成手指接触图像202a-202e和204a-204e，包括电阻感测、SAW技术、电容感测、红外感测和光学感测。在某些示例中，图像采集模块302可以向模型更新器模块304和图像分类模块308中的一个或两者输出手指接触图像202a-202e和204a-204e。
在某些实现方式中，模型更新器模块304可操作用于从图像采集模块302接收一个或多个手指接触图像202a-202e和204a-204e，并且使用图像202a-202e和204a-204e来更新手指模型。在某些示例中，模型更新器模块304可以向所接收的图像202a-202e和204a-204e中的一个或多个指派权重，并且使用一个或多个经加权的图像来更新手指模型。
在某些示例中，模型更新器模块304可以在更新手指模型之前向所接收的图像202a-202e和204a-204e中的一个或多个应用异常规则集。例如，如果新的手指接触图像202a-202e和204a-204e很大程度上不同于当前模型中包括的手指接触图像202a-202e和204a-204e，则模型更新器模块304可以将新的图像202a-202e和204a-204e搁置，直到其接收到足够相似于该新的图像202a-202e和204a-204e以及彼此足够相似的若干附加图像202a-202e和204a-204e。如果新的手指接触图像202a-202e和204a-204e彼此不相似，则模型更新器模块304可以将这些图像202a-202e和204a-204e丢弃。如果新的手指接触图像202a-202e和204a-204e彼此相似，则模型更新器模块304使用这些图像202a-202e和204a-204e来更新手指模型。
在某些示例中，模型更新器模块304可以将新的手指接触图像202a-202e和204a-204e与队列中的子模型集进行比较。模型更新器模块304可以向新的图像202a-202e和204a-204e指派总相似度得分，并且使用经评分的图像202a-202e和204a-204e来更新相关联的手指模型。
在某些示例中，模型更新器模块304可以向手指模型模块306提供所接收的手指接触图像202a-202e和204a-204e，而不需要向图 像指派任意权重或者向图像应用异常规则集。在某些示例中，模型更新器模块304可以使用所接收的手指接触图像202a-202e和204a-204e来更新手指模型，而不需要向图像指派任意权重或得分或者向图像应用异常规则集。在某些示例中，模型更新器模块304可以使用手指接触图像202a-202e和204a-204e的子集来更新手指模型。
在某些实现方式中，一旦模型更新器模块304更新手指模型，则其可以向手指模型模块提供经更新的模型。在某些示例中，模型更新器模块304可以改变其更新手指模型的频率。
在某些实现方式中，手指模型模块306可操作用于在手指注册过程期间从模型更新器模块304接收一个或多个手指接触图像202a-202e和204a-204e。在手指注册过程期间，用户可以将一个或多个手指放在触摸屏104上，并且图像采集模块302可以生成一个或多个相应的手指接触图像202a-202e和204a-204e。图像采集模块302可以向模型更新器模块304提供图像202a-202e和204a-204e，并且模型更新器模块304可以向手指模型模块306提供图像202a-202e和204a-204e。手指模型模块306可以使用图像202a-202e和204a-204e来生成一个或多个新的手指模型。
在某些实现方式中，注册过程没有被使用，并且手指模型模块306可以生成一个或多个新的手指模型而不需要使用手指接触图像202a-202e和204a-204e。在某些示例中，手指模型模块306可以用中性值初始化所述一个或多个新的手指模型并且标志这些模型使得接下来一系列的一个或多个手指接触图像202a-202e和204a-204e可以用于手指模型生成(直到所有10个手指模型被生成)。
在某些实现方式中，手指模型模块306可操作用于从模型更新器模块304接收一个或多个经更新的手指模型。在某些示例中，手指模型模块306可以丢弃相应更新手指模型的先前版本。在某些实现方式中，手指模型模块306可操作用于指示计算设备100存储手指模型。
在某些实现方式中，图像分类模块308可以从图像采集模块302接收一个或多个手指接触图像202a-202e和204a-204e，并且从手指模型模块306接收一个或多个手指模型。在某些示例中，图像分类模块308可以通过使用基于图像的分类机制(诸如原始图像匹配、核心图像匹配和手指码匹配)将手指接触图像202a-202e和204a-204e与手指模型进行比较来计算手指概率的集合。在某些示例中，图像分类模块308可以通过使用基于特征的分类机制将手指接触图像202a-202e和204a-204e与手指模型进行比较来计算手指概率的集合，所述基于特征的分类机制使用特征(诸如图像202a-202e和204a-204e的区域、定向和轮廓形状)以便将一个手指与另一手指进行区分。一旦图像分类模块308计算了手指概率的集合，图像分类模块308就可以向手指至字符转换模块310提供该集合。
在某些实现方式中，手指至字符转换模块310可以从图像分类模块308接收手指概率的集合，并且生成手指至字符转换矩阵。在某些示例中，手指至字符转换模块310可以假设QWERTY键盘布局上的标准手指指派来初始化矩阵并且计算矩阵。在某些示例中，手指至字符转换模块310可以假设统一指派来初始化矩阵并且计算矩阵，针对该统一指派不存在向特定按键的手指指派的假设。在某些示例中，手指至字符转换模块310可以在每个字符针对给定手指确定被录入并且未校正时不断更新矩阵。在某些实现方式中，手指至字符转换模块310可以向字符概率整合器模块312提供经计算的手指至字符转换矩阵以及手指概率的集合。
在某些实现方式中，字符概率整合器模块312可以从手指至字符转换模块310接收手指至字符转换矩阵以及手指概率的集合。在某些示例中，字符概率整合器模块312可以从键盘几何模块314接收统计的键盘几何模型，并且基于该模型来计算字符概率的集合。在某些实现方式中，字符概率整合器模块312可以通过使用所接收的手指至字符转换矩阵和所接收的手指概率的集合来估计每个字符作为目标字符的概率。在某些实现方式中，字符概率整合器模块312 可以基于统计的键盘几何模型通过使用字符概率的集合来进一步估计每个字符作为目标字符的概率。因此，字符概率整合器模块312可以基于一个或多个手指至字符转换矩阵和手指概率的集合以及基于统计的键盘几何模型的字符概率的集合来计算经估计的字符概率的最终集合。基于该经估计的字符概率的最终集合，字符概率整合器模块312可以选择具有最高概率的字符，并且向计算设备100提供该字符，该计算设备100可以在触摸屏104上显示该选定的字符。在某些实现方式中，字符概率整合器模块312可以通过将所提供的字符与手指接触图像202a-202e和204a-204e相关联并且向计算设备100提供此信息来更新统计的键盘集合模型。
在某些实现方式中，键盘几何模块314可以从计算设备100接收统计的键盘集合模型。在某些示例中，键盘几何模块314可以向字符概率整合器模块312提供该统计的键盘集合模型。
图4描绘了可以在本公开实现方式中执行的示例过程400。示例过程400可以使用计算设备执行。例如，图1的计算设备100可以用于执行该示例400。
当用户用其一个手指接触触摸屏键盘102并随后抬起该手指时，计算设备100可以确定该触摸为叩击(402)，并且图像采集模块302可以生成手指接触图像202a-202e和204a-204e(404)。基于图像202a-202e和204a-204e在触摸屏上的位置以及当前手指模型，图像分类模块308可以估计手指概率集(406)。手指至字符转换模块310可以估计字符概率的第一集合(即，手指至字符转换矩阵)(408)。字符概率的第一集合可以基于手指接触图像202a-202e和204a-204e的位置。在某些示例中，字符概率整合器模块312使用手指概率的集合来更新字符概率的第一集合(410)，从而提供经更新的字符概率的集合。在某些示例中，字符概率整合器模块312可以基于统计的键盘几何模型进一步估计字符概率的第二集合(412)。该第二集合可以与经更新的集合整合以估计字符概率的最终集合(414)。基于字符概率的最终集合，字符概率整合器模块312可以确定具有最 高概率的字符并且向触摸屏104提供该字符(416)。
在某些示例中，字符概率整合器模块312可以识别所提供的字符是退格字符。在某些实现方式中，字符概率整合器模块312可以识别所提供的字符不是退格字符，并且模块312可以通过将所提供的字符与手指接触图像202a-202e和204a-204e相关联来更新统计的键盘几何模型。在某些示例中，模型更新器模块304可以更新当前字符模型。
在某些实现方式中，当用户用其一个手指接触触摸屏键盘102并随后抬起该手指时，计算设备100可以确定该触摸为敲击手势。在某些示例中，敲击手势可以对应于擦除命令，并且计算设备100可以向触摸屏104提供擦除命令并且在触摸屏104上执行该擦除命令。在某些示例中，当执行擦除命令时，手指模型基于由先前手指接触生成的手指接触图像202a-202e和204a-204e进行更新。在某些示例中，敲击手势可以对应于不同的手势(例如，字母大小写改变)，其还可以向触摸屏104提供并且在触摸屏104上执行。
图5是描绘了示例计算设备500的示例组件的框图。通常，示例计算设备500作为平板计算设备被提供，该平板计算设备包括可以用作平板计算设备500的用户接口的触摸屏502。然而，在某些实现方式中，计算设备500可以是包括触摸屏的台式计算机、包括触摸屏的膝上型计算机、个人数字助理(PDA)、包括触摸屏的移动电话、交互墙、交互平板、或包括触摸屏的许多其他类型计算设备之一。平板计算设备500内的许多组件提供用于与平板计算设备500交互。为了清楚起见，图5示出了平板计算设备500的某些示例组件。平板计算设备500可以通过网络(例如，因特网)使用无线接口522与服务器进行通信。
在平板计算设备500中包括的一个或多个处理器上运行的若干组件使得用户能够与触摸屏502交互以提供输入并且接收视觉输出。例如，接口管理器516可以管理与触摸屏104的交互并且包括显示器管理器512和输入管理器514。
显示器管理器512可以使用触摸屏502管理向用户显示的信息。例如，在平板计算设备500上运行的操作系统可以使用显示器管理器512来判决针对平板计算设备500上运行的若干应用518而对触摸屏502的访问。例如，平板计算设备500可以显示若干应用，每个应用在其触摸屏502上自己的窗口中，并且显示器管理器512可以控制每个应用的哪些部分显示在触摸屏502上。在某些示例中，显示器管理器512可以控制触摸屏502的定向(即，纵向定向或横向定向)。在某些示例中，显示器管理器512可以控制触摸屏键盘的布局(即，Qwerty布局或非QWERTY布局)。
输入管理器514可以使用触摸屏502或其他输入机制来控制接收自用户的数据的处理。例如，输入管理器514可以与输入识别引擎517协调以标识触摸屏502上用户正在接触触摸屏502的位置，使得平板计算设备500可以将该接触指派给特定触摸屏字符按键。另外，输入识别引擎517可以确定哪个模块应当被调用作为输入的结果。例如，使用触摸屏502向平板计算设备500的输入可以是用户接触触摸屏502同时键入。如参考图3和图4所述，用户手指的接触轨迹可以确定应当访问哪个模块300。在某些情况下，输入识别引擎517可以确定平板计算设备500中由用户手指接触的区域，并且形成此确定，进一步确定在平板计算设备500上运行的应用的哪些功能被用户调用并控制。
一个或多个传感器524可以感测平板计算设备500的移动。示例传感器524可以包括一个或多个加速器、陀螺仪和指南针。平板计算设备500可以使用由一个或多个传感器524生成的信号来确定移动的方向和速度。
平板计算设备500可以提供视觉、触觉和听觉反馈作为与计算设备500的用户交互。平板计算设备500可以使用显示器管理器512提供视觉反馈以在触摸屏显示器104上显示虚拟制品。平板计算设备500可以使用平板计算设备500中安装的一个或多个处理器来提供音频反馈以生成音频音调(例如，哗哗、咔哒)用于一个或多个 扬声器528上的音频输入。平板计算设备500可以使用平板计算设备500中安装的一个或多个处理器来提供音频反馈以生成出声的词语用于一个或多个扬声器528上的输入。出声的词语可以基于用户选择的项目或动作，该用户操纵平板计算设备500同时控制虚拟制品以选择项目或动作。平板计算设备500可以通过驱动一个或多个马达526来提供触觉反馈以便振动平板计算设备500。
用户数据数据库520可以存储关于特定用户偏好或参数的信息。在某些示例中，数据库520可以存储由手指模型模块306生成或者由模型更新器模块304更新的一个或多个手指模型。在某些示例中，数据库520可以存储可以向键盘几何模块314提供的一个或多个统计的键盘几何模型。
可以在数字电子电路装置中或者在包括本说明书中公开的结构及其结构等效物的计算机软件、固件或者硬件中或者在它们中的一项或者多项的组合中实现本公开内容的实现方式和这里提供的功能操作中的所有功能操作。本公开的实现方式可以实现为一个或者多个计算机程序产品、即在计算机可读介质上编码的用于由数据处理装置执行或者控制数据处理装置的操作的一个或者多个计算机程序指令模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质组成或者它们中的一项或者多项的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器、例如包括一个可编程处理器、一个计算机或者多个处理器或者计算机。装置除了包括硬件之外还可以包括为讨论的计算机程序创建执行环境的代码、例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一项或者多项的组合的代码。
可以用包括编译或者解译语言的任何形式的编程语言编写计算机程序(也称为程序、软件、软件应用、脚本或者代码)，并且可以用任何形式部署它、包括作为独立程序或者作为适合用于在计算环境中使用的模块、部件、子例程或者其他单元。计算机程序未必 对应于文件系统中的文件。程序可以存储于保持其他程序或者数据的文件的部分中(例如存储于标记语言文档中的一个或者多个脚本)、专用于讨论的程序的单个文件中或者多个协同文件(例如存储一个或者多个模块、子程序或者代码部分的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个地点或者分布于多个地点并且由通信网络互连的多个计算机上执行。
在本公开内容中描述的过程和逻辑流程可以由一个或者多个可编程处理器执行，该一个或者多个可编程处理器执行一个或者多个计算机程序以通过对输入数据操作并且生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路装置、例如FPGA(现场可编程门阵列)或者ASIC(专用集成电路)执行，并且也可以实施装置为该专用逻辑电路。
适合于执行计算机程序的处理器例如包括通用和专用微处理器二者和任何种类的数字计算机的任何一个或者多个处理器。通常，处理器将从只读存储器或者随机存取存储器或者二者接收指令和数据。计算机的单元可以包括用于执行指令的处理器以及用于存储指令和数据的一个或者多个存储器设备。通常，计算机也将包括用于存储数据的一个或者多个海量存储设备、诸如磁盘、光磁盘或者光盘或者操作地耦合成从该海量存储设备接收数据或者向该海量存储设备传送数据或者二者。然而，计算机无需具有这样的设备。另外，计算机可以嵌入于另一设备中，聊举数例，该另一设备例如是移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备、例如包括半导体存储器设备如EPROM、EEPROM和闪存设备；磁盘如内部硬盘或者可拆卸盘；光磁盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路装置补充或者并入于专用逻辑电路装置中。
为了提供与用户的交互，可以在计算机上实施本公开的实现方式，该计算机具有用于显示信息以及用于向计算机提供输入的显示 设备(例如，触摸屏)。其他种类的设备也可以用来提供与用户的交互；例如向用户提供的反馈可以是任何形式的感官反馈、诸如视觉反馈、听觉反馈或者触觉反馈；并且可以用包括声音、话音或者触觉输入的任何形式接收来自用户的输入。
尽管本公开内容包括某些细节，但是这些不应解释为对公开内容的或者可以要求保护的内容的范围的限制、但是实际上解释为对公开内容的示例实现方式的特征的描述。也可以在单个实现方式中组合提供本公开内容中的在单独实现方式的背景中描述的某些特征。反言之，也可以在多个实现方式中单独或者在任何适当子组合中提供在单个实现方式的背景中描述的各种特征。另外，虽然上文可以描述特征为在某些组合中作用并且甚至起初这样要求保护，但是在一些情况下可以从要求保护的组合中去除来自该组合的一个或者多个特征，并且要求保护的组合可以涉及子组合或者子组合的变化。
类似地，尽管在附图中按特定顺序描绘操作，但是这不应理解为要求按所示特定顺序或者按依次顺序执行这样的操作或者执行所有所示操作以实现希望的结果。在某些境况中，多任务和并行处理可以是有利的。另外，在上文描述的实现方式中分离各种系统部件不应理解为在所有实现方式中要求这样的分离，并且应当理解，描述的程序部件和系统一般可以一起集成于单个软件产品中或者封装到多个软件产品中。
这样，已经描述本公开内容的具体实现方式。其他实现方式在所附权利要求的范围内。例如在权利要求书中记载的动作可以按不同顺序来执行而仍然实现希望的结果。已经描述多个实现方式。然而将理解可以进行各种修改而未脱离公开内容的精神实质和范围。例如可以在重新排序、添加或者去除步骤时使用上文所示流程的各种形式。因而，其他实现方式在所附权利要求的范围内。