《从手持式计算机化设备的替代触摸板进行用户输入的方法.pdf》由会员分享，可在线阅读，更多相关《从手持式计算机化设备的替代触摸板进行用户输入的方法.pdf（33页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103995610 A (43)申请公布日 2014.08.20 C N 1 0 3 9 9 5 6 1 0 A (21)申请号 201410055219.1 (22)申请日 2014.02.19 13/770,791 2013.02.19 US G06F 3/041(2006.01) G06F 3/0488(2013.01) (71)申请人瀚思科技股份有限公司 地址美国加利福尼亚 (72)发明人罗童 (74)专利代理机构中国国际贸易促进委员会专 利商标事务所 11038 代理人马景辉 (54) 发明名称 从手持式计算机化设备的替代触摸板进行用 户输入的方法 (57)。
2、 摘要 本发明提供了从手持式计算机化设备的替代 触摸板进行用户输入的方法。本发明涉及一种手 持式计算机化设备，其在正面面板上具有位映射 显示屏幕，并且在替代位置安装有触摸板。更具 体而言，本发明涉及一种方法和图形用户界面，其 例如可以使得用户能够看到来自设备背面的用户 的手指位置和运动叠加在正面面板上的虚拟键盘 布局上。这可允许用户使用设备背面的触摸板键 区来输入击键和鼠标动作，并且这些将以“虚拟手 指”或等同物的形式反映在手持式计算机化设备 的正面的显示屏幕上。系统通过将触摸板数据输 入到人类手部的软件生物力学和解剖学模型中， 该模型可选地由视频或图像信息来补充以完善此 模型。 (30)优先。
3、权数据 (51)Int.Cl. 权利要求书4页 说明书13页 附图15页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书13页 附图15页 (10)申请公布号 CN 103995610 A CN 103995610 A 1/4页 2 1.一种创建在操作手持式计算机化设备的同时用户的一个或多个手部的至少一些部 分的虚拟图像的方法，所述手持式计算机化设备包括至少一个触摸板、至少一个图形显示 屏幕、至少一个处理器、存储器和软件，所述方法包括： 利用所述触摸板获得关于用户的手指和/或手部的位置和移动的数据； 所述触摸板位于所述手持式计算机化设备的与所述至少一个显示屏。
4、幕的位置不同的 位置； 根据人类手部的生物力学和解剖学模型分析来自所述触摸板的关于所述用户的手指 和/或手部的位置和移动的所述数据，并且将关于所述用户的手指和/或手部的位置和移 动的所述数据指派到所述人类手部的所述生物力学和解剖学模型上的特定手指，从而作出 关于用户的手部和手指的位置的预测； 利用所述人类手部的所述生物力学和解剖学模型，以及对用户的手部和手指的位置的 所述预测，来计算至少所述用户的手指的图形表示； 在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少所述用户的手 指的所述图形表示。 2.如权利要求1所述的方法，其中，通过获得用户的一个或多个手部的至少一个完整 或部分图像。
5、来补充或完善人类手部的生物力学和解剖学模型。 3.如权利要求2所述的方法，还分析用户的一个或多个手部的所述至少一个完整或部 分图像以计算所述人类手部的所述生物力学和解剖学模型的一个或多个用户参数； 并且使用所述人类手部的所述生物力学和解剖学模型的所述一个或多个用户参数来 替换所述人类手部的所述生物力学和解剖学模型的一个或多个默认参数。 4.如权利要求3所述的方法，其中，所述一个或多个用户参数包括所述用户的一个或 多个手部的至少一个或多个远端指骨或中间指骨或近端指骨或掌骨的长度。 5.如权利要求2所述的方法，其中，所述手持式计算机化设备还包括至少一个视频相 机，该至少一个视频相机被配置为拍摄接近。
6、所述至少一个触摸板的空间的区域的至少一部 分，但未被配置为拍摄所述触摸板的表面； 其中，当所述用户在触摸所述触摸板时，所述用户的手指的至少远端指骨的位置未被 所述至少一个视频相机所拍摄； 其中，用从所述至少一个相机获得的所述人类手部的至少非手指区域的实时视频图像 来进一步补充或完善人类手部的生物力学和解剖学模型。 6.如权利要求1所述的方法，其中，所述触摸板位于所述手持式计算机化设备的与所 述手持式设备的保持所述至少一个图形显示屏幕的那侧不同的一侧。 7.如权利要求1所述的方法，其中，所述触摸板能够检测在所述触摸板的表面上方所 述用户的手指的接近； 其中，当所述用户的手指与所述触摸板的表面之间。
7、的距离大于零时，所述触摸板能够 辨别所述距离。 8.如权利要求1所述的方法，其中，所述软件包括校准软件，以使得所述人类手部的生 物力学和解剖学模型能够被根据触摸板数据校准，以更精确地匹配所述用户的手指和/或 手部的生物力学和解剖学特性；并且 其中，所述生物力学和解剖学特性至少包括用户的手指的长度，从而允许所述人类手 权 利 要 求 书CN 103995610 A 2/4页 3 部的所述模型对于多个不同的手部配置确定所述用户的手指的长度。 9.如权利要求1所述的方法，用于帮助用户输入数据到所述手持式计算机化设备中， 还包括： 在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少一个数据输。
8、入 位置； 其中，所述至少一个数据输入位置是包括多个数据输入位置的键盘或键区的图形显 示，或者其中所述至少一个数据输入位置是超链接。 10.如权利要求9所述的方法，其中，每当所述计算机化设备确定所述用户的手部上的 至少一根手指离开了触摸板并且所述至少一根手指的位置和运动历史与所述用户的手部 上的所述至少一根手指敲击所述触摸板上的与所述至少一个图形显示屏幕上的所述至少 一个数据输入位置的位置一致的位置的能力一致时，就在所述至少一个图形显示屏幕上突 出显示所述至少一个数据输入位置； 其中，所述突出显示在所述至少一根手指敲击所述键区上的下一位置之前开始。 11.如权利要求9所述的方法，其中，所述至少。
9、一个数据输入位置包括字母数字字母数 据输入位置，并且其中所述软件包括预测性键入软件，该预测性键入软件被配置为推断用 户接下来有可能要键入的最可能的一个或多个字母、以及用户将用来键入此最可能字母的 最可能的一根或多根手指，并且所述计算机化设备利用由所述预测性键入软件作出的击键 预测以及关于使用所述触摸板的所述用户的手指和/或手部的位置和移动的所述数据来 计算至少所述用户的手指的图形表示。 12.如权利要求9所述的方法，其中，所述至少一个图形显示屏幕上的至少所述用户的 手指的图形表示是半透明的，以使得能够同时观察图形显示和所述用户的手指；或者 其中，所述至少一个数据输入位置是半透明键盘或半透明键区。
10、的图形显示，从而允许 在所述图形显示上运行的当前应用的细节与所述半透明键盘或半透明键区一起被可视化。 13.一种创建在操作手持式计算机化设备的同时用户的一个或多个手部的至少一些部 分的虚拟图像的方法，所述手持式计算机化设备包括至少一个触摸板、至少一个图形显示 屏幕、至少一个处理器、存储器和软件，所述方法包括： 在所述手持式计算机化设备的所述至少一个图形显示屏幕上还显示至少一个数据输 入位置； 利用所述触摸板获得关于用户的手指和/或手部的位置和移动的数据； 所述触摸板位于所述手持式计算机化设备的与所述至少一个显示屏幕的位置不同的 位置； 根据人类手部的生物力学和解剖学模型分析来自所述触摸板的关于。
11、所述用户的手指 和/或手部的位置和移动的所述数据，将关于所述用户手指和/或手部的位置和移动的所 述数据指派到所述人类手部的所述生物力学和解剖学模型上的特定手指，从而作出关于用 户的手部和手指的位置的预测； 其中，通过获得用户的一个或多个手部的至少一个完整或部分图像来补充或完善人类 手部的生物力学和解剖学模型； 使用所述人类手部的所述生物力学和解剖学模型，以及对用户的手部和手指的位置的 所述预测，来计算至少所述用户的手指的图形表示； 权 利 要 求 书CN 103995610 A 3/4页 4 在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少所述用户的手 指的所述图形表示， 其中，所。
12、述至少一个图形显示屏幕上的至少所述用户的手指的所述图形表示与所述至 少一个数据输入位置之间的距离向所述用户给出了信息来帮助所述用户在所述至少一个 触摸板上定位所述用户的手指和/或手部以将用户数据输入到所述至少一个数据输入位 置中。 14.如权利要求13所述的方法，还分析用户的一个或多个手部的所述至少一个完整或 部分图像以计算所述人类手部的所述生物力学和解剖学模型的一个或多个用户参数； 并且使用所述人类手部的所述生物力学和解剖学模型的所述一个或多个用户参数来 替换所述人类手部的所述生物力学和解剖学模型的一个或多个默认参数； 其中，所述一个或多个用户参数包括所述用户的一个或多个手部的至少一个或多个。
13、远 端指骨或中间指骨或近端指骨或掌骨的长度。 15.如权利要求13所述的方法，其中，所述手持式计算机化设备还包括至少一个视频 相机，该至少一个视频相机被配置为拍摄接近所述至少一个触摸板的空间的区域的至少一 部分，但未被配置为拍摄所述触摸板的表面； 其中，当所述用户在触摸所述触摸板时，所述用户的手指的至少远端指骨的位置未被 所述至少一个视频相机所拍摄； 其中，用从所述至少一个相机获得的所述人类手部的至少非手指区域的实时视频图像 来进一步补充或完善人类手部的生物力学和解剖学模型。 16.如权利要求13所述的方法，其中，所述软件包括校准软件，以使得所述人类手部 的生物力学和解剖学模型能够被根据触摸板。
14、数据校准以更精确地匹配所述用户的手指和/ 或手部的生物力学和解剖学特性；并且 其中，所述生物力学和解剖学特性至少包括用户的手指的长度，从而允许所述人类手 部的所述模型对于多个不同的手部配置确定所述用户的手指的长度。 17.如权利要求13所述的方法，用于帮助用户输入数据到所述手持式计算机化设备 中，还包括： 在所述手持式计算机化设备的所述至少一个图形显示屏幕上显示至少一个数据输入 位置； 其中，所述至少一个数据输入位置是包括多个数据输入位置的键盘或键区的图形显 示，或者其中所述至少一个数据输入位置是超链接。 18.如权利要求17所述的方法，其中，每当所述计算机化设备确定所述用户的手部上 的至少一。
15、根手指离开了触摸板并且所述至少一根手指的位置和运动历史与所述用户的手 部上的所述至少一根手指敲击所述触摸板上的与所述至少一个图形显示屏幕上的所述至 少一个数据输入位置的位置一致的位置的能力一致时，就在所述至少一个图形显示屏幕上 突出显示所述至少一个数据输入位置； 其中，所述突出显示在所述至少一根手指敲击所述键区上的下一位置之前开始。 19.如权利要求17所述的方法，其中，所述至少一个数据输入位置包括字母数字字母 数据输入位置，并且其中所述软件包括预测性键入软件，该预测性键入软件被配置为推断 用户接下来有可能要键入的最可能的一个或多个字母、以及用户将用来键入此最可能字母 权 利 要 求 书CN 。
16、103995610 A 4/4页 5 的最可能的一根或多根手指，并且所述计算机化设备利用由所述预测性键入软件作出的击 键预测以及关于使用所述触摸板的所述用户的手指和/或手部的位置和移动的所述数据 来计算至少所述用户的手指的图形表示。 20.如权利要求17所述的方法，其中，所述至少一个图形显示屏幕上的至少所述用户 的手指的图形表示是半透明的，以使得能够同时观察图形显示和所述用户的手指；或者 其中，所述至少一个数据输入位置是半透明键盘或半透明键区的图形显示，从而允许 在所述图形显示上运行的当前应用的细节与所述半透明键盘或半透明键区一起被可视化。 权 利 要 求 书CN 103995610 A 1/。
17、13页 6 从手持式计算机化设备的替代触摸板进行用户输入的方法 0001 相关申请的交叉引用 0002 本申请是2010年5月4日递交的标题为“METHOD FOR USER INPUT FROM THE BACK PANEL OF A HANDHELD COMPUTERIZED DEVICE”、发明人为Tong Luo的美国专利申请 12/773,075的部分继续案；本申请也是2011年9月1日递交的标题为“DETACHABLE BACK MOUNTED TOUCHPAD FOR A HANDHELD COMPUTERIZED DEVICE”、发明人为Tong Luo的美国专 利申请13/2。
18、23,836的部分继续案；申请12/773,075进而又要求2010年4月23日递交的 标题为“METHOD,GRAPHICAL USER INTERFACE,AND APPARATUS FOR USER INPUT FROM THE BACK PANEL OF A HANDHELD ELECTRONIC DEVICE”、发明人为Tong Luo的美国临时申请 61/327,102的优先权；这些申请的内容都通过引用并入在此。 技术领域 0003 本发明涉及具有安装在背面面板或主体的其他部分而不是显示屏幕上的触摸板 的手持式计算机化设备。更具体而言，本发明涉及使得用户能够看到叠加在显示屏幕的键 。
19、盘布局上的来自设备背面的用户手指位置和运动的方法和图形用户界面。这使得用户更容 易从安装在手持设备的背面面板或其他部分上的触摸板输入击键和鼠标动作。 背景技术 0004 诸如蜂窝电话、个人数字助理（PDA）、游戏设备、平板PC（例如iPad）等等之类的手 持式计算机化设备（即，配备有微处理器和高级显示器的设备）在日常生活中正扮演着越来 越重要的角色，并且正变得越来越不可或缺。随着技术的进步，以及手持式计算机化设备的 处理能力的改进，功能和存储器空间都在以惊人的步伐增长。同时，手持式计算机化设备的 大小继续变得越来越小。 0005 为了迎接此挑战，手持式计算机化设备的设计者通常使用两种方法。一种。
20、方 法是使键盘键越来越小，使键微型化。此外，可以赋予键盘键多种功能即使其重载 （overloaded），并且也在引入更复杂功能的键盘键。 0006 另一种方法是在正面面板上使用触摸屏幕键盘，或者说所谓的“软键”。这里，用户 可使用手写笔或手指来通过图形用户界面选择软键。然而，由于由显示屏幕引入的光幻觉， 以及用户的手指经常在各种显示屏幕软键之上（因此阻挡了对他们的直接查看）这个事实， 软键不能太小。另一个问题是，当软键太小时，经常单根手指按压会激活多个键。结果，设 计者可能必须将键划分成不同的群组和层次，并且只在屏幕上显示少数的键。 0007 这两种当前方法都有一些严重的缺陷：用户输入区域占用。
21、正面面板的很大部分， 并且用户输入过程虽然要求花大量的用户注意力来操作，但却仍是很易出错的。 0008 用户经常必须使用一只手来握持着手持式计算机化设备，并且使用另一只手来输 入数据，从而占用了两只手。为了完成一个相当简单的输入，用户经常必须要经过一长序列 的键击，并且在不同的用户界面屏幕之间来回切换。结果，为了高效地操作手持式计算机化 设备，会有一个相当大的学习曲线来让用户学习重载键、功能键、键分组和键层次。 说 明 书CN 103995610 A 2/13页 7 0009 虽然先前的工作者，例如Libenow等人的美国专利6,909,424提出了在设备的背 面有传感器并且在设备的正面表示用。
22、户手指的设计，但这个现有技术工作未能充分地描述 在显示面板上显示用户的手指或手部的象征的过程。 0010 其他先前的工作者，例如Westerman等人在美国专利申请2008/0211766中描述了 如下系统：其中，图像传感器将会获得在操作设备的同时用户手指的图像，并且使用此图像 数据来更好地确定用户的手指在敲击哪些真实或虚拟键。然而，这种方法依赖于以能够查 看用户手指的尖端的方式定位的图像传感器。这类图像传感器放置在许多类型的手持式用 户计算机化设备上经常是难以实现的。Westerman方法的另一个缺陷是其在低光线情形中 难以实现。此方法在平滑且平坦的书桌或桌子空间有限的情形中可能也是难以实现。
23、的。 发明内容 0011 因此，希望有更高效且用户友好的方式来对手持式计算机化设备进行用户输入。 本发明对于上述这些问题给出了有效的解决方案。本发明通过将先前通常未使用的背面面 板空间用于用户输入，解放了正面面板上的原始键盘空间来用于应用。本发明既能够应对 键盘输入也能够应对鼠标输入。本发明在正面面板屏幕上给出了极好的图形用户界面，在 这里，在键盘布局的显示（虚拟键盘）上方，用户可以看到其握持着背面面板的手指的实时 位置和运动。本发明的方法比当前的触摸屏幕键盘更精确，因为其去除了当前存在于手指 和触摸板之间的显示层。其还将用户的手指从正面面板移开，从而使得用户的手指不会阻 挡对手指当前在操作的。
24、软键或区域的查看。对于更小的手持设备，例如蜂窝电话、iPhone TM 或iPad TM ，握持设备的手现在也可以进行输入，因此解放了另一只手来进行其他活动。 0012 从而，本发明的一个目的是提供一种对于手持式计算机化设备提供更高效且用户 友好的用户输入的方法。 0013 本发明的另一个目的是释放小电子设备的正面面板上当前由键盘占用的空间，并 且将手持设备的背面面板上的通常未使用的空间用于用户输入用途。 0014 本发明的另一个目的是给出一种视觉上吸引人的用户界面设计，其使得握持设备 的手指的实时位置和运动其通常会被设备本身隐藏而不能查看能够以“虚拟手 指”的形式与键盘布局的显示（虚拟键盘）。
25、一起被显示在正面面板上。用户的手指位置和键 盘布局或者可显示为背景图像，或者可显示为当前在手持设备上运行的应用中的一些或全 部之上的透明层。用户的手指位置和虚拟键盘的这些半透明表示允许了用户容易地输入数 据，并同时继续允许用户对在手持设备上运行的各种应用的无阻碍访问。从而，例如，在缺 少物理键盘的平板计算机设备上可以在无需代码修改的情况下容易地运行原本为具有物 理键盘的计算机设备编写的应用。从而，也给出用户的手指运动的信息的这些虚拟半透明 键盘和方法可以非常有用。 0015 本发明的另一个目的是使得握持设备的手也能够进行用户输入操作，因此解放了 另一只手来进行其他输入或用于其他用途。 0016。
26、 在一个实施例中，本发明包括一种设备和方法，其具有：在正面面板上的显示屏幕 （其可以是位映射显示屏幕）；嵌入在背面面板上的触摸板，其能够感测用户的手指位置和运 动，以及图形用户界面。此图形用户界面通常将包括软件和可选的图形加速硬件两者以使 得能够在显示屏幕上迅速显示复杂的图形。设备还具有可选的虚拟键盘处理器，其显示键 说 明 书CN 103995610 A 3/13页 8 盘布局，并且实时地计算并显示用户的手指位置。从而可以计算并以所有其他应用之上的 层的形式在前显示屏幕上显示用户的手指在背面面板的触摸板上的位置和运动，其中该层 可以是半透明层。虚拟键盘处理器还可解释手指运动（敲击），并且基于。
27、键盘上的手指位置 的已知位置来调用相应的操作。 0017 然而，与诸如Liebenhow这样的现有技术不同，用户的手指不需要被约束为放置 到触摸板的特定区域上，而是可布置在任何任意位置。与诸如Westerman这样的其他现有 技术不同，虽然可提供与用户手部的至少某个部分有关的视频信息的实时视频在某种程度 上可辅助本发明，但用户手指尤其是用户手指的尖端的可视化是不必要的。这使 得可以使用为一般摄影目的设计的手持设备视频相机来帮助可视化用户手部，而不要求用 户手部的大部分实际上被拍摄。完全不要求用户的手指尖端在操作设备的同时被拍摄。 附图说明 0018 图1是显示握持背面面板的手指的位置和运动的手。
28、持式计算机化设备的正面面 板视图。 0019 图2是手持式计算机化设备的背面面板视图。 0020 图3是显示多组键的手持式计算机化设备的正面面板视图。 0021 图4是同时显示握持背面面板的手指的位置和运动以及多组键的手持式计算机 化设备的正面面板视图。 0022 图5是显示与背面面板的触摸板接触的一根手指的位置和运动的更小的手持式 计算机化设备的正面面板视图。 0023 图6是同时显示与背面面板的触摸板接触的一根手指的位置和运动和多组键的 更小的手持式计算机化设备的正面面板视图。 0024 图7是显示作为标准键盘的键布局的另一实施例的手持式计算机化设备的正面 面板视图。 0025 图8是示出。
29、正面面板屏幕、背面面板触摸板、虚拟键盘处理器和设备存储器之间 的主要组件和数据流的框图。 0026 图9示出了可如何校准和调适手部和手指运动的生物力学模型来帮助将原始触 摸板数据变成用户的手部和手指位置的精确模型。 0027 图10示出了可如何使用预测性键入方法来提高在键入的同时虚拟手部和手指的 外观的精确度。 0028 图11示出了对于手指接近触摸板，触摸板灵敏度的动态变化可如何辅助突出显 示用户在虚拟键盘上键入的同时即将敲击的虚拟键。 0029 图12示出了在设备的图形显示屏幕上生成虚拟手部和手指的图像的方法。 0030 图13示出了人类手部的生物力学和解剖学模型，示出了有皮肤覆盖的内部骨。
30、架 结构。 0031 图14示出了可如何由设备的相机或另外的相机来拍摄用户的一个或多个手部， 并且此图像信息可用于完善用户手部的生物力学和解剖学模型的默认参数。 0032 图15示出了可如何使用设备相机来获得在使用设备的触摸板的同时用户手部的 部分图像，并且此信息也用于更新并完善用户手部的生物力学和解剖学模型。 说 明 书CN 103995610 A 4/13页 9 具体实施方式 0033 本发明涉及一种手持式计算机化设备，其在正面面板上具有位映射显示屏幕，并 且在背面面板、侧面板或除了显示屏幕外的其他区域上安装有触摸板。更具体而言，本发明 涉及一种方法和图形用户界面，其使得用户能够看到用户从。
31、设备后方的手指位置和运动叠 加在正面面板上的虚拟键盘布局上。 0034 从正面来看的此配置在图1中示出。可以看出，用户正握持着类似于Apple iPad TM 或等同物的手持式电子平板设备（100）。设备的正面面板被大图形显示屏幕（102）占用，该 图形显示屏幕可以是位映射图形显示屏幕。其实，在一些实施例中，整个正面面板屏幕或正 面面板可被此图形显示屏幕（102）占用。用户利用他或她的手部（104）握持设备（100），其 中用户的拇指（106）在设备前方，并且用户的手指（108）在设备后方。虽然设备（100）不是 透明的，然而图形显示屏幕（102）被示为表示用户手指（108）的图形表示以及用户。
32、的手指 明显在触摸不可见表面（110）的区域。此表面（110）对应于用户手指的尖端的实时手指打 印图像。 0035 图2示出了手持式计算机化设备（100）的背面。与先前在图1中示出的设备（100） 的包含大图形显示屏幕的正面不同，手持式计算机化设备的背面不包含大图形显示屏幕， 而是包含大触摸板（200）。可以看出，现在可以看到用户的手指（208）定位在触摸板上方， 其中用户手指的尖端（210）触摸着触摸板。 0036 注意，在一些实施例中，此背面触摸板可作为否则就缺少这种背面触摸板的手持 式计算机化设备的改装或附加组件提供。这种方法和系统例如“夹式”背面触摸板 在父申请13/223,836中有。
33、更详细描述，这里通过引用并入该父申请的内容。 0037 图3示出了一种可能的可选“虚拟键盘”被显示在设备（100）的大图形显示屏幕 （102）上的图。在此示例中，“虚拟键盘”具有符号键区（300）、数字键区（302）和QUERTY键 区（304）。注意，在许多实施例中，可以以轮廓线或半透明的形式描绘键以免掩盖在图形显 示屏幕（102）上运行的任何其他图形应用。 0038 此方案允许了用户可选地使用设备背面的触摸板键区来输入键击和鼠标动作，并 且这些将以“虚拟手指”或等同物的形式反映在手持式计算机化设备的正面的显示屏幕上。 如前所述，正面面板上的此虚拟键盘布局可具有标准的或经修改的QUERTY键。
34、盘或键区、数 字键盘或键区（数字输入键盘）或者可替换地具有一些不那么标准的键盘或键区，例如音乐 键盘、Qwerty、Azerty、Dvorak、Colemak、Neo、土耳其语、阿拉伯语、亚美尼亚语、希腊语、希 伯来语、俄语、摩尔多瓦语、乌克兰语、保加利亚语、梵文字母、泰国语、高棉语、藏语、中文、 韩语（朝鲜语）、日语或其他类型的键盘。通常，此键区将是半透明的键区，以允许用户继续 查看在虚拟键盘下方的显示屏幕上运行的各种应用程序。 0039 图4示出了在电子设备的背面安装的触摸板上键入的用户可如何看到设备（100） 的图形屏幕（102）上的他或她的手指（108）的图形表示以及虚拟键盘布局（30。
35、0、302、304） （例如先前在图3中论述的那种）的示例。从而增强了用户输入数据的能力，因为用户可以 从视觉上判断他或她的手指（108）与所关注的键区键（300、302和304）之间的距离并且适 当地移动他或她的手指来击中期望的键。用户还可以点击超链接，例如链接1、链接2等等， 或者其他可点击的对象。 说 明 书CN 103995610 A 5/13页 10 0040 因为从显示屏幕移开了用户的操作手指，所以手指将不会阻挡对显示屏幕的软 键、软按钮、链接或其他区域的查看。现在可以更精确地看到这些区域，这进而允许了对设 备的更精确操作。 0041 这对于诸如Microsoft Surface 。
36、TM 系列、Windows8等等之类的一些更新平板计算 机可以是尤其有坐标的特征，这些平板计算机可以在针对传统触摸输入设计的第一平板操 作模式和从传统的桌面操作系统衍生而来的针对更精确的鼠标输入而优化的第二桌面操 作模式之间交替操作模式。通过使能这种更严密的控制，以下情形变得更可行了：用户在传 统桌面模式中操作这种类似“Surface”的设备，而无需使用鼠标或其他手部操作的指点器 具。 0042 因为正面键盘不再必要，所以本发明释放了设备上否则可能用于正面面板上的原 始键盘空间的空间，并且为额外的显示和应用创造了空间。本发明利用了当前通常不使用 的正面面板空间，从而使得正面显示器能够示出大得多。
37、的虚拟键，或者其间有更多空间的 虚拟键。 0043 本发明可以产生吸引人的视觉效果，以及有用的视觉效果，因为用户可以看到他 或她的握持着背面面板并从而通常被阻挡而不能查看的手指与虚拟的（计算机生成的）键 盘布局显示一起虚拟地显示在正面面板上。因为用户的手指位置、手指触摸区域、手指运动 和虚拟键盘都从正面面板可见，所以在位于设备的背面面板上的触摸面板上的用户手指输 入既是合乎直觉的也是易于使用的。不会有学习曲线，也不需要特殊的训练。本发明的用 户输入方法比传统的触摸屏幕键盘更精确，因为这些方法去除了手指与触摸板之间的掩盖 层，并且操作手指不会阻挡查看。对于诸如蜂窝电话和iPhone之类的小手持设。
38、备，本发明 使得握持设备的手能够执行文本输入和其他命令，因此解放了另一只手来进行其他活动。 0044 注意，虽然经常会呈现虚拟键盘，但根据这些方法也可以使用诸如互联网浏览器 上的超链接等等之类的替代数据输入兴趣点。 0045 或者，在与正面面板的屏幕上的当前应用相分离的区域上，可显示包括数字、字母 和符号在内的多组键的布局（很像经常用于软键的传统分离显示区域）。 0046 此方法的一个重要优点是利用本可选虚拟键盘和虚拟手指方法的设备不需要具 有物理QUERTY键区或物理QUERTY键盘，或者任何其他类型的物理键区，例如物理数字输入 键区或物理数字输入键盘。这帮助了改善设备人体工程学，从而允许了。
39、更大的图形显示屏 幕，并且还降低了成本。 0047 图5是更小的手持式计算机化设备（500）的正视图，该设备经常可以是蜂窝电话 大小的设备（例如，Apple iPhone TM 大小的设备），具有更小的图形显示屏幕（502），显示与背 面面板的触摸板接触（110）的多根手指（108）的位置和运动。 0048 图6是同一个更小的手持式计算机化设备（500）的正视图，其同时显示与背面面 板的触摸板接触（110）的多根手指的位置和运动以及多组键（300、302、304）。 0049 图7是手持式计算机化设备（100）的图形显示（102）的正视图，其显示作为标准键 盘的键布局的另一实施例（经修改的QU。
40、ERTY键盘或键区）。 0050 在一个方面中，本发明是一种由计算机实现的方法，包括：手持式计算机化设备， 其在正面具有能够显示图形用户界面的屏幕，并且具有触摸敏感背面面板（或侧面板或除 显示屏幕以外的其他区域）用户界面，例如二维触摸传感器。为了简单，不需要一定是平板 说 明 书CN 103995610 A 10 6/13页 11 的并且不需要一定安装在设备的背面的此触摸敏感面板有时将被称为触摸敏感背面面板， 但这种用法并不打算是限制性的。 0051 触摸传感器将实时地确定手指的运动，并且设备的软件和（一个或多个）处理器将 使用触摸传感器数据来计算触摸背面面板上的触摸传感器的用户手指的实时位置。
41、和运动。 这些“虚拟手指”随后将被显示在设备的图形用户界面上、静态背景的上方，在这里可选地 可显示多组键，包括数字、字母和符号（例如，虚拟键盘）或超链接。通过观看用户的虚拟手 指在虚拟键盘上的运动，用户可以容易地操作设备，并且可选地精确确定在何处敲击手指 以便击中期望的虚拟键。 0052 这里，可以用鲜明但非妨碍性的颜色来描画背面面板用户界面（UI）的轮廓并将其 显示为当前应用上方的透明层，因此当前应用和背面面板UI的所有细节都被显示给用户。 0053 或者，握持背面面板的手指的实时位置和运动可被在正面面板的屏幕上。 0054 或者，包括数字、字母和符号在内的多组键的布局可被显示在正面面板的屏。
42、幕上， 作为握持背面面板的手指的实时位置和运动的背景。 0055 或者，握持背面面板的手指的实时位置和运动可被显示在包括数字、字母和符号 在内的多组键的静态背景上，使得用户能够精确地在期望的键上敲击手指。 0056 或者，虚拟手部的显示可以是有创造性的并且有美感的。例如，显示可以改为示出 骨架、动物爪子、毛茸茸的手、带纹身的手等等，以实现更吸引人或有趣的效果。 0057 在另一方面中，本发明是一种由计算机实现的方法，包括手持式计算机化设备，其 具有安装在背面面板上的触摸板，其中触摸板能够感测多根手指的触摸、移动和敲击运动。 这里，一根或多根手指的手指运动的信息包括运动类型（例如，触摸、移动和敲。
43、击模式 等等）和运动位置被传递到虚拟键盘处理器（例如计算机处理器）。虚拟键盘处理器可 分析手指运动，将手指位置与登记的键（虚拟键）以及超链接和应用程序的其他触摸按钮 （统称为“用户输入区域”）的位置相比较，然后将决定用户输入区域中的哪个项目被敲击。 虚拟键盘处理器随后可调用相应的操作。虚拟键盘处理器还可在每次手指运动之后更新手 指或指肚或者其实是（一个或多个）用户手部在正面屏幕上的实时图像。 0058 这里，触摸板可安装在手持式计算机化设备的背面面板上，并且可能够感测多根 用户手指的触摸、移动和敲击运动。 0059 或者，与多根用户手指的手指运动有关的信息包括运动类型（例如，触摸、移 动和敲击。
44、动作等等）以及运动位置可被传递到虚拟键盘处理器。 0060 或者，虚拟键盘处理器可以分析手指运动、将手指位置与登记的键位置相比较，确 定哪个键被敲击，并且调用相应的操作。 0061 或者，虚拟键盘处理器可更新握持背面面板的手指的实时位置和运动。 0062 在另一方面中，本发明是用于手持式计算机化设备的图形用户界面。此界面可包 括对包括数字、字母和符号在内的多组键的显示。这些可显示在正面面板屏幕上的图形用 户界面上，并且其实此区域可占用整个屏幕。这里，图形用户界面的内容不被应用所阻挡， 并且与应用一起被示出。 0063 在另一方面中，本发明是用于手持式计算机化设备的图形用户界面。此界面包括 对握。
45、持背面面板的手指的实时位置和运动的显示。这里，该显示在正面面板屏幕上，并且实 际上可占用整个屏幕。由于此方法的优点，用户的手指位置和运动的内容不被应用或者包 说 明 书CN 103995610 A 11 7/13页 12 括数字、字母和符号在内的键组的显示所阻挡。 0064 在另一方面中，本发明可以是一种帮助用户输入数据到手持式计算机化设备中的 方法。此手持式计算机化设备经常将包括至少一个触摸板（经常位于手持式计算机的在设 备的持有图形显示屏幕的那侧后面的一侧）、至少一个图形显示屏幕、至少一个处理器、存 储器和软件。然而，通常，手持式计算机化设备将缺少QUERTY键区或键盘，并且可能甚至也 缺。
46、少数字键区或键盘。该方法通常将包括在设备的所述至少一个图形显示屏幕上显示至少 一个数据输入位置。这至少一个数据输入位置经常将会是可包括多个数据输入位置的键盘 或键区的图形显示。这里，系统将使用触摸板来获得关于用户的手指和/或手部的位置和 移动的数据。系统可根据人类手部的生物力学和解剖学模型来分析关于用户的手指和/或 手部的位置和移动的数据，并且将把关于所述用户的手指和/或手部的位置和移动的数据 指派到人类手部（通常是用户的手部）的这个生物力学和解剖学模型上的特定手指。系统随 后可使用人类手部的这个生物力学和解剖学模型来计算至少是用户的手指并且常常是用 户手指和（一个或多个）用户手部两者的图形表。
47、示。系统随后将在设备的图形显示屏幕上显 示至少用户手指（并且同样经常是用户的手指和手部两者）的图形表示。从而，图形显示屏 幕上的用户手指的图形表示与数据输入位置（例如虚拟键盘）之间的距离将给出将会帮助 用户在触摸板上适当地定位他/或她的手指和/或手部的信息，这进而将促进用户输入。 0065 图8示出了可用于实现本发明的一个实施例的软件和硬件的概况。这里，首先从 背面面板触摸板收集手指位置和运动数据（800），然后将其传递到虚拟键盘处理器（802）。 虚拟键盘处理器（其经常由软件和诸如微处理器、图形处理器、触摸板控制器和存储器之类 的硬件的组合实现）将虚拟手指位置和运动与键盘布局一起显示在正面面。
48、板屏幕上（804）。 虚拟键盘处理器还分析手指位置和运动信息、将其与登记的键（或超链接）的位置相比较并 且调用适当的操作（806）。键盘位置信息可被编程在虚拟键盘进程中，或者可保存在系统存 储器中（808）。用户打算传递到应用的按键或超链接信息可通过存储器或者通过进程间通 信被传递到虚拟键盘控制器。 0066 触摸板技术 0067 原则上，对于此设备可使用许多不同类型的触摸板技术，包括电容式感测（由 Gerpheide在美国专利5,305,017中例示）、电导感测、电阻式电测、表面声波感测、表面电 容感测、投影电容感测、应变仪、光学成像、色散信号技术、声脉冲识别以及双向屏幕感测。 然而，在优选。
49、实施例中，可以使用不要求大量手指压力的触摸板感测技术，以及能够同时感 测多个手指位置的触摸板技术。这种同时感测多个手指位置或手势的能力经常被称为多点 触摸或多点触控感测技术。 0068 适用于本发明的适当的多点触控触摸板技术的一个良好示例由加州圣何塞的赛 普拉斯半导体公司（Cypress Semiconductor Corporation）生产的Cypress TrueTouch TM 投影电容产品家族例示。2007年1月17日Robert Jania在白皮书“CypressCapSense Successive Approximation Algorithm”（CSA RJO.doc）中描述的技术通过检测手指存在 或接近电容式传感器来工作。因为此触摸板系统感测手指接近，而不是手指压力，所以其很 适合于多点触控应用，因为取决于电容检测电路的调谐和下层的触摸板弹性，可以分析从 轻到重的各种程度的手指压力。虽然经常用于触摸屏幕，但如Jania所教导的，此方法实际 上能够与很。