用于远程、 虚拟屏幕输入的系统和方法 相关专利的交叉引用
本申请要求于 2009 年 7 月 22 日提交的美国临时申请专利第 61/227,485 号的权 利， 其内容通过引用结合到本文中并以此为依据。
版权和法律公告
本专利文献所公开的部分内容中包含的材料是受到版权保护的。 版权所有人并没 有反对有专利文件所有人做出的复制品或以在美国专利和商标局备案或记录的形式公开 的专利， 但保留所有版权。 另外， 本文中引用了第三方专利、 文献或产品型号， 不应被理解为 因为是在先发明所使用的材料而本发明没有权利使用。
背景技术 本发明涉及输入设备和方法， 尤其是用于多媒体服务、 应用及设备的数据输入和 发送指令的系统和方法。
众所周知， 利用诸如鼠标和键盘之类的输入设备， 将数据输入个人电脑 (PC) 或多 媒体系统 ( 诸如电视机、 机顶盒、 游戏机或其他电脑处理设备 )， 通过数据总线、 数据接口、 无线射频、 红外线、 蓝牙、 无线网络及数据集线器与个人电脑或其他设备相连。
将虚拟键盘与设备整合在一起， 使得用户无需触碰设备就能进行输入也很常见。 另外， 我们还知道， 用户通过穿戴数据手套实现输入。
我们也知道， 单点触控和多点触控键盘或输入设备能够实现来自用户的单个或多 个输入。换句话来说， 单点触控接口每次能够读取一个输入， 然而， 多点触控每次能够读取 / 感应两个或更多输入。
近来， 多点触控技术被应用于移动电话技术中。诸如法国的 Stantum 公司、 瑞士的 意法半导体公司、 美国的赛普拉斯半导体公司、 美国的安华高科技公司和美国的新思科技 股份有限公司之类的公司根据移动电话客户的需求正在发展多点触控技术。 多点触控输入 设备使用包括电阻式、 电感应、 热感应、 电容式或电磁感应触控和 / 或接近传感器之类的技 术来感应或成像感应范围内存在的物体。
由加利福尼亚丘珀蒂诺的苹果公司生产的 iPhone 提供了一种显示屏， 所述的显 示屏能够响应接近感应器， 在用户打电话将设备靠近脸时， 使得显示屏和触摸屏处于不活 动的状态。
像瑞士的 Atracsys 之类的公司正在开发一种非接触接口， 一个或多个用户能够 利用具有多点触控的设备屏幕， 通过在显示器附近做手势而无需触碰它就能实现交流。
其他已知的现有技术诸如通过电容感应技术和其他电磁技术， 用户的身体不需要 接触多点触控感应设备， 相反只需要放在足够靠近多点触控感应设备的地方以便能够解读 触摸输入。例如， 由华盛顿州雷德蒙市的微软研究院研发的 SIDESIGHT 允许用户通过在设 备边上的手指活动来控制多点触控移动设备的小屏幕上的图像， 而不需要触碰部件。参见 由 Alex Butler 等人撰写于 2008 年 10 月 19 日公开发表的文章 《SideSight ： 在小型设备 周围的多点 “触控” 互动》 ， 此文的内容通过引用结合到本文中。然而， 这样的技术正在进行
实际的应用， 否则， 将无法通过任何有效的途径应用到产品上。
当前已知的技术设备将触摸屏与基本的显示设备的屏幕整合在一起。 这使得用户 必须肢体上地接近基本的显示设备。 这样用户的手或手指可能会阻碍观看者看到显示设备 上的内容。另外， 较大的显示设备会释放出有害的电磁辐射。因此， 用户不希望在进行相关 的互动时接近这样的设备。 而且， 用户希望保持一种舒适的姿势， 这种姿势不是与大尺寸显 示设备互动时必要的姿势。使用当前技术的设备， 很可能导致用户无法选择个人习惯的姿 势来与这样的设备互动。 另外， 当多个用户观看同一个显示设备时， 这种设备便于一个用户 能够原理显示设备来控制设备的显示。
因此， 现在需要的是一种装置、 系统和方法， 给用户提供一种手段， 使他们利用远 程输入设备来远程触摸屏幕， 这种设备是方便携带的并且是与显示设备分开的。现在需要 的是一种装置、 系统和方法， 给用户提供一种能力， 使得他或她能够直接在具有整合的多点 触控表面上作出动作时便能够输入文本而不需要触碰显示屏。 另外， 还需要一种一种装置、 系统和方法， 允许用户观察虚拟键盘以及位于相对于显示设备上的虚拟键盘的正确位置上 的他或她的手指的虚拟图像。 发明内容 根据本发明的实施例， 一种用来远程、 虚拟屏幕数据输入的外设数据输入设备 (PDID 或外设设备 ) 包括接近传感器和数据通讯装置。所述的接近传感器适用于动态识别 外设设备附近的目标的活动。 数据通讯装置适用于将信号从接近传感器传输至连接远处显 示屏的处理器。 处理器在显示屏上构成输入栏的图像， 并且当实时察觉到遮盖物时， 目标的 虚拟图像就覆盖了输入栏的图像。
在另一个实施例中， 提供了一种系统和方法， 包括具有接近传感子系统 (PSS)、 信 号发射机和接口设备的外设设备， 这种外设设备适用于与普通的个人电脑或多媒体系统 ( 电视机、 机顶盒、 游戏机 ) 的处理器连接、 通讯及发送数据以及控制这些处理器 ； 并且 (b) 在处理器上执行指令来接收外设设备输入的数据， 当数据从接近感应子系统发出时， (1) 通 过指令在远处的显示屏上除了显示输入栏的虚拟图像外还显示了目标的虚拟图像， 在一个 典型的案例中， 用户的手指放在相对于在显示屏上的输入栏的图像的位置上， 所述的输入 栏的图像的位置是根据现实世界中外设设备上的输入栏的目标的位置而再现的二维平面 图， 并且 (2) 通过指令接收外设设备输入的数据并以一种适当的方式处理所发送的数据的 类别， 不管是代表文字、 语言还是指令输入。
尽管与本发明的优势无关， 但是大量本发明的实施例既能够被用于具有整合的触 摸屏的显示设备也能用于不包括触摸屏的设备。
本发明的目的是为了给用户一种在显示装置上的触摸屏的体验而并不一定要包 括整合的触摸屏。 取消了显示屏上的触摸屏硬件与整合有触摸屏感应器的大尺寸显示器相 比， 既有效的减少了硬件成本又增加了用户对适合他需求的显示设备以及外设设备组合的 选择。
本发明的另一个目的是为了让用户能够远离显示的键盘的虚拟图像将数据输入 虚拟键盘。通过这种方法， 提供给用户一种远程使用触摸屏显示设备 ( 相对于用户 ) 的体 验而无需肢体接触显示设备。
本发明另一个目的是使用户能够无需浏览远程输入设备而只要用户将他或她的 视线注视着显示设备便能输入数据。
本发明的另一个目的是让用户更加舒适并且增加与个人电脑或多媒体设备， 例如 多媒体播放器， 互动的灵活性。
本发明的另一个目的是让用户能够利用手或手臂给别的观看者做手势示意， 例 如， 虽然遮挡住远离用户的显示屏， 但是还是能够吸引观看者的注意。
本发明的另一个目的是通过使用虚拟键盘来避免印刷本发明的外设设备上键盘 的版面设计， 这些版面设计是以几个被接受的标准中的一个来设计的， 通常是以语言为基 础 ( 英语、 法语、 德语、 西班牙语、 数字键盘 )， 这样的版面设计是区域语言或从属的功能， 因 此这样就避免了制造、 贮存及根据用户常见的地域依赖性需求分发印刷键盘使用说明的逻 辑复杂性。 附图说明
图 1 是一种根据本发明的系统的实施例的透视图。 图 2 是透明模式下被目标遮挡的虚拟键盘的俯视图。图 3 是透明模式下被目标遮挡的虚拟键盘的俯视图， 这里的目标是拇指。
图 4 是用于根据本发明的系统和方法的实施例的外设设备的示意图。
图 5 是根据本发明的实施例的外设设备的框图。
图 6 是根据本发明的实施例的具有近距离悬停功能的触摸板模块的侧面示意图。
图 7A 所展示的是， 位于其上部的根据察觉到的悬停在空中的手指的位置而形成 的图像， 其下部所展示的是相对于输入面的悬停在空中的手指。
图 7B 所展示的是， 位于其上部的根据察觉到的接触表面的手指的位置而形成的 图像， 其下部所展示的是相对于输入面的接触表面的手指。
图 8 是展示了典型的输入类别的表格。
图 9 是根据本发明的第一种方法的流程图。
图 10 是根据本发明的三角测量步骤的示意图。
图 11 是根据本发明的实施例的混合触摸板模块的示意图。
图 12 是根据本发明的第二个可选的方法的流程图。
图 13 是每一个键都具有集成的光学接近检测器的键盘整列或键盘组的透视图。
本技术领域的技术人员会发现附图中说明的组件是简洁明了的， 并没有必要画出 它们的尺寸。例如， 为了有助于更好地理解本发明及其实施例， 组件的尺寸相对其它的组 件会被放大。而且， 本文所使用的 “第一” 、 “第二” 以及类似的词是为了区别两个类似的组 件， 并不是为了描述它们的顺序。此外， 像在说明书和 / 或权利要求书中出现的 “前” “后” 、 、 “顶” 和 “底” 以及类似的词不适用于描述它们专有的位置。本技术领域的技术人员因此能 够理解这些词语是能被其他词语代替的， 并且本文所描述的实施例除了那些明确的说明或 其他方面的描述外也能以其它方法来实施。 具体实施方式
下面的描述不是为了以任何方式来限定本发明的范围， 同样， 这些描述作为实际的范例并且在本发明提交后有助于描述出本发明最好的模式让发明家理解。因此， 对于公 开的实施例中所描述的任意组件的布局和 / 或功能做出的改变都不会背离本发明的精神 和范围
能够适用于本发明的技术， 换句话来说， 就是一些适用于本文所描述的功能的基 础硬件组件， 已经在美国专利第 7,653,883 号及于 2010 年 3 月 17 日提交的美国临时专利 第 61/314,639 号， 标题为 《用于捕捉手写批注的系统和方法》 中被公开， 这些内容通过引用 结合到本文中。
参见图 1， 根据本发明的系统 10 包括一个相互连接的电脑处理器 12( 封装的， 例 如， 装在个人电脑， 机顶盒或多媒体设备 14 中 )， 一个显示屏 16( 例如， 电视机， 电脑显示屏， 投影仪等 )， 一个输入设备 20 以及一个无线集线器 22。所述的电脑处理器 12 和操作系统 (OS)24 执行指令 26 来进行本发明的方法 30( 根据图 9 和 12 所描述的方法 )。为了模拟用 户 34 在外设设备 20 上执行的输入功能及相应的位置， 所述的指令 26 在操作系统 24 中被 执行来接收并处理来自外设设备 20 的数据以便在显示设备 16 上显示目标 36 的图像 32 以 及至少一个外设设备 20 的输入栏 40 的图像 33。
如图所示的可选择的外设设备 20 的多点触控输入面 44 被整合入外罩 46 中， 所述 的外罩 46 能够通过键控与主输入设备 38 分开。 虽然此处所述的目标 36 代表用户的一根手指或多根手指， 但是也能够代表很多 其他事物， 例如但不限于， 用户的一只手或一双手、 一条手臂或两条手臂、 手套或戒指等物 体上的标示器、 一支书写笔或多支书写笔、 一支铅笔或多支铅笔， 一支钢笔或多支钢笔和一 个指物棒或多个指物棒。
参见图 2， 优选的是， 目标 36 的图像以及用于显示屏 16 的显示窗口的输入面 40 的 图像是透明的 ( 例如， 以透明模式显示 )， 这样就能够看到显示屏上目标或输入栏的图像下 面的内容。
在一个输入的例子中， 用户 34 用普通的方式将信息输入输入设备 20。在另一个 输入的例子中， 如图 3 所示， 当用户用手握住外设设备 20、 20’ 、 20” 时， 用户很自然地用他或 她的两根拇指 37 来输入文本。在这样一个例子中， 用户的两根拇指 37 显示在显示屏 16 上 并正好位于虚拟图像 32 上， 这个位置正好是拇指悬停在外设设备的输入面 40、 44 上方的位 置。
在一个实施例中， 外设设备 20、 20’ 含有新兴的触摸数据输入设备的功能性， 例如 法国的 Stantum 公司、 瑞士的意法半导体公司、 美国的赛普拉斯半导体公司、 美国的安华高 科技公司和美国的新思科技股份有限公司生产的设备。在另一个实施例中， 外设设备 20 包 括一个提供键盘输入栏 42 的触控面 40， 根据用户 34 的选择， 在辅助指示设备或数字输入设 备 48 的外罩上还包括一个可供使用触控面 44。将触控面 40 和 44 分开就能够使用价格更 低的单点触控面作为触控面 40 来输入文本， 更昂贵的多点触控面 44 被最小化， 但是还是能 够通过多点触控输入在两个键盘覆盖物之间的切换来控制单点触控面 40 的操作模式。可 选的是， 当输入设备 48 通过无线网络与整合在外设设备 20 中的集线器 22 和 / 或通讯设备 ( 没有显示 ) 时， 输入设备 48 是能够随意移动的。
需要注意的是其他一些接近传感器也适用于本发明的应用。 传感器通过发射电磁 场或静电场或电磁辐射束 ( 例如， 红外线 ) 来工作， 并寻找接收范围内的变化或可用的反馈
信号。适用的传感器类型包括但不限于电感应、 电容式、 电容位移式、 涡电流式、 磁力感应、 电磁感应、 光电元件、 激光测距仪、 声纳定位、 雷达、 多普勒效应定位、 无源热红外感应、 无源 光感应、 离子辐射反射传感器、 弹片开关、 霍尔效应、 电阻变化、 导电变化、 共鸣 ( 例如， 超声 波或雷达波 )、 光谱识别技术和微气流变化 ( 感应两个传感器之间相对于大流量变化的当 前的气流变化 )。例如， 电容式或光电式传感器适用于塑料的目标， 而电感式接近传感器感 应金属目标， 以及霍尔效应传感器感应有磁性的目标。
光学传感应用， 例如， 红外接近传感， 包括使用光学传感电路感应光脉冲， 例如， 由 发射器发射的红外线， 一个类似用户手指的物体放在发射器 ( 例如， 激光二极管或 LED) 前 方或上方， 红外线被用户的手指反射至红外检测器 ( 例如， 光电二极管、 一种能够将光转换 成电流或电压的光电检测器， 具体转换成电流还是电压取决于它的工作模式 )， 检测器通常 设置在发射器的邻近位置或与发射器同轴并用于检测光强度的变化。 如果反射回的红外线 被检测到， 就会认为红外发射器附近有物体存在。如果没有检测到， 那么就认为不存在物 体。当检测到的光的反射点与触控面间距 0 毫米时， 那么就被认为有物体触碰了触控面并 且在触控面上无论什么动作都会被执行。 在这样一个案例中， 触碰的定义就是足够接近， 通 常是接触， 认定为触碰的触碰型号发送至处理器 12， 因此就能使传统的键盘也享受到触控 板的好处。同样是一个适合的红外接近传感器的例子， 安华高科技的接近传感器是形成小 型 SMT 封装的， 具有反射功能的， 非连接的传感器， 这样利用模拟输出就能提供 0 至 60 毫米 的检测范围。型号为 APDS-9101 的产品成本低， 适合于在移动应用及工业控制系统中使用， 整合了反射传感器、 包含了红外 LED 以及光电晶体管， 这样的设计使其能够在 0 至 12 毫米 内的监测范围内检测物体并非接触的接近传感。在美国专利申请第 11/418,832 号， 标题为 《用于输入设备的光学滑块》 中所描述的接近传感器， 其内容通过引用结合到本文中， 并且 已由加利福尼亚州费力蒙特市的罗技股份公司生产， 也能实现这个目的。 需要注意的是， 根 据本发明的一个实施例中所使用红外传感器在下文中结合附图 13 被描述的更加详细。
电容接近传感是接近传感中一个优选的装置， 利用了在它的传感范围内存在或不 存在目标时传感器上的电容量的变化是可测量的这一事实。 如果从表面上或原始状态上发 生的变化被检测到， 那么就认为存在目标。本发明中另一个可用的适合的电容接近传感器 系统是由德克萨斯州奥斯丁市的飞思卡尔半导体股份有限公司生产的产品。 飞思卡尔的型 号为 MPR08X 的接近控制器控制多个接近传感器， 因此允许对一个传感器几个不同的应用 进行控制。由于多重电极， 一个传感器就能够检测到多个点。例如， 接近电容触控传感器将 多个配置的触控板、 滑块、 旋转位置及机械按键用于用户接口。
另外， 其他的接近传感器 ( 例如， 飞思卡尔的型号为 MC33794 的产品 ) 能依靠中断 电场来使用， 利用了一个带有非常低的谐波的低频正弦波， 所述的正弦波的频率能通过外 设的电阻器来调节。电磁接近传感器扫描与输入接口相邻的天线周围的区域， 不断地检测 天线周围的电磁场的变化。 自动检测功能会在电磁场的变化与天线周围出现物体时的变化 一致时进行检测， 例如， 所述的物体是用户的手指。为了实现多个检测， 使用了多根天线。
另外， 还能够使用具有固定焦点的摄像头， 其中， 利用图像识别技术识别由摄像头 看到的图像， 摄像头自身利用人工智能技术来区分感应到的物体。这里， 为了进行接近检 测， 利用神经网络技术识别物体的图像， 为每个传感器区分类似手、 手指、 书写笔， 指物棒这 样的物体或不规则的物体。 触碰被定义为传感器检测不到光， 例如手指覆盖住整个摄像头。这样的实施例的例子将在下文中结合附图 12 被描述的更为详细。在这样的实施例中， 接近 传感系统能够组成一个摄像头阵列或摄像头组， 这样工作状态就像苍蝇的复眼一样。
超声波接近传感利用自然界中发现的技术， 这种技术是由蝙蝠在飞行过程中用来 辨别和避开附近的物体的。 应当注意的是， 当以本发明公开的内容为指导时， 在本领域普通 的技术人员的能力范围内对本发明进行适当修改来使用超声波接近传感。
关于磁力传感器， 它包括使用金属环或具有金属， 磁性物体或有目的性设置的塑 料部分的用户手套， 这样来优化带有这种传感器的接口的功能， 产生像更加精确地检测活 动等之类的有利功能。此外， 一些传感器具有调节表面上的接测范围的功能或用于报告标 有刻度的检测距离的装置。关于这样的检测器， 它使得用户能够改变参数 ( 通过配合电脑 或外设设备上的用户接口 ) 这样就能够根据用户的喜好使接近传感触控接口更快或更慢 地检测目标。这样的接近检测器在由国际公开委员会公开的 IEC60947-5-2 中被提到过， 其 内容通过引用结合到本文中。
参见图 4， 是本发明的应用中一个可选的包括单个多点触控面 45 的外设设备 20’ 的示意图。
可选的是， 键盘输入栏或区域 52 的轮廓的网格 50 被预先印在触控面 40 或 45 上， 或者触控面能够被整合入触摸显示屏中， 所述的触摸显示屏中显示了键盘输入栏或区域的 轮廓。电容触控屏 45 印有轮廓来限定键盘输入栏 52， 如果触碰了输入栏， 就会触发输入相 应所选的字母、 记号或命令。此外， 这样的输入栏 52 能够由液晶触控屏上的显示领域来限 定。 现在参见图 5， 在一个实施例中， 外设设备 20、 20’具有一个接近传感子系统 54(PSS)、 一个无线收发器 (T/R)56， 所述的无线收发器 56 用于发送和接受符合由 IR、 RF、 TM TM “蓝牙” 、 “WiFi” 制定的通讯协议的编码数据， 通过数据连接设备 (DCD， 例如天线 )58 将 数据和命令信号传输至处理器 12， 更优选的是通过无线集线器 22( 例如， 通过一个第二数 据连接设备和无线收发器 )。 在另一个实施例中， 接近传感子系统 54 是可选择的， 并且一个 根据本发明的实施例的系统是基于触碰的 ( 没有接近传感 )。指令 26 在处理器 12 中是可 执行的来接收来自外设设备 20、 20’ 数据输入。当数据从接近传感子系统 54 中发出后， 指 令 26 使得显示设备 16 上除了现实外设设备 20、 20’ 的虚拟图像 ( 或它的输入栏 42、 44) 外 还显示了目标 36 的虚拟图像 32， 所述的显示目标 36 的虚拟图像 32 在显示屏上的位置至少 是根据现实世界中的目标 36 相对于现实世界的外设设备 20、 20’ 的位置而再现的外设设备 20、 20’ 上的输入栏方向上的二维平面图的图像。然后指令 26 促使接收来自外设设备 20、 20’ 的数据输入并以适当的方式来处理数据对发送的数据进行分类， 辨别是否是输入字母、 单词或命令 ( 例如， 转换或控制功能 )。
参见图 6， 在一个实施例中， 外设设备 20、 20’ 包括具有附加的接近传感的触控板 TM 模块 60。一个基于由加利福尼亚州圣何塞市的赛普拉斯半导体公司研发的 “TRUETOUCH” 触摸屏解决方案的适合的远程多点触控设备被用于触控板模块 60 中。这种设备包含了电 容接近手指悬停功能。
在这样一个实施例中， 触控板模块 60 具有接近传感器 62， 所述的接近传感器以紧 凑的接近传感器阵列或接近传感器组 68 的形式被整合入触控板模块表面 64 中。一块薄的 TM 背光板 70( 例如， 由芬兰的 Modilis 公司生产的 “FLEXFILM” 厚度大约为 0.3-0.4 毫米 )
被加在接近传感器 62 的阵列 68 的上部， 上面覆盖着玻璃板 72( 厚度大约为 0.6-0.8 毫米 )， 可选的是， 玻璃板上可以涂上颜色来标记输入区域， 并封装在外罩 ( 没有展示 ) 内。
参见图 7A 和图 7B， 在上述的实施例中， 接近传感器 62 在目标接近多点触控面 74 时定位目标 36， 在这个案例中目标为手指。圆环 75 指示的是与网格 76 上的目标 36 相对应 的位置， 当检测到没有触碰时， 所述的圆环 75 是空心的。当检测到有物体接近时， 出现圆环 75， 并且圆环的尺寸通常表示目标 36 里多点触控面 74 的距离 d。
在图 7B 中， 当被检测目标 36 触碰到多点触控面 74 时， 表示目标位置的空心的圆 环 75 变成实心圆 80。通常， 当检测到触碰时， 目标 36 与多点触控面 74 之间的连接区域所 指出的尺寸为它的实际尺寸或至少保持关于输入表面的相对尺寸。
处理器 12 解读触碰或悬停信息， 如附图中所示的在网格 76、 76’ 上方的接近或触 碰的动作。根据网格的位置， 处理器 12 能够读取目标的位置， 决定是否发生触碰， 识别存在 多少个目标 36， 同时也估算目标离触控接口的距离并且， 当指示为触碰时 ( 即实心圆 80)， 决定触碰的表面有多大。
此处的外设设备 20、 20’ 包括多点触控模块 60， 数据输入及它的虚拟化能够像本 技术领域内已有的专利中所描述的那样被实现。例如， 美国专利申请第 11/696,703 号标题 为 《活动的触摸屏虚拟键盘的虚拟按键》 ， 其内容通过引用结合到本文中， 此文描述一种更 加详细的操作触摸屏的方法来使一组虚拟按键活动。根据有关触摸屏上的触控输入的位 置数据来决定触碰的位置， 其中所述的触控输入用来使一组虚拟按键活动。每一组虚拟按 键都具有一组至少含有一个按键位置与其一致的。对于每个虚拟按键来说， 将决定的条件 ( 例如物理距离 ) 用于虚拟按键来将触碰位置与一组至少含有一个按键位置与虚拟按键相 对应的位置联系起来。处理所决定的条件来确定虚拟按键中的一个。例如， 所确定的一个 虚拟按键是一个具有按键位置 ( 或更多个按键位置 ) 虚拟按键， 所述的按键位置最接近触 碰位置。产生一个代表着确定的虚拟按键激活的信号。产生一个代表着识别虚拟按键激活 的信号。再次参见图 2， 信号能能够高亮或强调特别的按键 82。
参见图 8， 一张图表 90 展示了根据本发明提供的实施例中的输入的典型的分类。 应该考虑到这只是一种典型、 并不详细的输入分类的例子。 简单的来说， 为了区别外设设备 20， 20’ 的操作模式， 要求在用户的身体部分上进行直接的多做。一个典型的例子是一个信 号目标 36 被接近传感子系统 54 感应到， 接收到的来自外设设备 20， 20’ 的输入数据被分类 为输入字母、 数字或标记， 优选的是， 这通过 “SWYPE” 技术 ( 促进基于手势的输入 ) 得到加 强。在感应到两个之间有一定距离的目标 36 情况下， 接收到的来自外设设备 20， 20’ 的输 入数据被分类为是命令或宏观输入。在感应到的两个目标 36 很接近的情况下， 接收到的 来自外设设备 20， 20’ 的输入数据被分类为定点设备控制输入。这种定点输入执行一个定 点子程序来处理接收得到的定点数据输入的数据， 以任何已知的方式来控制显示屏上的光 标。这种规定就给用户提供了一种透明输入模式。
需要注意的是， 对外设设备 20、 20’ 做出的输入能够具有各种由任何适用的协议来 限定的方法， 并且即使能将输入与其他输入设备 ( 例如， 从标准键盘输入到眨眼检测 ) 结合 起来而产生更多新的混合方法。
美国专利申请第 11/696,701 号标题为 《带有触摸屏的电脑操作》 ， 其内容通过引 用结合到本文中， 描述了触摸屏的使用来检测大量触发虚拟键盘显示的用户输入。美国专利申请第 10/903,964 号标题为 《用于灵敏的触摸输入设备的手势》 ， 其内容通过引用结 合到本文中， 描述了用于多个复合用户输入的手势的检测， 根据手势， 显示所选择的虚拟键 盘。美国专利第 11/696,693 号标题为 《虚拟输入设备在触摸屏用户接口上的位移》 ， 其内容 通过引用结合到本文中， 描述了在电脑的触摸屏上生成的显示。 在本申请中， 触摸屏与显示 设备的显示屏相似并且利用类似的硬件和处理步骤就能够用来生成虚拟输入设备的显示， 就像本文中所描述的外设设备或虚拟键盘的虚拟图像。
参见图 9， 本发明的方法 30 包括下列步骤， 步骤 100， 读取来自每个接近传感电极 的接近信号 ； 步骤 102， 检查接近信号是否超出了特征检测临界点并将它们归类为高接近 信号 ； 步骤 104， 根据指示出信号特征检测的传感电极的相应位置将高接近信号归纳为组 ； 步骤 106， 在每个组中， 识别本地最高的接近信号 ； 步骤 110， 通过处理每一个本地最高的接 近信号和它邻近的接近电极信号， 利用三角则两的方法来计算每个特征的 X、 Y、 Z 轴的位 置； 和步骤 112， 在虚拟键盘上显示每个特征的 X、 Y 轴上的正确位置并利用深度线索来显示 相应的 Z 轴位置。
现在参见图 10， 在本领域中利用一组接近传感器 114 来进行目标 36 的三角测量是 已知的。这样的处理被用于物体的 GPS 定位， 根据来自几个远程卫星的检测来计算物体的 位置。在附图中， 描述了利用四个接近传感器 114 来确定目标 36 的位置。由相应的传感器 114 分别测出目标 36 的距离 d1、 d2、 d3 和 d4。为了进行本文中所描述的追踪， 根据相应的 输入距离 d1 至 d4 来进行三角测量， 如此在三维空间上定位目标的点 116。 参见图 11， 在另一个实施例中， 外设设备 20， 20’ 使用多个三维接近传感模块 120。 模块 120 由一个 PCB122、 接近传感器 124、 具有双层 ITO 的触控板模块 126 或一个有规律的 触控板 PCB、 和一块玻璃板 132 组成。所述的 PCB122 上具有几个整合的接近感应器 124， 所 述的接近传感器被设置成一个接近传感器组或接近传感器阵列 ( 这样就能如下文所述在 触控板模块 126 周围形成一个矩形 )。触控板模块 126 位于具有整合的接近传感器 124( 或 天线 ) 的 PCB122 的顶部， 组成触控板 PCB128。可选的是， 能够使用双层 ITO( 氧化铟锡 )。 然后一块玻璃板被放置在上面， 并被封装在外罩 ( 没有展示 ) 内。通过这种方法， 这样的组 合能够根据检测到的传感器阵列的距离计算出目标的三维位置， 并用这个结果估量附近的 目标 ( 如上文中对图 10 的说明 )。
另一个实施例能够在目标接近触控面 40、 44、 74 时利用已知的技术来追踪目标 36， 所述的已知技术用于追踪不同大小的移动的物体， 物体大小的范围可以从冰球到飞 机。根本上来说， 这些已知的技术利用雷达这样的接近传感器来测量传感器与目标之间 的距离。在传感器组使用了足够数量的传感器的情况下， 通过在处理器中运行计算程序， 就能够解决发送出的单一目标或可能的目标的最小集合的距离信息。这种适合的追踪技 术 在 Cavallaro 等 人 的 美 国 专 利 第 6,304,665 号、 MacDonald 的 美 国 专 利 第 5,506,650 号、 Bickert 等人的国际公开号为 WO2005/077466、 Nuttall 的美国专利第 5,138,322 号和 Cavallaro 等人的美国专利第 6,292,130 号中被公开， 其内容通过引用结合到本文中。 其中 所描述的部件仅仅被最小化并且只适用于在目标接近触控面或键盘时来追踪目标。
在另一个实施例中， 视频图像中的活动检测技术通过追踪穿过输入设备上方用户 的手的视频图像的冷光的变化， 被用于识别物体， 然而， 选定按键是利用传统的电容触控传 感器检测到的， 这一技术在内斯特股份有限公司的美国专利第 6,760,061 号中被公开， 其
内容通过引用结合到本文中。 因此， 将摄像头 138 嵌入外设设备 20” 能够检测到外设设备上 方目标 36 的位置和活动， 之后结合操作处理器 12 和指令 26’ ， 先将目标的图像倒置 ( 例如 图 12 中所描述的方法的步骤 154) 并且在投射出理想迅速的图像前先进行处理， 优选的是 将显示屏 16 中显示的位于虚拟键盘 33 上方的目标的图像透明化。进行图像识别步骤 ( 例 如图 12 所描述的方法的步骤 144 和 / 或 146)， 其中根据看到和归类的最接近键盘或触控接 口 40、 44、 45 的特定的手指的形状来识别用户的手 ( 之后对比已存储的典型的具有特定伸 长的手指的形状 )。然后， 将这种特定的手指与由电容传感器检测到的最接近的物体联系 起来并被记录为最接近的手指位置。因此， 能够准确地将手部图像 32 覆盖在虚拟输入区域 33 上。在这种情况下， 目标 36 的透明图像 32 就是摄像头 138 所捕捉到的实际目标的视频 图像
参见图 12， 用于识别和投影目标 36 的视频图像 32 的方法 140 包括几个步骤。在 第一个步骤 142 中， 在目标 36 接近输入栏 40、 44、 45、 74 时， 目标 36 被摄录下来。在第二个 步骤 144 中， 利用图像识别软件识别并归类目标 36 的类型。 在第三个步骤 146 中， 利用图像 识别软件 ( 配合相关的子系统 ) 将图像与一组目标类型和识别的类型的图像进行比较。在 第四个步骤 150 中， 利用接近传感器 54、 62、 114、 124 定位目标 36 最接近输入设备面 40、 44、 45、 75 的部分。在第五个步骤 152 中， 联系由接近传感器 54、 62、 114、 124 检测到的目标 36 的最接近输入面 40、 44、 45、 74 的部分 ( 例如， 图 10 中 116)， 将识别到的最接近输入面 40、 44、 45、 74 的目标的部分记录为最接近的位置。在第六个步骤 154 中， 由于需要估计来自用 户的不同视点， 将视频图像倒置。 在第七个步骤中， 目标的视频图像以透明模式精确地覆盖 在输入栏上。
在另一个实施例中， 处理器 12 包括形成指令集的指令， 用于在接近传感器 54、 62、 114、 142 检测到外设设备 20、 20’ 附近的目标时， 自动激活系统。当自动激活系统时， 在显示 屏 16 上显示目标 36 的图像 32。另外， 可选的是， 当自动激活系统时， 在显示屏 16 上显示输 入栏 40、 44 的图像 36。对外设设备 20、 20’ 附近目标 36 的接近检测触发了在显示屏 16 上 至少显示外设设备的输入栏 40、 44、 45 的虚拟图像 33。即使在接近传感器 54、 62、 114、 124 处于睡眠模式下， 这样的检测能够用于启动处于待机模式的外设设备 20、 20’ 或激活其它耗 电的功能 ( 例如， 照明功能、 背光模块或本地显示 )。另外， 当用户 34 看到他的虚拟手指 32 出现在显示屏 16 上时， 接着就能够调整他的虚拟手指相对于虚拟输入栏 33 的位置而不需 要看外设设备 20、 20’ 的实体或他自己的手指。
在另一个适用于让主持人利用他的手或手臂给观看者做出虚拟手势的实施例中， 接近传感子系统 54 检测多个目标 36 并实时地动态地将相关的位置数据发送至个人电脑 14 的操作系统 24， 用来在虚拟外设设备 33 上显示多个手指， 这也是为了更进一步让用户关注 显示屏 16 来更好地理解和纠正他或她的手指手势来提高他或她的输入本发明的系统的输 入量。 这种将注意力集中至电脑显示屏的能力能够减少由于在输入设备与更远的电脑显示 屏之间相互切换引起的眼睛疲劳。另外， 这种实施例将检测到的手或手臂显示在显示屏 16 上， 尽管该显示屏远离用户 34， 但是还是能引起观看者的注意， 因此， 这种显示促进了交流。
在另一个实施例中， 本发明的系统 10 和方法 30、 140 能够以习惯的方式改变显示 屏 16 上外设设备 20、 20’ 的虚拟图像的大小， 布局以及隐藏该图像， 就像点击关闭、 移动窗 口或改变窗口大小。在另一个实施例中， 利用大量线索例如距离 / 深度线索， 在显示屏 16 上显示图像 36 的虚拟图像 32 的二维视图， 这些线索包括 ： 目标尺寸的变化、 目标颜色和 / 或透明度的 变化、 与目标位置相对应的阴影的变化、 目标阴影的颜色和 / 或透明度的变化、 目标的阴影 模糊的变化和显示的箭头将目标与输入设备表面的距离译成编码。 在当目标接近或远离外 设设备 20、 20’ 时声音发生变化的情况下， 也可以利用声音。
这种目标 36 的虚拟图像 32 可以是简单的抽象图， 类似鼠标指针但也可以是其他 的形状， 例如人类手指的简化图像。适合的人类手指的虚拟图像 32 可以是一个长矩形 ( 没 有展示 )， 在它的输入端呈圆形或具有一个点， 这样来简单地突出虚拟图像在显示器上的虚 拟方向。 在这种实施例中， 矩形一端的相关位置与目标的输入端的位置一致是很重要的。 显 示另一端仅仅只是为了给人一种视觉感 ( 换言之， 这样的图像就是一根手指 )。
现在参见图 13， 系统 10 被包括在具有一个、 多个或形成阵列的压力式键盘 160( 当 前技术的键盘， 例如弹片键盘或剪刀键盘 ) 的输入设备 20” 中， 其中光接近传感器 162( 例 如， 红外传感器 ) 被整合入至少一个按键的中心或经由挑选的按键中。一个圆形的、 透明的 盖片 164 封装着接近传感器 162 放在按键 160 上。数据连接设备 ( 如图 5 中的数据连接设 备 58) 用于将来自接近传感器 162 的与输入和 / 或接近数据一致的信号发送至处理器 12。 接近传感器 162， 在本实施例中优选的是红外传感器， 用来动态识别输入设备 20” 附近的目 标 36 的活动。当由处理器 12 通过输入设备 20” 的数据连接设备接收到接近传感器 162 的输入和 / 或接近数据 ( 包括存在、 距离和可选的轨迹数据， 换句话说就是三维矢量数据 ) 时， 指令集由处理器 12 执行。接近传感器 162 用于确定目标 36 存在的同时也确定目标 36 离按键 160 的距离以及目标的轨迹。处理器 12 在显示屏 16 的窗口上显示输入栏 40、 44、 45 的图像 33。处理器 12 进一步实时显示目标 36 的虚拟图像并实时地将其覆盖到刚显示 的图像上。因此， 在目标 36 在按键附近或接近按键时， 接近传感器 162 提高了检测压力式 键盘的标准。因此， 这样让用户参照显示出的虚拟图像来调整互动。
在另一个实施例中， 输入设备具有一个、 多个或形成阵列的压力式键盘 160( 当前 技术的键盘， 例如弹片键盘或剪刀键盘 )， 所述的键盘整合有电容传感器 62、 114、 124 来代 替红外接近传感器 162， 优选的是在每个按键下都有电容传感器。在这个实施例中， 不需要 透明的盖片， 因为能够通过按键看到电容传感器并且电容传感器能够就好像没有按键那样 来检测接近的目标 ( 换句话说， 按键对传感器来说是透明的 )。
还有另一个实施例中， 用压力传感触控面代替了接近传感器， 像是法国的 Stantum 公司生产的多点触控面， 能够利用低于临界值的光压来模拟触控面上方 “悬停” 的手指的滑 行动作， 所述的 “悬停” 就等同于上文中描述的 “悬停” 动作。用户的手指施加的压力超出 压力的临界值时， 就认为发生触碰并且记录相关的触碰位置的输入。这个实施例是本发明 的一个低成本版本， 在其他方面， 为了让用户体验到本文中所描述的其他的实施例。
本发明的一个特征就是能够给用户创造远程使用触摸屏的体验， 而不需要用户触 碰显示器并且进一步来说， 也不需要触摸屏设备。
本发明另一个特征是能够实现一对一的复制， 将现实世界复制到虚拟世界中， 而 给用户提供了像是虚拟世界所提供的灵活多变的位置、 相对应的方向等。( 例如， 能够在客 厅里依靠在舒适的椅子边看着大屏幕电视边记录剧本的时候打字、 在远离大屏幕站着工作 时打字、 在将大屏幕上存在的信息传递给他人或者利用具有大屏幕的电脑设备与替他人进行实时互动时打字 )。
另一个特征是， 本发明能让用户在远离显示的键盘的虚拟图像的情况下输入数 据。
另一个特征是， 本发明能让用户更舒适更灵活地与个人电脑或个人娱乐设备互 动， 例如多媒体播放器。
本发明包括如本文所描述的与附图相关的系统和方法。
而且， 本发明的系统和方法考虑了具有与本文所描述的相似功能的产品、 服务或 信息的使用、 销售和 / 或分配。
本文中提到的适用于本发明的系统或组件的供应商， 这些并不能看作是在引用早 于本发明的在先技术， 相反这只是代表这是适合的组件的来源， 其中的技术是在本发明要 求的优先权日期之后获得的。换句话来说， 本文所引用的适合的组件并不能看作是本发明 的在先技术。
说明书和附图只是用来解释说明的， 并非用于限定本发明的并且本文所描述的所 有的改变都被包括在本发明的权利要求范围内， 即使在申请文件中没有特别声明。 例如， 所 使用的术语 “虚拟键盘” ， 可以被看成包含包括了任何输入栏或由输入栏组成的阵列或组， 例如， 在显示屏上显示的用来与目标的手指进行虚拟互动的图标、 菜单或下拉式菜单。因 此， 本发明的范围应该由本发明的权利要求或之后的修改或添加来确定， 并且他们的法律 效应等于但不仅限于上述的例子。例如， 在任何方法或过程权利要求中提到的步骤能够以 任何顺序来执行并不限于任何权利要求中出现的特定顺序。而且， 在装置权利要求中所描 述的组件和 / 或元件组装或有选择性的按照各种排列进行配置生产出与本发明大致上相 同的产品。因此， 本发明并不限于权利要求所描述的特定结构。 本文所提到的好处、 其他优势和解决方案并不能看作是任何或所有权利要求中的 具有决定性的、 要求的或必不可少的功能或组件。
像本文中使用术语 “包括” 、 “包含” 、 或这类词的任何变化， 是为了提到一个非唯一 的组件列表， 这样本发明中的任何处理过程、 方法、 条款、 作品或装置所包括的组件列表不 仅包括其中提到的组件， 也包括其他在说明书中提到的组件。使用术语 “组成” 或 “由…组 成” 或 “大体上由…组成” 不是为了限定本发明中所列举的组件的范围， 除非在文中指明。 上述用于本发明实践中的组件、 材料或结构具有多种组合和 / 或改变或着由本技术领域的 技术人员进行调整做出其它的设计， 但这些并不会背离本发明的基本原理。
本文所提到的专利和文章， 除非有而外的说明， 这些引用的范围与本身公开的内 容相同。
在权利要求中描述了本发明执行的其他参数和模式。
另外， 本发明应该包括所有可能的特征组合， 这些组合可能会被当做新发明、 创造 及工业应用， 其中， 所述的特征在本说明书、 权利要求书和 / 或附图中都有描述。
本文所描述的本发明的实施例可能存在多种变化和修改。 尽管本文中已展示和描 述了关于本发明的实施例的确切说明， 但是， 修改、 变化和代替都已经在前面所公开的内容 中被考虑到。然而上文的描述包含了许多具体细节， 这些不应该被看作是本发明的限定范 围， 而只是本发明的一个或另一个优选的实施例的范例。 在一些例子中， 能够使用本发明的 一些特征而无需使用其它的相应的特征。因此， 应该仅仅将上文的描述看作和理解为说明
和举例， 本发明的精神和范围由本次申请最终发表的权利要求来限定。
元件列表
系统 10
处理器 12
个人电脑、 机顶盒、 多媒体设备 14
显示屏 16
输入设备、 外设设备 20( 整个键盘 )
无线集线器 22
操作系统 24
指令 26
方法 30
目标的图像 32
输入栏的图像 33
用户 34
目标 36
拇指 37 主输入设备 38 主输入面 40 键盘输入栏 42 多点触控输入面、 输入面 44 外罩 46 辅助输入设备 48 红外传感器 162 单一的多点触控面 45 网格 50 区域 52 接近传感子系统 (PSS)54 无线收发器 56 数据连接设备 (DCD)58 触控板模块 60 接近传感器 62 触控板模块表面 64 PCB66 接近传感器阵列 68 薄背光板 70 玻璃板 72 玻璃板的上表面 74 圆环 75 网格 76距离 d 实心圆 80 网格 76’ 按键 82 表格 90 方法 30 步骤一 100 步骤二 102 步骤三 104 步骤四 106 步骤五 110 步骤六 112 传感器 114 d1 d2 d3 d4 三维接近传感模块 120 PCB122 接近电极 124 触控板模块 126 触控板 PCB128 双层 ITO129 玻璃板 132 摄像头 138 方法 140 步骤一 142 步骤二 144 步骤三 146 步骤四 150 步骤五 152 步骤六 154 指令 156 输入设备 20” 按键 160 接近传感器 162 圆形遮盖物 164