手写注释捕捉系统和方法 相关申请对照
本申请分别要求 2010 年 3 月 17 日提交的美国临时申请案 No.61/314,639 和 2010 年 7 月 21 日提交的美国临时申请案 61/366,169， 分别地， 其中包括了这里所参照的内容。
著作权和法律通告
本专利申请文件所公开的一部分内容中包含有受版权保护的资料。 该版权所有者 并不反对对于任何一个出现在专利局和商标局的专利资料档或者记录中的发明文件或者 专利公开的复制， 但是仍然保留他们各自所拥有的所有版权。除合理使用之外并没有给予 第三方使用这些作品的许可。而且， 这里没有提及的第三方的专利或者文章应该解释为本 发明不享有借助于改良技术提前这些资料的发明日期的权利。
技术领域
本发明涉及输入设备和方法， 特别是涉及一种个人电脑的数据输入和命令传输的 系统和方法。 背景技术 用诸如鼠标和键盘之类的输入设备将数据和命令输入个人电脑 (PC) 或者多媒体 系统 ( 例如电视机， 置顶盒， 游戏机， 或者其他的电脑处理设备 ) 是已知的， 通过与数据总 TM 线， 数据界面， 无线射频， 红外线， “BLUETOOTH” ( 蓝牙 ) 进行连接， 并通过一数据转发器将 数据或者命令输入个人电脑。
此外， 单触点和多触点控键盘或者输入设备是已知的， 并且根据具体情况可允许 用户的单个或多个输入。 换句话说， 单触点界面一次只读取一个输入， 而多触点界面一次可 以读取或者感应多个输入。
最近， 多触点技术开始应用在移动电话技术中。诸如法国的 Stantum S.A. 公司， 法国意法半导体有限公司， 以及美国美商新思公司正在发展多触点技术以响应移动电话客 户的需求。 这种多触点输入设备使用电阻或者电容式触摸感应技术以感知其探测区域内的 物体的存在。
图形输入板形式的输入设备是已知的并且可以从诸如温哥华 Wacom 公司， 华盛顿 的和冠公司获得。 KINDLE 电子书是一种由纽约州的纽约市亚马逊公司所提供的进一步的输 入板。
在个人电脑的所有捕捉设备 ( 键盘， 鼠标， 触摸板 ) 中， 没有一种支持成本低廉的 手绘或者手写便条的直观捕捉。
具有嵌入式主动显示的高端图形输入板可在市场上获得， 但是他们价格昂贵， 因 为他们需要一种专用的处理器以根据笔的活动管理和更新显示。
尽管如此仍然需要一种由于被动式 LCD 显示器和电阻接触式传感器而成本较低 的手写注释输入的简单易行的方式。或者， 可以将真正的纸张置于显示器的顶部以更好地 与自然的纸笔体验相匹配。
更进一步， 需要一种设备， 系统和方法， 为用户提供一种利用便携且与显示设备相 分离的远程输入设备进行远程触控屏幕的方式。需要一种设备， 系统和方法可以为用户提 供输入文档的能力， 使他或她能够不用身体触摸显示器就可以在其上具有集成的多触点界 面 显示器上进行直接的操作。
另外， 需要的是一种设备、 系统和方法可以允许用户观察一个虚拟的键盘以及一 个相对于显示设备上的虚拟键盘位置正确的他或她的手指虚拟表征。 发明内容 一种远程、 虚拟的屏幕数据输入的系统和方法， 所述系统包括 (a) 多触点注释控 制设备 (Multitouch Annotation Control Device， MTAC)， 使用一被动式尖笔， 一发射器， 以及一接口设备以用于与个人电脑或者多媒体系统 ( 例如电视机， 置顶盒， 游戏机 ) 的处理 器连接， 通讯以及传输数据和命令 ； 以及 (b) 远程处理器可执行的指令， 以接收来自于 MTAC 的数据输入 ； 所述指令， 在数据是由注释设备传输时， 一虚拟的 MTAC 的表征与用户的至少 一个手指的虚拟表征一起显示电脑的屏幕上， 所述用户的至少一个手指的虚拟表征在屏幕 上的位置定位在虚拟的 MTAC 上， 以 2D 平面图的方式再现的真实世界中用户手指与真实的 MTAC 的相对位置， 接收来自于 MTAC 的数据输入并以与所传输的数据的类别相适应的方式 处理数据， 不论是注释的特征或者输入命令。
所述用户手指的虚拟表征可以是用户手指的简单抽象， 例如光标鼠标光标。
该 MTAC 提供了两种操作模式， 墨迹捕捉和手指捕捉。
在墨迹捕捉模式中， 所述设备允许用户图画或者进入手写输入注释， 借助于一没 有留下真正的墨水而是实时显示所创建的尖笔的笔画的被动式尖笔。并没有留下墨水， 但 是尖笔的墨水的效果是由于置于捕捉界面上层的墨迹显示器而得到。 该墨迹显示器是一个 被动式的 LCD 显示器。由于在所述设备中包含有一压力传感器， 用户可以在个人电脑中恢 复所述图画或者注释以进行进一步的处理， 例如将其整合在一个文件中， 邮寄， 等等。
在墨迹捕捉模式中， 所述的手指的位置和压力是进行实时监控的。所述手指的位 置再现于个人电脑的显示器上。 操作系统随后对根据手指的位置和压力对所述手指的活动 进行实时的反应。
通过个人电脑 (PC)， 它意味着 ( 这里以及本申请的剩余部分 ) 一个设备可进行广 义上而言的数字信息操作。例如， 它可以是个人电脑， Mac( 多功能计算机 )， 笔记本， 上网 本， 记事本， 图形输入板， 电子书， 智能手机。
MTAC 可以在多种设备中执行， 例如键盘， 扩展口， 膝上电脑桌， 或者独立的无线设 备。所述注释 MTAC 允许用户用被动式钢笔或者尖笔 ( 没有墨水 ) 在其感应界面上进行绘 画并随后将所述绘画再现在个人电脑上。 当然， 在进行字迹捕捉时， 个人电脑上运行的字迹 识别软件可以将这些注释转换成为文档以用已知的方式进行进一步的处理。
在一个实施方式中， 所述注释 MTAC 由复合层组成。底层是一个刚性表面以可以为 书写提供一种物理支撑， 而上两层是柔韧的， 中间层是一个电阻式触摸传感器， 用于测量推 入顶层的不同触摸点的位置和力度 ( 在墨迹模式中通常只有尖笔， 在手指捕捉模式中为一 个或者多个手指 )。触摸点信息 ( 位置和压力， 类型， 接近性， 等等 )， 或者在产生的同时传 输至个人电脑， 或者进行内部存储并随后在注释结束时整体传输。顶层是一灵活的触摸感
应的书写图形输入板。在一个实施方式中， 顶层使用反光双稳态胆甾型液晶层压在覆盖于 聚乙二醇对苯二甲酸酯基底上的两层电导聚合物之间。由于胆甾相技术， LCD 层的触摸感 应性在于在所述 LCD 上写下的任何东西都以图表的形式进行存储。
在一可选的实施方式中， 用户希望可以在真正的纸张上用真正的笔进行绘画 ； 同 样的设备可以用在此种情形中 ： 简单地通过嵌入芯片机制在设备的感应表面上应用一张 纸。 在纸上绘画， 并在结束时移除纸张， 按压激活按钮， 就像没有纸张存在的示例中那样。 纸 张的加入带来了一些用户将会喜欢的更加自然的笔和纸张的配合。
本发明的一个目的是简化手写注释的输入， 成本低廉， 基于被动式 LCD 墨迹显示 技术和一电阻式压力传感器。在一个实施方式中， 所述设备与一图形输入板 (iPad) 或者一 个人电脑 (Windows 7， Mac) 联合使用。它允许将钢笔注释输入电子形式的文件中 ( 钢笔操 作 )。另外， 所述相同的设备被用作多点触摸设备 ( 手指控制 )， 与 Windows 7 触摸屏控制 相似的方式但不需要实际的触摸屏幕。手写注释和多点触摸的结合方便地取代了鼠标 - 键 盘交互工具。
本发明的又一目的是允许用户将来自于所显示的键盘的虚拟图像远程输入数据 至一虚拟键盘中。在这种方式中， 提供给用户一种只使用远离所述设备的一个触摸屏显示 设备， 而不需要所述触摸屏显示器的实际硬件的用户体验。 另外， 用户可以在不需要注视远 程输入设备而是将直觉注意力集中在显示设备上的情况下进行数据输入。 本发明的又一目的是允许用户更加舒适和灵活地与 PC 或者多媒体设备进行交 互， 例如多媒体播放器或者电视机。
本发明的又一目的是确保用户在看见尖笔活动 ( 与图形输入板不同 ) 位置处的绘 画的良好的图画体验。由于不需要像图形输入板或者电子书情形中那样 ( 压力直接更新在 屏幕上 ) 积极地管理显示器， 所述设备可低成本制造。
附图说明 图 1 是本发明的一个实施方式的系统的一部分的剖视图。
图 2 为本发明的一个实施方式中的键盘输入设备的示意图。
图 3 为本发明的一个实施方式的记事本的示意图。
图 4 为集成入一扩展口或者一膝上电脑桌的本发明一个实施方式中的记事本的 示意图。
图 5 为本发明的一个实施方式的电子书的示意图。
图 6 为本发明的捕捉设备的分解示意图。
图 7 为本发明的一个实施方式的系统中的示出了一个对象以透明的模式覆盖于 其上的显示设备的俯视图。
图 8 为根据本发明的一个实施方式的系统中的示出了另外一个对象， 在此示例 中， 为手指， 以透明的模式覆盖于其上的显示设备的俯视图。
图 9 为本发明的系统的一个实施方式的示意图。
图 10 为本发明的一个实施方式中的 MTAC 的框架图。
图 11 为本发明的一个实施方式的具有接近徘徊特征的触摸板模块的侧视图。
图 12A 为一示意图示出了上层， 在其上部， 所述徘徊的手指所检测到的一徘徊的
手指的相对位置的图形表征， 所示出的徘徊的手指。
图 12B 为一其上部示出了所检测到的着落的手指的相对位置的图形表征， 下部示 出了相对于该输入表面的该着落的手指的示意图。
图 13 为一示出了输入数据的典型分类的表格。
图 14 为本发明的第一种方法的流程图。
图 15 为本发明的一个实施方式的三角测量步骤的示意图。
图 16 为本发明的一个实施方式的混合式触摸板模块的示意图。
图 17 为本发明的又一可选的方法的流程图。
图 18 为本发明的一个实施方式的图形用户界面的示意图。
图 19 为本发明的一个实施方式的压力图的示意图。
图 20 为本发明的一个实施方式的压力与接触面状态的比较图。
图 21 为本发明的一个实施方式的控制板的框架图。
图 22 为本发明的一个实施方式的记事本的分解视图。
图 23 为本发明的一个实施方式的记事本的电示意图。
图 24 为本发明的一个实施方式的压力传感器层操作方法的流程图。
元件列表
图 1-3
键盘 1
系统 10
处理器 12
个人电脑， 置顶盒， 多媒体设备 14
尖笔 15
显示器 16
输入设备， MTAC 20( 整个键盘 )， MTAC 20’ ， MTAC 20”
无线集线器 22
操作系统 24O
指令 25
方法 30
对象的表征 32
输入场的表征 33
用户 34User 34
对象 / 用户的手指 36
拇指 37
规范输入设备 38
主要输入表面 40
按键输入场 42
多触点输入表面， 触摸表面 44
输入设备 46
辅助的输入设备 48图4 膝上电脑桌 2 笔记本 3 双屏幕图形输入板 4 主显示器 5 第二屏幕 / 虚拟的墨迹显示器 6 压力传感器 9 图6 多层组件 60 底层 8 中部压力传感器层 9 可修改的中间层 9’ ， 9” 顶层 / 上墨表面 11 图7 发光键 82 图9 多触点表面 45 方格 50 区域 52 图 10 接近感应子系统 (PSS)54 收发器 56 数据连接设备 (DCD)58 指令 26 图 11 输入设备， MTAC 20’ 多层组件 60’ 多触点模块 9’ 顶层 / 上墨表面 11” 触摸板传感器子组件 61 接近传感器 62 触摸板模块的表面 64 PCB 66 接近传感器阵列 68 薄背光源 70 玻璃嵌板 72 图 12A 多触点表面 74 圆 75方格 76 距离 d 图 12B 填充的圆 80 方格 76’ 按键 82 图 13 表 90 图 14 步骤 100 步骤 102 步骤 104 步骤 106 步骤 110 步骤 112 图 15 传感器 114 d1 d2 d3 d4 图 16 输入设备， MTAC 20” 多层组件 60” 顶层 / 上墨表面 11” 多触点模块 9” 触摸板传感器子组件 61” 接近感应模块 120 PCB 122 接近性电极 124 触摸板模块 126 触摸板 128 双 ITO 层 129 玻璃嵌板 图 17 方法 140 步骤一 142 步骤二 144 步骤三 146步骤四 150 步骤五 152 步骤六 154 图 18 手指图标 13 图 19 有色圆 170 十字 172 dR 174 图 20 第一阈值 180 活动状态 182 第二阈值 184 图 21 控制板 200电源管理程序块 202
微控制器 204
列 206
行 210
压力传感器板 212
LCD 控制块 214
LCD 显示器 216
射频级 220
图 22
上部可变膜 230
电阻 R
分隔层 232
图 23
列 D(3)206’
行 D(3)206’
电阻 240
图 24
方法 300
步骤 302
步骤 303
步骤 304
本技术领域的技术人员应当了解， 图中的元素是为了进行简单明了的说明， 并不 需要进行规模化的描绘。例如， 可能将尺寸相对于其他元素进行了夸张以帮助理解本发明 和实施方式。而且， 当 “第一” “第二” ， 和诸如此类的术语用于此时， 他们的使用是为了相同元素之间的区分并不一定是用于描述顺序或者按照时间顺序行列。此外， 像 “前” “后” ， “顶 ， 部” ， “底部” 或者之类用在说明书和 / 或权利要求中相近的术语， 并不一定是用于描述特定 的相对位置。本技术领域的技术人员将因此明白这些术语可以用其他的术语进行替换， 且 此处所描述的具体实施方式可以这些明确说明或者另有说明之外的其他方式进行操作使 用。 具体实施方式
下述的说明并不是为了以任何方式限制本发明的范围， 本质上是为了作为示例并 且作为描述本发明的申请日的发明者所知的本发明的最佳模式。因此， 在不偏离本发明的 精神和范围的情况下， 可以对本发明所公开的示例实施方式中所描述的安行和 / 或任何元 素的功能进行变化。
参见图 1， 本发明的一个实施方式的系统 10 包括一连接的电脑处理器 12( 置于一 个人电脑或者多媒体设备 14 中， 或者置于 MTAC 中， 其中 MTAC 与一显示器交互， 例如电视 机 )， 一显示设备 16， 一输入设备 20， 以及一无线集线器 22。电脑处理器 12 和操作系统 24 执行指令 26 以实现本发明的方法 30( 结合图 14 和图 17 进行说明 )。指令 26 在操作系统 24 上执行以接收和处理来自于 MTAC 20 的数据以将一用户的手指 36 的表征 32 和至少 MTAC 20 的输入区域 40 的表征 33 显示在显示设备 16 上以模拟用户在 MTAC 20 上的相对位置和 用户所执行的输入功能。 通过这种方式， 本发明的一个实施方式提供了远程， 虚拟的屏幕数 据输入。
电脑处理器 12 和操作系统 (OS)24 执行指令 26 以执行本发明的方法 30。
可选地， 如图所示， MTAC 20 的多触点输入表面 44 被集成于外壳 46 之中。
MTAC 20 包括新兴的触摸数据输入设备的功能， 这些新兴的触摸数据输入设备可 以从诸如法国和冠， 瑞士的意法半导体公司， 赛普拉斯半导体公司， 美国的安华高科技公司 以及将美国美商新思公司获得。MTAC 包括一触摸表面 40。可选地， 输入设备 46 在与集成 于 MTAC 20 中的无线集线器 22 和 / 或通信设备 ( 未示出 ) 进行无线连接时可随时移动。
系统中设备的集成
现在请参见图 2 至图 5， MTAC 20， 20’ ， 20” 被用于多个系统中， 诸如在键盘 1 中 ( 该 设备位于， 例如， 电脑键盘的右边或者下方 )， 在膝上电脑桌 2 中， 与一独立的使用无线电池 的设备中的笔记本电脑 3 或者记事本联合操作， 以与一个人电脑 (PC)， 一笔记本， 或者一记 事本联合操作 ( 无线连接允许 MTAC 20 与个人电脑 14 之间进行通讯 )。在嵌入形式中， 该 设备被嵌入一双图形输入板 4 中， 一个屏幕为主动显示屏 5， 另一个屏幕为虚拟墨迹显示屏 6， 在其下方进一步包括一压力传感器 9。作为一种替代， 虚拟墨迹显示屏 6 是主动显示屏 5 的一部分， 以使得嵌入式设备具有一单独的显示器， 同样将压力传感器 9 置于其下方。
现在请参见图 6， 在一个实施方式中， MTAC 20 包括一多层组件 60， 多层组件 60 包 括一底层 8， 一中间压力传感器层 9 和顶层 11。在一实施方式中， 底层 8 是一个刚性表面以 为书写提供机械支撑， 因为其他两层都是柔韧的。在一些实施方式中， 底层 8 可进行一定 程度的形变， 例如像一个纸质记事本那样。
在一个实施方式中， 压力传感器层 9 是用于探测捕捉活动区域的触摸和压力的一 压力传感器层。压力传感器层 9 与多个电压源和多个电流表相连接， 定义了多个导电路径，导电路径的电导率由施加在那条路径上的压力进行调节， 更多细节将在下面结合图 22 进 行描述。至少有一个电流表用于测量不止一个所述电压源所发射的电流。PERATECH(www. peratech.com) 是适用于本发明的一个实施方式的电阻式压力传感器的供应商。 作为选择， 可以使用银墨和碳墨夹在两层 PET 膜之间的键盘膜技术。作为选择， 可以使用电容式压力 传感器。 一个电容式压力传感器是将压缩材料置于两电极之间制成的， 当被压缩时， 两电极 之间的电容就会改变。注意其他的多层组件 60’ ， 60” 的实施方式结合图 11 和图 16 公开， 其中的中间层是用于检测徘徊和接近性的可修改中间层 9’ 或者 9” 。
顶层 11 是一个柔韧的触摸感应被动式 LCD 显示器， 利用如一反射式双稳态胆甾型 液晶层压在覆盖于聚乙二醇对苯二甲酸酯基底之上的两层电导聚合物之间， 例如肯特显示 器 (www.kentdisplays.com) 提供反射技术中所发现那样。被动式 LCD 技术的触摸感应性 在于 LCD 上写下的任何东西都是印象深刻的图形， 因为其具有的液晶物理性质 ( 所施加的 压力改变了晶体颗粒趋向和光的性质 )。当尖笔 15 在设备上书写时， 其留下了可视的痕迹 以使得用户可以制作一幅画虽然并没有墨水流出来。更加先进的被动式 LCD 显示器包括了 多种色彩。
MTAC 20 进一步包括一控制板 200( 如图 21 中所示 )。该控制板将在下面进行描 述。在其他的功能之中， 控制板 200 将所测量的压力图根据位置和力量 ( 来自于手指， 尖笔 或者手掌 ) 分成不同的位置和压力点。
MTAC 20 与电脑内置的处理器连接， 或者通过 USB， 蓝牙， 其他的 2.4GHz 射频连接， SPI 或者 I2C 接口， 以使得所述设备和 PC14 双向通信。所传输的数据包信息包括压力活动 数据， 时间戳， 触点标识符， 接近性和类型。
上述的对象 36， 虽然通常是用户的手指， 但也可以是各种其他的东西例如， 但不限 于， 用户的手， 手臂， 手套或者戒指等上的标识符， 尖笔， 铅笔， 钢笔以及指针。
参见图 7， 优选地， 对象 36 的表征和用于显示在显示器 16 的一个窗口内的输入表 面 40 是透明的 ( 例如， 以透明模式予以显示 )， 可允许在对象表征或者输入区域的下方观看 屏幕的内容。
在一个输入的示例中， 用户 34 以通常的方式输入信息至输入设备 20 中。在另外 的一个输入示例中， 如图 8 所示， 用户在将 MTAC 20， 20’ ， 20” 握持在手中的同时， 用他或者 她的两个拇指 37 输入文档。在这个示例中， 在拇指在上方徘徊和 / 或触摸 MTAC 的表面 40， 44 之上时， 用户的两个拇指 37 被显示并且被正确的置于显示器 16 的虚拟表征 32 上。
在一个实施方式中， MTAC 20 包括一触摸表面 40 以提供一键盘输入区域 42， 以及 一用于辅助指针或者数字输入设备 48 的外壳 46 之上的触摸表面 44， 依据用户 34 的选择 而定。相分离的触摸表面 40 和 44 使得触摸表面 40 可使用不那么昂贵的单独的触摸表面， 通过它可以输入文档， 而更加昂贵的多触点表面 44 被最小化， 还可以控制单独的触摸表面 40 的操作模式， 例如通过多触点输入表面 44 的多触点输入以允许主按键覆盖之间的切换。 可选地， 输入设备 48 可以在与集成于 MTAC 20 中的无线集线器 22 和 / 或通信设备 ( 未示 出 ) 无线连接时随意移动。
应该指出的是各种各样的接近传感器可适用于本发明之中。 可以使用通过发射电 磁场或者静电场， 一电磁辐射光束 ( 例如红外线 )， 并可以找场变化或者返回信号工作的传 感器。这种类型的可用的传感器包括但不限于电感式， 电容式， 电容的位移， 涡流， 磁性的，电磁式的， 光电， 激光测距， 声纳， 雷达， 多普勒效应， 被动热红外， 被动光学， 电离辐射反射 传感器， 干簧管， 霍尔效应， 电阻变化， 导电变化， 回波 ( 例如声音无论是超声波或雷达 )， 光 学图像识别技术和微型空气流量变化 ( 检测相对于宏观之间磁场的变化的传 感器间的气 流变化 )。例如， 电容或光电传感器可适用于塑料对象， 而电感式接近传感器适用于金属目 标以及霍尔效应传感器适用于磁性对象。
光学传感的使用， 例如， 红外接近感应， 涉及利用光学传感电路产生脉冲光， 如红 外光， 由一发射器发射， 若诸如用户手之类的对象出现在发射器的前方或者之上 ( 例如， 激 光二极管或者 LED)， 反应用户的手指并向后反射给一红外线探测器 ( 例如， 光电二极管， 一 种可以根据操作模式不同将光转换成为转换成光电流或电压的光电探测器类型 )， 通常临 近或者与发射器同轴配置以检测光密度的变化。 如果在红外线发射器附近检测到所反射的 红外光， 就假设有对象出现， 反之， 则假设没有对象出现。 当检测到与光阈值相关的触摸时， 在 0mm 的距离， 触摸随后会被表示并且所有与触摸相关的执行活动都将会被初始化。在这 个示例中， 触摸参数是一个足够接近的参数， 通常是接触， 其中的接近一触摸信号表明触摸 被送入处理器 12， 因此使得传统键盘的使用具有与触摸板使用相同的益处。作为合适的红 外线接近传感器的一个例子， 安华高科技的接近传感器为反射式， 非接触式传感器， 小尺寸 的 SMT 封装可提供接近零到 60mm 检测范围的模拟输出。适用于移动设备和工业控制系统， 他们的模型 APDS-9101 是一种成本低廉， 集成的发射式传感器， 包括红外 LED 和旨在提供对 象检测和在接近 0mm 到 12mm 的检测范围提供非接触接近性感应的光电晶体管。美国专利 申请号 11/418,832， 名为输入设备光学滑动器的专利中所描述的接近传感器， 其中包括了 这里所参照的内容， 可从加利福尼亚州的弗里蒙特罗技公司获得， 同样适用于此目的。 电容式接近性感应， 接近性感应最佳的方式， 其优点在于当对象出现或者不出现 在感应范围内时传感器电容都会发生可测量的变化。 如果检测到名义上的或者初始状态发 生变化， 之后它就会假设有对象出现。适用于本发明的另外一个电容式接近传感器系统可 以从德克萨斯州奥斯汀飞思卡尔半导体公司获得。飞思卡尔的接近控制器模型 MPR08X 控 制多个接近传感器因此可以控制来自于一个传感器的几个不同的应用。通过多路传输电 级， 一个单一的传感器就可以检测多个点。例如， 接近电容式触摸传感器可以管理触摸板， 滑动条， 旋转位置和用户界面的机械按键的多个配置。
另外， 其他的接近传感器 ( 例如飞思卡尔的模型号 MC33794) 可依赖于电场的中 断进行应用， 其使用具有非常低的谐波含量且频率由内部电阻进行调节的低频正弦波。电 磁接近传感器扫描位于输入界面附近的天线周围的区域， 不间断地监控天线附近电磁场的 变化。 自诊断功能检测发生在与对象的出现相关的天线附近的磁场的变化， 例如， 用户的手 指。为了更加发散的检测， 可以使用多个天线。
更进一步， 可以使用一具有明确焦点的摄像机， 其中摄像机观察到的图像可以通 过图像识别技术进行识别， 图像识别技术本身可能通过人工智能技术对所感应对象进行分 类。 这里， 为了进行接近检测， 神经网络技术为每个传感器进行目标图像的识别， 将诸如手， 手指， 尖笔， 指针或者异常之类的同类进行归类。
超声波接近感应使用自然中发现的技术并被蝙蝠用于识别和避免飞行中的接近 的对象。 本发明中对于超声波接近感应的应用当使用本公开作为向导时也在本技术领域的 技术人员的考虑范围之内。
对于磁性传感器， 考虑到使用金属环或者具有位于重要位置的金属、 磁性或者塑 料部分的用户的手套以优化此种传感器的界面功能以使得其具有诸如运动检测更加准确 之类的优越特性。而且， 一些传感器还具有检测范围的微调整或者报到带刻度的检测距离 的手段。对于这种探测器， 考虑到它可以让用户改变参数 ( 通过与电脑或外围设备上的用 户界面交互 ) 以至于接近感应触摸界面可以依照用户的喜好提前或者滞后对象的检测。这 种接近探测器公开于国际电工委员会出版的 IEC 60947-5-2， 其中包括这里所参照的内容。
参见图 9， 在可选的 MTAC 20” 的结构示意图中， 其包括由本发明的多层组件 60， 60’ ， 60” 制成的一单一的多触点表面 45。
在一个实施方式中， 可选地， 一个具有网格 50 的键输入栏或者区域 52 可以预先 打印在触摸表面 40 或者 45 之上， 或者该触摸表面可以是个用于显示键盘输入栏或者输入 区域的图像的集成式触摸屏， 所打印的电容式触摸屏 45 用于确定键入区 52， 如果在区内触 摸， 就会触发相应的所选字母、 符号以及命令的登记。除了打印之外， 该区 52 可以通过将该 场显示在液晶触摸屏上进行确定。
现在请参见图 10， 在一个实施例中， MTAC 20， 20’ ， 20” 具有一个接近感应子系统 54(PSS)， 一个用于传输和接收解码数据的收发器 (T/R)， 根据通信协议通过 IR( 红外 )， TM TM RF( 射 频 )， “BLUETOOTH” ( 蓝 牙 )， “WiFi” ( 无 线 网 络 ) 通 过 一 数 据 连 接 设 备 (Data Connection Device， DCD， 例如一个天线 )58 以将数据和命令信号传输给处理器 12， 优选通 过无线集线器 22( 通过， 例如， 另外一个数据连接设备和收发器 )。在另一个实施方式中， PSS 54 是可选的， 并且根据本发明的一个实施方式的系统可以是建立在触摸基础上的 ( 没 有接近感应 )。指令 26 由处理器 12 执行以接收 MTAC 20， 20’ ， 20” 的数据输入。指令 26， 在 数据是由接近感应子系统 54 传输时， 会引起 MTAC 20， 20’ ， 20” ( 或者他们的输入区域 42， 44) 的一个虚拟表征与对象 36 的虚拟图像 32 一起显示在显示设备 16 上， 其位于显示器上 的位置相与 MTAC 20， 20’ ， 20” 的至少一个输入区域的表征定位有关， 以 2D 平面图的方式再 现真实世界的对象 36 对于真实世界的 MTAC 20， 20’ ， 20” 的相对位置。指令 26 随后接收来 自于 MTAC 20， 20’ ， 20” 的数据输入并且以所传输数据的等级相符的方式处理所传输的数 据， 不论输入的是字母， 单词还是命令的代表 ( 如切换或者控制功能 )。
参见图 11， 在一个实施方式中， MTAC 20’ 包括一个具有附加的接近感应功能的多 层组件 60’ 。多层组件 60’ 由一个顶层 11’ 和其下方的一多触点模块 9’ 组成。多触点模块 9’ 由上层压力传感器层 9 和其后面的触摸板传感器子组件 61 组成。
顶层 11’ 是一柔韧的触摸感应的被动式 LCD 显示器 11’ ( 正如已经结合层 11 的所 描述的那样 )。多触点模块 9’ 的触摸板传感器子组件 61 可建立在可从加利福尼亚州圣何 TM 塞赛普拉斯半导体公司获得的 “TRUETOUCH” 触摸屏解决方案的基础之上。该设备集成了 电容接近式手指徘徊功能。
在这个实施方式中， 触摸板传感器组件 61 具有接近传感器 62， 接近传感器 62 集成 于一紧阵列或者组 68 的一表面 64 之上。一薄膜背光源 70( 厚度约为 0.3-0.4mm， 可从芬兰 TM 的 Modilis 公司的 “FLEXFILM” 获得 ) 附加在接近传感器 62 的紧阵列 68 的顶部， 其后是 玻璃面板 72( 厚度约为 0.6-0.8mm)， 可选择用油漆掩盖以标记输入区域， 从而将组件密封 在外壳之中 ( 未示出 )。
参见图 12A 和 12B， 在上述的实施方式中， 接近传感器 62 对于对象 36 进行定位， 在这个例子中是一个手指， 在其接近多触点表面 74 时。用于表明对象 36 在方格 76 上相对位 置的圆 75 在未检测到触摸时是空心的。当检测到接近物时， 圆 75 就会出现， 且其尺寸通常 表明对象 36 距离多触点表面 74 的距离 d。
在图 12B 中， 当检测到对象 36 实际落在表面 74 上时， 表明对象相对位置的空心圆 就会变成实心圆 80。 当检测到触摸时， 通常， 对象 36 和表面 74 之间的接触区域通过其实际 的尺寸来表明或者至少得到相对输入区域的相对尺寸。
处理器 12( 不论是置于 PC 中还是 MTAC 本身 ) 解释了出现在在图中的接近或者触 摸动作的图解之上的方格 76， 76’ 所示的触摸或者徘徊信息。从方格位置， 处理器 12 可以 读出位置， 决定是否有触摸发生， 识别包含有多少个对象 36 以及估计对象距离触摸表面的 距离 d， 并且， 在识别出触摸时 ( 通过实心圆 80)， 确定触摸的面积的大小。
而 MTAC 20’ ， 20” 包括一位于其中的多触点模块 60’ ， 60” ， 数据输入及其可视化可 由许多现有技术专利中所描述的方式进行。例如， 名为 “触摸屏虚拟键盘的激活虚拟键” 的 美国专利申请号 11/696,703， 其中包括了这里所参照的内容， 其详细描述了一种操作触摸 屏以激活多个虚拟键之一的方法。触摸位置是基于触摸屏上位于触摸输入附近的位置数 据确定的， 其中的触摸输入旨在激活多个虚拟键中的一个虚拟键。多个虚拟键中的每一个 虚拟键都有一套与之相关的至少一个键位。对于每一个虚拟键来说， 所确定的那个虚拟键 的参数 ( 如物理距离 ) 将触摸位置以及该组与之相关的至少一个键位与那个虚拟键联系起 来。所确定的参数经过处理以确定为虚拟键之一。例如， 所确定的虚拟键可以是一个 ( 或 者多于一个的键位， 平均来说 ) 按键位置最接近触摸位置的虚拟键。一个表明所确定的虚 拟键之一激活的信号就会产生。再次参见图 7， 该信号可以使得那个特定键 82 突出或者发 光。
参见图 13， 公开了根据本发明的一个实施方式的输入的代表性分类的一个表格 90。这仅仅作为通常的非穷举式的输入分类的例子。需要用户简单的直觉动作以在 MTAC 2020’ ， 20” 的操作模式之间进行鉴别。一个典型的例子是当单一的对象 36 为 PSS 54 所感 应时， 所接收的来自于 MTAC 20， 20’ ， 20” 的输入就会被归类成为单一的字母， 数字或者符 号， 优选地通过 “SWYPE” 技术 ( 促进基于姿势的输入 ) 增强。当感应到分开的两个对象 36 时， 所接收的来自于 MTAC 20， 20’ ， 20” 的输入就会被归类成为命令或者宏输入。当感应到 相互靠近的两个物体时， 所接收的输入就会被分类为指针设备控制输入这种指针输入执行 一个将所接收数据作为指针数据输入处理的指针子程序， 以任何已知的方式控制显示屏上 的光标。这种惯例为用户提供了一种透明的输入方式。
应该指出的是对 MTAC 20， 20’ ， 20” 的输入可以具有任何的以适当的协议确定的任 何意义， 甚至可与其他的输入设备的输入相结合 ( 如从标准剪片输入到眼睑眨眼检测 ) 以 产生更多新的复杂的含义。 而且， 墨迹和按键之间可通过处理程序进行区分， 例如建立在压 力分割结果的基础上， 其中的触点被定义为一个手指或者一个尖笔。 例如， 在检测到触摸和 着落时， 对象的 “脚印” 的尺寸和 / 或其所造成的压力可以用于输入的分类。当检测到尖笔 时， MTAC 20， 20’ ， 20” 就会被进行适当地编程以禁用用于按键的功能， 例如将虚拟键盘 32 覆盖于远程显示器 10 上。因此， 输入的分类和识别可被方便地用于开启或者关闭功能以与 当前的任务相适应， 这样可以节约存储以及处理资源并可改善反应时间。 而且， 墨迹检测促 使用户的询问通过一弹出窗口来禁用徘徊和接近特征， 以避免墨迹表面 11， 11’ 和 11” 的接近运动被误解为墨迹， 并进一步减少内存和处理资源。
而且， 应该指出的是 MTAC 20， 20’ ， 20” 可以方便感应的数据包括接近性， 距离， 落 地速度， 触摸， 接触区域， 压力分割， 压力分布， 热度， 形状， 脚印， 模式， 准确的波长， 计量生 物学数据， 变化， 归纳， 声音以及电导率。
名为带有触摸屏界面的操作计算机美国专利申请序列号 11/696,701， 其中包括了 这里所参照的内容， 描述了使用触摸屏检测不同用户的激发虚拟键盘显示的输入。名为用 于触摸式输入装置的姿势美国专利序列号 10/903,964， 其中包括了这里所参照的内容， 其 描述了用户输入的更加复杂的姿势的检测， 其根据手势， 显示了一个可选的虚拟键盘。 名为 “触摸屏用户界面上虚拟输入设备的放置” 的美国专利申请号 11/696,693， 其中包括了这里 所参照的内容， 描述了电脑的触摸屏显示器的制造。 在该申请的背景中， 触摸屏与电视设备 的显示器相似并且， 由于利用了类似的硬件和处理步骤， 可以用于产生这里所描述的作为 MTAC 的虚拟表征或者虚拟键盘的虚拟输入设备。
参见图 14， 本发明的方法 30 包括下列的步骤 ： 步骤 100， 读取各个接近感应电极 的接近信号 ； 步骤 102， 检查接近信号是否高于特征检测阈值并将它们归类为高接近信号 ； 步骤 104， 将高接近信号归入基于相关的表明了一个单一的特征检测的感应电极位置的组 中； 步骤 106， 为各个组识别出其中的一个最高的接近信号 ； 步骤 110， 用三角测量的方法将 各个组的最高接近信号和邻近的接近电极信号进行处理计算出每个特征的 XYZ 位置 ； 步骤 112， 用正确的 X-Y 位置和使用与 Z 位置相应的深度将各个特征显示在虚拟键盘上。
现在参见图 15， 用多个接近传感器 114 进行对象 36 的三角测量是现有技术中已知 的， 此过程用于物体的 GPS 定位以计算出基于多个遥远的卫星的探测的位置。在图中， 画 出了使用四个接近传感器以进行对象 36 的定位。 对于对象 36 的测量是通过测量对象 36 距 离相应的传感器 114 的距离 d1， d2， d3 和 d4 进行的。为了进行这里所描述的追踪， 基于相 应的输入 d1 到 d4 一个三角测量算法得以解决， 因此在 3D 空间中定位了对象中的点 116。
参见图 16， 在另外一个实施方式中， MTAC 20” 包括了一个具有附加的接近式感应 的多层组件 60” ， 多层组 60” 件由顶层 11” 和位于其下的多触点模块 9” 组成。多触点模块 9” 由上层压力传感器层 9 和其后面的触摸板传感器子组件 61’ 组成。触摸板传感器子组 件 61’ 使用了一个复合 3D 接近感应模块 120。模块 120 由 PCB 122， 接近传感器 124， 一具 有双 ITO 层或者一个常规的触摸板 PCB 的触摸板模块 126， 以及一个玻璃嵌板 132。数个接 近传感器集成在 PCB 122 之上， 且数个接近传感器 124 行列成一组或者一个阵列 ( 哪一组 可以呈现包围触摸板模块 126 的矩形的形状， 将在下面进行描述 )。 在具有集成的接近传感 器 ( 或者天线 ) 的 PCB 122 的顶部， 是一个本身由一触摸板 PCB128 构成的触摸板模块 126。 作为选择， 可使用一双 ITO( 铟锡氧化物 ) 层 129。 一个玻璃嵌板随后置于其上， 以将组件封 闭在外壳 ( 未示出 ) 之中。通过这种方式， 组件可以通过基于所探测到的传感器阵列的距 离计算出的对象的 3D 位置测量对象的接近性。
其他的可以追踪靠近触摸表面 40， 44， 74 的对象 36 的实施方式使用了已知的追踪 从冰球到飞机的不同尺寸的移动物体的技术。本质上， 这些已知的技术使用雷达形式的接 近传感器测量传感器和对象之间的距离。当在一组中使用足够数量的传感器时， 用处理器 上运行的算法， 一个单一的对象或者最小组的可能的对象的距离信息传输可以得到解决。 这种合适的追踪技术描述在卡瓦拉罗等人的美国专利号 5,509,650， 麦当劳快餐店的美国专利号 5,509,650， 比科特等人的国际专利申请 WO2005/077466， 纳托尔等人的美国专利序 列号 5,138,322， 以及美国卡瓦拉罗等人的美国专利号 6,292,130 中， 其中包括了这里所参 照的内容。 其中所描述的部件仅需要进行微型化且适用于追踪靠近触摸表面或者键盘的对 象。
在一个改进的实施方式中， 视频图像中的运动检测技术， 例如描述在内斯特公司 的美国专利号 6,760,061 中的内容， 其中包括了这里所参照的内容， 可用于通过追踪所拍 摄的输入设备之上的用户的手的视频图像的所定义的纹理中的冷光变化识别物体， 而所选 择的特定键由传统的电容式触摸传感器进行感应。 因此， 一嵌入在 MTAC20” 中的单个的摄像 机 138 能够感应 MTAC 上方的目标 36 的位置和活动， 结合处理器 12 与指令 26’ 的操作， 所 述的位置和活动在投影理想的迅速的显示之前首先被转换 ( 例如， 下文中结合图 17 所描述 的方法 140 的步骤 154) 并且被处理， 优选地， 在显示器 16 上以透明的形式覆盖在虚拟键盘 33 上。可以执行模式化的识别步骤中 ( 例如下面结合图 17 进行描述的方法 140 中的步骤 144 和 / 或 146)， 其中用户的手根据所观察到的形状被识别并被归类成为其中的一个手指 最靠近键盘或者界面 40， 44， 45 的一只手， ( 例如通过与所存储的手的形状进行比较之后， 手的表征具有一个特定的伸长的手指 )。电容式传感可能将这个特定的手指与所感应的物 体相关联， 且这个所感应的手的部分被计入最接近的手指位置， 因此使得手的图像准确覆 盖于虚拟输入区域 33 之上。在这个示例中， 用于对象 36 的透明图像 32 可能是摄像机 138 捕捉的对象的实际视频图像。
参见图 17， 更加详细地， 识别和投射对象 36 的视频图像的方法 140 包括数个步骤。 在第一个步骤 142 中， 录制对象 36 在靠近输入区域 40， 44， 45， 74 的过程中的图像。在第二 个步骤 144 中， 通过使用图像识别软件识别对象 36 并根据类型归类。 在第三个步骤 146 中， 通过使用图案识别软件， 将图像与此种对象类型的图案库进行比较并识别出类型 ( 与相关 的子图案一起 )。在第四个步骤 150 中， 使用接近传感器 54， 62， 114， 124， 定位最接近输入 设备表面 40， 44， 45， 74 的对象 36 的部分。在第五个步骤 152 中， 所识别出的对象 36 中最 接近输入表面 40， 44， 45， 74 的部分与对象 36 的被计入接近传感器 54， 62， 114， 124 所探测 的最接近输入表面 40， 44， 45， 74 相关的部分 ( 例如图 15 中的 116)。在第六个步骤 154 中， 进行图像的转换因为需要适应用户的不同的角度。在第七个步骤中， 视频图像以适当方式 覆盖在输入区域， 优选以透明的方式。
在另外一个实施方式中， 处理器 12 包括在接近传感器 54， 62， 114， 124 探测到一 个对象 36 适当地靠近 MTAC 20， 20’ ， 20” 时用于自动化系统的激活一组指令。自动化系统 激活后， 对象 36 的表征 32 显示在显示器 16 上。而且， 可选地， 自动化系统激活后， 输入区 域 40， 44 的表征 33 显示在显示器 16 上。接近 MTAC 20， 20’ ， 20” 的对象 36 的感应促发了 至少 MTAC 的输入区域 40， 44， 45 的虚拟表征 33 在显示器 16 上的显示。而接近传感器 54， 62， 114， 124 甚至在睡眠模式中仍然处于活动状态， 这种感应可以在系统的就绪模式中用于 运转 MTAC 20， 20’ ， 20” ， 或者激活其他的耗电功能 ( 例如照明功能， 背光模块或者本地显 示 )。而且， 当用户 34 看见他的手指 32 出现在显示器 16 上时， 之后他就可以在不用看实 体的 MTAC 20， 20’ ， 20” 或者他自己的手指时就可以调整他的虚拟手指相对于虚拟输入区域 33 的位置。
在适用于主持人可利用他的手或手臂在观众面前进行虚拟化手势表达的另外一个实施方式中， 接近感应子系统 54 探测到多个对象 36 并向操作系统 24 和 PC14 动态地传 输相对位置数据， 以显示虚拟 MTAC 33 上的一个或者多个手的多个手指， 以进一步使得用 户的眼睛仅仅集中在显示器 16 上以更好地理解和纠正他或她的手指的动作以提高他或者 她输入本发明的系统的输入量。 这中将注意力仅集中在电脑显示器上的能力可以减少通常 由于必须注视实际的输入设备且随后重新集中在更远的电脑显示器所引起的眼睛疲劳。 另 外， 这种实施方式将检测到的手或者手臂覆盖在实际上距离用户 34 较远的显示器 16 上， 仍 然是观众注意力的焦点， 因此便利了这种表演方式的交流沟通。
在另外一个实施方式中， 本发明系统 10 和方法 30， 140 允许用传统的方式在显示 器 16 上定型， 重新定位以及隐藏 MTAC 20， 20’ ， 20” 的虚拟表征 33。例如通过点击以靠近， 调整大小和移动窗口。
在另外一个实施方式中， 对象 36 的虚拟表征 32 显示在显示器 16 上， 以 2D 平面图 的方式， 用不同的信号如距离 / 距离信号例如 ： 对象尺寸的变化， 对象颜色和 / 或透明度的 变化， 对象阴影的相对位置的变化以及对象阴影污点的变化以及用于解码对象和触摸输入 设备表面的显示箭头的变化。也可以使用声音， 但声音会随着对象靠近或者远离 MTAC 20， 20’ ， 20” 而变化。
对象 36 的这种虚拟表征 32 可以是它的简单抽象， 例如光标鼠标光标但也可能是 任何其他的形状如简化的人类手指的表征。 人类手指的适当的虚拟表征可能是一个伸长的 长方形 ( 未示出 )， 具有一个圆的或者尖锐的输入端， 为简便起见垂直地投射在显示器 16 上。在这个实施方式中， 与对象的输入端相关的长方形的端部的相对位置至关重要。另外 一端的存在仅仅是为了视觉理解 ( 例如， 这种表征是一个手指的图像 )。
墨迹捕捉
在墨迹捕捉模式中， 用户与设备表面 ( 不同的是图形输入板用户并不是看这钢笔 的笔尖而是看着个人电脑， 这就是所谓的间接经验 ) 进行直接的交互 ( 直接互动 )。
当用户在书写时， PC14 接收钢笔笔尖的活动 ( 铁笔位置， 压力， 类型 ) 并将这种活 动作为一个数据流存储在个人电脑的内部存储器中。当描绘完成时， 个人电脑会产生一个 类似的图画， 或者以矢量， 位图， 或者其他的形式 ( 了解铁笔的轨迹和压力可以建立一个与 实际的显示在显示器上的实际的图形相似的电脑模型 )。由于所提及的作为绘画重建程序 的特别的软件， PC14 可以基于铁笔的笔尖活动建立相同的绘画。
当在墨迹模式中使用 MTAC 20 时， 由于特别的 LCD 被动式技术， 铁笔 15 在墨迹显 示 器上留下了一个痕迹。铁笔笔尖同时也用一个位于墨迹显示器下方的电阻式压力传感 器进行实时追踪。因此显示器上的图画由于传输至 PC14 的所有压力活动数据包得以独立 的重建。
压力活动 ( 位置和压力数量， 类型等 ) 在其发生的同时 ( 动态 ) 被立即传输至 PC14。可选择地存入 MTAC 20 并在最后程序结束时作为一个整体进行传输 ( 见下文 )。时 间戳定义压力活动发生的瞬间。他们可能被作为活动数据包的一部分进行传输。这就允许 重新生成绘画的 “胶卷” ， 为以后编辑这这绘画提供了可能， 例如通过改变发生在时间 A 和 时间 B 之间的笔划的颜色。作为选择， 可以不传输时间戳， 取而代之的是使用数据接收的大 约时间， 正如个人电脑所测量的那样。
在绘画过程的末尾， 用户对于绘画很满意， 并且开始 “激活” 姿势或者对等的机械按钮， 将显示带回到初始的空白状态并将该事件通知给电脑。擦除墨迹显示是一个可以用 被动式 LCD 技术获得功能。在一些实施方式中， 不同电极的多个电压脉冲或者电压的产生 可将被动式 LCD 显示器带回到它的擦除状态。
嵌入式压力传感器用于探测诸如预定义的激活姿势之类的姿势。例如， 激活姿势 是一个双重的 3 手指拍击。该激活事件 ( 来自于按钮或者来自于手势 ) 也会被送入 PC14 中。该事件激活了一个预定于的对象申请， 重建图形， 并且在预定义申请中粘贴该绘画。可 TM 能的对象申请包括 FACEBOOK 中的涂鸦， 数码报事贴， 报文发送申请。
活动信息数据包存储在 PC 14 或者 MTAC 20 中。如果压力活动数据包在用户绘画 的过程中被不间断地传输， 活动数据包就会被存储在 PC14 中。若压力数据包在绘画的过程 中被存入 MTAC 20 中， 该压力数据包就会在检测到激活事件之后作为一个整体发送。将所 有的活动存储在 MTAC 20 中是有利的因为它在 PC 14 处于关闭状态时也可以获取绘画。活 动信息随后仅仅在 PC 14 与该设备连接时才会被传输。展开来说， 多个绘画可以在 PC 14 处于关闭状态时进行本地存储， 各个绘画的存储通过一个新的激活手势或者按钮的按压进 行。
在一个供选择的示例中， 用户可能希望用真正的笔在真正的纸张上绘画。
同样的设备也可用以这个示例中 ： 由于嵌入芯片机制可仅仅在该设备上应用一张 纸。在纸张上进行绘画 ( 注意纸张下方的被动式 LCD-- 如果有的话 -- 也将会通过纸张之 上的钢笔的活动进行标记 )。结束时， 用户将纸张移除， 并按压激活按钮或者做手势， 就像 没有纸张存在的示例中那样。 附加的纸张可以带来一些用户喜欢的更加自然的笔和纸张之 间的交互。在这个使用的示例中， 该设备上不需要安装被动式 LCD 显示器以进一步节省费 用。
手指控制
在 MTAC 20 上书写可以进行直接的交互。手指控制， 从另一方面来说， 是以间接互 动为基础的。鼠标光标的控制是常见的间接互动的一个例子， 就在于移动鼠标就随之移动 了光标， 这转而控制了一个图形用户界面 GUI。 同样地， 每个手指控制一个图形对象， 这就与 图形用户界面 GUI 中的其他控制进行相互作用。手指的图表显示在 PC14 的主显示器上。
当手指位于 MTAC 20 之上时， 他们的活动就会被追踪。在一个实施方式中， 这是以 压力传感器所获得的信息为基础的。基于传感器所传送的压力图， 可以确定手指的位置和 压力。 在其他的实施方式中， 这种手指活动的追踪是以其他的信息为基础的， 诸如从接近传 感器 ( 代替或者除了压力传感器之外的 ) 所获得信息。也可以使用其他的方式追踪手指 ( 或者其他的对象 ) 的活动。应该注意的是本发明的实施方式并不限于一个特定的追踪手 指 / 对象的方式。对于 MTAC 20 所检测到的每一个手指来说， 手指的图形对象的想及其属 性 ( 手指图标 13) 显示在 PC14 的主显示器上。移动手指会相应地移动手指图标 13。手指 / 对象图标显示程序监控以转录手指活动的方式监控和更新这种显示， 例如手指位置， 所实 施的压力， 以及方向。该程序通过它的接口读取 MTAC 20 所传输的触摸点数据， 或者作为选 择地在完整的压力图通过它的接口传送给 PC14 之后处理该完整的压力图并确定触摸。
现在参见图 18， 手指的活动被显示在一个透明的覆盖层上， 例如， 手指被可视化在 常规的 GUI 16(Windows， Mac， Chrome) 的顶部， 这种环境的可视化就像没有覆盖层存在一 样， 除了为了所增加的手指图标 13 更加明显。显示设备 16 上的手指图标 13 按照 MTAC 20上的手指位置进行实时移动。
具有压力反馈的手指图标
现在参见图 19， 手指活动的简单图形转录是为了在与实际手指位置相关联的位置 显示一个有色的圆 170( 等径 )， 十字 172 位于其中心位置。
圆 170 在手指压力增加的时候会变厚， 正如图 19 中所描述的那样。线的厚度通过 dR 174 测得， 即半径差， 外径和内径之间的差。
表征压力 ： 轻微压力和重压之间的任何值通过填充表征该手指的圆 170 生动地示 出。圆 170 的填充从外部向圆心进行。
压力显示灵敏度 ( 图 19 中的 alpha) 可以被置为一个参数， 该参数定义了填充圆 170 需要多大的压力。 注意填充 ( 例如 dR) 对所施加的压力并不需要是一个线性函数。 在线 性函数的示例中， 线厚度 dR 是施加的压力乘以阿尔法， 而阿尔法是一个可调整的恒定值。
也可以使用其他的方法表征压力， 例如通过从中心向圆的半径填充圆。所有的都 显示出了在压力积聚的累进效果。圆填充与所施加的压力之间的函数是不变的。
表征状态 ： 每个手指 36 或者是活动 ( 施加足够的压力 ) 或者是不活动的 ( 没有压 力 )， 状态可通过不同的颜色 ( 或者通过灰度差异 ) 进行编码。 活动 ： 具有可调的透明度 ( 参数 ) 的蓝色圆。活动的颜色也可以作为一个参数进 行调整。
不活动 ： 具有亮度和可调的透明度的灰色圆。不活动颜色也可调整。
通过改变一些图形属性， 形状， 颜色或者透明度， 也可用其他的方法来表征状态。 作为选择， 或者共同地， 从不活动到活动的过渡或者反过来也是一样， 可以通过诸如拍击或 者其他的声音之类的声音反馈进行突出强调。
现在参见图 20， 在手指 36 进入活动状态 182 时出现了第一个区分阈值 180。将这 个阈值 180 称作 “dRa” ( 活动半径差 )， 而 dRa 可作为一个参数进行调整。与 dRa 相关的压 力是只不过是超过 dRa/alpha 的简单的压力。可选择地， 在施加了太多的压力以及手指 36 离开活动状态时具有另一个区分阈值 184. 将这个阈值称作 “dRd” ( 非活动半径差 )， dRd 可 以作为一个参数进行调整。与 dRd 相关的压力就是仅仅是 dRd/alpha。可选地， 在达到压力 阈值 184 时会触发一个预警信息， 借以避免对 MTAC 20， 20’ ， 20” 造成损害。
当手指 36 接触 MTAC 20， 20’ ， 20” 的活动表面 40 时， 显示器 16 也会相应地更新， 但 是不会对 GUI 产生实际效应。 为了使手指 36 活动并对 GUI 16 产生效应， 需要施加更多的压 力。当活动时， 从用户的角度来说手指的作用就如同真正的手指位于显示屏之上的显示位 置且主显示器实际上是一个触摸屏。 这种方法可以实现本发明中所描述的从触摸屏的直接 互动向手指控制的间接互动的简单过渡。 一个被训练成触摸屏直接互动的用户， 作为例子， 通过使用 Windows 7 的触摸屏将会在手指控制的模式立即将它的这种技能应用于 MTAC20， 得到相似的工作性能， 但是， 与此同时其具有额外的益处是身体姿势更加舒适， 不再有对象 的任何的视觉阻塞 ( 提供了精确的控制 )， 并且最终 PC 屏幕不会被手指痕迹损坏。
触摸屏事件的产生
用于本发明中的触摸数字化转换器虚拟驱动是一个表现如同现有的数字化转换 器或 者相当的触摸屏硬件的驱动器， 它产生类似的事件或者信息 ( 而且， 虽然从操作系统 角度来看， 数字转换器或者触摸屏并未实际的存在， 但没有办法辨别该事件或者信息是由
一 “真正的” 硬件还是虚拟驱动器中的一个模拟的 “虚拟” 硬件产生 )。
当检测到一个触点活动时， 手指图标显示程序就会将活动触点的活动通知给触摸 数字化转换器虚拟驱动器， 这种活动包括如向下触摸， 向上触摸或者平移触摸。 在一个实施 方式中， 手指图标显示程序和虚拟驱动器是结合在一起的。
虚拟驱动器发送的触点信息 ( 在 Windows 7 中， WM_TOUCHDOWN， WM_TOUCH_UP， WM_ TOUCHMOVE) 包括它们的虚拟触点坐标， 所述的触点坐标通过衡量活动表面上的触点实际坐 标结合与与显示设备的面积与活动表面的面积的比率相等的因素改而计算出的 ( 例如活 动屏幕上的相等的改变大小的坐标而不是 MTAC 20 的实际坐标 )。
总的来说， 用户在激活触摸信息之前可以看见他的手指在屏幕上的位置， 并将受 益于 OS 24 原有的触摸数字化转化器的支持。
这种描述建立在 10GUI 概念上的 ( 见 www.10gui.com)， 且仅仅描述了一个借助于 一个透明覆盖层的显示手指 36 的方法， 以提供手指施加的压力的反馈， 并产生触摸数字化 转换器的等同事件。
控制板
现在请参见图 21， 其示出了控制板 200 的框架图。一电源管理程序块 202 为其他 程序块产生他们所需的电源电压。电池连接于此程序块 202 以为系统 200 供应能量。一微 控制器 204， 以下称为 μC， 具有控制压力传感器板 212 的列 206 的 M 输出 ( 例如， 在他们连 接到内部二进制电压电源或者内部的 DAC 输出时进行驱动 )。而且， 它具有 N 输出 ( 例如在 他们连接至一内部 ADC 进行的接收 )， 其与压力传感器板 212 的行 210 相连接。两个按钮连 接于 μC 的输入端， 以检测其上的用户的活动。μC 204 同样控制一称为 LCD 控制块 214 的 程序块， 由于一些控制线 dC( 黑暗控制， 具有在将其插入时显示器会一致地变黑的效果 ) 和 bC( 明亮控制， 具有显示器会一致地变明亮的效果 )。LCD 控制块 214 在与反射式 LCD 显示 器的顶层和底层相连接的线 topC and bottomC 上产生高电压脉冲 ( 正的和负的 )。 通过仅 为高压脉冲触发一个单独的电极， 或者两个电极， 最终结果是产生了一个具有或者明亮或 者黑暗外观的空白显示器。最后， 在列举的实施方式中， 一个射频级 220 通过其 2.4GHz 的 通道发射或者接收 PC 的信息。在其他的实施方式中， 例如， 使用 USB 接口和线缆。
扫描过程
现在参见图 22， 其示出了一被动式传感器板 212， 它包括一个具有向上的导电行 210 的底层可变膜 230， 一个由诸如碳墨之类的导电材料制成的分隔层 232， 以及一个具有 向下的导电列 206 的上层可变膜 234。 在一个可选的实施方式中， 碳墨被置于底层可变膜和 上层可变膜之间以至于两层膜层压在一起时， 两层碳墨层都处于物理接触和电接触。考虑 到这种结构和碳的电性质， 每对的行 210 和列 206 之间的电阻 R 就会基于施加在所述行 - 列 对的交叉处的压力而减小。
为了测量每个行 - 列交叉处的电阻， 在所述列 206 和地之间施加一个电压， 并且测 量流入行 210 的电流。通过将施加的电压除以流入行 210 的电流 ( 通常是借助于一个跨阻 放大器将行的接线端接地进行测量 ) 就可以得到电阻。关于现有的电阻式触摸屏， 驱动各 个列 206 的电压是连续的， 并且流入每个行的电流的读出也是连续的。需要顺序激活来评 估隔离状态中的每个单独的单元的电导率 ( 一个小组由列 - 行交叉处附近的区域定义 )。 不活动列 206 和行 210 通常被维持在在 0V 的电位。这种顺序扫描限制了扫描率。例如一个 16 列 x16 行的矩阵具有 256 个压力单元 ( 如果深度为 4mm， 活动区域就是 6.4mmx6.4mm)， 如果 N 输入可同时获得 (N 获取级是平行的 )， 扫描率就是 MxT。如果 N 输入是顺序获取的 ( 一 个获取级和一个 N-to-1 多路解调器 )， 那么扫描率就是 NxMxT。T 是单独的一个单元 的测量时间。为了达到足够的速率， 通常高于 50Hz， 测量时间 T 需要非常小， 以牺牲信号信 噪比 (Signal-to-Noise Ratio， “SNR” ). 为代价。没有足够的 SNR 将会导致嘈杂的测量， 并反过来导致压力波动和 / 或不能检测到力量很小的触点。为了改进 SNR， 可以应用过滤， 从而减少信号的带宽和噪音。尽管如此， 一个窄带宽的滤波器需要较长的测量时间 T 进行 滤波器的稳定， 这将会消极地影响扫描率。类似地， 平均的多端读出将会改进 SNR 但仍然会 对 SNR 造成相同的影响。因此， 在通常的顺序扫描系统中， 足够的 SNR 是以较大的 T 期间为 代价的， 导致了扫描率低于理想的 100Hz 到 200Hz， 特别是当需要较大的活动区域时。 因此， 有必要在不牺牲 SNR 的同时增加测量率。
下述的方法的是由一被称为多端输入多端输出的智能天线技术激发得到的， 多端 输入多端输出 (Multiple Input， Multiple Output， “MIMO” ) 技术是将每个列用一个已知 的暂时的模式同时驱动所有的列 206。
考虑到分隔层 232 是线性介质， 注入每个行 210 的电流是各个列 206 单独产生的 电流的总和。有必要将来自于各列驱动源的单独的贡献与总的电流分开。
现在参照图 23， 流入行 R(1)210’ 的总电流是从列 D(1) 到 D(3)206’ 驱动电压源的 多贡献源 ( 仅仅显示了列 D(1) 到 D(3)， 然而到 M 列都可以同时驱动 )， 正如所示出的那样分 别通过一个电阻 240 将列 D(1) 到 D(3) 与行 R(1) 连接， 他们的各个电导率分别为 G11， G21， G31。在这个实施方式中， 相邻的行 ( 行 R(0) 和行 R(2)， 都未示出 ) 在行 1， 3， 5， ...( 所有 的奇数行 ) 的测量时接地。同样地， 奇数行 210 在测量偶数行时接地。这种奇数行和偶数 行的多路测量时借助于具有 2 个输入和一个输出的 N/2 模拟二对一多路模拟输出选择器进 行的。这个 2 输出是奇数行和偶数行接连的， 且输出相继与 μC ADC 的输出连接 ； 进入多路 模拟输出选择器的选择信号由 μC 204 控制以根据编程的扫描顺序可选择地测量奇数或 者偶数行。
在另外一个实施方式中， 对所有的行 210 进行一次测量且相邻的行并没有接地。 在那个示例中， N 行与直接连接于 μC 的 N 模拟 ADC 输入端， 如图 21 所示。为了测量进入行 i 的电流， 可在行 i 和末端和地之间连接一个负载电阻 Rm， 且 Rm 的电压与电流成比例。作 为选择， 使用了一个为行 i 终端提供虚拟地面的跨阻抗放大器 ( 未示出 )。 跨阻抗放大器充 当一个电表因为其输出电压与流入输入端的电流直接成比例。
通过使用一组特殊的调制函数使得将来自于各个列电压源的贡献分离变为可能， 每个调制函数驱动施加于列 206 的电压源。为每个列所发射的列驱动信号是一个平方可积 的函数称作 f_i(t)， i ＝ 1...M。有意地， 这组函数 f_i(t) 组成了一组正交函数， 这意味着 一个函数对于另外一个函数的映射为零， 例如， 内积 (f_a(t)， f_b(t)) ＝ 0， 因为 a 和 b 不相 等。正交函数的多个族被描述在一些资料中， 如沃尔什函数， 哈尔函数， 或者其他的小波函 数。在上面的 16x16 的矩阵的例子中， 使用了一组从第一个 32 个函数中选出的 16 个沃尔 什函数。选择的标准是基于例如在 +1 和 -1 的输出状态具有许多连续位抑制沃尔什函数。 其他的优化的标准可以用于在一大组正交函数中选择最优的函数。
每个行 210 的接收的信号 ( 其是每个列 206 的电流贡献的总和 ) 与每一个多调制函数交叉相关， 为每行产生了一个总的测量 M 集。这种方法对于时间连续和时间离散的信 号同样起作用， 但是为了易于解释和执行这里所描述的是离散时间的例子。让我们来定义 在时刻 n 所测得的来自于行 j 的波形 x_j[n]( 方括号表示离散时间信号的时间指数 )。所 测得的行 j 的波形的交叉相关输出和列 i 的驱动是 y_ij[n]。
它由任意指数 n 的 x_j[n] 和 f_i[n] 定义 ：
y_ij[n] ＝∑ (x_j[k]*f_i[L-(n-k)])
其中的适用于 k 的∑范围从负无穷大到正无穷大。
假设调制函数 f_i[n] 是 L 的连续函数 (f_i[n] 是 0 因为 n ＜ 0 且 n ＞ L)， 因此下 面的就是 正确的 ：
y_ij[n] ＝∑ (x_j[k]*f_i[L-(n-k)])
其中的适用于 k 的∑从 0 到 2L。
y_ij[n] 可被理解成为所测得的具有一个匹配的具有脉冲反应与调制函数 f_ i[n] 的时间反演 ( 其中的值 L 的时间转换被进一步予以应用 ) 相等的滤波器的行电流的卷 积。当试图探测随机噪声中的信号时相匹配的滤波器具有最大化 SNR 的理想性能。这里所 确定的匹配的滤波器可优化白噪声， 是这里所描述的环境的好的模型。对于其他类型的噪 声来说， 可以得到类似的匹配滤波器定义， 就像匹配滤波器的理论进一步考虑噪声的自相 关函数那样定义。
对于本技术领域的技术人员显而易见的是， 匹配的滤波器操作不仅能最小化噪声 的影响而且能完全地消除来自于其他列的电压源驱动的电流贡献。 这就是使用一组正交函 数和电阻式分隔层的线性性质的直接结果。
n ＝ L 时 y_ij[n] 的值是 x_j[n] 和 f_i[n] 的点积 ( 或者内积 )。 我们称它 Y_ij。
y_ij[L] ＝ Y_ij ＝∑ (x_j[k]*f_i[k])
其中适用于 K 的∑的范围从 0 到 L。
同样的， f_i[n] 与其自身的点积为 ：
F_ii ＝∑ (f_i[k]*f_i[k)])
其中适用于 K 的∑从 0 到 L。
Y_ij 和 F_ii 是信号 x_j[n] 和 f_i[n] 在由 f_i[n] 定义的信号子空间的映射。
cell 单位 (i， j) 的电导系数是 G(i， j)， 该电导率位于列 i 和行 j 之间。
它是列 i 的行 j 的电流贡献除以列 i 上施加的电压， 如下面的公式 ：
G(i， j) ＝ Y_ij/F_ii
基于扫描过程 ( 选择奇行 / 偶行或者所有的行一起 )， 全套的 G(i， j) 可以在或者 一次或者两次的扫描中计算出来。 一次扫描操作包括随着完整的期间 L 的传动函数 f_i[n] 驱动列， 同时得到 N 或者 N/2 行的总的电流， 随后在驱动完成时 ( 后者进行两次扫描 )， μC 程序中的交叉相关计算被激活， G(i， j) 的所有值都会被计算出来并存入内部存储器中。
也可以使用其他的评估方法来找出基于行 j 中的总电流 x_j[n] 和列 i 上所施加 的电压的参数 G(i， j) 的值， 所有这些函数都利用了传动电压函数的正交性质。由于整个系 统是线性的， 在线性系统评估中所描述的方法都可以使用。这些方法包括 LSE “最小平方估 计值” ， 或者以分批估计 ( 处理所给出的扫描中的整组数据 ) 或者以递归评估 (LMS， RLS， 卡 尔曼滤波器 ) 的形式， 后者可基于先前的评估和一组新数据完善评估。考虑到 G(i， j) 在压力变化时并非时间恒定的， 递归评估必须足够快以追踪用户定义的 G(i， j) 的变化。
为各个单元 (i， j) 计算一组电导系数。由于分隔层的材料具有随着所施加的压力 增加的而增加的电导系数， 存储于 μC 内部存储器中的电导系数的二维 (2D) 图可以用作 2D 压力图的很好的近似。
压力图分割
2D 压力图反应了施加在压力传感器的各个小组上的压力的数量。 为了书写或者手 指控制的产生， 需要将该压力图转换成为一列触点。第一步是非零压力的临近的区域分割 成小圆块， 这是一项完全覆盖的技术， 并且描述在 http://en.wikipedia.org/wiki/Blob_ detection， 其中包括了这里所描述的内容。
作为选择， 也可应用描述在所附的附录中的图像分割技术。压力图 ( 触点 ) 的每 段被分类 ( 基于部分的特点 ) 成为 ：
1. 钢笔尖
2. 手指
3. 手掌
对于 “钢笔” 和 “手指” 段， 被分割的压力分布通过 2D 高斯或者椭圆分布进一步建 立模型。模型拟合的结果为考虑之中的段提供了较多的属性 ：
1. 中心
2. 长轴趋向
3. 长轴半径
4. 短轴半径
5. 峰 ( 压力 ) 值
分隔过程的输出是一列包括所有属性的活动触点。
为了书写应用， 分布中心 ( 包括部分准确性 ) 被确认为笔尖的位置且峰值被直接 地与钢笔的压力相联系。为了让笔尖位置和钢笔压力可以更好的重建被动式 LCD 上的绘 画， 所述的笔尖位置和钢笔压力被存储在 PC14 中。
为了应用手指控制， 相等的椭圆被画在了活动屏上， 正如上面描述的那样 ( 上面 的描述包括了圆对象， 但是在给定的情况下椭圆可被用作更加现实的手指表征 )。
在另一个实施方式中， 一个感应子系统通过感应 MTAC 20 上的对象触发了电脑显 示屏 16 上 MTAC 20 的虚拟图像 32 显示。 在系统的就绪模式中， 这种感应可被用于运转 MTAC 20， 或者激活除此之外的耗电功能。而且， 当用户看见他的手指出现在电脑显示屏上时， 他 可以在不必须看实际 MTAC 20 和他的手指的情况下就可以调整他的虚拟手指相对于虚拟 的 MTAC 20 的位置。
在另一个实施方式中， 感应子系统检测多个手指并动态地将相对位置数据实时传 输至 PC14 的 OS24 中， 以显示虚拟 MTAC 20 上的一只或者多只手的多个手指， 以进一步使得 用户将让他们的眼睛仅仅集中在电脑显示屏上以更好的理解和纠正他的手指运动以提高 他或者她输入本明的系统的输入量。 这种仅仅集中于电脑显示器的的能力减少了通常由于 必须注视实际的输入设备并随后重新集中于更远的电脑显示器所引起的眼睛疲劳。
在另一个实施方式中， 本发明的系统和方法允许用传统的方式对于显示器 16 上 的虚拟 MTAC 20 的图像改变大小， 重新定位以及隐藏， 例如通过敲击以对一个窗口进行关闭， 调整大小或者移动。
现在参见图 24， 在一个实施方式中， 操作 MTAC 20， 20’ ， 20” 的压力传感器层 9 的方 法 300 包括数个步骤。在第一个步骤 302 中， 将电压源与第一层导电通路相连接， 同时驱动 所述的电压源， 其中每个电压源由不同的调制函数进行调制， 所述调制函数取自于一组正 交函数。在第二个步骤 304 中， 将电表与第三层导电通路相连接， 测量至少一个电压源所释 放的电流。在第三个步骤 306 中， 将所测得的电流与各个贡献电流的调制函数交叉相关， 以 因此确定从每个所述电压源流入至少一个电表的电流。
本发明的一个特征中， 建立了无需用户触摸显示器且进一步地不需要触摸显示屏 显示设备的远程使用该触摸屏显示设备的用户体验。
本发明的另一个特征是， 本发明允许一对一地复制现实世界至虚拟世界中， 提供 给用户虚拟世界所提供的位置， 相对方向， 等等的灵活性 ( 例如允许蜷缩在舒适的座椅中， 远距一个大显示屏站立和工作， 在一大显示屏上为他人呈现信息或者在与一个具有一大屏 显示器的计算设备交互时与他人进行合作时打字 )。
另外一个特征是， 本发明允许用户远离一个所显示的键盘的虚拟图像输入数据至 虚拟键盘中。 另一个特征是， 本发明允许用户更加舒适和灵活地与 PC 或者个人娱乐设备进行 交互， 例如一个多媒体播放器。
一个优点是， 设备 20 为用户提供了用户看见尖笔 15 动作的地方的图画 ( 与图形 输入板不同 ) 良好的绘画体验。因为不需要像在图形输入板或者电子书中那样进行积极地 管理 ( 由于反射技术压力可直接更新屏幕 )， 设备 20 可以较低的成本制造。
而且， 本发明的系统和方法周密考虑到了任何商品， 服务或者信息的使用， 销售和 / 或这里所描述的类似的功能信息。
本说明书和附图应该以示例的方式予以考虑， 而不是限制性的且所描述的所有的 修饰都包括在本发明的权利要求的范围之内， 即使提交本申请时没有特别声明。 因此， 本发 明的范围应该由这里所附的， 以后增加或者修改的权利要求以及他们的法律当量而非仅仅 是上述的示例所确定。例如， 在任意的方法和过程中所列举的步骤可以用任何的顺序操作 执行并且不限于任何权利要求中所呈现的特别的顺序。而且， 在任意的装置权利要求中所 列举的要素和 / 或部件可以很多种方式进行组装或者其他可选的操作配置以产生实质上 与本发明相同的结果。最后， 本发明并不限于权利要求中所列举的特殊配置。
这里所提到的其他的优点以及解决方案不能解释为任意的或者所有的权利要求 中关键的， 必须的或者本质的特征或者部件。
正如这里所使用的一样， 术语 “包括” ， 或者他们的任意变换， 都旨在提及一个非排 他性的元素的列举， 以至于本发明中的包含有一系列的元素的任何过程， 方法， 物件， 结构 或者装置不仅包括所列举的这些元素， 还包括说明书中所列举的其他的元素。术语 “组成” 或者 “由 ... 构成” “本质上由 ... 构成” 并不旨在将本发明的范围限制于之后所列举的元 素。对本发明的实践中所使用的上述的元素， 材料或者结构的结合和 / 或变化可以在不偏 离本发明的基本原则的情况下由熟练的技术人员进行变换或者修改。
上述的以及附录中所附的专利和文章包括在这里作为参照， 除非另有说明， 相同 的东西与所公开的是一致的。
其他的执行本发明的特征和方式描述在所附的权利要求中。
另外， 本发明应该被认为是在说明书， 所附权利要求， 和 / 或图中所描述的各个特 征的可能的结合， 所述的特征可被认为是新的， 创新的以及工业实用的。
这里所描述的本发明的实施方式可以进行多种变换和修饰。 虽然这里示出和描述 了本发明的特定的实施方式， 但是各式各样的修饰， 变化， 和替代也被考虑在了上述的公开 中。而上述的描述包括许多细节， 这些不应该理解为对本发明的范围的限制， 而应该理解 为本发明的一个或者别的最佳实施方式的举例。在某些情况下， 本发明的一些特征可以在 不相应实用其他特征的情况下进行使用。因此， 上述的描述应该被宽泛地解释和理解为其 仅仅作为本发明的说明和范例， 本发明的精神和范围仅仅受限于本申请最后发布的权利要 求。
附录
( 图像处理部分 ) 参考文献 ：
1.Lindeberg， T.(1991)Discrete Scale-Space Theory and the Scale-Space Primal Sketch， PhD thesis， Department of Numerical Analysis and Computing Science， Royal Institute of Technology， S-100 44 Stockholm， Sweden， May 1991.(ISSN 1101-2250.ISRN KTH NA/P--91/8--SE)(The grey-level blob detection algorithm is described in section 7.1) ；
2.Lindeberg， Tony， Scale-Space Theory in Computer Vision， Kluwer Academic Publishers， 1994， ISBN 0-7923-9418-6。