交互式输入系统及方法.pdf

《交互式输入系统及方法.pdf》由会员分享，可在线阅读，更多相关《交互式输入系统及方法.pdf（26页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104067209 A (43)申请公布日 2014.09.24 C N 1 0 4 0 6 7 2 0 9 A (21)申请号 201280055374.2 (22)申请日 2012.11.13 61/558961 2011.11.11 US G06F 3/042(2006.01) (71)申请人原相科技股份有限公司 地址中国台湾新竹科学工业园区新竹市创 新一路五号五楼 (72)发明人柯林顿兰姆 劳伦斯布鲁斯席威特 特雷弗艾奇特 查尔斯昂格 (74)专利代理机构深圳市世纪恒程知识产权代 理事务所 44287 代理人胡海国 文明 (54) 发明名称 交互式输入系统及方。

2、法 (57) 摘要 一种交互式输入系统，包括至少两个成像组 件，其从不同角度捕获感兴趣区域的图像帧，各成 像组件包括图像传感器及实现于专用集成电路 (ASIC)上的信号处理电路，所述图像传感器所获 取的图像数据通过该信号处理电路进行预处理； 以及处理结构，其对该成像组件输出的预处理图 像数据进行处理以确定至少一个指针在所述感兴 趣区域中的位置。 (30)优先权数据 (85)PCT国际申请进入国家阶段日 2014.05.09 (86)PCT国际申请的申请数据 PCT/CA2012/001031 2012.11.13 (87)PCT国际申请的公布数据 WO2013/067625 EN 2013.0。

3、5.16 (51)Int.Cl. 权利要求书4页 说明书11页 附图10页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书4页 说明书11页 附图10页 (10)申请公布号 CN 104067209 A CN 104067209 A 1/4页 2 1.一种交互式输入系统，包括： 至少两个成像组件，其从不同角度捕获感兴趣区域的图像帧，各成像组件包括图像传 感器及实现于专用集成电路(ASIC)上的信号处理单路，该图像传感器所获取的图像数据 通过该信号处理电路进行预处理；以及， 处理结构，其处理所述成像组件输出的预处理图像数据以确定至少一个指针在所述感 兴趣区域中的位置。 2。

4、.如权利要求1所述的交互式输入系统，其中所述处理结构包括至少一个数字信号处 理器。 3.如权利要求2所述的交互式输入系统，其中所述处理结构进一步包括图像数据集中 器，该图像数据集中器将来自所述成像组件的预处理图像数据及图像数据流进行结合，并 将该图像数据流传送至所述至少一个数字信号处理器。 4.如权利要求3所述的交互式输入系统，其中所述图像数据集中器实现于现场可编程 逻辑门阵列上。 5.如权利要求2所述的交互式输入系统，其中所述处理结构包括多个数字信号处理 器。 6.如权利要求5所述的交互式输入系统，其中所述多个数字信号处理器中的一者处理 所述预处理图像数据以生成指针数据且所述多个数字信号处理。

5、器中的另一者接收来自该 数字信号处理器中的一者的指针数据并以三角函数计算该指针数据以确定所述至少一个 指针相对于该交互表面在(X，Y)坐标系上的位置。 7.如权利要求6所述的交互式输入系统，其中所述数字信号处理器中的一者处理该预 处理图像数据以至少确定指针接触状态及指针边界。 8.如权利要求7所述的交互式输入系统，其中所述数字信号处理器中的一者进一步处 理该预处理图像数据以移除错误的指针接触数据。 9.如权利要求6至8任一项所述的交互式输入系统，其中所述处理结构进一步包括图 像数据集中器，所述图像数据集中器将来自所述成像组件的预处理图像数据与图像数据流 相结合并将该图像数据流发送至所述数字信号。

6、处理器中的一者。 10.如权利要求9所述的交互式输入系统，其中所述图像数据集中器实现于现场可编 程逻辑门阵列上。 11.如权利要求1至10任一项所述的交互式输入系统，其中各所述成像组件捕获图像 帧序列中的图像帧且其中所述信号处理电路处理该图像帧序列的图像帧以生成所述预处 理图像数据。 12.如权利要求11所述的交互式输入系统，其中所述信号电路处理图像帧以移除环境 光伪影。 13.如权利要求11或12所述的交互式输入系统，其中所述信号处理电路处理所述图像 帧以标识其中代表潜在指针的感兴趣区域。 14.如权利要求11至13任一项所述的交互式输入系统，其中所述信号处理电路处理图 像帧以确定有源指针的。

7、身份。 15.如权利要求13所述的交互式输入系统，其中所述信号处理电路通过执行至少一个 垂直强度分布计算及将其结果与阈值数据进行比较而识别所述感兴趣区域。 权 利 要 求 书CN 104067209 A 2/4页 3 16.如权利要求15所述的交互式输入系统，其中所述信号处理电路通过执行多个垂直 强度分布计算及将其结果与阈值数据进行比较而识别所述感兴趣区域。 17.如权利要求16所述的交互式输入系统，其中所述信号处理电路以并行方式执行所 述垂直强度分布计算。 18.如权利要求17所述的交互式输入系统，其中所述图像帧序列包括获取于所述感兴 趣区域充斥着光照时的一个图像帧及获取于不存在光照时的多个。

8、图像帧，所述信号处理电 路采用所述一个图像帧及获取于不存在光照时的背景图像生成不同图像数据，并且采用所 述不同图像数据及所述背景图像执行所述垂直强度分布计算。 19.如权利要求18所述的交互式输入系统，其中所述信号处理电路处理所述多个获取 于不存在光照时的图像帧以标识有源指针。 20.如权利要求1至19任一项所述的交互式输入系统，其中所述处理结构用于为所述 成像组件提供配置数据。 21.如权利要求20所述的交互式输入系统，其中所述配置数据在所述获取的图像帧中 指定像素窗口，该像素窗口形成待预处理的所述图像数据。 22.如权利要求21所述的交互式输入系统，其中所述配置数据是可修改的以调整所述 窗。

9、口的形状。 23.如权利要求21或22所述的交互式输入系统进一步包括大致围绕处于所述成像组 件视场中的所述感兴趣区域的边框，并且其中所述窗口在呈现于所述获取的图像帧中时形 状与所述边框的形状相适配。 24.如权利要求23所述的交互式输入系统，其中所述窗口的形状大致呈V形。 25.如权利要求21至24任一项所述的交互式输入系统，其中所述窗口的尺寸在10至 32像素行的范围内。 26.一种用于交互式输入系统的成像组件，包括： 图像传感器，其具有环视感兴趣区域的视场；以及， 处理电路，其接收由该图像传感器所获取的图像数据并处理该图像数据，其中所述图 像传感器及所述处理电路实现于专用集成电路(ASIC。

10、)上。 27.如权利要求26所述的成像组件，其中所述成像组件用于获取图像帧序列中的图像 帧，且其中所述处理电路处理该图像帧序列的图像帧。 28.如权利要求27所述的成像组件，其中所述处理电路处理所述序列的一对图像帧以 移除环境光伪影。 29.如权利要求27或28所述的成像组件，其中所述处理电路处理图像帧以标识其中代 表潜在指针的感兴趣区域。 30.如权利要求29所述的成像组件，其中所述处理电路处理图像帧以确定有源指针的 身份。 31.如权利要求29所述的成像组件，其中所述处理电路通过执行至少一个垂直强度分 布计算及将其结果与阈值数据进行比较而标识所述感兴趣区域。 32.如权利要求31所述的成像。

11、组件，其中所述处理电路通过执行多个垂直强度分布计 算及将其结果与阈值数据进行比较而标识所述感兴趣区域。 33.如权利要求32所述的成像组件，其中所述处理电路并行执行所述垂直强度分布计 权 利 要 求 书CN 104067209 A 3/4页 4 算。 34.如权利要求33所述的成像组件，其中所述图像帧序列包括获取于所述感兴趣区域 充斥着光照时的一个图像帧以及多个获取于不存在光照时的多个图像帧，所述处理电路采 用所述一个图像帧及获取于不存在光照时的背景图像生成不同图像数据，并采用该不同图 像数据及该背景图像执行所述垂直强度分布计算。 35.如权利要求34所述的成像组件，其中所述处理电路处理获取于。

12、不才存在光照时的 多个图像帧以标识有源指针。 36.如权利要求27至35任一项所述的成像组件进一步包括存储有配置数据的边框地 图。 37.如权利要求36所述的成像组件，其中所述配置数据指定所述获取的图像帧的像素 窗口，该像素窗口形成所述图像数据。 38.如权利要求37所述的成像组件，其中所述配置数据为可修改的以调整所述窗口的 形状。 39.如权利要求37或38所述的成像组件，其中所述窗口在呈现于所述获取的图像帧中 时形状大致与围绕所述感兴趣区域的边框的形状相适配。 40.如权利要求39所述的成像组件，其中所述窗口的形状大致呈V形。 41.如权利要求37至40任一项所述的成像组件，其中所述窗口的。

13、尺寸在10至32像素 栏的范围内。 42.一种交互式输入系统，包括： 至少两个成像组件，其具有从不同角度围绕所述感兴趣区域的视场，各成像组件捕获 图像帧序列，一个图像帧捕获于所述感兴趣区域充斥着光照时，多个图像帧捕获于不存在 光照时，各成像组件具有信号处理电路，其采用所述一个图像帧及捕获于不存在光照时的 背景图像帧生成不同图像数据并采用该不同图像数据及该背景图像执行垂直强度分布计 算以标识一个或多个潜在指针；以及， 处理结构，其处理处理所述成像组件的输出以确定各指针在所述感兴趣区域中的位 置。 43.如权利要求42所述的交互式输入系统，其中所述信号处理电路处理获取于不存在 光照时的多个图像帧以。

14、标识有源指针。 44.一种交互式输入系统，包括： 至少两个成像组件，其从不同角度获取被边框所围绕的感兴趣区域的图像帧，各成像 组件处理所述获取的图像帧的窗口中的图像数据，所述窗口在呈现于所获取的图像帧中时 形状大致与所述边框的形状相适配；以及， 处理结构，其处理所述成像组件输出的图像数据以确定至少一个指针在所述感兴趣区 域中的位置。 45.如权利要求44所述的交互式输入系统，其中所述窗口为可改的以调整其自身形 状。 46.如权利要求45所述的交互式输入系统，其中所述窗口的形状大致呈V形。 47.如权利要求44至46任一项所述的交互式输入系统，其中所述窗口的尺寸在10至 32像素行的范围内。 权。

15、 利 要 求 书CN 104067209 A 4/4页 5 48.一种用于交互式输入系统的成像组件，包括： 图像传感器，其具有环视感兴趣区域的视场； 处理电路，其处理所述图像传感器所捕获的图像帧序列，一个图像帧捕获于所述感兴 趣区域充斥着背景光照时，多个图像帧捕获于不存在背景光照时，所述处理电路采用所述 一个图像帧及捕获于不存在背景光照时的背景图像生成不同图像数据并采用所述不同图 像数据及所述背景图像执行垂直强度分布计算以标识所述图像帧中一个或多个指针。 49.一种用于交互式输入系统的成像组件，包括： 图像传感器，其具有环视感兴趣区域并用于捕获其图像帧的视场；以及， 处理电路，其处理所述图像帧。

16、的像素窗口以标识其中一个或多个潜在指针，其中所述 窗口在呈现于所述获取的图像帧中时形状大致与围绕所述感兴趣区域的边框的形状像接 近。 权 利 要 求 书CN 104067209 A 1/11页 6 交互式输入系统及方法 技术领域 0001 本发明涉及一种交互式输入系统和方法以及一种用于该交互式系统和方法的成 像组件。 背景技术 0002 供用户使用有源指针(例如，发出光，发出声或发出其他信号的物品)、无源指 针(例如，手指，圆柱体或其他物品)或其他合适的输入设备例如，鼠标或轨迹球等将输入 信息输入一应用程序中的交互式输入系统，现如今是众所周知的。这些交互式输入系统 包括但不限于：具有将模拟电阻。

17、或机器视觉技术运用于寄存器指针输入中的触控系统，例 如美国第5448263号、6337681号、6747636号、6803906号、8232986号、7236162号以及第 7274356号专利中，以及受让给加拿大亚伯达省卡尔加里市的智能技术无限责任公司，也即 本申请受让人的公开号为2004/0179001的美国专利申请以及作为参考而并入该专利申请 的全部公开内容中所公开的那些；具有将电子、电容、声学及其他技术运用于寄存器指针输 入中的触控板的触控系统；平板或笔记本电脑(PC电脑)；智能电话、个人数字助理及其他 手持设备；以及其他类似装置。 0003 上述并入的由莫里森等人所有的美国第6803。

18、906号专利公开了一种触控系统，其 采用机器视觉来检测与具有其上呈现有电脑生成图像的触控表面进行交互的指针。矩形边 框或框架围绕该触控表面并于其各角落处支撑数字摄像机。这些数字摄像机具有围绕并基 本上环视该触控表面的相互重叠的视场。这些数字摄像机从不同的角度获取环视该触控表 面的图像并生成图像数据。由数字摄像机所获取的图像数据通过自带的数字信号处理器进 行处理以确定所捕获的图像数据中是否具有指针。当确定所捕获的图像数据中具有指针 时，数据信号处理器将指针特征数据传送至主控制器，该主控制器接着对该指针特征数据 进行处理以确定该指针相对该触控表面在采用三角测量法的(X，Y)坐标系上的位置。该指 针。

19、坐标信息被传送至执行一个或多个运用程序的电脑上。该电脑采用该指针坐标对呈现于 该触控表面上的电脑生成图像进行更新。接触该触控表面的指针因此可被记录为写或描画 或用于控制由该电脑所执行的运用程序的执行。 0004 由麦克吉布内等人所有的并已受让给智能技术无限责任公司的公开号为 WO2010/028490的国际专利申请，公开了一种触控输入系统，其包括至少两个从不同角度捕 获感兴趣区域的图像帧的成像组件。各成像组件包括图像传感器和集成信号处理电路。该 集成信号处理电路可实现于现场可编程逻辑门阵列(FPGA)、数字信号处理器(DSP)或专用 集成电路(ASIC)上。该集成信号处理电路包括聚光灯处理器和。

20、边框处理器，以对相关图像 传感器所获取的图像数据进行预处理并生成指针数据以及指针悬停及接触状态数据。 0005 虽然大多数的交互式输入系统，在很多情况下，该交互式系统采用现有的构件。不 幸的是，这些现有的构件往往都是尺寸大、费用高并且效率低。这当然地增加了交互式输入 系统的制造及操作成本。另外，在采用通过通信线路进行通信的多个处理器的交互式输入 系统中，处理器电路及通信线路的设计具有有限的处理及通信速度，导致产生潜在问题。正 说 明 书CN 104067209 A 2/11页 7 如本领域技术人员所能理解的，需要对交互式输入系统设计进行改善。 0006 因此，本发明的一个目的是提供一种新的交互。

21、式输入系统及方法和用于该交互式 输入系统及方法的新的成像组件。 发明内容 0007 相应地，在一个方面中提供了一种交互式输入系统，包括至少两个成像组件，其从 不同角度捕获感兴趣区域的图像帧，各成像组件包括图像传感器及实现于专用集成电路 (ASIC)上的信号处理电路，所述图像传感器所获取的图像数据通过所述信号处理电路进行 预处理；以及，处理结构，其处理所述成像组件输出的预处理图像以确定至少一个指针在所 述感兴趣区域中的位置。 0008 在一实施例中，处理结构包括多个数字信号处理器及图像数据集中器。图像数据 集中器将来自所述成像组件的预处理图像数据与图像数据流相结合并将该图像数据流发 送至所述数字。

22、信号处理器中的一者。所述数字信号处理器中的一者处理该预处理图像数据 以生成指针数据，所述数字信号处理器中的另一者接收来自所述数字信号处理中的一者的 指针数据并以三角函数计算该指针数据以确定所述至少一个指针相对于交互表面在(X，Y) 坐标系上的位置。 0009 在一实施例中，各成像组件捕获图像帧序列中的图像帧，且其中所述信号处理电 路处理所述图像帧序列的图像帧以生成所述预处理图像数据。在一种形式中，所述信号处 理电路处理图像帧以移除环境光伪影，标识其中代表潜在指针的感兴趣区域以及确定有源 指针的身份。 0010 在一实施例中，处理结构用于将配置数据提供至成像组件。所述配置数据在所述 获取的图像帧。

23、中指定形成待预处理的图像数据的像素窗口。 0011 根据另一方面，提供了一种用于交互式输入系统的成像组件，包括图像传感器，其 具有环视感兴趣区域的视场；以及处理电路，其接收所述图像传感器所获取的图像数据并 处理该图像数据，其中所述图像传感器及处理电路实现于专用集成电路(ASIC)上。 0012 根据另一方面，提供了一种交互式输入系统，包括至少两个成像组件，其具有从不 同角度围绕感兴趣区域的视场，各成像组件捕获图像帧序列，一个图像帧捕获于所述感兴 趣区域充斥着光照时，多个图像帧捕获于不存在光照时，各成像组件具有信号处理电路，其 采用所述一个图像帧及捕获于不存在光照时的背景图像帧生成不同图像数据并。

24、采用该不 同图像数据及该背景图像执行垂直强度分布计算以标识一个或多个潜在指针；以及，处理 结构，其处理所述成像组件的输出以确定各指针在所述感兴趣区域中的位置。 0013 根据另一方面，提供了一种交互式输入系统，包括至少两个成像组件，其从不同角 度捕获被边框所围绕的感兴趣区域的图像帧，各成像组件处理所述获取的图像帧的位于窗 口中的图像数据，所述窗口在呈现于所述获取的图像帧中时形状大致与所述边框的形状相 适配；以及，处理结构，其处理所述成像组件输出的图像数据以确定至少一个指针在所述感 兴趣区域中的位置。 0014 根据另一方面，提供了一种用于交互式输入系统的成像组件，包括图像传感器，其 具有环视感。

25、兴趣区域的视场；以及处理电路，其处理所述图像传感器所捕获的图像帧序列， 一个图像帧捕获于所述感兴趣充斥着背景光照时，多个图像帧捕获于不存在背景光照时， 说 明 书CN 104067209 A 3/11页 8 所述处理电路采用所述一个图像帧及捕获于不存在背景光照时的背景图像生成不同图像 数据，并采用所述不同图像数据及所述背景图像执行垂直强度分布计算以标识所述图像帧 中一个或多个指针。 0015 根据另一方面，提供了一种用于交互式输入系统的成像组件，包括图像传感器，其 具有环视感兴趣区域并用于捕获其图像帧的视场；以及处理电路，其处理所述图像帧的像 素窗口以标识其中一个或多个潜在指针，其中所述窗口在。

26、呈现于所述获取的图像帧中时形 状大致与围绕所述感兴趣区域的边框的形状像接近。 附图说明 0016 以下，将参照以下附图对本发明进行进一步地说明： 0017 图1为交互式输入系统的原理示意图； 0018 图2为图1所示的交互式输入系统的原理方框图； 0019 图3为构成图1所示的交互式输入系统一部分的成像组件中一者的方框图； 0020 图4为构成图1所示的交互式输入系统一部分的成像组件及主控器的方框图； 0021 图5为图4所示的主控器的功能模块图； 0022 图6为构成图3所示的成像组件一部分的图像传感器的像素区域以及所读出的像 素区域窗口图； 0023 图7为不同图像帧的部分； 0024 图。

27、8为基于图7所示的不同图像帧并采用第一VIP方法计算的标准化垂直强度分 布的图表，且示出了该标准化垂直强度分布的结果感兴趣区域(ROI)的图表； 0025 图9为图1所示的交互式输入系统的一部分的前视图，其示出了手指与其中一个 成像组件相接近； 0026 图10为示出了与该成像组件接近的手指的不同图像帧； 0027 图11为图10所示的不同图像帧的放大部分； 0028 图12A为基于图10所示的不同图像帧并采用第一VIP方法进行计算的标准化VIP 且示出了该标准化VIP结果感兴趣区域的图表； 0029 图12B为基于图10所示的不同图像帧并采用第二VIP方法进行计算的另一标准 化VIP的不同图。

28、像帧，且示出了该标准化VIP的结果感兴趣区域的图表； 0030 图13为采用图1所示的交互式输入系统的图像帧捕获序列的图表； 0031 图14为用于图1所示的交互式输入系统的一替代性主控器的方框图； 0032 图15为用于图1所示的交互式输入系统的又一替代性主控器的方框图。 具体实施方式 0033 现参考图1及图2，其示出了用于供使用者将例如数字墨水，鼠标事件等的输入注 入到执行运用程序中且通常采用参考标号20进行标识的交互式输入系统。在本实施例中， 交互式输入系统20包括交互式板22，其安装于垂直支撑表面上，例如墙面或类似面或其他 支撑于基本垂直方向上的面。交互式板22包括一个大致呈平面且矩。

29、形状的交互表面24，其 四周围设有边框26。如智能技术无限责任有限公司所卖的名字为智能UX60的超短焦投影 机(未示意)亦安装于交互式板22的支撑表面上并且将例如电脑桌面等图像投影至交互 说 明 书CN 104067209 A 4/11页 9 表面24上。 0034 交互式板22将机器视觉运用于检测进入与交互表面24相接近的感兴趣区域中的 一个或多个指针。交互式板22通过通用串行总线(USB)线缆30或其他合适的有线或无线 通信线路与运行一个或多个运用程序的通用计算装置28实现通信。通用计算装置28对交 互式板22的输出进行处理并在需要时调整输出至投影机(未示意)的图像数据，从而使得 呈现于交。

30、互表面24上的图像可反映指针活动。在这种方式中，交互式板22，通用计算装置 28及投影机(未示意)使得接近交互表面24的指针活动可被记录为写或描画或用于控制 该通用计算装置28所执行的一个或多个运用程序的执行。 0035 在本实施例中，边框26采用机械式固定至交互表面24并包括四个边框部分40， 42，44，46。边框部分40及42分别沿交互表面24的两相反侧边缘延伸，而边框部分44及 46分别沿交互表面24的顶边缘及底边缘延伸。在本实施例中，各边框部分40，42，44，46的 朝向内侧的表面包括由反光材料制成的单一纵向延伸条或带。为最佳程度地利用该反光材 料的特性，边框部分40，42，44，。

31、46被定向设置，从而使得其朝向内侧的表面可沿与该交互 表面24所在平面相垂直的面延伸。 0036 工具托盘48通过合适的固定件例如，螺钉、夹子、胶粘剂等固定至交互式板22且 邻近于边框部分46。可以看出，工具托盘48包括壳体48a，其具有用于形成多个容器或凹 槽48c的上表面48b。容器48c的尺寸适于收容一个或多个用于与该交互表面24进行交 互的笔工具P以及擦除工具。控制按键48d设置于壳体48a的上表面48b上以使用户控制 交互式输入系统20的操作。工具托盘48的一端具有用于收容可拆卸工具托盘配件模块 48e的扩展端口，另一端具有用于收容用于与远程装置通信的可拆卸通信模块48f的扩展 端口。

32、。壳体48a将主控器50(见图4与5)收容于其中。工具托盘48的进一步详细内容描 述于2010年2月19日所提交，名称为“交互式输入系统及用于该交互式输入系统的工具托 盘”，由柏特等人所有的公开号为2011/0169736的共同转让专利申请中，此专利文献所公开 的内容在此通过参考整体并入本文中。电源适配器62在连接至交流电源时为交互式板22 提供了必要的操作电源。 0037 成像组件60收容于边框26中，且各成像组件60固定至邻近边框的不同角落。成 像组件60被定向设置以使其视场相互重叠且大致环视整个交互表面24。在这种方式中，接 近交互表面24的任何指针例如使用者的手指F、圆柱体或其他合适的。

33、物件，来自工具托盘 48的容器48c中的笔工具P(无源或有源)或擦除工具等，出现于成像组件60的视场中并 因此捕获于成像组件60所获取的图像帧中。 0038 现在转到图3，其更好地说明了成像组件60中的一者。可以看出，成像组件60包 括图像传感器70及相关信号处理电路72。图像传感器70及信号处理电路72可实现于专 用集成电路(ASIC)上。在本实施例中，图像传感器70具有1024*150像素点的分辨率并安 装有两元件，玻璃透镜，该透镜上具有提供视场大致为104度的图像传感器的红线外穿透 滤波器(未示意)。在这种方式中，其他成像组件60位于图像传感器70的视场中以确保图 像传感器70的视场可包。

34、围整个交互表面24。 0039 读出控制74与图像传感器70及与子帧管理器78通信的预处理电路76进行通信。 子帧管理器78通过并行线路与主子帧处理器80及次子帧处理器82通信。主子帧处理器 80与帧缓存器86a及背景缓存器86b进行通信。帧缓存器及背景缓存器86a，86b分别与依 说 明 书CN 104067209 A 5/11页 10 次和子帧处理器82、图像处理器92及边框地图208进行通信的垂直强度分布(VIP)及感兴 趣区域(ROI)处理器88进行通信。边框地图28中存有定义了用于CIP计算的开始列、开 始行及像素区域的边框文件。图像传感器92还与次子帧处理器82、背景缓存器86b及。

35、数据 格式器96进行通信。数据格式器96与连接至主控器50的双向串行接口200进行通信。双 向串行接口200还与配置寄存器202、连接至图像传感器70的帧控制204，以及LED驱动器 210进行通信，该LED驱动器210驱动红外(IR)光源、包括一个或多个IR LED并于成像组件 60相关。配置寄存器202与边框地图208、读出控制74及连接至图像传感器70的曝光控制 206进行通信。成像组件60进一步包括I2C总线接口212以及时钟发生器214。I2C总线 接口212与存储有例如透镜及图像传感器校正数据、序列号等系统参数的参数EEPROM(未 示意)进行通信。时钟发生器214生成ASIC所需。

36、的所有时钟，例如介于20MHZ至45MHZ之 间的像素时钟频率。时钟发生器214支持外部时钟输入并使得外部晶振可用。 0040 现转至图4及5，其更好地说明了主控器50。可以看出，主控器50包括三个主要 构件，即图像数据集中器300，图像数字信号处理器(DSP)400及主DSP500。图像数据集中 器300在本实施例中实现于现场可编程门阵列(FPGA)上并为成像组件60提供了低压差分 信号(LVDS)接口。 0041 图像DSP400包括多个端口，即并行端口PPI、串行端口SPORT0、双向串行端口 SPORT1、GPIO端口、USB端口、串行外设端口(SPI)，以及SDRAM端口。图像DSP。

37、400通过并 行端口PPI及串行端口SPORT0与图像数据集中器300进行通信。图像DSP400通过双向串 行端口SPORT1与主DSP500进行通信。GP IO端口接收主DSP500所产生的系统定时信号。 SDRAM端口将图像DSP400连接至存储有图像DSP400所必需的暂时数据的同步动态存储器 (SDRAM)402。SPI端口连接至存储有图像DSP所需的硬件的串行外设接口固定存储器(SPI EEPROM)404。 0042 主DSP500具有与图像DSP400的结构相似的结构。主DSP500包括多个端口，即串 行端口SPORT1、双向串行端口SPORT1、定时器端口TMR、SDRAM端口。

38、、串行外设接口(SPI)、 串行接口UART1和UART2、TWI端口、USB端口，及编码译码器端口。主DSP500的双向串行 端口SPORT0连接至图像DSP400的串行端口SPORT1。定时器端口TMR提供定时信号至图像 DSP400的GPIO端口。主DSP500的串行端口SPORT1用于将数字音频数据提供至编码译码 器端口以转换为可以传送至外设音频系统(未示意)的立体模拟音频信号。主DSP500的 SDRAM端口连接至存储有主DSP500所必需的暂时数据的SDRAM502。主DSP的SPI端口连 接至SPI EEPROM504，其上存储有主DSP500以及可拆卸地连接工具托盘48扩展端口。

39、的模块 所需要的硬件。串行接口UART0及UART1供主DSP500与可拆卸连接至工具托盘48扩展端 口的模块进行通信。串行接口TWI与I2C协议兼容并用于与工具托盘48以及可拆卸连接 至工具托盘48扩展端口的模块进行通信。USB端口接收供主DSP500可与通用计算装置28 进行通信的USB线缆30。 0043 本实施例中的通用计算装置28为个人电脑或其他合适的处理装置包括，例如，处 理单元，系统存储器(易失性和/或固定存储器)，其他不可移除或可移除存储器(例如，硬 盘驱动、RAM、ROM、EEPROM、CD-ROM、DVD、闪存等)，以及将多种计算装置构件连接至处理单 元的系统总线。通用计算。

40、装置28还可包括用于共享访问或远程驱动的网络连接、一个或多 个网络计算机或其他网络装置。 说 明 书CN 104067209 A 10 6/11页 11 0044 在交互式输入系统20的初始化期间，主DSP500通过串行端口SPORT0及SPORT1 输出配置数据至图像DSP400，该配置数据进一步通过串行端口SPORT0传送至图像数据集 中器300。图像数据集中器300将配置数据输出至各成像组件60。配置数据通过双向串行 接口200被各成像组件60所接收并被填入其配置寄存器202。配置寄存器202中的配置数 据被各成像组件60用于控制图像帧曝光、图像帧读出以及用于更新存储于边框地图208中 。

41、的边框文件。 0045 在交互式输入系统20的操作期间，主DSP500通过其定时器端口TMR输出同步信 号，这些同步信号通过GPIO端口被图像DSP400所接收。同步信号接着通过串行端口SPORT0 被传送至图像数据集中器300。图像数据集中器300将同步信号输出至成像组件60。各成 像组件60通过其双向串行接口接收这些同步信号。 0046 在各成像组件60中，同步信号被施加至帧控制204。作为响应，帧控制204控制 图像传感器70进入快照模式并以该同步信号所确定的速率捕获一系列的图像帧。在本实 施例中，帧速率高于成像组件60将输出图像数据提供至主控器50的速率10倍之多。尤其 地，在本实施例。

42、中各图像传感器70的帧速率为1200HZ且主控器50以120HZ的速率处理来 自于成像组件60的图像数据。然而，本领域的技术人员可以理解，不同的帧速率及不同的 图像数据处理速率亦可被采用。根据配置寄存器202中的曝光配置数据的曝光控制206将 输出提供至图像传感器70以在图像帧捕获期间控制图像传感器70的曝光时间。 0047 在本实施例中，各图像帧序列包括十(10)个图像帧。同步信号被施加至LED驱动 器210，导致LED驱动器210在该图像帧序列的第一图像帧获取期间控制红外光源处于打开 状态，从而使得红外光源通过红外光照照明和充斥交互表面24上的感兴趣区域，以及在该 图像帧序列的第二图像帧获。

43、取期间控制该红外光源处于关闭状态。该红外光源在该图像帧 序列的第3至第10图像帧获取期间保持处于关闭状态。 0048 在图像帧捕获期间，如果与成像组件60相关的红外光源被控制至处于打开状态， 当该成像组件的视场中不存在指针时，成像组件60看见通过边框部分上的反射带所反射 的光照并获取在暗背景上具有连续亮带的图像帧。当成像组件60的视场中不存在无源指 针且红外光源处于打开状态，指针遮住所反射的红外光照并在该捕获的图像帧中呈现为阻 断亮带的暗区域。当红外光源处于关闭状态时，如果成像组件的视场中不存在指针或无源 指针，成像组件60则捕获暗图像帧。当成像组件60的视场中存在有源指针且红外光源处于 打开。

44、状态时，成像组件60看见边框部分上的反射带所反射的红外光照及有源指针所发出 的红外光照，并捕获具有于暗背景上的连续亮带的图像帧。当成像组件60的视场中存在有 源指针且红外光源处于关闭状态，有源指针在捕获的图像帧中呈现为暗背景上的亮区域。 0049 图13示出了所有四个成像组件60图像捕获序列的一部分。各成像组件60连续 捕获被分组成图像帧序列的图像帧，各图像帧序列包括10个图像帧。正如前述所提到的， 对于各成像组件60，第一图像帧获取于关联的红外光源处于打开状态时。余下的9个图像 帧则获取于关联的红外光源处于关闭状态时。为避免相邻红外光源的光照所带来的任何影 响，该四个成像组件60的图像传感器。

45、70的曝光相互交错，从而使得在给定时间内仅有一个 成像组件60捕获图像帧。同理，这些红外光源的光照相互交错并与其关联的图像传感器70 同步。 0050 当一个成像组件60的图像传感器70捕获一个图形帧后，通过读出控制74读出所 说 明 书CN 104067209 A 11 7/11页 12 捕获的图像帧的图像数据。读出控制74以垂直方向而并非以水平方向逐列从图像传感器 70的像素阵列中读出图像数据。以列优先的方式从图像传感器70的像素阵列上读出图像 数据简化了下行图像数据处理的实现。读出控制74根据存储于配置寄存器202中的窗口 配置数据，仅从图像传感器70的像素阵列上读出像素子集或窗口，从而。

46、使得仅具有有用图 像数据的像素被读出。 0051 在本实施例中，读出控制74从像素阵列位于窗口中的像素中读出图像数据，该窗 口的形状大致呈V形，当呈现于所捕获的图像帧中时，该窗口的形状与边框的形状相适配。 像素阵列的位于窗口中的像素覆盖邻近交互表面24的区域，从而使得从窗口中的像素上 读取出来的图像数据足以标识邻近该交互表面24的指针的位置及特征。如图6所示，该窗 口由两条之间间隔有常数距离或高度H的倒置V形边界线所界定。高度H的最小值为10 个像素行，最大值为32个像素行。通过仅从像素阵列位于窗口中的像素中读出图像数据， 减少了需要通过序列操作进行处理的图像数据量，进而减少了ASIC信号处理。

47、电路72所需 的处理功率及存储器。 0052 在本实施例中，通过在初始化时改变传送至成像组件60的配置数据，主DSP500可 用于改变高度H及该窗口的形状。尤其地，配置数据定义了三个沿该窗口的上边界线分布 的可调整的点A，B，及C，其中点A和C位于该上边界线的两端，点B位于沿该上边界线长度 的中间位置。 0053 从读出控制74上读出的图像数据被发送至预处理电路76。预处理电路76包括模 数转换器(ADC)，模拟增益及线性器及其他用于执行例如模拟数字转换、增益、线性化、坏点 /热点校正、倾斜补偿、数字像素合并等处理功能的构件。 0054 子帧管理器78接收来自预处理电路76的预处理的图像数据并。

48、负责追踪从属于同 一图像帧序列的所获取图像帧上读出的图像数据。子帧管理器78酌情将预处理图像数据 重定向至主子帧处理器80或次子帧处理器82。 0055 从图像帧序列中的前两个图像帧上读取出来的图像数据被定向至主子帧处理器 80。由于第一图像帧获取于红外光源处于打开状态时且第二图像帧获取于红外光源处于关 闭状态时，主子帧处理器80采用来自这些图像帧的预处理图像数据，通过从该两图像帧中 减去该预处理图像数据而移除出现在该两图像帧中的环境光伪影。该不同图像数据进而被 存储在帧缓存器86a中。该不同图像数据的各个像素具有范围介于0至255之间的8位颜 色值。 0056 该背景缓存器86b存储了背景图。

49、像，该背景图像在所获取的图像帧中没有检测到 指针时动态更新。帧缓存器86a中的不同图像数据及背景缓存器86b中的背景图像之间的 重要区别表明一个或多个指针存在于所获取的图像帧中。 0057 VIP及ROI处理器88采用存储于帧缓存器86a中的不同图像数据及存储于背景缓 存器86b中的背景图像对存储于边框地图208中的边框文件所定义的区域中的VIP进行计 算。在该过程中，采用存储于帧缓存器86a中的不同图像数据并行执行两个分立的VIP计 算，采用存储于背景缓存器86b中的背景图像执行一个VIP计算。 0058 在第一VIP计算期间，采用存储于帧缓存器86a中的不同图像数据，通过沿像素列 将像素强度值进行相加，并将各像素列像素强度值的和除以对应的像素列数而对相加结果 进行标准化。该VIP计算方法的进一步细节描述于2008年5月9日提交的，名称为“交互 说 明 书CN 104067209 A 12 8/11页 13 式系统及用于该交互式系统的边框”，由汉森等人所有的公开号为2009/0277694的共同转 让的发明专利申请中，此专利文献所公开的内容在此。