具有受控照明的交互输入系统.pdf

具有受控照明的交互输入系统
    【技术领域】
     本发明总体上涉及交互输入系统，具体地，涉及具有受控照明的交互输入系统。 背景技术 允许用户使用主动指示器 ( 例如，发出光、声音或其他信号的指示器 )、被动指 示器 ( 例如，手指、柱体或其他物体 ) 或诸如鼠标或轨迹球的其他适当输入装置来向应 用程序注入 “墨水” 的交互输入系统是公知的。 这些交互输入系统包括但是不限于 ： 触摸系统，其包括触摸板，该触摸板使用模拟电阻或机器视觉技术来记录指示器输入， 诸 如 美 国 专 利 No.5,448,263、6,141,000、6,337,681、6,747,636、6,803,906、7,232,986、 7,236,162 和 7,274,356，已转让给本申请的受让方加拿大的 Alberta 的 SMART Technologies ULC of Calgary，其内容通过引用被并入于此 ；触摸系统，包括触摸板，该触摸板使用电 磁、电容、声音或其他技术来记录指示器输入 ；平板个人计算机 (PC) ；膝上型 PC ；个 人数字助理 (PDA) ；以及，其他类似装置。
     为了便利相对于交互输入系统的触摸表面检测指示器，已经考虑了各种照明方 案。 例如， Carroll 等人的美国专利 No.4,243.879 公开了一种用于包含多个光电换能器的 光电触摸板的动态电平位移器。 该动态电平位移器周期地感测在当每一个光电换能器在 触摸板的正常运行期间可以接收到辐射能量脉冲时的间隔紧前的环境光等级。 将在这样 的间隔期间的每一个光电换能器的输出与前一个环境间隔期间的输出作比较，以便产生 用于指示辐射能量脉冲的存在与否的信号，而与环境光波动无关。
     Doering 等人的美国专利 No.4,893.120 公开了一种触摸屏系统，该触摸屏系统使 用调制光束以即使在亮的环境光条件下也检测何时一个或多个光束被阻挡。 触摸板系统 包括具有限定的周界的触敏显示表面。 多个发光元件和光接收元件围绕该显示表面。 发 光和光接收元件被定位，以使得由所选择的发光和光接收元件的对所限定的光路通过该 显示表面，并且限定交叉的光路的网格。 扫描电路继而使能所选择的发光和光接收元件 的对，以调制根据预定模式发射的光的振幅。 如果当前使能的光接收元件未产生根据预 定模式调制的输出信号，则滤光器产生阻挡的路径信号。 如果滤光器正在产生与在显示 表面的周界内彼此相交的光路对应的至少两个阻挡的路径信号，则计算机确定物体是否 接近显示表面，并且如果如此，则计算机确定该物体的位置。
     Toh 的美国专利 No.6,346,966 公开了一种图像获取系统，该系统允许向包含感兴 趣的物体的场景同时应用不同的照明技术。 在单个位置内，通过选择用于获取每一个图 像的特定波长带来获取由不同的照明技术照亮的多个图像。 在典型的应用中，同时使用 背光照明和前置照明来照亮物体，并且向所获取的图像应用不同的图像分析方法。
     Ogava 的美国专利 No.6,498,602 公开了一种光学数字化器，该光学数字化器识 别指示器仪器，由此允许使用手指或指示器来进行输入。 光学数字化器包括 ：光源，用 于发出光线 ；图像拍摄装置，其被布置在坐标平面的周边，并且在拍摄了指示仪器的图
     像后将指示仪器的图像转换为电信号 ；以及，计算装置，用于在处理了由所述图像拍摄 装置转换的电信号后计算指示位置坐标。 极化装置将由光源发射的光线极化为第一偏振 光线或第二偏振光线。 开关装置将在坐标平面上的辐射光转换为第一偏振光或第二偏振 光。 具有回射特性的回射材料被安装在坐标平面的框处。 具有透射轴的偏振片使得透射 第一偏振光。 判断装置当通过第一偏振光线来拍摄指示仪器的图像时将指示仪器判断为 第一指示仪器，并且当通过第二偏振光线来拍摄指示仪器的图像时将指示仪器判断为第 二指示仪器。
     King 的美国专利申请公开 No.2003/0161524 公开了一种方法和系统，用于通过 下述方式来改善机器视觉系统区别期望的目标特征的能力 ：在一个或多个不同的照明条 件下拍摄图像，并且使用图像分析来提取关于目标的感兴趣的信息。 单独地或与直接在 轴上的或低角度的照明相结合地使用紫外线，以加亮目标的不同特征。 在目标和照相 机之间布置的一个或多个滤光器帮助从由照相机拍摄的一个或多个图像中滤除不需要的 光。 该图像可以由传统图像分析技术分析，并且结果被记录或显示在计算机显示器上。
     Newton 的美国专利申请公开 No.2005/0248540 公开了一种触摸板，该触摸板具 有前表面、后表面、多个边缘和内部容积。 能量源被定位在触摸板的第一边缘附近，并 且被配置来发射在触摸板的内部容积内传播的能量。 漫反射器被定位在触摸板的前表面 附近，以漫反射从内部容积溢出的能量的至少一部分。 至少一个检测器定位在触摸板的 第一边缘附近，并且被配置为检测通过触摸板的前表面漫反射的能量的强度等级。 与 触摸板的第一边缘接近的两个相间的检测器允许使用简单的三角测量技术来计算触摸位 置。
     Nakamura 等人的美国专利申请公开 No.2006/0170658 公开了一种边缘检测电 路，用于检测图像中的边缘，以便增强确定物体是否已经接触了屏幕的精度和计算物体 的坐标位置的精度。 接触确定电路确定物体是否已经接触了屏幕。 校准电路响应于外部 光来控制光学传感器的灵敏度，据此，基于光学传感器的输出值来改变光学传感器的驱 动条件。
     虽然上面的参考文献公开了使用照明技术的系统，但是期望在照明技术上的改 善以增强在交互输入系统中的用户输入的检测。 因此，本发明的目的是提供一种具有受 控照明的新颖交互输入系统。 发明内容
     因此，在一个方面，提供了一种交互输入系统，包括 ：至少一个成像装置，用 于捕获感兴趣的区域的图像 ；多个辐射源，每一个辐射源都向所述感兴趣的区域提供照 明 ；以及，控制器，用于协调所述辐射源和所述至少一个成像装置的操作，以允许产生 基于来自不同的辐射源的影响的独立图像帧。
     在一个实施例中，根据不同的转换模式来点亮和熄灭每一个辐射源。 选择所述 不同的转换模式和成像装置帧率，以基本上消除来自环境光和闪烁的光源的效应。 所述 不同的转换模式基本上是正交的，并且可以遵循沃尔什码。
     根据另一个方面，提供了一种交互输入系统，包括 ：至少两个成像装置，用于 从不同的有利地位 (vantage) 捕获感兴趣的区域的重叠图像 ；辐射源，与每一个所述成像装置相关联，以向所述感兴趣的区域提供照明 ；控制器，用于使用向所述辐射源分配的 不同的转换模式来定时所述成像装置的帧率，并且解调所捕获的图像帧，以产生基于来 自不同辐射源的影响的图像帧 ；以及，处理结构，用于处理所述独立图像帧，以确定指 示器在所述感兴趣的区域内的位置。
     根据另一个方面，提供了一种在交互输入系统中产生图像帧的方法，所述交互 输入系统包括用于捕获感兴趣的区域的图像的至少一个成像装置和用于向所述感兴趣的 区域内提供照明的多个辐射源，所述方法包括 ：根据不同的模式来点亮和熄灭每一个辐 射源，所述模式大体是正交的 ；将所述成像装置的帧率与所述不同的模式同步 ；以及， 解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。
     根据另一个方面，在包括用于捕获感兴趣的区域的图像的至少一个成像装置和 用于向所述感兴趣的区域内提供照明的多个辐射源的交互输入系统中，提供了一种成像 方法，包括 ：调制所述辐射源的输出 ；将所述成像装置的帧率与调制的辐射源输出同 步 ；以及，解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。 附图说明
     现在将参考附图更全面地描述实施例，其中 ： 图 1 是具有受控照明的交互输入系统的透视图 ； 图 2 是图 1 的交互输入系统的示意前正视图 ； 图 3 是图 1 的交互输入系统的一部分的透视概念图 ； 图 4 是图 1 的交互输入系统的一部分的示意图 ； 图 5 示出在子帧捕获期间的图像传感器和红外线光源的点亮 / 熄灭时序模式。 图 6 是示出通过组合不同的图像子帧来产生图像帧的示意图 ； 图 7 是在图 4 中所示的调制照明控制器的示意图 ； 图 8 是形成图 7 的调制照明控制器的一部分的子帧控制器的示意图 ； 图 9 是形成图 7 的调制照明控制器的一部分的解调器的示意图 ； 图 10 是形成图 7 的调制照明控制器的一部分的光输出接口的示意图。具体实施方式
     现在转向图 1 至 4，允许用户向应用程序内加入诸如 “墨水”的输入的交互输入 系统被示出，并且整体上被附图标记 20 表示。 在这个实施例中，交互输入系统 20 包括 ： 组件 22，其接合显示单元 ( 未示出 )，诸如等离子体电视、液晶显示 (LCD) 装置、平板 显示装置、阴极射线管等，并且组件 22 围绕显示单元的显示表面 24。 组件 22 使用机器 视觉来检测被使得进入接近显示表面 24 的感兴趣区域内的指示器，并且经由通用串行总 线 (USB) 电缆 28 来与执行一个或多个应用程序的计算机 26 进行通信。 计算机 26 处理 组件 22 的输出，并且调整向显示单元输出的图像数据，使得在显示表面 24 上呈现的图像 反映指示器行为。 以这种方式，组件 22 和计算机 26 允许将接近显示表面 24 的指示器行 为记录为书写或绘图或用于控制由计算机 26 执行的一个或多个应用程序的执行。
     组件 22 包括与显示单元整合或附接到显示单元的框组件，并且围绕显示表面 24。 框组件包括边框，该边框具有三个边框分段 40 至 44、四个角件 46 和一个工具盘分段 48。 边框分段 40 和 42 沿着显示表面 24 的相对的侧边延伸，同时，边框分段 44 沿着 显示表面 24 的顶边延伸。 被照亮的边框分段 40 至 44 形成围绕显示表面周界的红外线 (IR) 光源，该红外线 (IR) 光源可以被调节以发射红外线照明，使得位于接近显示表面 24 的感兴趣的区域内的指示器由发射的红外线辐射从后面照射。 边框分段 40 至 44 可以是 在 Akitt 等人的并且被转让给本申请的受让方加拿大的 Alberta 的 SMART Technologies ULC of Calgary 的美国专利 No.6,972,401 中公开的类型，该申请的内容通过引用被并入。 工具 盘分段 48 沿着显示表面 24 的底边延伸，并且支撑一个或多个笔工具 P。 接近显示表面 24 的左上和右上角的角件 46 将边框分段 40 和 42 耦合到边框分段 44。 接近显示表面 24 的左下和右下角的角件 46 将边框分段 40 和 42 耦合到工具盘分段 48。
     在这个实施例中，接近显示表面 24 的左下和右下角的角件 46 容纳图像传感器 60 和 62，图像传感器 60 和 62 从不同的有利地位 (vantage) 上整体扫视整个显示表面 24。 图像传感器 60 和 62 是由 Micron 制造的、型号 No.MT9V022 的类型，并且被配备了由 Boowon 制造的、型号 No.BW25B 的类型的 880nm 透镜，该透镜向图像传感器提供了 98 度的视场。 当然，本领域技术人员可以明白，可以使用其他商用或定制的图像传感器。 接近显示表面 24 的左下和右下角的每一个角件 46 也容纳被定位使接近其相关联的图像传 感器的红外线光源 64、66。 可以调节红外线光源 64 和 66 能够以发射红外线照明，使得 在感兴趣的区域内的指示器被所发射的红外线辐射从正面照亮。 图像传感器 60 和 62 与调制照明控制器 70 进行通信，调制照明控制器 70 经由光 控制电路 72 至 76 来控制被照亮的边框分段 40 至 44 与红外线光源 64 和 66 的操作。 每 一个光控制电路 72 至 76 包括功率晶体管和镇流电阻器。 光控制电路 72 与被照亮的边框 分段 40 至 44 相关联，光控制电路 74 与红外线光源 64 相关联，并且光控制电路 76 与红 外线光源 66 相关联。 光控制电路 72 至 76 的功率晶体管和镇流电阻器在它们相关联的红 外线光源和电源之间起作用。 调制照明控制器 70 接收从晶体振荡器 78 输入的时钟，并 且与微处理器 80 进行通信。 微处理器 80 也通过 USB 电缆 28 与计算机 26 进行通信。
     优选的是，调制照明控制器 70 被实现在诸如例如现场可编程门阵列 (FPGA) 或 专用集成电路 (ASIC) 的集成电路上。 替代地，调制照明控制器 70 可以被实现在一般的 数字信号处理 (DSP) 芯片或其他适当的处理器上。
     交互输入系统 20 被设计来检测使得接近显示表面 24 并且在图像传感器 60 和 62 的视场内的诸如例如用户手指 F、圆柱体或其他适当物体的被动指示器以及具有回射或高 反射尖端的笔工具 P。 一般，在操作期间，被照亮的边框分段 40 至 44、红外线光源 64 和红外线光源 66 每一个被调制照明控制器 70 以不同的模式点亮和熄灭 ( 即调制 )。 点亮 / 熄灭转换模式被选择成使得转换模式是大体正交的。结果，如果一个转换模式与另一个 转换模式交叉相关，则结果大致为 0，并且如果一个转换模式与其本身交叉相关，则结果 是正增益。 这允许图像传感器 60 和 62 捕获图像帧，而被照亮的边框分段 40 至 44 和红 外线光源 64 和 66 同时起作用，并且图像帧被处理以得到仅包括来自红外线光源的被选择 的一个的影响的独立图像帧。
     在这个实施例中，诸如在码分多址 (CDMA) 通信系统中使用的那些的沃尔什码 的正交属性用于调制被照亮的边框分段 40 至 44 和红外线光源 64 和 66，由此允许分离不 同光源的图像影响。 例如，沃尔什码 W1 ＝ {1， -1，1， -1，1， -1，1， -1} 和 W2 ＝
     {1，1， -1， -1，1，1， -1， -1} 是正交的，这表示当对应的元素被相乘并相加时，结果 是 0。 可以明白，光源不能呈现负强度。 因此，通过调制照明控制器 70 根据不同的修改 的沃尔什码 MWx，点亮和熄灭被照亮的边框分段 40 至 44、红外线光源 64 和红外线光源 66 每一个，其中，值一 (1) 的沃尔什码比特表示点亮情况，值零 (0) 的沃尔什码比特表示 熄灭情况。 具体地说，根据修改的沃尔什码 MW1 ＝ {1，0，1，0，1，0，1，0} 来点亮 或熄灭被照亮的边框分段 40 至 44。 根据修改的沃尔什码 MW2 ＝ {1，1，0，0，1，1， 0，0} 来点亮或熄灭红外线光源 64。 根据修改的沃尔什码 MW3 ＝ {1，0，0，1，1，0， 0，1} 来点亮或熄灭红外线光源 66。 可以明白，将负沃尔什码比特值替换为零值向 IR 照 明引入了直流偏置。
     在解调期间，使用沃尔什码 W1 ＝ {1，-1，1，-1，1，-1，1，-1}、W2 ＝ {1， 1， -1， -1，1，1， -1， -1} 和 W3 ＝ {1， -1， -1，1，1， -1， -1，1}。 这些沃尔什码 是所感兴趣的，因为它们在 960Hz 的子帧率具有在直流、120Hz、240Hz 和 360Hz 的频谱 空值。 结果，如果这些沃尔什码交叉相关，则消除在直流、120Hz、240Hz 和 360Hz 的频 率，以允许滤除外部稳态光 ( 例如，太阳光 ) 的效应、由修改的沃尔什码 MWx 引入的直 流偏置和在常用频率，即在北美洲的 120Hz，闪烁的光源 ( 例如，荧光和白炽光源等 ) 的 效应。 如果在其中照明以不同的频率闪烁的不同环境中使用交互输入系统 20，则调整子 帧率以滤除这个闪烁的光的影响。 图像传感器 60 和 62 由调制照明控制器 70 与被照亮的边框分段 40 至 44、红外 线光源 64 和红外线光源 66 的点亮 / 熄灭转换模式同步地操作，使得捕获具有每秒 960 帧 (fps) 的子帧率的八 (8) 个子帧，以向每一个图像传感器提供 120Hz 的帧率。 图 5 示出 了红外线光源的点亮 / 熄灭转换模式和图像传感器 60 和 62 的子帧捕获速率。 由图像传 感器 60 和 62 捕获的子帧被调制照明控制器 70 以不同的组合进行组合，以获得多个结果 产生的图像帧，即 ：如图 6 中所示的，来自每一个图像传感器 60、62 的图像帧 90，其大 致仅基于由被照亮的边框分段 40 至 44 发射的红外线照明的影响 ；来自图像传感器 60 的 图像帧 92，其大致仅基于由红外线光源 64 发射的红外线照明的影响 ；来自图像传感器 62 的图像帧 94，其大致仅基于由红外线光源 66 发射的红外线照明的影响 ；以及，来自每一 个图像传感器 60、62 的图像帧 96，其基于由边框分段 40 至 44、红外线光源 64、红外线 光源 66 发射的红外线照明和环境光的影响。
     由调制照明控制器 70 产生的结果图像帧然后被传送到微处理器 80。 在接收到图 像帧后，微处理器 80 查看由对于每一个图像传感器 60、62 产生的、大致仅基于被照亮的 边框分段 40 至 44 发射的红外线照明的影响的图像帧，以检测指示器的存在。 对于这些 图像帧，被照亮的边框分段 40 至 44 显现为在图像帧中的亮带。 如果指示器在子帧的捕 获期间接近显示表面 24，则指示器将挡住由被照亮的边框分段 40 至 44 发射的背光红外线 照明。 结果，指示器将在每一个图像帧中显现为中断亮带的暗区域。
     微处理器 80 成对地处理由每一个图像传感器 60、62 输出的连续图像帧。 当可以 获得来自图像传感器的一对图像帧时，微处理器 80 将图像帧相减以形成差图像帧，然后 处理差图像帧，以产生不连续值，该不连续值表示指示器在差图像帧中存在的可能性。 当没有指示器接近显示表面 24 时，不连续值为高。 当有指示器接近显示表面 24 时，一 些不连续值下降低于阈值，以使得容易确定在差图像帧中的指示器的存在。
     为了产生每一个差图像帧的不连续值，微处理器 80 通过求和在图像帧的每一个 像素列中的像素的强度值来计算图像帧的垂直强度分布 (VIPbezel)。 如果不存在指示器， 则 VIPbezel 值将对于图像帧的所有像素列保持为高。 然而，如果在图像帧中存在指示器， 则 VIPbezel 值将在与在图像帧中的指示器的位置对应的区域降低为低值。 查看由每一个图 像帧的 VIPbezel 值定义的结果 VIPbezel 曲线以确定 VIPbezel 曲线是否下降低于表示指示器的存 在的阈值，并且如果如此，则检测用于表示指示器的相对侧的、在 VIPbezel 曲线中的左和 右边。
     具体地说，为了在每一个图像帧中定位左和右边，计算 VIPbezel 曲线的一阶导数 以形成梯度曲线 值，则结果产生的梯度曲线 测区域的边界，梯度曲线
     如果 VIPbezel 曲线降低得小于用于表示指示器的存在的阈 将包括由正峰值和负峰值界定的区域，正 被边缘检测器处理。 应用阈值 T，使得对于每一个位置 x， 的值被设置为 的绝对值小于阈值，则梯度曲线 则 包含与用于表示指示器峰值和负峰值表示由在 VIPbezel 曲线中的凹陷部分形成的边。 为了检测该峰值并且因此检 具体地说，首先向梯度曲线如果梯度曲线 0，如下式所表达 ：
     如果按照该阈值化过程，被阈值化的梯度曲线的相对侧的左边和右边对应的负尖峰和正尖峰，并且在其他位置是零。 然后，由被阈 值化的梯度曲线 CDleft ：
     的两个非零的尖峰分别检测左和右边。 为了计算左边，根 的左尖峰计算质心距离据下式，从自像素列 Xleft 开始的阈值化的梯度曲线
     其中， xi 是在梯度曲线的左尖峰中的第 i 像素列的像素列编号，从 的左尖峰的宽度迭代 i，并且 Xleft 是与沿着梯度曲线 中的左边确定为等于 Xleft+CDleft。1 向阈值化的梯度曲线 值。 然后，将在阈值化的梯度曲线
     的值相关联的像素列，其值与零 (0) 相差基于系统噪声而在经验上确定的阈为 了 计 算 右 边， 根 据 下 式， 由 自 像 素 列 Xright 开 始 的 阈 值 化 的 梯 度 曲 线 的右尖峰计算质心距离 CDright ：
     其中， xj 是在梯度曲线的右尖峰中的第 j 像素列的像素列编号，从 的右尖峰的宽度迭代 j，并且 Xright 是与沿着梯度曲线91 向阈值化的梯度曲线CN 102016771 A CN 102016781 A说明书7/12 页的值相关联的像素列，其值与零 (0) 相差基于系统噪声而在经验上确定的阈 值。 然后，将在阈值化的梯度曲线
     中的右边确定为等于 Xright+CDright。 的左和右边，则计算在所识别的左一旦计算了阈值化的梯度曲线和右边之间的中点，由此确定在差图像帧中的指示器的位置。 如果在大致仅基于由被照亮的边框分段 40 至 44 发射的红外线照明的影响的图像 帧中检测出指示器，则大致仅基于由红外线光源 64 发射的红外线照明的影响的图像帧和 大致仅基于由红外线光源 66 发射的红外线照明的影响的图像帧被处理，以确定指示器是 否是笔工具 P。 可以明白，如果指示器是笔工具 P，则由于由回射笔工具尖端将发射的红 外线照射向红外线光源并且因此向图像传感器 60 和 62 的反射，笔工具 P 将作为亮区域显 现在由每一个图像传感器捕获的图像帧中的暗背景上。 如果指示器是手指 F，则指示器 将在这些图像帧的至少一个中显现为实质上更暗。
     如果确定了笔工具 P 的存在，则以如上所述相同的方式来处理图像帧，以便确 定笔工具 P 在图像帧中的位置。
     在已经确定了指示器在图像帧中的位置后，微处理器 80 使用在图像帧中的指示 器位置来以诸如在上面并入的 Morrison 等人的美国专利 No.6,803,906 中所述的方式的公知 方式，使用三角测量计算指示器在 (x， y) 坐标上相对于显示表面 24 的位置。 然后，微 控制器 80 经由 USB 电缆 28 向计算机 26 传送所计算的指示器坐标。 计算机 26 继而处理 所接收的指示器坐标，并且如果需要，则更新向显示单元提供的图像输出，以便在显示 表面 24 上呈现的图像反映指示器行为。 以这种方式，与显示表面 24 的指示器交互可以 被记录为书写或绘图，或用于控制在计算机 26 上运行的一个或多个应用程序的执行。
     现在具体参考图 7 至 10 来描述调制照明控制器 70 的部件和它的操作。 现在转 向图 7，更好地图示了调制照明控制器 70。 如可以看出的，调制照明控制器 70 包括图像 传感器控制器 100，图像传感器控制器 100 接收由晶体振荡器 78 输出的时钟信号。 图像 传感器控制器 100 向图像传感器 60 和 62 提供定时信号以设置图像传感器子帧率，并且经 由 PIXCLK、 LED、 Frame_Valid 和 Line_Valid 信号线而连接到子帧控制器 102。 图像传 感器控制器 100 也与多个解调器进行通信，在该情况下为六 (6) 个解调器 104a 至 104f。 具体地说，图像传感器控制器 100 经由 CAM1DATA 线连接到解调器 104a 至 104c，并且 经由 CAM2DATA 线连接到解调器 104d 至 104f。 图像传感器控制器 100 也经由 PIXCLK 信号线而连接到解调器 104a 至 104f。 解调器 104a 至 104f 经由 D、A 和 OEx 信号线而连 接到输出接口 106。 输出接口 106 也经由线 108 连接到子帧控制器 102，经由 PLXCLK 信 号线而连接到图像传感器控制器 100，并且连接到微处理器 80。
     子帧控制器 102 经由 subframe_D、 EN 和地址信号线连接到解调器 104a 至 104f 的每一个。 子帧控制器 102 也经由 subframe_L 和 EXP 信号线而连接到光控制接口 110 至 114 的每一个。 光控制接口 110 至 114 也连接到 PIXCLK 信号线。 光控制接口 110 连接 到光控制电路 72，光控制接口 112 连接到光控制电路 74，并且光控制接口 114 连接到控 制电路 76。
     图 8 更好地图示子帧控制器 102。 可以看到，子帧控制器 102 包括四个输入端 150-156，四个输入端 150-156 接纳从图像传感器控制器 100 延伸的 LED、Frame_Valid、 PIXCLK 和 Line_Valid 信号线。 具体地说，输入端 150 接纳 LED 信号线，输入端 152 接纳 PIXCLK 信号线，输入端 154 接纳 Frame_Valid 信号线，并且输入端 156 接纳 Line_Valid 信号线。 子帧控制器 102 也包括 6 个输出端，即 EXP 输出端 160、 subframe_L 输出端 162、 subframe_D 输出端 164、 INT 输出端 166、地址输出端 168 和 EN 输出端 170。 三 比特计数器 180 具有连接到 LED 输入端 150 的输入，以及连接到 subframe_L 输出端 162 的输出。 锁存器 182 的输入也连接到 LED 输入端 150。 锁存器 182 的输出耦合到 EXP 输出端 160。 锁存器 182 的控制输入连接到 PIXCLK 输入端 152。 PIXCLK 输入端 152 也连接到一对锁存器 184 和 186 的控制输入，并且连接到计数器 188 的控制输入。 锁存 器 184 的 D 输入通过反相器 190 而连接到计数器 188 的零输入。 锁存器 184 的 Q 输入连 接到门电路 192 的反相输入和锁存器 186 的 D 输入。 锁存器 186 的 Q 输入连接到门电路 192 的非反相输入。 门电路 192 的输出连接到门电路 194 的一个输入。 门电路 194 的另 一个输入连接到比较器 196 的输出。 门电路 194 的输出连接到 INT 输出端 166。
     锁存器 200 的控制输入也连接到 LED 输入端 150。 锁存器 200 的 D 输入连接到 subframe_L 输出端 162。 锁存器 200 的 Q 输入连接到锁存器 202 的 D 输入。 锁存器 202 的控制输入连接到 Frame_Valid 输入端 154，而其 Q 输入连接到 subframe_D 输出端 164， 并且连接到比较器 196 的输入。 计数器 188 的 EN 输入连接到 Line_Valid 输入端 156，而 控制器 188 的输出引脚连接到地址输出端 168。 Line_Valid 输入端 156 也直接连接到 EN 输出端 170。 图 9 较好地图示解调器 104a 至 104f 之一。 如可以看出的，解调器包括七 (7) 个 输入端，即子帧输入端 210、数据输入端 212、 EN 输入端 214、 PIXCLK 输入端 216、地 址输入端 218、 OE 输入端 220 和 A 输入端 222。 解调器也包括单个 D 输出端 224。 锁 存器 230 的输入连接到数据输入端，并且其输出连接到扩展器单元 232 的输入。 锁存器 230 的控制输入连接到 PIXCLK 输入端 216。 扩展器单元 232 的输出连接到代数加 / 减 单元 234 的 B 输入。 代数单元 234 的 A 输入连接到复用器 236 的输出，代数单元 234 的 输出连接到具有两部分存储器单元形式的工作缓冲器 240 的 DA 输入。 复用器 236 的一个 输入连接到空输入 242，并且复用器 236 的另一个输入连接到在工作缓冲器 240 的 DB 输 入和具有两部分存储器单元形式的输出缓冲器 250 的 DA 输入之间延伸的线 244。 复用器 236 的控制输入连接到在比较器 254 的输出和门电路 256 的一个输入之间延伸的线 252。 比较器 254 的输入和查找表 258 的输入连接到子帧输入端 210。 查找表 258 的输出连接到 代数单元 234 的控制输入。 在查找表 258 中的逻辑一 (1) 指示沃尔什码比特值 “1”，并 且指令代数单元 234 以执行相加运算。 在查找表 258 中的逻辑零 (0) 指示沃尔什码比特 值 “-1”，并且指令代数单元 234 以执行相减运算。 在这个示例中，使用沃尔什码 W1 ： {1， -1，1， -1，1， -1，1， -1} 来编程查找表 258，以使得能够解调来自边框分段 40 至 44 的照明，使用 W2 ：{1，1， -1， -1，1，1， -1， -1} 来编程查找表 258，以使得能够 解调来自红外线光源 64 的照明，并且使用沃尔什码 W3 ：{1， -1， -1，1，1， -1， -1， 1} 来编程查找表 258，以使得能够解调来自红外线光源 66 的照明。 为了使得能够捕获基 于包括环境光的所有发射的红外线照明的影响的图像帧，使用沃尔什码 W0 ：{1，1，1， 1，1，1，1，1} 来编程查找表 250。
     门电路 256 的另一个输入连接到在锁存器 262 的输出和工作缓冲器 240 的 WEA 输入之间延伸的线 260。 门电路 256 的输出连接到输出缓冲器 250 的 WEA 输入。 锁存
     器 262 的输入连接到 EN 输入端 214，并且锁存器 262 的控制输入连接到 PIXCLK 输入端 216。 PIXCLK 输入端 216 也分别连接到工作和输出缓冲器 240 和 250 的控制输入，并且 连接到锁存器 264 的控制输入。 锁存器 264 的输入连接到地址输入端 218。 锁存器 264 的输出分别连接到工作和输出缓冲器 240 和 250 的 AA 输入。 地址输入端 218 也连接到工 作缓冲器 240 的 AB 输入。 输出缓冲器 250 的 OEB 和 AB 输入分别连接到 OE 和 A 输入端 220 和 222。
     图 10 更好地图示光控制接口 110 至 114 之一。 如可以看出的，光控制接口包 括 SF 输入端 280、 EXP 输入端 282 和 CLK 输入端 284。 光控制接口也包括单个输出端 286。 8x1 查找表 290 的输入连接到 SF 输入端 280。 查找表 290 的输出连接到门电路 292 的一个输入。 门电路 292 的第二输入连接到 EXP 输入端 282，并且门电路 292 的第三输 入连接到脉冲发生器 294 的 Q 输入。 脉冲发生器 294 的 T 输入连接到 EXP 输入端 282， 并且脉冲发生器 294 的控制输入连接到 CLK 输入端 284。 门电路 292 的输出连接到输出 端 286。 查找表 290 存储每一个子帧的沃尔什码的状态，该沃尔什码的状态确定在捕获那 个子帧期间相关联的红外线光源的点亮 / 熄灭情况。 因此，对于被照亮的边框分段 40 至 44，使用修改的沃尔什码 MW1 ＝ {1，0，1，0，1，0，1，0} 来编程光控制接口 110 的查 找表 290。 对于红外线光源 64，使用修改的沃尔什码 MW2 ＝ {1，1，0，0，1，1，0， 0} 来编程光控制接口 112 的查找表 290。 对于红外线光源 66，使用修改的沃尔什码 MW3 ＝ {1，0，0，1，1，0，0，1} 来编程光控制接口 114 的查找表 290。
     在操作方面，解调器 104a 和 104d 被编程来输出大致仅基于由边框分段 40 至 44 反射的红外线照明的、来自图像传感器 60 和 62 的图像帧。 解调器 104b 被编程来输出大 致仅基于由红外线光源 64 发射的红外线照明的、来自图像传感器 60 的图像帧，并且解调 器 104e 被编程来输出仅基于由红外线光源 66 发射的红外线照明的、来自图像传感器 62 的图像帧。 解调器 104c 和 104f 被编程来输出基于由所有的红外线光源以及环境光发射的 红外线照明的、来自图像传感器 60 和 62 的输出帧。 这些图像帧向微处理器 80 提供了感 兴趣的区域的未调制的视图，以允许微处理器执行图像传感器的曝光控制和可能的进一 步的对象分类。
     光输出接口 110-114 按照所分配的修改的沃尔什码 MWx 向它们的相关联的红外 线光源提供输出信号。 如上所述，将沃尔什码与图像传感器 60 和 62 的曝光时间同步。
     图像传感器控制器 100 向图像传感器 60 和 62 的每一个提供控制信号，并且从图 像传感器 60 和 62 的每一个收集图像子帧。 来自晶体振荡器 78 的时钟信号用于产生用 于两个图像传感器的时钟信号。 图像传感器 60 和 62 被驱动使得它们同时曝光它们的图 像子帧，并且同时提供子帧数据。 在这个实施例中，图像传感器分别在 CAM1DATA 和 CAM2DATA 数据线上提供子帧数据，在 PIXCLK 信号线上提供像素时钟信号，在 LED 信 号线上提供用于指示子帧被曝光的信号，在 FRAME_VALID 信号线上提供用于指示子帧 结束的信号，并且在 LINE_VALID 信号线上提供用于指示数据线具有有效的像素信息的 信号。 图像传感器具有 12 比特的分辨率 (0 至 4095)，使用非线形函数或其他适当的压缩 方法来将 12 比特的分辨率压缩为 10 比特的字 (0 至 1023)。 在解调之前，解压缩 10 比特 数据线，以便抑制结果产生的非线性函数破坏沃尔什码的属性。
     输出接口 106 向微处理器 80 提供获得结果产生的图像帧所必要的信号。 输出接口的形式取决于所使用的微处理器的类型和所选择的传送模式。 当在解调器 104a 至 104f 中可获得新的子帧时，子帧控制器 102 产生在 INT 线上的内部信号。 输出接口 106 通过 OE1 信号线使能第一解调器 104a 的输出。 输出接口 106 然后通过地址 (A) 来排序和读取 每一个像素的数据 (D)，串行化结果，并将结果发送到微处理器 80。 然后，使用 5 个剩 余的输出使能线 OE2 至 OE6 来对于 5 个其他解调器 104b 至 104f 重复该处理，直到向微处 理器 80 发送了所有的像素信息。
     子 帧 控 制 器 102 担 任 保 持 同 步 和 子 帧 计 数 的 任 务。 3 比 特 计 数 器 180 经 由 subframe_L 线向光输出接口 110 至 114 输出当前由图像传感器 60 和 62 曝光的子帧编号 (0-7)。 计数器 180 在通过在 LED 线上的信号每一个图像传感器曝光的开始时递增，并 且在最后的子帧后回卷 (wrap around) 到零。 来自图像传感器 60 和 62 的数据未结束，直 到在曝光的结束后的某个时间 ( 信号的下降沿 )。 锁存器 300 和 202 将子帧计数延迟到 Frame_VALID 信号的下一个上升沿，并且将这个信息向解调器 104a 至 104f 发送，以指示 它们当前正在处理哪个子帧。 将 EXP 信号输出到光输出接口 110-114，以允许它们点亮 它们的相关联的红外线光源。 EXP 信号被锁存器 182 略微延迟，以保证当激活红外线光 源时 subframe_L 信号线是稳定的。
     在每一个子帧内，计数器 188 向每一个像素提供唯一地址。 计数器在每一个子 帧的开始被清零，并且每当读入有效的像素时递增。 这个地址与使能 (EN) 一起被发送 到解调器 104a 至 104f 的每一个，使能 (EN) 指示 CAM1DATA 和 CAM2DATA 数据线何时 有效。
     在每一个子帧 0 的结尾，可以从解调器 104a-104f 获得有效数据。 锁存器 184 和 186 与门电路 192 在每一个 FRAME_VALID 信号的结尾提供单个正脉冲。 比较器 196 和 门电路 194 允许这个正脉冲仅在子帧 0 的结尾通过。 这在 INT 信号线上向输出结果 106 提供了用于指示准备好发送新的结果图像帧的信号。
     工作缓冲器 240 用于存储中间的图像帧。 根据在查找表 258 中存储的所选择的 沃尔什码，使用代数单元 234 来相对于工作缓冲器 240 增加或减去新的像素。
     在子帧 0 期间，直接地向工作存储器 240 中传送图像传感器数据。 比较器 254 在子帧 0 期间输出逻辑 1，该逻辑 1 强制复用器 236 在代数单元 234 的 A 输入上强制 0。 查找表 258 的输出在子帧 0 期间总是逻辑 1，因此，代数单元 234 将总是向输入 A(0) 加 上输入 B，以有效地向工作缓冲器 240 内复制输入 B。 在每一个 PIXCLK 上升沿时，来自 图像传感器的原始数据被锁存到锁存器 230 内，其地址被锁存到锁存器 264 内，并且其有 效状态 (EN) 被锁存到锁存器 262 内。 如上所述，来自图像传感器的数据为压缩的 10 比 特形式，在处理之前必须将其扩展为其原始的线形 12 比特形式。 这是由扩展器单元 232 进行的。 扩展器单元 232 还增加了额外的 3 个高阶比特，以建立 15 比特的带符号格式， 以抑制在处理期间的下溢或溢出错误。 如果数据是有效的 ( 锁存器 262 的输出高 )，则被 扩展的数据将未修改地通过代数单元 234，并且在像素地址 AA 通过工作缓冲器 240 的 DA 输入被锁存到工作缓冲器 240 内。 在子帧 0 的结尾，整个第一子帧被锁存到工作缓冲器 240 内。
     必须相对于在工作缓冲器 240 中的对应的像素值来增加或减去在剩余的子帧 (1-7) 中的像素数据。 在锁存器 230、264 和 262 中锁存数据、地址和 EN 信号的同时，那个像素的当前工作值被锁存到工作缓冲器 240 的 DB 输入内。 比较器 254 在这些子帧中 变为逻辑 0，这使得复用器 236 将像素的当前工作值置于代数单元 234 的 A 输入。 查找 表 258 根据沃尔什码来确定应当相对于当前工作值来增加还是减去在输入 B 的新的图像数 据，其中，沃尔什码比特值一 (1) 表示相加运算，沃尔什码比特值零 (0) 表示相减运算。 然后，通过 DA 输入在下一个时钟周期将结果放回工作缓冲器 240 中的同一地址内。
     在处理了所有的 8 个子帧后，工作缓冲器 240 包含最后的结果图像帧。 在随后 的子帧的子帧 0 期间，将这个结果的图像帧传送到输出缓冲器 250。 因为子帧 0 不使用 来自工作缓冲器 240 的 DB 输入的输出，所以使用这同一端口来向输出缓冲器 250 传送结 果产生的图像帧。 门电路 256 在子帧 0 期间使能输出缓冲器 250 的 A 端口的写入使能输 入 (WEA)。 然后，来自工作缓冲器 240 的数据刚好在被下一个进入的子帧重写之前传送 到输出缓冲器 250。 然后，使用输出缓冲器 250 的 DB、地址和输出使能 OB 线以通过输出 接口 106 向微处理器 80 传送结果图像帧。
     刚好在曝光信号 (EXP) 变成高之前，子帧控制器 102 设置被曝光的当前子帧 (SF)。 如果查找表 290 输出零 (0)，则门电路 292 对于这个子帧将相关联的红外线光源 保持熄灭。 如果查找表输出一 (1)，则点亮相关联的红外线光源。 由脉冲发生器 294 来 确定点亮持续时间。 以触发 (T) 启动的脉冲发生器 294 输出给定数量的时钟周期 ( 在该 情况下为像素时钟 ) 长的正脉冲。 在脉冲的结尾，或当到达图像传感器曝光时间时，门 电路 292 熄灭相关联的红外线光源。
     脉冲发生器 294 允许独立于其他光源和传感器整合时间来动态地调整每一个红 外线光源的影响，以获得期望的平衡。 在每一个红外线光源中的脉冲时间保持不变的情 况下，可以调整图像传感器 60 和 62 的曝光时间，以获得最好的环境光图像 ( 解调器 104c 和 104f)，而不影响调制的图像帧 ( 解调器 104a、104b、104d 和 104e)。 图像传感器的最 小的可能整合时间等于三个红外线光源的最长脉冲时间。 图像传感器的最大可能整合时 间是像素开始饱和的点，在该情况下，解调方案将经历失败。
     在如上所述的实施例中，使用沃尔什码来调制和解调红外线光源。 本领域技 术人员可以明白，可以使用其他数字代码来调制和解调红外线光源，诸如例如在 OOK、 FSK、 ASK、 PSK、 QAM、 MSK、 CPM、 PPM、 TCM、 OFDM、 FHSS 或 DSSS 通信系 统中使用的数字代码。
     虽然图像传感器被示出为位于接近显示表面的底部角，但是本领域技术人员可 以明白，可以将图像传感器相对于显示表面定位在不同的位置。 不必包括工具盘分段， 并且必要时，可以用被照亮的边框分段替换。 此外，虽然被照亮的边框分段 40 至 44 和 光源 64 和 66 被描述为红外线光源，但是本领域技术人员可以明白，可以使用其他适当的 辐射源。
     虽然交互输入系统 20 被描述为检测具有回射或高反射的尖端的笔工具，但是本 领域技术人员可以明白，交互输入系统也可以检测当接近显示表面 24 时发射信号的主动 指示器。 例如，交互输入系统可以检测发射红外线辐射的主动笔工具，诸如在下文中描 述的笔工具 ：Bolt 等人的、题目为 “Interactive Input System And Pen Tool Therefor”、在 2008 年 5 月 9 日提交，并且被转让给 Alberta 的 SMART Technologies ULC of Calgary 的美 国专利申请 No.12/118,535，其内容通过引用被并入。在这个实施例中，当使得主动笔工具接近显示表面 24 时，主动笔工具发射调制 信号，该调制信号具有等于 120Hz、240Hz 和 360Hz 的频率的分量。 当沃尔什码具有在 这些频率的频谱空值时，选择这些频率。 结果，在进行处理以检测在感兴趣的区域中的 主动笔工具的存在期间，滤除由主动笔工具输出的调制光，因此，不影响指示器检测。 当检测到指示器的存在时，微处理器 80 将基于由所有的红外线光源发射的红外线辐射以 及环境光的图像帧进行傅立叶变换，由此去除表示来自被照亮的边框分段的影响的图像 帧的 DC 偏置和 480Hz 的分量。 微处理器 80 然后查看结果图像帧，以确定是否存在在 120Hz、240Hz 和 360Hz 的结果图像帧的任何较大分量。 如果如此，则微处理器 80 使用 在这些频率的信号模式来识别主动笔工具。
     可以明白，当由主动笔工具发射的调制信号可以被通信线 28 使用来识别主动笔 工具时，便利了在显示表面 24 附近的多个主动笔工具的检测。 如果在指示器检测期间检 测到中断亮带的两个或更多的暗区域，则可以独立地处理由主动笔工具输出的调制光， 以确定是否在等于 120Hz、240Hz 和 360Hz 的频率的调制信号分量，由此允许识别单独的 主动笔工具。 这抑制了由主动笔工具输出的调制信号彼此干扰，并且使得每一个主动笔 工具能够与在显示表面 24 上呈现的图像相关联，以允许正确地处理主动笔工具输入。 交互输入系统当前可以采取其他形式。 例如，被照亮的边框分段可以被替换为 在上面的 Bolt 等人的申请中所述的回射或高反射的边框。 然而，本领域技术人员可以 明白，可以向基本上任何包括多个辐射源的交互输入系统应用辐射调制技术，以减小干 扰，并且允许分离与每一个辐射源相关联的信息。
     虽然已经参考附图描述了实施例，但是本领域技术人员可以明白，在不偏离由 所附的权利要求限定的本发明的精神和范围的情况下，可以进行改变和修改。