信息输入的方法及设备 本发明涉及把数据和/或控制信息输入电子装置的方法和设备。尤其是，本发明涉及利用图像认知把信息输入计算机或其它数据和/或控制系统的系统和方法。
已提出实现多媒体信息输入/输出的各种新型多媒体装置，它们组合了现有音频-视频(AV)、信息和通信装置所具有的功能。这些新型装置的例子包括具有通信能力的便携式信息终端、具有通信能力的摄录机以及具有通信能力和AV功能个人计算机。此外，正在开发专用于使这些新型多媒体经由不同的网络进行相互通信的系统。用于装置间通信的一些不同类型网络包括Ethdernet局域网(LANS)、Token Ring LANs、ATM广域网(WANs)、类似于公用电话网的有线通信网以及无线通信网诸如红外线通信系统、蜂窝式电话系统和卫星通信系统。
这些新型多媒体装置中的许多装置使用与现有AV、信息和通信装置所使用的相同的常规接口。例如，常规和新型的多媒体装置都使用键盘、鼠标器、触摸屏、专用控制器和麦克风。
如图15A所示，条形码是把信息输入多媒体系统地常规装置的另一个例子。条形码一般包括具有变化宽度(代表二进制代码)的线条图案。它们一般用于通过机器来识别商品和其它物品，或者指定一目标物体。条形码可以是一维或两维的。换句话说，条形码可如此排列，从而条形码读出器可沿一个或两个不同的扫描方向对条形码进行扫描。图15B示出两维的条形码。
不幸的是，操作常规的输入接口很糟糕，而且与人的感觉不相适应。这不是说现有装置的本身不符合人类工程学，而是说其操作方法不是直观的，一般在有效地使用这些装置前需要进行特殊的训练和练习。例如，虽然键盘具有多种调节和特别舒适的特点，但如果不教会用户如何触摸-敲击如何进行练习，用户要有效地使用即使是最符合人类工程学的键盘也是困难的。常规多媒体装置中的鼠标器、触摸屏、专用控制器和麦克风也是如此。这些输入装置远不适应人的感觉。换句话说，没有习惯操作这些装置的用户不能直观地理解相关的操作方法，它们需要特别的知识和训练来熟练地操作这些装置。
除了人类不易于认知或读出以外，适应条形码的系统还有别的问题，即对于一给定的条形图案显示面积，只有有限数目的代码。此系统要识别的物品越不同，则所需的独有图案越多。最终，要么增加条形码图案的数目，要么限制可被识别的物品数目。增加图案数目必须增加物品上的条形图案显示面积。这不是一个较佳的解决办法。例如，在一产品上，物品的表面积一般是有限的而且通常用于显示其它信息。此外，如果通过增加附加的条(每一条一般只增加两位有用信息)来增加更多的独有图案，则会增加识别条形码所需的时间。
于是，本发明的一个目的是提供一种信息输入设备，和一种信息输入方法，它们让用户不必学习如何使用专业化的硬件或甚至不必成为完全理解专业化的硬件就可进行简单、有效而直观地操作。
本发明的另一个目的是提供一种信息输入设备和一种信息输入方法，它们让用户通过简单的操作从大量数据中指定、联系和引用信息。
通过本发明的信息输入方法和设备达到这个发明的上述和其它的目的。根据本发明的信息输入方法包含对物体表面上预先确定的目标图案进行认知，将被认知的图案和信息相联系，接收由访问指示输入图案产生的，并和相关的信息对应的访问指示输入信号，以及和访问指示输入信号对应而执行控制操作的步骤。
本发明的信息输入设备包含用于作出目标图案和访问指示图案的图像拾取装置，用于对由图像拾取装置作出的目标图案和访问指示图案进行认知的图像认知装置，用于存储和目标图案相关的信息的存储装置，用于将由图像认知装置认知的目标图案与信息相关联的确认处理装置，和用于根据信息接收访问指示输入信号，以及用于根据访问指示输入信号执行控制操作的控制装置。
在思考以下对本发明的信息描述以及附图后，将理解本发明的这些和其它特点及优点。
图1是示出依据本发明的信息输入设备一个实施例的功能方框图。
图2是示出应用图1的信息输入设备的多媒体系统结构的方框图。
图3是示出图1中一部分信息输入设备硬件结构的一个实施例的方框图。
图4是示出图1的信息输入设备中输入板的一个实施例的示例布局的平面示意图。
图5A是示出可在图4的输入板上使用的旋转图标代码的代码值分配的一个例子的示意图。
图5B是示出可在图4的输入板上使用的旋转图标代码的第一个例子的示意图。
图6是示出图4输入板的一个示例实施例的平面示意图，该输入板用于控制具有常规视频卡带录制器控制的电子装置。
图7是示出使用图6所示输入板的依据本发明的信息输入设备一个实施例的输出单元的示例输出显示区的示意图。
图8是示出识别处理方法的一个实施例的流程图，该方法通过依据本发明的信息输入设备一个实施例的图像认知单元来认知目标。
图9是示出由依据本发明的信息输入设备一个实施例的图像认知单元在位置校正期间检测到的位移数量的示意图。
图10是示出在依据本发明用于认知目标的识别处理方法的一个实施例中，通过旋转图标提取处理提取的每个图标的质心和外接矩形的示意图。
图11是示出在依据本发明用于认知目标的识别处理方法的一个实施例中，在旋转图标代码确认处理中所使用的一部分预定旋转图标代码组的示意图。
图12示出在本发明的信息输入设备一个实施例的图像认知单元的一个实施例中，输入/选择指示处理方法一个实施例的流程图。
图13是示出给出通过本发明的信息输入设备一个实施例的图像认知单元所选取的输入/选择指示提取处理所提取的输入/选择指示的入口(access)指示输入图案的示意图。
图14是示出图4中输入板上所描述的旋转图标第二个例子的示意图。
图15A是示出已有技术的输入系统所使用的一维条形码的不同格式的示意图。
图15B是示出已有技术的输入系统所使用的两维条形码的示意图。
参考图1，依据本发明的信息输入设备100的一个较佳实施例包括图像拾取单元101、图像认知单元102、控制单元103、存储单元104和输出单元105。控制单元103通过通信链路108连到信息分配单元106，并通过通信链路109连到外部设备107。通信链路108可以是例如网络，而通信链路109可以是例如主总线(home bus)。
图2示出图1的信息输入设备100的一个应用。换句话说，图2示出本发明可用于例如一多媒体系统。参考图1和2，图像拾取单元101形成附加到物体表面(诸如纸)上的认知目标图案的图像以及形成使用者用手指或任何其它类似显示器指定的入口指示图案。尤其是，图像拾取单元101最好具体表现为感应式数字摄像机，诸如图2所示的电荷耦合器件(CCD)视频摄像机201或量子井红外线照相监测器(QWIP)视频摄像机。CCD视频摄像机201最好位于图2的多媒体系统中显示器205A的顶部。对CCD视频摄像机201进行聚焦，以获取设置在媒体基板(medium ase)208上的输入板209的图像。媒体基板208靠近置于竖直位置的显示器205A，从而位于显示器205A顶部的CCD视频摄像机201可以聚焦在媒体基板208的输入板209上。
在此实施例中，输入板209用作被分成不同类别区的信息选择媒体。可以用例如纸或薄的塑料板来制成输入选择板209。参考图4，示出图2的输入板209布局的一个实施例。图4所示的实施例示出一示例的输入板209，它包括标为A、B、C、D和E的五个不同的类别区。注意一特定的类别可包括输入板209上多个不同的区域。
在输入板209的第一类别区A中，提供了一确认图标，它可用于确认特定塑料板或纸片是允许被本发明的信息输入设备所使用的输入板209。换句话说，如果输入板209包括类别区A中信息输入设备100可确认的确认图标，则此系统可以该特定输入板209进行操作。否则，系统将不能用该特定的输入板209进行操作预定类别区中确认图标的组合叫做认知目标图案。
在输入板209的一个较佳实施例的第二类别区B中，有用于把特定的板与所存储或可存取的电子信息相连的一个识别图标(或一些识别图标)。识别图标也叫做认知目标图案。在第三类别区C中，提供了输入板209的位置校正标志。在第四类别区D中，提供了让使用者指定一个选择的图形。最后，在第五类别区E中，提供了列出系统信息内容的某种形式。以下将更详细地描述输入板209的结构和它所提供的图形的布局。
图1的图像认知单元102对图像拾取单元101提供的图像信息进行图像认知。在图2的实施例中，CCD视频摄像机201通过形成输入板209的图像来产生图像信息。图像认知单元102是在图2所示多媒体系统的控制箱202中实现的。具有图像认知单元102的控制箱202接收来自CCD视频摄像机201的图像信息输出。图像认知单元102对包含在从CCD视频摄像机201接收到的图像信息中的认知目标图案进行识别和确认处理。根据识别和确认处理，图像认知单元102向控制单元103输出识别结果和确认结果。
如以下详细所述，一旦作为认知目标图案的结果在输入板209和电子信息之间形成关联，则图像认知单元102继续对使用者指定的输入/选择指示进行认知，然后把认知结果信号输出到控制单元103。
与图像认知单元102相同，控制单元103也设置在图2所示多媒体系统的控制箱202中。控制单元103控制各种其它元件之间的信息发射和接收。根据图像认知单元102对认知目标图案进行的认知结果，控制单元103确定认知目标图案是否与在本地存储在存储单元104中的信息相关。如果相关，则控制单元103存取相关的本地存储的信息。
如果认知目标图案与未在本地存储的信息相关，则把认知结果传输到信息分配单元106。在此情况下，习惯的信息被存储在信息分配单元106中，或存储在位于与信息分配单元106相连的外部通信网络上的信息处理单元中。信息分配单元106存取相关的远地存储的信息。
在另一种情况下，一旦找到相关信息，则控制单元103把相关信息的拷贝传送到设置在控制单元103内的临时存储单元(未示出)。相关信息最好包括几种数据。例如，与输入板209相关的信息最好包括用于向使用者提供输出单元105上的反馈的显示信息，用于控制外部设备107的控制信息，找出其它有关信息的连接信息，以及用于说明和使用输入板209的命令构成信息。
一旦控制单元103在暂存单元中有相关信息的拷贝，对每一个从图像认知单元102接收到的输入/选择指示图像执行确认。当输入/选择指示图像被确认，输出单元105上的显示屏被更新，并执行外部装置107的控制功能。换句话说，当执行这些不同的操作功能时，这些不同的操作功能和信息分布结果的表示被显示在输出单元105上。
现在将进一步详细地解释上面列出的信息类型，这些类型与不同的输入板209，或者一个输入板209中的不同区域相关。显示信息包含字符，图像，版面信息，声音信息等等。根据该显示信息，控制单元103在输出单元105上作出显示并控制声音的产生。
控制信息包含用于控制一个外部装置107的控制命令，这个命令和用户在输入板209上作出的输入/选择的指示相对应。控制单元103控制基于和输入板209相关的控制信息外部装置107。例如，如果外部装置107是一个视频卡带录制器(VCR)，控制信息包含复制(播放)，停止，快进，倒带，和暂停控制信息，用于控制VCR的运作。比如当用户指在输入板209上表示播放的控制信息的图像，图像拾取单元101将图像信息送达图像认知单元102，图像认知单元102对播放输入/选择指示进行识别，并将播放命令送达VCR。
连接信息包含地址，用于当用户作出输入/选择指示时读出另外的信息。连接指令可以指向存储在存储单元104，信息分配单元106中的信息，或连接到通讯网络上的外部信息处理单元。根据连接信息，控制单元103对其它信息进行访问。例如，一个在国际信息通信网上使用的统一资源定位器(URL)可以在本发明中被用作连接信息。
命令配置信息包含当用户选择了信息输入板209的D或E类区域中的一个图形时，指示将要执行的功能的信息。用户在输入板209上选择图形的过程在这里称为用户输入/选择指示。命令配置信息以输入板209的位置的形式由用户选择，而且下一个处理命令便还那个选出的位置相对应。例如，当用户选择了适当的位置坐标时，命令配置信息可以作为一个位置坐标和一个处理命令，用于执行上述控制信息或者连接信息。
除了控制单元103和图像认知单元102，在图2所示的多媒体系统中的控制箱202中还提供了存储单元104。存储单元104存储和识别目标图案相关的信息。存储在存储单元104中的信息包含用于控制外部装置107的信息。该信息可以通过信息分配单元106，从一个连接到网络上的外部信息处理单元，或者通过卫星通信系统，从一个远程信息源进行检索。通过在控制箱202中设置存储单元104，可以减小网络上的通信，用户输入/选择指示的相应的时间可以缩短。
输出单元105最好包含显示器，扬声器，和/或打印机。因此，输出单元105可以提供用户选择的操作功能和信息分布结果的声音和可视显示。图7是一个输出到输出单元105显示屏上的示例信息的例子。在显示屏700的左边，有一个图形710，这个图形说明了用户所选择的操作的功能。注意它表示了对VCR的控制并且播放命令图形720(指向右的箭头)颜色变深了。这显示了用户选择了播放命令。在显示屏700的右边，有一个从外部装置107输出的图像730，这个图像表现了信息分布结果。在系统的控制下的各种其它装置的图像输出也被合成并输出到输出单元105，如图7所示。图2所示的多媒体系统的输出单元105被具体化为一个显示器205A和一个视频扫描转换器205B。
信息分配单元106可以通过有线通信网络例如Ethernet LANs，Token RingLANs，或者ATM WANs连接到控制单元103。或者可以使用无线通信网络，例如红外线，PHS电话，数字蜂窝电话，或卫星通信系统。
当控制单元103认定来自图像认知单元102的识别结果需要和特别的输入板209相关联的信息(在存储单元104中无法就地得到)时，信息分配单元106对通过通信网络连接到系统的来自外部信息处理单元的相关信息进行检索。在图2所示的多媒体系统中，信息分配单元106被具体化为程序工作站206。
外部装置107可以是任何一个数量的不同电子装置，这些电子装置可以由控制单元103响应输入/选择指示来控制。例如，在图2中，外部装置包含AV控制装置207，VCR208B，调制解调器207C，电话机207D，和一个照相机207E。外部装置107还可以包含许多其它类型的电子装置，例如，计算机和游戏机。外部装置107可以通过有线通信线路或无线通信系统连接到控制单元103。
图3描述了图2的控制箱202的一个典型硬件实施例。图2的控制箱202包含中央处理器(CPU)301，图像处理单元302，照相机接口303，显示器接口304，网络接口305，主干网络接口306，只读存储器(ROM)307，随机存储器(RAM)308，硬盘驱动器(HDD)309。控制箱202的所有的部件可以通过总线310连接。或者，这些部件可以通过专用的通信路径相互连接。例如，所示照相机接口303通过专用的链路直接连接到图像处理单元302。同样地，CPU可以有第二个分离的总线，用于连接到ROM307和/或RAM308。
依照存储在ROM307中的系统程序或在RAM308中拟定的程序，CPU301适宜于控制控制箱202。CPU301提供了一些图像认知单元102的功能以及图1中描述的控制单元103的一些功能。换句话说，图像认知单元102和控制单元103都可以被部分地具体化为一个CPU301。
CPU301执行各类处理所必需的程序和数据存储在ROM307中。ROM307提供图1的控制单元103的一些功能。RAM308适宜于改进和暂时存储程序和数据，这些程序和数据是CPU301执行各类处理所必需的。RAM308还提供图1的控制单元103的一些功能。换句话说，控制单元10可和CUP310一起被部分地具体化为ROM307和RAM308。HDD309提供图1的存储单元104，因此存储单元104可以被具体化为HDD309。
图像处理单元302通过照相机接口303从CCD视频照相机201接收到图像信息。由图像处理单元302执行各类图像处理比如图像识别处理。图像处理单元302提供图1的图像认知单元102的一些功能。照相机接口303从CCD视频照相机201接收图像信息，然后将图像信息转换为可与图像处理单元302兼容的信号形式。然后，照相机接口303输出转换过的图像信息给图像处理单元302。因此，图像认知单元102可以和CPU301一起，被部分地具体化为照相机接口303和图像处理单元302。
显示器接口304接收到由CPU301和图像处理单元302处理过的显示数据，将该显示数据转换为可以和显示器兼容的信号，并随后将转换过的信号输出到显示器205。显示器接口304和显示器205提供图1的输出单元105的一些功能。因此，输出单元105可以被部分地具体化为一个显示器接口304和显示器205A。
网络接口305提供到工作站206的连接，藉此可以访问一个外部的网络。网络接口305和工作站206提供图1的通信链路108和信息分配单元106的一些功能。因此，通信链路108和信息分配单元106可以部分地被具体化为一个网络接口305和工作站206。
主干网络接口306提供到外部装置107的连接。因此，CPU301能够通过总的网络接口306控制外部装置207A-207E。主干网络接口306和外部装置207A-207E提供图1的通信线路109和外部装置107的一些功能。因此，通信线路109和外部装置107可以被部分地具体化为主干网络接口306和多个外部装置207A-207E，比如VCRs，调制解调器，装配照相机等等。
上述构成部件301-309通过总线310相互连接。它们一同提供根据图1描述的信息输入装置的各种功能。
下面参照图4更详细地解释由上述参照图1到图3描述的信息输入装置作出图像的输入板209。如上所述，最好将输入板209分为五类区域A，B，C，D和E。
在输入板209的第一类区域A中，提供一确认图像，用于确认一个特别的塑料板或纸张是将被允许和本发明的信息输入装置100一起使用的输入板209。如上面参照图1，2和3所解释的，确认图像被供作识别目标图案。由CCD视频照相机201作出类别区A中的确认图像，并由CPU301将其和存储在ROM307中的比较图像信息进行比较。当CPU301可以在输入板209的确认图像和存储在ROM307中的比较图像信息之间找到匹配，操作进入使用类别区B的确认处理。如果不存在匹配则在显示器205A上显示一个错误消息。
在第二类别区B中，提供一个(或几个图标)作为识别目标图案用于将特别的板和电子信息相联系。确认图标具有方向性和数量预定的可以辨认的不同的方位。例如，在图4的输入板209的实施例中，使用了类似钥匙的图标。该钥匙的形状有一个窄的端和一个宽的端，这两端给出了它的方向性并允许一端可以识别方位。此外，确认图标的不同的方位表示不同的数值，编码和含义。在图4所画的实施例中，每一个作为类别区B中识别目标图案的一部分的确认图标有八个不同的方位。因此，可以确认一个确认图像的方向，从而可以单根据图像的方位表示八个不同的编码值。图5A描述了一个钥匙形状的图像的八个不同方位的例子，其中八个不同的编码值被指派给各个方位。
通过将少量附加的不同的方位图像按一顺序一起使用，可以表示更多的不同编码。例如，使用四个确认图像的顺序排列，每一个有八个不同的方位，可以表示4096个不同的编码。可以用四个有八个方位的图像表示的值的数量计算如下：
(8方位)图像1×(8方位)图像2×(8方位)图像3×(8方位)图像4＝84＝4096个值
使用图5中描述的方位值分配的例子，图5B所示的确定图像500的排列好的次序表示大小为“2574”的编码值。
在第三类别区C中，提供一个位置校正标志。位置校正标志用于执行由CCD视频照相机201拍摄的图像的位置校正。
在第四类别区D中，为用户提供了一个图表，用于执行选择指示。通过在区域D中选择图表，用户可以选择在显示器205A上显示哪个的信息(但并不显示在输入板209的类别区E)。就是说，当在输入板209的类别区E中提供的选择信息不同于显示器205A上显示的选择信息时，类别区D被用于作出选择指示。这允许信息输入装置100可以通过显示器205A动态地添加未显示在类别区E中的输入选项。
例如，如图4所示，当在类别区D中提供了上，下，左，和右的箭头图形时，用户可以在类别区D中选择一个任意的箭头图形，以执行光标的移位操作和/或显示在显示器205A上功能选择屏中的确定操作。虽然在类别区D中所提供的图形可以被具体化为一个上，下，左，和/或右的箭头图形以提供光标的移动功能，图形并不需被限制于这种箭头形状的图形，而且功能也并不需被限制于这种光标的移动功能。
例如，如果输入板要被用作用于控制VCR和音频系统的公用多媒体，要提供为两个外部装置所共有的用于控制功能的图形。VCR和音频系统常常具有共同的功能，如重演，停止，和录制功能。因此，通过将类别区D中的图形和包含了被具体化的处理命令和位置信息的命令配置信息相关联，便能够执行被嵌入的处理命令。在上述例子中，被嵌入的处理命令包含：向上，向下，向左，和向右的光标移动命令，以及运行，停止和录制命令。但是，举一个例子，对于小型的CD唱机，类似的图示可以被用于例如光道内前进，前进到下一个光道，光道内倒退，倒退到原先的光道，退出，停止，和改变信息显示模式的命令。请回忆当信息板209被确认和识别后，命令配置信息被复制到控制单元103中的暂时存储单元中。
在第五类别区E中提供通过信息输入装置100可以得到的实质信息的内容。这种内容列表可以以许多不同的方式显示。例如，它可以按表格的形式显示，该表格例举了以基于主题的次序排列的总标题，或者作为一个图像映像，该映像类似于Internet上万维网(WWW)网页上所使用的超文本传输协议(HTTP)，和/或作为一个详细索引，该索引详细例举可按字母顺序通项罗列的实际信息的每一位。用户可以通过看在这个类别区E中描述的信息，知道由CCD视频照相机201作出的什么信息是可以用特别的输入板209访问的。
另外，当特别的输入板209由图1所示的信息输入装置100认出，用户可简单地通过指点到内容信息中想要的信息项，从在类别区E中提供的内容信息进行选择。这个指点的步骤提供一个可以由接口系统100识别的指示选择图像的图案。然后，这个特别的选择的指示被提供给能够执行某个预定的处理的控制单元103。
作为一个例子，考虑图6的输入板209。类别区E包括VCR控制按钮的图形图像映像。图形600代表提供一组直观控制的六个不同的控制按钮，这些控制相应于播放610、停止620、暂停630、倒带640、进带650和弹出660的VCR功能。此示例布局让用户便于使用六个控制按钮来操作VCR。虽然使用VCR的控制按钮来说明类别区E中所述的信息内容，但本领域内的技术人员应知道可使用适当地输入板209来控制许多不同的装置，尤其是，信息内容不必限于此VCR控制按钮。
作为另一个例子，类别区E中的内容信息可以具有一系列菜单的形式。于是，响应于用户用手指指定类别区E中的一个特定菜单，在显示器205A上显示相应于选中菜单的后续菜单项目显示。于是，通过把类别区E中的菜单与连接信息和命令结构信息(包括嵌入的处理命令和位置信息)相连，来显示连接信息并执行嵌入的处理命令。在此例中，响应于用户指定输入板209上有关初始菜单的位置，在显示器205A上显示一系列菜单项目。一旦确认和识别信息板209，则再次把相关的连接信息和命令结构信息拷贝到控制单元103中的临时存储单元中。
在如上所述构成的多媒体系统中，图像认知单元102进行识别所使用的输入板209类型的识别处理。这是在通过对从CCD视频摄像机201接收到的输入板209的图像进行确认处理而确认输入板209发生的。
通过首先进行的诸如消除噪声、可变密度处理以及调节阈值等预处理来实施确认处理。接着，进行位置校正。然后系统继续选取用作输入板209上部中心处类别区A中认知目标图案的确认图标的质心和轮廓。最后，系统尝试把图像信息与所存储的确认图标图案相匹配。
接着，进行识别处理。例如，如图8的流程所示，相对于获得的作为聚焦在输入板209上的CCD视频摄像机201的成像输出的图像信息，首先进行诸如消除噪声、可变密度处理以及阈值调节阈值等预处理(S801)。然后，首先根据类别区C(最好位于输入板209的四个角上)中所提供的位置校正标志的图像信息检测和测量位移，来进行位置校正处理(S802)。位置校正处理(S802)然后对相应于位移数量的坐标系进行转换。接着，对作为输入板209的类别区B中认知目标图案的识别图标实施选取处理(S803)，并对旋转的图标代码进行确定处理(S804)。
在位置校正处理(S802)中，根据获得的作为聚焦在输入板209类别区C上的CCD视频摄像机201的成像输出的图像信息，检测离开基准位置的位移。如图9所示，系统覆盖了位置校正标志上的校正图案，并检测任意位置误差的方向和大小。例如，如果适当地放置输入板209，则发生重合900，如果输入板209太高并向左偏离，则发生向左上偏移910，如果输入板209太高并向右偏离，则发生向右上偏移920。然后，通过依据位移的方向和大小对图像认知的坐标系进行数学转换来实施位置校正，除非检测到重合900的图案。
在对识别图标进行的选取处理(S803)中，从图10所示作为聚焦在输入板209类别区B上的CCD视频摄像机201的成像输出而获得的图像信息中，来找到每个图标的可变密度水平的质心以及外接矩形。在图10中，用白色的点来表示通过识别图标选取处理(S803)所确定的每个图标的质心，并用虚线来表示外接矩形。
在旋转图标代码强度处理(S804)中，通过参考旋转图标的方向特征表来确定图标八个不同方向中的一个方向。方向特征表按照两个参数来限定八个不同的方向；即，在识别代码选取处理(S803)中找到的质心和外接矩形的宽高比。方向特征表如下表1所示。它是根据每个图标方向特征所示的条件预先确定的。例如，表中的第二行读作：“如果外接矩形的宽高比为2.5或更大，且质心位置处于外接矩形的上半部分，则旋转图标向下。”根据给图标方向分配如图5A所示的代码值，可把旋转图标转换成代码。对四个图标中的每个图标都重复此处理，从而确定一系列四个代码。
表1 图标的方向 特征向上宽高比5∶2，质心位于矩形的下半部分向西宽高比5∶2，质心位于矩形的上半部分向右宽高比2∶5，质心位于矩形的左半部分向左宽高比2∶5，质心位于矩形的右半部分向右上宽高比1∶1，质心位于矩形的左下区域向右下宽高比1∶1，质心位于矩形的左上区域向左上宽高比1∶1，质心位于矩形的右下区域向左下宽高比1∶1，质心位于矩形的右上区域
接着，把从四个旋转图标中找到旋转图标代码序列与图11所示的预定旋转图标代码组相比较。选中旋转图标代码序列和一个预定代码组之间的最佳匹配作为输入板209的旋转图标代码。通过找出预定旋转图标代码组，该预定旋转图标代码组的各部分与旋转图标代码序列之间存在的差别总和最小，从而来确定最佳匹配。如果适于预定旋转图标代码组的差别总和超过一阈值，则不认为认知目标是已知代码，把该认知目标判定为不可认知。
如上所述，控制单元103确定图像认知单元102对认知目标的认知结果与存储单元104中所存储的一些信息之间是否可能相关。如果可能相关，则存取该信息。即，如果可能与设备本身所存储的信息相关，则立即存取相关信息。如果没有信息与当前存储在存储单元104中的图像认知单元102的认知结果相关，则把认知结果传输到信息分配单元106。
在此情况下，把相关信息存储在信息分配单元106或位于连到信息分配单元106的外部通信网络的信息处理单元中。于是，在信息分配单元106找出与图像认知单元102对认知目标进行的认知结果相关的信息后，控制单元103把相关信息读入设置在控制单元103内的临时存储单元中。
于是，当完成对输入板209所进行的识别并确定其类型时，根据读入设置在控制单元103内的临时存储单元的信息来进行处理。这响应于来自图像认知单元102的输入/选择指示而发生。
图12示出图像认知单元102所进行的输入/选择指示处理中所使用步骤的一个实施例。首先进行预处理(S1201)。这包括消除噪声、可变密度处理和调节阈值等功能。在用户在输入板209上进行输入/选择指示期间，对作为CCD水平摄像机201的成像输出而获得的图像信息进行预处理(S1201)。
接着，根据输入板209四个角处的类别区C中所提供的位置校正标志的图像信息来检测图9所示的位移，从而开始位置校正处理(S1201)。通过对相应于上述图9所示位移大小和方向的坐标系进行数学转换来进行位置校正处理(S1202)。结果，获得经位置校正的二进制图像信息。
在下一个步骤中，进行输入/选择指示的选取处理(S1203)，然后进行输入/选择指示的确定处理(S1204)。
在输入/选择指示选取处理(S1203)中，把预先存储的输入板209的原始图像与检测到输入/选择指示的可变密度图像相比较。例如，经位置校正的可变密度图像信息可以是如图13所示由手指指定的图案，选取该图像信息作为不同于输入板209原始图像的差别图像。即，确定用于指定输入/选择指示的入口指示输入方式。指示区包括选取的整个差别图像。于是，可确定指示区内的外接矩形和像素分布。
接着，在输入/选择指示确定处理(S1204)中，从外接矩形每条边上的像素密度分配来确定指示区内显示器的进入方向。相对于进入方向在矩形内进行图像扫描，从而确定显示器的端点位置。在图11的示例实施例中，通过确认是否有大量高密度的像素分布在指示区的特定边来找出显示器的进入方向。类别区E被分成多块已知区域，根据表2中所指定的显示器进入方向和相应的扫描方式，对这些方块中内的像素进行扫描，从而进行图像扫描。于是，通过只扫描被分成多块的图像的指示区，可在有限的扫描区中对显示器的端点进行高速检测。
表2进入方向 扫描方式从右边进入从上边扫描矩形中的左端方块从左边进入从上边扫描矩形中的右端方块从上边进入从左边扫描矩形中的下端方块从下边进入从左边扫描矩形中的上端方块从右上边进入从左边扫描矩形中的左下端方块从右下边进入从左边扫描矩形中的左上端方块从左上边进入从左边扫描矩形中的右下端方块从左下边进入从左边扫描矩形中的右上端方块
检测到的端点位置被转换成相应的命令/信息，它们被传输到控制单元103。在图13所示的例子中，手指的端点位置被转换成相应的区域标号“6”。在图13中，由交叉阴影所示的区域是类别区E内相应于区域标号“6”的一个方块。
最后，控制单元103执行相应于区域标号“6”的处理，该处理由命令构成信息所限定，该信息包含在存储在控制单元103的临时存储单元中识别输入板209所获取的相关信息中。
因此，在信息输入设备100中，通过对输入板209上的认知目标图案进行图像认知来进行确认处理。即，可把一静态媒体作为认知目标，并在认知目标和相应信息之间进行联系。通过对入口指示输入图形进行图像认知来检测指定相关信息的入口指示输入。于是，使用显示在静态媒体上的认知目标可进行对信息的动态存取。
认知目标图案不限于上述实施例所述的钥匙形状的图案。它可以是具有某个方向性的任意特定图案。因此，通过把诸如图14所示的其它认知图案的形状与方向相组合，可定义不同类型输入板209的无限标号。
此外，在对输入板209进行认知后，可以只用手指给输入板209指定所需的输入/选择指示内容，来进行输入/选择指示。于是，可便于进行信息输入/输出/选择操作，而不必直接了解硬件，而且可使输入/选择指示内容与来自非常大量数据的特定信息相联系。
此外，在上述实施例中，使用图标图像的可变密度水平的质心和外接矩形对旋转的图标代码矩形认知。然而，可通过匹配处理来找到相对于所准备的样板图像的方向。
如上所述，在根据本发明的一种信息输入设备和方法中，执行物体的表面上显示的认知目标图案的图像认知，并且把一个视觉认知的目标图案和相应的信息关联。然后，相应于相关信息的访问指示输入由一个访问指示输入图案的图像识别所接收。一个根据和识别图形图案相关的信息而接收到的相应于访问指示输入的控制操作被执行。因此，用户可以不用直接了解硬件而容易地进行信息输入/输出/选择操作。
另外，在根据本发明的一种信息输入设备和方法中，按照和认知目标图案相关的信息，显示和访问指示输入以及信息传送结果对应的控制内容。换句话说，本发明可以用于用一个较小的显示区域和用户友好界面对大量的数据进行检索。因此，本发明可以的信息输入装置可以用于从大量的数据中容易地和有效率地明白地指定特别的信息。
还有，在根据本发明的信息输入设备和方法中，确认图形和识别图形被认作显示在一个物体表面上的认知目标图案。被认知的识别图案只有在其上执行了确认处理后，才和相应的信息相关。因此，防止了非法的访问指示的输入，并且只，有合法用户的访问指示的输入才导致信息的检索。
另外，在根据本发明的信息输入设备和信息输入方法中，每次访问指示的输入被访问指示输入图案的图像认知所接收，在被认出的识别图案上执行确认处理。只有在图案被确认的情况下，才执行相应于存取指示的控制操作。因此，防止了非法的访问指示输入，而且只有合法用户的访问指示输入才导致操作的执行。
因此，本发明提供了一种用户不用了解硬件就可以容易地进行操作的信息输入方法和信息输入装置。另外，本发明使较小的简单界面可以和包含在大量数据中的特别的信息相关联。用户可以通过简单的操作直接对想要的信息进行访问。
对于那些熟悉本领域的人，本发明的各种其它的结构和操作方法上的不背离本发明的范围和主旨的修改和变更是显而易见的。虽然，联系特定的较佳实施例对本发明进行了描述，应该知道权利要求项所述的本发明不应该被不适当地限制在这些特定地实施例中。下面的权利要求项试图定义本发明的范围，藉此覆盖在这些权利要求项的范围中的结构和方法以及它们的同等物。