具体实施方式
以下，参照附图详细地说明本发明的实施方式。
(实施方式1)
图1是表示本发明实施方式1的空间输入动作显示装置的结构的图。本实施方式是将本发明适用于适合计算机或音频装置等的电子设备的与用户的接口的用途的空间输入系统的例子。
在图1中，空间输入动作显示装置100所采用的结构包括：摄像机101、形状识别单元102、形状数据存储单元103、识别数据存储单元104、动作识别单元105、动作数据存储单元106、控制单元107、图像生成单元108、显示单元109、以及图像数据存储单元110。
摄像机101是输入图像的单元，且每个帧地依次输送图像。
形状识别单元102将摄像机101的图像和形状数据存储单元103所存储的形状数据进行比较，识别对象的形状。另外，形状识别单元102将由摄像机101输出的图像和形状数据存储单元103中存在的形状数据进行比较，并选择最接近的形状后，输出该差分数据和在图像的哪个位置存在形状数据的位置信息。另外，形状识别单元102将由摄像机101输出的图像与形状数据存储单元103中存在的形状数据和辅助数据进行比较，并选择最接近的形状后，输出该差分数据和在图像的哪个位置存在形状数据的位置信息。
形状数据存储单元103预先存储形状数据和颜色等的辅助信息。
识别数据存储单元104存储来自形状识别单元102的差分数据和位置信息。具体而言，识别数据存储单元104存储形状数据的矢量数据的差作为差分矢量数据，而且同时存储用于指示形状位于画面的何处的位置信息。
动作识别单元105将识别数据存储单元104所存储的差分数据和动作数据存储单元106所存储的动作数据进行比较，进行动作类型(pattern)的识别和/或预测。例如，动作识别单元105将差分数据和动作数据进行比较而从最接近的数据开始依序选择N(N为任意的自然数)个动作数据，基于选择出的动作数据生成插值数据，并通过比较动作数据与插值数据，识别动作类型。另外，动作识别单元105将差分数据和动作数据进行比较而选择最接近的动作数据，将其写入识别数据存储单元104，并且从识别数据存储单元104中读出先前的识别数据，基于当前与先前的数据的差分，进一步生成动作矢量。另外，动作识别单元105将判定结果存储在数据存储单元106中，根据该判定结果的频度，进行一致的动作数据的排序，并且按照该顺序搜索动作数据。
动作数据存储单元106预先存储注册了的动作数据。
控制单元107基于动作识别单元105的动作类型信息和识别数据存储单元104的位置信息，将图像信息输出到图像生成单元108，所述图像信息是追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的信息。
图像生成单元108根据图像信息选择图像数据存储单元110所存储的图像数据，并以选择出的图像数据为基础进行包含旋转/放大的加工，由此生成图像。
显示单元109在空间显示图像生成单元108所生成的图像。另外，显示单元109将摄像机101的输出图像和图像生成单元108输出的图像合成。
图像数据存储单元110预先存储图像数据。
这里，空间输入动作显示装置100也可以采用以下的形态，即：形状数据存储单元103不仅预先存储形状数据，还预先存储包含颜色的辅助信息；形状识别单元102将摄像机101的图像与形状数据存储单元103的形状数据和辅助数据进行比较；识别数据存储单元104基于形状识别单元102的识别结果，选择最接近的形状，并存储该差分数据和在图像的哪个位置存在形状数据的位置信息。
以下，说明如上构成的空间输入动作显示装置100的动作。
形状识别单元102输入由摄像机101输出的图像并使用所准备的形状数据存储单元103内的形状数据，以帧为单位判定是否为注册了的形状。判定方法在基本上取与注册了的形状之间的相关。作为取相关的方法，存在各种各样的方法。例如，以像素为单位取输入图像与注册了的形状之间的差分，若该绝对值的和超过阈值，则能够识别为注册了的形状。作为其他的识别方法，有时提取轮廓而仅使用轮廓信息进行判定，也有时进行细化(thinning)处理而使用拓扑(topology，图形的结构)进行判定。另外，有时考虑判定出的形状所占有的颜色的比例，也有时使用以先前的帧进行了判定的结果和经过了时间的判定结果。通过组合这些，提高判定精度。
与形状数据之间的判定的结果完全一致的情况几乎没有。为了表示该差，基于判定结果，生成以矢量集合体表示了形状的矢量信息。只要预先生成形状数据的矢量数据作为附属数据，两者的矢量数据之差就表示自形状数据的变形。将该矢量数据之差新存储在识别数据存储单元104作为差分矢量数据。另外，也同时存储用于指示形状位于画面的何处的位置信息。因此，依次存储对每个帧识别出的数据。
图2是表示手200的情况的矢量数据的例子的图。在图2中，连接以记号“●”表示的节点(这里为手指的关节)201间的线段202为矢量数据。
另外，通过判断形状的大小，能够使纵深信息包含在上述的位置信息中。也就是说，能够从位置信息获得三维的位置，并能够从差分矢量数据获得形状的角度或状态。因此，与3D应用，例如游戏那样地对物体进行建模(modeling)同等。
动作识别单元105使用识别数据存储单元104的差分矢量数据进行动作判定。具体而言，动作识别单元105通过进行与预先注册了的动作数据存储单元106内的动作数据的比较，进行动作判定。如图1(a)所示，根据动作的图案，对动作数据进行表格化。动作识别单元105通过进行与识别数据存储单元104的差分矢量数据的比较，提取一致性最高的表，从而识别一致的动作类型。
控制单元107输入由形状识别单元102输出的表示识别出期望的形状的一致性和相对坐标、以及由动作识别单元105输出的动作类型，并进行显示控制。在形状的识别性较低时、以及在稳定状态即在动作类型中差分矢量数据最小时，指示图像生成单元108生成作为基本的影像数据。这里，能够考虑在形状的识别性较低时不进行任何显示，或者生成半透明的影像数据等的几个显示方法。另外，发出根据由形状识别单元102给出的相对坐标、以及由动作识别单元105输出的动作类型的影像输出指示。
图像生成单元108使用被提供的指示和图像数据存储单元110中存在的影像数据，生成图像。通过显示单元109每个帧地显示所生成的图像。
根据以上的说明，对每个动作类型影像发生变化，并被输出到显示单元109。例如，预先生成对应于手指的动作的动作数据。也将对应于该动作的键盘图像一并进行数据化。由此，能够看见与手指的动作连动的键盘图像。通常在键盘中发生变化的按键是一部分的按键，所以根据相对坐标和动作类型，从稳定时的键盘影像中仅使相应的按键的影像变化。例如，根据相对坐标，掌握了在图1(a)所示的[F]的按键位置上有左手的食指，并根据动作类型，可知[F]被按下。
如以上详细的说明那样，根据本实施方式，空间输入动作显示装置100包括：形状识别单元102，通过比较摄像机101所获得的图像和形状数据存储单元103所存储的数据，识别对象的形状；动作识别单元105，比较通过形状识别单元102识别出的数据的差分矢量数据与动作数据存储单元106所存储的差分矢量数据，进行动作类型的识别和预测；控制单元107，基于动作识别单元105的动作类型信息和识别数据存储单元104的位置信息，输出追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的图像信息；图像生成单元108，根据图像信息选择图像数据存储单元110所存储的图像数据，并以选择出的图像数据为基础，进行包含旋转、放大的加工，从而生成图像；以及显示单元109，将图像生成单元108所生成的图像显示在空间。由此，能够通过图像识别空间中的手的动作，无需手或手指静止在空中而能够进行空间上的输入操作。例如，通过识别按下了键盘的按钮的位置，能够进行虚拟的按键输入。另外，无需物理性的装置或空间，而能够利用显示装置确认空间输入操作，同时进行电子设备等的操作。
另外，在本实施方式中，动作识别单元105比较差分数据和动作数据而从最接近的数据开始依序选择N个动作数据，基于选择出的动作数据生成插值数据，并通过比较动作数据与插值数据而识别动作类型，所以即使在与预先存储的动作数据不完全一致时，也能够通过与插值数据的比较，检测适当的操作的动作。
另外，在本实施方式中，动作识别单元105比较差分数据和动作数据而选择最接近的动作数据，将其写入识别数据存储单元104，并且从识别数据存储单元104读出先前的识别数据，基于当前和先前的数据的差分，进一步生成动作矢量，所以即使在与预先存储的动作数据不完全一致时，在下次以后也生成为新的动作矢量，通过与所存储的动作数据的比较，能够显示与上次相同的识别结果。
另外，在本实施方式中，显示单元109将摄像机101的图像和图像生成单元108的图像合成，所以例如通过将摄像机的安装位置固定在头上或眼镜的一部分上等，能够将图像生成装置所生成的键盘等的图像与实际的视点中的影像合成并显示。
另外，在本实施方式中，通过采用以下的结构，即使在难以仅通过预先存储的形状数据进行判定时，也能够通过与辅助数据的比较，提高判定精度，所述结构为：形状数据存储单元103不仅预先存储形状数据，还预先存储包含颜色的辅助信息；形状识别单元102将摄像机101的图像与形状数据存储单元103的形状数据和辅助数据进行比较；识别数据存储单元104基于形状识别单元102的识别结果，选择最接近的形状，并存储该差分数据和在图像的哪个位置存在形状数据的位置信息。
另外，在本实施方式中，通过采用以下的结构，在处理的前级进行与频繁进行的操作的动作的比较，所以能够提高判定速度和判定精度，所述结构为：动作识别单元105将判定结果存储在动作数据存储单元106中，根据该判定结果的频度，进行一致的动作数据的排序，并且按照顺序搜索动作数据。
(实施方式2)
实施方式2说明实现判定精度的提高的例子。
在实施方式2中，形状识别单元102采用具有用于形状识别的判定基准的结构。通过预先将判定基准提供给形状识别单元102，能够提高判定精度。例如，在对手进行判定时，注册操作者的手的特征等。手指的长度和粗细、戒指的信息等相当于特征。
另外，若基于输入图像不仅能够识别平面信息，而且能够识别立体信息，则能够进一步提高判定精度。为了识别立体信息，根据形状的大小是基于何种程度的尺度比等，可知相对的纵深位置。另外，能够根据手的形状预先判断立体信息的情况较多。例如，若弯曲指尖，则该图像的手指被放映为较短，所以能够判断为弯曲着指尖，在弯曲着指尖时，在人机工程学上，能够某些程度地类推弯曲角度等，所以也容易将每个手指的关节的立体信息进行数据库化。另外，能够获得以摄像机101为原点的直至手指为止的相对坐标。
在产生了与动作数据存储单元106内的动作数据不完全一致的差分矢量时，动作识别单元105从动作数据中提取一致判定较高的两个，并基于一致性判断动作数据的迁移。例如，若动作数据中的表1和表4的一致性较高且各自相等，则动作识别单元105能够判定进行从表1到表4，或从表4到表1的动作。这里，表示提取两个进行判定的例子，但即使提取三个或四个，也仅是将表示迁移的中间信息进行了细分，能够与上述提取两个的情况同样地进行判定。
(实施方式3)
实施方式3是将需要的部分显示在前侧的屏蔽处理的例子。
在实施方式3中，图像数据存储单元110同时具有图像数据和屏蔽数据，形状识别单元102输出形状数据，图像生成单元108对属于形状数据的部分和图像数据存储单元110的屏蔽数据的逻辑和并将其输出作为屏蔽信息，显示单元109显示对根据图像生成单元108的屏蔽信息成为屏蔽状态的像素分配摄像机101的图像输出像素而对除此以外的部分分配图像生成单元108输出的像素所得的图像。
假设显示单元109是透过型且背景透明而进行放映的单元。这里，能够考虑图像生成单元108调整图像输出位置，以使与作为形状识别对象的物体重合。另外，不仅是位置，还通过进行影像的放大、缩小、变形，能够进行与形状识别对象物一致的显示。通过通用的图形引擎等进行这些处理，假设将其组装在图像生成单元108中。
此时，需要预先提供显示单元109与形状识别对象物的相对的关系作为信息。需要使摄像机101与显示单元109的距离为0，即需要它们在物理上一体化，或者相对距离或相对角度固定。但是，后者也需要掌握显示单元109的视线信息。
另外，若将影像数据直接放映在显示单元109上，则放映出的影像覆盖形状识别对象物。这里，通过由形状识别单元102生成屏蔽形状对象物的屏蔽数据，从而若在被屏蔽的像素上不映出影像，则形状识别对象物不被覆盖。
图3是表示本发明实施方式3的屏蔽了形状对象物时的显示例的图。对与图1相同的结构部分附加相同的标号。
在图3中，在头部210上设置头上显示器的显示单元109和摄像机101。在显示单元109显示键盘300时，若将其显示在手200之上，则无法分辨手200的动作，但如图3a.所示，若屏蔽手200的部分而显示键盘300，则能够使手位于键盘300之上。
这样，根据本实施方式，在图像合成中，通过屏蔽手等的需要比图像生成装置的输出在前侧看见的部分，能够在前侧显示需要显示的部分，能够进一步提高操作性。
(实施方式4)
实施方式4说明通过学习功能实现判定精度的提高的例子。
在实施方式4中，动作识别单元105采用预先具有学习功能的结构。通过预先将学习功能赋予动作识别单元105，能够提高判定精度。动作识别单元105存储先前基于动作数据存储单元106内的动作数据进行了一致判定的动作类型并自动地将其进行数据库化，并将其追加到动作数据存储单元106，从而能够基于该数据库预测下一个动作。
例如，如实施方式2所述，在产生了与动作数据不完全一致的差分矢量时，在基于两个以上的表判定了动作的情况下，通过学习并存储该一连串的动作，在下次识别了相同动作时能够获得相同的判定结果，能够提高判定精度。
另外，通过扩展该功能，使其预先学习某个动作类型，能够进行基于该动作的新的输入操作。
另外，也考虑通过由人判断并判定所显示的结果，能够可靠地反馈结果。
(实施方式5)
实施方式5是适用了3D图形显示的例子。
在实施方式5中，形状数据存储单元103不仅预先存储形状数据，还预先存储包含形状的3D建模坐标和纹理图像的3D图形显示用信息，图像生成单元108根据控制单元107输出的形状数据，获得3D图形显示用信息而生成并合成3D图像。
通过在形状数据存储单元103内的形状数据中存储3D数据作为附属数据，能够使用图像生成单元108生成3D图像。在显示单元109是透过型且能够进行左右不同的图像显示时，能够将3D图像立体地显示在空间中。另外，也能够使显示单元109中显示与从实际的摄像机位置所见的视点不同的虚拟的3D图像。通过通用的3D图形引擎进行这些处理，假设将其组装在图像生成单元108中。
图4是表示本发明实施方式5的虚拟的立体影像的显示例的图。
如图4所示，能够使显示单元109虚拟地显示立体的键盘300D和手200D。根据该结构，也能够在与实际的视点不同的位置立体地显示键盘或手，即使在实际上无法看见的位置上也能够识别，所以容易操作。
这样，根据本实施方式，即使在从实际的视点无法看见的位置上也能够识别，所以能够进一步提高操作性。
(实施方式6)
实施方式6是还具有语音输出的例子。
在实施方式6中，还包括由语音合成LSI等构成的语音发生装置(省略图示)，控制单元107基于动作识别单元105的动作数据的选择信息和识别数据存储单元104的位置信息，将应生成的语音的选择信息输出到语音发生装置，语音发生装置再现选择了的语音。
图像生成单元108组装了2D和3D图像引擎，生成与该2D和3D图形引擎提供的指示对应的图像，并将与输入操作对应的结果输出到显示单元109。另外，控制单元107将与输入操作对应的结果变为语音等输出。此时，假设控制单元107组装有扬声器等。由此，通过将输入状态反馈给用户，能够提高输入操作的稳定性。
例如，如图3和图4所示，在显示单元109上显示键盘图像的情况下，例如发出了[F]的按键被按下的指示时，图像生成单元108生成点亮[F]的按键的显示的图像数据。由此，能够视觉地确认输入操作，并且能够通过控制单元107听觉确认。通过这些，实际上没有按下按键，但用户能够在感觉上识别已按下的事实。
这样，根据本实施方式，能够以听觉识别已按下按键的事实，能够进一步提高按键输入操作的稳定性。
以上的说明为本发明的优选的实施方式的例证，但本发明的范围并不限定于此。例如，上述各个实施方式是适用于各种电子设备的例子，但只要是将输入对象显示在空间中，也能够同样地适用于任何设备。
另外，在上述各个实施方式中，使用了空间输入动作显示装置的名称，但这是为了便于说明，当然也可以称为空间输入系统、空间输入装置等。
而且，构成上述空间输入动作显示装置的各个装置，例如数据存储单元等的种类、数目以及连接方法等也并不限于上述实施方式。
2007年12月18日提交的特愿第2007-325649号的日本专利申请所包含的说明书、附图以及说明书摘要的公开内容全部引用于本申请。