图像投影设备及其控制方法.pdf

在图像投影设备中，获得了通过拍摄投影面所获得的包含投影图像的拍摄图像。然后，使用通过从拍摄图像去除投影图像所获得的差分图像，来检测与用户的手或指示器等预定物体相对应的区域。然后，基于与该预定物体相对应的区域的特定部位的位置和时间变化来判断用户操作。

1.  一种图像投影设备，包括：
投影单元，用于将输入图像投影至投影面上；
获得单元，用于获得包含投影至所述投影面上的图像的范围的拍摄图像；
生成单元，用于生成所述拍摄图像与所述输入图像之间的差分图像；
区域检测单元，用于基于所述差分图像，检测与用于操作所述图像投影设备的操作物体相对应的区域；
位置检测单元，用于检测与由所述区域检测单元检测到的与所述操作物体相对应的区域的特定部位的位置有关的信息；
判断单元，用于基于由所述位置检测单元检测到的与所述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及
控制单元，用于执行与由所述判断单元判断出的操作相对应的动作。

2.  根据权利要求1所述的图像投影设备，其特征在于，所述区域检测单元基于所述生成单元在不同时刻所生成的多个所述差分图像之间的差分图像，检测与所述操作物体相对应的区域。

3.  根据权利要求1所述的图像投影设备，其特征在于，所述区域检测单元将由所述生成单元生成的所述差分图像中与预定形状类似的区域检测为与所述操作物体相对应的区域。

4.  根据权利要求1所述的图像投影设备，其特征在于，所述区域检测单元首先基于所述生成单元在不同时刻所生成的多个所述差分图像之间的差分图像，检测与所述操作物体相对应的区域，并且在检测到与所述操作物体相对应的区域之后，所述区域检测单元将由所述生成单元生成的所述差分图像中与所检测到的与所述操作物体相对应的区域的形状类似的区域检测为与所述操作物体相对应的区域。

5.  根据权利要求2所述的图像投影设备，其特征在于，所述区域检测单元包括用于存储由所述生成单元先前生成的先前差分图像的存储单元，并基于由所述生成单元生成的所述差分图像与存储在所述存储单元中的所述先前差分图像之间的差分图像，检测与所述操作物体相对应的区域。

6.  根据权利要求5所述的图像投影设备，其特征在于，所述区域检测单元将当未检测到与所述操作物体相对应的区域时来自所述生成单元的差分图像存储在所述存储单元中。

7.  根据权利要求1至6中任一项所述的图像投影设备，其特征在于，还包括重叠单元，所述重叠单元用于将叠加了用于操作所述图像投影设备的GUI图像的输入图像供给至所述投影单元，
其中，所述判断单元基于由所述位置检测单元检测到的与所述特定部位的位置有关的信息以及与所述GUI图像的位置有关的信息，判断由所述操作物体执行的操作。

8.  一种用于图像投影设备的控制方法，包括：
投影步骤，用于利用投影单元将输入图像投影至投影面上；
获得步骤，用于获得包含投影至所述投影面上的图像的范围的拍摄图像；
生成步骤，用于生成所述拍摄图像与所述输入图像之间的差分图像；
区域检测步骤，用于基于所述差分图像，检测与用于操作所述图像投影设备的操作物体相对应的区域；
位置检测步骤，用于检测与在所述区域检测步骤中检测到的与所述操作物体相对应的区域的特定部位的位置有关的信息；
判断步骤，用于基于在所述位置检测步骤中检测到的与所述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及
控制步骤，用于控制与在所述判断步骤中判断出的操作相对应的动作。

图像投影设备及其控制方法
技术领域
本发明涉及一种对图像进行投影的图像投影设备及其控制方法，尤其涉及一种能够利用投影图像(projected image)作为用于操作该图像投影设备的用户界面的图像投影设备及其控制方法。
背景技术
传统上，以投影仪为代表的图像投影设备被设计成对由计算机、媒体播放器等输出的视频图像进行投影以供观看，并且该图像投影设备不仅用于会议室和商店中而且当然还用于家庭内。
传统的投影仪由于被设计成在大屏幕上投影，因此本身相对大，并且在使用时通常将其固定至天花板或放置在桌子或地板上。
一般使用设置在投影仪的主体上的各种按钮或利用作为投影仪的配件而提供的远程控制装置来执行对该类型投影仪的操作。
与之相比，为了在4人或5人的小组内观看图像，已经提出了为移动电话配备内置式小型图像投影设备(参见日本特开2005-236746)。
当使用内置于移动电话的图像投影设备对视频图像进行投影时，设想将手持移动电话并将其保持在手中。于是，认为将出现在投影期间操作该图像投影设备、例如切换图像或改变图像投影设备的设置的需求。
在这种情况下，极有可能使用移动电话通常设置有的电话按钮及键来执行操作。然而，在保持移动电话并对图像进行投影的同时操作按钮及键，这导致投影地点变动并且投影图像的大小变动，而且不易使用该按钮及键。
此外，为移动电话提供用于操作图像投影设备的独立的远程控制装置是不现实的。
因而，传统上，不存在考虑了以下情况的便于用户操作的建议：图像投影设备小型化，以至于在使用时能够将其保持在手中。
发明内容
鉴于上述问题而构思了本发明，并且本发明提供了一种用户能够容易地操作的图像投影设备及其控制方法。
根据本发明的方面，提供了一种图像投影设备，包括：投影单元，用于将输入图像投影至投影面上；获得单元，用于获得包含投影至所述投影面上的图像的范围的拍摄图像；生成单元，用于生成所述拍摄图像与所述输入图像之间的差分图像；区域检测单元，用于基于所述差分图像，检测与用于操作所述图像投影设备的操作物体相对应的区域；位置检测单元，用于检测与由所述区域检测单元检测到的与所述操作物体相对应的区域的特定部位的位置有关的信息；判断单元，用于基于由所述位置检测单元检测到的与所述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及控制单元，用于执行与由所述判断单元判断出的操作相对应的动作。
根据本发明的另一方面，提供了一种用于图像投影设备的控制方法，包括：投影步骤，用于利用投影单元将输入图像投影至投影面上；获得步骤，用于获得包含投影至所述投影面上的图像的范围的拍摄图像；生成步骤，用于生成所述拍摄图像与所述输入图像之间的差分图像；区域检测步骤，用于基于所述差分图像，检测与用于操作所述图像投影设备的操作物体相对应的区域；位置检测步骤，用于检测与在所述区域检测步骤中检测到的与所述操作物体相对应的区域的特定部位的位置有关的信息；判断步骤，用于基于在所述位置检测步骤中检测到的与所述特定部位的位置有关的信息，判断由所述操作物体执行的操作；以及控制步骤，用于控制与在所述判断步骤中判断出的操作相对应的动作。
根据以下参考附图对典型实施例的说明，本发明的其它特征将变得清楚。
附图说明
图1是示出根据本发明第一实施例的图像投影设备100的示意结构示例的框图；
图2是示出根据本发明第一实施例的图像投影设备100中的投影图像消除单元104的结构示例的框图；
图3是示出根据本发明第一实施例的图像投影设备100中的运动物体区域检测单元105的结构示例的框图；
图4是示出根据本发明第一实施例的图像投影设备100中的运动物体区域检测单元105的另一结构示例的框图；
图5A～5D是示意性示出根据本发明第一实施例的图像投影设备的使用中状态的图；
图6是示意性示出在根据本发明第一实施例的图像投影设备100中检测用户操作的图；
图7是示出在根据本发明第一实施例的图像投影设备100中由照相机反馈单元212输出的校正信息的示例的图；
图8A和8B是示出在根据本发明第一实施例的图像投影设备100中由拍摄图像校正单元206所执行的校正处理的示例的图；
图9是示出在根据本发明第一实施例的图像投影设备100中设置运动物体区域检测单元105的有效区域的示例的图；
图10是示出根据本发明第二实施例的图像投影设备1000的示意结构示例的框图；
图11是示出根据本发明第二典型实施例的图像投影设备1000中的特定形状区域检测单元1014的结构示例的框图；
图12是示意性示出在根据本发明第二实施例的图像投影设备1000中检测用户操作的框图；
图13是示出根据本发明第三实施例的图像投影设备1300的示意结构示例的框图；以及
图14是用于解释根据本发明第三实施例的图像投影设备1300的操作的流程图。
具体实施方式
现在将根据附图来详细说明本发明的优选实施例。
第一实施例
图1是示出根据本发明第一实施例的图像投影设备100的示意结构示例的框图。
在图像投影设备100中，经由GUI重叠单元113将从端子101输入的图像信号输入至投影单元102，并将其投影至未示出的投影面(屏幕、桌子等)上。照相机单元103用于将投影面上包含正从投影单元102投影来的图像(投影图像)的图像作为运动图像而拍摄。
图5A示出利用本实施例中的图像投影设备100进行的投影和拍摄。将从投影单元102的光学系统投影来的投影图像121投影至桌子的顶板等的投影面120上，并同时利用照相机单元103拍摄投影面120的包含投影图像121的区域122。
图5B～5D是示意性示出本实施例中用户操作图像投影设备100的方法。本实施例中的图像投影设备100检测对投影图像的用户指示，并且基于所检测到的用户指示进行操作。
图5B示出从正上方观看到的投影图像121。然后，如图5C所示，本实施例中的图像投影设备100将用于操作图像投影设备100的GUI 123叠加在投影图像121上。GUI 123包括按钮116～118，并且用户能够用手按下按钮116～118中的任意一个来指示与按钮116～118相对应的操作。通过检测到用户的手在投影图像上，可以触发GUI 123的显示。
如图5D所示，当检测到操作GUI的手的特定部位(例如，指尖)放置在按钮118上时，图像投影设备100在指示了与按钮118相对应的操作的假设下工作。
以下将说明用于实现这些操作的具体动作。
从投影单元102对从端子101输入的图像信号进行投影，并将它们供给至投影图像消除单元104。
在投影图像消除单元104中，将由照相机单元103拍摄到的图像与来自投影单元102的投影图像，即来自端子101的输入图像进行比较，以从该拍摄图像中消除正投影的图像分量。投影图像消除单元104从照相机单元103接收照相机特性信息，并且基于投影图像和拍摄图像之间的比较结果来控制照相机单元103，从而提高消除投影图像时的精确度。此外，投影图像消除单元104从投影单元102接收投影仪特性信息，并且基于投影图像和拍摄图像之间的比较结果来控制投影单元102和照相机单元103，从而再次提高消除投影图像时的精确度。具体地，例如，可以将作为投影仪特性信息的例子的色温信息等用于对照相机进行白平衡控制。将说明这些类型的控制。
图2是示出本实施例中的图像投影设备100中的投影图像消除单元104的结构示例的框图。从端子201输入投影单元102正在投影的输入图像(来自GUI重叠单元113的输出)，而从端子202输入照相机单元103正在拍摄的图像(照相机拍摄图像)。
输入图像校正单元205基于以下对输入图像信号进行校正：
-经由端子203从投影单元102供给的投影仪特性信息(例如，色温信息)；
-从比较电路208获得的校正后的输入图像与校正后的照相机拍摄图像之间的差分图像(difference image)；以及
-从投影仪反馈单元211供给的校正信息，
从而使差分图像中校正后的输入图像分量的残差(residual)最小化。这种类型的校正包括例如通过取消投影仪固有的及当前设置的颜色特性而进行的校正。
另一方面，拍摄图像校正单元206基于以下对拍摄图像信号进行校正：
-从端子204供给的照相机特性信息；
-从比较电路208获得的校正后的输入图像与校正后的照相机拍摄图像之间的差分图像；以及
-从照相机反馈单元212供给的校正信息，
从而使差分图像中输入图像分量的残差最小化。
这种类型的校正包括例如：
-照相机固有的颜色特性和当前设置的颜色特性；
-亮度的校正；
-如图8A所示，对由于投影而导致的几何变形进行的校正(从由实线表示的梯形区域801至由虚线表示的矩形区域802的校正)；以及
-如图8B所示，为消除拍摄视角的不一致而对投影视角的区域进行的裁剪和放大(从由实线表示的拍摄范围803的图像至由虚线表示的范围804的图像的放大)。
在本实施例中，为了例示的目的，分别示出了输入图像校正单元205和拍摄图像校正单元206。然而，还可以通过使拍摄图像校正单元206执行由输入图像校正单元205进行的处理来缩小电路规模。
照相机时间延迟补偿单元207补偿在由投影单元102对输入图像进行投影并且由照相机单元103对其进行拍摄的路径中导致的时间延迟。
比较电路208将校正后的输入图像与校正后的照相机拍摄图像进行比较以获得差分，并且阈值处理单元209提取出预定阈值以上的信号以抑制残差分量和噪声分量的影响。这允许实现消除投影图像，其中抑制了投影图像中由于运动或形状而导致的误检测。作为从拍摄图像消除输入图像即投影图像的结果，将来自阈值处理单元209的输出供给至运动物体区域检测单元105。
投影仪反馈单元211基于校正后的输入图像和校正后的照相机拍摄图像，将用于使投影单元102的操作最优化的校正信息从端子213输出至投影单元102。作为该校正信息，可以想到例如用于对投影仪侧的图8A所示的投影变形进行校正的信息。
照相机反馈单元212基于校正后的输入图像和校正后的照相机拍摄图像，将用于使照相机单元103的操作最优化的校正信息从端子214输出至照相机单元103。作为该校正信息，可以想到例如用于通过改变照相机的变焦倍率来校正图7所示的投影视角702和拍摄视角701之间的关系的信息，即用于进行校正使得拍摄视角701≥投影视角702的信息。
要注意，可以控制用于对输入图像和拍摄图像进行校正的所述处理，从而将该处理作为在启动图像投影设备期间的校准处理的一部分而执行，但之后不再执行该处理。可选地，可以定期地执行该处理，或者可以基于用户的指示而执行该处理。对于不执行校正处理的时间段，输入图像校正单元205和拍摄图像校正单元206在不对输入图像和拍摄图像进行校正的情况下将该输入图像和拍摄图像分别供给至比较电路208。另外，投影仪反馈单元211和照相机反馈单元212在该时间段内不输出校正信息。
返回图1，运动物体区域检测单元105从消除了投影图像的拍摄图像中检测被看作为运动物体的区域。在本实施例中，如图5B～5D所示，检测手指的区域。
图3是示出本实施例中的图像投影设备100中的运动物体区域检测单元105的结构示例的框图。
将消除了投影图像的拍摄图像从投影图像消除单元104输入至端子301。将消除了投影图像的拍摄图像写入存储器303中。存储器303被配置为能够存储至少两帧(画面)的拍摄图像。
在差分电路302中，在所输入的消除了投影图像的拍摄图像与先前的消除了投影图像的拍摄图像之间生成差分图像，其中该先前的拍摄图像被存储器303延迟了预定的时间段。然后，将该差分图像供给至阈值处理电路304。换言之，差分电路302生成由投影图像消除单元104在不同时刻生成的多个差分图像之间的差分图像。
为了消除噪声分量，阈值处理单元304仅将预定阈值以上的信号作为时间变化分量而提取，并将这些信号供给至有意义区域(significant region)判断单元305。
有意义区域判断单元305将时间变化分量中除孤立点(孤立像素)等以外的封闭区域判断为有意义区域，并且将与该有意义区域相关的信息(用于指定该区域的信息)从端子306输出。可以通过将除孤立点以外的封闭区域判断为有意义区域来限制将背景中的图案等误检测为运动物体的可能性。
图4是示出本实施例中的图像投影设备100中的运动物体区域检测单元105的另一结构示例的框图。
根据运动物体的检测间隔T与运动物体的运动之间的关系，图3的结构示例可能产生运动物体区域检测不能够检测到期望运动物体(这里，手指)的时间段。因此，在图4的结构例子中，将紧挨在检测到运动物体之前的图像作为背景图像(不具有运动物体的图像)而保持。这允许即使在所检测到的运动物体在途中维持静止的情况下也可判断有意义区域。尤其在如在重放静止图像的情况一样，输入图像即投影图像是静止的情况下，该结构是有效的。
将消除了投影图像的拍摄图像从投影图像消除单元104输入至端子401。经由处于闭合状态下的开关407将该消除了投影图像的拍摄图像写入存储器403中。存储器403被配置为能够存储拍摄图像，并且被配置为保持供给至差分电路402的先前的拍摄图像，直到有意义区域判断单元405完成判断为止。
在差分电路402中，在所输入的消除了投影图像的拍摄图像和先前的消除了投影图像的拍摄图像之间获得差分图像，其中先前的拍摄图像被存储器403延迟了预定的时间段。然后，将该差分供给至阈值处理电路404。
为了消除噪声分量，阈值处理电路404仅将预定阈值以上的信号作为时间变化分量而提取，并将这些信号供给至有意义区域判断单元405。
有意义区域判断单元405以与有意义区域判断单元305相同的方式判断有意义区域，并且将与该有意义区域相关的信息(用于指定封闭区域的信息)从端子406输出。此外，有意义区域判断单元405实行控制以在存在被检测为有意义区域的闭合区域的情况下断开开关407。这防止了新的拍摄图像被写入存储器403中，从而将用于检测有意义区域的不包含运动物体的图像保持在存储器403中，作为背景图像。
要注意，还可以通过限制运动物体区域检测单元105的有效区域，来防止误检测由于照相机抖动而导致的图像帧边缘处的不必要运动。
图9示出运动物体区域检测单元105的有效区域的示例。
区域A901是与图像的外围相邻的区域，并且被看作为以下区域：特别是在手持图像投影设备100的情况下，由于照相机抖动，该区域极有可能被包含在摄像区域中，从而导致运动物体的误检测。因此，对于区域A 901，可以使用于将闭合区域判断为有意义区域的阈值高于应用于除图像的外围部分以外的区域B 902的阈值。可选地，可以从对闭合区域的检测排除区域A901，从而仅从区域B 902检测闭合区域。
由此，如上所述，可以通过设置这种有效区域来抑制由照相机抖动而导致的对有意义区域的误检测。
返回图1，热点位置检测单元106从由运动物体区域检测单元105检测到的有意义区域中，检测用于判断GUI的操作的特定部位(称为热点(hot spot))的位置。在本实施例中，从有意义区域中检测被判断为手指的前端的部位，并且检测该部位的位置(热点位置)。对于执行该检测的具体方法，可以使用如根据区域前端检测或圆形区域检测的指尖检测方法等的已知技术，并且由此这里将省略对其的详细说明。将由热点位置检测单元106检测到的热点位置供给至热点运动检测单元107、热点位置存储器108和命令解码单元109。
重叠GUI控制单元111基于从端子112供给的装置工作模式信息和来自热点位置检测单元106的检测结果，确定用于操作图像投影设备100的GUI(操作GUI)的显示位置。装置工作模式信息指例如从该装置的系统控制器(或模式控制器)所提供的如播放和停止等的工作状态。基于该装置工作模式信息，可以显示形状与该工作状态相应的GUI。重叠GUI控制单元111基于根据装置工作模式信息的GUI与热点之间的相对位置，确定要重叠显示的GUI图像及其显示位置，并将该GUI图像和显示位置输出至GUI重叠单元113。重叠GUI控制单元111将例如相对于所检测到的热点位置易于操作的位置确定为显示位置。具体地，例如，可以将紧接在显示之后未隐藏在手后方的或未从画面突出的邻近位置确定为显示位置。
此外，GUI重叠单元113根据来自重叠GUI控制单元111的显示位置和GUI图像，将预先准备的操作GUI图像叠加在从投影单元102投影来的图像上，并将叠加在从投影单元102投影来的图像上的该操作GUI图像供给至投影单元102。这导致将操作GUI图像重叠显示(叠加)在投影图像上。
例如，如图5C所示，当由运动物体区域检测单元105将用户的手的区域检测为有意义区域并且由热点位置检测单元106将指尖的位置检测为热点位置时，可以显示操作GUI。
热点运动检测单元107将由热点位置检测单元106所检测到的热点位置与热点位置存储器108中所存储的先前的位置历史记录进行比较，以检测热点的运动。热点运动检测单元107将与所检测到的热点的运动相关的信息(例如，表示运动的类型(如环形运动和直线运动等)的信息)输出至命令解码单元109。
命令解码单元109根据以下来判断用户对操作GUI执行的操作，生成相应的装置控制命令并将该装置控制命令输出至系统控制单元110：
-在热点位置检测单元106中检测到的热点位置；
-从热点运动检测单元107供给的与热点的运动相关的信息；以及
-从重叠GUI控制单元111供给的GUI显示位置信息。
系统控制单元110控制附图中未示出的组件，并且根据装置控制命令执行处理。例如，如果该装置控制命令是用于切换投影图像的命令，则从附图中未示出的存储装置读取接着要显示的图像数据，并经由端子101将该图像数据供给至GUI重叠单元113。
作为由命令解码单元109所确定的操作的示例，可以想到以下。
例如，在图5D中，在操作GUI上的特定区域上例如在热点位置的环形运动中检测到与对应于特定姿势的热点运动有关的信息的情况下，判断为指示了分配给该特定区域的操作。
在如在重放静止图像的功能中，运动物体区域检测单元105采用图4的结构的情况下，即使在物体处于静止状态的情况下也可以检测到该热点位置。因此，在热点在预定的时间段内在特定区域上维持静止的情况下，也可以判断为指示了分配至该特定区域的操作。
在各种情况下，命令解码单元109根据所判断出的操作生成装置控制命令，并将该装置控制命令输出至系统控制单元110。
图6是示意性示出在本实施例中的图像投影设备100中检测用户操作的图。
在图6的例子中，输入图像601即投影图像是脸标记，并且在投影面上存在用作背景的星形图案。因此，在拍摄图像602中包含了脸标记和星形图案两者。检测间隔T与由在图3的存储器303中进行写入的间隔所确定的检测处理的间隔相对应。在图6的例子中，假定在经过检测间隔T之后，作为对操作GUI进行操作的物体的手进入照相机单元103的摄像范围。
要注意，尽管图6中未示出，在叠加了操作GUI的情况下，该操作GUI图像包含于输入图像601中。
在图6的S1中，在投影图像消除单元104中从拍摄图像602消除输入图像601(即，投影图像)。不管输入图像601中是否包含操作GUI图像，通过该处理所获得的差分图像603都仅包含星形背景图案。此外，还以相同的方式处理检测间隔T之后的图像。换言之，从拍摄图像604去除输入图像601。不管输入图像601中是否包含操作GUI图像，由此获得的图像605都包含已进入摄像区域的用户的手606和星形图案。
在S2中，运动物体区域检测单元105将在时间上分隔检测间隔T的、均消除了投影图像的两个差分图像603和605进行比较，并检测运动物体区域。该处理消除了投影图像和未随时间变化的背景图案，从而获得了仅包含手606的图像608。由此，将手606的区域判断为有意义区域，即运动物体区域。
在S3中，热点位置检测单元106从在S 2中被判断为运动物体区域的区域中检测要用于检测对操作GUI进行的操作的特定部位(这里为指尖)的位置，作为热点位置607。
在S4中，热点运动检测单元107根据在S3中检测到的热点位置607的时间变化而检测热点的运动。
在S5中，在显示了操作GUI 609的情况下，命令解码单元109指定操作GUI 609的显示位置以及用户根据在S4中检测到的热点的运动和该热点的位置而指示的操作，并输出相应的装置操作命令。
如上所述，根据本实施例，叠加在投影图像上的GUI图像可用于对图像投影设备执行操作，而无需使用图像投影设备自身的键或按钮。因此，即使在利用手持的图像投影设备执行投影的情况下，也可以在抑制投影图像模糊或变形的可能性的同时操作该图像投影设备。因此，本实施例特别优选适用于蜂窝式电话等的小型装置。此外，由于基于拍摄图像之间的差分检测例如手的用于操作GUI图像的物体，因此处理容易，并且无需使用红外线照相机等的特殊摄像设备。特别地，目前的蜂窝式手机已经具有内置式照相机，并且可以使用现有照相机而无需增加新的照相机。
此外，将未检测到用于操作GUI图像的物体(操作物体)的拍摄图像作为背景图像而保持，这允许更可靠地对操作物体进行检测。
第二实施例
图10是示出根据本发明第二实施例的图像投影设备的示意结构示例的框图。在图10中，利用相同的附图标记来表示与图1的组件相同的组件，并且将省略对其的重复说明。
如从图1和图10之间的比较清楚可见，本实施例中的图像投影设备1000的特征在于，代替运动物体区域检测单元105，设置了特定形状区域检测单元1014和特定形状存储器1015。因而，以下说明集中于该特征结构。
特定形状区域检测单元1014从自投影图像消除单元104输出的消除了投影图像的拍摄图像中，检测被认为与特定形状存储器1015中所存储的特定形状具有高相似度的区域。在本实施例中，假定将与例如图5C和5D所示的手的形状有关的形状特征量信息作为与特定形状有关的信息存储在特定形状存储器1015中。此外，特定形状区域检测单元1014基于与手的形状有关的形状特征量信息，检测被认为与手的形状具有高相似度的区域作为特定形状区域。然后，热点位置检测单元106将所检测到的特定形状区域的特定部位检测为热点，并检测其位置(热点位置)。
图11是示出本实施例中的图像投影设备1000中的特定形状区域检测单元1014的结构示例的框图。
从投影图像消除单元104将消除了投影图像的拍摄图像输入至端子1101。在空间滤波器单元1102中，执行预定的平滑化(smoothing)以消除随机噪声分量。形状检测单元1103基于经由端子1104从特定形状存储器1015所获得的形状特征量信息，在消除了投影图像的拍摄图像中检测特定形状区域，并将用于指定所检测到的特定形状区域的信息从端子1105输出。
不特别限定形状检测单元1103中用于检测特定形状区域的方法，并且因此，例如，可以使用通过将使用亮度水平、色调等的区域分割与不依赖于形状的旋转或缩放的形状特征量进行比较的已知的区域检测算法。
热点位置检测单元106从由特定形状区域检测单元1014所检测到的特定形状区域中，检测例如指尖的要用于判断对操作GUI进行的操作的特定部位作为热点，并检测其位置(热点位置)。与在第一实施例中相同，对于执行该检测的具体方法，可以使用如根据区域前端检测或圆形区域检测的指尖检测方法等的已知技术，并且由此这里将省略对其的说明。
由其它组件执行的处理与在第一实施例中所述的相同，并且将省略对其的说明。
图12是示意性示出在本实施例中的图像投影设备1000中检测用户操作的图。
在本实施例中，检测特定形状区域，因而不太可能误检测到存在于投影面上的图案等。因此，如第一实施例中一样获得消除了投影图像的两个拍摄图像之间的差分是不必要的。
此外，在图12的例子中，输入图像601即投影图像是脸标记，并且在投影面上存在用作背景的星形图案。因此，在拍摄图像602中包含了脸标记和星形图案这两者。尽管图12中未示出，在叠加了操作GUI的情况下，输入图像601包含该操作GUI的图像。
图12的例子与图6的例子的不同之处在于，从一开始作为操作物体的手606就存在于摄像范围中(即，包含于拍摄图像602中)。
在图12的S11中，在投影图像消除单元104中从拍摄图像602消除输入图像601(即，投影图像)。不管输入图像601中是否包含操作GUI图像，通过该处理所获得的差分图像603都包含星形背景图案和手606。
在S12中，特定形状区域检测单元1014从自投影图像消除单元104输出的、消除了投影图像的拍摄图像中，检测特定形状区域。在本实施例中，由于将手形状的区域检测为特定形状区域，因此，检测到手606的区域。
在S13中，热点位置检测单元106从在S12中被检测为特定形状区域的区域中，检测要用于判断对操作GUI进行的操作的特定部位(这里为指尖)的位置作为热点位置607。
在S14中，热点运动检测单元107根据在步骤S13中检测到的热点位置607的时间变化来检测热点的运动。
在S15中，在显示了操作GUI 609的情况下，命令解码单元109指定操作GUI 609的显示位置以及用户根据在S14中检测到的热点的运动和该热点的位置所指示的操作，并输出相应的装置操作命令。
如上所述，根据本发明，除第一实施例的有利效果以外，用于检测特定形状区域的结构消除了获得在时间上分隔检测间隔T的、均消除了输入图像的拍摄图像之间的差分的需要。因此，可以实现更加简化的结构。
第三实施例
图13是示出根据本发明第三实施例的图像投影设备的示意性结构示例的框图。在图13中，利用相同的附图标记来表示与图1或10的组件相同的组件，并且将省略对其的重复说明。
如从图13清楚可见，本实施例中的图像投影设备1300既包括运动物体区域检测单元105，也包括特定形状区域检测单元1014和特定形状存储器1015，并且本实施例中的图像投影设备1300的特征在于，根据由检测控制单元1317实行的控制而适应性地并且选择性地使用如第一实施例中的运动物体区域检测和如第二实施例中的特定形状区域检测。由此，以下说明将集中于该特征结构。
运动物体区域检测单元105从自投影图像消除单元104输出的、消除了投影图像的拍摄图像中，检测被看作为运动物体的有意义区域。尽管运动物体区域检测单元105的结构如在第一实施例中参考图3所述，但是在本实施例中检测到有意义区域的情况下，根据由检测控制单元1317实行的控制，将作为用于指定有意义区域的信息的形状特征量存储在特定形状存储器1015中。
另一方面，如在第二实施例中所述，特定形状区域检测单元1014基于特定形状存储器1015中所存储的特定形状的形状特征量，从消除了投影图像的拍摄图像中检测被认为与特定形状具有高相似度的区域。在本实施例中，对于这里要使用的形状特征量，在检测到有意义区域的情况下，将该有意义区域的形状特征量用于检测特定形状区域。更具体地，利用在运动物体区域检测单元105中检测到的有意义区域的形状作为特定形状来执行后续的特定形状区域检测。
特定形状区域检测单元1014与在第二实施例中所述的相同，并且由此将省略对其的说明。
检测控制单元1317根据来自运动物体区域检测单元105的检测结果和来自特定形状区域检测单元1014的检测结果而切换开关1316，并且选择要供给至热点位置检测单元106的区域信息。
更具体地，检测控制单元1317切换开关1316，使得当如图5B所示未检测到操作物体的区域时，选择来自运动物体区域检测单元105的输出。此外，检测控制单元1317切换开关1316，使得当如图5C所示检测到了操作物体的区域时，选择来自特定形状区域检测单元1014的输出。另外，在这种情况下，检测控制单元1317指示运动物体区域检测单元105将所检测到的运动物体区域(有意义区域)的形状特征量写入特定形状存储器1015中。
之后，在特定形状区域检测单元1014中未能够检测到特定形状区域的情况下，检测控制单元1317清空特定形状存储器1015，并且切换开关1316，从而选择来自运动物体区域检测单元105的输出。
根据这种自适应选择处理而跟随检测到的操作物体区域允许即使在物体维持静止时也可检测到热点。此外，可以防止由于静止的背景图案而导致的误检测。
由热点位置检测单元106和后续单元所执行的处理如上所述，并且由此将省略对其的说明。
将参考图14所示的流程图来更详细地说明本实施例中的上述图像投影设备的操作。最初，控制开关1316，从而选择来自运动物体区域检测单元105的输出。
在S 1402中，检测控制单元1317清空特定形状存储器1015。
在S1404中，如在第一实施例中所述，运动物体区域检测单元105检测运动物体区域(有意义区域)。
在S1405中，热点位置检测单元106判断在由运动物体区域检测单元105所检测到的运动物体区域中是否能够检测到有意义热点(例如，被看作为指尖的部位)。热点位置检测单元106向检测控制单元1317通知判断结果。如果在热点位置检测单元106中未能检测到有意义热点，则处理返回步骤S1404以在运动物体区域检测单元105中继续检测处理。要注意，在热点位置检测单元106中未检测到有意义热点的情况下，检测控制单元1317保持开关1316，从而选择来自运动物体区域检测单元105的输出。
另一方面，在S1405中，在热点位置检测单元106中能够检测到有意义热点的情况下，在S1406中，检测控制单元1317指示运动物体区域检测单元105将所检测到的运动物体区域的形状特征量登记在特定形状存储器1015中。此外，检测控制单元1317切换开关1316，从而选择来自特定形状区域检测单元1014的输出。
在S1409中，特定形状区域检测单元1014使用由运动物体区域检测单元105登记在特定形状存储器1015中的形状特征量，来如在第二实施例中所述地检测特定形状区域。
在S1410中，检测控制单元1317判断特定形状区域检测单元1014中的检测结果，并且在未能检测到特定形状区域的情况下，处理返回S1402以移动至运动物体检测模式。在这种情况下，检测控制单元1317切换开关1316，从而选择来自运动物体区域检测单元105的输出。
另一方面，在特定形状区域检测单元1014中能够检测到特定形状区域的情况下，在S1411中，热点位置检测单元106根据所检测到的特定形状区域来检测热点及其位置。
在S1412中，热点运动检测单元107检测由热点位置检测单元106所检测到的热点位置的运动。在S1413中，命令解码单元109基于热点的运动和操作GUI的显示位置来判断用户操作，根据判断结果来发出装置控制命令，并且将该装置控制命令输出至系统控制单元110。
然后，重复从S1409开始的处理。
如上所述，根据本实施例，除第一和第二实施例的有利效果以外，使用从实际拍摄图像中检测到的有意义区域的形状以检测特定形状区域，这样具有能够以更好的精确度检测特定形状区域的有利效果。此外，可以通过自适应地在运动物体检测和特定形状检测之间进行切换，在各种条件下适当地检测并判断用户操作。
其它实施例
在上述各实施例中，已经说明了对操作GUI进行操作所使用的操作物体是手的情况。然而，例如，即使在用户不是用手直接对操作GUI进行操作的情况下，本发明也适用。例如，在用户利用钢笔、指示器等对操作GUI进行操作的情况下，代替手，可以将钢笔或指示器看作为操作物体。例如，可以以以下方式构成该情况：将钢笔或指示器的形状特征量用于检测特定形状区域，并且可以将钢笔或指示器的前端检测为特定部位(热点)。如上所述，本发明实质上可以采用用于检测操作物体的形状或位置的任何方法。
此外，命令解码单元109可以在无需使用关于操作GUI的位置信息的情况下判断用户操作。例如，在热点环形运动的情况下，可以将该热点的特定运动自身判断为命令。具体地，可以将热点的环形运动判断为操作GUI的显示命令。
要注意，此外，在热点在预定的时间段以上内维持静止的情况下，这里可以将维持静止看作为“热点的特定运动”，即可以将其判断为用户操作。
如上所述，在不依赖于操作GUI而确定用户操作的情况下，用户可以作手势以操作图像投影设备。因此，操作GUI的图像不干扰看见输入图像。另外，用户可以不在操作GUI的特定区域而在投影图像上的任意位置做手势，由此具有在操作时自由度高的优势。
无需说明，可以组合地执行利用操作GUI的用户操作判断和仅基于与热点有关的位置信息(位置及其时间变化)的用户操作判断。例如，对于显示操作GUI的操作，可以执行仅基于与热点有关的位置信息的用户操作判断，而在显示操作GUI之后，可以执行基于操作GUI的显示位置和与热点有关的位置信息两者的用户操作判断。
此外，尽管在上述实施例中已经说明了配置有照相机单元的图像投影设备的结构，然而，并非必须设置照相机单元，只要能够获得包含投影图像的投影面的拍摄图像即可。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2007年9月4日提交的日本专利申请2007-229456的优先权，在此通过引用包含其全部内容。