信息处理装置.pdf

提供了一种信息处理装置，其当使用通过拍摄用户的图像而获得的拍摄图像接收来自用户的操作输入时，使得能够容易地执行用于指定屏幕内的位置的操作输入。信息处理装置获取包括用户的面部的拍摄图像，指明所获取的拍摄图像中包括的用户的面部的位置，在所述拍摄图像内的根据所指明的面部位置确定的位置设置操作区域，从所述操作区域内检测检测目标，并且接收屏幕内与所述操作区域内所检测的检测目标的相对位置对应的位置，作为用户所指定的位置。

1.  一种信息处理器，包括：
拍摄图像获取部分，配置为获取包括用户的面部的拍摄图像；
面部位置识别部分，配置为识别所述拍摄图像中包括的用户的面部的位 置；
操作区域设置部分，配置为在所述拍摄图像上的根据所识别的面部位置 确定的位置设置操作区域；以及
操作接收部分，配置为从所述操作区域内检测检测目标，并且接收屏幕 上与所述操作区域内所检测的检测目标的相对位置对应的位置，作为用户所 指向的位置。

2.  如权利要求1所述的信息处理器，其中所述操作接收部分从所述操作 区域内检测所述用户的手作为检测目标。

3.  如权利要求2所述的信息处理器，其中所述拍摄图像获取部分获取立 体摄像机所拍摄的两个图像，并且基于两个拍摄图像生成表示从所述立体摄 像机到被摄体的距离分布的距离分布数据，并且
所述操作接收部分检测所述操作区域内最接近所述立体摄像机的被摄体 的位置，作为所述用户的手的位置。

4.  如权利要求1所述的信息处理器，其中所述操作接收部分从所述操作 区域内检测所述用户在其手中持握的控制器作为所述检测目标。

5.  如权利要求4所述的信息处理器，其中所述控制器具有发光部分，并 且所述操作接收部分从所述操作区域内检测从所述发光部分发出的光的位置 作为所述控制器的位置。

6.  如权利要求1所述的信息处理器，其中所述拍摄图像包括第一和第二 用户的两个面部，
所述面部位置识别部分识别所述第一和第二用户的各自面部的位置，
所述操作区域设置部分根据所述第一用户的面部的位置在所述拍摄图像 上设置第一操作区域，并根据所述第二用户的面部的位置在所述拍摄图像上 设置第二操作区域，并且所述操作接收部分接收所述屏幕上与所述第一操作 区域内检测的检测目标的相对位置对应的位置作为由所述第一用户指向的位 置，并接收所述屏幕上与所述第二操作区域内检测的检测目标的相对位置对 应的位置作为由所述第二用户指向的位置。

7.  如权利要求1所述的信息处理器，还包括：
显示图像生成部分，配置为通过在所述拍摄图像内布置对象而生成显示 图像，并在显示设备的屏幕上显示所述显示图像，其中
所述显示图像生成部分根据从所述拍摄图像内检测的所述用户在其手中 持握的控制器的位置，确定布置所述对象的位置。

8.  一种用于控制信息处理器执行匹配来自用户的操作输入的处理的控制 方法，所述控制方法包括步骤：
获取包括用户的面部的拍摄图像；
识别所述拍摄图像中包括的用户的面部的位置；
在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域； 以及
从所述操作区域内检测检测目标，并且接收屏幕上与所述操作区域内所 检测的检测目标的相对位置对应的位置，作为用户所指向的位置。

9.  一种程序，使得计算机用作：
拍摄图像获取部分，配置为获取包括用户的面部的拍摄图像；
面部位置识别部分，配置为识别所述拍摄图像中包括的用户的面部的位 置；
操作区域设置部分，配置为在所述拍摄图像上的根据所识别的面部位置 确定的位置设置操作区域；以及
操作接收部分，配置为从所述操作区域内检测检测目标，并且接收屏幕 上与所述操作区域内所检测的检测目标的相对位置对应的位置，作为用户所 指向的位置。

10.  一种存储如权利要求9所述的程序的计算机可读信息存储介质。

信息处理装置
技术领域
本发明涉及一种用于使用通过对用户成像而获得的拍摄图像显示与来自 用户的操作输入匹配的图像的信息处理器。
背景技术
已经提出了各种方法来接收来自用户的操作输入，以用于诸如游戏系统 的信息处理系统中。这些方法之中的一个方法是一种信息处理系统，其被设 计为用在显示器周围提供的相机对用户所持握的控制器或用户自身成像，并 从作为成像的结果而获得的拍摄图像识别检测目标(例如，控制器或用户的 手)的位置，以便接收来自用户的操作。这样的信息处理系统使得用户可以 通过在相机前移动其自身所持握的控制器或者其自己的手来进行对信息处理 系统的操作输入。
发明内容
如上所述的信息处理系统可以例如当要求用户选择屏幕上显示的多个对 象之一时接收配置为指向显示屏上的位置的用户操作输入。然而，如果将拍 摄图像用作操作输入，则用户可能难以进行配置为指向屏幕上的位置的操作 输入。其原因是在用户自己的手或控制器的位置与屏幕上的该位置之间的对 应关系难以理解，以及根据该对应关系，用户需要明显地移动其身体以便指 向屏幕上的位置。
根据以上所述已经设计了本发明，并且本发明的目的是提供一种信息处 理器、其控制方法和控制程序、以及存储程序的信息存储介质，其当使用通 过对用户成像而获得的拍摄图像从用户接收操作输入时，容易允许进行操作 输入以便指向屏幕上的位置。
根据本发明的信息处理器包括拍摄图像获取部分、面部位置识别部分、 操作区域设置部分、以及操作接收部分。拍摄图像获取部分获取包括用户的 面部的拍摄图像。面部位置识别部分识别所述拍摄图像中包括的用户的面部 的位置。操作区域设置部分在所述拍摄图像上的根据所识别的面部位置确定 的位置设置操作区域。操作接收部分从所述操作区域内检测检测目标，并且 接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置，作 为用户所指向的位置。
此外，根据本发明的用于信息处理器的控制方法控制信息处理器执行匹 配来自用户的操作输入的处理。所述控制方法包括获取包括用户的面部的拍 摄图像的步骤。所述控制方法还包括识别所述拍摄图像中包括的用户的面部 的位置的步骤。所述控制方法还包括在所述拍摄图像上的根据所识别的面部 位置确定的位置设置操作区域的步骤。所述控制方法还包括步骤：从所述操 作区域内检测检测目标，并且接收屏幕上与所述操作区域内所检测的检测目 标的相对位置对应的位置，作为用户所指向的位置。
此外，根据本发明的程序使得计算机用作拍摄图像获取部分、面部位置 识别部分、操作区域设置部分、以及操作接收部分。拍摄图像获取部分获取 包括用户的面部的拍摄图像。面部位置识别部分识别所述拍摄图像中包括的 用户的面部的位置。操作区域设置部分在所述拍摄图像上的根据所识别的面 部位置确定的位置设置操作区域。操作接收部分从所述操作区域内检测检测 目标，并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应 的位置，作为用户所指向的位置。此程序可以存储在计算机可读信息存储介 质上。
附图说明
图1是根据本发明的实施例的信息处理系统的整体配置图。
图2A是图示控制器的外观的示例的示出其上侧的透视图。
图2B是图示控制器的外观的示例的示出其前侧的透视图。
图3是游戏机的框图。
图4是图示当用户执行指向操作时拍摄的基准图像的示例的图。
图5是图示响应于指向操作显示的显示图像的示例的图。
图6是图示由游戏机执行的处理流程的示例的图。
图7是图示当多个用户执行指向操作时拍摄的基准图像的示例的图。
图8是图示菜单的显示示例的图。
图9是图示对象跳出控制器的显示位置的显示示例的图。
图10是图示所识别的用户的面部经历图像处理的显示示例的图。
图11是图示在屏幕上显示的图像的内容根据控制器的姿势而改变的情 况下显示的显示图像的示例的图。
图12A是图示当根据用户的面部的位置确定可以指向的区域时的基准图 像的示例的图。
图12B是图示当根据用户的面部的位置确定可以指向的区域时的显示图 像的示例的图。
图13A是图示当执行汽车操纵游戏处理时的基准图像的示例的图。
图13B是图示当执行汽车操纵游戏处理时的显示图像的示例的图。该图 图示显示图像的另一示例。
具体实施方式
以下将基于附图给出对本发明的实施例的详细描述。
图1是游戏系统10(根据本发明的实施例的信息处理系统的示例)的整 体配置图。如图1中所示，游戏系统10包括游戏机12(根据本实施例的信 息处理器的示例)、诸如具有内置扬声器的家用电视接收机的显示器14、立 体摄像机16、以及控制器18(18-1至18-m)，其每个是根据本实施例的操作 输入装置的示例。
在本实施例中，游戏机12和显示器14经由线缆(例如，AV线缆或HDMI (注册商标)(高清晰度多媒体接口)线缆)连接。此外，游戏机12和立体 摄像机16经由线缆(例如，USB线缆、AV线缆或HDMI线缆)连接。
游戏机12例如包括控制部分、存储部分、图像处理部分、声音处理部分、 通信部分、光盘驱动器、USB(通用串行总线)端口、以及HDMI端口。控 制部分例如是配置为根据游戏机12中安装的程序而操作的MPU(微处理单 元)。存储部分例如是诸如ROM和RAM的存储元件、以及硬盘驱动器。图 像处理部分包括GPU(图形处理单元)和帧缓冲器。声音处理部分包括SPU (声音处理单元)和声音缓冲器。通信部分是配置为以有线或无线方式与因 特网上的服务器(未示出)或控制器18交换数据的网络板或无线LAN板。 光盘驱动器读取光盘(计算机可读信息存储介质)，诸如DVD-ROM或蓝光 (注册商标)盘。这些组件以这样的方式连接，以便能够经由总线彼此交换 数据。
图像处理部分中包括的GPU基于从控制部分提供的图像数据，描绘图像 处理部分中包括的帧缓冲器中的各种屏幕。在给定时刻将帧缓冲器中形成的 每个屏幕转换为视频信号，并且将其输出至显示器14。
声音处理部分中包括的声音缓冲器存储各种声音数据，诸如从光盘和硬 盘读取的游戏音乐、游戏效果音乐或消息。声音处理部分中包括的SPU播放 这些各种声音数据并使得声音数据从显示器14中内置的扬声器或控制器18 中内置的扬声器输出。
立体摄像机16的左右并排布置的每个数字摄像头(camera)包括透镜、 成像元件等，并以给定时间间隔(例如，每六十分之一秒)拍摄图像，从而 将所拍摄的图像输出至游戏机12。
控制器18是本实施例中的操作输入装置，并向游戏机12发送匹配由用 户对控制器18执行的操作的信号。每个控制器18包含方向键、按钮、触摸 传感器、模拟棒、扬声器、用于检测控制器18的姿势和运动的各种传感器(例 如，加速度传感器和陀螺传感器)、电池等。
此外，控制器18可以与游戏机12通信。如图1中所示，控制器18和游 戏机12通过无线通信(例如，与蓝牙(注册商标)或其它通信标准兼容的无 线通信)连接。然而，控制器18和游戏机12可以通过有线通信连接。
根据本实施例的游戏机12的控制部分以给定时间间隔(例如，每六十分 之一秒)扫描每个控制器18的各个部分的状态，从而基于所扫描的状态确定 由每个用户执行的操作的内容。应注意，多个控制器18可以连接至游戏机 12，并且控制部分基于从每个控制器18提供的操作状态执行各种处理。
图2A是图示控制器18的外观的示例的示出其上侧的透视图。图2B是 图示控制器18的外观的示例的示出其前侧的透视图。
如图2A和图2B中所示，根据本实施例的控制器18在左右侧具有由用 户持握的手柄部分。在左手柄部分的上表面上布置方向键。在右手柄部分的 上表面上布置按钮。此外，除了布置在右手柄部分的上表面上的按钮之外， 根据本实施例的控制器18还具有布置在其上的各种按钮。
此外，在中心部分的上表面上布置包括面板和触摸传感器的板状操作构 件22。中心部分连接左和右手柄部分的前部。面板覆盖附至面板的下表面(背 面)的整个触摸传感器。触摸传感器能够检测检测面(本实施例中的板状操 作构件22的上表面)上的对象(例如，用户手指或手写笔)的位置、输出匹 配所检测的对象的位置的信号。控制器18将信号发送至游戏机12。
触摸传感器在本实施例中例如是电容式传感器。此外，触摸传感器是所 谓的能够多点触摸的，因此允许同时检测检测面上的多个对象位置。此外， 以一种方式支持板状操作构件22以使得其能够响应于用户的按压而上下移 动。控制器18具有配置为检测板状操作构件22的按压的开关。板状操作构 件22用作可以被启用或禁用的按钮。
如图2B中所示，在连接左和右手柄部分的前部的中心部分的前表面提供 发光部分24。发光部分24位于左和右手柄部分的突出部分之间。此外，发 光部分24在左右方向上较窄。在图2B中所示的示例中，发光部分24为直线 延伸棒的形状。应注意，发光部分24的形状不限于此，并且可以为例如V 字形状、或者以弧形弯曲的。
根据本实施例的游戏机12通过立体摄像机16获取发光部分24的光。游 戏机12使得通过立体摄像机16获取的图像经受图像处理，从而基于发光部 分24在所获取的图像中的位置和尺寸而检测控制器18的位置。
发光部分24可以发出任意颜色的光。例如，发光部分24例如包括红、 绿和蓝发光体(例如，LED)，并且通过调节每个发光体的亮度，发出由游戏 机12指定的颜色、或匹配控制器18的操作状况的颜色的光。因此，即使同 时使用多个控制器18，游戏机12也可以检测每个控制器18的位置。
此外，根据本实施例的控制器18将扬声器包含在连接左和右手柄部分的 前部的中心部分中。于是，在中心部分的前表面的与扬声器的位置对应的位 置形成声音通过孔。应注意，可以在声音通过孔的位置与扬声器一起、或代 替扬声器布置麦克风。
以下将参考图3中所示的功能框图给出对由本实施例中的游戏机12实施 的功能的描述。如图3中所示，游戏机12在功能上包括拍摄图像获取部分 50、面部检测部分52、操作接收部分54、以及显示图像生成部分56。作为 控制部分执行游戏机12的存储部分中存储的程序的结果，实施这些功能。可 以经由诸如因特网的通信线路将此程序提供至游戏机12，或者将此程序存储 在诸如光盘的信息存储介质中并提供至游戏机12。这些功能允许游戏机12 实施匹配用户操作的游戏处理并在显示器14的屏幕上显示处理结果。具体 地，在本实施例中，用户通过移动控制器18或者其自己的手，指向屏幕上的 位置之一。在以下给出的描述中，这样的操作将称为指向操作。根据游戏机 12所执行的游戏的类型和其设置判定用户是通过使用其自己的手还是使用控 制器18进行指向操作。游戏机12执行匹配通过用户的指向操作而指向的屏 幕的位置的游戏处理。
拍摄图像获取部分50获取由立体摄像机16拍摄的图像。如前所述，立 体摄像机16包括左右并排布置的两个数字摄像头。这些数字摄像头的每个拍 摄图像。拍摄图像获取部分50获取由两个数字摄像头中的任一个拍摄的图像 之一作为基准图像Ic1，并获取由另一个数字摄像头拍摄的图像之一作为比较 图像Ic2。基准图像Ic1用作要由稍后将描述的面部检测部分52和操作接收 部分54处理的图像。比较图像Ic2用于生成基准图像Ic1中的距离分布数据。 即使当用两个数字摄像头对同一被摄体(subject)成像时，也由于视差而在 被摄体在基准图像Ic1中的位置与被摄体在比较图像Ic2中的位置之间发生位 置偏差。拍摄图像获取部分50可以通过测量此偏差确定从立体摄像机16到 被摄体的距离。更具体地，拍摄图像获取部分50将基准图像Ic1分割为多个 块，从而为每个块使用比较图像Ic2测量到该块中被摄体的距离。如上所述， 拍摄图像获取部分50生成表示基准图像Ic1中的被摄体距离分布的数据。
面部检测部分52从由拍摄图像获取部分50获取的基准图像Ic1内检测 人面部，从而识别基准图像Ic1中的面部位置FP。用于面部检测部分52从基 准图像Ic1内检测面部的特定算法可以是已知的算法。应注意，如果从基准 图像Ic1内检测到多个面部，则面部检测部分52需要确定实际上正在玩游戏 的用户与所检测的面部之间的对应关系。例如，如果单人游戏正在进行中， 则面部检测部分52可以识别所检测的最接近基准图像Ic1的中心的面部作为 用户的面部。替代地，面部检测部分52可以识别基准图像Ic1中包括的所有 面部中的最大面部作为用户的面部。还替代地，面部检测部分52可以使用前 述被摄体距离分布数据识别最接近立体摄像机16的面部(即，最前面的面部) 作为用户的面部。还替代地，如果N人游戏正在进行中，则面部检测部分52 可以从最接近中心、在尺寸上从最大到最小、或在距离上从最短到最长而按 顺序识别N个面部，作为正在玩游戏的用户的面部。图4是图示包括用户U1 的面部的基准图像Ic1的示例的图。在图4中，面部检测部分52检测用户 U1的面部，从而识别所检测的面部的中心的位置坐标作为面部位置FP。
响应于用户操作，操作接收部分54将表示所接收的操作的内容的信息输 出至显示图像生成部分56。具体地，在本实施例中，操作接收部分54识别 屏幕上通过用户的指向操作而指向的位置，从而将其位置坐标输出至显示图 像生成部分56。此时，操作接收部分54使用由面部检测部分52检测的基准 图像Ic1中的面部位置FP作为基准位置，从而设置基准图像Ic1上的位置作 为操作区域OA。根据面部位置FP确定此位置。然后，操作接收部分54检 测操作区域OA内检测目标的位置，从而获取屏幕上与对象位置对应的位置 作为用户指向的位置。在以下给出的描述中，在操作区域OA内检测到检测 目标的位置将称为检测位置DP，并且屏幕上与检测位置DP对应的位置将称 为指向位置PP。指向位置PP是用户通过指向操作指向的位置。操作区域OA 是基准图像Ic1内设置的区域。然而，指向位置PP是屏幕上的位置。因此， 操作接收部分54需要将操作区域OA内的检测位置DP转换为屏幕上的指向 位置PP。应注意，检测目标(要由操作接收部分54检测的对象)仅需要是 可以移动且用于指定位置的对象。检测目标可以是诸如用户自己的手的用户 的身体部位或用户在手中持握的控制器18。以下将给出对作为特定示例的用 户的一只手是检测目标的情况的描述。
以下将给出对用于操作接收部分54获取指向位置PP的方法的特定示例 的描述。首先，操作接收部分54使用面部位置FP设置基准图像Ic1内的操 作区域OA。更具体地，在指向位置PP下方设置操作区域OA。此原因是用 户很有可能通过仅从面部向下的范围内移动其自己的手来进行指向操作。可 以提前指定操作区域OA的尺寸。替代地，其尺寸可以根据所检测的面部尺 寸或从立体摄像机16到所检测的面部的距离而确定。例如，操作接收部分 54确定操作区域OA的尺寸，使得所检测的面部尺寸越大或者到面部的距离 越短，操作区域OA就越大。此原因是用户越接近立体摄像机16，用户手的 运动范围就越有可能散布在基准图像Ic1内的越宽的区域上。类似地，可以 提前确定从面部位置FP到操作区域OA的距离。替代地，此距离可以根据所 检测的面部尺寸或到所检测的面部的距离而确定。如上所述，以一种方式参 考由面部检测部分52检测的用户的面部而设置操作区域OA，以使得横跨用 户很有可能移动检测目标(在此情况下用户的手)的区域。确定操作区域OA 的形状匹配可指向区域PA(其中的位置可以通过在显示器14的屏幕上的指 向操作而被指向的区域)的形状。可指向区域PA可以散布在显示器14的整 个屏幕上或者屏幕的仅仅一部分(例如，屏幕上显示的窗口)上。此外，操 作区域OA可以具有与可指向区域PA相同的形状，或者可以具有通过改变可 指向区域PA的纵横比而获得的形状。如图4中所示，操作区域OA可以具有 矩形形状。应注意，在图4中将操作区域OA的上边缘布置为低于用户的面 部。然而，操作区域OA可以部分地或完全地重叠用户的面部。
此外，在图4的示例中，紧挨在面部位置FP下方设置操作区域OA，并 且操作区域OA的中心位置的X坐标与面部位置FP的X坐标一致。然而， 可以将操作区域OA相对于面部位置FP向左或右位移。具体地，操作接收部 分54可以根据用户使用左手和右手中的哪只用于指向操作而改变操作区域 OA的位置。更具体地，例如，如果用户使用其右手用于指向操作，则操作接 收部分54以一种方式设置操作区域OA以使得操作区域OA在基准图像Ic1 中以比面部位置FP更向左(如从用户所见的更向右)的位置为中心。另一方 面，如果用户使用其左手用于指向操作，则操作接收部分54以一种方式设置 操作区域OA以使得操作区域OA以比面部位置FP更向右的位置为中心。此 时，操作接收部分54可以将操作区域OA的中心位置从面部位置FP位移预 定距离或与所检测的面部尺寸成比例的距离。替代地，操作接收部分54可以 使用距离分布数据而分别当用户使用其右手和左手时识别用户的右肩和左肩 位置，因此以操作区域OA的中心的X坐标与所识别的肩膀位置的X坐标一 致的这样的方式确定操作区域OA的位置。例如可以以以下方式识别用户正 在使用其左手还是右手。也就是，当用户开始指向操作时，与稍后将描述的 检测位置DP的识别处理一样，操作接收部分54使用距离分布数据检测用户 手的位置。然后，当所检测的用户手的位置比面部位置FP更向着其右手时， 操作接收部分54确定用户正在使用其右手。另一方面，当所检测的用户手的 位置比面部位置FP更向着其左手时，操作接收部分54确定用户正在使用其 左手。这允许操作接收部分54将操作区域OA设置为匹配左手和右手中用户 正在使用的那只。替代地，当开始指向操作时，游戏机12可以通过例如显示 消息“请将你的左手向前伸出”，有意地使得用户使用用户的特定手。在此示 例中，操作接收部分54可以认为用户将很有可能使用其左手用于指向操作。 因此，仅需要将操作区域OA设置在更向着用户左手的位置。
接下来，操作接收部分54从操作区域OA内检测检测目标，从而识别其 位置(检测位置DP)。例如，操作接收部分54通过使用前述距离分布数据， 识别操作区域OA内最接近立体摄像机16的对象的位置，作为检测位置DP。 此原因是，因为用户通过将其手向前伸出而进行指向操作，所以用户的手很 有可能比操作区域OA内的其它对象更向前(更接近立体摄像机16)。在图4 中，将用户右手的位置识别为检测位置DP。
最后，操作接收部分54通过使用操作区域OA内检测位置DP的相对位 置坐标，计算可指向区域PA中的指向位置PP的位置坐标。这里，术语“检 测位置DP的相对位置坐标”是指当将操作区域OA的点设置为原点时检测 位置DP的位置坐标。例如，如图4中所示，检测位置DP由x坐标DPx和Y 坐标DPy表示，其中将原点设置在操作区域OA的左上角。这里，我们假设 操作区域OA的横向宽度和高度分别由OAw和OAh标注、以及屏幕上的可 指向区域PA的横向宽度和高度分别由PAw和PAh标注。在此情况下，可指 向区域PA内指向位置PP的X坐标PPx和Y坐标PPy可以通过以下公式计 算：
PPx＝(DPx/OAw)·PAw
PPy＝(DPy/OAh)·PAh
操作接收部分54向显示图像生成部分56输出X和Y坐标PPx和PPy 作为关于指向位置PP的信息。应注意，与在从立体摄像机16看用户的方向 上拍摄的基准图像Ic1形成对比，用户在其相反方向上观看显示图像。因此， 需要左右反转可指向区域PA内的位置坐标与操作区域OA内的位置坐标之间 的对应关系。更具体地，如果通过将原点设置在操作区域OA的左上角并且 当面向操作区域OA时将向右的方向设置为正向而表示操作区域OA的X坐 标DPx，则通过将原点设置在可指向区域PA的右上角并且当面向可指向区 域PA时将向左的方向设置为正向而表示指向位置PP的X坐标PPx。
显示图像生成部分56使用从操作接收部分54输出的表示操作的内容的 信息执行游戏处理，从而生成表示游戏处理的结果的显示图像。在游戏机12 的帧缓冲器中描绘所生成的显示图像，并将其显示在显示器14的屏幕上。具 体地，在本实施例中，显示图像生成部分56执行匹配当前在用户通过指向操 作而指向的指向位置PP显示的对象(显示要素)的处理。在图5中，例如， 在显示器14的屏幕上显示图像，从而示出在三维空间中如何布置多个对象 (显示要素)O1至O3。此屏幕作为整体是可指向区域PA。这里，如果如图 5中所示在给定时间段或更长时间段内将指向位置PP置于在对象O1上，则 显示图像生成部分56确定用户已经通过指向操作而选择了对象O1。然后， 显示图像生成部分56执行配置为响应于该选择而改变对象O1的状况的处 理，从而示出反映处理的结果的显示图像。例如，如果用户通过移动其手来 改变指向位置，则显示图像生成部分56执行配置为沿着手的路径移动对象 O1的处理。此外，如果用户在选择对象O1的情况下将指向位置移动至显示 图像中包括的目标区域，并在给定时间段或更长时间段内维持指向位置PP 包括在目标区域中，则显示图像生成部分56可以显示撞击目标区域中显示的 对象的所选择的对象O1。应理解，显示图像生成部分56可以在屏幕上显示 表示当前指向位置PP的标记图像。这允许用户在验证指向位置PP在哪里的 同时执行指向操作，因此使得更容易指向任意位置。
以下将参考图6的流程图给出对当用户执行指向操作时由游戏机12执行 的处理的流程示例的描述。
首先，拍摄图像获取部分50获取由立体摄像机16拍摄的两个图像，即， 基准图像Ic1和比较图像Ic2(S1)。然后，拍摄图像获取部分50使用在S1 中获取的两个拍摄图像生成被摄体的距离分布数据(S2)。
接下来，面部检测部分52从在S1中获取的基准图像Ic1内检测用户的 面部(S3)。操作接收部分54使用在S3中检测的用户的面部位置FP在基准 图像Ic1内设置操作区域OA(S4)。此外，操作接收部分54识别在S4中设 置的操作区域OA内的峰值(peak)位置作为检测位置DP(S5)。峰值位置 是在操作区域OA内被摄体最接近立体摄像机16的位置，并且假设用户的手 很有可能位于峰值位置。
接下来，操作接收部分54使用在S5中识别的操作区域OA内的检测位 置DP的相对位置坐标计算可指向区域PA中的指向位置PP的位置坐标，从 而将位置坐标输出至显示图像生成部分56(S6)。显示图像生成部分56使用 在S6中计算的指向位置PP的位置坐标作为来自用户的操作输入而执行游戏 处理，从而生成新显示图像(S7)。此游戏处理反映对当前显示在屏幕上的指 向位置PP处的对象执行的用户操作。在显示器14的屏幕上显示在S7中生成 的显示图像。
游戏机12例如每次显示器14的单帧速率经过(elapse)时执行如上所述 的从S1至S7的处理。
可以由多个用户同时执行上述指向操作。图7图示在此情况下的基准图 像Ic1的示例。在图7的示例中，由立体摄像机16对用户U1和U2成像。 面部检测部分52从基准图像Ic1内检测用户U1的面部位置FP1和用户U2 的面部位置FP2。然后，操作接收部分54基于面部位置FP1的位置设置基准 图像Ic1内的操作区域OA1，从而从操作区域OA1内检测用户U1的手位置 作为检测位置DP1。类似地，操作接收部分54基于面部位置FP2的位置设置 基准图像Ic1内的操作区域OA2，从而从操作区域OA2内检测用户U2的手 位置作为检测位置DP2。最后，操作接收部分54使用操作区域OA1内的检 测位置DP1的相对位置坐标计算可指向区域PA内的指向位置PP1的位置坐 标，并使用操作区域OA2内的检测位置DP2的相对位置坐标计算可指向区 域PA内的指向位置PP2的位置坐标。以此方式，游戏机12可以同时接收用 户U1对指向位置PP1的指向、以及用户U2对指向位置PP2的指向。这里， 将操作区域OA1和OA2设置在基准图像Ic1内的不同位置。然而，将指向位 置PP1和PP2计算为同一可指向区域PA内的位置。因此，两个用户可以在 彼此远离的位置通过在他们的身体前面独立地移动他们的手而执行指向同一 可指向区域PA内的位置的指向操作。
此外，在以上描述中，我们假设用户通过使用其手执行指向操作。然而， 本实施例不限于此，并且用户可以通过使用控制器18执行指向操作。在此情 况下，用户用其手握持控制器18，并且使得其发光部分24朝向立体摄像机 16，从而通过在其自己的身体前面移动控制器18执行指向操作。操作接收部 分54基于面部位置FP设置基准图像Ic1内的操作区域OA，然后从操作区域 OA内检测从发光部分24发出的光的位置。该光的此位置用作检测位置DP。 应注意，如果多个用户的每个通过持握控制器18而执行指向操作，则游戏机 12可以通过使得多个控制器18的发光部分24发出如前所述的不同颜色的光， 区分并检测控制器18的位置。此外，用户所持握的装置不限于控制器18。 而是，用户可以通过例如持握具有紧凑显示屏的便携式装置执行指向操作。 在此情况下，用户持握便携式装置，并且使得给定码图像显示在便携式装置 的屏幕上并使得屏幕朝向立体摄像机16，从而通过移动便携式装置的位置执 行指向操作。响应于此，操作接收部分54通过图案辨识检测操作区域OA内 的码图像，因此识别检测位置DP。
除了指向操作之外，根据本实施例的游戏机12还可以从用户接收各种操 作输入，并根据其在显示器14的屏幕上显示各种图像。以下将给出对由游戏 机12处理的图像显示处理的特定示例的描述。
例如，显示图像生成部分56可以不仅根据指向位置PP、还根据面部位 置FP更新显示图像。更具体地，显示图像生成部分56可以根据基准图像Ic1 内面部位置FP的移动而移动虚拟三维空间中设置的视点的位置，因此生成表 示如从视点见到的虚拟三维空间的显示图像。此外，面部检测部分52可以通 过使用由拍摄图像获取部分50生成的距离分布数据，不仅识别用户的面部的 上下和左右运动，还识别其前后运动(从立体摄像机16到用户的面部的距离 的改变)。显示图像生成部分56可以响应于如上所述识别的用户的面部的移 动，前后移动视点的位置。这使得无论用户在上下、前后、还是左右哪个方 向上在立体摄像机16前面移动其面部，显示图像生成部分56都可以与所述 移动一致地移动视点在虚拟三维空间中的位置。结果，用户可以体验仿佛其 实际上在虚拟三维空间中的感觉。应注意，如果游戏机12执行多人游戏并且 多个用户的面部出现在基准图像Ic1中，则显示图像生成部分56可以相对于 从多个面部之中选择的一个面部(例如，在基准图像Ic1内的最高的(elevated) 位置的面部)而移动视点。此外，显示图像生成部分56可以不仅基于用户的 面部位置FP、指向位置PP以及由用户对控制器18进行的操作输入的性质、 而且还基于用户产生的声音，更新显示图像。在此情况下，例如，在立体摄 像机16中安装声音收集装置(例如，麦克风阵列)。声音收集装置可以识别 产生声音的方向。如果用户拍其手或提高其嗓音，则显示图像生成部分56使 用由声音收集装置收集的音频识别产生声音的方向，从而执行匹配该方向的 游戏处理(例如，将对象朝向产生声音的方向移动)。然后，显示图像生成部 分56生成反映游戏处理的内容的显示图像，从而在显示器14上显示图像。
此外，显示图像生成部分56可以通过在由拍摄图像获取部分50获取的 基准图像Ic1自己中布置各种对象(显示要素)而生成显示图像。此外，在 此示例中，操作接收部分54不仅接收对控制器18执行的操作，而且还通过 检测从发光部分24发出的光来识别基准图像Ic1内控制器18的位置。然后， 显示图像生成部分56基于基准图像Ic1内控制器18的位置，根据用户对控 制器18执行的操作的内容，确定要在屏幕上显示的对象的位置。结果，当用 户在观看呈现在显示器14的屏幕上的其自己的同时操作其手中的控制器18 时，相对于由用户操作的控制器18在屏幕上的位置而更新显示图像。因此， 用户可以体验更直接操作屏幕上的对象的感觉。
作为这种处理的特定示例，当用户对控制器18执行配置为调用菜单的操 作时，显示图像生成部分56可以在与控制器18的位置对应的位置显示菜单。 图8图示在此情况下的显示示例。在图8中所示的示例中，如果用户按压在 控制器18上提供的按钮以显示菜单，则操作接收部分54响应于操作，从基 准图像Ic1内检测控制器18的位置。然后，显示图像生成部分56以重叠在 基准图像Ic1上的方式生成菜单图像M呈现在控制器18的检测位置上方的显 示图像。菜单图像M包括多个菜单选项。
此外，如果用户对控制器18执行操作，则显示图像生成部分56可以在 屏幕上显示对象跳出控制器18的显示位置。图9图示在此情况下的显示示例。 在此示例中，如果用户操作控制器18的板状操作构件22，则显示图像生成 部分56生成示出对象O4跳出基准图像Ic1中的控制器18的影像，从而在显 示器14的屏幕上显示该影像。应注意，图9中的虚线箭头表示对象O4在屏 幕上的路径，并且对象O4从如图9中所示的控制器18的位置出现在屏幕上。 此外，如果用户在那之后移动控制器18以向跳出控制器18的对象O4接近 给定距离、然后按压特定操作按钮，则显示图像生成部分56可以在屏幕上显 示将对象O4吸进控制器18中。此外，如果对象O4产生诸如哭泣或制造出 引擎声音的效果，则可以在对象O4在控制器18之外时从在显示器14上提 供的扬声器播放对象O4的声音，并且在对象O4已经被吸进控制器18中之 后从在控制器18上提供的扬声器播放对象O4的声音。这种效果向用户提供 接近于在真实世界中直接操作对象O4的感觉。如果用户左右摇摆控制器18 以使得相信控制器18是一瓶香槟、然后对板状操作构件22执行滑动操作， 则这种控制例如使得可以产生诸如在显示图像内显示香槟从控制器18的位 置吹出的效果。此时，通过从发光部分24发出的光的运动以及控制器18中 包含的传感器的输出识别用户的左右摇摆控制器18的运动。此外，在此情况 下，可以根据用户对控制器18的摇摆、或者用户对板状操作构件22执行的 操作，通过从控制器18中包含的扬声器产生声音、或者利用控制器18中包 含的电机生成振动而产生更逼真的效果。
此外，如果多个面部在基准图像Ic1中，则显示图像生成部分56可以使 用控制器18的位置从多个面部之中识别操作控制器18的用户的面部，并使 得所识别的用户的面部经受图像处理。基准图像Ic1不仅可以示出用其手握 持控制器18的用户的面部，而且还可以示出仅仅观看游戏的其他人的面部。 在此情况下，在不使用配置为从面部图像识别个人的面部辨识技术的情况下， 一般难以区分用户的面部。然而，在本实施例中，可以识别基准图像Ic1内 控制器18的位置。结果，可以确定位于与控制器18的位置对应的位置的面 部是用户的面部。更具体地，如果面部检测部分52检测到多个面部，则操作 接收部分54通过检测从基准图像Ic1中包括的发光部分24发出的光，识别 当前使用的控制器18的位置。然后，操作接收部分54在面部检测部分52检 测的多个面部之中确定位于控制器18的位置上方的面部是正在使用控制器 18的用户的面部。此原因是：除非用户的上身明显倾斜，否则控制器18很 有可能位于正持握控制器18的用户的面部下方。一旦如上所述识别了用户的 面部，就可以在使用户的面部经受某种图像处理之后在屏幕上显示用户的面 部。
应注意，在以上描述中，我们假设单个用户操作其正持握的控制器18。 然而，即使当多个用户的每个都具有并操作该控制器18时，也可以执行上述 显示处理。在此情况下，游戏机12将不同的标识号分配给每个控制器18， 并指示每个控制器18的发光部分24发出与其它控制器18不同的颜色的光。 然后，游戏机12存储示出在分配给控制器18的标识号与指示控制器18发出 的光的颜色之间的对应关系的表。然后，如果从控制器18之一接收操作输入， 则使用该表识别与进行操作输入的控制器18的标识号对应的颜色，因此识别 正发出所讨论的颜色的光的发光部分24的位置作为控制器18的位置。这使 得即使当多个用户正通过同时握持控制器18而玩游戏时并且当从每个用户 接收操作时，也可以识别由执行操作的用户持握的控制器18的位置、以及其 面部的位置。
图10图示当两个用户U1和U2以及其它观看者在基准图像Ic1中时识 别用户U1和U2的每个的面部并且使得所识别的面部经受图像处理的示例。 在图10的示例中，用户U1具有被分配标识号1的控制器18-1，并且用户 U2具有被分配标识号2的控制器18-2。然后，操作接收部分54利用所发出 的光的颜色识别控制器18-1和18-2的位置，从而将控制器18-1上方的面部 F1识别为用户U1的面部，并且将控制器18-2上方的面部F2识别为用户U2 的面部。然后，在当前玩的游戏中，对于用户U1和U2中具有较好得分的用 户(在图10的示例中为用户U2)的面部生成显示图像。显示图像示出具有 较好得分的用户在其头上具有皇冠C。然后，在屏幕上显示该显示图像。应 注意，多个用户中具有较差得分、而非具有较好得分的用户的面部可以经受 某种图像处理。
此外，当通过将对象重叠在基准图像Ic1上而生成显示图像时，显示图 像生成部分56可以根据显示图像中屏幕上对象与控制器18的位置之间的位 置关系执行各种处理。例如，在两个情况(待操作的对象位于距控制器18的 位置的给定距离范围内的一个情况、以及对象不位于那里的另一个情况)之 间，显示图像生成部分56可以响应于用户对控制器18执行的操作而改变对 象的行为。
此外，显示图像生成部分56可以根据在显示图像中显示的用户的手与布 置在显示图像中的对象之间的距离，控制对象的行为。在此情况下，可以使 用如前所述的基准图像Ic1的距离分布数据，识别用户手的位置作为指向位 置PP。例如，显示图像生成部分56可以设置显示图像内用户的手周围的给 定区域。如果在给定区域外显示对象，则显示图像生成部分56可以将对象朝 向用户的手移动，并且当对象进入给定区域时停止对象的移动。此外，如果 用户以将其手重叠在对象上的这样的方式移动其手，则显示图像生成部分56 可以行使控制以使得对象从指向位置PP移开。此外，显示图像生成部分56 可以监视手的运动(随时间的改变)，并且根据该运动改变对象的取向或形状。 这使得可以产生仿佛屏幕上对象响应于用户手的运动的效果。
此外，操作接收部分54可以获取表示由控制器18上提供的传感器检测 的控制器18的姿势的信息，并且显示图像生成部分56可以根据控制器18的 姿势改变屏幕上显示的图像的内容。图11图示作为这种处理的结果而显示的 显示图像的示例。在图11的示例中，操作接收部分54使用控制器18中包含 的姿势检测传感器(诸如加速度传感器或陀螺传感器)的检测结果检测控制 器18的取向。显示图像生成部分56响应于控制器18的取向的改变，改变屏 幕上显示的弹弓S的取向，如图11中的虚线箭头所示。然后，当用户例如在 板状操作构件22上在任一方向上滑动其手指时，响应于滑动操作而发射子 弹。此时，根据控制器18的取向确定子弹行进的方向。因此，用户可以利用 更真实的运动玩移动弹弓、瞄准目标、发射子弹和击中目标的游戏。应注意， 可以不仅基于控制器18的取向、而且还基于对板状操作构件22执行的滑动 操作的取向，确定在此情况下发射子弹的方向。更具体地，我们例如假设控 制器18相对于基准姿势(在游戏开始时的姿势)旋转θx度，以及由用户执 行的滑动操作的取向相对于控制器18的前方倾斜θy度。在此情况下，将发 射子弹的取向设置为相对于在游戏开始时的基准方向倾斜(θx+θy)度的方向。
此外，在以上描述中，基于面部位置FP在基准图像Ic1内确定操作区域 OA。然而，也可以根据从基准图像Ic1检测的人面部的位置确定屏幕上设置 的可指向区域PA。以下将参考图12A和图12B给出对在此情况下的处理的 特定示例的描述。
图12A是由拍摄图像获取部分50获取的基准图像Ic1的示例。另一方面， 图12B是由显示图像生成部分56生成的显示图像的示例。用户U1和U2在 图12A的基准图像Ic1中。用户U1使用控制器18执行游戏操作。用户U2 是用户U1的游戏操作的目标。面部检测部分52检测用户U1的面部F1和用 户U2的面部F2。这里，识别在控制器18的位置上方的面部作为执行游戏操 作的用户U1的面部F1。此外，如果多个人在基准图像Ic1中，则识别最接 近用户U1的面部作为经受操作的用户U2的面部F2。如前所述，根据用户 U1的面部F1的位置确定操作区域OA。此外，在此示例中，根据用户U2的 面部F2的位置确定可指向区域PA。更具体地，在图12B的示例中，将可指 向区域PA设置为包括用户U2的上身的以面部F2下方的位置为中心的矩形 区域。可以根据所检测的面部F2的尺寸确定可指向区域PA的位置和尺寸。 此外，在图12B的示例中，通过在可指向区域PA内将不同图像重叠在基准 图像Ic1上而生成显示图像。这里，如果用户U1在操作区域OA内移动控制 器18，则指向位置PP在重叠在用户U2的身体上的可指向区域PA内响应于 的控制器18的运动而移动。这使得用户U1可以在用户U2的身体上布置的 图像内执行游戏操作。
图13A图示根据本实施例的当由游戏机12执行另一游戏处理时的基准 图像的示例。图13B图示在此情况下的显示图像的示例。在此示例中，用户 U1通过使用控制器18操纵方向盘而玩操纵显示在屏幕上的汽车的游戏。更 具体地，操作接收部分54首先识别基准图像Ic1中包括的控制器18的位置， 因此识别位于控制器18上方的面部作为正在玩游戏的用户U1的面部F1。当 生成显示图像时，显示图像生成部分56从基准图像Ic1内提取在所识别的面 部F1附近的提取区域EA，从而在显示图像的显示汽车对象的位置重叠提取 区域EA。这使得用户可以享受游戏，其中在显示图像内的汽车内部示出其面 部。
此外，在此示例中，根据用户的面部的位置在基准图像Ic1内设置检测 目标区域DA。更具体地，以围绕图13A的示例中的提取区域EA这样的方 式设置检测目标区域DA。操作接收部分54可以通过检测检测目标区域DA 内图像随时间的改变而感测检测目标区域DA内用户手的运动。响应于这样 的对用户手的运动的感测，显示图像生成部分56执行改变在显示图像上与所 感测的用户的手的位置对应的位置布置的对象的处理。更具体地，图13A和 图13B示出响应于用户的左手的运动而敲掉布置在屏幕上与用户的左手的位 置对应的位置的对象O5。
此外，在此示例中，可以行使控制以使得根据所检测的面部F1的位置将 玩游戏的用户切换至其他用户。作为具体示例，如果游戏机12从由另一用户 U2拥有的控制器18-2接收给定操作输入并且用户U2接近于正在玩游戏的用 户U1的面部F1的位置，则游戏机12将玩游戏的用户从用户U1切换至用户 U2，并从那刻起响应于来自控制器18-2的输入而移动汽车。另一方面，即使 用户U2进行用于改变在远离用户U1的位置的用户的操作输入，游戏机12 也忽略该操作输入。具体地，在图13A和图13B的示例中，当用户U2的面 部在提取区域EA中时，游戏机12可以接收改变用户的指令。这使得可以在 用户U2进入汽车之后产生诸如改变驾驶员的效果。
应注意，本发明的实施例不限于上述实施例。例如，游戏机12的拍摄图 像获取部分50可以从不是立体摄像机16的相机获取拍摄图像。
此外，例如，游戏机12可以从距离分布测量部分接收距离分布测量结果。 距离分布测量部分发出红外辐射，并且测量红外辐射被待成像对象反射并返 回至距离分布测量部分所占用的时间，因此基于所测量的时间测量被摄体与 游戏机12之间的距离分布。
此外，例如，游戏机12可以从距离分布测量部分接收距离分布测量结果。 距离分布测量部分包括具有不同焦距的多个透镜，并基于使得被摄体与所有 透镜合焦的透镜，测量被摄体与游戏机12之间的距离分布。