信息处理设备以及信息处理方法.pdf

一种信息处理设备包括图像获取器，用于获取用户的所拍图像；登记用户信息保存器，用于保存登记用户的脸部识别数据；脸部识别部分，用于使用保存在登记用户信息保存器中的脸部识别数据检测存在于所拍图像中的登记用户的脸部图像；以及信息处理部分，用于根据该脸部识别部分的检测结果进行信息处理。该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像进行预定处理获得的处理后图像的信息。

权利要求书
1.  一种信息处理设备，包含：
图像获取器，配置成获取用户的所拍图像；
登记用户信息保存器，配置成保存登记用户的脸部识别数据；
脸部识别部分，配置成使用保存在该登记用户信息保存器中的脸部识别 数据检测存在于所拍图像中的登记用户的脸部图像；以及
信息处理部分，配置成根据该脸部识别部分的检测结果进行信息处理，
其中该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像 进行预定处理获得的处理后图像的信息。

2.  按照权利要求1所述的信息处理设备，其中该处理后图像包括改变脸 部图像中的预定区域的亮度获得的图像。

3.  按照权利要求2所述的信息处理设备，其中该处理后图像包括根据当 假定光的预定入射角时加上阴影的范围来改变亮度而获得的图像。

4.  按照权利要求1到3的任何一项所述的信息处理设备，其中该处理后 图像包括使脸部的取向与脸部图像中的脸部的取向不同获得的图像。

5.  按照权利要求1所述的信息处理设备，
其中该图像获取器获取从多个方向拍摄用户获得的多个所拍图像，以及
该脸部识别数据包括有关沿着多个取向的用户的所拍脸部图像的信息。

6.  按照权利要求5所述的信息处理设备，其中该处理后图像包括通过内 插从沿着多个取向的用户的脸部图像中生成的图像，以及包括沿着与脸部图 像中的脸部的取向不同的取向的脸部。

7.  按照权利要求1到6的任何一项所述的信息处理设备，其中该处理后 图像包括改变脸部图像中的脸部的表情获得的图像。

8.  按照权利要求1到7的任何一项所述的信息处理设备，其中该处理后 图像包括将脸部图像与代表可穿戴物或头发的另一个图像组合获得的图像。

9.  按照权利要求1到8的任何一项所述的信息处理设备，其中该处理后 图像包括改变脸部图像中的皮肤的颜色获得的图像。

10.  一种信息处理方法，包含：
从相连成像设备获取用户的所拍图像；
读出存储在存储设备中的登记用户的脸部识别数据并使用脸部识别数据 检测存在于所拍图像中的登记用户的脸部图像；以及
根据检测的结果进行信息处理，
其中该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像 进行预定处理获得的处理后图像的信息。

11.  一种用于计算机的计算机程序，包含：
从相连成像设备获取用户的所拍图像；
读出存储在存储设备中的登记用户的脸部识别数据并使用脸部识别数据 检测存在于所拍图像中的登记用户的脸部图像；以及
根据检测的结果进行信息处理，
其中该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像 进行预定处理获得的处理后图像的信息。

12.  一种记录计算机程序的计算机可读记录介质，该用于计算机的计算 机程序包括：
从相连成像设备获取用户的所拍图像；
读出存储在存储设备中的登记用户的脸部识别数据并使用脸部识别数据 检测存在于所拍图像中的登记用户的脸部图像；以及
根据检测的结果进行信息处理，
其中该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像 进行预定处理获得的处理后图像的信息。

说明书信息处理设备以及信息处理方法
技术领域
本公开涉及使用所拍图像进行信息处理的信息处理设备及其信息处理方 法。
背景技术
近年来，把照相机装在个人计算机、游戏机等上，将用户的形态成像以 便以各种形式使用所摄图像正变得习以为常。例如，经由像电视电话和视频 聊天那样的网络将用户的图像按原样发送给对方的系统、以及通过图像分析 识别用户的运动并将所识别运动用作游戏或信息处理的输入信息的系统都已 投入实际使用中(例如，参考WO 2007/050885 A2)。此外，近年来，通过高 精度地检测物体在包括深度方向的三维空间中的运动来实现使用户更加感觉 到身临其境的游戏和图像表达正成为可能。
发明内容
在拍摄存在多种多样物体的空间以及将所拍图像用作输入数据地进行信 息处理的情况下，与通过输入设备的按钮或图形用户界面(GUI)进行操作 的情况相比，信息处理的精度对拍摄环境等更敏感。因此，最好是实现即使 环境发生变化，也可以进行稳定信息处理的设备。更进一步，优选的是，在 登录等的时候，当将单个用户与该用户在所拍图像中的形态相联系时，使用 户负担小地作出精确联系。
因此，需要的是，使本公开可以提供在利用所拍图像的信息处理中使用 户负担小地保持稳定精度的技术。
按照本公开的一个实施例，提供了一种信息处理设备。这种信息处理设 备包括图像获取器，配置成获取用户的所拍图像；登记用户信息保存器，配 置成保存登记用户的脸部识别数据；脸部识别部分，配置成使用保存在登记 用户信息保存器中的脸部识别数据检测存在于所拍图像中的登记用户的脸部 图像；以及信息处理部分，配置成根据该脸部识别部分的检测结果进行信息 处理。该脸部识别数据包括有关事先拍摄的用户的脸部图像和对脸部图像进 行预定处理获得的处理后图像的信息。
按照本公开的另一个实施例，提供了一种信息处理方法。这种信息处理 方法包括从相连成像设备获取用户的所拍图像；读出存储在存储设备中的登 记用户的脸部识别数据并使用脸部识别数据检测存在于所拍图像中的登记用 户的脸部图像；以及根据检测的结果进行信息处理。该脸部识别数据包括有 关事先拍摄的用户的脸部图像和对脸部图像进行预定处理获得的处理后图像 的信息。
在方法、设备、系统、记录介质、计算机程序等之间转换本公开的上述 组成元素和表达的任何组合所得的东西也可有效地作为本公开的实施例。
按照本公开的实施例，可以容易地高精度实现使用所拍图像的信息处理。
附图说明
图1是示出本公开的一个实施例中的信息处理系统的图形；
图2是示出该实施例中的信息处理设备的内部配置的图形；
图3是示出该实施例中的信息处理设备的功能块配置的图形；
图4是示出该实施例中照相机拍摄的空间的一个例子的图形；
图5是示出该实施例中脸部验证部分进行脸部识别的结果的图形；
图6是示出该实施例中包括显示在输出设备上的脸部框架的登录屏幕的 图形；
图7是示出该实施例中用户将脸放在脸部框架中的登录屏幕的图形；
图8是示出该实施例中的信息处理设备的登录控制器通过第一阶段和第 二阶段脸部验证确定是否允许登录的处理的过程的流程图；
图9是示意性地示出该实施例中数据生成器从所拍图像中生成脸部识别 数据的过程的图形；
图10是示出该实施例中的脸部识别数据登记部分通过应该登记的定时 的确定登记脸部识别数据的处理的过程的流程图；
图11是示出该实施例中的脸部识别数据登记部分通过应该登记的定时 的确定登记脸部识别数据的处理的过程的流程图；
图12是示出该实施例中将脸部验证和标记检测组合进行登录处理时照 相机拍摄的图像的一个例子的图形；
图13是示出该实施例中通过脸部验证和标记检测进行登录处理时信息 处理设备的功能块配置的图形；
图14是示出该实施例中将立体照相机用作照相机时拍摄的立体图像的 例子的图形；
图15是用于说明立体图像中的视差与被摄物沿着深度方向的位置之间 的关系的图形；
图16是示出该实施例中的信息处理设备通过利用立体图像进行脸部验 证和标记检测来进行登录处理的过程的流程图；
图17是示出该实施例中捕获标记的所拍图像的例子的图形；以及
图18是示出该实施例中识别在标志检测处理中可以被视作标记的颜色 的处理的过程的流程图。
具体实施方式
图1示出了按照本公开的一个实施例的信息处理系统1。信息处理系统1 包括作为用户终端的信息处理设备10和服务器5。接入点(在下文中，称为 “AP”)8具有无线接入点和路由器的功能。信息处理设备10以无线或有线 方式与AP 8连接，并在网络3上可通信地与服务器5连接。
辅助存储设备2是像硬盘驱动器(HDD)或闪速存储器那样的大容量存 储设备。它可以是通过通用串行总线(USB)等与信息处理设备10连接的外 部存储设备或可以是内置存储设备。输出设备4可以是含有输出图像的显示 器和输出声音的扬声器的电视机，或可以是计算机显示器。输出设备4可以 通过布线电缆与信息处理设备10连接或可以与之无线连接。
信息处理设备10以无线或有线方式与用户操作的输入设备6连接，输入 设备6向信息处理设备10输出指示用户的操作结果的操作信号。当接受来自 输入设备6的操作信号时，信息处理设备10将它反映在操作系统(OS，即， 系统软件)或应用程序的处理中，并使处理结果从输出设备4输出。输入设 备6含有像多个按压操作按钮、可以输入模拟量的模拟棒、和旋钮那样的多 个输入部分。
当接受来自输入设备6的操作信号时，信息处理设备10将它反映在应用 程序的处理中，并使处理结果从输出设备4输出。在信息处理系统1中，信 息处理设备10是进行游戏的游戏设备，输入设备6a和6b(在下文中，往往 统称为输入设备6)的每一个是像游戏控制器那样，将用户的操作信号提供 给信息处理设备10的装置。输入设备6可以是像键盘和鼠标那样的输入接口。 作为成像设备的照相机7配备在输出设备4的附近，将输出设备4周围的空 间成像。尽管在图1中示出了将照相机7附在输出设备4的上部的例子，但 也可以将它布置在输出设备4的侧部。在任何情况下，照相机7都被布置在 可以使处在输出设备4前面的用户成像的位置上。照相机7可以是立体照相 机。
服务器5向信息处理系统1的用户提供网络服务。服务器5管理网络帐 号以便识别各自用户，每个用户使用网络帐号登录到服务器5提供的网络服 务中。通过从信息处理设备10登录到网络服务中，用户可以将游戏的保存数 据和作为在玩游戏时赢得的虚拟奖品的奖杯登记在服务器5中。
在图1中，示出了两个用户A和B正在操作作为游戏控制器的输入设备 6a和6b的状况。用户A和B分别操作输入设备6a和6b以便为登录输入密 码。在得到信息处理设备10验证之后，他们登录到信息处理设备的OS中， 从而可以享受像游戏那样的应用程序。
近年来，还出现了使用户的运动反映在游戏角色的运动中的游戏。在利 用用户手势的游戏中，用户无需握着输入设备6，可以直观地移动角色。在 这样的游戏中，因为用户原本不使用输入设备6，所以优选的是，当用户登 录到图像处理设备10的OS中时，也不使用输入设备6地进行用户验证。在 信息处理系统1中，用户可以通过与登录之后用户所玩的游戏的类型无关的 简单用户验证来登录是有意义的。
因此，在本实施例的信息处理系统1中，提供了可以使用通过照相机7 摄取的图像容易地进行用户验证的技术。
图2示出了信息处理设备10的内部配置。信息处理设备10含有主电源 按钮20、通电发光二极管(LED)21、待机LED 22、系统控制器24、时钟 26、设备控制器30、媒体驱动器32、USB模块34、闪速存储器36、无线通 信模块38、有线通信模块40、子系统50、和主系统60。
主系统60包括主中央处理单元(CPU)、作为主存储设备的存储器、存 储器控制器、图形处理单元(GPU)等。GPU主要用于游戏程序的算术处理。 这些功能可以构成芯片上的系统和在一个芯片上形成。主CPU具有激活OS 以及在OS提供的环境下执行安装在辅助存储设备2中的应用程序的功能。
子系统50包括子CPU、作为主存储设备的存储器、存储器控制器等，但 不包括GPU。子CPU的电路门的数量小于主CPU的电路门的数量，子CPU 的工作功耗低于主CPU的工作功耗。子CPU工作在主CPU处在待机状态下 的时段中，它的处理功能受到限制，以便抑制功耗。子CPU和存储器可以在 不同芯片上形成。
主电源按钮20是用户作出操作输入的输入部分。它配备在信息处理设备 10的外壳的前表面上，起接通或断开对信息处理设备10的主系统60的供电 的作用。在下文中，主电源处在接通状态下意味着主系统60处在活动状态下， 主电源处在断开状态下意味着主系统60处在待机状态下。当主电源按钮20 被接通时，通电LED 21亮起来，当主电源按钮20被断开时，待机LED 22 亮起来。
系统控制器24检测用户按下主电源按钮20。如果在主电源处在断开状 态下时按下主电源按钮20，则系统控制器24获得作为“接通指令”的按下 操作。另一方面，如果在主电源处在接通状态下时按下主电源按钮20，则系 统控制器24获得作为“断开指令”的按下操作。
主CPU具有执行安装在辅助存储设备2和只读存储器(ROM)媒体44 中的游戏程序的功能，而子CPU没有这样的功能。但是，子CPU具有访问 辅助存储设备2的功能以及向和从服务器5发送和接收数据的功能。子CPU 只有这样的有限处理功能，因此与主CPU相比，可以以相对较低的功耗工作。 子CPU的这些功能在主CPU处在待机状态下的时候执行。因为子系统50工 作在主系统60处在待机状态下的时候，所以在服务器5提供的网络服务中本 实施例的信息处理设备10一直处在登录状态下。
时钟26是实时时钟。它生成当前日期和时间信息，并将其供应给系统控 制器24、子系统50、和主系统60。
设备控制器30是在像南桥那样的设备之间进行信息交换的大规模集成 电路(LSI)。如图所示，像系统控制器24、媒体驱动器32、USB模块34、 闪速存储器36、无线通信模块38、有线通信模块40、子系统50、和主系统 60那样的设备与设备控制器30连接。设备控制器30吸收各自设备之间电特 性和数据传送速率的差异，并控制数据传送的定时。
媒体驱动器32是驱动装载在其中和记录像游戏那样的应用软件和许可 信息的ROM媒体44和从ROM媒体44中读出程序、数据等的驱动设备。 ROM媒体44是像光盘、磁光盘、或蓝光盘那样的只读记录媒体。
USB模块34是通过USB电缆与外部装置连接的模块。USB模块34可 以通过USB电缆与辅助存储设备2和照相机7连接。闪速存储器36是形成 内部存储体的辅助存储设备。无线通信模块38根据像蓝牙(注册商标)协议 或IEEE 802.11协议那样的通信协议与，例如，输入设备6无线通信。
无线通信模块38可以与遵从国际电信联盟(ITU)定义的国际移动电信 (IMT-2000)标准的第三代数字移动电话系统兼容，并且更进一步地可以与 另一代的数字移动电话系统兼容。有线通信模块40以有线方式与外部装置通 信，并经由例如AP 8与网络3连接。
在本实施例的信息处理系统1中，如果用户在信息处理设备10处在断电 状态下时按下主电源按钮20，则信息处理设备10接通主电源以激活OS(系 统软件)，并为用户进行登录处理。在这种登录处理中，信息处理设备10起 使用照相机7摄取的图像的脸部验证系统的作用。下面将描述信息处理设备 10的操作。
图3示出了信息处理设备10的功能块配置。信息处理设备10含有输入 接受器102、图像获取器104、登录控制器110、登记用户信息保存器130、 和脸部识别数据登记部分150。登录控制器110含有所摄图像显示部分112、 脸部验证部分114、脸部框架处理部分116、和登录处理部分120。脸部识别 数据登记部分150具有数据生成器152和登记确定器154。
输入接受器102接受来自用户的操作信息，图像获取器104获取通过照 相机7成像获得的所摄图像，并将其存储在存储器中。照相机7以预定周期 拍摄空间图像。具体地说，它每，例如，1/30秒拍摄一幅空间图像，并将所 摄图像提供给图像获取器104。照相机7是这样布置的，它的光轴沿着输出 设备4的前方取向，因此照相机7拍摄存在于输出设备4前面的用户。
描述成图3和后面要描述的图13中进行各种类型的处理的功能块的各自 元件从硬件方面来说，可以由电路块、存储器、和其它LSI形成，从软件方 面来说，可以通过装载到存储器等中的程序来实现。因此，本领域的普通技 术人员应当明白，这些功能块可以只通过硬件、或只通过软件、或通过它们 的组合体，以各种形式实现，它们不局限于任何一种。
在本实施例中，所摄图像显示部分112、脸部框架处理部分116、和脸部 识别数据登记部分150的功能通过脸部验证应用程序来实现。脸部验证部分 114的功能通过脸部识别引擎来实现，并当按下主电源按钮20时，由OS自 动激活。脸部验证应用程序和脸部识别引擎可以构成一个应用程序。
本实施例的信息处理设备10的特性之一是协助用户进行简单登录操作。 为了登录到信息处理设备10的OS中，用户应该事先获取用户帐号，并将它 登记在信息处理设备10中。在下文中，将已经把用户帐号登记在信息处理设 备10中的用户称为“登记用户”。
登记用户信息保存器130保存与登记用户有关的各个信息。具体地说， 它与用户帐号相联系地将脸部识别数据、用户的在线识别数据(ID)(网络上 的昵称)、登录密码等保存成登记用户信息。脸部识别数据是登记用户的脸部 图像的特征数据，但也可以是脸部图像数据本身。
脸部识别数据是脸部验证部分114在脸部识别处理中用作比较目标的数 据。它由脸部识别数据登记部分150依照脸部验证部分114采用的脸部识别 算法生成，以便存储在登记用户信息保存器130中。例如，脸部识别数据可 以是通过提取脸部的一些部分的相对位置和尺寸以及眼睛、鼻子、颧骨、和 下颌的形状作为特点获得的数据。更进一步，脸部识别数据可以是作为与脸 部图像的标准数据的差异数据提取的数据。另外，它可以是代表亮度矢量等 的分布的统计量。要提取什么类型的脸部识别数据取决于采用的脸部识别算 法来确定。在本实施例中，脸部验证部分114采用已知的脸部识别算法。
首先，将对登记用户在登记用户信息已经存储在登记用户信息保存器130 中的状态下登录到信息处理设备10的OS中时的处理加以描述。在这个例子 中，至少存在用户A和B。用户A的在线ID是“HANAKO”，用户B的在 线ID是“SACHIKO”。
当用户按下信息处理设备10的主电源按钮20时，信息处理设备10的主 电源被接通，输入接受器102接受有关主电源按钮20被按下的信息作为来自 用户的登录请求。当输入接受器102接受登录请求时，实现登录控制器110 中的各自功能。登录控制器110具有根据用户的脸部识别的结果确定是否允 许用户登录的功能。
当输入接受器102根据主电源按钮20的按下接受登录请求时，所摄图像 显示部分112从存储器中读出图像获取器104获取的所摄图像，并将其显示 作为显示器的输出设备4上。从而将照相机7拍摄的实况图像显示在输出设 备4上，以便将出现在输出设备4前面的用户显示在输出设备4上。
图4示出了照相机7拍摄的空间的一个例子。在这个所拍空间中，存在 三个用户。图4中围绕用户的长方形框架表达照相机7的成像范围。照相机 7的成像范围定义作为实况图像显示在输出设备4的范围，但实况图像也可 以是所摄图像的一部分。脸部验证部分114提取所摄图像中估计是人脸的部 分，并导出这个部分的特征数据。脸部验证部分114然后将所导出特征数据 与保存在登记用户信息保存器130中的脸部识别数据相比较，并确定所提取 脸部是否是登记用户的脸部。
具体地说，脸部验证部分114导出用户的所提取脸部图像的特征数据与 保存在登记用户信息保存器130中的所有登记用户的脸部识别数据之间的匹 配度。这个匹配度是用数值表达的。例如，以100分当中的多少分的形式导 出匹配度。如果登记脸部图像与特征数据的匹配度超过90，则脸部验证部分 114确定成像用户是登记用户，并识别成像用户是哪个登记用户。
如果存在多个匹配度超过90的脸部识别数据，则脸部验证部分114可以 确定成像用户是导出最佳分数的脸部识别数据的登记用户。如果作为导出从 所摄图像中提取的用户的脸部图像的特征数据与所有登记用户的脸部识别数 据之间的匹配度的结果，不存在匹配度超过90的脸部识别数据，则脸部验证 部分114确定包括在所摄图像中的用户不是登记用户。这样，脸部验证部分 114使用保存在登记用户信息保存器130中的脸部识别数据检测存在于所摄 图像中的登记用户的脸部图像。作为这种脸部识别技术，可以使用已知技术。 在本实施例中，将这种处理定位成第一阶段脸部验证。
图5示出了脸部验证部分114进行脸部识别的结果。这里，确定左边用 户是用户A，右边用户是用户B，而中间用户不是登记用户。脸部验证部分 114设置所摄图像中指示用户A(在线ID：HANAKO)的脸部的位置的脸部 区域200a、和所摄图像中指示用户B(在线ID：SACHIKO)的脸部的位置 的脸部区域200b，并向脸部框架处理部分116提供识别脸部区域200a和200b 的位置坐标和成像登记用户的信息。在下文中，将示出当在显示器上显示所 摄图像时用二维坐标表达位置坐标的例子。但是，位置坐标可以是定义在视 频随机访问存储器(VRAM)上的坐标。在任何情况下，在普通坐标系上表 达脸部区域200a和200b(在下文中，往往统称为脸部区域200)的坐标和后 面要描述的脸部框架的坐标就足够了。
可以将每个脸部区域200设置成与所摄图像中脸部的轮廓接触的长方形 区域。可替代地，可以将其设置成稍宽于脸部轮廓的长方形区域。这里，脸 部的轮廓指的是包括头发的轮廓。但是，如果在，例如，脸部验证部分114 的脸部识别处理中不考虑头发，则可以将脸部的轮廓设置成不包括头发。脸 部区域200的尺寸和形状由所摄图像中用户的脸部的尺寸和形状决定。因此， 脸部区域200的尺寸和形状对于每个用户都是不同的。更进一步，即使对于 相同用户，脸部区域200的尺寸和形状也随相对于照相机7的距离而变。
脸部验证部分114提供给脸部框架处理部分116和要用于识别登记用户 的信息可以是登记用户的用户帐号或可以是在线ID。脸部验证部分114与登 记用户识别信息相联系地将脸部区域200的位置坐标提供给脸部框架处理部 分116。具体地说，在显示在图5中的例子中，脸部验证部分114将脸部区域 200a和用户A的识别信息的组合物以及脸部区域200b和用户B的识别信息 的组合物提供给脸部框架处理部分116。
脸部框架处理部分116为脸部验证部分114检测的登记用户将脸部框架 显示在输出设备4上。显示这个脸部框架是为了使登记用户在登录时移动脸 部，将它放置在脸部框架中。因此，使登记用户可以通过将用户自己的脸部 放在显示在输出设备4上的脸部框架中登录到信息处理设备10中。
图6示出了包括显示在输出设备4上的脸部框架的登录屏幕。脸部框架 处理部分116根据从脸部验证部分114提供的和用于识别脸部区域200a和 200b的位置坐标和成像登记用户的信息，为登记用户显示脸部框架210a和 210b(在下文中，往往统称为脸部框架210)。在这个例子中，脸部框架处理 部分116为用户A显示脸部框架210a，为用户B显示脸部框架210b。此时， 脸部框架处理部分116将用户A的在线ID显示在脸部框架210a附近，将用 户B的在线ID显示在脸部框架210b附近。这使用户A和B可以知道自己的 脸部已得到适当识别，以及提示他们将脸部移动到脸部框架210a和210b中。
如果在显示在自己的脸部附近的脸部框架210附近显示出与自己的在线 ID不同的在线ID，则用户可以知道未适当进行脸部识别，因此不用将脸部放 在脸部框架210中。可以在脸部框架210附近进一步显示在第一阶段脸部验 证中识别这个登记用户时导出的、像登记用户的登记数据与所拍脸部图像之 间的匹配度那样的附加信息。这使用户更易于识别是否适当进行了脸部识别。
因为中间用户不是登记用户，所以不显示脸部框架210。但是，对于不 是登记用户的用户，可以在估计是人脸的区域附近显示未将用户确定为登记 用户的指示。例如，显示像“未知”或“未登记”那样的人物信息使用户可 以发现用户是未登记的或已登记脸部图像的特征数据不适用。但是，也可能 由于用户脸部的取向或某种阻挡物，使验证暂时未成功。因此，可以设置像 如果未成功状态持续预定时间或更长，则显示这样的信息的规则那样的预定 规则。
脸部框架处理部分116将ID赋予每个脸部框架210，并将脸部框架ID、 脸部框架210的位置坐标、和为其显示脸部框架210的用户的识别信息提供 给脸部验证部分114。脸部框架处理部分116提供给脸部验证部分114的脸部 框架210的位置坐标可以是脸部框架210本身的位置坐标，或可以是围绕脸 部框架210的长方形的坐标。在下文中，将脸部框架210本身的位置坐标和 围绕脸部框架210的长方形的坐标统称为脸部框架的位置坐标。脸部框架的 位置坐标用于在脸部验证部分114中检测用户的脸部图像。
例如，脸部框架处理部分116将“ID1”设置成脸部框架210a的脸部框 架ID，将“ID2”设置成脸部框架210b的脸部框架ID。脸部框架处理部分 116将“ID1”、脸部框架210a的位置坐标、和用户A的识别信息的组合物、 以及“ID2”、脸部框架210b的位置坐标、和用户B的识别信息的组合物提 供给脸部验证部分114。更进一步，脸部框架处理部分116将脸部框架ID和 为其显示脸部框架210的用户的识别信息提供给登录处理部分120。因此， 在这种情况下，脸部框架处理部分116将“ID1”和用户A的识别信息的组 合物、以及“ID2”和用户B的识别信息的组合物提供给登录处理部分120。
图7示出了用户将脸放在脸部框架中的登录屏幕。这里，示出了用户A 以脸部进入显示在输出设备4上的脸部框架210a中的方式移动脸部和身体的 状态。脸部验证部分114监视人脸是否被放在脸部框架210中。如果脸部被 放在其中，则脸部验证部分114使用保存在登记用户信息保存器130中的脸 部识别数据确定放在脸部框架210中的脸部是否是登记用户的脸部。
脸部验证部分114可以根据从脸部框架处理部分116提供的脸部框架210 的位置坐标监视人脸是否被放在脸部框架210中。脸部识别算法如上所述。 当估计人脸已包括在脸部框架210中时，脸部验证部分114导出这个部分的 特征数据，并将特征数据与保存在登记用户信息保存器130中的脸部识别数 据相比较，以确定提取的脸部是登记用户的脸部。
脸部验证部分114已经从脸部框架处理部分116得到脸部框架ID、脸部 框架210的位置坐标、和为其显示脸部框架210的用户的识别信息的组合物 的通知，并将包括在脸部框架210中的人士的脸部图像的特征数据与为其显 示脸部框架210的用户的脸部识别数据相比较。因为已经事先得到应该包括 在脸部框架210中的用户的通知，所以脸部验证部分114无需将包括在脸部 框架210中的脸部的特征数据与所有登记用户的脸部识别数据相比较，因此 可以有效地进行脸部识别处理。脸部验证部分114可以暂时存储结合图5所 述、在第一阶段脸部验证中从所摄图像中提取的用户的脸部图像或它的特征 数据，并且还将其包括在比较目标中。后面将对此作详细描述。
脸部验证部分114可以通过检测登记用户的脸部已经被放在脸部框架 210中达预定时间(例如，几秒钟)来确定登记用户的脸部被放在脸部框架 210中。其结果是，在图7的例子中，脸部验证部分114确定已进入脸部框 架210a中的脸部是用户A的脸部。在本实施例中，将这种处理定位成第二阶 段脸部验证。
通过第一阶段和第二阶段脸部验证，结束登录时的用户验证。用户将脸 部放在脸部框架210中的动作根据用户的登录意图作出。当用户不希望登录 时，用户无需将脸部放在脸部框架210中。如上所述，在本实施例中，可能 登录的登记用户通过第一阶段脸部验证来检测，有登录意图的登记用户通过 第二阶段脸部验证来检测。登记用户只通过进行将脸部放在脸部框架210中 的简单操作就得到验证。因此，可以使用户在登录时的工作负担非常小。
当检测到用户A的脸部已进入脸部框架210a中时，脸部验证部分114 将识别脸部框架210a的脸部框架ID和识别用户A的用户识别信息通知登录 处理部分120。如已所述，登录处理部分120事先从脸部框架处理部分116 得到脸部框架ID和为其显示脸部框架210的用户的识别信息的通知。当从脸 部验证部分114得到脸部框架ID和用户识别信息的通知时，登录处理部分 120提取与从脸部框架处理部分116通知的脸部框架ID相联系的用户识别信 息，并确定几个用户识别信息之间的匹配。这里，与ID1的脸部框架ID相对 应，作为来自脸部验证部分114和脸部框架处理部分116的两个识别信息， 通知用户A的识别信息。因此，登录处理部分120识别出在为用户A显示的 脸部框架210a中检测到用户A的脸部。由于这个原因，登录处理部分120 使用户A登录到信息处理设备10中。
如上所述，在本实施例中，登录控制器110使登记用户在通过两个阶段 的脸部验证进行用户验证之后登录。例如，在第一所拍图像中检测到人脸以 及在第一阶段脸部验证处理中确定具有所检测脸部的人士是否是登记用户之 后，无需进行脸部验证处理，除非拍摄到新用户。在这种情况下，在所拍图 像中对所检测人脸进行跟踪处理，并不断地将所拍图像中脸部图像的位置坐 标提供给脸部框架处理部分116。也可以采用以预定周期进行脸部验证以及 在不进行脸部验证的时区中对所检测人脸进行跟踪处理的配置。
第一阶段脸部验证和第二阶段脸部验证可以以不同周期同时进行。例如， 分别以一秒的周期和1/16秒的周期同时实施第一阶段脸部验证和第二阶段脸 部验证。由于这个原因，尤其当一次存在大量用户时，与一个人一个人地进 行两个阶段的脸部验证的情况相比，可以提高登录处理的速度。通过如上所 述将第一阶段脸部验证的工作周期设置得长一点和将第二阶段脸部验证的工 作周期设置得短一点，可以使处理负担受到抑制地迅速作出从第一阶段到第 二阶段的过渡。
在一个登记用户通过第二阶段脸部验证处理登录之后，如果正在拍摄还 没有登录的登记用户，则可以继续显示登录屏幕，直到这个登记用户登录。 在这种情况下，优选的是让脸部框架处理部分116从输出设备4中擦除为已 经登录的用户显示的脸部框架210。如果存在只允许一个登记用户通过这种 脸部验证登录的限制，则可以在一个登记用户登录之后作出到信息处理设备 10等的OS提供的主屏幕的过渡。
如果脸部验证部分114在将脸部框架210显示在登录屏幕中之后的预定 时间内不能在脸部框架210中检测到脸部，则结束通过脸部验证的登录处理， 并且可以作出到使用输入设备6的登录处理的过渡。更进一步，如果用户不 希望通过脸部验证进行登录处理，则可以使用，例如，输入设备6结束通过 脸部验证的登录处理，并且可以作出到使用输入设备6的登录处理的过渡。
接着，对在如上所述将在第一阶段脸部验证中获得的脸部图像用于第二 阶段脸部验证的情况下信息处理设备10的操作加以描述。图8是示出主要由 信息处理设备10的登录控制器110通过第一阶段和第二阶段脸部验证确定是 否允许登录的处理的过程的流程图。首先，脸部验证部分114如上所述在所 拍图像中提取估计是人脸的部分，并作出与保存在登记用户信息保存器130 中的脸部识别数据的比较，从而确定所提取脸部是登记用户的脸部(S10)。
在不检测脸部或所检测脸部不是登记用户的脸部，即，第一阶段脸部验 证未取得成功的时段期间，以预定时间间隔重复脸部检测和确定处理(S10 的否)。如果确定所检测脸部是登记用户的脸部和第一阶段脸部验证取得成功 (S10的是)，则脸部验证部分114与相应登记用户的识别信息相联系地将此 时从所拍图像中提取脸部区域的图像或它的特征数据暂时存储在内部存储器 等中(S12)。脸部验证部分114如上所述将脸部区域的位置坐标和登记用户 的识别信息通知脸部框架处理部分116。
这使脸部框架处理部分116可以如图6所示将脸部框架和在线ID显示在 输出设备4上(S14)。与此同时，脸部框架处理部分116将脸部框架ID、脸 部框架的位置坐标、和相应登记用户的识别信息通知脸部验证部分114。对 此作出响应，脸部验证部分114进行监视，直到人脸进入脸部框架或包括其 外围的预定范围中(S16的否)。如果可以检测到人脸已进入相关范围中(S16 的是)，则脸部验证部分114导出这个脸部区域的特征数据。脸部验证部分114 通过将所导出特征数据与保存在登记用户信息保存器130中的脸部识别数据 (在下文中，往往称为“长期存储数据”)和在第一阶段脸部验证中从所拍图 像中提取以便在步骤S12中暂时存储的脸部区域的特征数据(在下文中，往 往称为“短期存储数据”)两者相比较作出双重确定(S18)。
具体地说，首先将脸部框架中的脸部的特征数据与长期存储数据相比较。 如果确定这些数据不匹配，则接着尝试与短期存储数据的比较。如果通过这 种比较确定两者对应于同一人士的脸部，则脸部验证部分114得出脸部框架 中的脸部是通过第一阶段脸部验证识别的登记用户的脸部的结论。也就是说， 脸部验证部分114将利用长期存储数据的验证的失败改变成成功。
例如，如果利用长期存储数据的验证的成功率是80％，则进行相同验证 处理两次将验证的成功率降低到大约60％。如果侧重于脸部变化，例如，脸 颊的圆度，则成功率可能进一步降低。在这种情况下，可能出现尽管在第一 阶段脸部验证中验证了所检测脸部是自己的脸部，但第二阶段脸部验证未取 得成功和用户不能登录，使得给用户造成压力的状况。对于上述配置，可以 使用正好在第二阶段脸部验证之前拍摄的图像来提高验证的成功率。
在本实施例中，第二阶段脸部验证的主要意思是检验用户是否有登录意 图，登记用户的检测本身主要通过第一阶段脸部验证来落实。通过如上所述 双重进行第二阶段脸部验证来放宽验证准则，可以实现与这样意思上的差异 一致的验证。更进一步，通过使用在第一阶段脸部验证时获得的图像，可以 不用使用户更费力地达到上述效果。
利用长期存储数据的验证和利用短期存储数据的验证的次序以及导出确 定结果的规则不局限于上述那些。两种验证可以同时进行，以及可以综合代 表它们的结果的分数。可替代地，可以首先进行利用短期存储数据的验证。 在上面的描述中，为了放宽验证准则来提高验证的成功率，将两者的成功事 件的并集确定为最终成功事件。但是，取决于用途，可以使验证准则更严格。 也就是说，可以将利用长期存储数据的验证和利用短期存储数据的验证的成 功事件的交集当作最终成功事件。在任何情况下，都使用在获取定时上不同 的2种类型脸部识别数据来实现多方面的验证。
接着，对脸部识别数据登记部分150将脸部识别数据(上述的“长期存 储数据”)存储在登记用户信息保存器130中的处理加以描述。在应该存储脸 部识别数据的阶段，脸部识别数据登记部分150的数据生成器152从存储器 中读出图像获取器104获取的所拍图像的数据，并提取这个图像中估计是人 脸的部分以便导出特征数据。
应该存储脸部识别数据的阶段通常是用户新希望进行用户登记的情况。 在这种情况下，当经由输入设备102从用户接受开始用户登记的请求时，输 入接受器102将此通知脸部识别数据登记部分150。同时，照相机7开始拍 摄这个用户的脸部，脸部识别数据登记部分150从存储器中读出图像获取器 104获取的相关图像的数据。脸部识别数据登记部分150然后如上所述提取 脸部区域和导出特征数据。另外，与用户输入和输入接受器102接受的新在 线ID和像设备给出的帐号那样的用户识别信息相联系地将所导出数据存储 在登记用户信息保存器130中。
这里存储的脸部识别数据如上所述随脸部验证部分114采用的脸部识别 算法而不同，可以是特征数据或脸部图像数据本身。作为脸部识别算法之一， 存在根据所拍脸部图像与事先登记的脸部图像之间的差值图像以及相对于事 先获取的差值图像群的本征空间的距离计算匹配度的方法(参照，例如，已 公开日本专利第2002-157596号)。不仅在这种技术中，而且在像在验证时拍 摄的图像与登记图像之间进行块匹配的验证和根据具有像协方差矩阵那样的 统计量的图像的亮度分布矢量获得概率密度的验证那样、基于像素值集合的 验证中，验证精度都对作为登记数据的源头的脸部图像敏感。
例如，照射在脸部上的光的总亮度和角度在在从窗口入射的自然光下拍 摄的图像与晚上在室内照明下拍摄的图像之间可能相差很大。当比较这些图 像时，导出匹配度的精度，因此验证精度与比较在相同照明环境下拍摄的图 像时相比往往较低。这样照明环境的变化由像时区、天气、窗帘是打开的还 是关闭的、和哪盏照明灯亮着等引起。由于不仅照明环境而且像脸部的取向、 是否戴着眼镜和帽子、头发长度和发型、脸部是否剃毛、和在皮肤晒成褐色 之前还是之后那样的各种条件的变化，验证精度也可能发生变化。
因此，在统计验证的情况下，优选的是，在统计验证的学习阶段，在尽 可能多的状态下从图像中计算统计量。在与每个登记图像进行块匹配的情况 下，优选的是，存储处在尽可能多的状态下的登记图像。但是，实际上，存 在用户亲自创建这样的状态的局限性。因此，数据生成器152对在登记时拍 摄的用户的脸部图像进行预定加工处理，从而使用户负担小地提高验证精度。
图9示意性地示出了数据生成器152从所拍图像中生成脸部识别数据的 过程。首先，在应该存储脸部识别数据的阶段，数据生成器152从照相机7 拍摄的图像中提取代表脸部区域的图像300。这种处理可以类似于脸部验证 部分114进行的脸部检测的处理。数据生成器152通过对这个脸部区域的图 像300进行预定处理生成处理后图像302a、302b和302c。这里进行的处理的 内容事先放置在数据生成器152的内部。
在图9的情况下，处理后图像302a是将预定失真过滤器应用于原图像300 中的眼睛区域获得的笑脸的图像。它可以通过对平均脸的笑脸图像加以变形 来创建。处理后图像302b是将眼镜的图像叠加在原图像300上合成的图像。 处理后图像302c是以对脸部的右半部加阴影的方式局部降低亮度的图像。在 这种情况下，进一步，可以设定预定光的入射角，以及也可以考虑到像鼻子 那样脸部的凹凸性地计算加阴影的范围作为降低亮度的区域。此时，可以改 变光的入射角以便以多个图案给出阴影。取代只给出阴影，也可以提高光照 明的部分的亮度。
图像处理的其它例子如下：全面改变亮度；通过仿射变换改变脸部的取 向(沿着偏航/俯仰/翻滚方向的任何旋转角或它们的组合)；组合带有上巴胡 须、面颊胡须、下巴胡须等的胡须图像；组合各种发型的任何一种的头发图 像；组合像帽子或口罩那样的附件的图像；删除前发或胡须的区域或将该区 域的颜色转变成肉色；通过变形等改变像面颊、嘴巴、和眉毛那样的脸部的 一些部分的形状；以及使皮肤的颜色变暗或变亮。
此外，可以用照相机7从多个方向拍摄用户来获取脸部沿着多个取向(沿 着偏航/俯仰/翻滚方向的任何旋转角或它们的组合)的所拍图像，并且可以生 成沿着这些取向的中间取向的脸部图像作为处理后图像。例如，从沿着前向 和横向取向的脸部的所拍图像中生成沿着这些方向的中间方向，即，沿着斜 向取向的脸部的处理后图像。“中间方向”可以是进行拍摄的多个方向之间的 任意方向，对其数量也没有限制。可以将从多个图像中生成内插图像的一般 技术应用于该处理。
此外，可以采用基于一般图像处理技术的任何脸部处理方法。在分别与 每个登记图像作出比较的情况下，可以通过组合多种类型的处理来创建一个 处理后图像。数据生成器152使用原始脸部区域的图像300和处理后图像 302a，302b和302c生成脸部识别数据304，并将其存储在登记用户信息保存 器130中。如上所述，取决于用于验证的算法，可以按原样分别存储每个图 像或其一部分的数据，或可以存储对所有图像进行统计处理获得的数据。由 于这个原因，对于一个登记用户，可以实现也考虑到许多设定状态的验证， 以及无论在什么状态下都不用费力登记地实现稳定登录。
在上面的描述中，作为应该存储脸部识别数据的阶段，示范了用户请求 新登记的情况。在本实施例中，进一步设置了其它机会以提高更新脸部识别 数据的频率和保持验证处理的精度。为了这个目的，脸部识别数据登记部分 150的登记确定器154确定新存储(登记)脸部识别数据的定时。具体地说， 登记确定器154将用户作出像新登记或另外登记那样的登记的请求的定时当 作登记脸部识别数据的定时。更进一步，当第一阶段验证取得成功时以及当 第二阶段验证取得成功时，如果在该定时拍摄和检测的脸部图像满足预定条 件，则登记确定器154将这个定时确定为登记这个脸部图像的定时。
当确定当前定时是登记的定时时，登记确定器154将此通知数据生成器 152。这使数据生成器152可以将生成的脸部识别数据存储在登记用户信息保 存器130中。数据生成器152总是在所有定时都可以进行上述图像处理，或 可以取决于定时地跳过上述图像处理。例如，当根据在验证时检测的脸部图 像确定是否登记脸部识别数据时，登记确定器154也可以同时确定是否进行 图像处理，并将确定结果通知数据生成器152。
图10和11是示出脸部识别数据登记部分150通过应该登记的定时的确 定登记脸部识别数据的处理的过程的流程图。首先参照图10，当用户作出请 求新登记的输入时(S20的是)，数据生成器152如上所述读出图像获取器104 获取的所拍图像的数据并提取脸部区域的图像。数据生成器152然后通过任 意进行处理等生成脸部识别数据。因为登记确定器154将请求新登记的所有 定时都确定为应该登记脸部识别数据的定时，所以数据生成器152将生成的 数据存储在登记用户信息保存器130中(S22)。
如果已经完成了新登记的登记用户另有机会作出请求另外登记用户自己 的脸部的输入(S20的否，S24的是)，则照相机7开始拍摄这个用户，数据 生成器152读出图像获取器104获取的所拍图像的数据。数据生成器152然 后提取脸部区域并导出这个区域的特征数据(S26)。另外的登记可能出现在 由于，例如，从前一次登记开始经过了某个时间量或用户状态的变化，用户 自身意识到有必要登记的时候。
登记确定器154根据用户等输入的在线ID从登记用户信息保存器130中 读出已登记脸部识别数据，并将其与数据生成器152导出的特征数据相比较 (S28)。特征数据的生成和与脸部识别数据的比较基本上与脸部验证部分114 在验证处理时进行的处理相同。因此，也可以采用将这些类型的处理委托给 脸部验证部分114以及数据生成器152只获取特征数据和登记确定器154只 获取其比较结果的配置。
当比较结果满足事先设置的第一条件时，登记确定器154确定当前定时 就是应该登记此时拍摄的脸部图像的定时，并将此通知数据生成器152(S28 的是)。这使数据生成器152可以将在S26中生成的特征数据加入登记用户信 息保存器130中与相应用户相联系的脸部识别数据中(S30)。第一条件是针 对从所拍图像中提取的脸部图像的特征数据与相应用户的已登记脸部识别数 据之间的匹配度设置的。例如，如果匹配度太低，则存在被不同人士冒充或 错误输入在线ID的可能性，因此不进行新登记。
相反，如果匹配度太高，则再次登记相似数据对验证精度一点也没有影 响，因此不进行新登记。因此，对于匹配度S(0≤S≤100)，将，例如，s1≤ S≤s1′(s1<s1′)的条件设置成第一条件。但是，这无意将第一条件限制成 这种格式，可以只对匹配度S设置下限s1和上限s1′的某一个。如果在S28 中比较结果不满足第一条件，那么，例如，显示将此通知用户的图像，并且 不登记地结束处理(S28的否)。
图11示出了利用已完成登记的用户实际登录的定时按需自动登记新脸 部识别数据时的处理过程。在这种情况下，脸部识别数据登记部分150从登 录控制器110中获取必要数据。脸部识别数据登记部分150然后据此确定是 否应该进行新登记，此后进行登记处理。
首先，如果第一阶段脸部验证取得成功(S40的是)，则登录控制器110 的脸部验证部分114将在这次脸部验证时从所拍图像中提取的脸部图像的特 征数据、围绕其识别的登记用户的在线ID、和作为验证结果导出、与这个登 记用户的脸部识别数据的匹配度供应给脸部识别数据登记部分150(S42)。 此时，除了与所识别登记用户的脸部识别数据的匹配度之外，也可以供应与 其他用户的脸部识别数据的匹配度。
登记确定器154确定这个匹配度是否满足事先设置的第二条件(S44)。 如果满足第二条件，则登记确定器154确定当前定时就是应该登记用于S40 中的验证的脸部图像的定时，并将此通知数据生成器152(S44的是)。这使 数据生成器152可以将在S42中生成的特征数据加入登记用户信息保存器130 中与相应用户相联系的脸部识别数据中(S46)。如果不满足第二条件(S44 的否)，则不进行该登记。
随后，如果第二阶段脸部验证取得成功(S48的是)，则登录控制器110 的脸部验证部分114将脸部框架中的脸部图像的特征数据、围绕其识别的登 记用户的在线ID、和与脸部识别数据的匹配度供应给脸部识别数据登记部分 150(S50)。此时，除了与所识别登记用户的脸部识别数据的匹配度之外，也 可以供应与其他用户的脸部识别数据的匹配度。登记确定器154然后确定这 个匹配度是否满足事先设置的第三条件(S52)。
如果满足第三条件，则登记确定器154确定当前定时就是应该登记用于 S48中的验证的脸部图像的定时，并将此通知数据生成器152(S52的是)。 这使数据生成器152可以将在S50中生成的特征数据加入登记用户信息保存 器130中与相应用户相联系的脸部识别数据中(S54)。如果不满足第三条件 (S52的否)，则不进行该登记。自然，当第一阶段或第二阶段脸部验证未取 得成功时(S40的否，S48的否)，则不进行该登记。
用在S44中的第二条件和用在S52中的第三条件定性上是根据与有关参 考图10所述的第一条件的政策类似的政策设置的。例如，对于与脸部验证部 分114在脸部验证中由于，例如，最高匹配度而识别的登记用户的脸部识别 数据的匹配度S，将，例如，s2≤S≤s2′(s2<s2′)的条件设置成第二条件， 将，例如，s3≤S≤s3′(s3<s3′)的条件设置成第三条件。此外，对于与另 一个用户i(0<i≤n，n是其他用户的数量)的脸部识别数据的匹配度Mi， 将，例如，Mi≤m2的条件设置成第二条件，将，例如，Mi≤m3的条件设置 成第三条件。
当满足有关匹配度S和Mi的所有条件时，确定满足第二和第三条件。 当与另一个用户的脸部识别数据的匹配度Mi高时，脸部图像在与所识别用户 的脸部相似的同时，在某种程度上也与其他用户的脸部相似。登记这样的图 像容易在验证中引起与这另一个用户的混淆。因此，通过对Mi设置上限从登 记对象中排除这样的图像。优选的是，关于第一、第二和第三条件，相互独 立地设置有关与用户自身的脸部识别数据的匹配度S的阈值。关于第二和第 三条件，也相互独立地设置有关与另一个用户的脸部识别数据的匹配度Mi 的阈值。
例如，当用户希望为自身进行另外的登记时，根据用户输入的在线ID判 定作为比较目标的脸部识别数据，因此所拍脸部图像与脸部识别数据之间的 对应精确的可能性高于其它定时。更进一步，优选的是，因为用户自身请求 登记，所以登记的概率也很高。因此，将阈值设置成提供作为当前定时被确 定为应该进行登记的定时的匹配度S的范围的最宽范围。
第一阶段脸部验证时的登记和第二阶段脸部验证时的登记两者都由设备 自动进行。但是，第二阶段脸部验证中脸部图像与用户之间的对应的精度高 于第一阶段，因为用户自身通过将脸部放在脸部框架中表达了脸部图像与在 线ID之间的对应是正确的。因此，将当前定时被确定为应该进行登记的定时 的匹配度S和Mi的范围设置得比第一阶段宽。通过这样的配置，可以使用 户负担小地尽可能大地提高登记脸部识别数据的机动，以及可以一致地根据 最近信息进行验证。其结果是，可以实现抵抗像由生长和老化引起的脸部变 化那样的长期变化，以及像上述照明环境的变化那样相对较短时期内的条件 变化的验证处理。
通过改变按照用户的意图、输入信息的精度等判定是否进行登记的条件， 可以抑制错误登记和无用登记的频率。如果将脸部图像的数据或其一部分的 数据存储成脸部识别数据，则可以与脸部识别数据的新登记同时地删除相应 用户的已存储脸部识别数据的一部分。例如，优先删除如下数据：最老数据； 尽管是同一用户的数据、但在过去验证处理的历史中匹配度比其它数据低的 数据；以及在数据成功用在验证中(确定与所拍图像的匹配度高于阈值或当 验证成功时匹配度最高)的定时比其它数据老的数据。
在后一种情况下，每当相应用户登录时，存储在登录的验证中针对各自 脸部识别数据计算的匹配度，并按匹配度的历史的平均值的升序删除脸部识 别数据。这可以节省登记用户信息保存器130的容量。另外，如果在，例如， 通过块匹配的验证中每个地将同一用户的多个脸部识别数据与所拍图像相比 较，则可以减小比较目标，从而减轻验证处理的负担和缩短进行处理所花费 的时间。
如上所述，在每当进行登记时就分别存储脸部识别数据以及将每个所存 储数据与所拍图像相比较的情况下，可以对存储在登记用户信息保存器130 中的脸部识别数据的数量设置上限，如果数据已经登记到这个上限，则当登 记新数据时可以盖写任何已存储数据。在这种情况下，可以进一步采用如下 方案。具体地说，以这样的方式将脸部识别数据存储在登记用户信息保存器 130中，即将如图10所示根据用户的意图登记的脸部识别数据分类成第一组， 将如图11所示设备自动登记的脸部识别数据分类成第二组。更进一步，对于 这些组的每一个，对可以存储的数据的数量设置上限。在登记超过上限的数 据时，如果新数据是第一组的数据，则盖写第一组的已存储数据，如果新数 据是第二组的数据，则盖写第二组的已存储数据。
这样就可以防止出现根据用户的意图登记的脸部识别数据全部被设备自 动登记的脸部识别数据盖写和使验证精度降低的不便。此外，也可以采用配 备为每个已登记脸部识别数据计数成功用在验证中的次数的计数器以及当登 记新数据时盖写使用次数最少的数据的配置。但是，对于刚登记的数据，成 功用在验证中的次数自然很小。因此，可以考虑与时间有关的观点。具体地 说，例如，可以取决于从登记开始经过的时间地加权使用的次数。更进一步， 可以进一步将选为盖写候选者的脸部识别数据与应该新登记的数据相比较， 如果匹配度高于预定阈值，则可以取消新登记。这样就可以防止出现尽管新 登记数据与盖写数据类似，但成功用在验证中的次数返回到0以及容易将这 个新登记数据选为盖写目标的不便。
在任何情况上，定性上，优选的是防止多次成功用在验证中的脸部识别 数据被盖写，以及尽可能多地留下在不同照明条件等下获得的多种多样数据。 本领域的普通技术人员应当明白，作为用于此目的的方法，除了上述的那些 之外，可以存在各种各样修改例。
在上文中，描述了不使用输入设备的基于两个阶段的脸部验证的登录方 法。接着，将对在登录之后的处理中使用输入设备的情况，具体地说，通过 拍摄配备在输入设备上的标记检测用户的运动以及使游戏按此发展下去或按 此进行信息处理的情况加以描述。在以这样的模式检测多个用户的运动的情 况下，如果使各自用户握着的输入设备的标记的颜色相互不同，则可以根据 标记的颜色识别每个用户的运动。因此，在登录的时候将输入设备的标记的 颜色与握着这个输入设备的用户相联系。
图12示出了将脸部验证和标记检测组合进行登录处理时照相机7拍摄的 图像的一个例子。在所拍图像400中捕获了一个用户，这个用户握着输入设 备6a。输入设备6a具有如图12右侧的放大图(输入设备6b)所示的标记402。 标记402由，例如，发出具有预定颜色的光的发光二极管形成。但是，标记 402无需发光，其形式不受限制，只要是具有已知颜色、形状和尺寸和可以 用作检测目标的东西就行。也可以将像二维条形码那样绘在平面上的图画粘 在输入设备6a上或将图画直接绘在输入设备6a上。
如图所示，当用户用双手抓住输入设备6a的左右抓部和面向照相机7时， 标记402朝着照相机7取向。尽管未显示在图像中，但除了标记402之外， 输入设备6a还可以含有像各种类型的操作按钮和摇杆那样的操作单元。输入 设备的形状不局限于显示在图中的那种。在这个例子中，首先，通过上述第 一阶段脸部验证，通过使用所拍图像400中的脸部区域404，根据脸部图像 的特征数据识别登记用户。更进一步，检测标记402的图像的区域406。然 后将它的颜色与所识别登记用户相联系以便用于后一阶段信息处理。
用户在登录时将输入设备6a握在像胸前位置那样的预定位置上的规则是 事先设置的，以便可以根据所拍图像400中的脸部区域404和与之相对应的 标记的图像的区域406的相对位置理解脸部与标记的对应。例如，将通过脸 部验证识别的登记用户的在线ID显示在脸部区域404附近，确认就是自己的 在线ID的用户将输入设备6a握在自己的胸前。由于这个原因，信息处理设 备10检测标记的图像的区域406中的标记，并将它的颜色与登记用户相联系。 握着输入设备6a的位置不局限于胸前的那个，可以在，例如，颌下、头上或 耳旁，只要该位置是事先设置的，用户认识就行。
图13示出了通过脸部验证和标记检测进行登录处理时信息处理设备10 的功能块配置。与显示在图3中的那些相同的功能块被赋予相同标号，并省 略对它们的描述。也可以采用使包括在显示在图3中的登录控制器110中的 所有功能块都包括在显示在图13中的登录控制器160中和用户可以经由输入 设备6选择使用哪种登录模式的配置。
信息处理设备10包括输入接受器102、图像获取器104、登录控制器160、 和登记用户信息保存器168。信息处理设备10可以进一步包括显示在图3中 的脸部识别数据登记部分150。登录控制器160含有所摄图像显示部分112、 脸部验证部分114、标记验证部分162、距离识别器164、和登录处理部分166。
输入接受器102、图像获取器104、和登录控制器160中的所摄图像显示 部分112和脸部验证部分114具有与显示在图3中的各自功能块相同的功能。 但是，脸部验证部分114只进行由检测包括在所拍图像中的脸部区域和识别 登记用户组成的第一阶段验证，并将有关脸部区域和所识别登记用户的信息 提供给标记验证部分162。登记用户信息保存器168与用户帐号相联系地保 存像用户的在线ID和脸部识别数据那样的识别信息。
登录控制器160的标记验证部分162从所拍图像中检测与脸部验证部分 114检测的脸部区域相对应的标记的图像。具体地说，标记验证部分162根 据从脸部验证部分114提供的脸部区域的位置坐标，检测应该存在于事先设 置的相对位置上的标记的图像。此时，与上述脸部框架一样，可以在输出设 备上的所显示图像中在应该握着标记的位置上显示标记框架。更进一步，可 以将所识别用户的在线ID显示在标志框架附近。
在所拍图像中，标记验证部分162在像胸部上的区域那样、具有预定尺 寸和与脸部验证部分114提供的脸部区域存在预设位置关系的区域中进行标 记搜索。标记验证部分162然后与脸部验证部分114通知的有关登记用户的 信息相联系地将所检测标记的颜色信息通知登录处理部分166。当接收到这 个通知时，登录处理部分116允许这个用户登录到信息处理设备10中，并将 与登记用户与标记颜色之间的对应有关的信息通知游戏等的信息处理的主执 行实体(未示出)。为多个用户执行相同登录处理使信息处理的主执行实体可 以根据标记的颜色区分每个用户的运动。
如果将单镜头照相机用作照相机7以及从一个所拍图像中检测一对脸部 和标记，则通过上述配置完成登录处理。另一方面，将考虑分开拍摄用于脸 部识别的图像和用于标记检测的图像，以便在脸部识别和标记检测两个方面 都保持高精度。具有特定尺寸、颜色、形状、亮度等的标记易于从作为图像 捕获的房间、人体、物体等中检测，当使它们的颜色相互不同时，也易于识 别多个标记。但是，与人的观看不同，如何在图像中捕获标记随像周围明亮 性、是否存在物体、和周围颜色那样的拍摄环境、和像曝光时间、光圈值、 和焦深那样的拍摄条件变化很大。
在拍摄包括用户和房间的广角图像的情况下，一般说来，与拍摄环境匹 配地自动调整像白平衡和曝光时间那样的拍摄条件，这使得可以获取总体上 十分平衡的图像。但是，在检测图像中的标记的情况下，这样按照环境改变 拍摄条件会导致如何捕获标记，即，图像的颜色、尺寸、形状、亮度等的改 变，这在检测处理中可能会引起麻烦。
例如，在使用发光的标记的情况下，如果按照房间的明亮性判定的曝光 时间太长，则标记的发光部分的RGB值可能达到饱和，获得与发光体的颜色 无关是白色的和具有模糊轮廓的图像。更进一步，如果标记以比较高的速度 运动，则它的图像可能是模糊的。
因此，可能不能精确获取标记的位置和不能区分颜色。因此，将立体照 相机用作照相机7。一台照相机拍摄在标准拍摄条件下获得的图像，另一台 照相机拍摄在适合检测标记的预定拍摄条件下获得的图像。前者由脸部验证 部分114用于脸部验证，以及由所摄图像显示部分112用于显示在输出设备4 上。后者由标记验证部分162用于标记检测。
在这样的模式下，距离识别器164校正立体照相机拍摄的两个图像的视 差，以便可以精确识别与脸部相对应的标记。图14示出了将立体照相机用作 照相机7时拍摄的立体图像的例子。在这种情况下，所拍图像是立体照相机 从相互分开预定距离的左右位置拍摄相同空间获得的立体图像。其中，第一 图像408a是在标准条件下拍摄的，第二图像408b是在适合标记检测的条件 下拍摄的。
也就是说，第一图像408a是在拍摄时按照环境自动调整拍摄条件的一般 图像。第二图像408b是聚焦在标记上和与，例如，第一图像408a相比曝光 时间较短和焦深较浅(光圈较小)拍摄的图像。通过在这样的条件下进行拍 摄，第二图像408b被获得作为像尽管明亮性总体降低和其它物体是模糊的、 但标记的发光体部分在颜色、形状、尺寸、和亮度方面与实际那个接近的图 像。可以随用于标记检测的拍摄条件只改变曝光时间和光圈值的某一个，或 可以改变另一个参数。
尽管这些图像是同时拍摄相同被摄物获得的，但因为视点不同，所以会 造成视差D。首先，脸部验证部分114使用第一图像408a来指定脸部区域410。 在第一图像408a中，标记搜索区域412处在脸部的正下方。具体地说，这是 沿着水平方向(x轴方向)具有与脸部区域410相同的中心轴和沿着垂直方 向(y轴方向)与脸部区域410分开预定距离d的区域。在图14的例子中， 距离d是从下颌到胸部的距离。
但是，当标记验证部分162使用第二图像408b进行标记检测时，这个图 像中的标记搜索区域414相对于第一图像408a中的搜索区域沿着水平方向(x 轴方向)偏移了视差D。视差D随被摄物相对于照相机的距离而变。因此， 距离识别器164识别这个距离，并将它提供给标记验证部分162。据此，标 记验证部分162首先根据脸部验证部分114供应的脸部区域410的位置坐标 判定第一图像408a中的标记搜索区域412，然后沿着x轴方向将它移动视差 D，从而判定第二图像408b中的标记搜索区域414。移动方向自然随左右照 相机的哪一台用于拍摄第二图像而不同。
图15是适用于说明立体图像中的视差与被摄物沿着深度方向的位置之 间的关系的图形。除非另有所述，这里假设将长度的单位统一成米等。将照 相机7的第一照相机7a和第二照相机7b设置成具有定位成相隔距离L的平 行光轴。假设被摄物存在于沿着深度方向与这些立体照相机分开距离Z的右 端箭头的位置上。
各自照相机拍摄的图像的一个像素所代表的实际空间的宽度Δx与距离Z 成比例以及表达如下：
Δx＝Z×w/W  (1)
在这个表达式中，符号W表示照相机沿着水平方向的像素的数量。符号 w表示当距离Z是1时，实际空间沿着水平方向的视场的范围。它由视角决 定。
分开距离L的照相机拍摄的相同被摄物在其图像上具有基本上如下所表 达、用像素的数量表示的视差D(个像素)：
D＝L/Δx＝L×(W/w)×(1/Z)＝C/Z  (2)
在这个表达式中，符号C是由照相机及其设置决定的值，在操作中可以 认为是常数。标记验证部分162从距离识别器164获取距离Z，并根据上述 表达式(2)获取图像上的视差D，以便判定第二图像408b中的标记搜索区 域。本领域的普通技术人员应当明白，上面的表达式只是一个例子，可以根 据三角原理采用各种计算表达式。
标记搜索区域的视差D基本上是从标记相对于照相机的距离Z中获得 的。作为距离识别器164识别距离Z的方法，可以采用各种方法。例如，可 以采用将第一图像408a和第二图像408b进一步用于通过立体图像方法生成 深度图像的方法。立体图像方法是联系立体图像中的特征点并从它们的视差 中计算被摄物沿着深度方向的位置的一般方法。深度图像是将被摄物沿着深 度方向相对于照相机的距离映射在所拍图像平面上的二维坐标上并表示成像 素值的图像。
但是，鉴于标记由一个人握着，对标记的尺寸有限制。因此，一般说来， 所拍图像中标记的图像的区域较小。不容易根据这样的小区域高精度地获取 相对于照相机的距离。因此，通过利用标记和握着它的用户的脸部表面在相 对于照相机的距离上基本上相等的事实，可以高精度地导出标记的视差。
例如，如果将如图12所示把输入设备6a握在胸前规定为登录时的姿势， 则标记402在相对于照相机的距离上等效于用户的脸部表面。因此，根据具 有比标记的图像的区域大的面积并因此预计使导出精度更高的脸部表面的距 离获得视差。具体地说，距离识别器164读出所生成深度图像中脸部验证部 分114检测的脸部区域的像素值。这些像素值代表脸部表面相对于照相机的 距离，因此通过，例如，计算整个区域的平均值获得距离Z。
上述例子具有高有效性，因为使用了原来拍摄的立体图像，所以可以无 需新输入数据地高精度获得距离。另一方面，距离识别器164可以不生成深 度图像地根据脸部区域的尺寸计算距离Z。可替代地，可以用立体图像中的 脸部区域的视差取代标记的视差。在，例如，立体匹配的精度、因此深度图 像的精度由于，例如，第一图像408a和第二图像408b之间的拍摄条件的差 异而显得不足的情况下，可以对第一图像408a和第二图像408b两者进行脸 部识别处理，从而可以在两个图像中识别同一用户的脸部区域来获得视差。
从脸部到胸部的距离，即，从脸部区域到标记搜索区域的距离d也可以 按照从照相机到脸部的距离来调整。此外，距离识别器164可以使用像通过 另外配备的红外照射/检测系统、根据飞行时间(TOF)系统导出标记的距离 的技术那样的各种现有技术。
可替代地，也可以采用将距离Z当作固定值，使用户事先识别相对于照 相机的距离和处在相应位置的方法。如果脸部表面和标记沿着深度方向的相 对位置已知，则两者不必处在相同位置上，因为可以从脸部表面的距离中计 算出标记的距离。例如，如果采用向前伸臂把标记布置在最前端上作为登录 时的姿势，则标记处在离照相机比脸部表面近臂长的位置上，因此可以从脸 部表面的距离中导出标记的视差D。取决于情况，可以从第一图像408a和第 二图像408b中检测标记的图像本身，并且可以直接识别标记的视差D。
在任何情况下，通过在为标记检测分开设置的条件下拍摄图像以及考虑 到与用于脸部识别的图像的视差地进行标记检测，可以与当时的照明环境等 无关地保持标记检测的精度。更进一步，例如，当多个用户相互接近时，可 以抑制混淆地检测另一个人的标记和中断登录的可能性。此外，可以精确地 获得标记搜索区域。因此，无需搜索无用大区，从而可以减轻标记检测处理 的负担。
严格地说，作为取决于，例如，如何附加透镜的除了沿着水平方向的距 离L之外的其它因数，第一照相机7a和第二照相机7b可能包括沿着垂直方 向的少量偏移、成像面的少量旋转等。在这种情况下，两台照相机拍摄的第 一图像408a和第二图像408b之间的图像偏移包括除了沿着水平方向的视差 D之外的其它成分。因此，标记验证部分162实际上也可以考虑这些成分地 判定第二图像408b中的标记搜索区域414。因为在透镜的位置偏移和旋转偏 移中也存在各自差异，所以在制造等的时候进行测量，并且在信息处理设备 10内设置测量值、适用于校正偏移的参数等。
图16是示出信息处理设备10通过利用立体图像进行脸部验证和标记检 测来进行登录处理的过程的流程图。首先，脸部验证部分114从存储器中读 出图像获取器104获取的立体图像。然后，脸部验证部分114提取这些立体 图像的在标准条件下拍摄的第一图像中估计是人脸的部分，并将其与保存在 登记用户信息保存器168中的脸部识别数据相比较，从而确定所提取脸部是 登记用户的脸部(S60)。在不检测脸部或所检测脸部不是登记用户的脸部， 即，脸部验证未取得成功的时段期间，以预定时间间隔重复脸部检测和确定 处理(S60的否)。如果确定所检测脸部是登记用户的脸部和脸部验证取得成 功(S60的是)，则脸部验证部分114将第一图像中的脸部区域的位置坐标和 用户的识别信息提供给标记验证部分162。
根据第一图像中的脸部区域的位置坐标，标记验证部分162在这个用户 的第二图像中，即，在用于标记检测的条件下拍摄的图像中判定标记搜索区 域(S62)。此时，距离识别器164读出图像获取器104获取的立体图像的数 据，并通过立体匹配处理等获取脸部表面或标记相对于照相机的距离，以便 将该距离通知标记验证部分162。这使标记验证部分162可以考虑到这些立 体图像中的标记的视差地判定搜索区域。然后，标记验证部分162对这个搜 索区域进行标记检测(S64)。如果在预定时间内未检测到标记，则什么也不 做地结束该处理(S64的否)。
如果检测到标记(S64的是)，则标记验证部分162与脸部验证部分114 通知的有关登记用户的信息相联系地将它的颜色通知登录处理部分166。响 应这个通知，登录处理部分166允许这个用户登录(S68)。此时，登录处理 部分166如上所述将与颜色与登记用户之间的对应有关的信息通知游戏等的 主执行实体。
接着，将考虑进一步提高S62中标记验证部分162进行标记检测的精度。 在本实施例中，根据标记的颜色，区分正在操作含有标记的输入设备6的用 户。因此，即使在所拍图像中同时捕获到每一个握着含有不同颜色的各自一 种颜色的标记的输入设备6的多个用户，也应该可以与位置无关地精确导出 各自颜色与用户的位置之间的对应。
但是，尤其当标记是发光体时，由于包括在光中的颜色成分、像检测它 的互补金属氧化物半导体(CMOS)传感器那样的成像元件的检测精度、校 正电路的输出精度等，在表示成标记的图像的像素值的颜色中可能引起变化。 例如，当使用四种颜色，即，蓝色、红色、绿色、和粉红色的标记时，可能 出现粉红色的成分强烈地出现在红色标记的外围的状况。在这种情况下，难 以精确确定这个标记是红色标记还是粉红色标记，以及粉红色标记是否实际 存在于红色标记附近。这不仅发生在登录的时候，而且也发生在登录之后操 作游戏等的时候。确定错误可能引起错误操作。
图17示意性地示出了包括标记的图像的所拍图像。但是，在这个图形中 省略了握着它们的用户的图像。在所拍图像420中，捕获到含有颜色相同不 同的标记的三个输入设备422a、422b和422c。在输入设备422a和422b的标 记附近的带影线圆圈示意性地示出了强烈出现与标记的原始颜色不同的颜色 成分的区域。例如，如输入设备422a的标记部分的放大图424所示，由于上 述原因，代表色差的像素集群426往往出现在代表标记的颜色的像素集群428 附近。
在这样的情况下，在从所拍图像中作为标记检测的区域中，像素集群426 的部分即使具有标记颜色，也不是标记的图像，因此应该从检测结果中排除。 在最简单的想法中，当这样紧密地存在多种颜色时，最大面积的颜色被认为 是标记的原始颜色。但是，如上所述，所拍图像中标记的图像所占的区域较 小，应该像上面那样比较的面积本身可能包括误差。更进一步，像在输入设 备422b和422c中那样，在一些情况下，表观尺寸随相对于照相机的距离而 不同的标记似乎相互重叠。因此，甚至实际标记都可能被排除。
因此，作为排除的准则，将输入设备的外壳本身的尺寸加入每种颜色的 区域面积中。从而高精度地识别要从检测为标记的对象中排除的颜色区域。 图18是示出在标记检测处理中识别可以被视作标记的颜色的处理的过程的 流程图。这种处理由标记验证部分162在登录的时候执行。此外，也可以在 操作游戏等的时候执行。因此，取决于处理的状况，标记搜索区域是多种多 样的。在登录的时候，标记搜索区域可以是如上所述与脸部区域存在预定位 置关系的区域。当在游戏等中允许自动移动标记时，可以另外通过跟踪处理 等进行搜索区域的细化。取决于情况，可以将整个所拍图像视为搜索区域。
首先，标记验证部分162从存储器中读出图像获取器104获取的所拍图 像，并通过，例如，扫描所拍图像中的搜索区域提取可能是标记的颜色的区 域的区域(S70)。在这个定时，在一些情况下，提取相同颜色的多个区域。 接着，以面积的降序排序由相同颜色或可以视为相同颜色的颜色的连续区形 成的区域(S72)。此时，以升序赋予每个区域以识别号，即，i＝1，2，3，......。 接着，将最大的i＝1的区域视为第n(＝第1)目标区域(S74)，并识别假设 这个区域是标记的图像时输入设备的外壳的图像覆盖的范围(S76)。也就是 说，这个范围是在外壳的图像的轮廓内的区域，具体地说，例如，图17中的 输入设备422a的黑色部分，并根据外壳的形状和尺寸以及输入设备相对于照 相机的距离来判定。
外壳的形状和尺寸自然是已知的。输入设备相对于照相机的距离可以从 区域i的尺寸中导出，或距离识别器164可以通过拍摄立体图像和创建深度 图像来识别距离。在后一种情况下，考虑到输入设备本身的距离包括许多误 差的可能性，如上所述，可以从像脸部或手那样、握着它的人士的身体的距 离中估计距离。在未生成深度图像的情况下，可以根据左右照相机拍摄的一 对立体图像中的标记或人像的视差计算距离。如果在相关外壳的图像的范围 中包括与目标区域的颜色不同的颜色的区域的至少一部分，则从提取结果中 排除这个区域(S78)。
当将标记的所有颜色的数量定义成N时，如果目标区域不是第N区域 (S80的否)，则对具有次最大面积的第(n+1)目标区域识别外壳的图像覆盖 的范围。然后，如果在图像的这个范围中存在与目标区域的颜色不同的颜色 的区域，则从提取结果中排除这个区域(S82，S76，S78)。重复S82、S76、 和S78的处理N次(S80的否)，如果对第N目标区域的排除处理结束(S80 的是)，则结束该处理。如果在S70中提取的区域的数量等于或小于N，则在 所有区域用作目标区域之后结束该处理。由于这个原因，只留下很有可能是 标记的区域作为检测结果。
以这种方式将优先级赋予具有较大面积的区域是基于这个区域很有可能 是标记，以及知道如果假定这个区域是标记以及假定外壳的图像覆盖的范围， 则图像比标记小的标记相对于这个外壳未处在照相机侧。这可以防止将如图 17所示偶尔在标记的外壳检测到的不同颜色成分错误地识别为标记以及从标 记检测对象中错误地排除相互接近的多个标记的某一个的不便。
取代如图18所示从较大面积开始依次逐个选择目标区域，也可以采用如 下方法。具体地说，针对所有提取区域，如果短距离内的不同颜色的区域是 标记，则根据像区域的面积和区域是否在标记的外壳的图像覆盖的范围内那 样的准则进行评分。更进一步，对于每个区域，用各自一个分数表示区域是 标记的可能性。从而识别最终检测对象。
上面根据实施例对本公开作了描述。本领域的普通技术人员应当明白， 这个实施例是示范性的，通过组合各自组成元件及其各自处理过程，可以给 出各种修改例，这样的修改例也在本公开的范围之内。
本公开包含与公开在2013年11月1日向日本专利局提交的日本优先权 专利申请JP 2013-228136中的主题有关的主题，特此通过引用并入其全部内 容。