信息处理装置技术领域
本发明涉及配置成执行用户脸部识别的信息处理装置。
背景技术
当用户在诸如游戏装置的信息处理装置上登录时，信息处理装置执行用
于识别登录用户是否是事先注册的用户的用户认证处理。各种类型的用户认
证是可用的，其中广泛地使用基于密码的用户认证。
发明内容
除了基于密码的用户认证之外，基于用户的生物信息的用户认证通常在
使用。基于生物信息的用户认证不需要用户输入他或她的密码，由此最小化
认证中的用户的麻烦。尤其是，配置成从数字图像识别用户的脸部的脸部认
证系统基本上不需要用户进行特别操作，使得它作为易于使用的用户认证方
法之一而广为人知。本发明人想到一种通过在脸部识别系统的基础上以简单
方式实现用户认证，使用户在信息处理装置上登录的机制。
因此，本发明的目的是提供一种用于执行用户认证的技术。
[问题的解决方案]
为了解决上述问题，提供一种根据本发明的模式的信息处理装置。该信
息处理装置包括：拍摄图像显示单元，其配置成在显示器上显示拍摄图像；
注册用户信息保持部分，其配置成保持用于注册用户的脸部识别的数据；脸
部认证单元，其配置成通过使用保持在所述注册用户信息保持部分中的脸部
识别数据检测存在于拍摄图像中的注册用户的脸部图像；以及脸部框架处理
单元，其配置成针对检测到的注册用户在所述显示器上显示脸部框架。所述
脸部认证单元通过使用保持在所述用户信息保持部分中的脸部识别数据检测
注册用户的脸部图像包括在脸部框架中。
应当注意，上述部件的任何任意组合和在方法、装置、系统、记录介质、
计算机程序等之间的本发明的表达上的任何转换作为本发明的模式也是有效
的。
附图说明
[图1]
图1是示出根据本发明的一个实施例的信息处理系统的图示。
[图2]
图2是示出信息处理装置的功能的方框图。
[图3]
图3是示出信息处理装置的内部配置的图示。
[图4]
图4是示出由照相机拍摄的空间的一个例子的图示。
[图5]
图5是示出由脸部认证单元进行的脸部识别的结果的图示。
[图6]
图6是示出包括将显示在输出装置上的脸部框架的登录屏幕的图示。
[图7]
图7是示出登录屏幕的图示，其中用户将脸部放入脸部框架中。
[图8]
图8是示出脸部区域和脸部框架之间的关系的图示。
[图9]
图9是示出从初始登录屏幕转变的登录屏幕的一个例子的图示。
[图10]
图10是示出脸部框架跟随用户的脸部运动的方式的图示。
[图11]
(a)是示出两个脸部框架彼此重叠的方式的图示，并且(b)是示出两个脸部
框架的重叠分解的方式的图示。
[图12]
(a)是示出脸部框架部分地脱离显示器的方式的图示，并且(b)是示出脸部
框架的位置已改变的状态的图示。
[图13]
图13是示出在脸部区域的左边和右边显示两个脸部框架的登录屏幕的
图示。
具体实施方式
参照图1，示出根据本发明的一个实施例的信息处理系统1。信息处理系
统1具有作为用户终端的信息处理装置10和服务器5。接入点(在下文中称
为“AP”)8具有无线接入点和路由器的功能。信息处理装置10以无线或有
线方式连接到AP8，由此在网络3上可通信地连接到服务器5。
辅助存储装置2是诸如HDD(硬盘驱动器)或闪存的大容量存储装置，
其可以是通过USB(通用串行总线)连接到信息处理装置10的外部存储装置
或内置存储装置。输出装置4可以是具有用于输出图像的显示器和用于输出
音频的扬声器的电视机或者可以是计算机显示器。输出装置4可以用有线电
缆或以无线方式连接到信息处理装置10。信息处理装置10以有线或无线方
式连接到由用户操作的输入装置6，输入装置6将指示用户操作的结果的操
作信号输出到信息处理装置10。接收到来自输入装置6的操作信号，信息处
理装置10将接收的操作信号反映到OS(系统软件)或应用程序的处理上并
且使输出装置4输出处理结果。输入装置6由两个或更多个输入单元(如两
个或更多个推压式操作按钮)、用于输入模拟量的模拟杆、和旋钮配置。
接收到来自输入装置6的操作信号，信息处理装置10将接收的操作信号
反映到应用程序的处理上并且使输出装置4输出处理结果。信息处理系统1
中的信息处理装置10是执行游戏的游戏装置，并且输入装置6是配置成将用
户的操作信号提供给信息处理装置10的设备，如游戏控制器。应当注意输入
装置6可以是输入接口，如键盘或鼠标。作为图像拍摄装置的照相机7邻近
输出装置4布置以拍摄输出装置4周围的空间的图像。在图1中，示出了照
相机7安装在输出装置4的顶部的例子，将照相机7安装在输出装置4的侧
部也是可行的；在任何情况下，照相机7布置在它可以拍摄位于输出装置4
的前面的用户的图像的位置。照相机7可以是立体照相机。
服务器5将网络服务提供给信息处理系统1的用户。服务器5管理网络
账户，该网络账户用于识别通过该网络账户的使用登入到由服务器5提供的
网络服务上的每个用户。通过从信息处理装置10登入到网络服务上，用户能
够登记游戏保存数据和作为在游戏局中赢取的虚拟奖励的奖品。
图1示出两个用户A和B正在操作作为游戏控制器的输入装置6a和6b
的方式。分别操作输入装置6a和6b，用户A和B输入登录密码，并且当由
信息处理装置10成功认证时，可以登录到信息处理装置10的OS上以享用
诸如游戏的应用程序。
近来，其中用户的运动反映到角色的运动上的游戏已推向市场。使用其
中使用用户姿势的游戏，不需要用户具有输入装置6并且因此用户可以以直
观方式移动角色。在这样的游戏中，由于用户从开始不需要使用输入装置6，
因此理想的是在登录到信息处理装置10的OS上时，用户在不使用输入装置
6的情况下进行用户认证。应当注意，不管在登录之后将由用户玩的游戏的
类型是什么，在信息处理系统1中重要的是用户可以在简单用户认证之后登
录。
所以，本实施例的信息处理系统1提供通过使用由照相机7拍摄的图像
而容易执行用户认证的技术。
参照图2，示出信息处理装置10的功能方框图。信息处理装置10配置
成包括主电源按钮20、上电LED21、备用LED22、系统控制器24、时钟26、
设备控制器30、介质驱动器32、USB模块34、闪存36、无线通信模块38、
有线通信模块40、子系统50、和主系统60。
主系统60具有主CPU(中央处理单元)，作为主存储装置的存储器和存
储器控制器，GPU(图形处理单元)等。GPU主要用于游戏程序的算术处理。
这些功能可以配置为片上系统并且形成于一个芯片上。主CPU具有启动OS
并且在由OS提供的环境中执行安装在辅助存储装置2中的应用程序的功能。
子系统50具有副CPU，作为主存储装置的存储器，存储器控制器等，
但是不具有GPU。副CPU电路门的数量小于主CPU电路门的数量并且副CPU
的操作功耗小于主CPU的操作功耗。如上所述，副CPU操作，同时主CPU
处于备用状态并且因此在其处理功能上被限制以便最小化功耗。应当注意副
CPU和存储器可以形成于不同芯片上。
主电源按钮20是用户在其上执行操作输入的输入单元，其布置在信息处
理装置10的外壳的前表面上，并且被操作以接通或关断对信息处理装置10
的主系统60的供电。在以下描述中，主电源接通表示主系统60处于活动状
态；主电源关断表示主系统60处于待机状态。当主电源按钮20接通时上电
LED21接通，并且当主电源按钮20关断时备用LED22接通。
系统控制器24检测用户对主电源按钮20的按压。当在主电源关断的情
况下按压主电源按钮20时，系统控制器24获得该按压操作作为“接通指令”；
在另一方面，当在主电源接通的情况下按压主电源按钮20时，系统控制器
24获得该按压操作作为“关断指令”。
尽管主CPU具有执行安装在辅助存储装置2或ROM介质44中的游戏
程序的功能，副CPU不具有这样的功能。然而，副CPU具有访问辅助存储
装置2的功能和将数据传输到服务器5和从服务器接收数据的功能。副CPU
配置成仅仅具有这些受限制的处理功能并且因此相比于主CPU可以以小功耗
操作。当主CPU处于备用状态时执行这些副CPU功能。本实施例中的信息
处理装置10保持它总是登入在由服务器5提供的网络服务上的状态，因为当
主系统60处于备用状态时子系统50正在操作。
时钟26是生成当前日期和时间信息的实时时钟并且将生成的当前日期
和时间信息提供给系统控制器24、子系统50和主系统60。
设备控制器30配置为诸如南桥的执行设备之间的信息的传送的LSI(大
规模集成电路)。如图中所示，设备控制器30连接到设备，例如系统控制器
24、介质驱动器32、USB模块34、闪存36、无线通信模块38、有线通信模
块40、子系统50和主系统60。设备控制器30吸收设备之间的电特性和数据
传送速度的差异，由此控制数据传送定时。
介质驱动器32是驱动单元，其加载和驱动记录有诸如游戏的应用软件和
许可证信息的ROM介质44，并且从ROM介质44读取程序和数据。ROM
介质44是只读记录介质，如光盘、磁光盘和蓝光盘。
USB模块34是配置成通过USB电缆提供与外部设备的连接的模块。USB
模块34可以经由USB电缆连接到辅助存储装置2和照相机7。闪存36是组
成内部存储装置的辅助存储装置。无线通信模块38例如以无线方式通过使用
诸如蓝牙(商标)协议和IEEE802.11协议的通信协议与输入装置6通信。应
当注意无线通信模块38可以符合基于ITU(国际电信联盟)所规定的
IMT-2000(国际移动电信2000)标准的第三代(第3代)数字移动电话方案
或进一步符合其他代的数字移动电话方案。有线通信模块40以有线方式与外
部设备通信并且例如经由AP8连接到网络3。
在本实施例的信息处理系统1中，如果在信息处理装置10掉电的情况下
用户按压主电源按钮20，信息处理装置10接通主电源以激活OS(系统软件)，
由此执行不使用输入装置6的用户的登录处理。在该登录处理中，信息处理
装置10用作基于由照相机7拍摄的图像的脸部认证系统。以下描述信息处理
装置10的操作。
参照图3，示出了信息处理装置10的内部配置。信息处理装置10具有
输入接收部分102、图像捕捉部分104、登录控制器110和注册用户信息保持
部分130。登录控制器110具有拍摄图像显示单元112、脸部认证单元114、
脸部框架处理单元116、优先级确定单元118和登录处理单元120。输入接收
部分102接受来自用户的操作信息并且图像捕捉部分104捕捉由照相机7拍
摄的图像。照相机7以预定周期拍摄空间图像，例如每1/30秒一个空间图像,
并且将拍摄图像提供给图像捕捉部分104。照相机7布置成使得其光轴朝着
输出装置4的前面定向并且因此照相机7拍摄存在于输出装置4的前面的用
户。
在图3中，作为执行各种类型的处理的功能块描述的部件可以在硬件方
面由电路块、存储器和其他LSI配置并且在软件方面由存储在存储器中的程
序等实现。所以，本领域的技术人员理解这些功能块可以仅仅由硬件、仅仅
由软件或由其组合以各种方式实现，并且对上述实现的类型没有限制。在本
实施例中，拍摄图像显示单元112、脸部框架处理单元116和优先级确定单元
118的功能由脸部认证应用程序实现并且脸部认证单元114的功能由脸部识
别引擎实现，当按压主电源按钮20时由OS自动地激活脸部认证应用程序和
脸部识别引擎。应当注意脸部认证应用程序和脸部识别引擎可以配置为一个
应用程序。
本实施例中的信息处理装置10的特征中的一个是支持用户的简单登录
操作。为了登录到信息处理装置10的OS上，用户必须事先获得用户账户并
且将获得的用户账户注册到信息处理装置10中。在下文中，在信息处理装置
10中已注册用户账户的用户称为“注册用户”。
注册用户信息保持部分130保持与每个注册用户相关的各种信息，并且
更具体地说，作为注册用户信息与用户账户相关联地保持脸部识别数据、用
户在线ID(网络上的昵称)和登录密码。脸部识别数据在这里是每个注册用
户的脸部图像的特征量数据，但是可以是脸部图像数据本身。脸部识别数据
是在脸部识别处理中将由脸部认证单元114比较的数据，并且根据由脸部认
证单元114使用的脸部识别算法生成。例如，脸部识别数据可以是通过提取
脸部部分的相对位置和尺寸以及眼、鼻、颧骨和颚的形状作为特征获得的数
据。此外，脸部识别数据可以是通过从脸部图像的标准数据提取差异数据获
得的数据。将提取哪条脸部识别数据取决于所使用的脸部识别算法；在本实
施例中，脸部认证单元114使用已知的脸部识别算法。
在下文中，假设至少用户A和B的注册用户信息存储在注册用户信息保
持部分130中，并且用户A的在线ID是“HANAKO”，用户B的在线ID是
“SACHIKO”。
以下描述当注册用户登录到信息处理装置10的OS上时将执行的处理。
在该登录处理中，用户在不使用输入装置6的情况下登录。当用户按压信息
处理装置10的主电源按钮20时，信息处理装置10的主电源接通，此时输入
接收部分102接收主电源按压信息作为来自用户的登录请求。当输入接收部
分102接收到登录请求时，实现登录控制器110中的每个功能。登录控制器
110具有在用户脸部识别的结果的基础上决定是否允许用户登录的功能。
当输入接收部分102接收到基于主电源的按压的登录请求时，拍摄图像
显示单元112将由图像捕捉部分104获取的拍摄图像显示到作为显示器的输
出装置4上。因此，由照相机7拍摄的现场图像显示在输出装置4上，由此
在输出装置4上显示存在于输出装置4的前面的用户。
参照图4，示出由照相机7拍摄的空间的一个例子。在该拍摄图像空间
中，有三个用户。如图4中所示，围住用户的方框表示照相机7的图像拍摄
范围。对于照相机7的图像拍摄范围，假设在输出装置4上显示为现场图像
的范围；现场图像可以是拍摄图像的一部分。脸部认证单元114从拍摄图像
提取估计为人脸的部分，导出该部分的特征量数据，并且比较导出的数据和
保持在注册用户信息保持部分130中的脸部识别数据，由此确定所提取的脸
部是注册用户的脸部。
更具体地说，脸部认证单元114导出用户的提取的脸部图像的特征量数
据和保持在注册用户信息保持部分130中的所有注册用户的脸部识别数据之
间的匹配程度。数字地表示该匹配程度；例如，以一百中的分数的形式导出
匹配程度。如果与注册的脸部图像的特征量数据的匹配程度为90分或更高，
则脸部认证单元114确定被拍摄图像的用户是注册用户并且识别哪个注册用
户是被拍摄图像的用户。应当注意，如果有两条或更多条匹配程度超过90分
的特征量数据，脸部认证单元114可以确定被拍摄图像的用户是已导出最大
分数的脸部识别数据的注册用户。应当注意，如果作为从拍摄图像提取的用
户脸部图像的特征量数据和所有注册用户的脸部识别数据之间的匹配程度的
导出的结果，没有匹配程度超过90分的特征量数据，脸部认证单元114确定
包括在拍摄图像中的用户不是注册用户。因此，通过使用保持在注册用户信
息保持部分130中的脸部识别数据，脸部认证单元114检测存在于拍摄图像
中的每个注册用户的脸部图像。对于该脸部识别技术，可以使用已知技术。
在本实施例中，该处理定位为第一阶段脸部认证。
参照图5，示出由脸部认证单元114执行的脸部识别的结果。在这里确
定在左边的用户是用户A，在右边的用户是用户B，并且在中间的用户不是
注册用户。脸部认证单元114设置指示拍摄图像中的用户A(在线ID：
HANAKO)的脸部的位置的脸部区域200a和指示拍摄图像中的用户B(在线
ID：SACHIKO)的脸部的位置的脸部区域200b，并且将脸部区域200a和200b
的位置坐标和用于识别成像的注册用户的信息提供给脸部框架处理单元116。
在下文中，示出了位置坐标由当拍摄图像显示在显示器上时使用的二维坐标
表示的例子；位置坐标是在VRAM中定义的坐标也是可行的。在任何情况下，
只需在共同坐标系上表示脸部区域200的坐标和随后将描述的脸部框架的坐
标。
每个脸部区域200可以设置为接触拍摄图像中的脸部的轮廓的矩形区域
或设置为略大于脸部轮廓的矩形区域。应当注意在这里脸部的轮廓表示包括
头发的轮廓；如果由脸部认证单元114进行的脸部识别处理不考虑头发，设
置没有头发的脸部的轮廓也是可行的。脸部区域200的尺寸和形状由拍摄图
像中的用户的脸部的尺寸和形状确定，使得脸部区域200的尺寸和形状在用
户之间不同，并且甚至在相同用户的情况下，脸部区域200的尺寸和形状取
决于离照相机7的距离而变化。
从脸部认证单元114提供给脸部框架处理单元116的用于识别注册用户
的信息可以是注册用户的用户账户或其在线ID。脸部认证单元114通过使这
些信息项目彼此相关，将脸部区域200的位置坐标和注册用户识别信息提供
给脸部框架处理单元116，即在图5所示的例子中，将脸部区域200a和用户
A识别信息的组合以及脸部区域200b和用户B识别信息的组合提供给脸部框
架处理单元116。
针对由脸部认证单元114检测的注册用户，脸部框架处理单元116在输
出装置4上显示脸部框架。显示该脸部框架，使得当登录时注册用户可以相
对于脸部框架移动和布置脸部。所以，将注册用户的脸部放置到显示在输出
装置4上的脸部框架中，注册用户能够登录到信息处理装置10上。
参照图6，示出包括将显示在输出装置4上的脸部框架的登录屏幕。在
从脸部认证单元114提供的脸部区域200a和脸部区域200b的位置坐标以及
用于识别被拍摄图像的注册用户的信息的基础上，脸部框架处理单元116针
对注册用户显示脸部框架210。在这里，针对用户A显示脸部框架210a并且
针对用户B显示脸部框架210b。在这时，脸部框架处理单元116邻近脸部框
架210a显示用户A的在线ID并且邻近脸部框架210b显示用户B的在线ID。
因此，用户A和B能够知道已正确地进行他们自己的脸部识别，然后将脸部
分别移动到脸部框架210a和脸部框架210b。应当注意，如果邻近在自己脸部
附近显示的脸部框架210显示另一用户的在线ID，则该用户能够知道还未正
确地进行脸部识别并且因此不进行将脸部移动到脸部框架210中的操作。应
当注意，由于在中心处的用户不是注册用户，因此针对该用户不显示脸部框
架210。
脸部框架处理单元116将ID附加到每个脸部框架210，并且将脸部框架
ID、脸部框架210的位置坐标、和显示脸部框架210所针对的用户的识别信
息提供给脸部认证单元114。应当注意将由脸部框架处理单元116提供给脸部
认证单元114的脸部框架210的位置坐标可以是脸部框架210本身的位置坐
标或包围脸部框架210的矩形坐标。在下文中，脸部框架210本身的位置坐
标和包围脸部框架210的矩形的位置坐标统称为脸部框架位置坐标。脸部框
架位置坐标用于在脸部认证单元114中检测用户脸部图像。
例如，脸部框架处理单元116将脸部框架210a的脸部框架ID设置为
“ID1”并且将脸部框架210b的脸部框架ID设置为“ID2”，并且将“ID1”、
脸部框架210a的位置坐标和用户A的识别信息的组合以及“ID2”、脸部框
架210b的位置坐标和用户B的识别信息的组合提供给脸部认证单元114。另
外，脸部框架处理单元116将脸部框架ID和显示脸部框架210所针对的用户
的识别信息提供给登录处理单元120。所以，在这里，脸部框架处理单元116
将“ID1”和用户A的识别信息的组合以及“ID2”和用户B的识别信息的组
合提供给登录处理单元120。
参照图7，示出用户脸部被放置在脸部框架中的登录屏幕。在这里，登
录屏幕示出用户A移动他或她的脸部和身体从而将脸部放置到显示在输出装
置4上的脸部框架210a中的方式。脸部认证单元114监视人脸是否在脸部框
架210中；如果发现脸部在脸部框架210中，则通过使用保持在注册用户信
息保持部分130中的脸部识别数据，脸部认证单元114确定脸部框架210中
的脸部是否是注册用户的脸部。
脸部认证单元114可以在从脸部框架处理单元116提供的脸部框架210
的位置坐标的基础上监视人脸是否在脸部框架210中。脸部识别算法是如先
前所述的那样，并且如果脸部认证单元114估计人脸包括在脸部框架210中，
脸部认证单元114导出该部分的特征量数据，并且比较导出的特征量数据和
保持在注册用户信息保持部分130中的脸部识别数据，由此确定提取的脸部
是注册用户的脸部。应当注意脸部认证单元114已接收来自脸部框架处理单
元116的脸部框架ID、脸部框架210的位置坐标和显示脸部框架210所针对
的用户的识别信息的组合，并且比较包括在脸部框架210中的人脸图像的特
征量数据和显示脸部框架210所针对的用户脸部识别数据。由于事先向脸部
认证单元114通知将包括在脸部框架210中的用户，因此脸部认证单元114
不需要比较包括在脸部框架210中的脸部的特征量数据和所有注册用户的脸
部识别数据，由此高效地执行脸部识别处理。在这时，脸部认证单元114可
以通过检测注册用户的脸部已在脸部框架210中预定时间(例如若干秒)而
确定注册用户的脸部已放置到脸部框架210中。
在图7所示的例子中，脸部认证单元114确定脸部框架210a中的脸部是
用户A的脸部。在本实施例中，该处理定位为第二阶段脸部认证。第一阶段
和第二阶段脸部认证在登录时完成用户认证。在用户打算登录的基础上执行
用户将脸部放置到脸部框架210中的动作，如果用户不想登录，脸部可以不
放置在脸部框架210中。因此，在本实施例中，第一阶段脸部认证检测将可
能登录的注册用户并且第二阶段脸部认证检测有意愿登录的注册用户。注册
用户可以仅仅通过执行将他或她的脸部放置到脸部框架210中的简单操作而
被认证。由此可以在登录时最小化用户操作负担。
当检测到用户A的脸部在脸部框架210a中时，脸部认证单元114向登
录处理单元120通知用于识别脸部框架210a的脸部框架ID和用于识别用户
A的用户识别信息。如上所述，事先从脸部框架处理单元116向登录处理单
元120通知脸部框架ID和显示脸部框架210所针对的用户的识别信息。当接
收到来自脸部认证单元114的脸部框架ID和用户识别信息时，登录处理单元
120提取与从脸部框架处理单元116接收的脸部框架ID相关的用户识别信息，
由此确定这些用户识别信息之间的匹配。在这里，针对ID1的脸部框架ID接
收的两条信息都是用户A的识别信息，使得登录处理单元120识别出在针对
用户A显示的脸部框架210a中检测到用户A的脸部。因此，登录处理单元
120允许用户A登录到信息处理装置10上。
应当注意，在上述的例子中，脸部认证单元114比较期望包括在脸部框
架210中的一个用户的脸部识别数据和包括在脸部框架210中的脸部的特征
量数据；比较所有注册用户的脸部识别数据和包括在脸部框架210中的脸部
的特征量数据也是可行的。因此，脸部认证单元114有时可以检测针对用户
A显示的脸部框架210a中的除了用户A以外的注册用户的脸部。脸部认证单
元114向登录处理单元120通知用于识别包括在脸部框架210中的用户的用
户识别信息和脸部框架ID，并且登录处理单元120将通知的脸部框架ID和
识别信息与事先从脸部框架处理单元116接收的脸部框架ID和显示脸部框架
210所针对的用户的识别信息进行比较。如果对于相同的脸部框架ID，显示
脸部框架210所针对的用户的识别信息和实际上在脸部框架210中检测到的
用户的识别信息彼此不同，即，如果在针对用户A显示的脸部框架210a中检
测到除了用户A以外的注册用户的脸部，则登录处理单元120确定在脸部框
架210中检测到的脸部图像不是用户A的脸部并且因此不允许用户A或其脸
部在脸部框架210a中的注册用户登录。
如上所述，在本实施例中，登录控制器110允许注册用户在脸部认证的
两个阶段的用户认证之后登录。例如，在第一阶段脸部认证处理中，在第一
拍摄图像中检测到人脸并且确定检测的脸部是否是注册用户的脸部之后，不
需要执行脸部认证处理，除非对新用户进行了成像。应当注意在该情况下，
在拍摄图像中跟踪检测到的人的脸部，并且拍摄图像中的脸部图像的位置坐
标被不断地提供给脸部框架处理单元116。也应当注意可以以预定周期执行
脸部认证并且可以在不执行脸部认证的时间区域中跟踪检测到的人的脸部。
在一个注册用户通过第二阶段脸部认证处理登录之后，如果有还未登录但是
已经被成像的另一注册用户，可以保持显示登录屏幕直到该注册用户登录。
在这时，理想的是脸部框架处理单元116从输出装置4删除针对登录用户显
示的脸部框架210。应当注意，如果可以通过该脸部认证登录的注册用户的
数量被限制到一个人，则在一个注册用户登录之后，登录屏幕可以转变到例
如由信息处理装置10的OS提供的主屏幕。也应当注意，如果在脸部框架210
被显示在登录屏幕中之后，脸部认证单元114持续预定时间段而不能在脸部
框架210中检测到任何脸部，则通过脸部认证进行的登录处理可以结束以转
变到通过使用输入装置6进行的登录处理。如果用户不想通过脸部认证进行
登录处理，则通过脸部认证进行的登录处理可以例如使用输入装置6结束，
以转变到通过使用输入装置6进行的登录处理。
本实施例的信息处理装置10允许每个用户通过由两个阶段组成的脸部
认证登录。以下描述脸部框架210的显示模式。应当注意，在图8至13中，
仅仅显示包括在拍摄图像中的注册用户A和B的脸部，并且为了说明目的省
略除了脸部以外的身体部分和其他用户的显示。
脸部框架处理单元116在从脸部认证单元114提供的脸部区域200a和脸
部区域200b的位置坐标和用于识别被拍摄图像的注册用户的信息的基础上
显示用于注册用户的脸部框架210。从脸部认证单元114提供的脸部区域200
的位置坐标可以是例如设置为矩形的脸部区域200的四个顶点的坐标值。
参照图8，示出脸部区域200和脸部框架210之间的关系。应当注意，
在输出装置4中，实际上不显示指示脸部区域200的虚线；然而，在这里，
为了描述脸部区域200和脸部框架210之间的关系，显示脸部区域200的虚
线。应当注意它不一定意味着示不应当显示脸部区域200的虚线；不用说，
可以显示这些线。
脸部框架处理单元116在用户容易放入他或她的脸部的位置处显示脸部
框架210，并且如果用户不打算放入他或她的脸部，不使脸部进入。在图8
所示的例子中，脸部框架处理单元116将脸部框架210布置成使得脸部框架
210的一部分与在输出装置4上显示的注册用户的脸部图像重叠。因此，脸
部框架210布置在用户容易放入他或她的脸部的位置处，并且同时，注册用
户可以容易地辨识出他或她将把脸部放置在哪个脸部框架210中。另外，脸
部框架处理单元116相对于脸部区域200的垂直方向以预定角显示脸部框架
210。这防止用户将他或她的脸部放置在脸部框架210中，除非用户有意地倾
斜头部，由此减小无意登录的用户的脸部意外进入脸部框架210中的可能性。
根据在登录屏幕中检测到的注册用户的脸部图像的尺寸，即，脸部区域
200的尺寸，脸部框架处理单元116设置脸部框架210的尺寸。脸部框架210
的尺寸可以与脸部区域200的尺寸相同；希望的是脸部区域200的尺寸至少
配合在脸部框架210中。由于脸部框架210相对于脸部区域200以一角度显
示，因此显示略大于脸部区域200的脸部框架210便于用户将他或她的整个
脸部放置到脸部框架210中。
应当注意脸部框架处理单元116可以在用户体貌特征的基础上确定脸部
框架210的显示位置。例如，在矮人和高人之间存在头部倾斜的行程差异；
即，高人可以比矮人更大地倾斜他或她的头部。所以，注册用户信息保持部
分130可以事先保持每个用户的身高作为注册用户信息，并且脸部框架处理
单元116可以根据每个注册用户的身高确定脸部框架210相对于脸部区域200
的垂直方向的角度。在该情况下，进行设置，使得与较小的人相比，对于更
高的人，脸部框架210的倾斜角度更大。还设置为与较小的人相比，对于更
高的人，脸部框架210和脸部区域200之间的重叠的比率更小。因此，脸部
框架处理单元116可以在每个注册用户的体貌特征的基础上确定每个注册用
户的脸部框架210的显示位置。
此外，在显示两个或更多个注册用户的脸部框架210时，脸部框架处理
单元116显示两个或更多个脸部框架210，使得这些脸部框架210不彼此重
叠。在图8所示的例子中，用户A的脸部框架210a和用户B的脸部框架210b
不彼此重叠。如果在脸部框架210a和脸部框架210b之间有重叠，则如果用
户A和用户B想要将其脸部分别放置到脸部框架210a和脸部框架210b中，
存在他们的头部碰撞的可能性。所以，理想的是显示两个或更多个脸部框架
210而不彼此重叠。
为了显示两个或更多个脸部框架210以便不彼此重叠，脸部框架处理单
元116导出两个或更多个脸部区域200的重心坐标。脸部框架处理单元116
导出每个脸部区域200的重心坐标，然后从每个脸部区域200的重心坐标导
出两个或更多个脸部区域200的重心坐标。如果脸部区域200的重心坐标位
于该导出的重心坐标的右侧，将脸部框架210显示在脸部区域200的右侧；
如果脸部区域200的重心坐标位于两个或更多个脸部区域200的重心坐标的
左侧，将脸部框架210显示在脸部区域200的左侧。在图8所示的例子中，
脸部框架210a被显示在脸部区域200a的左侧并且朝着左侧倾斜；并且脸部
框架210b被显示在脸部区域200b的右侧并且朝着右侧倾斜。该布置允许脸
部框架处理单元116显示两个或更多个脸部框架210而不彼此重叠。应当注
意导出两个或更多个脸部区域200的重心坐标的方法不限于上文所述的方
法；例如，两个或更多个脸部区域200的重心坐标可以通过使用每个脸部区
域200的中心坐标导出，或者两个或更多个脸部区域200的水平重心坐标可
以通过使用每个脸部区域200的左端坐标或右端坐标导出。
应当注意，到目前为止已描述的内容基本上是用于显示初始登录屏幕的
处理。在针对每个用户显示脸部框架210之后，每个用户可以在成像范围内
部移动。如果发生该情况，每个脸部区域200的重心坐标变化并且然后两个
或更多个脸部区域200的重心坐标相应地变化；然而，如果在脸部框架210
之间没有重叠，则初始设置的脸部框架210的位置被保持，即，脸部框架210
的位置没有变化。如果在显示初始登录屏幕之后，执行控制使得参考两个或
更多个脸部区域200的重心坐标的水平轴坐标值确定脸部框架210的显示位
置，并且如果一个用户的脸部区域200存在于两个或更多个脸部区域200的
重心坐标的水平轴坐标值附近，则重复从该位置起延伸超过所述坐标值的运
动交替地在右侧和左侧之间显示脸部框架210。为了避免这样的情况，如果
一旦确定脸部框架210相对于脸部区域200的右侧显示或左侧显示，脸部框
架处理单元116保持所确定的显示位置，除非发生与另一脸部框架210的重
叠。
参照图9，示出了从初始登录屏幕转变的登录屏幕的一个例子。在这里，
为了描述的方便，没有示出用户B的脸部图像；然而，实际上，可以在登录
屏幕中显示用户B的脸部。
在该登录屏幕中，脸部认证单元114不能在拍摄图像中检测到用户B并
且因此不能设置脸部区域200b。由于未检测到用户B部分地是由于脸部认证
单元114的脸部识别精度，因此即使脸部认证单元114不能检测到用户B，
它也不必然意味着用户B已从照相机7出框。所以，即使在预定条件下脸部
认证单元114未检测到用户B，脸部框架处理单元116也继续显示曾经显示
的脸部框架210b。因此，在脸部认证单元114在用户B的成功检测和不成功
检测之间交替的情况下，可以避免脸部框架210b的显示和不显示之间的交
替。应当注意，如果脸部认证单元114在脸部框架210b中检测到用户B的脸
部图像，登录处理单元120可以允许用户B登录。如果由脸部认证单元114
向脸部框架处理单元116通知还未检测到用户B，脸部框架处理单元116可
以使脸部框架210b的显示方式不同于脸部区域200a被设置到的脸部框架
210a的显示方式。例如，可以以闪烁方式显示脸部框架210b。这允许用户B
知道即使他或她使脸部进入脸部框架210b中，用户B也不能在那时登录。
在上面已描述即使未检测到用户B，在预定条件下也保持显示脸部框架
210b。以下描述这些预定条件。
首先，作为一个预定条件，在显示两个或更多个注册用户的脸部框架210
时，脸部框架处理单元116将待显示的脸部框架210的数量限制到预定值。
这是由于难以在输出装置4上显示许多脸部框架210。即使可以显示许多脸
部框架210，也预测到用户的头部倾斜操作变得困难，因为脸部框架210彼
此太接近。所以，脸部框架210的数量的上限例如设置为四，并且即使由脸
部认证单元114在拍摄图像中检测到五个或更多个注册用户，脸部框架处理
单元116也显示四个人的脸部框架210。
在这时，脸部框架处理单元116需要确定将显示哪个用户的脸部框架
210。为了提供用于该确定的标准，优先级确定单元118确定显示两个或更多
个被拍摄图像的注册用户的脸部框架210时的优先级。如下确定该优先级。
(a)首先，确定包括在初始登录屏幕中的注册用户的优先级。如果用户A
和B包括在初始登录屏幕中，则优先级确定单元118可以确定用户A或B中
登录数量(number)较大的是第一并且登录数量较小的是第二。例如，如果
用户B的登录数量大于用户A的登录数量，则用户B是第一并且用户A是
第二。应当注意优先级确定单元118可以将具有更大脸部区域200的用户的
优先级确定为更高。优先级确定单元118可以在由脸部认证单元114设置的
两个或更多个脸部区域200的面积之间进行比较，以将更大脸部区域200的
用户的优先级确定为更高。如果照相机7是立体照相机，则可以测量用户和
照相机7之间的距离，使得优先级确定单元118可以将离照相机7的距离更
短的用户的优先级确定为更高。
(b)接着，将显示初始登录屏幕之后包括在登录屏幕中的注册用户的优
先级确定为更高。也就是说，优先级确定单元118将由照相机7新成像的注
册用户的优先级确定为第一并且将已经成像的注册用户的优先级降低一级。
所以，如果用户C由照相机7新成像，用户C是第一，用户B是第二，并且
用户A是第三。因此，优先级确定单元118设置(b)优于(a)的标准，并且将由
脸部认证单元114新辨识的用户的优先级设置为更高。
优先级确定单元118确定由照相机7成像的注册用户的优先级；在这里
假设由于用户D和E的新的图像拍摄，用户B的优先级下降到第四。因此，
在这时，用户A的优先级是第五，并且脸部框架处理单元116显示每一个被
设置为第一至第四之一的用户B、C、D和E的脸部框架210。如果脸部认证
单元114未检测到用户B，脸部框架处理单元116擦除用户B的脸部框架210b
并且显示用户A的脸部框架210a。优先级确定单元118将脸部认证单元114
未检测到的用户的优先级下降到最低，由此确定显示优先级。
如上所述，优先级确定单元118确定显示两个或更多个被拍摄图像的注
册用户的脸部框架210的优先级，并且脸部框架处理单元116根据由优先级
确定单元118确定的优先级在预定上限范围内显示脸部框架210。
如上所述，将脸部框架210b保持显示在图9中所示的登录屏幕中的条件
是在该登录屏幕中未检测到四个或更多个注册用户；只要满足这样的条件，
脸部框架处理单元116就继续显示脸部框架210b。
参照图10，示出了脸部框架210跟随用户脸部的运动的方式。期望用户
在照相机7的图像拍摄范围内做各种运动。一种运动用于登录，即，用于将
脸部放置到脸部框架210中的运动；独立于这样的登录操作，用户有时简单
地移动、坐下和站起，它们都不是登录操作。
如果用户脸部的运动不是登录操作，则脸部框架处理单元116使脸部框
架210跟随用户脸部的运动并且相应地显示脸部框架210。脸部框架处理单
元116确定脸部区域200的重心坐标的运动是否在该运动接近脸部框架210
的重心坐标的方向上。在这时，如果发现脸部区域200的重心坐标在接近脸
部框架210的重心坐标的方向上移动，则脸部框架处理单元116确定用户脸
部的运动是登录操作并且保持脸部框架210的位置，即不改变所述位置。在
另一方面，如果发现脸部区域200的重心坐标在从脸部框架210的重心坐标
离开的方向上移动，则脸部框架处理单元116确定用户脸部的运动不是登录
操作并且使脸部框架210跟随脸部区域200的运动，相应地显示脸部框架210。
在图10所示的例子中，用户B的脸部正在向左移动，用户B的脸部框架210
向右侧脱离，使得脸部框架处理单元116确定用户B的脸部的运动不是登录
操作，由此使脸部框架210b跟随脸部区域200b的运动。
应当注意，如前面所述，显示脸部框架210使得其一部分与脸部区域200
重叠。因此，即使脸部框架210和脸部区域200之间的位置关系稍稍偏离，
用户仍然能够容易地将脸部放置到脸部框架210中。所以，即使脸部区域200
移动，只要脸部框架210的一部分与脸部区域200重叠，脸部框架处理单元
116可以不改变脸部框架210的位置，并且当重叠消除时，使脸部框架210
跟随脸部区域200。
在上述的配置中，关注相对于照相机7是横向的用户运动；然而，用户
可以相对于照相机7在前后方向上移动。当用户朝着照相机7移动时，用户
的脸部图像在登录屏幕中变得更大，而当用户远离照相机7移动时，用户的
脸部图像在登录屏幕中变得更小。如果脸部区域200的尺寸的变化超过预定
比率，脸部框架处理单元116确定用户脸部的运动不是登录操作，此时脸部
框架处理单元116可以使脸部框架210跟随用户脸部的运动并且重置脸部框
架210的尺寸和显示位置，由此显示重置的脸部框架210。因此，通过使脸
部框架210不仅在横向方向上跟随用户脸部图像的运动而且在前后方向上跟
随用户脸部图像的运动并且相应地显示脸部框架210，脸部框架处理单元116
可以便利于用户执行登录操作。
参照图11(a)，示出了两个脸部框架210彼此重叠的状态。由于在显示初
始登录屏幕之后相对于照相机7用户A向右方向和用户B向左方向的运动导
致该状态。如上所述，不允许两个或更多个脸部框架210的重叠，使得脸部
框架处理单元116必须避免图11(a)中所示的情况。
参照图11(b)，示出了用户B的脸部框架210b布置到左侧的状态。脸部
框架处理单元116根据由优先级确定单元118指定的优先级改变脸部框架210
的布置。更具体地说，如果两个脸部框架210彼此重叠，脸部框架处理单元
116重置具有较低优先级的用户的脸部框架210的位置，使得该脸部框架210
将不与具有较高优先级的用户的脸部框架210重叠。已描述优先级确定单元
118根据被拍摄图像的用户的顺序和脸部区域200的尺寸确定显示脸部框架
210时的优先级。关注脸部区域200的尺寸，脸部区域200的尺寸由于用户
的前后运动改变。所以，优先级确定单元118取决于当时的脸部图像的尺寸
依序地设置优先级。在这里，由于用户A的脸部区域200a大于用户B的脸
部区域200b，因此优先级确定单元118将脸部框架210a的优先级设置为高于
脸部框架210b。所以，脸部框架处理单元116在与脸部框架210a没有重叠的
位置处显示脸部框架210b而不移动脸部框架210a，由此避免脸部框架210a
和脸部框架210b之间的重叠。
应当注意，如果由于脸部框架210b重定位到脸部区域200b的左侧，发
生与另一用户的脸部框架210的重叠，则与所述另一用户的脸部框架210进
行优先级的比较。例如，如果变得有必要进一步重定位脸部框架210，但是
重定位导致与具有更高优先级的脸部框架210重叠，或者如随后参照图12将
描述的，导致部分脱离显示器，则脸部框架处理单元116停止该脸部框架210
的显示。
参照图12(a)，示出了脸部框架210在登录屏幕中部分地脱离显示器的状
态。如参照初始登录屏幕所述，如果脸部框架处理单元116参考两个或更多
个脸部区域200的重心坐标确定脸部框架210a和210b相对于脸部区域200a
和200b的显示位置，则脸部框架210a被布置在脸部区域200a的左侧。然而，
如图12(a)中所示，脸部框架210a可能部分地脱离显示器。
所以，如果脸部框架210部分地脱离显示器并且不能以其整体显示，脸
部框架处理单元116将脸部框架210显示在脸部区域200的相反侧。
参照图12(b)，示出了脸部框架210的显示位置改变的状态。如图所示，
理想的是脸部框架处理单元116确定脸部框架210的显示位置，使得脸部框
架210的整体显示在显示器上。
尽管已使用具体术语描述了本发明的一个优选实施例，但是这样的描述
仅仅为了说明的目的，并且本领域的技术人员应当理解可以在每个部件和处
理过程或它们的组合中进行各种改变和变化而不脱离本发明的精神或范围。
描述了在实施例中如果作为脸部认证单元114进行的匹配程度的计算的
结果，有两个或更多个匹配程度为90分或以上的人，脸部认证单元114确定
被拍摄图像的用户是导出最大分数的注册用户，此时脸部框架处理单元116
在脸部区域200附近显示一个脸部框架210。在变型中，如果有两个或更多
个匹配程度超过90分的人，例如可以显示最高的两个用户的脸部框架210。
参照图13，示出两个脸部框架210a和210c被显示在脸部区域200a的
左侧和右侧的例子。例如，如果用户A(在线ID：HANAKO)和用户C(在
线ID：TAKAKO)是双胞胎并且都是注册用户，他们的脸部常常看上去很像。
所以，可以显示两个人的脸部框架210a和210c以允许用户选择脸部框架210
中的一个。
在图11(b)中，将脸部框架210b重定位在脸部区域200b的左侧，脸部框
架210a与用户B的脸部区域200b重叠。脸部框架处理单元116可以设置脸
部框架210的位置，使得不仅避免脸部框架210之间的重叠，而且避免脸部
框架210a和脸部区域200b之间的重叠，即，避免一个用户的脸部框架210
和另一用户的脸部区域200之间的重叠。在该情况下，脸部框架处理单元116
将脸部框架210a显示在脸部区域200a的右侧，由此避免脸部框架210a和脸
部区域200b之间的重叠。
另外，已参考实施例描述了脸部框架处理单元116针对一个注册用户显
示脸部框架210一次；为了保证登录意图的确认而显示脸部框架210两次或
更多次也是可行的。例如，如图8中所示，如果在脸部框架处理单元116将
脸部框架210a显示在用户A的左侧之后，脸部认证单元114检测到用户A
的脸部图像包括在脸部框架210a中，则脸部框架处理单元116可以将脸部框
架210a再次显示在用户A的右侧。在这时，如果脸部认证单元114检测到用
户A的脸部图像包括在显示在用户A的右侧的脸部框架210a中，登录处理
单元120让用户A登录。因此，由脸部框架处理单元116在相对于用户A的
脸部位置的不同位置处显示脸部框架210a两次或更多次并且由脸部认证单元
114检测每个脸部框架210a中的用户A的脸部图像使得登录处理单元120能
够确定地允许具有登录意图的用户A登录。
[附图标记列表]
1…信息处理系统，4…输出装置，7…照相机，10…信息处理装置，
20…主电源按钮，102…输入接收部分，104…图像捕捉部分，110…登录
控制器，112…拍摄图像显示单元，114…脸部认证单元，116…脸部框架处
理单元，118…优先级确定单元，120…登录处理单元，130…注册用户信
息保持部分
本发明可应用于配置成执行用户脸部识别的处理装置。