图像处理设备、成像设备、图像处理方法和程序 【技术领域】
本发明涉及图像处理设备，具体地讲，涉及一种识别包括在图像中的特定对象的图像处理设备和成像设备及其处理方法以及使得计算机执行该方法的程序。
背景技术
近年来，在数字相机、数字摄像机(例如，一体型相机/录像机)和蜂窝电话中实现的诸如微型相机的成像设备的性能得到提高。最近，识别对象为何物的对象识别技术得到广泛关注。作为这种对象识别技术，例如提出了面部检测技术，在该面部检测技术中，通过图像处理从成像图像中检测人的面部。
提出了如下的技术(所谓的面部属性确定技术)：利用这种面部检测技术，通过对检测到的面部进行图像处理进一步确定诸如面部表情、年龄、年龄组等的各种类型的面部属性。例如，提出了一种成像设备，利用该成像设备，在成人和儿童均作为对象包括在成像图像中的情况下，基于确定的面部属性(例如，面部的年龄和年龄组)，与成人相比，优先对儿童进行成像从而使得看起来更好。另外，例如，提出了一种成像设备，其中，针对检测到的面部利用面部检测技术计算关于特定面部表情的面部表情评价值(例如，微笑程度)，并且在该面部表情评价值超过阈值的情况下，自动执行成像图像的记录操作(例如，参见日本未审专利申请公报No.2008‑42319)。
【发明内容】
根据上述的现有技术，能够利用针对检测到的面部确定的面部属性来执行成像图像的记录操作。然而，没有考虑针对检测到的面部是否是特定人的面部进行确定并且针对特定人的面部执行各记录操作的情况。
现在，例如，在安全领域中提出了用于识别特定人的面部的个人识别技术。可以想到的是，可以通过对成像设备应用该个人识别技术以最佳方式对特定人执行对焦、曝光加倍、肤色调整等的控制。
为了执行这种个人识别，例如，用于识别要进行识别的特定人的特定个人信息(例如，关于特定人的面部的特征量)必须登记在成像设备中。另外，为了执行高精度的个人识别，登记适宜的特定个人信息是重要的。例如，将诸如特定人的面部的朝向、眼睛的开/闭状态、面部表情等的可变要素设置到标准状态，然后必须登记关于这样的面部的特定个人信息。作为这种特定个人信息的登记方法，例如，可以想到如下的登记方法，其中，在执行要登记的人的成像操作的同时通过手动用户操作将特定个人信息登记在成像设备。然而，初学者通过这种登记方法登记适宜的特定个人信息有可能是困难的。
另外，例如，特定个人信息有可能随着时间改变。因此，在适宜定时更新适宜的特定个人信息是重要的，但是在通过手动用户操作登记特定个人信息的情况下，有可能特定个人信息不会在适宜定时被更新。因此，预先登记适宜的特定个人信息并且然后适宜地执行个人识别是重要的。
已发现期望适宜地执行个人识别。
根据本发明的实施例，提供了一种图像处理设备、其处理方法和使得计算机执行该方法的程序，该图像处理设备包括：对象信息存储单元，用于存储与多个对象相关的特征量和属性；对象检测单元，用于检测包括在图像中的对象；属性确定单元，用于确定所检测到的对象的属性；特征量提取单元，用于提取与所检测到的对象相关的特征量；以及相似度计算单元，用于基于所确定的属性，从存储在所述对象信息存储单元中的与多个对象相关的特征量中选择一个或多个特征量，从而基于所选择的特征量和所提取的特征量计算对应于所选择的特征量的对象与所检测到的对象之间的相似度。因此，提供了一种操作，其中，基于缩确定的属性从与多个对象相关的特征量中选择一个或多个特征量，并且基于选择的特征量和提取的特征量计算对应于选择的特征量的对象与检测到的对象之间的相似度。
所述对象检测单元可检测包括在所述图像中的人的面部作为对象；所述属性确定单元将年龄或性别中的至少一个确定为所检测到的人的面部的属性；并且所述相似度计算单元从存储在所述对象信息存储单元中的多个面部中选择具有与所确定的年龄和性别相同的年龄和性别的面部，并且从对应于所选择的面部的特征量中选择一个或多个特征量。因此，提供了一种操作，其中，从存储在对象信息存储单元中的多个面部中选择具有与所确定的年龄和性别相同的年龄和性别的面部，并且从对应于所选择的面部的特征量中选择一个或多个特征量。
该图像处理设备还可以包括对象信息登记单元，用于确定所计算的相似度和所确定的属性是否满足登记条件，并且在确定了满足所述登记条件的情况下，将所提取的特征量和所确定的属性存储在所述对象信息存储单元中。因此，提供了一种操作，其中，在确定了所计算的相似度和所确定的属性满足登记条件的情况下，存储所提取的特征量和所确定的属性。
所述对象检测单元可检测包括在所述图像中的人的面部作为对象；所述属性确定单元将面部相像程度、面部朝向的正向程度、眼睛睁开的程度和微笑程度中的至少一个确定为检测到的面部的属性；并且所述对象信息登记单元采用所计算的相似度超过阈值，且面部相像程度、面部朝向的正向程度和眼睛睁开的程度中的至少一个超过阈值并且所确定的微笑程度不超过阈值的条件作为登记条件，并且在确定了满足所述登记条件的情况下，将所提取的特征量和所确定的属性存储在对象信息存储单元中。因此，提供了一种操作，其中，在确定了满足登记条件即计算出的相似度超过阈值，且面部相像程度、面部取向的正向程度和眼睛睁开的程度中的至少一个超过阈值并且确定的微笑程度不超过阈值的情况下，存储提取的特征量和确定的属性。
所述对象信息存储单元可针对每个所述对象存储在存储与所述对象相关的特征量和属性时的日期和时间；所述对象信息登记单元在确定了满足所述登记条件的情况下，确定对应于存储在所述对象信息存储单元中的所选择的特征量的日期和时间是否过去了一定时间以上，并且在确定了对应于所选择的特征量的日期和时间过去了一定时间以上的情况下，将所提取的特征量和所确定的属性存储在所述对象信息存储单元中。因此，提供了一种操作，其中，在确定了满足登记条件的情况下，确定对应于存储在所述对象信息存储单元中的所选择的特征量的日期和时间是否过去了一定时间以上，并且在确定了对应于所选择的特征量的日期和时间过去了一定时间以上的情况下，存储所提取的特征量和所确定的属性。
所述对象信息登记单元可在用作被确定为满足所述登记条件的相似度计算目标的存储在所述对象信息存储单元中的特征量以及与该特征量对应的属性上写入并存储所提取的特征量和所确定的属性。因此，提供了一种操作，其中，在用作被确定为满足所述登记条件的相似度计算目标的存储在所述对象信息存储单元中的特征量以及与该特征量对应的属性上写入并存储所提取的特征量和所确定的属性。
根据本发明的实施例，提供了一种成像设备、其处理方法和使得计算机执行该方法的程序，该成像设备包括：对象信息存储单元，用于存储与多个对象相关的特征量和属性；成像单元，用于对对象进行成像以产生成像图像；对象检测单元，用于检测包括在所述成像图像中的对象；属性确定单元，用于确定所检测到的对象的属性；特征量提取单元，用于提取与所检测到的对象相关的特征量；记录指示单元，用于确定所确定的属性是否满足用于所述成像图像的记录操作的记录操作条件，并且在确定了满足所述记录操作条件的情况下，指示记录所述成像图像；相似度计算单元，用于基于所确定的属性从存储在所述对象信息存储单元中的与多个对象相关的特征量中选择一个或多个特征量，从而基于所选择的特征量和所提取的特征量计算对应于所选择的特征量的对象与所检测到的对象之间的相似度；以及对象信息登记单元，用于确定所计算的相似度和所确定的属性是否满足登记条件，并且在确定了满足所述登记条件的情况下，将所提取的特征量和所确定的属性存储在所述对象信息存储单元中。因此，提供了一种操作，其中，在确定了所确定的属性满足记录操作条件的情况下，指示记录所述成像图像，基于所确定的属性从与多个对象相关的特征量中选择一个或多个特征量，从而基于所选择的特征量和所提取的特征量计算对应于所选择的特征量的对象与所检测到的对象之间的相似度，并且在确定了所计算的相似度和所确定的属性满足所述登记条件的情况下，存储所提取的特征量和所确定的属性。
与所确定的属性相关的所述记录操作条件和所述登记条件的设置内容可以不同。因此，提供了一种操作，其中，在假定与所确定的属性相关的所述记录操作条件和所述登记条件的设置内容不同的情况下执行成像图像的记录指令以及所提取的特征量和所确定的属性的存储。
所述对象检测单元可检测包括在图像中的人的面部作为对象；所述属性确定单元将面部相像程度和微笑程度中的至少一个确定为所检测到的人面部的属性；并且所述记录指示单元采用所计算的相似度超过阈值，且所确定的面部相像程度和微笑程度超过阈值的条件作为所述记录操作条件，并且在满足所述记录操作条件的情况下，指示记录所述成像图像。因此，提供了一种操作，其中，在确定了满足记录操作条件即计算出的相似度超过阈值并且所确定的面部相像程度和微笑程度超过阈值的情况下，指示记录成像图像。
根据以上结构，提供了如下的出色优点：可以适宜地执行个人识别。
【附图说明】
图1是示出了根据本发明实施例的成像设备的功能结构示例的框图；
图2是示出了根据本发明实施例的面部检测单元的功能结构示例的框图；
图3是示出了根据本发明实施例的个人识别单元的功能结构示例以及个人识别单元、图像RAM、图像总线和特定个人信息存储单元之间的示意性关系的框图；
图4是示出了根据本发明实施例的在对作为包括由面部检测单元检测到的面部的周边图像的面部图像进行正规化的情况下的正规化示例的图；
图5A和5B是示意性示出了根据本发明实施例的用作属性确定单元的面部属性确定目标的面部图像的图；
图6是示出了根据本发明实施例的属性确定单元执行属性确定时利用的属性确定字典的结构示例的图；
图7A到7C是示出了与由根据本发明实施例的属性确定单元针对正规化面部图像利用属性确定字典获得的各面部属性相关的累积结果值的范围的图；
图8是示出了根据本发明实施例的从属性确定单元输出的与各属性相关的确定结果和累积结果值的示例的图；
图9A到9C是示出了根据本发明实施例的用于计算要设置到由正规化单元产生的正规化面部图像的特征点的位置的特征点位置计算方法的示例的图；
图10是示出了根据本发明实施例的当在由正规化单元产生的正规化面部图像上设置特征点的情况下的布局示例的图；
图11A到11C是示出了根据本发明实施例的当在由正规化单元产生的正规化面部图像上设置特征点的情况下的布局示例的图；
图12A和12B是示出了表示由根据本发明实施例的面部特征量提取单元利用的Gabor滤波器和Gabor滤波器中的一个滤波器的系数的曲线图的示例的图；
图13是示出了根据本发明实施例的用作由正规化单元产生的正规化面部图像的示例的正规化面部图像的图；
图14是示意性示出了作为由根据本发明实施例的面部特征量提取单元提取的特征量的集合的面部特征量的图；
图15是示意性示出了根据本发明实施例的存储在特定个人信息存储单元中的各信息的图；
图16是示意性示出了根据本发明实施例的保持在相似度计算基准数据保持单元中的相似度计算字典的图；
图17是示出了根据本发明实施例的在由相似度计算单元计算要确定的面部的相似度时利用的相似度计算字典的结构示例的图；
图18是示意性示出了根据本发明实施例的相似度计算单元用来计算要确定的面部的相似度的相似度计算方法的图；
图19是示出了根据本发明实施例的用于通过相似度计算单元计算要确定的面部的相似度的相似度计算字典的示例的图；
图20是示出了根据本发明实施例的用于通过相似度计算单元计算要确定的面部的相似度的相似度计算字典的示例的图；
图21是示出了根据本发明实施例的用于通过相似度计算单元计算要确定的面部的相似度的相似度计算字典的示例的图；
图22是示出了根据本发明实施例的用于通过相似度计算单元计算要确定的面部的相似度的相似度计算字典的示例的图；
图23是示出了根据本发明实施例的相似度计算单元的相似度计算方法的概要的图；
图24A和24B是示意性示出了由根据本发明实施例的正规化单元产生的正规化面部图像与由根据本发明实施例的属性确定单元计算出的累积结果值之间的关系的图；
图25A和25B是示意性示出了由根据本发明实施例的正规化单元产生的正规化面部图像与由根据本发明实施例的属性确定单元计算出的累积结果值之间的关系的图；
图26是示出根据本发明实施例的成像设备的个人识别处理的过程的流程图；
图27是示出根据本发明实施例的成像设备的个人识别处理的过程的面部属性确定过程的流程图；
图28是示出根据本发明实施例的成像设备的面部属性确定处理的过程的流程图；
图29是示出根据本发明实施例的成像设备的个人识别处理的过程的面部相似度计算过程的流程图；
图30是示出根据本发明实施例的成像设备的面部相似度计算处理的过程的相似度计算过程的流程图；
图31是示出根据本发明实施例的成像设备的个人识别处理的过程的面部属性确定过程的流程图；
图32是示出根据本发明实施例的成像设备的特定个人信息登记处理的过程的流程图；
图33是示出根据本发明实施例的成像设备的特定个人信息登记处理的过程的特定个人信息登记确定过程的流程图；以及
图34是示出根据本发明实施例的成像设备的静止图像记录处理的过程的流程图。
【具体实施方式】
接下来，将参照附图详细描述本发明的实施例。图1是示出根据本发明的实施例的成像设备100的功能结构示例的框图。成像设备100的示例包括诸如数字相机、数字摄像机等的成像设备或者诸如属于如蜂窝电话、个人计算机等的终端装置的相机的成像设备。
成像设备100包括CPU(中央处理单元)110、镜头单元121、图像传感器122、相机信号处理单元123和图像RAM(随机存取存储器)130。另外，成像设备100包括图像压缩/解压缩单元140、显示单元150、操作接收单元160、存储介质170、易失性/非易失性存储介质180、图像总线190和GPS信号处理单元195。另外，成像设备100包括面部检测单元200、个人识别单元300和特定个人信息存储单元380。要注意，利用直接交换、或者经由作为共享存储器的图像RAM130或图像总线190的交换，执行成像设备100的各个块之间的图像信号的发送/接收。
CPU 110是基于存储在存储器(未示出)中的各种类型的控制程序对成像设备的各单元进行控制的CPU。要注意，CPU 110是在发明内容部分中记载的记录指示单元的示例。
镜头单元121由诸如对聚透镜、变焦透镜等的多个透镜构成，并且将经由这些透镜输入的来自对象的入射光输出到图像传感器122。另外，由CPU 110执行在镜头单元121处的光阑控制和对焦控制。
图像传感器122对通过镜头单元121的入射光进行光电转换以产生电信号，并且将产生的电信号输出到相机信号处理单元123。
相机信号处理单元123对从图像传感器122输出的电信号进行各种类型的信号处理，然后将经历了信号处理的图像数据输出到图像RAM130、图像压缩/解压缩单元140、显示单元150和面部检测单元200。相机信号处理单元123的信号处理的示例包括白平衡调整、降噪处理、电平校正处理、A/D转换处理和色彩校正处理。要注意，图像传感器122和相机信号处理单元123是发明内容中记载的成像单元的示例。
图像RAM 130存储用作成像设备100的处理目标的图像数据。
图像压缩/解压缩单元140根据各图像处理对输入的各种类型的图像数据进行压缩或解压缩。例如，由图像压缩/解压缩单元140进行了压缩处理的图像数据被输出到存储介质170并被记录。另外，由图像压缩/解压缩单元140进行了解压缩处理的图像数据被输出到图像RAM130、显示单元150和面部检测单元200。要注意，例如可以采用JPEG(联合图像专家组)格式作为压缩格式。
显示单元150是显示与由相机信号处理单元123或者图像压缩/解压缩单元140输出的图像数据对应的图像的显示单元。
操作接收单元160是接收由用户执行的各种类型的操作并且将接收的操作内容输出给CPU 110的操作接收单元。例如，作为操作接收单元160，各种类型的操作构件包括在成像设备100中。该操作构件的示例包括特定个人信息登记按钮、特定个人信息自动更新模式设置/解除按钮、静止图像记录模式设置/解除按钮、快门按钮、笑脸静止图像记录模式设置/解除按钮、运动图像记录模式设置/解除按钮和记录按钮。特定个人信息登记按钮是在登记关于包括在现在正在成像的图像中的面部的特定个人信息时要按压的按钮。该特定个人信息是关于特定人的信息，它的示例是诸如关于特定人的面部的特征量、其面部的属性(面部属性)等的信息。特定个人信息自动更新模式设置/解除按钮是当包括在现在正在成像的图像中的面部是特定人并且满足一定条件时，用于设置或解除更新模式的按钮，在该更新模式中，自动更新或者附加登记关于其面部的特定个人信息。静止图像记录模式设置/解除按钮是用于设置或者解除静止图像记录模式的按钮，在静止图像记录模式中，静止图像的记录被设置为可记录状态。快门按钮是在已设置静止图像记录模式或者运动图像记录模式的情况下在记录现在正在成像的图像时要按压的按钮。笑脸静止图像记录模式设置/解除按钮是用于设置或者解除笑脸静止图像记录模式的按钮，在笑脸静止图像记录模式中，在确定了包括在现在正在成像的图像中的面部是笑脸时，自动记录它的静止图像。运动图像记录模式设置/解除按钮是用于设置或者解除运动图像记录模式的按钮，在运动图像记录模式中，运动图像的记录被设置为可记录状态。记录按钮是在设置了运动图像记录模式的情况下在开始或结束运动图像的记录时要按压的按钮。要注意，显示单元150和操作接收单元160可以被一体地构成为触摸面板，或者可以用液晶显示器(LCD)作为显示单元150并且用诸如D‑pad等的硬件键作为操作接收单元160而分别构成。
存储介质170是存储从图像压缩/解压缩单元140输出的图像数据的存储介质。另外，存储介质170将存储的图像数据输出到图像压缩/解压缩单元140。要注意，图像存储介质的示例包括磁盘、光盘、半导体存储介质和磁带。另外，图像存储介质可以是可从外部分开的存储介质或者是内置存储介质。
易失性/非易失性存储介质180是存储各种类型的信息的易失性/非易失性存储介质。
图像总线190是用于传播图像数据的共享总线。
GPS信号处理单元195基于从GPS信号接收天线(未示出)接收到的GPS信号计算位置信息，并且将计算出的位置信息输出到CPU110。要注意，计算出的位置信息包括诸如纬度、经度、海拔、方向、时刻等的数值数据。
面部检测单元200检测包括在与输入的图像数据对应的图像中的人的面部，并且经由图像总线190将包括检测到的面部的作为其周边图像的面部图像输出到图像RAM 130。另外，面部检测单元200将关于检测到的面部的信息输出到个人识别单元300。要注意，将参照图2详细描述面部检测单元200。另外，面部检测单元200是发明内容中记载的对象检测单元的示例。
个人识别单元300计算指示由面部检测单元200检测到的面部是否是与特定个人信息存储在特定个人信息存储单元380中的人(登记人)的面部相同的面部的相似度，并且将计算出的相似度输出到CPU 110。也就是说，个人识别单元300确定由面部检测单元200检测到的面部是否是与登记面部相同的面部。CPU 110可以基于计算出的相似度执行各种控制。例如，对于成像图像，可以向确定为与登记人的面部相同的面部添加标记。另外，例如，对于成像图像，能够执行用于对确定为与登记人的面部相同的面部进行优化的成像控制(例如，诸如对焦、曝光调整、肤色调整等的成像控制)。另外，在确定了包括在现在正在成像的图像中的面部是特定人并且还满足一定条件的情况下，个人识别单元300自动更新或者附加登记关于该面部的特定个人信息。要注意，将参照图3详细描述个人识别单元300。
特定个人信息存储单元380存储特定个人信息，并且经由图像总线190将存储的特定个人信息提供给个人识别单元300。另外，特定个人信息存储单元380针对每个人覆写或者另外记录从个人识别单元300输出的特定个人信息。要注意，将参照图3和图15详细描述特定个人信息380。另外，特定个人信息存储单元380是发明内容中记载的对象信息存储单元的示例。
现在，在由操作接收单元160接收到快门按钮的按压操作的情况下，CPU 110控制图像传感器122、相机信号处理单元123、图像压缩/解压缩单元140等执行静止图像的记录操作。例如，当按压快门按钮时，经相机信号处理单元123处理的一帧的图像数据被提供给图像压缩/解压缩单元140，并且根据预定的编码方法被图像压缩/解压缩单元140压缩和编码。接下来，经历了压缩处理的图像数据被输出到存储介质170并且被记录。另外，在设置了运动图像记录模式的情况下并且在由操作接收单元160接收到记录按钮的按压操作的情况下，CPU 110控制图像传感器122、相机信号处理单元123、图像压缩/解压缩单元140等执行运动图像的记录操作。例如，当按压了记录按钮时，经相机信号处理单元123处理的图像数据被连续提供给图像压缩/解压缩单元140并且根据预定的编码方法被图像压缩/解压缩单元140进行压缩和编码。
要注意，可以向图像设备100提供输入/输出端子，从而在CPU110的控制下，将由图像压缩/解压缩单元140输出的图像数据输出到诸如外部存储介质的外部设备并且将从外部存储介质输入的图像数据输出到图像压缩/解压缩单元140。
图2是示出根据本发明的实施例的面部检测单元200的功能结构示例的框图。面部检测单元200包括控制器210、图像缩放单元220、图像保持单元230、基准面部数据保持单元240和确定单元250。
控制器210根据来自CPU 110的指令，控制面部检测单元200的各单元。
图像缩放单元220对从相机信号处理单元123或者图像压缩/解压缩单元140输出的图像数据或者与存储在图像RAM 130中的图像数据对应的图像，进行放大或缩小处理以产生适于面部的检测的图像。要注意，基于来自CPU 110的指令确定图像的放大率或缩小率。
图像保持单元230是用于保持由图像缩放单元220进行了放大处理或缩小处理的图像，并且用于将保持的图像数据直接输出到确定单元250并且经由图像总线190输出到图像RAM 130的图像存储器。
基准面部数据保持单元240保持在用于进行面部检测时用作基准的面部数据，并且将保持的面部数据输出到确定单元250。用作基准的面部数据的示例包括面部图像自身和关于人的面部的特征数据库。
确定单元250确定在保持在图像保持单元230中的图像中是否包括面部，并且将面部检测结果输出到CPU 110和个人识别单元300。具体地讲，确定单元250以一定的窗口尺寸取出保持在图像保持单元230中的图像，执行取出的图像与保持在基准面部数据保持单元240中的面部数据之间的模板匹配处理，基于相关性的高低计算面部相像度，并且基于计算出的面部相像度确定取出的图像是否是面部图像。例如，在计算出的面部相像度足够高的情况下，取出的图像被确定为面部图像。重复地执行这种确定，结果，检测在保持在图像保持单元230中的图像中包括的面部。
另外，确定单元250基于关于保持在基准面部数据保持单元240中的图像数据的相关性的高低，提取与在保持在图像保持单元230中的图像中包括的面部相关的各种类型的数据，并且将提取的各种类型的数据输出到CPU 110和个人识别单元300作为面部检测结果。面部检测结果包括面部区域的坐标、面部区域的大小、面部朝向、面部相像度等。这些面部检测结果存储在CPU 110中。
图3是示出根据本发明的实施例的个人识别单元300的功能结构示例以及个人识别单元300、图像RAM 130、图像总线190和特定个人信息存储单元380之间的示意性关系的框图。
个人识别单元300包括控制器310、正规化单元320、属性确定单元330、属性确定基准数据保持单元331、特征点计算单元340和特征点坐标表保持单元341。另外，个人识别单元300包括面部特征量提取单元350、相似度计算单元360、相似度计算基准数据保持单元361和特定个人信息登记单元370。另外，个人识别单元300经由图像总线190输入包括在存储在图像RAM 130中的图像中包括的面部的面部图像。另外，个人识别单元300获得存储在特定个人信息存储单元380中的特定个人信息以执行相似度计算，并且将满足一定条件的特定个人信息记录在特定个人信息存储单元380中。
控制器310根据来自CPU 110的指令，控制个人识别单元300的各单元。
正规化单元320基于包括在从面部检测单元200输出的面部检测结果中的面部区域的坐标和大小，从存储在图像RAM 130中的图像读取面部图像，以针对读取的面部图像执行正规化，并且将经正规化的面部图像(正规化面部图像)输出到属性确定单元330和特征点计算单元340。具体地讲，例如，为了使得包括在从图像RAM 130读取的面部图像中的面部达到一定大小，正规化单元320对它的面部图像进行分辨率转换(例如，64×64像素等)，并且对它的面部图像进行旋转处理以产生正规化面部图像，从而使得包括在该面部中的两只眼睛保持水平。要注意，将参照图4详细描述面部图像的正规化。
属性确定单元330利用保持在属性确定基准数据保持单元331中的属性确定基准数据，确定包括在从正规化单元320输出的正规化面部图像中的面部的属性，并且将确定结果(面部属性信息、累积结果值等)输出到特定点计算单元340、面部特征量提取单元350、相似度计算单元360和特定个人信息登记单元370。例如，关于从正规化单元320输出的正规化面部图像，针对保持在属性确定基准数据保持单元331中的属性确定基准数据在多大程度上得到满足进行计算，由此获得了关于各属性的累积结果值。这里，由属性确定单元330确定的面部属性的示例包括面部表情、年龄或年龄组、性别、眼睛的开/闭、种族、有眼镜/无眼镜、眼镜的类型、已刮脸/未刮脸、胡须的类型、有/无帽子、帽子的类型、有/无首饰、首饰的类型、发型以及面部朝向。要注意，面部表情的示例包括微笑、严肃、悲伤和愤怒。要注意，将参照图5A到图8详细描述面部属性的确定。
属性确定基准数据保持单元331保持属性确定字典，该属性确定字典由用于供属性确定单元330针对各面部属性进行确定的多个属性确定基准数据组成。该属性确定基准数据是预先充分地学习了由属性确定单元330确定的面部属性的基准数据。要注意，将参照图6详细描述属性确定字典。
特征点计算单元340计算并确定要设置在包括在从正规化单元320输出的正规化面部图像中的面部上的特征点的位置，并且将包括计算出的特征点的位置的正规化的面部图像输出到面部特征量提取单元350。具体地讲，特征点计算单元340基于从属性确定单元330输出的确定结果，针对在保持在特定点坐标表保持单元341中的特征点坐标表中包括的特征点的坐标执行修改等，并且计算并确定要设置在包括在从正规化单元320输出的正规化面部图像中的面部上的特征点的位置。要注意，将参照图9A到11C详细描述要设置在包括在正规化面部图像中的面部上的特征点的位置的计算。
特征点坐标表保持单元341保持用于供特征点计算单元340计算特征点的位置的特征点坐标表。要注意，将参照图9A到9C详细描述特征点坐标表。
面部特征量提取单元350提取面部特征量(其是包括在从特征点计算单元340输出的正规化面部图像中的各特征点处的特征量)，并且将提取的面部特征量输出到相似度计算单元360和特定个人信息登记单元370。对于本发明的实施例，将描述利用Gabor(盖博)滤波器的提取方法作为用于提取特征点处的特征量的方法。要注意，利用Gabor滤波器提取的特征量称作Gabor jet。另外，对于本发明的实施例，将基于从属性确定单元330输出的确定结果，执行Gabor滤波器的修改等。要注意，将参照图12A到图14详细描述利用Gabor滤波器的特征量的提取方法。另外，面部特征量提取单元是发明内容中记载的特征量提取单元的示例。
相似度计算单元360计算从面部特征量提取单元350输出的面部特征量与从特定个人信息存储单元380读取的面部特征量之间的相似度，并且将计算出的相似度输出到CPU 110和特定个人信息登记单元370。具体地讲，相似度计算单元360利用保持在相似度计算基准数据保持单元361中的相似度计算基准数据，将从面部特征量提取单元350输出的面部特征量与从特定个人信息存储单元380读取的面部特征量进行比较，并且基于该比较结果计算这些特定特征量之间的相似度。该计算出的相似度是这样的相似度，其指示由面部检测单元200检测到的面部是否是与面部特征量存储在特定个人信息存储单元380中的特定人相同的人的面部。对于本发明的实施例，基于从属性确定单元330输出的确定结果，执行用于计算相似度的相似度计算基准数据的修改等。要注意，将参照图15到图22详细描述相似度的计算。
相似度计算基准数据保持单元361保持相似度计算字典，该相似度计算字典由用于相似度计算单元360的针对各面部属性进行的确定的多个相似度计算基准数据构成。该相似度计算基准数据是这样的基准数据，其中预先充分学习了由相似度计算单元360计算出的面部相似度。将参照图17详细描述相似度计算字典。
特定个人信息登记单元370基于控制器310的指令，将满足一定条件的特定个人信息登记在特定个人信息存储单元380中。具体地讲，在用户指示登记特定个人信息的情况下或者当在成像设备100内确定满足了一定条件的情况下，执行登记处理。将参照图23、25A和25B详细描述该登记处理。要注意，特定个人信息登记单元370是发明内容中记载的对象信息登记单元的示例。
特定个人信息存储单元380针对每个人以相关的方式存储针对特定人的面部提取的面部特征量以及针对该特定人确定的面部属性，并且经由图像总线190将存储的面部特征量和面部属性提供给相似度计算单元360。另外，特定个人信息存储单元380覆写或附加记录从特定个人信息登记单元370输出的面部特征量。要注意，将参照图15详细描述特定个人信息存储单元380的存储内容。
接下来，将参照附图详细描述对面部图像进行正规化的情况。图4是示出了根据本发明的实施例的在对面部图像(即，包括由面部检测单元200检测到的面部的周边图像)进行正规化的情况下的正规化示例的图。
在图4中，(a)是示出了与从相机信号处理单元123输出的图像数据对应的成像图像400的图。可以说，人401的面部402包括在成像图像400中。在这种情况下，当通过面部检测单元200从成像图像400检测到面部402时，面部402的检测结果从面部检测单元200输出到个人识别单元300。当个人识别单元300输入了面部402的检测结果时，从图像RAM 130读取包括面部402的面部图像403，并且读取的面部图像403被输入到正规化单元320。
在图4中，(b)和(c)是示出了在对包括由面部检测单元200检测到的面部402的面部图像403进行正规化的情况下的转变的图。在这个示例中，规定了在对面部图像进行正规化时用作基准的基准位置410。基准位置410是这样的基准位置，其用于变换面部图像，例如，使得包括在由面部检测单元200检测到的面部中的两只眼睛大致保持水平并且位于正规化面部图像的特定位置。要注意，作为用于检测双眼的方法，与面部检测方法相似，例如可以采用根据模板匹配处理的眼睛检测方法。
例如，对从成像图像400取出的面部图像403进行分辨率变换从而使包括在面部图像403中的面部402变为特定大小。随后，通过仿射变换等对面部图像403进行旋转处理从而使包括在面部402中的眼睛404和405的中心位置与基准位置410的线匹配并且大致保持水平，由此产生正规化面部图像420。
要注意，对于本发明的实施例，将描述利用以双眼的中心位置作为基准执行正规化的情况，但是也可以利用包括在面部中的双眼以外的其它器官的位置作为基准。
接下来，将参照附图详细描述面部属性的确定。图5A和5B是示意性示出了根据本发明的实施例的用作属性确定单元330的面部属性确定目标的面部图像的图。图5A示出了包括正常面部431的正规化面部图像430，图5B示出了包括笑脸441的正规化面部图像440。这里，在将正常面部与笑脸进行比较的情况下，通常，对于笑脸，常常出现特征点，诸如眼睛变窄、眉毛和眼睛的外角下拉、脸颊的位置上升、鼻子侧向扩展、嘴侧向扩展、嘴张开、以及嘴角上升。因此，与笑脸的这些特征状态对应的属性确定基准数据预先保持在属性确定基准数据保持单元331中，该属性确定基准数据用于笑脸的属性确定或者笑脸的程度确定。将参照图6到图8详细描述利用该属性确定基准数据的该确定方法。另外，将参照图6详细描述图5B中所示的位置442到447。
图6是示出了在根据本发明的实施例的属性确定单元330执行属性确定时使用的属性确定字典的结构示例的图。对于本发明的实施例，将描述利用根据正规化面部图像的像素差的相关性确定方法来执行面部属性的确定的情况。
构成属性确定字典450的属性确定基准数据由正规化面部图像的坐标0(x，y)451和坐标1(x，y)452、坐标0与坐标1之间的电平差(亮度差)的阈值(θ)453、以及基准数据的权重(α)454构成。正规化面部图像的坐标0(x，y)451和坐标1(x，y)452是指示正规化面部图像的两点的位置的坐标。坐标0和坐标1之间的电平差(亮度差)的阈值(θ)453是关于坐标0与坐标1之间的电平差(亮度差)的阈值。基准数据的权重(α)454是基于坐标0和坐标1之间的电平差的值与坐标0和坐标1之间的电平差的阈值(θ)453之间的比较结果加入的权重系数。另外，由这些值的组合构成的n个基准数据被存储在属性确定字典450中。要注意，本发明的实施例中所示的基准数据称作弱判别器(弱假设)。
利用通过诸如AdaBoost等的机器学习算法学习的最有效的300到1000组的组合，设置构成属性确定基准数据的各个值。因此，各属性确定字典的格式相同，因此，可以通过相同的算法执行多个确定处理。
接下来，将参照附图详细描述利用属性确定字典执行关于正规化面部图像的面部属性的确定的情况。在这个示例中，将描述如下的情况：将图5B所示的正规化面部图像440的左上角作为原点，将水平轴作为x轴，将垂直轴作为y轴，执行利用属性确定字典450的属性确定处理。
例如，假定与存储在属性确定字典450的第一行(基准数据0)中的坐标0(x，y)451的值对应的正规化面部图像440的位置为位置442，并且与坐标1(x，y)452的值对应的正规化面部图像440的位置为位置443。另外，假定与存储在属性确定字典450的第二行(基准数据1)中的坐标0(x，y)451的值对应的正规化面部图像440的位置为位置444，并且与坐标1(x，y)452的值对应的正规化面部图像440的位置为位置445。另外，假定与存储在属性确定字典450的第三行(基准数据2)中的坐标0(x，y)451的值对应的正规化面部图像440的位置为位置446，并且与坐标1(x，y)452的值对应的正规化面部图像440的位置为位置447。
首先，将用于进行确定的得分S的值设置为零，并且执行利用包括在属性确定字典450的基准数据0中的各个值的计算。具体地讲，提取与包括在属性确定字典450的基准数据0中的坐标0(x，y)451的值对应的位置442处的亮度值A(0)以及与坐标1(x，y)452的值对应的位置443处的亮度值B(0)。随后，利用下式计算所提取的亮度值之间的差C(0)。
C(0)＝A(0)‑B(0)
随后，将计算出的亮度值之间的差值C(0)与包括在属性确定单元450的基准数据0中的阈值(θ)453进行比较，以确定计算出的值C(0)是否大于阈值(θ)453。在计算出的值C(0)等于或小于阈值(θ)453的情况下，将包括在属性确定字典450的基准数据0中的权重(α)454的值加到得分S。另一方面，在计算出的值C(0)大于阈值(θ)453的情况下，不将包括在属性确定字典450的基准数据0中的权重(α)454的值加到得分S。
随后，利用包括在属性确定字典450的基准数据1中的各个值重复以上计算。具体地讲，提取与包括在属性确定字典450的基准数据1中的坐标0(x，y)451的值对应的位置444处的亮度值A(1)和与坐标1(x，y)452的值对应的位置445处的亮度值B(1)。随后，利用下式计算所提取的亮度值之间的差C(1)。
C(1)＝A(1)‑B(1)
随后，将计算出的亮度值之间的差值C(1)与包括在属性确定字典450的基准数据1中的阈值(θ)453的值进行比较，以确定计算出的值C(1)是否大于阈值(θ)453。在计算出的值C(1)等于或小于阈值(θ)453的情况下，将包括在属性确定字典450的基准数据1中的权重(α)454的值加到得分S。另一方面，在计算出的值C(1)大于阈值(θ)453的情况下，不将包括在属性确定字典450的基准数据1中的权重(α)454的值加到得分S。
随后，利用从属性确定字典450的基准数据2到基准数据n‑1的各个值重复以上计算。
也就是说，在针对正规化面部图像440利用属性确定字典执行确定处理的情况下，依次使用包括在属性确定字典450的基准数据0到n‑1中的各个值利用式1计算C(i)，随后，确定计算出的C(i)是否满足式2。这里，变量i是整数，指示0到n‑1的值。
C(i)＝A(i)‑B(i)...式1
C(i)＞θ(i)...式2
随后，在计算出的C(i)满足式2的情况下，不将α(i)的值加到得分S，并且在计算出的C(i)不满足式2的情况下，将α(i)的值加到得分S。这里，与包括在基准数据i中的坐标0(x，y)451对应的亮度值由A(i)表示，与包括在基准数据i中的坐标1(x，y)452对应的亮度值由B(i)表示。另外，包括在基准数据i中的阈值(θ)453的值由θ(i)表示，包括在基准数据i中的权重(α)454的值由α(i)表示。
随后，在利用包括在属性确定字典450的基准数据n‑1中的各个值进行的各计算结束后，基于得分S的值(累积结果值)确定各属性。
现在，利用包括在属性确定字典的基准数据0到n‑1中的各个值的各计算后的得分S
n(P)可由下面的式3表示。
![]()
式3
这里，S
n(P)表示基准数据0到n‑1的累积结果值，α
i表示包括在基准数据i中的权重(α)454的值，P(x
i0，y
i0)表示与包括在基准数据i中的坐标0(x，y)451对应的亮度值。此外，P(x
i1，y
i1)表示与包括在基准数据i中的坐标1(x，y)452对应的亮度值，n表示基准数据的数量。另外，h(z)表示一函数，该函数在z＞0的情况下为0并且在z≤0的情况下为1。
接下来，将参照附图详细描述一种基于利用包括在属性确定字典的基准数据0到n‑1中的各个值计算出的累积结果值来确定面部属性的确定方法。
图7A到7C是示出了与由根据本发明实施例的属性确定单元330针对正规化面部图像利用属性确定字典获得的各个面部属性相关的累积结果值的范围的图。图7A示出了与作为面部属性的笑脸相关的累积结果值的范围，图7B示出了与作为面部属性的性别相关的累积结果值的范围，图7C示出了与作为面部属性的年龄相关的累积结果值的范围。例如，假定图7A到7C所示的关于各属性的累积结果值的范围在‑1000到+1000的范围内。
例如，假定如下的情况：通过上述机器学习算法进行学习时的笑脸的学习采样被作为正侧学习，非笑脸的学习采样被作为负侧学习。在这种情况下，在将笑脸确定为面部属性的情况下，利用图7A所示的阈值461和462确定笑脸/非笑脸。
例如，对于与图7A所示的笑脸相关的累积结果值的范围，在作为利用包括在属性确定字典的基准数据0到n‑1中的各个值计算出的累积结果值的得分S
n(P)小于阈值461的情况下，确定为“非笑脸”。另一方面，在得分S
n(P)大于阈值462的情况下，确定为“笑脸”。另外，在得分S
n(P)位于阈值461到462的范围内的情况下，确定为既不是笑脸也不是非笑脸，而是“含糊”。另外，也按照与图7A相同的方式确定图7B和7C所示的各属性。这些确定结果和累积结果值从属性确定单元330输出到特征点计算单元340、面部特征量提取单元350和相似度计算单元360。
图8是示出了根据本发明实施例的与从属性确定单元330输出的各属性相关的确定结果和累积结果值的示例的图。图8利用列表示意性示出了从属性确定单元330输出作为面部属性确定结果470的确定结果和累积结果值。要注意，图8所示的识别编号001、002等是用于识别用作确定目标的面部图像的编号。如图8所示，关于每个正规化面部图像，从属性确定单元330输出确定结果和累积结果值。例如，关于作为面部属性的笑脸/非笑脸471，“笑脸”、“非笑脸”或“含糊”被作为确定结果输出，并且得分S
n(P)的值被作为累积结果值输出。关于作为面部属性的男性/女性(性别)472以及成人/儿童(年龄)473，以相同方式输出确定结果和累积结果值。
接下来，将参照附图详细描述正规化面部图像的特征点的位置的计算。
图9A到9C是示出了根据本发明实施例的用于计算要设置到由正规化单元320产生的正规化面部图像的特征点的位置的特征点位置计算方法的示例的图。图9A是示出了特征点坐标表500的图，特征点坐标表500是在计算要设置到正规化面部图像的特征点的位置的情况下使用的特征点坐标表的示例。特征点坐标表500保持要设置到正规化面部图像的特征点的坐标，并且保持在特征点坐标表保持单元341中。在图9A中，用作设置目标的正规化面部图像的大小用白色正方形表示，并且与设置了特征点的坐标对应的位置用黑色圆形表示。例如，假定预先根据成人的面部图像确定各坐标，作为特征点坐标的缺省值。另外，在图9A到图11C中，为了便于说明，示出了稍微减少了特征点的数目的示例。
图9B是示出了作为由正规化单元320产生的正规化面部图像的正规化面部图像510的示例的图。现在，假定包括在正规化面部图像510中的面部511是相对普通的成人的面部。图9C是示出了如下情况的图：关于图9B所示的正规化面部图像510，特征点被设置到包括在图9A所示的特征点表500中的坐标。要注意，图9C以黑色圆形示出了置于正规化面部图像520上的特征点。因此，在包括在由正规化单元320产生的正规化面部图像510中的面部是相对普通的成人的面部的情况下，特征点被设置到与包括在特征点坐标表500中的坐标对应的位置，由此可将特征点设置到相对适宜的位置。
然而，已经基于双眼的位置对用作相似度计算目标的正规化面部图像进行了正规化，但是取决于包括在正规化面部图像中的人的属性，常常出现各部分之间的差异。因此，存在难以唯一地对要设置到正规化面部图像的特征点坐标进行设置的情况。因此，对于本发明的实施例，基于由属性确定单元330确定的面部属性，改变或添加设置特征点的位置以适于包括在正规化面部图像中的面部。
图10是示出了根据本发明实施例的在由正规化单元320产生的正规化面部图像上设置特征点的情况下的布局示例的图。图10的(a)中所示的正规化面部图像520与图9C所示的正规化面部图像520相同，图10的(b)是示出了包括儿童的面部的正规化面部图像531的图，图10的(c)是示出了包括西方人的面部的正规化面部图像532的图。另外，图10的(d)是示出了包括东方人的面部的正规化面部图像533的图，图10的(e)是示出了包括左向面部的正规化面部图像534的图，图10的(f)是示出了包括右向面部的正规化面部图像535的图。
如图10的(b)所示，一般，对于儿童的面部，诸如眼睛、鼻子、嘴等的器官经常集中到中心。例如，作为关于年龄的面部属性的确定结果，我们假定确定为儿童的情况(在儿童的程度相对较高的情况下)。在这种情况下，根据作为累积结果值的儿童的程度，将其中成人的面部长度通常长于儿童的面部长度的成人的特征点(与包括在特征点坐标表500中的坐标对应的位置)改变，从而在垂直方向上缩小(或者在水平方向上放大)。
另外，如图10的(c)所示，一般，西方人的面部常常具有相对长的面部长度。另一方面，如图10的(d)所示，一般，东方人的面部常常是圆形面部。例如，在将包括在正规化面部图像532中的西方人的面部的水平宽度L1与包括在正规化面部图像533中的东方人的面部的水平宽度L2进行比较的情况下，东方人的水平宽度L2的值较大。因此，基于关于种族的面部属性的确定结果，将与包括在特征点坐标表500中的坐标对应的位置改变，从而在水平方向上缩小或放大。
另外，如图10的(e)或(f)所示，对于朝左或朝右的面部，根据面部朝向，诸如眼睛、鼻子、嘴等的面部器官向左或向右集中。因此，基于关于面部朝向的面部属性的确定结果，将与包括在特征点坐标表500中的坐标对应的位置改变，从而在水平方向上移动。如图10的(b)到(f)所示，基于面部属性的确定结果改变特征点的位置，由此可以针对用作相似度计算目标的面部执行最佳特征点设置，并且还可以以更高精度计算特征点。因此，能够进一步提高个人识别精度。
图11A到11C是示出了根据本发明的实施例的在由正规化单元320产生的正规化面部图像上设置特征点的情况下的布局示例的图。图11A到11C所示的正规化面部图像520与图9C所示的正规化面部图像520相同。
图11A所示的正规化面部图像540是将眼镜541添加到包括在正规化面部图像520中的面部511的情况下的正规化面部图像。图11B所示的正规化面部图像550是将胡须551添加到包括在正规化面部图像520中的面部511的情况下的正规化面部图像。图11C所示的正规化面部图像560是将帽子561添加到包括在正规化面部图像520中的面部511的情况下的正规化面部图像。
如图11A所示，在作为检测到的面部属性的眼镜的累积结果值高的情况下(在确定为有眼镜的情况下)，将特征点添加到视为眼镜的周围的位置。例如，将特征点542到545附加地布置在眼镜541的周围。另外，如图11B所示，在作为检测到的面部属性的胡须的累积结果值高的情况下(在确定为未刮脸的情况下)，将特征点添加到视为胡须的周围的位置。例如，将特征点552和553附加地布置在胡须551的周围。要注意，如图11A和11B所示，替代添加特征点，可以在眼镜或胡须周围移动其它特征点。在能够确定眼镜的类型和形状或者胡须的位置和宽度的情况下，可以根据这些确定结果切换特征点坐标。
现在，帽子具有特征，但是是频繁改变的属性。因此，如图11C所示，在作为检测到的面部属性的帽子的累积结果值高的情况下(在确定为有帽子的情况下)，将包括在视为与头的位置等同的范围中的特征点消除。例如，对于图11C所示的正规化面部图像520，将由虚线562包围的特征点消除。另外，在存在诸如眼镜、胡须、帽子等的多个属性的情况下，根据这些属性执行上述的添加或消除。如图11A到11C所示，基于面部属性的确定结果添加或消除特征点，由此能够针对用作相似度计算目标的面部执行最佳特征点设置，并且还能够以更高精度计算特征点。因此，能够进一步提高个人识别精度。
以保持在特征点坐标表保持单元341中的特征点坐标表500作为缺省值并且以所述缺省值的坐标作为基准，基于面部属性的确定结果，通过诸如放大或缩小等的计算执行这些特征点坐标的计算。另外，可以直接从CPU 110加载特征点坐标。另外，可以将这两种方式组合。另外，与面部属性的确定结果对应的多个特征点坐标表被预先保持在特征点坐标表保持单元341中，可以根据面部属性的确定结果选择一个特征点坐标表。另外，可以根据累积结果值的大小执行特征点坐标的位置的诸如放大或缩小等的计算。
接下来，将参照附图详细描述设置到正规化面部图像的特征点处的特征量的提取。如图9A到11C所示，在各特征点被设置到由正规化单元320产生的正规化面部图像后，关于各特征点执行特征量提取处理。要注意，对于本发明的实施例，将描述利用Gabor滤波器的提取方法作为特征量提取方法示例。
图12A和12B是示出了表示根据本发明实施例的面部特征量提取单元350使用的Gabor滤波器以及Gabor滤波器的一个滤波器的系数的曲线图示例的图。
图12A示出了用于由面部特征量提取单元350提取特征点处的特征量的Gabor滤波器的示例。对于Gabor滤波器，主要提供了两个参数：要提取的频带以及将滤波器应用于图像上的角度。对于图12A所示的Gabor滤波器，水平方向表示角度的类型，垂直方向表示频带的类型。对于该示例，频带的类型当其方向从底部向顶部前进时从低频变成高频。另外，角度的类型旋转22.5度。具体地讲，以相等的间隔设置角度的类型，诸如0度、22.5度、45度、67.5度、90度、112.5度、135度和157.5度的。因此，对于本发明的实施例，作为示例，将描述由用作用以从具有各种属性的面部提取特征量的参数设置的、5种类型的频率和8种类型的角度组成的40种类型的滤波器。要注意，对于本发明的实施例，作为示例，将描述用作以平均面部作为目标的参数设置的40种类型的滤波器，滤波器的数目等可以适当增加或减少。例如，角度被进一步细分设置为角度的类型，由此能够提取高精度的特征量。例如，在10种类型被设置为角度的类型的情况下，能够以相等的间隔设置角度，诸如18度、36度、54度、72度、......、162度。另外，在12种类型被设置为角度的类型的情况下，能够以相等的间隔设置角度，诸如15度、30度、45度、60度、......、165度。这里，在角度被细分设置为角度的类型的情况下，数据处理量根据角度的类型的增加而增加。因此，可以在考虑处理速度与处理设备的规模之间的平衡的同时设置角度的类型。
图12B示出了一个曲线图，其中，在三维空间上表示图12A所示的40种类型的Gabor滤波器中的一个滤波器600的系数。滤波器600是针对图像上的45度方向提取相对高频带的滤波器。另外，如图12B所示，滤波器600的系数的特征点处的振幅达到峰值，用作包络线。
图13是示出了根据本发明实施例的用作由正规化单元320产生的正规化面部图像的示例的正规化面部图像630的图。将在这里描述如下的示例：在包括在正规化面部图像630中的面部640上设置的多个特征点中，面部特征量提取单元350利用三个特征点641到643来提取特征量。
特征点641到643是设置于包括在正规化面部图像630中的面部640上的特征点，特征点641布置在左眼下方附近，特征点642布置在右眼的外角附近，特征点643布置在鼻尖附近。
在利用Gabor滤波器提取特征点处的特征量的情况下，利用特征点的像素和包括位于它的周围的像素的相邻像素。例如，可将以特征点为中心的20像素×20像素用作相邻像素。例如，假定在图13所示的正规化面部图像630上设置的特征点641到643的相邻像素用虚线方框指示为相邻像素645到647。
随后，利用特征点的相邻像素以及包括在Gabor滤波器中的各个频带系数和各个角度系数，执行下面的式4中所示的卷积计算。因此，作为用于识别特定个人的有效值，获得了作为特征点处的特征量的Gabor jet。针对每个特征点顺序地执行该卷积计算，由此能够获得每个特征点处的特征量(Gabor jet)。
![]()
式4
这里，p(x，y)表示相邻像素的亮度，g(x，y)表示Gabor滤波器系数，c(x，y)表示卷积结果值。
这里，对于本发明的实施例，面部特征量提取单元350加载Gabor滤波器的参数的缺省值，并且基于由属性确定单元330确定的面部属性的确定结果，改变Gabor滤波器的参数的缺省值。也就是说，面部特征量提取单元350基于由属性确定单元330确定的面部属性的确定结果，切换作为Gabor滤波器的参数的通过频带和特征提取角度。
例如，作为通过属性确定单元330对面部属性的确定结果，在“儿童”或“婴儿”的累积结果值高的情况下(在确定为“儿童”或“婴儿”的情况下)，能够通过增加低频带滤波器的类型的数目来优化参数。另一方面，在“成人”的累积结果值高的情况下(在确定为“成人”的情况下)，能够通过增加高频带滤波器的类型的数目来优化参数。现在，一般，与“成人”相比，“儿童”或“婴儿”的面部常具有光滑的皮肤(皮肤纹理斜率缓慢变化)。因此，在面部的表面是光滑皮肤的情况下，面部的表面几乎没有变化。因此，在针对“儿童”或“婴儿”的面部提取特征量的情况下，与高频带相比，更重视低频带，由此能够提取更高精度的特征量。另一方面，在针对“成人”的面部提取特征量的情况下，与低频带相比，更重视高频带，由此能够提取更高精度的特征量。另外，例如，在笑脸的累积结果值高的情况下，执行切换到最适合笑脸的Gabor滤波器频带或者切换到最适合笑脸的Gabor滤波器角度。因此，基于面部属性的确定结果改变Gabor滤波器，由此能够提取更高精度特征点处的特征量。
要注意，Gabor滤波器的参数的缺省值可以保持在内部存储器中或者可以从CPU 110进行设置。
图14是示意性示出了根据本发明实施例的作为由面部特征量提取单元350提取的特征量集合的面部特征量的图。图14示意性示出了作为在利用图12A所示的Gabor滤波器提取设置到正规化面部图像的特征点处的特征量的情况下的各特征量的集合的面部特征量650。
面部特征量650指示在将20个特征点设置到正规化面部图像的情况下以及在利用由5种类型的频带和8种类型的角度构成的Gabor滤波器提取各特征点处的特征量的情况下的Gabor jet的集合。例如，面部特征量650以由行651到655和列656到659的矩阵的方式表示针对各特征点提取的20个Gabor jet。另外，构成一个Gabor jet的各特征量的大小根据其大小由单色级别指示。要注意，图14所示的Gabor jet的布局结构是一个示例，并且与存储格式无关。另外，将参照图18详细描述利用面部特征量的相似度计算。
图15是示意性示出了根据本发明实施例的存储在特定个人信息存储单元380中的各条信息的图。特定个人信息存储单元380存储关于特定人的面部的各条特定个人信息。具体地讲，关于特定人的面部的面部特征量、关于其面部的面部属性信息、包括其面部的登记面部图像、与这些信息关联的关联信息按照相关的方式存储。例如，笑脸/非笑脸382、男性/女性(性别)383、成人/儿童(年龄)384、开/闭眼睛385、面部朝向386、已刮脸/未刮脸387和有眼镜/无眼镜388被存储为面部属性信息，并且登记日期和时间389以及登记地点390被存储为关联信息。
图15例示了关于作为特定人的三个人的特定个人信息存储在特定个人信息存储单元380中的情况。另外，假定三条不同的特定个人信息存储作为关于各特定人的特定个人信息。例如，假定关于A先生的3组特定个人信息分别以“101”、“102”和“103”按照相关的方式存储在识别编号381“100”中。相似地，假定关于B先生的3组特定个人信息分别以“201”、“202”和“203”按照相关的方式存储在识别编号381“200”中。另外，假定关于C先生的3组特定个人信息分别以“301”、“302”和“303”按照相关的方式存储在识别编号381“300”中。
例如，由属性确定单元330计算的累积结果值被存储为诸如笑脸/非笑脸382、男性/女性(性别)383等的面部属性信息。能够通过该累积结果值确定各面部属性。在图15中，在各累积结果值下方，在括号内指示通过该累积结果值确定的面部属性。要注意，指示从面部检测单元200输出的面部朝向和面部相像度的数值可以存储作为面部属性信息。
存储特定个人信息时的日期和时间被存储在登记的日期和时间389中。例如，基于从CPU 110输出的日期和时间信息，存储该日期和时间。另外，存储特定个人信息时的地点被存储在登记地点390中。关于该地点，基于由GPS信号处理单元195计算的位置信息，由CPU 110确定地点(例如，就城市而言)，然后存储该确定的地点。
作为针对正规化面部图像提取的Gabor jet的集合的面部特征量存储在面部特征量391中。在图15中，省去了存储在面部特征量391中的面部特征量。
存储特定个人信息时的正规化面部图像的图像数据(已压缩或已解压缩)存储在登记面部图像392中。在图15中，存储在登记面部图像392中的正规化面部图像的图像数据被描绘和示出为面部图像。要注意，例如，通过来自用户的指令操作，能够在显示单元150上显示存储在登记面部图像392中的正规化面部图像。因此，用户能够适当地确认登记的面部。
因此，关于一个特定人存储不同的多个特定个人信息，由此，即使在成像状态和面部表情改变的情况下仍能够适宜地执行个人识别。例如，在从包括微笑的A先生的成像图像中识别A先生的面部的情况下，在关于A先生的3组特定个人信息之中，能够利用识别编号381“102”计算相似度。另外，例如，在从包括普通A先生的成像图像识别A先生的面部的情况下，在关于A先生的3组特定个人信息之中，能够利用识别编号381“101”计算相似度。另外，例如，在从包括朝左的A先生的成像图像识别A先生的面部的情况下，在关于A先生的3组特定个人信息之中，能够利用识别编号381“103”计算相似度。因此，关于A先生存储了3组特定个人信息，即使在成像状态或面部表情改变的情况下，也能够适当识别A先生的面部。要注意，对于这个示例，示出了关于一个特定人存储了3组特定个人信息的示例，但是关于一个特定人也可存储1组、2组或4组以上的特定个人信息。另选地，可以针对每个特定人通过手动设置等改变特定个人信息的数目。另外，特定个人信息的数目可以根据存储容量适当地改变。要注意，将参照图23、25A和25B详细描述关于特定个人信息存储单元380的特定个人信息的登记方法。
图16是示意性示出了根据本发明实施例的保持在相似度计算基准数据保持单元361中的相似度计算字典的图。相似度计算基准数据保持单元361是内部存储器，其保持在计算面部特征量之间的相似度的情况下的有限数目的最适当的相似度计算字典。例如，一般字典701、儿童用字典702、成人用字典703、闭眼用字典704和睁眼用字典705被保持在相似度计算基准数据保持单元361中。另外，例如，右向字典706、正面字典707、左向字典708、胡须用字典709和眼镜用字典710被保持在相似度计算基准数据保持单元361中。一般字典701是对年龄和性别进行平均以保持仅最适于一般面部的基准数据的字典。另一方面，儿童用字典702到眼镜用字典710是按照限制为预定面部属性的方式已学习并且保持最适于与预定面部属性对应的面部的基准数据的字典。
图17是示出了根据本发明实施例的在通过相似度计算单元360计算要确定的面部的相似度时利用的相似度计算字典的结构示例的图。图17例示了利用从设置到正规化面部图像的各特征点提取的Gabor jet来计算要确定的面部的相似度的情况。另外，对于本发明的实施例，将描述如下的示例：与面部属性确定相似，利用根据差的相关性确定方法计算面部的相似度。
构成相似度计算字典660的相似度计算基准数据由面部特征量的坐标0(x，y)661和坐标1(x，y)662、坐标0与坐标1之间的电平差的阈值(θ)663和基准数据的权重(α)664组成。面部特征量的坐标0(x，y)661和坐标1(x，y)662是指示面部特征量的两个点的位置的坐标。坐标0与坐标1之间的电平差的阈值(θ)663是关于坐标0和坐标1的面部特征量的差值的阈值。基准数据的权重(α)664是基于坐标0和坐标1的面部特征量的差值与坐标0和坐标1之间的电平差的阈值(θ)663之间的比较结果而添加的权重系数。另外，相似度计算字典660存储由这些值的组合构成的n个基准数据。要注意，可以利用其它位置信息来替代指示面部特征量的两个点的面部特征量的坐标。例如，可以布置为预先对每个Gabor jet给予识别编号，将每个Gaborjet的识别编号、该Gabor jet的频带类型和角度类型用作位置信息。
接下来，将参照附图详细描述利用相似度计算字典计算要确定的面部的相似度的示例。
图18是示意性示出了由根据本发明实施例的相似度计算单元360进行用来计算要确定的面部的相似度的相似度计算方法的图。图18例示了一种计算方法，其中，利用从设置到正规化面部图像的各特征点提取的Gabor jet来计算要确定的面部的相似度。
要确定的面部特征量670是由从设置到正规化面部图像的各特征点提取的多个Gabor jet构成的面部特征量。另外，登记面部特征量680是由存储在特定个人信息存储单元380中的关于特定人的面部的多个Gabor jet构成的面部特征量。要确定的面部特征量670和登记面部特征量680例如对应于图14所示的面部特征量650，并且假定要确定的面部特征量670和登记面部特征量680具有相同的格式，并且还存储了相同数目的Gabor jet。
对于该示例，将描述如下的情况：以要确定的面部特征量670和登记面部特征量680的左上角作为原点，以水平轴作为x轴，以垂直轴作为y轴，利用相似度计算字典660计算要确定的面部特征量670与登记面部特征量680之间的相似度。
例如，假定采用与存储在相似度计算字典660的第一行(基准数据0)中的坐标0(x，y)661的值对应的要确定的面部特征量670的位置作为位置671，采用与坐标0(x，y)661的值对应的登记面部特征量680的位置作为位置681。另外，假定采用与坐标1(x，y)662的值对应的要确定的面部特征量670的位置作为位置672，并且采用与坐标1(x，y)662的值对应的登记面部特征量680的位置作为位置682。要注意，对于要确定的面部特征量670和登记面部特征量680，与坐标0(x，y)661和坐标1(x，y)662对应的位置是构成一个Gabor jet的各特征量中的一个特征量的位置。这个特征量的位置是与图14所示的面部特征量650的行651和列656对应的一个Gabor jet(位于左上角的Gabor jet)的一个特征量(用单色级别指示的方形)的位置。
首先，将用于计算相似度的得分S1的值设置为零，并且执行利用包括在相似度计算字典660的基准数据0中的各个值的计算。具体地讲，取得与包括在相似度计算字典660的基准数据0中的坐标0(x，y)661的值对应的要确定的面部特征量670的位置671处的特征量的值A0(0)和登记面部特征量680的位置681处的特征量的值B0(0)。随后，利用下式计算取得的特征量值之间的差的绝对值C0(0)(691)。
C0(0)＝|A0(0)‑B0(0)|
随后，取得与包括在相似度计算字典660的基准数据0中的坐标1(x，y)662的值对应的要确定的面部特征量670的位置672处的特征量的值A1(0)和登记面部特征量680的位置682处的特征量的值B1(0)。随后，利用下式计算取得的特征量值之间的差的绝对值C1(0)(692)。
C1(0)＝|A1(0)‑B1(0)|
随后，利用下式计算计算出的绝对值C0(0)与计算出的绝对值C1(0)之间的差的绝对值C2(0)(693)。
C2(0)＝|C0(0)‑C1(0)|
随后，将计算出的绝对值C2(0)与包括在相似度计算字典660的基准数据0中的阈值(θ)663进行比较，以确定计算出的绝对值C2(0)是否大于阈值(θ)663的值。在计算出的绝对值C2(0)等于或小于阈值(θ)663的值的情况下，将包括在相似度计算字典660的基准数据0中的权重(α)664的值加到得分S1。另一方面，在计算出的绝对值C2(0)大于阈值(θ)663的值的情况下，不将包括在相似度计算字典660的基准数据0中的权重(α)664的值加到得分S1。
随后，顺序地利用基准数据1到基准数据n‑1的各个值重复上述的计算。也就是说，在针对要确定的面部特征量670和登记面部特征量680利用相似度计算字典660执行相似度计算处理的情况下，顺序地利用包括在相似度计算字典660的基准数据0到n‑1中的各个值。接下来，利用式5到式7计算C2(i)，并且确定计算出的C2(i)是否满足式8。这里，变量i是整数，并且指示0到n‑1的值。
C0(i)＝|A0(i)‑B0(i)| ...式5
C1(i)＝|A1(i)‑B1(i)| ...式6
C2(i)＝|C0(i)‑C1(i)| ...式7
C2(i)＞θ(i) ...式8
在计算出的C2(i)满足式8的情况下，不将α(i)的值加到得分S1，而在计算出的C2(i)不满足式8的情况下，将α(i)的值加到得分S1。这里，与包括在基准数据i中的坐标0(x，y)661对应的要确定的面部特征量670的特征量用A0(i)表示，登记面部特征量680的特征量用B0(i)表示。另外，与包括在基准数据i中的坐标1(x，y)662对应的要确定的面部特征量670的特征量用A1(i)表示，登记面部特征量680的特征量用B1(i)表示。另外，包括在基准数据i中的阈值(θ)663的值用θ(i)表示，包括在基准数据i中的权重(α)664的值用α(i)表示。
随后，在利用包括在相似度计算字典660的基准数据n‑1中的各个值的各计算完成后，作为累积结果值的得分的值被作为指示相似度的值输出。因此，在保持在Gabor jet状态中的登记面部特征量与要确定的面部特征量之间在两个阶段上计算相似度。
这里，利用下面的式9表示在利用包括在相似度计算字典660的基准数据0到n‑1中的各个值的各计算后的得分S1
n(P)。
![]()
式9
S1
n(P)表示基准数据0到n‑1的累积结果值，α
i表示包括在基准数据i中的权重(α)664的值。另外，P
0(x
i0，y
i0)表示与包括在基准数据i中的坐标0(x，y)661对应的要确定的面部特征量670的特征量的值。另外，P
1(x
i0，y
i0)表示与包括在基准数据i中的坐标0(x，y)661对应的登记面部特征量680的特征量的值。另外，P
0(x
i1，y
i1)表示与包括在基准数据i中的坐标1(x，y)662对应的要确定的面部特征量670的特征量的值。另外，P
1(x
i1，y
i1)表示与包括在基准数据i中的坐标1(x，y)662对应的登记面部特征量680的特征量的值，θ
i表示包括在基准数据i中的阈值(θ)663的值，n表示基准数据的数目。另外，h(z)表示一函数，该函数在z＞0的情况下为0并且在z≤0的情况下为1。
要注意，通过基于面部属性的确定结果或者面部属性的累积结果值改变权重(α)664的值或者阈值(θ)663的值，可以实现优化。例如，可将权重(α)664的值或者阈值(θ)663的值与和面部属性的确定结果或者面部属性的累积结果值对应的值相乘。
接下来，将参照附图详细描述在计算要确定的面部的相似度的情况下利用的相似度计算字典。
图19是示出了根据本发明实施例的用于通过相似度计算单元360计算要确定的面部的相似度的相似度计算字典的示例的图。对于该示例，根据关于年龄的面部属性的确定结果，选择相似度计算字典。
例如，如图19所示，首先，不管面部属性的确定结果如何，使用一般字典701。一般字典701是由适于一般相似度计算的1000组相似度计算基准数据构成的相似度计算字典。在利用一般字典701的相似度计算处理完成后，根据关于年龄的面部属性的确定结果是成人还是儿童，利用儿童用字典702或成人用字典703执行相似度计算处理。儿童用字典702是由适于儿童相似度计算的1000组相似度计算基准数据构成的相似度计算字典。另外，成人用字典703是由适于成人相似度计算的500组相似度计算基准数据构成的相似度计算字典。这里，一般认为儿童与成人相比较具有较少的个人差异，并且提取特征量困难，因此，对于成人用字典703使用500组相似度计算基准数据，而另一方面，对于儿童用字典702使用1000组相似度计算基准数据。因此，相似度计算基准数据的组数根据提取特征量的难度而改变并且被保持，由此，能够利用最适于要确定的面部的最适当组数的相似度计算基准数据，来执行相似度计算处理，并且能够实现高精度个人识别。
图20是示出了根据本发明实施例的用于通过相似度计算单元360计算要确定的面部的相似度的相似度计算字典的示例的图。对于该示例，根据关于眼睛的开/闭的面部属性的确定结果，选择相似度计算字典。
例如，如图20所示，首先，不管面部属性的确定结果如何，使用一般字典701。随后，在利用一般字典701的相似度计算处理完成后，根据关于眼睛的开/闭的面部属性的确定结果，利用睁眼用字典705或闭眼用字典704执行相似度计算处理。睁眼用字典705是由适于睁眼状态下的面部相似度计算的300组相似度计算基准数据构成的相似度计算字典。另外，闭眼用字典704是由适于闭眼状态下的面部相似度计算的300组相似度计算基准数据构成的相似度计算字典。
另外，考虑如下的情况：针对通过特定个人信息存储单元380的开/闭眼睛385的累积结果值而确定为“开”的登记面部(登记人的面部)计算相似度。例如，在针对要确定的面部的关于眼睛的开/闭的面部属性的确定结果为“闭”的情况下，在利用一般字典701的相似度计算处理完成后，利用闭眼用字典704执行相似度计算处理。在这种情况下，例如，可以减小构成闭眼用字典704的相似度计算基准数据的权重。另选地，可以设置为，在利用一般字典701的相似度计算处理完成后，不利用闭眼用字典704执行相似度计算处理，并且中断处理。这样，切换到最适于登记面部的属性的相似度计算，能够获得更加准确的相似度。
图21是示出了根据本发明实施例的用于通过相似度计算单元360计算要确定的面部的相似度的相似度计算字典的示例的图。对于该示例，根据关于面部朝向的面部属性的确定结果，选择相似度计算字典。
例如，如图21所示，首先，不管面部属性的确定结果如何，利用一般字典701。随后，在利用一般字典701的相似度计算处理完成后，根据关于面部朝向的面部属性的确定结果，利用右向字典706、正面字典707或左向字典708执行相似度计算处理。右向字典706是由最适于右向状态下的面部相似度计算的300组相似度计算基准数据构成的相似度计算字典。另外，正面字典707是由最适于正面状态下的面部相似度计算的300组相似度计算基准数据构成的相似度计算字典。另外，左向字典708是由最适于左向状态下的面部相似度计算的300组相似度计算基准数据构成的相似度计算字典。因此，根据面部朝向选择相似度计算字典，由此，即使在登记面部和要确定的面部没有面向相同方向的情况下也能够用最适宜的加权执行相似度计算处理，因此能够获得更加准确的相似度。
图22是示出了根据本发明实施例的用于通过相似度计算单元360计算要确定的面部的相似度的相似度计算字典的示例的图。对于该示例，根据关于有眼镜/无眼镜以及已刮脸/未刮脸的面部属性的确定结果，选择相似度计算字典。
例如，如图22所示，首先，不管面部属性的确定结果如何，利用一般字典701。随后，在利用一般字典701的相似度计算处理完成后，根据关于有眼镜/无眼镜的面部属性的确定结果，选择是利用眼镜用字典710进一步执行相似度计算处理还是结束相似度计算处理。在这种情况下，选择利用眼镜用字典710进一步执行相似度计算处理，并且在该相似度计算处理完成后，根据关于已刮脸/未刮脸的面部属性的确定结果选择是利用胡须用字典709进一步执行相似度计算处理还是结束相似度计算处理。眼镜用字典710是由最适于有眼镜状态下的面部相似度计算的500组相似度计算基准数据构成的相似度计算字典。胡须用字典709是由最适于未刮脸状态下的面部相似度计算的500组相似度计算基准数据构成的相似度计算字典。因此，根据有眼镜/无眼镜以及已刮脸/未刮脸选择相似度计算字典，由此，能够根据有眼镜/无眼镜以及已刮脸/未刮脸用最适宜的加权执行相似度计算处理，因此，能够获得更加准确的相似度。
因此，根据面部属性的确定结果选择相似度计算字典，由此，能够执行最适于要确定的面部的相似度计算处理，因此，能够获得更加准确的相似度。另外，对于要确定的面部不执行利用不必要的相似度计算基准数据的相似度计算处理，因此，能够实现处理时间的减少。
另外，在面部属性之中，对于诸如发型、眼镜、胡须等的面部属性，可以想到，即使对于同一人，根据成像时段和成像地点而改变的因素也较高。因此，对于这种面部属性项目，将对应的相似度计算基准数据的权重设置得较小，由此根据面部属性的差异能够防止同一人的相似度损失。
另外，对要确定的面部的面部属性的确定结果与存储在特定个人信息存储单元380中的面部属性进行比较，并且在面部属性的相似度明显低的情况下，可以中断相似度计算处理。具体地讲，相似度计算单元360对从属性确定单元330输出的面部属性的确定结果与存储在特定个人信息存储单元380中的面部属性进行比较，并且在面部属性的相似度明显低的情况下，相似度计算单元360将用以中断相似度计算处理的信息输出到控制器310。当接收到该输出时，控制器310将停止关于要确定的面部的各处理的指令输出到特征点计算单元340、面部特征量提取单元350和相似度计算单元360。例如，在存储在特定个人信息存储单元380中的面部属性指示儿童的程度十分高的情况下，在要确定的面部的面部属性的确定结果确定了儿童的程度十分低的情况下，可将这二者确定为不同的人。因此，能够在较早阶段中断特征点坐标计算处理、面部特征量提取过程和相似度计算处理。这有助于提高处理速度。
另外，在存储在特定个人信息存储单元380中的特定个人信息的数目大的情况下，相似度计算处理的处理时间可能会延长。因此，例如，从存储在特定个人信息存储单元380中的特定个人信息中选择适于相似度计算的一个或多个特定个人信息。仅所选择的一个或多个特定个人信息被视为相似度计算目标。因此，即使在存在大量特定个人信息的情况下，仍能够迅速地执行相似度计算处理。将在下面参照附图详细描述选择适于相似度计算的一个或多个特定个人信息并且对其进行相似度计算处理的情况。
图23是示出了根据本发明实施例的相似度计算单元360的相似度计算方法的概要的图。在图23中，将描述针对包括在成像图像800中的人801到803的面部804到806执行相似度计算的情况。要注意，假定人801是儿童，而人802和803是成人。另外，人801和803是男性，而人802是女性。另外，假定图23所示的特定个人信息存储单元380是一部分被省略的图15所示的特定个人信息存储单元380，并且被省略的内容与图15所示的内容相同。
例如，面部检测单元200从成像图像800检测到面部804到806，正规化单元320从这些面部804到806产生正规化面部图像811到813。针对产生的正规化面部图像811到813，属性确定单元330确定各面部属性。在图23中，针对正规化面部图像811到813输出的确定结果的一部分在各正规化面部图像的下部示出。
随后，在计算检测到的面部与登记面部之间的相似度之前，相似度计算单元360对检测到的面部与登记面部的面部属性进行比较。例如，对诸如性别、年龄(年龄组)等的几乎不随时间而改变的属性进行比较，并且选择具有高相似度的特定个人信息。例如，包括在正规化面部图像811中的面部是儿童的面部，因此，“成人/儿童”的值(年龄得分)为高值。也就是说，针对包括在正规化面部图像811中的面部计算出的年龄得分是确定为儿童的值。然而，存储在特定个人信息存储单元380的成人/儿童(年龄)384中的各个值是低值，并且所有的值被确定为成人。因此，正规化面部图像811与记录在特定个人信息存储单元380中的特定个人信息相似的可能性低，因此不执行相似度计算处理。
另外，包括在正规化面部图像812中的面部是成人女性的面部，因此“成人/儿童”的值(年龄得分)是低值，并且“男性/女性”的值(性别得分)是高值。也就是说，针对包括在正规化面部图像812中的面部计算出的年龄得分是确定为成人的值，并且性别得分是确定为女性的值。因此，选择特定个人信息，其中，特定个人信息存储单元380的成人/儿童(年龄)384的值是确定为成人的值。例如，如图15所示，选择与识别编号381的“100”到“300”关联的各特定个人信息。另外，在这些特定人信息之中，选择其中特定个人信息存储单元380的男性/女性(性别)383的值是确定为女性的值的特定个人信息。例如，如图15所示，选择与识别编号381的“101”到“103”关联的各特定个人信息。
相似地，包括在正规化面部图像813中的面部是成人男性的面部，因此“成人/儿童”的值(年龄得分)是低值，并且“男性/女性”的值(性别得分)是低值。也就是说，针对包括在正规化面部图像813中的面部计算出的年龄得分是确定为成人的值，并且性别得分是确定为男性的值。因此，选择特定个人信息，其中，特定个人信息存储单元380的成人/儿童(年龄)384的值是确定为成人的值。另外，在这些特定人信息之中，选择其中特定个人信息存储单元380的男性/女性(性别)383的值是确定为男性的值的特定个人信息。例如，如图15所示，选择与识别编号381的“200”和“300”关联的各特定个人信息。
因此，利用诸如性别、年龄等的几乎不随时间改变的面部属性，由此能够仅选择用作相似度计算目标的适宜的特定个人信息。另外，可以从利用其它面部属性选择的特定个人信息中选择用作相似度计算目标的适宜的特定个人信息。也就是说，可以进一步选择与检测到的面部具有高相似度的登记面部。
例如，可以设置成，针对每个属性按照顺序计算针对检测到的面部计算出的累积结果值与包括在特定个人信息中的累积结果值之间的差值，并且针对每个属性选择用以使该差值变得最小的特定个人信息。另选地，可以仅选择用以使该差值包括在一定范围内的特定个人信息。另外，可以设置成，获得针对每个属性计算的差值的总和，并且仅选择用以使差值的总和值变得最小的特定个人信息。
另选地，可以设置成，在针对检测到的面部计算的累积结果值之中，提取绝对值最大的累积结果值，选择用以使与提取的累积结果值的差值最小的特定个人信息。在这种情况下，例如，利用与已利用的属性(例如，性别和年龄的属性)不同的属性。在图23中，例如，在针对正规化面部图像812计算的累积结果值之中，绝对值最大的累积结果值(不同于“男性/女性”和“成人/儿童”)是开/闭眼睛“520”。因此，能够选择用以使该最大累积结果值“520(眼睛的开/闭)”与选择的各特定个人信息(识别编号381“101”到“103”)的开/闭眼睛385的累积结果值之间的差值变得最小的特定个人信息(识别编号381“101”)。另外，例如，在针对正规化面部图像813计算出的累积结果值之中，绝对值最大的累积结果值是有眼镜/无眼镜“589”。因此，可以选择用以使该最大累积结果值“589(有眼镜/无眼镜)”与各个选择的特定个人信息(识别编号381“200”和“300”)的有眼镜/无眼镜388的累积结果值之间的差值变得最小的特定个人信息(识别编号381“202”)。要注意，可以设置成，在针对正规化面部图像计算出的累积结果值之中，利用预定数目的绝对值大的累积结果值来选择特定个人信息。
因此，在利用已完成了处理的属性确定结果缩减了用作相似度计算目标的特定个人信息后，能够执行相似度计算处理。例如，对于图23所示的示例，在相似度计算单元360计算针对正规化面部图像811到813计算出的面部特征量与记录在特定个人信息存储单元380中的所有面部特征量之间的相似度的情况下，必须执行24(3×8)种的计算。另一方面，例如，在选择用以使与绝对值最大的累积结果值的差值变得最小的特定个人信息并且计算关于该特定个人信息的面部特征量的相似度的情况下，应该执行两种计算。因此，能够大幅减少用作计算目标的组合的数目。因此，能够实现特定个人信息的恒定更新。
另外，例如，当计算相似度时可以根据关于检测到的面部的面部属性的相似度的值执行加权。例如，对关于检测到的面部的面部属性的相似度高的特定个人信息应用高加权。因此，能够进一步提高相似度计算的精度。
接下来，将参照附图详细描述一种静止图像记录方法，其中，基于利用属性确定字典计算出的累积结果值执行包括笑脸的静止图像的记录操作。
图24A和24B是示意性示出了根据本发明实施例的正规化单元320产生的正规化面部图像与根据本发明实施例的属性确定单元330计算出的累积结果值之间的关系的图。要注意，图24A所示的正规化面部图像430与图5A所示的正规化面部图像430相似，并且图24B所示的正规化面部图像440与图5B所示的正规化面部图像440相似。因此，对其附加相同的参考标号，并且省去了对它的详细描述。
图24A示出了针对正规化面部图像430计算出的累积结果值，图24B示出了针对正规化面部图像440计算出的累积结果值。要注意，在指示累积结果值的条状范围之中，指示计算出的累积结果值的范围用阴影线指示。另外，这些条状范围对应于图7A到图7C所示的累积结果值范围。
通常，在对普通面部(非笑脸)与笑脸进行比较的情况下，与普通面部相比，在笑脸中笑脸得分(图15所示的笑脸/非笑脸382的值)高。因此，笑脸得分486高于笑脸得分482。另外，如上所述，对于笑脸，常出现使眼睛变窄的特征点，因此与普通面部相比，在笑脸中睁眼得分(图15所示的眼睛的开/闭的值)较低。因此，睁眼得分488低于睁眼得分484。要注意，包括在正规化面部图像430和440中的所有面部都是朝向前方的，因此正面得分(图15所示的面部朝向386的值)483和487成为基本相同的值。另外，已经对包括在正规化面部图像430和440中的所有面部进行了相当精细的成像，因此面部相像度得分481和485成为基本相同的值。
现在，对于本发明的实施例，将描述如下的示例：利用笑脸得分和面部相像度得分执行包括笑脸的静止图像的记录操作。另外，对于该示例，假定已经设置了笑脸静止图像记录模式。具体地讲，在针对正规化面部图像计算出的面部相像度得分超过阈值Tf1并且针对该正规化面部图像计算出的笑脸得分超过阈值Ts1的情况下，CPU 110指示开始静止图像的记录操作。例如，在图24A中，面部相像度得分481超过阈值Tf1，但笑脸得分482没有超过阈值Ts1。因此，在检测到图24A所示的普通面部的情况下，不指示开始静止图像的记录操作。另一方面，在图24B中，面部相像度得分485超过阈值Tf1，并且笑脸得分486超过阈值Ts1。因此，在检测到图24B所示的笑脸441的情况下，指示开始静止图像的记录操作。
要注意，可以利用除面部相像度得分以外的其它得分(面部属性信息)执行包括笑脸的静止图像的记录操作。另外，例如，可以采用确定特定人包括在成像图像中并且确定该特定人的面部是笑脸的情况作为条件。这种情况下的确定基准可以与登记特定个人信息时的确定基准不同。例如，与登记特定个人信息时的确定基准相比，可以放松执行静止图像的记录时的特定人的确定基准。
接下来，将参照附图详细描述一种特定个人信息登记方法，其中，基于利用属性确定字典计算出的累积结果值登记特定个人信息。
图25A和25B是示意性示出了根据本发明实施例的正规化单元320产生的正规化面部图像与根据本发明实施例的属性确定单元330计算出的累积结果值之间的关系的图。要注意，图25A和25B所示的正规化面部图像和累积结果值与图24A和24B所示的相同，仅仅阈值不同。因此，与图24A和24B所示相同的部分由相同的参考标号指示，并且省去了对它们的详细描述。
对于该示例，将描述如下的情况：利用面部相像度得分、笑脸得分、正面得分和睁眼得分确定是否更新特定个人信息。另外，对于该示例，将描述已经设置了特定个人信息自动更新模式的情况作为示例。具体地讲，特定个人信息登记单元370基于从相似度计算单元360输出的相似度，确定从面部特征量提取单元350输入的面部特征量与存储在特定个人信息存储单元380中的面部特征量之间的相似度是否极高。例如，可以采用相似度等于或大于特定值(例如，比相似度确定大的值)作为条件。随后，在确定该相似度极高的情况下，特定个人信息登记单元370确定按照与确定了相似度极高的特定个人信息关联的方式存储的登记日期和时间(图15所示的登记日期和时间389)是否是一定时长以上之前的日期和时间。也就是说，确定是否从最后的登记或更新开始经过了一定时长。关于该一定时长，例如，可以设置一年单位、一月单位、一天单位或者一秒以下的单位(例如，图像的几帧的单位)。例如，在将较长的时间设置为该一定时长的情况下，能够处理特定人的随时间的变化(变老或者外貌变化)。另外，例如，在将较短的时间设置为该一定时长的情况下，能够恒定地定期搜索适于特定人的本人认证的面部。
随后，在确定从最后的登记或更新开始已过去一定时长的情况下，特定个人信息登记单元370确定是否满足更新特定个人信息的条件。可以对更新特定个人信息的该条件进行设置，例如，面部相像度得分、正面得分和睁眼得分分别超过阈值Tf2、Ty2和Tb2并且笑脸得分小于阈值Ts2。随后，在确定满足更新特定个人信息的条件的情况下，特定个人信息登记单元370开始确定为相似度极高的特定个人信息的更新操作。也就是说，特定个人信息登记单元370用要比较的个信息来覆写确定为相似度极高的特定个人信息存储单元380的特定个人信息的各项目。例如，用从面部特征量提取单元350输入的面部特征量覆写面部特征量391，用由属性确定单元330计算出的各累积结果值覆写诸如笑脸/非笑脸382等的面部属性信息。另外，用由正规化单元320产生的正规化面部图像覆写登记面部图像392，将进行该更新时的日期和时间记录在登记日期和时间389中，并且将利用进行该更新时计算出的位置信息确定的地点记录在登记地点390中。要注意，在存储区域包括关于要更新的特定人的空间区域的情况下，可以附加登记要更新的特定个人信息。另外，在关于要更新的特定人存在多组特定个人信息的情况下，在这些组中，可以更新一组特定个人信息，在该组特定个人信息中，面部相像度得分、笑脸得分、正面得分和睁眼得分的各个值对于对应阈值是最低的。另选地，可以更新登记日期和时间最老的一组特定个人信息。
另选地，例如，可以参照图15所示的登记地点390更新存储有与当前地点相同的地点(或者当前地点的最近地点)的特定个人信息。例如，可以想到，在在用户的工作地点执行成像操作的情况与在用户的家附近执行成像操作的情况之间，面部表情大为不同。因此，能够在考虑这种心理因素的同时执行更新处理。因此，例如，在用户的工作地点执行成像操作的情况下和在用户的家附近执行成像操作的情况下，能够提高个人识别精度。因此，可以参照诸如登记地点等的关联信息执行更新处理。
因此，在更新(或另外加入)特定个人信息的情况下，例如，确定要确定的面部是否不接近极端笑脸而是接近普通面部。在确定了要确定的面部接近普通面部并且适于个人识别的情况下，执行该特定个人信息的更新。也就是说，可以采用与自动记录笑脸的静止图像时的条件不同的条件。
例如，在图25A中，面部相像度得分481超过阈值Tf2，正面得分483超过阈值Ty2，睁眼得分484超过阈值Tb2，并且笑脸得分482小于阈值Ts2。因此，检测到图25A所示的普通面部431，并且在针对普通面部431计算出的相似度满足一定条件的情况下，执行特定个人信息的更新。另一方面，在图25B中，面部相像度得分485超过阈值Tf2，正面得分487超过阈值Ty2，睁眼得分488超过阈值Tb2，但笑脸得分482不小于阈值Ts2。因此，检测到图25B所示的笑脸441，并且即使在针对笑脸441计算出的相似度满足一定条件的情况下，也不执行特定个人信息的更新。
要注意，图24A、24B、25A和25B所示的阈值是示例，因此，这些阈值例如可以根据用户的偏好进行改变。另选地，可以利用除面部相像度得分、笑脸得分、正面得分和睁眼得分以外的其它得分(面部属性信息)执行特定个人信息的更新。另选地，可以通过对关于要更新的特定人的多组特定个人信息的各个值与面部相像度得分、笑脸得分、正面得分和睁眼得分的各个值进行比较来确定是否执行更新，而不是利用各阈值确定是否执行更新。
因此，特定个人信息能够被自动更新，因此，用户不需要手动指示登记或更新。另外，特定个人信息能够被自动更新，由此能够存储最新和最佳的特定个人信息。因此，能够提高个人识别精度。另外，通过重复执行成像操作能够进一步提高个人识别精度。
接下来，将参照附图描述根据本发明实施例的成像设备100的操作。
图26是示出根据本发明实施例的成像设备100的个人识别处理的过程的流程图。对于该个人识别处理，可将整个流程粗略分成四个处理：面部属性确定处理、特征点坐标计算处理、面部特征量提取处理和相似度计算处理。
首先，个人识别单元300获得从面部检测单元200输出的面部检测结果，并且基于包括在该面部检测结果中的面部区域的坐标和大小从存储在图像RAM 130中的图像读取面部图像(步骤S901)。要注意，个人识别单元300可以经由CPU 110获得从面部检测单元200输出的面部检测结果。
接下来，正规化单元320通过调整读取的面部图像执行正规化从而使得面部的大小为一定大小并且两只眼睛大致水平(步骤S902)。随后，属性确定单元330针对正规化面部图像执行面部属性确定处理(步骤S910)。将参照图27和28详细描述该面部属性确定处理。要注意，步骤S910是发明内容中记载的属性确定过程的示例。
接下来，特征点计算单元340加载在保持在特征点坐标表保持单元341中的特征点坐标表中包括的特征点坐标的缺省值，并且将该特征点坐标的缺省值配置为要设置到正规化面部图像的特征点的位置(步骤S903)。要注意，可以从CPU 110设置特征点坐标。随后，特征点计算单元340基于从属性确定单元330输出的面部属性的确定结果，改变或调整缺省值的特征点坐标，从而计算特征点坐标(步骤S904)。
接下来，面部特征量提取单元350加载关于Gabor滤波器的参数的缺省值(步骤S905)。要注意，可以从CPU 110设置Gabor滤波器的参数。随后，面部特征量提取单元350基于从属性确定单元330输出的面部属性的确定结果，改变作为Gabor滤波器的参数的通过频带和特征量提取角度(步骤S906)。随后，面部特征量提取单元350利用Gabor滤波器提取由特征计算单元340计算出的各特征点处的特征量(步骤S907)。要注意，步骤S907是发明内容中记载的提取的示例。
接下来，相似度计算单元360执行相似度计算处理(步骤S950)。将参照图29和30详细描述该相似度计算处理。要注意，步骤S950是发明内容中记载的计算的示例。
图27是示出根据本发明实施例的成像设备100的个人识别处理的过程的面部属性确定过程(图26所示的步骤S910中的过程)的流程图。现在，将描述如下的示例：确定关于年龄、眼睛的开/闭、发型、有眼镜/无眼镜以及已刮脸/未刮脸的面部属性。要注意，将参照图28详细描述各面部属性的确定处理。
首先，属性确定单元330利用年龄确定字典执行年龄属性确定处理(步骤S911)。随后，属性确定单元330利用开/闭眼睛确定字典执行开/闭眼睛属性确定处理(步骤S912)。属性确定单元330利用发型确定字典执行发型属性确定处理(步骤S913)。属性确定单元330利用眼镜确定字典执行眼镜属性确定处理(步骤S914)。属性确定单元330利用胡须确定字典执行胡须属性确定处理(步骤S915)。随后，属性确定单元330保持这些面部属性的确定结果(步骤S916)。要注意，这些面部属性的确定结果也被输出到CPU 110。
接下来，在要确定的面部的面部属性的确定结果与存储在特定个人信息存储单元380中的各面部属性的确定结果之间，确定面部属性的相似度(步骤S917和S918)。具体地讲，确定与要确定的面部的性别相关的面部属性的确定结果与存储在特定个人信息存储单元380中的与性别相关的各面部属性的确定结果是否明显不同(步骤S917)。这里，与性别相关的面部属性的确定结果明显不同的情况是指与完全匹配的情况以及含糊的情况不同的情况。另外，确定与要确定的面部的年龄相关的面部属性的确定结果与存储在特定个人信息存储单元380中的与年龄相关的各面部属性的确定结果是否明显不同(步骤S918)。
在与性别相关的面部属性的确定结果明显不同的情况下(步骤S917)或者在与年龄相关的面部属性的确定结果明显不同的情况下(步骤S918)，个人识别处理的操作结束。另一方面，在与性别相关的面部属性的确定结果没有明显不同的情况下(步骤S917)或者在与年龄相关的面部属性的确定结果没有明显不同的情况下(步骤S918)，流程前进到步骤S919。随后，确定了要确定的面部属性与存储在特定个人信息存储单元380中的各面部属性的确定结果相似(步骤S919)。
要注意，对于该示例，描述如下的情况：针对作为面部属性的性别或年龄，确定面部属性的相似度，但是可以针对其它面部属性确定相似度。
例如，假定存储在特定个人信息存储单元380中的与性别相关的面部属性的所有确定结果被确定为女性。在这种情况下，在与要确定的面部的性别相关的面部属性的确定结果被确定为男性的情况下，要确定的面部很可能不是与登记面部相同的人。相似地，在存储在特定个人信息存储单元380中的与年龄相关的面部属性的所有确定结果被确定为成人的情况下，在与要确定的面部的年龄相关的面部属性的确定结果被确定为儿童的情况下，要确定的面部很可能不是与登记面部相同的人。因此，在登记面部的面部属性和要确定的面部的面部属性具有相反属性的情况下，要确定的面部很可能不是与登记面部相同的人，因此，不必执行面部特征点坐标计算处理、面部特征量提取处理和相似度计算处理。因此，在两个属性之间的相似度极低的情况下，中断所有后续处理，由此能够实现个人识别处理的速度的提高。
图28是示出根据本发明实施例的成像设备100的面部属性确定处理的过程的流程图。该面部属性确定处理是与图27中的步骤S911到S915所示的各面部属性的确定处理对应的处理。现在，将描述利用图6所示的属性确定字典450确定面部属性的示例。
首先，将得分S初始化为“0”(步骤S921)，将变量i初始化为“0”(步骤S922)。随后，在从正规化面部图像提取的亮度值之中，获得与包括在属性确定字典450的基准数据i中的坐标0(x，y)451的值对应的亮度的值A(i)和与坐标1(x，y)452的值对应的亮度的值B(i)(步骤S923)。随后，利用下式计算获得的亮度值的差C(i)(步骤S924)。
C(i)＝A(i)‑B(i)
接下来，将计算出的亮度值的差值C(i)与包括在属性确定字典450的基准数据i中的阈值(θ)453的值进行比较，以确定计算出的值C(i)是否大于阈值(θ)453的值(步骤S925)。在计算出的值C(i)等于或小于阈值(θ)453的值的情况下(步骤S925)，将包括在属性确定字典450的基准数据i中的权重(α)454的值加到得分S(步骤S926)。另一方面，在计算出的值C(i)大于阈值(θ)453的值的情况下(步骤S925)，流程前进到步骤S927而不将包括在属性确定字典450的基准数据i中的权重(α)454的值加到得分S。
接下来，将“1”加到变量i(步骤S927)，并且确定变量i是否大于n‑1(步骤S928)。在变量i不大于n‑1的情况下(步骤S928)，关于属性确定字典450的各基准数据的确定处理尚未结束，因此，流程返回到步骤S923，重复确定处理(步骤S923到S927)。另一方面，在变量i大于n‑1的情况下(步骤S928)，确定得分S的值是否包括在阈值1与阈值2之间的范围内(步骤S929)。要注意，阈值1对应于图7A到7C所示的阈值461、463和465，阈值2对应于图7A到7C所示的阈值462、464和466。
在得分S的值包括在阈值1与阈值2之间的范围内的情况下(步骤S929)，关于与属性确定字典450对应的面部属性，正规化面部图像被确定为“含糊”(步骤S930)。
在得分S的值没有包括在阈值1与阈值2之间的范围内的情况下(步骤S929)，确定得分S的值是否大于阈值2(步骤S931)。在得分S的值大于阈值2的情况下(步骤S931)，关于与属性确定字典450对应的面部属性，正规化面部图像被确定为目标图像(步骤S932)。另一方面，在得分S的值小于阈值2的情况下(步骤S931)，关于与属性确定字典450对应的面部属性，正规化面部图像被确定为不是目标图像(步骤S933)。
图29是示出根据本发明实施例的成像设备100的个人识别处理的过程的面部相似度计算过程(图26中的步骤S950中的过程)的流程图。
首先，相似度计算单元360从保持在相似度计算基准数据保持单元361中的相似度计算字典中获得缺省的相似度计算字典(步骤S951)。例如，从图16所示的相似度计算基准数据保持单元361获得一般字典701。随后，相似度计算单元360基于从属性确定单元330输出的面部属性的确定结果，从保持在相似度计算基准数据保持单元361中的相似度计算字典中选择相似度计算字典(步骤S952)。随后，相似度计算单元360使用缺省的相似度计算字典和所选择的相似度计算字典来执行相似度计算处理(步骤S960)。将参照图30详细描述该相似度计算处理。
图30是示出根据本发明实施例的成像设备100的面部相似度计算处理的过程的相似度计算过程(图29所示的步骤S960中的过程)的流程图。现在，将描述利用图17所示的相似度计算字典660计算相似度的示例。
首先，将得分S1初始化为“0”(步骤S961)，将变量i初始化为“0”(步骤S962)。随后，获得在与包括在相似度计算字典660的基准数据i中的坐标0(x，y)661的值对应的要确定的面部特征量中包括的特征量的值A0(i)、和包括在登记面部特征量中的特征量的值B0(i)。另外，获得在与包括在相似度计算字典660的基准数据i中的坐标1(x，y)662的值对应的要确定的面部特征量中包括的特征量的值A1(i)、和包括在登记面部特征量中的特征量的值B1(i)(步骤S963)。
接下来，利用下式计算获得的特征量的值之间的差的绝对值C0(i)(步骤S964)。
C0(i)＝|A0(i)‑B0(i)|
接下来，利用下式计算获得的特征量的值之间的差的绝对值C1(i)(步骤S965)。
C1(i)＝|A1(i)‑B1(i)|
接下来，利用下式计算计算出的绝对值C0(i)和C1(i)之间的差的绝对值C2(i)(步骤S966)。
C2(i)＝|C0(i)‑C1(i)|
接下来，对计算出的绝对值C2(i)与包括在相似度计算字典660的基准数据i中的阈值(θ)663的值进行比较，以确定计算出的绝对值C2(i)是否大于阈值(θ)663的值(步骤S967)。在计算出的绝对值C2(i)等于或小于阈值(θ)663的值的情况下(步骤S967)，将包括在相似度计算字典660的基准数据i中的权重(α)664的值加到得分S1(步骤S968)。另一方面，在计算出的绝对值C2(i)大于阈值(θ)663的值的情况下(步骤S967)，流程前进到步骤S969，而不将包括在相似度计算字典660的基准数据i中的权重(α)664的值加到得分S1。
接下来，将“1”加到变量i(步骤S969)，并且确定变量i是否大于n‑1(步骤S970)。在变量i不大于n‑1的情况下(步骤S970)，关于相似度计算字典660的各基准数据的确定处理尚未结束，因此，流程返回到步骤S963，重复相似度计算处理(步骤S963到S969)。另一方面，在变量i大于n‑1的情况下(步骤S970)，确定是否存在未经历相似度计算处理的相似度计算字典(步骤S971)。在存在未经历相似度计算处理的相似度计算字典的情况下(步骤S971)，流程返回到步骤S962，重复执行利用其它相似度计算字典的相似度计算处理(步骤S962到S969)。例如，如图19所示，对于面部属性的确定结果被确定为儿童的情况，在一般字典701的相似度计算处理完成后，存在儿童用字典702，所以执行利用儿童用字典702的相似度计算处理。
另一方面，在不存在未经历相似度计算处理的相似度计算字典的情况下(步骤S971)，将得分S1的值输出到CPU 110，作为指示与要确定的面部特征量对应的面部和与登记面部特征量对应的面部之间的相似度的值(步骤S972)。
图31是示出根据本发明实施例的成像设备100的个人识别处理的过程的面部属性确定过程的流程图。该面部属性确定过程是图27所示的面部属性确定过程的部分变型。要注意，步骤S916到S919是与图27所示的步骤S916到S919相同的过程，因此，在这里省去了对它的描述。现在，将描述选择性地执行关于年龄、开/闭眼睛、发型、有眼镜/无眼镜和已刮脸/未刮脸的面部属性的示例。假定对于与年龄相关的面部属性的确定，确定要确定的面部是否是婴儿。另外，假定对于与眼镜相关的面部属性的确定，确定要确定的面部是否具有太阳镜(低透明度的眼镜)。
首先，属性确定单元330利用年龄确定字典执行年龄属性确定处理(步骤S991)。接下来，确定是否婴儿被确定为与年龄相关的面部属性的确定结果(步骤S992)。在婴儿被确定为与年龄相关的面部属性的确定结果的情况下(步骤S992)，仅执行关于开/闭眼睛的面部属性的确定处理，并且不执行其它面部属性的确定处理。也就是说，对于婴儿，假定“关于发型的特征少”、“无眼镜”、“性别不明确”和“无胡须”。
另一方面，在并非婴儿被确定为与年龄相关的面部属性的确定结果的情况下(步骤S992)，属性确定单元330利用发型确定字典执行发型属性确定处理(步骤S994)，并且利用眼镜确定字典执行眼镜属性确定处理(步骤S995)。
接下来，确定是否太阳镜被确定为与眼镜相关的面部属性的确定结果(步骤S996)。在太阳镜被确定为与眼镜相关的面部属性的确定结果的情况下(步骤S996)，针对戴太阳镜的面部难以确定眼睛的开/闭，因此，流程前进到步骤S998，而不执行关于开/闭眼睛的面部属性的确定处理。另一方面，在太阳镜没有被确定为与眼镜相关的面部属性的确定结果的情况下(步骤S996)，执行与开/闭眼睛相关的面部属性的确定处理(步骤S997)。
接下来，在女性被确定为与性别相关的面部属性的确定结果的情况下(步骤S998)，女性具有没有胡须的前提，因此，不执行与胡须相关的确定处理，流程前进到步骤S916。另一方面，在女性没有被确定为与性别相关的面部属性的确定结果的情况下(步骤S998)，执行与胡须相关的确定处理(步骤S999)。
因此，在各种类型的面部属性之中，诸如对于儿童或女性而言的胡须，在一些情况下存在冲突的内容和非常少见的组合的内容。因此，针对冲突的面部属性，基于已经确定的面部属性的确定结果，不执行确定处理，由此能够减少面部属性的确定处理时间并且能够提高精度。
图32是示出根据本发明实施例的成像设备100的特定个人信息登记处理的过程的流程图。对于该示例，针对每个帧执行特定个人信息登记处理。另外，将假定已经设置了特定个人信息自动更新模式的情况来描述该示例。
首先，相似度计算单元360从属性确定单元330输入面部属性确定结果(面部属性信息)(步骤S1001)，并且从面部特征量提取单元350输入面部特征量(步骤S1002)。随后，确定操作接收单元160是否接收到来自用户的登记指令的操作输入(步骤S1003)。在尚未接收到来自用户的登记指令的操作输入的情况下(步骤S1003)，将变量i初始化为“0”(步骤S1004)，并且将“1”加到变量i(步骤S1005)。这里，变量i是用于参考其特定个人信息存储在特定个人信息存储单元380中的特定人的值。例如，假定，在i＝1的情况下，参考识别编号381的“100”；在i＝2的情况下，参考识别编号381的“200”；在i＝3的情况下，参考识别编号381的“300”。另外，在下文中，与变量i对应的特定人的面部将被称作登记面部i。
接下来，相似度计算单元360确定检测到的面部和登记面部i的面部属性“性别”是否相同(步骤S1006)。在检测到的面部和登记面部i的面部属性“性别”不同的情况下(步骤S1006)，确定变量i是否等于或大于常量N(步骤S1012)。这里，常量N是指示其特定个人信息存储在特定个人信息存储单元380中的特定人的数目的值。例如，对于图15所示的示例，N＝3。在变量i小于常量N的情况下(步骤S1012)，流程返回到步骤S1005，并且将“1”加到变量i。另一方面，在变量i等于或大于常量N的情况下(步骤S1012)，流程前进到步骤S1013。
另外，在检测到的面部和登记面部i的面部属性“性别”相同的情况下(步骤S1006)，相似度计算单元360确定检测到的面部和登记面部i的面部属性“年龄”是否相同(步骤S1007)。在检测到的面部和登记面部i的面部属性“年龄”不同的情况下(步骤S1007)，流程前进到步骤S1012。另一方面，在检测到的面部和登记面部i的面部属性“年龄”相同的情况下(步骤S1007)，相似度计算单元360利用其它面部属性从登记面部i的特定个人信息中选择一个或多个特定个人信息(步骤S1008)。例如，在针对检测到的面部计算出的累积结果值之中，提取绝对值最大的累积结果值，并且选择与提取的累积结果值的差值最小的登记面部i的特定个人信息。
接下来，相似度计算单元360利用选择的特定个人信息的面部特征量，执行相似度计算处理(步骤S1009)。该相似度计算处理是与图29所示的步骤S950中的处理基本相同的处理，因此在这里省去了对它的描述。要注意，步骤S1009是发明内容中记载的计算的示例。随后，特定个人信息登记单元370基于由相似度计算单元360计算出的相似度，确定来自面部特征量提取单元350的面部特征量与存储在特定个人信息存储单元380中的面部特征量之间的相似度是否极高(步骤S1010)。也就是说，确定检测到的面部是否与登记面部i相似。在来自面部特征量提取单元350的面部特征量与存储在特定个人信息存储单元380中的面部特征量之间的相似度不是极高的情况下(步骤S1010)，流程前进到步骤S1012。
另外，在来自面部特征量提取单元350的面部特征量与存储在特定个人信息存储单元380中的面部特征量之间的相似度极高的情况下(步骤S1010)，流程前进到步骤S1011。随后，特定个人信息登记单元370确定登记面部i的登记日期和时间389是否是在一定时长以上之前的日期和时间(步骤S1011)。在登记面部i的登记日期和时间389不是在一定时长以上之前的日期和时间的情况下(步骤S1011)，确定在当前帧内是否存在检测到的任何其它面部(步骤S1013)。当在当前帧内不存在检测到的任何其它面部的情况下(步骤S1013)，特定个人信息登记处理的操作结束。另一方面，当在当前帧内存在检测到的任何其它面部的情况下(步骤S1013)，流程返回到步骤S1001。
另一方面，在登记面部i的登记日期和时间389是在一定时长以上之前的日期和时间的情况下(步骤S1011)，特定个人信息登记单元370执行特定个人信息登记处理(步骤S1020)。将参照图33详细描述该特定个人信息登记处理。
要注意，对于该示例，在步骤S1008中，提取绝对值最大的累积结果值，并且选择登记面部i的特定个人信息，但是例如，可以在步骤S1008中执行图23所示的另一特定个人信息选择方法。
图33是示出根据本发明实施例的成像设备100的特定个人信息登记处理的过程的特定个人信息登记确定过程(图32所示的步骤S1020中的过程)的流程图。将描述利用面部相像度、笑脸得分、正面得分和睁眼得分确定特定个人信息登记的必要性的示例。
首先，特定个人信息登记单元370确定针对检测到的面部计算出的面部相像度得分是否高于对应阈值(步骤S1021)，确定针对检测到的面部计算出的正面得分是否高于对应阈值(步骤S1022)，确定针对检测到的面部计算出的睁眼得分是否高于对应阈值(步骤S1023)，随后确定针对检测到的面部计算出的笑脸得分是否低于对应阈值(步骤S1024)。随后，在检测到的面部的面部相像度得分、正面得分和睁眼得分高于对应阈值并且笑脸得分低于对应阈值的情况下(步骤S1021到S1024)，特定个人信息登记单元370执行特定个人信息的登记处理(步骤S1025)。也就是说，从面部特征量提取单元350输入的面部特征量、从属性确定单元330输入的面部属性信息等被附加写或覆写到特定个人信息存储单元380。
另一方面，在检测到的面部的面部相像度得分、正面得分和睁眼得分中的至少一个不高于对应阈值的情况下，或者在笑脸得分不低于对应阈值的情况下(步骤S1021到S1024)，流程前进到步骤S1013。
图34是示出根据本发明实施例的成像设备100的静止图像记录处理的过程的流程图。通过CPU 110执行该静止图像记录处理。另外，将描述把检测到的面部与登记面部相似当作执行静止图像记录操作时的条件的情况。
首先，从属性确定单元330输入面部属性确定结果(面部属性信息)(步骤S1031)，随后，确定操作接收单元160是否接收到用户对快门按钮的按压操作(步骤S1032)。在接收到用户对快门按钮的按压操作的情况下(步骤S1032)，执行用于记录接收到该按压操作时的成像图像的记录操作(步骤S1037)。另一方面，在尚未接收到用户对快门按钮的按压操作的情况下(步骤S1032)，确定是否设置了笑脸静止图像记录模式(步骤S1033)。在尚未设置笑脸静止图像记录模式的情况下(步骤S1033)，静止图像记录处理的操作结束。
另一方面，在设置了笑脸静止图像记录模式的情况下(步骤S1033)，确定检测到的面部是否与登记面部相似(步骤S1034)。在这种情况下，在多个面部包括在成像图像中的情况下，任何一个面部被确定为特定面部可被用作条件。在检测到的面部与登记面部不相似的情况下(步骤S1034)，静止图像记录处理的操作结束。
另一方面，在检测到的面部与登记面部相似的情况下(步骤S1034)，确定面部相像度得分是否超过阈值Tf1(步骤S1035)并且确定笑脸得分是否超过阈值Ts1(步骤S1036)。在面部相像度得分超过阈值Tf1(步骤S1035)并且笑脸得分超过阈值Ts1(步骤S1036)的情况下，执行用于记录成像图像的记录操作(步骤S1037)。另一方面，在面部相像度得分没有超过阈值Tf1的情况下(步骤S1035)，或者在笑脸得分没有超过阈值Ts1的情况下(步骤S1036)，静止图像记录处理的操作结束。
要注意，该示例示出了记录静止图像的示例，但是，例如在满足步骤S1034到S1036的条件的情况下，可以在步骤S1037中开始运动图像的记录操作。
要注意，对于本发明的以上实施例，作为示例描述了包括诸如镜头、图像传感器等的成像单元的成像设备，但是本发明的实施例还可以应用于不包括成像单元的图像处理设备。例如，这种图像处理设备能够针对从外部图像记录介质输入的图像数据或经由输入/输出端子从外部设备输入的图像数据，执行上述的面部检测处理和面部识别处理。另外，由属性确定单元330确定的面部属性的确定结果、从面部特征量提取单元350提取的面部特征量、由相似度计算单元360计算出的相似度等可以经由输入/输出端子输出到外部设备。
另外，对于本发明的以上实施例，描述了作为对象目标检测面部以执行个人识别的情况，但是本发明的实施例还可以应用于检测其它对象以执行对象识别的情况。例如，本发明的实施例可以应用于诸如猫、狗等的宠物以及诸如动物、房屋、车辆等的各种对象。例如，与个人识别的情况相比，根据诸如颜色、图案、耳朵形状等的差异，能够容易地执行个人识别。
另外，对于本发明的以上实施例，描述了利用用作特征量提取滤波器的Gabor滤波器来提取特征量并且利用该特征量执行个人识别的示例，但是本发明的实施例可以应用于不利用特征量执行个人识别的情况。例如，可以采用高斯马尔科夫随机场(GMRF)、局部二值模式(LBP)特征、特征脸(EigenFace)方法等。
如上所述，根据本发明的实施例，能够在成像设备100内自动提高精度的同时持续更新特定个人的登记信息(特定个人信息)。也就是说，即使用户不执行登记操作，成像设备100也能够自动确定特定个人信息的状态，以定期高精度地将特定个人信息更新到最新状态。在这种情况下，用户使用成像设备100越频繁，特定个人信息的精度提高得越多，由此能够执行更加精确的个人识别。另外，能够提高个人识别的精度，因此能够实现最适于特定个人的相机的诸如对焦或曝光加倍或者肤色调整等的控制以及诸如振动校正、频闪观测器调光等的各种相机功能的控制。
另外，关于要自动记录为静止图像或运动图像的图像，能够自动选择适于成像的面部，诸如笑脸、正面面部、不眨眼面部等。另一方面，关于要自动记录为用于个人识别的特定个人信息的数据，能够自动选择适于登记的面部，诸如避免极端笑脸的严肃面部、正面面部、不眨眼面部等。另外，阐明了最适于开始自动静止图像记录或自动运动图像记录的面部属性的条件与最适于个人识别的面部属性的条件之间的差别，并且针对二者单独设置条件，由此关于二者都能够提高精度。
另外，面部属性(例如，目标人的表情、年龄和年龄组、性别、开/闭眼睛、种族、有眼镜/无眼镜、眼镜的类型、已刮脸/未刮脸、胡须的类型、有帽子/无帽子、帽子的类型、有首饰/无首饰、首饰的类型、发型和面部朝向)能够被确定为包括在图像中的人的面部的区域。另外，关于与已经通过面部属性确定处理确定的面部属性相反的面部属性，不执行确定处理，由此能够高效地获得有效面部属性的确定结果。另外，对于个人识别处理，利用已经确定的面部属性，由此能够提高个人识别的精度，能够提高处理速度，并且能够有效地执行有效个人识别处理。
另外，根据面部属性的确定结果切换执行个人识别时的特征点坐标，由此能够提取对应于要确定的面部的最适宜的特征量。另外，根据面部属性的确定结果切换执行个人识别时的特征量提取滤波器，由此能够提取对应于要确定的面部的最适宜的特征量。另外，根据面部属性的确定结果切换执行个人识别时的用于相似度计算的相似度计算基准数据，由此能够执行对应于要确定的面部的最适宜的相似度计算并且能够实现高精度的个人识别。
另外，在根据面部属性的确定结果在计算的中途中断执行个人识别时的相似度计算，由此能够减少处理时间并且能够实现加速。具体地，当在注重属性之间的相似度时存在冲突的内容的情况下，能够在早期阶段发现登记面部和要确定的面部不是同一人，由此能够大幅减少处理时间。另外，根据面部属性的确定结果进一步延长执行个人识别时的相似度计算，由此还可以针对相似度计算困难的面部执行更高精度的处理。
另外，能够实现高精度高速度的个人识别，并且对于诸如成像设备的实时图像处理，能够向用户通知特定人的面部。另外，即使诸如数字相机或带有相机的蜂窝电话的小型成像设备不包括大小足够大的图像显示设备(液晶面板等)，该成像设备也能够对用户显示特定人的面部。因此，用户能够容易地以可视方式确认特定人的面部。
另外，本发明的实施例能够应用于成像设备以外的图像处理设备，由此还能够针对从外部设备输入的人的面部图像执行面部属性确定处理和个人识别处理。另外，能够产生各种面部属性、面部特征点坐标和面部相似度作为图像关联数据，由此能将更丰富的信息自动提供给用户。另外，能够利用各种面部属性、面部特征点坐标和面部相似度，从大量的运动图像或静止图像数据库迅速检索出特定人的图像。
另外，关于以上实施例描述的过程可被视为包括这一系列过程的方法，或者可被视为使得计算机执行这一系列过程的程序以及存储有该程序的记录介质。该记录介质的示例包括CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、记忆卡和蓝光盘(注册商标)。
本申请包含与在2008年9月4日提交到日本专利局的日本在先专利申请JP2008‑227340中公开的主题相关的主题，通过引用将该日本专利申请的全部内容纳入于此。
本领域技术人应该明白，可以根据设计要求和其它因素想到各种变型、组合、子组合和替代，只要它们位于权利要求及其等同物的范围内即可。