电子照相机本发明引用2010年12月9日提出的日本专利申请2010-274793号文
献的公开内容。
技术领域
本发明涉及电子照相机,特别地,涉及从由摄像装置捕捉到的视场影
像中检测人物的脸部图像这样的特定物体像的电子照相机。
背景技术
根据这种照相机的一个例子,在LCD监视器中显示基于由摄像装置
重复捕捉到的视场影像的取景图像,并与此并行地从各帧的视场影像中检
索脸部图像。如果发现脸部图像,则按照OSD方式在LCD监视器中显示
表示脸部框的特征。
但是,在上述的照相机中,在LCD监视器中显示表示脸部框的特征。
因此,在为了进行所谓自拍而操作者位于视场侧时,不能确认脸部框的特
征即脸部图像的检测状态,操作性降低。
发明内容
按照本发明的电子照相机,包括:摄像部件,其输出与在摄像面中捕
捉到的光学像对应的电子图像;第一产生部件,其朝向摄像面的前方来产
生第一报告;搜索部件,其从由摄像部件输出的电子图像中搜索1个或2
个以上的脸部图像,其中,该1个或2个以上的脸部图像中的每一个脸部
图像都具有超出基准的尺寸;以及控制部件,其参照由搜索部件检测到的
1个或2个以上的脸部图像中的每一个脸部图像的属性来控制第一产生部
件的产生方式。
按照本发明的计算机程序,是一种通过具备摄像部件的电子照相机的
处理器来执行的、保存在实际的介质中的计算机程序,其中,该摄像部件
输出与在摄像面中捕捉到的光学像对应的电子图像,该计算机程序包括:
第一产生步骤,朝向摄像面的前方来产生第一报告;搜索步骤,从由摄像
步骤输出的电子图像中搜索1个或2个以上的脸部图像,该1个或2个以
上的脸部图像中的每一个脸部图像都具有超出基准的尺寸;以及控制步
骤,参照由搜索步骤检测到的1个或2个以上的脸部图像中的每一个脸部
图像的属性来控制第一产生步骤的产生方式。
按照本发明的摄像控制方法,是一种由具备摄像部件的电子照相机执
行的摄像控制方法,其中,该摄像部件输出与在摄像面中捕捉到的光学像
对应的电子图像,该摄像控制方法包括:第一产生步骤,朝向摄像面的前
方来产生第一报告;搜索步骤,从由摄像步骤输出的电子图像中搜索1
个或2个以上的脸部图像,该1个或2个以上的脸部图像中的每一个脸部
图像都具有超出基准的尺寸;以及控制步骤,参照由搜索步骤检测到的1
个或2个以上的脸部图像中的每一个脸部图像的属性来控制第一产生步
骤的产生方式。
根据参照附图所进行的对以下实施例的详细说明,上述本发明的特征
以及有利点会更加明确。
附图说明
图1是表示本发明的一实施例的基本构成的框图。
图2是表示本发明的一实施例的构成的框图。
图3是表示在摄像面中分配评价区域的状态的一例的图解图。
图4(A)是表示从前方眺望图2实施例的电子照相机的状态的一例
的图解图。
图4(B)是表示从后方眺望图2实施例的电子照相机的状态的一例
的图解图。
图5是表示在图2实施例中参照的辞典的一例的图解图。
图6是表示用于脸部识别处理的多个脸部检测框的一例的图解图。
图7是表示由图2实施例参照的图表的一例的图解图。
图8是表示脸部检测动作的一部分的图解图。
图9(A)是表示在监视器画面中显示的视场影像的一例的图解图。
图9(B)是表示LED装置的发光状态的一例的图解图。
图10(A)是表示在监视器画面中显示的视场影像的另一例的图解图。
图10(B)是表示LED装置的发光状态的另一例的图解图。
图11(A)是表示在监视器画面中显示的视场影像的又一例的图解图。
图11(B)是表示LED装置的发光状态的又一例的图解图。
图12(A)是表示在监视器画面中显示的视场影像的再一例的图解图。
图12(B)是表示LED装置的发光状态的再一例的图解图。
图13是表示由图2实施例参照的图表的另一例的图解图。
图14是表示LED控制任务中的主要脸部确定处理的一例的图解图。
图15是表示图2实施例中应用的CPU的动作的一部分的流程图。
图16是表示图2实施例中应用的CPU的动作的另一部分的流程图。
图17是表示图2实施例中应用的CPU的动作的又一部分的流程图。
图18是表示图2实施例中应用的CPU的动作的再一部分的流程图。
图19是表示图2实施例中应用的CPU的动作的另一部分的流程图。
图20是表示图2实施例中应用的CPU的动作的又一部分的流程图。
图21是表示图2实施例中应用的CPU的动作的再一部分的流程图。
图22是表示图2实施例中应用的CPU的动作的另一部分的流程图。
图23是表示图2实施例中应用的CPU的动作的又一部分的流程图。
图24是表示图2实施例中应用的CPU的动作的再一部分的流程图。
图25是表示图2实施例中应用的CPU的动作的另一部分的流程图。
图26是表示本发明另一实施例中应用的CPU的动作的一部分的流程
图。
图27是表示本发明又一实施例的构成的框图。
图28是表示图27实施例中应用的CPU的动作的一部分的流程图。
图29是表示图27实施例中应用的CPU的动作的另一部分的流程图。
图30是表示本发明的再一实施例的构成的框图。
具体实施方式
参照图1,本发明的一实施例的电子照相机,基本如以下构成。摄像
部件1输出与在摄像面中捕捉到的光学像对应的电子图像。第一产生部件
2朝向摄像面的前方来产生第一报告。搜索部件3从由摄像部件1输出的
电子图像中搜索1个或2个以上的脸部图像,其中,该1个或2个以上的
脸部图像中的每一个脸部图像都具有超出基准的尺寸。控制部件4参照由
搜索部件3检测到的1个或2个以上的脸部图像中的每一个脸部图像的属
性来控制第一产生部件2的产生方式。
参照图2,该实施例的数字照相机10包括由驱动器18a以及18b分
别驱动的聚焦透镜12以及光圈单元14。经过这些部件后的视场的光学像
被照射到成像器16的摄像面中,并被实施光电转换。由此,生成表示视
场影像的电荷。
如果操作键输入装置28上的电源键28p,则CPU26为了按照摄像任
务来开始取景图像处理,而命令驱动器18c重复曝光动作以及间隔读出动
作。驱动器18c响应由未图示的SG(Signal Generator)周期性地产生的
垂直同步信号Vsync,对摄像面进行曝光,并且按照光栅扫描方式来读出
在摄像面中生成的一部分电荷。从成像器16周期性地输出基于所读出的
电荷的低分辨率的原始图像信号。
前处理电路20对从成像器16输出的原始图像信号实施CDS
(Correlated Double Sampling,相关双重抽样)、AGC(Automatic Gain
Control,自动增益控制)、A/D转换等处理,并输出作为数字信号的原始
图像数据。所输出的原始图像数据通过存储器控制电路30被写入
SDRAM32的原始图像区域32a中。
后处理电路34通过存储器控制电路30读出保存在原始图像区域32a
中的原始图像数据,对读出的原始图像数据实施白平衡调整、颜色分离、
YUV转换等处理。由此生成的YUV形式的图像数据通过存储器控制电
路30被写入SDRAM32的YUV图像区域32b中。
LCD驱动器36通过存储器控制电路30重复读出保存在YUV图像区
域32b中的图像数据,并基于所读出的图像数据来驱动LCD监视器38。
其结果,视场的实时动态图像(取景图像)就被显示在监视器画面中。
参照图3,将评价区域EVA分配给摄像面的中央。评价区域EVA在
水平方向以及垂直方向的每一个方向上进行16分割,256个分割区域形
成评价区域EVA。此外,前处理电路20除了上述处理以外,还执行将原
始图像数据简易转换为RGB数据的简易RGB转换处理。
AE/AWB评价电路22在每次产生垂直同步信号Vsync时对由前处理
电路20生成的RGB数据中属于评价区域EVA的RGB数据进行积分。
由此,响应垂直同步信号Vsync从AE/AWB评价电路22输出256个积分
值即256个AE/AWB评价值。
此外,AF评价电路24提取从前处理电路20输出的RGB数据中属
于相同的评价区域EVA的G数据的高频成分,在每次产生垂直同步信号
Vsync时对所提取出的高频成分进行积分。由此,响应垂直同步信号Vsync
从AF评价电路24输出256个积分值即256个AF评价值。
CPU26与取景图像处理并列地执行基于来自AE/AWB评价电路22
的输出的取景图像用AE/AWB处理,计算适当EV值以及适当白平衡调
整增益。对计算出的适当EV值进行定义的光圈量以及曝光时间分别在驱
动器18b以及18c中设定。此外,计算出的适当白平衡调整增益在后处理
电路34中设定。其结果,将取景图像的明亮度以及白平衡调整为适当程
度。
CPU26还按照与取景图像处理并列的连续AF任务,执行基于来自
AF评价电路24的输出的取景图像用AF处理。聚焦透镜12在AF评价
电路24的输出满足AF起动条件时,通过驱动器18a来设定合焦点。由
此,将取景图像的焦距调整为适当程度。
如果半按压快门按钮28s,则CPU26就中断连续AF任务,按照摄像
任务来执行记录用AF处理。记录用AF处理也还基于AF评价电路24的
输出来执行。由此,对焦距进行严格调整。CPU26接着基于AE/AWB评
价电路22的输出来执行记录用AF处理,计算最佳EV值。对计算出的
最佳EV值进行定义的光圈量以及曝光时间与上述相同,分别由驱动器
18b以及18c设定。其结果,对取景图像的明亮度进行严格调整。
如果全按压快门按钮28s,则CPU26为了进行记录处理,而对驱动
器18c发出一次一次地执行曝光动作以及全像素读出动作的命令,进而起
动I/F40。驱动器18c响应垂直同步信号Vsync对摄像面进行曝光,由此
按照光栅扫描方式从摄像面读出所生成的全部电荷。从成像器16输出具
有高分辨率的1帧原始图像信号。
由前处理电路20将从成像器16输出的原始图像信号转换为原始图像
数据,转换后的原始图像数据由存储器控制电路30写入SDRAM32的原
始图像区域32a中。其结果,将全按压快门按钮28sh的时间点的1帧原
始图像数据取入原始图像区域32a。
此外,如果视场较暗,则有时最佳EV值会超出可设定范围的上限值,
从而曝光量会不足。在这样的情况下,CPU26在静止图像取入处理即将
开始之前驱动闪光灯发光装置44。其结果,取入原始图像区域32a的图
像数据就表示照射到闪光灯发光装置44的闪光的时间点的视场。
CPU26基于保存在原始图像区域32a中的原始图像数据来计算最佳
白平衡调整增益,在后处理电路34中设定所计算出的最佳白平衡调整增
益。后处理电路34通过存储器控制电路30读出保存在原始图像区域32a
中的原始图像数据,将所读出的原始图像数据转换为具有最佳白平衡的
YUV形式的图像数据,通过存储器控制电路30将转换后的图像数据写入
记录图像区域32c中。
I/F40通过存储器控制电路30读出这样保存在记录图像区域32c中的
图像数据,按照文件形式将读出的图像数据记录在记录介质42中。
另外,在将具有高分辨率的原始图像数据确保在记录图像区域32c
中的时间点再次开始取景图像处理。连续AF任务也在该时间点再次起
动。
CPU26按照与上述摄像任务并行的辅助LED控制任务来控制根据图
4(A)所示的要领而设置在筐体CB1的正面的辅助LED装置50的发光
动作。另外,LCD监视器38根据图4(B)所示的要领而设置在照相机
筐体CB1的后面。因此,辅助LED装置50朝向照相机筐体CB1的前方
进行发光,LCD监视器38朝向照相机筐体CB1的后方来显示图像。
在辅助LED控制任务中,在快门按钮28s处于操作状态(半按压状
态)时,CPU26判别是否预定在静止图像取入处理即将开始之前驱动闪
光灯发光装置44。在视场较暗从而判别为需要闪光灯发光时或设定为强
制发光时,为了予告闪光灯发光,辅助LED装置50开始点亮。
在辅助LED控制任务中,在快门按钮28s处于操作状态(半按压状
态)时,CPU26判别是否产生了手抖动。由CPU26取入运动检测电路52
检测到的摄像面的运动向量,并将其与阈值比较,结果,在判别为产生了
手抖动时,为了报告手抖动产生,辅助LED装置50开始闪烁。
点亮状态或闪烁状态的辅助LED装置50根据快门按钮28s的全按压
或快门按钮28s的半按压状态的解除而熄灭。
CPU26按照与取景图像处理并列执行的脸部检测任务,从保存在
SDRAM32的原始图像区域32a中的低分辨率的原始图像数据中重复检索
人物的脸部图像。为了这样的脸部检测任务,准备图5所示的辞典DIC、
图6所示的多个脸部检测框FD_1、FD_2、FD_3、......、以及图7所示
的2个图表TBL1~TBL2。
根据图5,在辞典DIC中登记多个脸部模式FP_1、FP_2、......。此
外,根据图6,脸部检测框FD_1、FD_2、FD_3、......具有相互不同的形
状以及/或大小。进一步地,图7所示的图表TBL1~TBL2中的每一个图
表都相当于用于记述脸部框信息的图表,由记述脸部图像的位置(检测到
脸部图像的时间点的脸部检测框的位置)的栏和记述脸部图像的尺寸(检
测到脸部图像的时间点的脸部检测框的尺寸)的栏形成。
在脸部检测任务中,首先,将图表TBL1指定为保持当前帧的脸部框
信息的当前帧图表。其中,所指定的图表按每1帧在图表TBL1以及TBL2
之间进行更新,当前帧图表在下一帧中成为前一帧图表。在完成当前帧图
表的指定后,将变量K设定为“1”,脸部检测框FD_K被设定在图3所
示的评价区域EVA的左上即脸部检测开始位置。
产生垂直同步信号Vsync后,将保存在SDRAM32的原始图像区域
32a中的当前帧的原始图像数据中属于脸部检测框FD_K的部分图像数据
与图5所示的辞典DIC中记述的多个脸部模式FP_1、FP_2、......中的每
一个模式进行对照。如果判别为所关注的部分图像与某一个脸部模式相适
合,就将脸部检测框FD_K的当前位置以及尺寸作为脸部框信息记述在当
前帧图表中。
脸部检测框FD_K根据图8所示的要领在光栅方向上按每既定量进行
移动,在评价区域EVA上的多个位置实施上述对照处理。并且,每次发
现人物的脸部图像时,就将与所发现的脸部图像对应的脸部框信息(即脸
部检测框FD_K的当前位置以及尺寸)记述在当前帧图表中。
在脸部检测框FD_K到达评价区域EVA的右下即脸部检测结束位置
时,更新变量K,将与更新后的变量K的值对应的脸部检测框FD_K再
次配置在脸部检测开始位置。与上述相同,脸部检测框FD_K在评价区域
EVA中在光栅方向上移动,与通过对照处理检测到的脸部图像对应的脸
部框信息被记述在当前帧图表中。重复执行这样的脸部识别处理,直到脸
部检测框FD_Kmax(Kmax:末尾的脸部检测框的编号)到达脸部检测结
束位置为止。
在脸部检测框FD_Kmax到达脸部检测结束位置后,对LCD驱动器
36命令基于记述在当前帧图表中的脸部框信息来显示脸部框特征。LCD
驱动器36根据命令按照OSD方式将脸部框特征显示在LCD监视器38
中。
在脸部框特征的显示处理完成后,更新指定图表,并且初始化更新后
的指定图表。进一步地,将变量K设定为“1”。下一帧的脸部识别处理
响应垂直同步信号Vsync的产生而开始。
与这样的脸部检测任务并行地,CPU26按照调整区域控制任务,对
用于AE/AWB处理以及AF处理而参照的参数调整区域ADJ的位置以及
形状进行定义。
在调整区域控制任务中,响应垂直同步信号Vsync的产生来指定脸
部框信息确定的前一帧图表,判别是否在前一帧图表中记述了脸部框信
息。
如果在前一帧图表中记述了至少1个脸部框,则将形成评价区域EVA
的256个分割区域中覆盖脸部框内的区域的一部分分割区域定义为参数
调整区域ADJ。相对于此,如果在前一帧图表中一个脸部框都没有记述,
则将评价区域EVA整体定义为参数调整区域ADJ。
上述取景图像用AE/AWB处理以及记录用AE/AWB处理基于从
AE/AWB评价电路22输出的256个AE/AWB评价值中属于参数调整区域
ADJ的AE/AWB评价值来执行。此外,取景图像用AF处理以及记录用
AF处理也基于从AF评价电路24输出的256个AF评价值中属于参数调
整区域ADJ的AF评价值来执行。由此,提高曝光量和焦距等摄像参数
的调整精度。
CPU26进一步地按照与上述摄像任务并行的LED控制任务来控制根
据图4(A)所示的要领而设置在照相机筐体CB1的正面的LED装置46R、
46L、以及46C的发光动作。另外,LED装置46R、46L、以及46C朝向
照相机筐体CB1的前方进行点亮或闪烁。
在LED控制任务中,响应垂直同步信号Vsync的产生来指定脸部框
信息确定的前一帧图表,并检测超出基准的尺寸的脸部框。
如果所检测到的脸部框一个都没有,则LED装置46R、46L、以及
46C熄灭。如果检测到的脸部框数目为3个以上,则LED装置46R、46L、
以及46C全都点亮。
如果检测到的脸部框数目为1个或2个,则执行将任一个脸部框确定
为主要脸部的处理。在主要脸部确定处理中,首先,判别检测到的脸部框
数目是否为2。如果检测到的脸部框数目为1,则将第一个脸部框的脸部
确定为主要脸部。
如图9(A)所示,在相对于在包含数字照相机10的光轴在内的垂直
方向上延伸的面,由脸部框KF1捕捉到的主要脸部从脸部侧观察位于右
侧时,CPU26根据图9(B)所示的要领使LED装置46R闪烁。
如图10(A)所示,在相对于在包含数字照相机10的光轴在内的垂
直方向上延伸的面,由脸部框KF1捕捉到的主要脸部从脸部侧观察位于
左侧时,CPU26根据图10(B)所示的要领使LED装置46L闪烁。
如图11(A)所示,在由脸部框KF1捕捉到的主要脸部位于在包含
数字照相机10的光轴在内的垂直方向上延伸的面附近时,CPU26根据图
11(B)所示的要领使LED装置46C闪烁。
如图12(A)所示的例子这样,如果检测到的脸部框数目为2,则在
主要脸部确定处理中,为了设定主要脸部确定的判断基准,针对由脸部框
KF1捕捉到的脸部1以及由脸部框KF2捕捉到的脸部2,计算各个脸部
框的尺寸、脸部框的位置、脸部的倾斜度、脸部的朝向、以及笑脸程度。
另外,针对脸部框的位置,计算从摄像面中央到脸部框中央的距离。
对这些属性中的每一个属性设定相互不同的权重。为了设定这样的权
重而准备图13所示的图表TBL3。参照图13,对脸部框的尺寸给予“40”,
对脸部框的位置给予“30”,对脸部的倾斜度给予“15”,对脸部的朝向给
予“10”,对笑脸程度给予“5”。这表示按照脸部框的尺寸、脸部框的位
置、脸部的倾斜度、脸部的朝向、以及笑脸程度的顺序在主要脸部的确定
中对它们进行重视。
还基于针对脸部1计算出的值和针对脸部2计算出的值之间的每个属
性的相对比来分别分配这些权重。针对脸部框的尺寸,尺寸越大分配越多
的权重,针对脸部框的位置,从摄像面中央到脸部框中央的距离越短就分
配越多的权重。针对脸部的倾斜度,倾斜度越小就分配越多的权重,针对
脸部的朝向,朝向数字照相机10越是朝向正面就分配越多的权重。针对
笑脸程度,计算值越高就分配越多的权重。
这样的分配的结果,在对脸部1分配的权重的总和是对脸部2分配的
权重的总和以上时,CPU26确定脸部1为主要脸部。在对脸部1分配的
权重的总和低于对脸部2分配的权重的总和时,CPU26确定脸部2为主
要脸部。
根据图12(A)所示的例子,由于脸部框KF1的尺寸和脸部框KF2
的尺寸之间的相对比为3∶1,所以在权重“40”的情况下,参照图14,
对脸部1分配“30”,对脸部2分配“10”。由于脸部框KF1的位置(从
摄像面中央到脸部框KF1的中央的距离)和脸部框KF2的位置(从摄像
面中央到脸部框KF2的中央的距离)之间的相对比为“2∶3”,所以在权
重“30”的情况下,参照图14,对脸部1分配“18”,对脸部2分配“12”。
由于脸部1和脸部2相对于摄像面上的垂直方向的倾斜度之间的相对
比为“2∶1”,所以在权重“15”的情况下,参照图14,对脸部1分配“5”,
对脸部2分配“10”。由于相对于数字照相机10脸部1的脸部朝向的角度
和脸部2的脸部朝向的角度之间的相对比为“1∶1”,所以参照图14将权
重“10”对每个脸部框各分配“5”。由于脸部框KF1的笑脸程度和脸部
框KF2的笑脸程度之间的相对比为“3∶2”,所以在权重“5”的情况下,
参照图14,对脸部1分配“3”,对脸部2分配“2”。
这样的分配的结果,对脸部1分配的权重的总和是“61”,对脸部2
分配的权重的总和是“39”。因此,由于脸部1的总和是脸部2的总和以
上,所以根据图12(A)所示的例子,CPU26将由脸部框KF1捕捉到的
脸部1确定为主要脸部。
在LED装置46R、46L、以及46C对主要脸部的控制完成后,CPU
执行针对次脸部(=主要脸部以外的脸部)的LED装置46R、46L、以及
46C的控制。
在次脸部相对于在包含数字照相机10的光轴在内的垂直方向上延伸
的面从脸部侧观察位于右侧时,CPU26使LED装置46R点亮。在次脸部
相对于在包含数字照相机10的光轴在内的垂直方向上延伸的面从脸部侧
观察位于左侧时,CPU26使LED装置46L点亮。在次脸部位于在包含数
字照相机10的光轴在内的垂直方向上延伸的面附近时,CPU26使LED
装置46C点亮。
根据图12(A)所示的例子,相对于在包含数字照相机10的光轴在
内的垂直方向上延伸的面,由脸部框KF1捕捉到的主要脸部从脸部侧观
察位于左侧,由脸部框KF2捕捉到的次脸部从脸部侧观察位于右侧。因
此,CPU26根据图12(B)所示的要领,使LED装置46L闪烁,使LED
装置46R点亮。
CPU26并列执行包含图15~图16所示的摄像任务、图17所示的连
续AF任务、图18所示的辅助LED控制任务、图19~图21所示的脸部
检测任务、图22所示的调整区域控制任务、以及图23所示的LED控制
任务在内的多个任务。与这些任务对应的控制程序存储在闪速存储器48
中。
参照图15,在步骤S1中执行取景图像处理。其结果,将表示视场的
取景图像显示在LCD监视器38中。在步骤S3中,起动脸部检测任务,
在步骤S5中起动辅助LED控制任务,在步骤S7中起动LED控制任务。
接着,在步骤S9中起动调整区域控制任务,在步骤S11中,起动连续
AF任务。
在步骤S13中判别快门按钮28s是否被半按压,只要是“否”就重复
步骤S15的取景图像用AE/AWB处理。取景图像用AE/AWB处理基于属
于参数调整区域ADJ的AE/AWB评价值来执行,由此将取景图像的明亮
度以及白平衡调整为适当程度。
如果在步骤S13中为“是”,则在步骤S17中停止调整区域控制任务,
在步骤S19中停止连续AF任务。在步骤S21中执行记录用AF处理,在
步骤S23中执行记录用AE处理。记录用AF处理基于属于参数调整区域
ADJ的AF评价值来执行,记录用AE处理基于属于参数调整区域ADJ
的AE/AWB评价值来执行。由此,对取景图像的焦距以及明亮度进行严
格调整。
在步骤S25中判别快门按钮28s是否被全按压,在步骤S27中判别是
否解除了快门按钮28s的操作。如果在步骤S25中是“是”,则进入步骤
S29,如果在步骤S27中是“是”,则返回步骤S9。
在步骤S29中判别闪光灯发光装置44的驱动是否是必要的,如果判
别结果是“否”,则进入步骤S33,另一方面,如果判别结果是“是”,则
经过步骤S31的处理进入步骤S33。在步骤S31中驱动闪光灯发光装置
44。
在步骤S33中,执行静止图像取入处理。其结果,将全按压快门按
钮28s的时间点的1帧原始图像数据取入原始图像区域32a。在步骤S35
中执行记录用AWB处理,在步骤S37中执行记录处理。记录用AWB处
理基于属于参数调整区域ADJ的AE/AWB评价值来执行。由此,将具有
最佳白平衡的高分辨率的视场影像记录在记录介质42中。在步骤S39中
再次开始取景图像处理,并在之后返回步骤S9。
参照图17,在步骤S41中判别是否产生了垂直同步信号Vsync。如
果判别结果从“否”更新为“是”,则在步骤S43中判别是否满足AF起
动条件。这里,如果是“否”,则直接返回步骤S41,另一方面,如果是
“是”,在步骤S45中执行取景图像用AF处理,之后返回步骤S41。
是否满足AF起动条件的判别处理基于属于参数调整区域ADJ的AF
评价值来执行,取景图像用AF处理也基于属于参数调整区域ADJ的AF
评价值来执行。由此,持续对取景图像的焦距进行调整。
参照图18,在步骤S51中判别是否预定驱动闪光灯发光装置44,如
果判别结果是“否”,则进入步骤S55,另一方面,如果判别结果是“是”,
则经过步骤S53的处理进入步骤S55。在步骤S53中为了予告闪光灯发光
而开始辅助LED装置50的点亮。
在步骤S55中判别是否产生了手抖动,如果判别结果是“否”,则进
入步骤S59,另一方面,如果判别结果是“是”,则经过步骤S57的处理
进入步骤S59。在步骤S57中为了报告手抖动产生而开始辅助LED装置
50的闪烁。
在步骤S59中判别是否全按压了快门按钮28s,如果判别结果是“否”,
则在步骤S61中判别是否解除了快门按钮28s的半按压状态。如果步骤
S61的判别结果是“否”,则返回步骤S59,如果步骤S59或步骤S61的
判别结果被更新为“是”,则进入步骤S63。在步骤S63中,将点亮状态
或闪烁状态的辅助LED装置50熄灭。
参照图19,在步骤S71中对图表TBL1~TBL2进行初始化,在步骤
S73中将图表TBL1指定为当前帧图表。在步骤S75中将变量K设定为
“1”,在步骤S77中将脸部检测框FD_K配置在评价区域EVA的左上的
脸部检测开始位置。
另外,当前帧图表通过后述的步骤S103的处理在图表TBL1~TBL2
之间进行更新。因此,当前帧图表在下一帧中成为前一帧图表。
在步骤S79中判别是否产生了垂直同步信号Vsync,在判别结果从
“否”更新为“是”后,在步骤S81中将变量L设定为“1”。在步骤83
中将属于脸部检测框FD_K的部分图像与登记在辞典DIC中的脸部模式
FP_L进行对照,在步骤S85中判别脸部检测框FD_K的部分图像是否适
合于脸部模式FP_L。
在此,如果是“否”,则在步骤S87中增加变量L,在步骤S89中判
别增加后的变量L是否超出常数Lmax(Lmax:登记在辞典DIC中的脸
部模式的总数)。并且,如果L≤Lmax,则返回步骤S83,另一方面,如
果L>Lmax,则进入步骤S93。
如果在步骤S85中为“是”,则进入步骤S91,将脸部检测框FD_K
的当前位置以及尺寸作为脸部框信息记述在指定图表中。在步骤S91的
处理完成后,进入步骤S93中。
在步骤S93中,判别脸部检测框FD_K是否到达评价区域EVA的右
下的脸部检测结束位置。在此,如果是“否”,则在步骤S95中将脸部检
测框FD_K在光栅方向上移动既定量,之后,返回步骤S81。另一方面,
如果在步骤S93中是“是”,则在步骤S97中增加变量K,在步骤S99中
判别增加后的变量K是否超出“Kmax”。
并且,如果K≤Kmax,则返回步骤S77,另一方面,如果K>Kmax,
则进入步骤S101。在步骤S101中对LCD驱动器36命令基于记述在当前
帧图表中的脸部框信息来显示脸部框特征。其结果,按照OSD方式在取
景图像上显示脸部框特征。在步骤S103中,更新指定图表并对更新后的
指定图表进行初始化。在步骤S103的处理完成后,在步骤S105中将变
量K设定为“1”,之后,返回步骤S77。
参照图22,在步骤S111中判别是否产生了垂直同步信号Vsync,如
果判别结果从“否”更新为“是”,则在步骤S113中指定前一帧图表。
在步骤S115中,判别是否在前一帧图表中记述有脸部框,如果是“是”,
则进入步骤S117,另一方面,如果是“否”,则进入步骤S119。
在步骤S117中,将形成评价区域EVA的256个分割区域中覆盖记述
在指定图表中的脸部框内的区域的一部分分割区域定义为调整区域ADJ。
在步骤S119中将评价区域EVA整体定义为调整区域ADJ。在步骤S117
或S119的处理完成后,返回步骤S111。
参照图23,在步骤S121中判别是否产生了垂直同步信号Vsync,如
果判别结果从“否”更新为“是”,则在步骤S123中指定前一帧图表。
在步骤S125中,从前一帧图表中检测超出基准的尺寸的脸部框。
在步骤S127中,判别在步骤S125中检测到的脸部框数目是否为0,
如果判别结果是“是”,则进入步骤S131,另一方面,如果判别结果是“否”,
则进入步骤S129。在步骤S131中,使LED装置46R、46L、以及46C
熄灭,之后,返回步骤S121。
在步骤S129中判别在步骤S125中检测到的脸部框数目是否为1或2,
如果判别结果是“是”,则进入步骤S133,另一方面,如果判别结果是“否”,
则在步骤S137中点亮LED装置46R、46L、以及46C。在步骤S137的处
理完成后,之后,返回步骤S121。
在步骤S133中,为了将由步骤S125检测到的脸部框的某一个确定
为主要脸部而执行主要脸部确定处理。在步骤S135中,基于摄像面上的
由步骤S133确定的主要脸部或次脸部的位置,对LED装置46R、46L、
以及46C执行自适应控制,之后,返回步骤S121。
步骤S133的主要脸部确定处理按照图24所示的子例程来执行。在
步骤S141中,判别在步骤S125中检测到的脸部框数目是否为2,如果判
别结果是“否”,则进入步骤S149,另一方面,如果判别结果是“是”,
则进入步骤S143。
在步骤S143中,为了设定主要脸部确定的判断基准,针对由脸部框
KF1捕捉到的脸部1以及由脸部框KF2捕捉到的脸部2来计算各个脸部
框的尺寸、脸部框的位置、脸部的倾斜度、脸部的朝向、以及笑脸程度。
在步骤S145中,基于在步骤S143中针对脸部1计算出的值和针对脸部2
计算出的值之间的相对比,分别按它们的每一个属性来分配权重。
在步骤S147中,判别对脸部1分配的权重的总和是否为对脸部2分
配的权重的总和以上,如果判别结果是“是”,则进入步骤S149,另一方
面,如果判别结果是“否”,则进入步骤S151。
在步骤S149中将脸部1确定为主要脸部,在步骤S151中将脸部2
确定为主要脸部。步骤S149或步骤S151的处理完成后,回到上一层的
例程。
步骤S135的自适应控制按照图25所示的子例程来执行。在步骤S161
中,判别相对于在包含数字照相机10的光轴在内的垂直方向上延伸的面,
主要脸部从脸部侧观察是否位于右侧。如果判别结果是“是”,则进入步
骤S165,另一方面,如果判别结果是“否”,则进入步骤S163。
在步骤S163中,判别相对于在包含数字照相机10的光轴在内的垂
直方向上延伸的面,主要脸部从脸部侧观察是否位于左侧。如果判别结果
是“是”,则进入步骤S167,另一方面,如果判别结果是“否”,则进入
步骤S169。
在步骤S165中使LED装置46R闪烁,在步骤S167中使LED装置
46L闪烁,在步骤S169中使LED装置46C闪烁。在步骤S165、步骤S167、
或步骤S169的处理完成后,进入步骤S171。
在步骤S171中,判别在主要脸部以外是否存在次脸部,如果判别结
果是“否”,则进入步骤S183,另一方面,如果判别结果是“是”,则进
入步骤S173。
在步骤S173中,判别相对于在包含数字照相机10的光轴在内的垂
直方向上延伸的面,次脸部从脸部侧观察是否位于右侧。如果判别结果是
“是”,则进入步骤S177,另一方面,如果判别结果是“否”,则进入步
骤S175。
在步骤S175中,判别相对于在包含数字照相机10的光轴在内的垂
直方向上延伸的面,次脸部从脸部侧观察是否位于左侧。如果判别结果是
“是”,则进入步骤S179,另一方面,如果判别结果是“否”,则进入步
骤S181。
在步骤S177中使LED装置46R点亮,在步骤S179中使LED装置
46L点亮,在步骤S181中使LED装置46C点亮。在步骤S177、步骤S179、
或步骤S181的处理完成后,进入步骤S183。
在步骤S183中,使LED装置46R、46L、46C中在步骤S165~S169
以及步骤S177~S181中的任一个步骤中都没有闪烁或点亮的LED装置
熄灭。在步骤S183的处理完成后,回到上一层的例程。
由以上说明可知,成像器16具有捕捉视场的摄像面并输出视场影像。
LED装置46朝向视场来产生第一报告。CPU26从由成像器16输出的视
场影像中搜索1个或2个以上的脸部图像,其中,该1个或2个以上的脸
部图像中的每一个脸部图像都具有超出基准的尺寸,参照检测到的1个或
2个以上的脸部图像中的每一个脸部图像的属性来控制LED装置46的产
生方式。
在通过所谓自拍来拍摄包括操作者本身在内的1个或2个以上的人物
的情况下,在视场影像中出现1个或2个以上的脸部图像。根据本发明,
参照各个脸部图像的属性来控制朝向视场的第一报告的产生方式。操作者
能够根据第一报告的产生方式来把握构图,由此提高与自拍相关的操作
性。
另外,在本实施例中,LED装置46R、46L、或46C基于摄像面上的
主要脸部的位置来闪烁,并基于摄像面上的次脸部的位置来点亮,由此,
来区别针对主要脸部的报告和针对次脸部的报告。但是,也可以使用能够
使LED装置46R、46L、以及46C中的每一个来发出2种颜色光的LED,
根据发光颜色不同来区别。
在该情况下,取代图25的步骤S165~S169,分别执行图26的步骤
S191~S195,取代图25的步骤S177~S181,分别执行图26的步骤S197~
S201。
在步骤S191中,使LED装置46R按照绿色闪烁,在步骤S193中使
LED装置46L按照绿色闪烁,在步骤S195中使LED装置46C按照绿色
闪烁。在步骤S197中使LED装置46R按照红色闪烁,在步骤S193中使
LED装置46L按照红色闪烁,在步骤S195中使LED装置46C按照红色
闪烁。
此外,在本实施例中,基于从保存在原始图像区域32a中的原始图像
数据检测到的脸部框数目来使LED装置46R、46L、46C的发光方式进行
变化。但是,振动设备54根据图27所示的要领而设置在数字照相机10
中,可以基于检测到的脸部框数目使振动设备54的振动方式进行变化。
在该情况下,在图23所示的步骤S131和步骤S121之间执行图28
所示的步骤S211的处理,在图23所示的步骤S137和步骤S121之间执
行图28所示的步骤S213的处理。此外,如果图24所示的步骤S141的
判别结果是“否”,则在步骤S149的处理之前执行图29所示的步骤S215
的处理,如果判别结果是“是”,则在步骤S143的处理之前执行图29所
示的步骤S217的处理。
参照图28,在步骤S211中停止振动设备54的振动。在步骤S213中
使振动设备54连续振动。
参照图29,在步骤S215中使振动设备54按照1Hz的周期振动。在
步骤S217中使振动设备54按照2Hz的周期振动。
此外,在该实施例中,将辅助LED装置50设置在照相机筐体CB1
的正面,并使其与闪光灯发光的预定对应而点亮,与手抖动的产生对应而
闪烁。但是,也可以追加辅助LED装置,与闪光灯发光的预定以及手抖
动的产生关联起来分别使不同的LED装置发光。
此外,在该实施例中,多任务OS以及与通过该多任务OS执行的多
个任务相当的控制程序预先存储在闪速存储器48中。但是,也可以根据
图30所示的要领将用于连接外部服务器的通信I/F56设置在数字照相机
10中,将一部分控制程序作为内部控制程序从一开始就准备在闪速存储
器48中,另一方面,从外部服务器获取其他的一部分控制程序作为外部
控制程序。该情况下,上述动作由内部控制程序以及外部控制程序的协作
来实现。
此外,在该实施例中,将由CPU26执行的处理区分为包括图15~图
16所示的摄像任务、图17所示的连续AF任务、图18所示的辅助LED
控制任务、图19~图21所示的脸部检测任务、图22所示的调整区域控
制任务、以及图23所示的LED控制任务在内的多个任务。但是,这些任
务可以进一步区分为多个小任务,进一步可将区分后的一部分多个小任务
与其他任务综合。此外,在将传送任务区分为多个小任务时,可以从外部
服务器获取其全部或一部分。
以上详细说明并图示了本发明,但是,很显然这仅仅是作为图解以及
一个例子而使用,并不应当解释为对本发明的限定,本发明的精神以及保
护范围仅由所附加的权利要求书的语句来限定。