图像处理设备及其控制方法技术领域
本发明涉及图像处理设备、控制图像处理设备的方法和存
储介质，尤其涉及能够显示三维视频图像的图像处理设备、控
制该图像处理设备的方法和存储介质。
背景技术
近年来，作为三维(3D)视频图像提供的电影等的数量增大，
并且根据该趋势，正在开发能够进行三维显示的家用TV设置。
此外，已知设置有两个摄像光学系统的照相机作为用于拍摄3D
视频图像的设备，并且消费型三维拍摄照相机也已经出现。
最近的数字照相机和视频照相机均配备有用于在拍摄前检
测人物并在照相机的液晶面板上所显示的面部区域上叠加面部
框的功能。照相机使用面部框内的图像控制曝光、聚焦等的拍
摄参数，从而照相机能够获得对于人物被摄体最优化的图像。
关于上述三维拍摄照相机，通过对照相机主体设置可以观
看三维图像的显示部，可以在检查三维效果的同时进行拍摄。
在该情况下，三维地显示正在拍摄的被摄体，因此，需要在三
维显示的同时在人面部区域上叠加面部框。
传统地，提出了以下装置：通过在三维图像数据上叠加用
于指示三维图像上的预定位置的鼠标指针或要与三维图像一起
显示的文字信息来显示三维图像数据(参见例如日本特开
2001-326947)。
该三维图像显示装置连接至一般的个人计算机并用于使用
鼠标编辑三维图像或使用键盘将文字输入至三维图像。在该装
置中，当在三维图像上存在诸如鼠标指针等的指示单元时，进
行控制以根据三维图像上放置指示单元的位置处的视差来显示
具有视差的指示单元，以提高三维图像上的指示单元的可视性。
在该相关背景技术中，当对利用三维拍摄照相机所拍摄的
左右视频图像进行面部检测时，面部框的大小和面部框相对于
面部区域的相对位置在左右视频图像之间变化。
这将参考图22详细说明。在图22中，对三维拍摄照相机所
拍摄的左右视频图像1901和1902进行面部检测，并且根据面部
检测的结果以在各面部区域上叠加的方式显示面部框
1903~1908。由于分别对左右视频图像1901和1902进行面部检
测，因而各面部框的大小和面部框相对于相关联的面部区域的
相对位置在左视频图像1901和右视频图像1902之间变化。
结果，在三维观看时面部框看上去双重模糊，或者导致面
部和面部框之间的三维效果的差异，或者左右面部框对相关联
的人物被摄体的移动跟随的程度不同，这降低了三维图像的可
视性。
日本特开2001-326947所公开的技术用于根据诸如鼠标指
针等的指示单元的位置来调整指示单元的视差。因此，将鼠标
指针的大小等设置为预定值，以使得不在左右图像之间变化。
关于左右图像各自上的指针的移动，检测鼠标操作，并且基于
检测的结果调整显示位置和视差。
因此，不能基于从经由左右摄像系统各自输入的视频图像
所检测到的信息而在适当的位置三维地显示诸如面部框等的标
记。
发明内容
本发明提供一种能够以叠加在三维视频图像上的方式适当
地显示面部框的图像处理设备、控制图像处理设备的方法和存
储介质。
在本发明的第一方面中，一种图像处理设备，其包括显示
单元，所述图像处理设备包括：获取单元，用于获取通过拍摄
被摄体而获得的两个视频图像；检测单元，用于检测所述获取
单元所获取的两个视频图像中的各视频图像内的面部区域；面
部区域设置单元，用于将所述检测单元在所述两个视频图像中
的一个视频图像内检测到的面部区域与所述检测单元在所述两
个视频图像中的另一视频图像内检测到的面部区域相关联，并
且设置相关联的面部区域显示在所述显示单元上的位置和大
小，以使得所述相关联的面部区域的位置和大小相互一致；面
部区域相关信息生成单元，用于生成面部区域相关信息，所述
面部区域相关信息包括所述显示单元上要显示表示所述面部区
域设置单元所设置的面部区域的面部区域图像的位置；面部区
域图像生成单元，用于根据所述面部区域相关信息生成单元所
生成的面部区域相关信息来生成所述面部区域图像；以及输出
单元，用于分别将所述两个视频图像与所述面部区域图像生成
单元所生成的面部区域图像进行合成，并且将合成后的视频图
像输出至所述显示单元。
在本发明的第二方面中，一种控制图像处理设备的方法，
所述图像处理设备包括显示单元，所述方法包括：获取通过拍
摄被摄体而获得的两个视频图像；检测所获取的两个视频图像
中的各视频图像内的面部区域；将在所述两个视频图像中的一
个视频图像内检测到的面部区域与在所述两个视频图像中的另
一视频图像内检测到的面部区域相关联，并且设置相关联的面
部区域显示在所述显示单元上的位置和大小，以使得所述相关
联的面部区域的位置和大小相互一致；生成面部区域相关信息，
所述面部区域相关信息包括所述显示单元上要显示表示所设置
的面部区域的面部区域图像的位置；根据所生成的面部区域相
关信息来生成所述面部区域图像；以及分别将所述两个视频图
像与所生成的面部区域图像进行合成，并且将合成后的视频图
像输出至所述显示单元。
在本发明的第三方面中，一种非瞬态计算机可读存储介质，
其存储用于执行控制图像处理设备的方法的程序，所述图像处
理设备包括显示单元，其中，所述方法包括：获取通过拍摄被
摄体而获得的两个视频图像；检测所获取的两个视频图像中的
各视频图像内的面部区域；将在所述两个视频图像中的一个视
频图像内检测到的面部区域与在所述两个视频图像中的另一视
频图像内检测到的面部区域相关联，并且设置相关联的面部区
域显示在所述显示单元上的位置和大小，以使得所述面部区域
的位置和大小相互一致；生成面部区域相关信息，所述面部区
域相关信息包括所述显示单元上要显示表示所设置的面部区域
的面部区域图像的位置；根据所生成的面部区域相关信息来生
成所述面部区域图像；以及分别将所述两个视频图像与所生成
的面部区域图像进行合成，并且将合成后的视频图像输出至所
述显示单元。
根据本发明，可以提供能够以叠加在三维视频图像上的方
式适当地显示面部框的图像处理设备。
通过以下参考附图对典型实施例的说明，本发明的其它特
征将变得明显。
附图说明
图1是作为根据本发明第一实施例的图像处理设备的三维
摄像设备的示意框图。
图2是图1中出现的右眼观看面部检测部的示意框图。
图3是示出图1中的三维摄像设备的显示面板上所显示的视
频图像的例子的图。
图4是用于说明被摄体图像之间的差的图。
图5是投影面上所获得的左视频图像和投影面上所获得的
右视频图像的图。
图6是示出在左右视频图像之间切换的定时的图。
图7是示出左右摄像光学系统正在拍摄人物被摄体的状态
的示意图。
图8A是各自包含两个被摄体图像的左右视频图像的示意
图。
图8B和8C是示出各自的相关值的图。
图9是与各自的面部框合成后的左右视频图像的示意图。
图10是在左右摄像光学系统正在拍摄被摄体时被摄体移动
至箭头所表示的位置的情况下所获得的面部框的示意图。
图11是示出根据被摄体的移动而移动被摄体图像和面部框
的状态的示意图。
图12是示出从面部区域的检测至面部区域的显示的处理的
时序图。
图13是图1中出现的MPU所执行的面部框绘制处理的流程
图。
图14是示出校正视差以使得三维视图中的面部框看起来分
别与由虚线表示的初始位置相比位于被摄体的更前面的位置处
的典型情况的图。
图15A、15B和15C是示出面部区域图像的例子的图，其中，
图15A示出使用箭头GUI组件的典型情况，图15B示出使用各自
具有部分开口的矩形形状的GUI组件的典型情况，以及图15C
示出使用符号A和B识别由各面部框所表示的人物的典型情况。
图16是作为根据本发明第二实施例的图像处理设备的三维
摄像设备的示意框图。
图17是图16中出现的防振处理部的示意框图。
图18A是分别由右眼观看面部检测部和左眼观看面部检测
部检测到的各被摄体图像的面部区域的示意图。
图18B和18C是示出各自的相关值的图。
图19是要输出至显示面板的左右视频图像和面部框的示意
图。
图20是示出根据被摄体的移动来移动被摄体图像和面部框
的状态的示意图。
图21A是示出面部框的移动量和动画绘制所需的移动量之
间的关系的图。
图21B是示出针对移动量的插值所生成的图形线的图。
图22是用于说明各面部框相对于其它面部框的位置的变化
的图。
具体实施方式
以下将参考示出本发明实施例的附图详细说明本发明。
注意，在本实施例中，将本发明的图像处理设备应用至三
维摄像设备。
图1是作为根据本发明第一实施例的图像处理设备的、由附
图标记10表示的三维摄像设备的示意框图。
参考图1，右眼观看光学系统(光学系统R)101和左眼观看光
学系统(光学系统L)104均包括具有变焦透镜的镜头。右眼观看
摄像部(摄像部R)102和左眼观看摄像部(摄像部L)105均包括诸
如CMOS传感器或CCD传感器等的摄像装置和模拟数字转换
器，摄像装置用于拍摄来自相关联的透过右眼观看光学系统101
和左眼观看光学系统104的光的图像。右眼观看信号处理器(信
号处理器R)103和左眼观看信号处理器(信号处理器L)106各自
进行包括对从相关联的右眼观看摄像部102和左眼观看摄像部
105输出的信号进行转换的处理。存储器107存储视频数据、编
码数据和控制数据等。在以下说明中，还将右眼观看光学系统
101、右眼观看摄像部102和右眼观看信号处理器103总称为右眼
观看摄像光学系统(摄像光学系统R)130。同样，还将左眼观看
光学系统104、左眼观看摄像部105和左眼观看信号处理器106
总称为左眼观看摄像光学系统(摄像光学系统L)131。这些摄像
光学系统130和131与用于获取通过拍摄被摄体所产生的两个视
频图像的获取单元相对应。
右眼观看面部检测部(面部检测部R)108和左眼观看面部检
测部(面部检测部L)109与用于检测通过摄像光学系统130和131
所产生的两个视频图像各自的面部区域的检测单元相对应。
视差信息检测部110基于从右眼观看面部检测部108和左眼
观看面部检测部109各自获取的面部区域信息来检测视差信息，
从而关联从两个视频图像各自检测到的面部区域。视差信息检
测部110与面部区域设置单元相对应，面部区域设置单元用于将
由右眼观看面部检测部108和左眼观看面部检测部109中的一个
在两个视频图像中的一个视频图像内检测到的面部区域与由面
部检测部R108和L109中的另一个在另一视频图像内检测到的
面部区域相关联，并使得用于在显示面板114上显示的相关联的
面部区域各自的位置和大小相互一致。
面部框控制部111基于来自相关联的右眼观看面部检测部
108和左眼观看面部检测部109的面部区域信息和视差信息检测
部110所检测到的视差信息来控制各面部框的显示位置和大小
以及面部框的移动。面部框控制部111与面部区域相关信息生成
单元相对应，面部区域相关信息生成单元用于生成包括显示面
板114上的如下位置的面部区域相关信息，其中，在该位置处，
根据基于视差信息检测部110所检测到的视差信息而设置的面
部区域，显示表示该面部区域的面部区域图像。
图形处理器112生成要叠加在所拍摄图像上的诸如图标和
字符串等的GUI组件。此外，图形处理器112基于来自面部框控
制部111的信息来生成面部框GUI组件，并在存储器107的预定
区域中绘制GUI组件。图形处理器112与用于根据面部区域相关
信息生成面部区域图像(例如，诸如图标和字符串等的GUI组件)
的面部区域图像生成单元相对应。
视频信号处理器113将经由右眼观看光学系统101和左眼观
看光学系统104所拍摄的视频数据和图形处理器112所绘制的
GUI组件进行合成，然后，将合成后的图像输出至显示面板114。
视频信号处理器113与用于将两个视频图像和面部区域图像进
行合成并且将表示所产生的合成图像的各视频信号输出至显示
面板114的输出单元相对应。
显示面板114(显示单元)基于从视频信号处理器113输出的
视频信号来显示合成后的视频图像。可以例如通过液晶面板或
有机EL(电致发光)面板来实现显示面板114。以下将说明三维视
频图像的显示。
编码部115对存储在存储器107中的、针对后述的一对左右
液晶快门眼镜120的左右视点的左右眼视频数据进行压缩编码，
并将压缩编码后的数据存储在存储器107中。此外，在再现的情
况下，编码部115对从存储介质117读出并存储在存储器107中的
压缩编码后的数据进行解码，然后，将解码后的数据存储在存
储器107中。
记录和再现部116将存储器107中存储的编码数据写入存储
介质117中，此外，记录和再现部116读出存储介质117中记录的
数据。
作为存储介质117，可以使用诸如闪速存储器或SD卡等的
半导体存储器、诸如DVD或BD等的光盘、或硬盘等。
控制台部118检测诸如按钮和开关等的操作构件的操作状
态。此外，当显示面板114上覆盖有触摸面板时，控制台部118
检测手指或笔在触摸面板上的触摸操作或移动。
MPU(微处理器)119能够经由未示出的控制总线控制各种
处理块。此外，MPU 119进行各种计算处理等来控制设备的整
体操作。
外部连接接口121连接至视频信号处理器113并且在本实施
例中将预定同步信号等输出至用于三维显示的液晶快门眼镜
120。
左右液晶快门眼镜120被配置为可以根据预定同步信号使
得各液晶快门交替打开和关闭，从而使得用户能够在拍摄或再
现期间观看三维视频图像。
图2是图1中出现的右眼观看面部检测部108的示意框图。
将拍摄视频图像临时存储在存储器107中。右眼观看面部检
测部108的特征点提取部202接收右眼观看用的右拍摄视频图像
并检测特征点。特征点包括视频边缘信息、颜色信息和轮廓信
息。
所提取的特征点的特征数据被传送至面部区域判断部203
并对其进行预定处理，从而判断面部区域。可以使用各种已知
的技术来进行面部区域的判断。例如，一种可用方法是基于边
缘信息提取作为面部的组成要素的眼部、鼻部和嘴部的区域，
并且在区域之间的相对位置满足预定关系时，将包含各组成要
素的区域的较大区域判断为面部区域。另一可用方法是当作为
肤色区域而被提取的区域的形状和大小落入匹配人物被摄体的
范围内时，将该肤色区域判断为面部区域。
面部位置和大小生成部204根据从面部区域判断部203输出
的数据来生成与面部区域的中心位置和二维大小有关的信息。
将所生成的数据输出至视差信息检测部110。
左眼观看面部检测部109除了使用左眼观看用的左拍摄视
频图像以外，进行与右眼观看面部检测部108相同的处理，因此
省略其说明。
图3是示出图1中的三维摄像设备10的显示面板114上所显
示的视频图像的例子的图。
在图3中，通过线缆将左右液晶快门眼镜120连接至三维摄
像设备10。显示面板114由液晶面板形成，并显示正在拍摄的视
频图像。
假定在不戴液晶快门眼镜120的情况下观看针对三维观看
所拍摄的视频图像，将通过左右摄像光学系统分别获得的被摄
体图像150和151显示为重像，其中，被摄体图像150和151相互
移位。
图4是用于说明被摄体图像之间的移位的图。
在图4中，当利用左右摄像光学系统130和131拍摄被摄体
132时，投影在投影面133和134上的被摄体图像在投影面上的位
置不同，这导致了被摄体图像之间的移位。
图5是经由投影面133获得的左视频图像和经由投影面134
获得的右视频图像的图。
在图5中，被摄体图像135和136是被摄体132的视频图像。
如图5所示，在各自不同的位置显示被摄体图像135和136。当根
据垂直同步信号在显示面板114上交替显示这两个视频图像并
在不使用液晶快门眼镜的情况下观看时，如图3所示，被摄体132
被观看为重像。
将如图5所示左右视频图像之间的被摄体图像的位置的水
平移位称为视差。视差随着从摄像光学系统至被摄体的距离的
改变而改变。
图6是示出用于在左右视频图像之间切换的定时的图。
在三维显示时，如图6所示以例如左1、右1、左2、右2的序
列在左右视频图像之间切换的同时交替显示所拍摄的左右视频
图像。通过图1中出现的视频信号处理器113来进行该处理。根
据垂直同步信号来进行显示切换。与视频信号之间的切换同步
地经由外部连接接口121输出同步信号。
液晶快门眼镜120根据如图6所示的同步信号打开和关闭左
快门和右快门。结果，在左1的视频图像的显示期间仅打开左快
门，并且因此仅投向左眼投影图像。另一方面，在右1的视频图
像的显示期间仅打开右快门，并且因此仅投向右眼投影图像。
通过重复和交替进行这些操作，拍摄者可以将正在拍摄的视频
图像观看为三维图像。
图7是示出正在利用左右摄像光学系统拍摄人物被摄体300
和301的状态的示意图。
图8A示出各自包含两个被摄体图像的左右视频图像，以及
图8B和8C示出各自的相关值。
将通过拍摄图7中出现的被摄体300和301所拍摄的左右图
像分别显示为图8A所示的左右视频图像。将利用右眼观看面部
检测部108以及左眼观看面部检测部109各自检测到的被摄体图
像302和303以及306和307的面部区域分别显示为矩形面部区域
304和305以及308和309。
视差信息检测部110使用从右眼观看面部检测部108和左眼
观看面部检测部109获取的面部区域信息和拍摄图像数据将左
视频图像的面部区域和右视频图像的面部区域相关联并检测左
面部区域和右面部区域之间的视差。
首先，使用与在左视频图像内检测到的面部区域304和305
有关的信息，从存储器107中存储的拍摄视频图像获得参考图
像。使用面部区域304获得图8B中出现的参考图像310。使用面
部区域305获得图8C中出现的参考图像311。
设置搜索区域以从图8A的右视频图像检测与参考图像310
相对应的面部区域。在本示例中，沿着穿过矩形面部区域304
的垂直中心的扫描线320进行搜索处理。因此，沿着右视频图像
上的扫描线320水平移动参考图像310的垂直中心，从而确定参
考图像310和右视频图像之间在各预定采样点处的相关值。使用
已知的技术计算相关值。例如，面部区域304的图像以重叠方式
放置在右视频图像上，并且确定面部区域304的各像素的值和右
视频图像的在位置上与面部区域304的像素相对应的像素的值
之间的差。每当沿着扫描线320移动面部区域304时计算像素值
的差的总和。进行像素差计算的两个图像越相似，这两个图像
之间的像素值的差的总和越小。因此，可以使用差的总和的倒
数作为相关值。
图8B示出参考图像310和右视频图像之间的相关值。在图
8B中，相关值越大，表示相似度越高。相似度在参考图像310
处于峰值位置312时最高，因此，在峰值位置312处，图8A中的
面部区域308与面部区域304相关联。
同样，图8C示出使用从面部区域305获得的参考图像311沿
着扫描线321进行搜索处理时获得的相关值。该相关值在参考图
像311处于峰值位置313时最高，因此，在峰值位置313处，面部
区域305与面部区域309相关联。
注意，针对各峰值位置处的相关值设置图8B和8C中出现的
阈值350，以评价两个面部区域之间的关联的可靠性。左右视频
图像各自的两个面部区域仅当在峰值位置处的相关值不小于所
设置的阈值时相互关联，而当峰值小于阈值时不关联。不相互
关联的面部区域不需要在其上叠加面部框，因此，不对该面部
区域进行下述的处理。这防止将面部框叠加在例如左右视频图
像中的仅一个视频图像的所拍摄的被摄体的面部上。如上所述，
当最大相关值小于预定阈值时，图形处理器112不生成面部区域
图像。
尽管在图8B和8C中，沿着右视频图像的预定扫描线进行用
于获得水平方向上的一行的相关值的处理，但可以仅在右视频
图像内所检测到的面部区域308或309的附近获得相关值以缩短
处理时间。
此外，尽管在本示例中，基于与左视频图像内的面部区域
有关的信息生成参考图像，但可以从右视频图像生成参考图像。
通过执行上述处理序列，可以关联面部区域。
基于与相关联的面部区域有关的信息来调整用于面部框的
叠加的视差。在本示例中，使用获得相关值的峰值(最大相关值)
的位置来设置面部框之间的视差。
更具体地，在左视频图像内，将面部区域304和305各自的
水平和垂直中心位置设置作为各面部框的中心。设置右视频图
像内的面部区域308的面部框以使得该面部框的水平中心与图
8B中的峰值位置312相对应，并且该面部框的垂直中心与扫描
线320相对应。对于面部区域309，设置其面部框以使得该面部
框的水平中心与图8C中的峰值位置313相对应并且该面部框的
垂直中心与扫描线321相对应。
由此，视差信息检测部110生成表示在两个视频图像中的一
个视频图像内检测到的面部区域的图像作为参考图像，然后，
基于另一个视频图像的与该参考图像的相关值最高的区域，将
在该另一个视频图像内检测到的面部区域与在该一个视频图像
内检测到的面部区域相关联。
将两个面部区域的大小进行相互比较，并将面部框的大小
设置为较大面部区域的大小。因此，在图8A中的面部区域304
和面部区域308之间，将较大的面部区域308的大小设置作为面
部框大小。此外，在面部区域305和面部区域309之间，将较大
的面部区域305的大小设置作为面部框大小。
通过将面部区域的宽度和高度相乘来计算各面部区域的面
积以进行各面部区域的大小之间的比较，并且将具有较大面积
的一个面部区域的宽度和高度选择作为面部框的大小。
尽管在本示例中，在相关联的各面部区域的面积之间进行
比较，但可以分别对相关联的面部区域的宽度和高度进行比较，
并且可以选择具有最大宽度值和高度值的面部区域的宽度和高
度。如上所述，视差信息检测部110使得面部框的大小与相关联
的面部区域中面积较大的面部区域的大小相等。
视差信息检测部110通过上述处理生成与相互关联的一对
面部区域以及要对各面部区域设置的面部框的位置和大小有关
的信息(面部区域相关信息)，并将该信息输出至面部框控制部
111。
面部框控制部111将与要绘制的面部框的坐标、面部框的颜
色和面部框的形状有关的信息在预定时刻输出至图形处理器
112。图形处理器112基于所获取的信息生成面部框GUI组件，
并在存储器107的预定区域中将面部框GUI组件的图像形成为
OSD(在屏显示)帧。
视频信号处理器113从存储器107读出左右视频图像和如上
形成的包括面部框的左右OSD帧，并将OSD帧中各帧和相关联
的视频图像进行合成，并将合成后的左右视频图像输出至显示
面板114。
图9是与各自的面部框合成后的左右视频图像的示意图。
将面部框330、331、332和333分别叠加在被摄体图像302、
303、306和307上。通过上述处理调整针对相关联的面部区域的
面部框之间的视差，并以相同的大小绘制面部框。
图10是在当左右摄像光学系统正在拍摄被摄体501时被摄
体501移动至箭头所表示的位置的情况下所获得的面部框的示
意图。
在图10中，基于面部框的视差将面部框502和503虚拟地设
置在被摄体空间中。可以根据被摄体的移动来调整面部框的视
差，从而实现面部框的三维效果和被摄体的三维效果之间的一
致。
图11是示出根据被摄体的移动来移动被摄体图像和面部框
的状态的示意图。
随着被摄体移动，左视频图像内的被摄体图像507移动至被
摄体图像506的位置，并且根据被摄体图像的移动，面部框505
也移动至面部框504的位置。同样，在右视频图像内，被摄体图
像511移动至被摄体图像510的位置，面部框509移动至面部框
508的位置。
图12是示出从面部区域的检测至面部区域的显示的处理的
时序图。
图13是图1中出现的MPU 119所执行的面部框绘制处理的
流程图。
将参考图12和13说明用于根据面部框的移动而更新面部框
的定时。首先，参考图12，由各虚线表示的时间点T1~T11与垂
直同步信号的定时相对应。此外，“面部检测L”示出左眼观看面
部检测部109的状态，以及“面部检测R”示出右眼观看面部检测
部108的状态。“视差检测/面部框控制”示出视差信息检测部110
和面部框控制部111的控制。“图形处理”示出图形处理器112的
控制。“视频信号处理”示出视频信号处理器113的控制。
左眼观看面部检测部109和右眼观看面部检测部108各自可
以在任意时刻开始面部检测，但在图12中，假定例如在时刻T1
同时开始左右面部检测。因此，在图13中，左眼观看面部检测
部109和右眼观看面部检测部108各自进行操作以开始面部区域
更新(步骤S701)，然后，等待更新处理的完成(步骤S702)。然而，
左右视频图像不相同，因此，在左右视频图像内检测面部所耗
费的时间通常不同。再次参考图12，左眼观看面部检测部
109(“面部检测L”)在时刻T3和T4之间完成处理，然后设置面部
区域信息。另一方面，右眼观看面部检测部108(“面部检测R”)
在时刻T2和T3之间完成处理，然后设置面部区域信息。
在步骤S702中，检测是否更新了面部区域，并且当在图12
的时刻T41获得左右面部检测的结果时，判断为更新了面部区
域(步骤S702中为“是”)。然后，视差信息检测部110获取左右面
部区域各自的中心坐标和大小(步骤S703)。
此后，视差信息检测部110参考左视频图像内的面部区域而
生成参考图像(步骤S704)，并开始视差检测(步骤S705)。当在图
12的时刻T61完成视差检测时，判断为完成了视差检测(步骤
S705中为“是”)，并且处理进入步骤S706。
面部控制部111基于视差信息来调整左面部框信息和右面
部框信息(步骤S706)。在图12中，在时刻T81在图形处理器112
中设置面部框信息，从而开始左右面部框的绘制(步骤S707)。
然后，等待面部框的绘制的完成(步骤S708)。
当面部框的绘制完成时(步骤S708中为“是”)，如图12所示，
在时刻T91，视频信号处理器113读出所绘制的面部框的数据，
并且设置适用于显示面板114的输出(步骤S709)。因此，在时刻
T10，更新并显示显示面板114上的面部框。即，将到目前为止
所显示的显示1的画面更新至面部框移动了的显示2的画面。重
复执行上述处理序列，从而进行面部框的移动。
如图12所示，在同一垂直同步信号的同一时刻移动左右面
部框，这防止分别移动左右面部框。
图14是示出校正视差以使得三维视图内的面部框404和405
看起来分别与由虚线表示的初始位置相比位于被摄体400和401
的更前面的位置处的典型情况的图。
如图14所示，可以进行面部框的视差的偏移量调整以使得
可以三维观看到面部框404和405在各被摄体400和401的前方，
从而使得面部框404和405在三维观看时清晰可见。由此，面部
区域图像可以在显示面板114上显示在表示与面部区域图像相
关联的面部的图像前方。
结果，可以如同被摄体的面部在画框中一样三维地观看面
部。因此，即使发生检测误差等，也可以防止面部看上去如同
从面部框向前投影一样从而导致拍摄者感觉不自然。
尽管在本实施例中，由矩形框包围面部区域，但也可以使
用其它GUI组件来显示面部区域。
图15A、15B和15C是示出面部区域图像的例子的图。图15A
示出使用箭头GUI组件的典型情况。图15B示出使用具有部分开
口的矩形形状的GUI组件的典型情况。图15C示出使用符号A和
B来识别由各面部框所表示的人物的典型情况。
参考图15A，使用颜色不同的箭头以将相互关联的人物面
部与其它相互关联的人物面部相区别。在图15C的情况下，当
设备附加设置了人物识别功能时，不仅可以显示面部框，还可
以显示所登记的人物的名字等来代替符号A。面部区域可以由
任意其它方法表示，只要可以识别面部区域即可。由此，图形
处理器112可以被配置为生成表示相互关联的面部区域的面部
区域图像作为与相关联的面部区域唯一相对应的同一面部区域
图像。
图16是作为根据本发明第二实施例的图像处理设备的三维
摄像设备20的示意框图。
三维摄像设备20与根据第一实施例的三维摄像设备10的区
别在于用于将左右面部区域相关联并检测面部框的视差的视差
信息检测部180和用于进行面部框控制的面部框控制部181。此
外，三维摄像设备20设置有用于处理在三维拍摄期间发生的振
动的防振处理部182。
图17是图16中出现的防振处理部182的示意框图。
在图17中，运动检测部240从存储器107接收作为以帧为单
位的帧图像的拍摄视频图像。在运动检测部240中，在连续的帧
之间检测运动矢量，并计算水平和垂直方向上各自的运动量。
检测运动矢量的方法可以使用已知的技术。
剪切位置生成部241根据运动检测部240所检测到的运动量
来生成用于从原始图像帧剪切预定区域的信息。例如，生成与
剪切开始点的坐标有关的信息以及宽度和高度的信息。视频图
像剪切部242使用剪切位置生成部241所生成的剪切位置信息来
从存储器107中的图像帧剪切预定区域，并将所剪切出的区域存
储在存储器107中。
尽管在本示例中，存储器107中存储的视频图像被电子地剪
切并进行防振处理，但应当理解为，可以在光学系统中例如利
用镜头移动来进行防振的校正。由此，从通过拍摄被摄体所获
得的两个视频图像消除了由于振动所引起的模糊。
在本实施例的三维摄像设备20中，可以例如利用控制台部
118的按钮或开关来使得防振处理操作有效或无效。当使得防振
处理操作有效时，对所拍摄的左右视频图像进行上述防振处理，
然后，执行在面部检测之后的用于面部框显示的处理。
图18A是分别由右眼观看面部检测部108和左眼观看面部
检测部109检测到的被摄体图像803和805的面部区域的示意图。
图18B和18C示出各自的相关值。
在图18A中，基于左视频图像内的面部检测结果所获得的
面部区域802处于从被摄体图像803移位的状态。
图18B示出通过在从左视频图像内的面部区域802生成的
参考图像806和右视频图像之间沿着扫描线801进行相关运算而
获得的结果。如图18B所示，在峰值位置807处获得相关值的峰
值808。然而，在参考图像806中，被摄体的面部由于面部区域
检测误差而部分丢失。为此，峰值位置807从右视频图像的被摄
体图像805的中心轻微向左偏离。因此，当基于峰值位置807来
设置面部框时，在从被摄体图像805偏离的位置处绘制面部框。
这样做是因为基于左视频图像内的面部区域进行关联处理和视
差调整。
在第二实施例中，如图18C所示，使用基于右视频图像内
的面部区域804获得的参考图像809来确定与左视频图像的相关
值。结果，在峰值位置810处检测到相关值的峰值811。
将由此检测到的两个峰值808和811相互进行比较，并且选
择给出较高的相关值的峰值的参考图像。在本示例中，由于峰
值811的相关值较高，因而参考面部区域804设置面部框，其中，
从面部区域804生成参考图像809。
结果，在视差信息检测部180中，将面部区域804的水平和
垂直中心设置作为被摄体图像805的面部框的中心。此外，将左
右面部区域802和804中较大的面部区域的大小设置作为面部框
的大小。在左视频图像内，对于与被摄体图像805相关联的被摄
体图像803，将面部框的中心的水平坐标设置为峰值位置810的
水平坐标，并将面部框的中心的垂直坐标设置为扫描线801的垂
直坐标。
如上所述，视差信息检测部180将在两个视频图像中的一个
视频图像内检测到的表示面部区域的图像设置作为第一参考图
像(本示例中的参考图像809)，并在另一视频图像内搜索与第一
参考图像的相关值最高的区域。此外，视差信息检测部180将在
另一视频图像内检测到的表示面部区域的图像设置作为第二参
考图像(本示例中的参考图像806)，并在该一个视频图像内搜索
与第二参考图像的相关值最高的区域。此后，通过使用作为第
一参考图像和第二参考图像的搜索的结果而获得最高相关值的
区域，视差信息检测部180将一个视频图像内检测到的面部区域
和另一视频图像内检测到的面部区域相关联。
图19是输出至显示面板114的左右视频图像和面部框的示
意图。
图19示出通过参考图18A~18C所述的处理，将具有适当大
小的面部框820和821在各自适当的位置处叠加在左右被摄体图
像803和805上。
图20示意性示出以下状态：当被摄体移动时，左视频图像
内的被摄体图像906移动至被摄体图像905的位置，并且因此面
部框902移动至面部框901的位置，以及右视频图像内的被摄体
图像908移动至被摄体图像907的位置，并且因此面部框904移动
至面部框903的位置。
将参考图20说明面部框控制部111的操作。
在图20中，将左视频图像内面部框的移动量表示为移动量
A，以及将右视频图像内面部框的移动量表示为移动量B。
如图20所示，左右面部框各自的移动量根据被摄体的位置
和至被摄体的距离而改变。当移动量大时，以闪烁方式绘制面
部框，这使得在三维显示时难以观看面部框。为了解决这个问
题，在本实施例中，在移动左右面部框的情况下，根据左右面
部框各自的移动量以预定时间间隔进行动画绘制，以实现平滑
的面部框移动。在移动面部框时进行动画绘制的意思是，例如
当将面部框的中心位置从第一位置改变为第二位置时，不是通
过一次移动而是通过逐步的移动将面部框的显示的位置从第一
位置改变为第二位置。
图21A是示出面部框的移动量和动画绘制所需的移动量之
间的关系的图，以及图21B是示出移动量的插值所生成的图形
线的图。
面部框控制部111基于当前的面部框坐标和下次要更新的
面部框坐标来计算参考图20说明的移动量A和B。然后，面部框
控制部111在移动量A和移动量B之间进行比较，并基于移动量A
和B中的较大者、参考图21A的表来设置移动时间段。
例如，在移动量A等于20并且移动量B等于10的情况下，基
于移动量A从图21A的表中选择移动时间段5T。在图21A中，符
号T表示与例如被传送至显示面板的垂直同步信号的间隔相对
应的更新间隔。
结果，面部框控制部111进行控制以使得在5T的时间间隔
内分别移动左右面部框。在本示例中，进行控制以使得面部框
控制部111插值出并设置与如图21B所示的各更新间隔T相对应
的左右面部框各自的移动量。
对于面部框904，生成在与5T的更新间隔相对应的时间段
内达到移动量B的线B，并且使用线B来插值出与各更新间隔T
相对应的移动量。另一方面，对于面部框902，生成在与5T的
更新间隔相对应的时间段内达到移动量A的线A，并且使用线A
来插值出与各更新间隔T相对应的移动量。
面部框控制部111通过使用针对相关联的面部框904和902
设置的与各更新间隔T相对应的移动量，在更新中心坐标的同
时将与左右面部框904和902各自的中心坐标有关的信息输出至
图形处理器112。
图形处理器112基于左右面部框各自的中心坐标和大小在
存储器107的OSD帧中绘制面部框。
尽管在本示例中，垂直同步信号用于设置更新间隔，但可
以使用以预定时间间隔而操作的计数器等。例如，可以使用例
如以预定时间间隔而操作的振荡器或软件计时器来设置更新间
隔。此外，更新间隔可以变化，只要其精度在能够实现动画中
面部框移动的平滑感的范围内即可。
通过上述处理，相互关联的左右面部框相互同步地进行平
滑转变，因此可以提供在三维观看时清晰可见的显示画面。
如上所述，面部框控制部181能够以预定定时(即，根据垂
直同步信号)更新各面部区域的位置并计算所检测到的各面部
区域的移动量。面部框控制部111根据所计算得到的移动量在移
动前的位置和移动后的位置之间插值出显示面部区域图像的位
置，并以预定定时将面部区域的位置更新至插值所得到的位置。
还可以利用读出并执行记录在存储器装置上的程序以进行
上述实施例的功能的系统或设备的计算机(或者CPU或MPU等
装置)和通过下面的方法实现本发明的方面，其中，利用系统或
设备的计算机通过例如读出并执行记录在存储器装置上的程序
以进行上述实施例的功能来进行上述方法的步骤。为此，例如，
通过网络或者通过用作存储器装置的各种类型的记录介质(例
如，计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解，
本发明不限于所公开的典型实施例。所附权利要求书的范围符
合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求于2011年5月11日提交的日本专利申请
2011-106212的优先权，其全部内容通过引用包含于此。