图像处理装置、图像显示装置、图像处理方法以及介质.pdf

上传人:zhu****_FC 文档编号:6289411 上传时间:2019-05-28 格式:PDF 页数:19 大小:1.14MB
返回 下载 相关 举报
摘要
申请专利号:

CN201480054644.7

申请日:

2014.10.03

公开号:

CN105593896A

公开日:

2016.05.18

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):G06T 1/00申请日:20141003|||公开

IPC分类号:

G06T1/00; H04N5/232

主分类号:

G06T1/00

申请人:

卡西欧计算机株式会社

发明人:

牧野哲司

地址:

日本东京都

优先权:

2013.10.04 JP 2013-209141; 2014.09.19 JP 2014-190650

专利代理机构:

永新专利商标代理有限公司 72002

代理人:

徐殿军;蒋巍

PDF下载: PDF下载
内容摘要

一种图像处理装置,使移动眼睛时的脸部的表现更为自然。图像处理装置(100),包含如下结构:取得部(5a),取得包含眼睛的图像;虹膜检测部(5c),从取得的图像检测眼睛的虹膜区域;以及眼睛图像生成部(5f),以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。

权利要求书

1.一种图像处理装置,包含如下结构:
输入部,取得包含眼睛的图像;以及
控制部,从由所述输入部取得的图像检测眼睛的虹膜区域,以使检测
出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。
2.如权利要求1所述的图像处理装置,
所述控制部计算所检测出的虹膜区域的中心以及直径,基于计算出的
所述虹膜区域的中心以及直径,以使该虹膜区域的形状成为大致圆形的方
式补充缺失部分。
3.如权利要求1所述的图像处理装置,
所述控制部计算所述虹膜区域中的像素值的代表值,利用所述计算出
的像素值的代表值补充所述缺失部分。
4.如权利要求1所述的图像处理装置,
所述控制部计算包含所检测出的虹膜区域的最小的圆的中心以及半
径,在从计算出的与所述虹膜区域对应的圆的中心起的所述半径的范围内,
以使该虹膜区域的形状成为大致圆形的方式补充所述缺失部分。
5.如权利要求1所述的图像处理装置,
所述控制部将检测出的虹膜区域中的像素的位置的坐标从规定的坐标
变换为极坐标,利用所述极坐标中的半径方向的像素值的代表值补充所述
缺失部分。
6.如权利要求1所述的图像处理装置,
所述控制部在由所述输入部取得的图像中的眼睛之中,确定由投射光
生成的阴影区域,生成确定出的阴影区域的位置数据。
7.如权利要求1所述的图像处理装置,
还具有存储部,所述存储部存储由所述控制部补充了所述缺失部分后
的虹膜区域的图像数据。
8.如权利要求1所述的图像处理装置,
所述控制部从所述虹膜区域的不是缺失部分的区域提取扇状区域,通
过所述扇状区域补充所述缺失部分。
9.如权利要求1所述的图像处理装置,
所述控制部将检测出的虹膜区域中的像素的位置的坐标从规定的坐标
变换为极坐标,提取具有变换后的最大值的长方形区域,通过所述长方形
区域补充所述缺失部分。
10.如权利要求1所述的图像处理装置,
所述控制部由多个控制部构成。
11.一种图像显示装置,包含如下结构:
控制部,从图像检测眼睛的虹膜区域,以使检测出的虹膜区域的形状
成为大致圆形的方式补充该虹膜区域的缺失部分;以及
显示部,显示经补充后的虹膜区域。
12.一种使用了图像处理装置的图像处理方法,包含:
取得包含眼睛的图像的处理;
从取得的图像检测眼睛的虹膜区域的处理;以及
以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的
缺失部分的处理。
13.一种使计算机执行以下处理的计算机可读取介质,所述处理包括:
取得处理,取得包含眼睛的图像;
检测处理,从由所述取得处理取得的图像检测眼睛的虹膜区域;以及
补充处理,以使由所述检测处理检测出的虹膜区域的形状成为大致圆
形的方式补充该虹膜区域的缺失部分。

说明书

图像处理装置、图像显示装置、图像处理方法以及介质

技术领域

本发明涉及对图像中的眼睛进行检测的图像处理装置、图像显示装置、
图像处理方法以及介质。

背景技术

过去,已知一种根据所拍摄的图像中的被摄体的脸部区域和用于表现
表情的控制点,来生成带表情的脸部图像的技术(例如,参照专利文献1)。

专利文献1:日本特开2012-185624号公报

发明内容

然而,一般来说,人的眼睛的一部分被眼睑等覆盖。因此,根据上述
专利文献1等,不能够正确地控制脸部的运动和眼睛的运动,可能使脸部
整体的表情不自然。

本发明是鉴于上述问题而得出的,本发明的课题是使脸部的表现更为
自然。

根据本发明的一个技术方案,其特征在于,

图像处理装置包含如下结构:输入部,取得包含眼睛的图像;以及控
制部,从由所述输入部取得的图像检测眼睛的虹膜区域,以使检测出的虹
膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。

发明效果

根据本发明,能够使脸部的表现更为自然。

附图说明

图1是表示适用本发明的一实施方式的图像处理装置的概略结构的框
图。

图2是表示与图1的图像处理装置的眼睛图像生成处理有关的动作的
一例的流程图。

图3A是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图3B是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图3C是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图4A是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4B是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4C是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4D是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图5A是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5B是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5C是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5D是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5E是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图6A是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的
图像的图。

图6B是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的
图像的图。

图6C是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的
图像的图。

图6D是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的
图像的图。

图7A是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图7B是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图7C是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图8是表示图2的眼睛图像生成处理的变形例1的图。

图9是表示图2的眼睛图像生成处理的变形例2的图。

具体实施方式

下面,使用附图对本发明的具体实施方式进行说明。但是,发明的范
围不限定于图示例。

图1是表示使用了本发明的一实施方式的图像处理装置100的概略结
构的框图。

图像处理装置100例如由个人电脑、工作站等的计算机等构成,如图1
所示,具有:中央控制部1、存储器2、存储部3、操作输入部4、图像生
成部5、显示部6和显示控制部7。

并且,中央控制部1、存储器2、存储部3、图像生成部5以及显示控
制部7经由总线8而连接。

中央控制部1是控制图像处理装置100的各部的构件。具体来说,中
央控制部1具有CPU(CentralProcessingUnit,中央处理器;省略图示)等,
根据图像处理装置100用的各种处理程序(省略图示)来进行各种的控制
动作。

存储器2例如由DRAM(DynamicRandomAccessMemory,动态随机
存取存储器)等构成,具有临时存储由中央控制部1、图像生成部5等处理
的数据等的缓存器、中央控制部1等的工作存储器、存放与该图像处理装
置100的功能有关的各种程序和数据的程序存储器等(均省略图示)。

存储部3例如由非易失性存储器(闪存器)、硬盘驱动器等构成,存储
有中央控制部1的动作所需要的各种程序和数据(省略图示)。

并且,存储部3存储有各脸部图像数据3a。

脸部图像数据3a是包含人的脸部的二维的脸部图像(参照图3A~图
3C)的数据。即,该脸部图像数据3a是至少包含脸部的图像的图像数据即
可,例如,可以为仅是脸部的图像数据,也可以是从胸部往上的图像数据。

另外,如图3A~图3C所示的脸部图像数据3a的脸部图像是一个例子
但不限定于此,能够进行适当改变。

操作输入部4例如具有键盘和鼠标等操作部(省略图示),该键盘和鼠
标由用于输入数值、文字等的数据输入键、用于进行数据的选择、发送操
作等的上下左右移动键和各种功能键等构成,根据这些操作部的操作将规
定的操作信号向中央控制部1输出。

图像生成部5具有:图像取得部5a、眼睛检测部5b、虹膜检测部5c、
第一计算部5d、第二计算部5e、眼睛图像生成部5f、阴影区域确定部5g、
阴影建立对应部5h、和眼睛图像存储部5i。

另外,图像生成部5的各部例如由规定的逻辑电路构成,但该结构是
一个例子并不限定于此。

图像取得部5a取得脸部图像数据3a。

即,图像取得部5a取得包含作为眼睛图像生成处理的处理对象的脸部
的二维的图像的脸部图像数据3a。具体来说,图像取得部5a例如在存储部
3所存储的规定数量的脸部图像数据3a中,取得基于用户的操作输入部4
的规定操作而指定的用户所希望的脸部图像数据3a,作为眼睛图像生成处
理的处理对象。

另外,图像取得部5a从经由未图示的通信控制部而连接的外部设备(省
略图示)取得脸部图像数据3a。

眼睛检测部5b从脸部图像检测出眼睛区域。

即,眼睛检测部5b在由图像取得部5a取得的脸部图像内,例如,通
过使用了AAM(ActiveAppearanceModel,主动外观模型)的处理来检测
眼睛区域E(参照图4A等)。

这里,AAM是将视觉的事物模型化的一种方法,是进行任意的脸部区
域的图像的模型化的处理。例如,眼睛检测部5b将多个样本脸部图像中的
规定的特征部位(例如,眼角、鼻头、脸部线条等)的位置和像素值(例
如,亮度值)的统计性分析结果登记到规定的登记单元中。而且,眼睛检
测部5b以上述的特征部位的位置为基准,设定表示脸部的形状的形状模型
和表示平均的形状中的“Appearance”的质地模型,使用这些模型将脸部图
像模型化。由此,在脸部图像内,例如,将眼睛、鼻、口、眉、脸部轮廓
等的脸部结构部模型化。

另外,使用AAM进行眼睛区域E的检测,但这是一个例子并不限定
于此,例如,能够进行边缘提取处理、各向异性扩散处理、模板匹配等适
当任意的变更。

虹膜检测部5c检测眼睛的虹膜区域Ea。

即,虹膜检测部5c从由图像取得部5a取得的脸部图像检测眼睛的虹
膜区域Ea。具体来说,虹膜检测部5c将在脸部图像内由眼睛检测部5b检
测出的眼睛区域E的图像数据变换到规定的颜色空间(例如,HSV颜色空
间、HLS颜色空间、RGB颜色空间等)中,利用规定的阈值确定与白眼球
对应的颜色以及该白眼球的区域Eb1、Eb2。而且,虹膜检测部5c使用规
定的检测方法从由眼睛检测部5b检测出的眼睛区域E内检测虹膜区域Ea。

例如,虹膜检测部5c针对眼睛区域E的图像数据,使用圆环状的环形
滤波器检测虹膜区域Ea(参照图4B)。这里,环形滤波器在眼睛区域E的
图像内,将与白眼球的区域(Eb1、Eb2)的亮度值相差规定值以上的部分
视作候选点,越是边缘部分的形状接近正圆的区域,数值就越高。而且,
虹膜检测部5c将数值最高的区域提取为虹膜区域Ea。

并且,例如,虹膜检测部5c基于眼睛区域E的图像数据的颜色信息,
将在眼睛区域E内包含白眼球以外的区域的最小的圆(最小包含圆C)的
内侧检测为虹膜区域Ea(参照图5B)。另外,最小包含圆C是包含白眼球
以外的区域的圆之中的半径r最小的圆。

另外,上述虹膜区域Ea的检测方法是一个例子但并不限定于此,能够
进行适当任意的变更。

例如,使用圆环状的环形滤波器的情况下,虹膜检测部5c针对眼睛区
域E的图像数据,也可以先使用圆环状的环形滤波器检测虹膜区域Ea,然
后,在该虹膜区域Ea以外的区域中确定白眼球的颜色以及区域Eb1、Eb2。

并且,虹膜检测部5c针对眼睛区域E的图像数据,也可以在使用圆环
状的环形滤波器检测出虹膜区域Ea之后,从眼睛区域E除去虹膜区域Ea,
检测虹膜区域Ea以外的区域(参照图6B)。另外,在图6B的眼睛区域E
中,例如,由于通过投射光生成了上眼睑的阴影,因此,成为在虹膜区域
Ea以外的区域中,在白眼球的区域Eb1、Eb2内包含阴影区域Es的状态。

第一计算部5d计算虹膜区域Ea的中心O1以及直径d。

即,第一计算部5d在通过虹膜检测部5c使用圆环状的环形滤波器而
检测出虹膜区域Ea的情况下,计算该虹膜区域Ea的中心O1以及直径d(图
4B等参照)。另外,图4B中示意地表示了所计算出的虹膜区域Ea的中心
O1以及直径d的圆。

第二计算部5e计算包含虹膜区域Ea的最小的圆的中心O2以及半径r。

即,第二计算部5e在通过虹膜检测部5c基于眼睛区域E的图像数据
的颜色信息检测出虹膜区域Ea的情况下,计算包含该虹膜区域Ea的最小
包含圆C的中心O2以及半径r(参照图5B)。

眼睛图像生成部5f补充虹膜区域Ea的缺失部分L1、L2。

即,眼睛图像生成部5f以使由虹膜检测部5c检测出的虹膜区域Ea的
形状成为大致圆形的方式,补充缺失部分L1、L2。具体来说,眼睛图像生
成部5f使用规定的检测方法对由虹膜检测部5c检测的虹膜区域Ea补充缺
失部分L1、L2。

例如,眼睛图像生成部5f基于由第一计算部5d计算出的虹膜区域Ea
的中心O1以及直径d,以使该虹膜区域Ea的形状成为大致圆形的方式补
充缺失部分L1、L2。具体来说,眼睛图像生成部5f将计算出的虹膜区域
Ea的中心O1以及直径d的圆与该虹膜区域Ea重叠在同心圆上,利用同心
圆上的像素值的代表值补充缺失部分L1、L2的各像素,从而生成虹膜图像
Ei(参照图4C)。

这里,补充缺失部分L1、L2的像素值的代表值可以是与该缺失部分
L1、L2的像素在同心圆上相邻的像素的像素值,也可以是该同心圆上的多
个像素的像素值的平均值或中央值等。

而且,眼睛图像生成部5f根据大致圆形的虹膜图像Ei的直径d确定在
假定的俯视中的大致圆形的眼球的尺寸,在圆的规定位置(例如,大致中
心)上配置虹膜图像Ei,并且,通过用与白眼球对应的颜色在其周围涂满,
由此生成眼睛质地图像T(图4D参照)。

并且,例如,眼睛图像生成部5f在与由第二计算部5e计算出的虹膜
区域Ea对应的最小包含圆C的从中心O2起的半径r的范围内,以使该虹
膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2。具体来说,
眼睛图像生成部5f根据由第二计算部5e计算出的最小包含圆C的直径d
确定所假定的眼球的三维的球体的尺寸,生成与该球体对应的二维的大致
正方形的图像数据(图5C参照)。

而且,眼睛图像生成部5f在大致正方形的图像数据的规定位置(例如,
大致中心)配置了由虹膜检测部5c检测出的虹膜区域Ea之后,将该虹膜
区域Ea中的像素的位置以从规定的坐标(例如,直角坐标)重新配置到极
坐标上的方式进行变换,利用与半径方向正交的像素值的代表值(例如,
平均值或中央值等)补充从中心O2起沿放射方向在半径r的范围内存在的
缺失部分L1、L2(参照图5D),生成包含虹膜图像Ei的眼睛质地图像T(参
照图5E)。

另外,眼睛图像生成部5f例如以由第一计算部5d计算出的虹膜区域
Ea的中心O1以及直径d为基准,利用与半径方向正交的像素值的代表值
(例如,平均值或中央值等)补充从虹膜区域Ea的中心O1起沿放射方向
在直径d的1/2的值(半径)的范围内的缺失部分L1、L2。并且,眼睛图
像生成部5f例如以由第二计算部5e计算出的最小包含圆C的中心O2以及
半径r为基准,利用同心圆上的像素值补充缺失部分L1、L2的各像素。

阴影区域确定部5g在眼睛区域E中确定阴影区域。

即,阴影区域确定部5g在由眼睛检测部5b检测出的眼睛区域E中,
确定由投射光生成的阴影区域Es1、Es2。具体来说,阴影区域确定部5g将
由虹膜检测部5c检测出的虹膜区域Ea以外的区域(包含阴影区域Es1、Es2
的白眼球的区域Eb1、Eb2)的图像数据变换到规定的颜色空间(例如,HSV
颜色空间等),利用规定的阈值确定与白眼球对应的颜色以及该白眼球的区
域Eb1、Eb2。而且,阴影区域确定部5g在虹膜区域Ea以外的区域中,将
白眼球的区域Eb1、Eb2以外的区域的颜色确定为与阴影对应的颜色,将该
颜色的部分设为阴影区域。这里,图6C的情况下,例如,由于通过除去的
虹膜区域Ea断开了阴影区域的中央部分,因此确定各虹膜区域Ea侧的端
部的上下方向的宽度,以使该宽度的阴影区域存在于虹膜区域Ea上的方式
沿着眼睛的上边缘部分进行描绘,由此将2个阴影区域Es1、Es2连接,确
定出与上眼睑的大致整个区域对应的阴影区域ES。

阴影建立对应部5h将阴影区域Es的位置数据与眼睛的位置数据建立
对应。

即,阴影建立对应部5h生成由阴影区域确定部5g确定的阴影区域Es1、
Es2的位置数据,并与眼睛区域E的位置数据建立对应。具体来说,阴影建
立对应部5h在由阴影区域确定部5g确定的阴影区域Es1、Es2的上边缘部
分以及下边缘部分的各自上设定多个控制点p,并划分为规定形状(例如,
三角形状等)的网格状(参照图6D)。而且,阴影建立对应部5h将该控制
点p的位置数据与眼睛区域E的上边缘部分(上眼睑的下端部分)的位置
数据建立对应,并且,将阴影区域ES的颜色数据与由眼睛图像生成部5f
生成的眼睛质地图像T建立对应。

眼睛图像存储部5i存储眼睛质地图像T。

即,眼睛图像存储部5i存储通过眼睛图像生成部5f而补充了缺失部分
L1、L2的虹膜区域Ea的图像数据。具体来说,眼睛图像存储部5i将由眼
睛图像生成部5f生成的眼睛质地图像T(无论有无阴影区域的信息)的图
像数据与贴附了该眼睛质地图像T的三维的眼球球体模型建立对应而进行
存储。

显示部6例如由LCD(LiquidCrystalDisplay,液晶显示器)、CRT
(CathodeRayTube,阴极射线管)等显示器构成,在显示控制部7的控制
下将各种信息显示在显示画面上。

显示控制部7进行生成显示用数据并使其显示在显示部6的显示画面
上的控制。

具体来说,显示控制部7例如具有视频卡(省略图示),该视频卡具备
GPU(GraphicsProcessingUnit,图形处理单元)和VRAM(VideoRandom
AccessMemory,视频随机存取存储器)等。

而且,显示控制部7根据来自中央控制部1的显示指示,通过基于视
频卡的描绘处理而生成在眼睛图像生成处理中用于生成眼睛图像的各种画
面的显示用数据,并输出给显示部6。

<眼睛图像生成处理>

接着,针对由图像处理装置100进行的眼睛图像生成处理,参照图2~
图7C进行说明。

图2是表示眼睛图像生成处理的动作的一例的流程图。

如图2所示,首先,图像生成部5的图像取得部5a例如在存储部3中
存储的规定数量的脸部图像数据3a之中,取得基于用户的操作输入部4的
规定操作而指定的用户所希望的脸部图像数据3a(步骤S1;参照图3A~图
3C)。

接着,眼睛检测部5b在由图像取得部5a取得的脸部图像内,例如,
通过使用了AAM的处理来检测眼睛区域E(步骤S2)。接着,虹膜检测部
5c将在脸部图像内检测出的眼睛区域E的图像数据变换到规定的颜色空间
(例如,HSV颜色空间等)中,利用规定的阈值确定与白眼球对应的颜色
以及该白眼球的区域Eb1、Eb2(步骤S3)。

然后,图像生成部5根据虹膜区域Ea的检测方法来对处理进行分支(步
骤S4)。即,图像生成部5在使用环形滤波器检测虹膜区域Ea的第一处理
的情况下(步骤S4;第一处理),使处理转移到步骤S51,在将最小包含圆
C的内侧作为虹膜区域Ea进行检测的第二处理的情况下(步骤S4;第二处
理),使处理转移到步骤S61。

<第一处理>

第一处理中(步骤S4;第一处理),首先,虹膜检测部5c针对眼睛区
域E的图像数据,使用圆环状的环形滤波器检测虹膜区域Ea(步骤S51;
参照图4B)。

接着,第一计算部5d计算由虹膜检测部5c检测出的虹膜区域Ea的中
心O1以及直径d(步骤S52)。

接着,眼睛图像生成部5f将计算出的虹膜区域Ea的中心O1以及直径
d的圆与该虹膜区域Ea在同心圆上重叠,利用同心圆上的像素值的代表值
补充缺失部分L1、L2的各像素从而生成虹膜图像Ei(步骤S53;参照图
4C)。而且,眼睛图像生成部5f根据大致圆形的虹膜图像Ei的直径d确定
在假定的俯视下的大致圆形的眼球的尺寸,将虹膜图像Ei配置在圆的规定
位置(例如,大致中心)上,通过用与白眼球对应的颜色涂满其周围,从
而生成眼睛质地图像T(步骤S54;参照图4D)。

<第二处理>

第二处理中(步骤S4;第二处理),首先,虹膜检测部5c基于眼睛区
域E的图像数据的颜色信息,将眼睛区域E内包含白眼球以外的区域的最
小包含圆C的内侧检测为虹膜区域Ea(步骤S61;参照图5B)。

接着,第二计算部5e计算包含由虹膜检测部5c检测出的虹膜区域Ea
的最小包含圆C的中心O2以及半径r(步骤S62)。

接着,眼睛图像生成部5f根据计算出的最小包含圆C的直径d确定所
假定的眼球的三维的球体的尺寸,生成与该球体对应的二维的大致正方形
的图像数据,在该大致正方形的图像数据的大致中心配置虹膜区域Ea(步
骤S63;参照图5C)。而且,眼睛图像生成部5f将该虹膜区域Ea中的像素
的位置以从直角坐标重新配置到极坐标上的方式进行变换,利用与半径方
向正交的像素值的代表值补充从中心O2起沿放射方向存在的缺失部分L1、
L2(参照图5D),生成包含虹膜图像Ei的眼睛质地图像T(步骤S64)。

然后,图像生成部5判断眼睛质地图像T上是否附加阴影区域(步骤
S7)。例如,图像生成部5根据是否输入了基于用户的操作输入部4的规定
操作而附加阴影区域的指示,来判断是否附加阴影区域。

这里,当判断为不附加阴影区域时(步骤S7;否),眼睛图像存储部
5i将由眼睛图像生成部5f生成的眼睛质地图像T的图像数据与贴附了该眼
睛质地图像T的三维的眼球球体模型建立对应而进行存储(步骤S8)。

由此,结束眼睛图像生成处理。

另一方面,在步骤S7中,当判断为附加阴影区域时(步骤S7;是),
虹膜检测部5c在取得了由眼睛检测部5b在脸部图像内检测出的眼睛区域E
的图像数据的复制数据之后,从取得的眼睛区域E除去利用环形滤波器检
测出的虹膜区域Ea,检测虹膜区域Ea以外的区域(步骤S9)。

接着,阴影区域确定部5g在由虹膜检测部5c检测出的虹膜区域Ea以
外的区域中,确定由投射光生成的阴影区域(步骤S10)。具体来说,阴影
区域确定部5g将虹膜区域Ea以外的区域的图像数据变换到规定的颜色空
间(例如,HSV颜色空间等)中,在利用规定的阈值确定了与白眼球对应
的颜色以及该白眼球的区域Eb1、Eb2之后,在虹膜区域Ea以外的区域中,
将白眼球的区域Eb1、Eb2以外的区域的颜色确定为与阴影对应的颜色,并
设该颜色的部分为阴影区域Es1、Es2。

这里,在阴影区域Es的中央部分被断开的情况下(图6C参照),阴影
区域确定部5g通过以使阴影区域Es也存在于虹膜区域Ea上的方式沿着眼
睛的上边缘部分进行描绘,从而将2个阴影区域Es1、Es2连接,并确定与
上眼睑的大致整个区域对应的阴影区域ES。

接着,阴影建立对应部5h在所确定的阴影区域ES的上边缘部分以及
下边缘部分的各自上设定多个控制点p,在划分为规定形状(例如,三角形
状等)的网格状之后(参照图6D),将该控制点p的位置数据与眼睛区域E
的上边缘部分(上眼睑的下端部分)的位置数据建立对应,并且,将阴影
区域ES的颜色数据与眼睛质地图像T建立对应(步骤S11)。

然后,图像生成部5将处理转移到步骤S8,将眼睛质地图像T的图像
数据、和贴附了该眼睛质地图像T的三维的眼球球体模型建立对应地存储
在眼睛图像存储部5i中,该眼睛质地图像T的图像数据由阴影建立对应部
5h将阴影区域ES的控制点p的位置数据与眼睛区域E的上边缘部分的位
置数据建立对应,并且与阴影区域ES的颜色数据建立了对应(步骤S8)。

由此,结束眼睛图像生成处理。

通过将由眼睛图像生成处理生成的眼睛质地图像T的图像数据与脸部
图像的眼睛的开口对应地配置在该脸部图像的后侧,由此,例如,如图7A
和图7B所示,能够简单地生成使眼球上下左右移动或者使视线移动的运动
的脸部图像,而不产生违和感。

而且,例如,如图7C所示,使用眼睛质地图像T的图像数据,通过
追随开闭眼睑的运动并使阴影区域ES的控制点p移动,由此能够使阴影区
域ES移动,能够正确且简单地进行通过投射光而产生的阴影的表现,但不
会产生违和感,该眼睛质地图像T的图像数据将阴影区域Es的控制点p的
位置数据与眼睛区域E的上边缘部分(上眼睑的下端部分)的位置数据建
立对应,并且与阴影区域ES的颜色数据建立了对应。此时,利用规定的比
率使与眼睛区域E重叠的阴影区域ES透射显示,能够使阴影的表现更为自
然。

如上所述,根据本实施方式的图像处理装置100,从脸部图像检测眼睛
区域E的虹膜区域Ea,以使检测出的虹膜区域Ea的形状成为大致圆形的
方式补充该虹膜区域Ea的缺失部分L1、L2,因此,通过使用补充完缺失
部分L1、L2的大致圆形的虹膜图像Ei,尤其是,包含虹膜图像Ei的眼睛
质地画像T,能够使眼球上下左右移动或者使视线移动时的脸部的表现更为
自然。而且,能够从一个二维的脸部图像简单地生成包含虹膜图像Ei的眼
睛质地图像T。

并且,通过预先存储包含补充了缺失部分L1、L2的虹膜图像Ei的眼
睛质地图像T的图像数据,能够与构成脸部的口和鼻等的其他脸部结构部
相独立地使用该眼睛质地图像T的图像数据来移动眼球,能够更简单地进
行在脸部图像之中移动眼睛的动作处理。

并且,基于虹膜区域Ea的中心O1以及直径d,以该虹膜区域Ea的形
状成为大致圆形的方式补充缺失部分L1、L2,因此,能够正确且简单地进
行虹膜区域Ea的缺失部分L1、L2的补充,能够正确进行大致圆形的虹膜
图像Ei的生成。尤其是,通过利用虹膜区域Ea中的像素值的代表值补充
缺失部分L1、L2,能够更正确地进行该缺失部分L1、L2的补充。

并且,计算包含虹膜区域Ea的最小包含圆C的中心O2以及半径r,
在从该中心O2起的半径r的放射方向的范围内,以使该虹膜区域Ea的形
状成为大致圆形的方式补充缺失部分L1、L2,因此,能够正确进行虹膜区
域Ea的缺失部分L1、L2的补充,能够正确进行大致圆形的虹膜图像Ei
的生成。尤其是,以将虹膜区域Ea中的像素的位置从直角坐标重新配置到
极坐标上的方式进行变换,通过利用与半径方向正交的像素值的代表值补
充缺失部分L1、L2,不仅针对距中心O2的距离相等的多个像素,难以反
映出位于其他距离的像素的特征,还能够保持原本存在于虹膜区域Ea中的
光反射和虹膜的模样和瞳孔等的特征,能够生成更自然的质地的虹膜图像
Ei。

并且,在脸部图像中的眼睛区域E中,确定由投射光生成的阴影区域,
生成确定出的阴影区域的位置数据,因此,利用该阴影区域的位置数据,
能够追随开闭眼睑的运动并使阴影区域移动,能够正确且简单地进行由投
射光生成的阴影的表现,而不会产生违和感。

作为以使虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、
L2的方法,下面示出了变形例。

(变形例1)

在除了瞳孔的虹膜中,可以看见呈放射状的作为虹膜筋的一种的瞳孔
放大筋。在变形例1中更正确地表现瞳孔放大筋。如图8所示,将区域到
圆周为止的部分从中心部到圆周部,例如切取15度的扇状区域Ea1。如上
所述求出虹膜区域Ea的中心和半径,判断从中心向圆周方向是否有缺失。
当判断为有缺失后利用扇状区域Ea1补充缺失部分。

(变形例2)

图9表示利用了极坐标变换的变形例。将虹膜区域Ea中的像素的位置
从直角坐标变换为以虹膜为中心的极坐标。确定在变换后的虹膜区域中成
为最大值的区域,并按照规定的大小取出长方形状区域Ea2。然后,将虹膜
区域成为最大值以下的部位利用长方形状区域Ea2进行补充。如此,能够
利用圆周来补充存在缺失的部分。

另外,本发明不限定于上述实施方式,在不脱离本发明的主旨的范围
内,也可以进行多种改良以及设计的变更。

例如,在上述实施方式的图像处理装置100中,构成为能够执行使用
环形滤波器的方法以及利用眼睛区域E的图像数据的颜色信息的方法这双
方,但这是一个例子,并不限定于此,例如,也可以构成为仅执行某一方。

而且,在上述实施方式中,在图像处理装置100的中央控制部1的控
制下,通过驱动图像取得部5a、虹膜检测部5c、眼睛图像生成部5f而实现,
但不限定于此,也可以通过由中央控制部1的CPU执行规定的程序等来实
现。

即,在存储程序的程序存储器中,预先存储包含取得处理例程、检测
处理例程、补充处理例程的程序。而且,也可以通过取得处理例程使中央
控制部1的CPU作为取得包含眼睛的图像的单元起作用。并且,也可以通
过检测处理例程使中央控制部1的CPU作为从所取得的图像检测眼睛的虹
膜区域Ea的单元起作用。并且,也可以通过补充处理例程使中央控制部1
的CPU作为以使检测出的虹膜区域Ea的形状成为大致圆形的方式补充该
虹膜区域Ea的缺失部分L1、L2的单元起作用。

而且,执行上述各处理的控制部可以是一个也可以是多个。

而且,作为存储用于执行上述各处理的程序的计算机可读取的介质,
除了ROM和硬盘等之外,也能够适用闪存器等非易失性存储器、CD-ROM
等的可移除式存储介质。并且,作为经由通信线路提供程序的数据的介质,
也适用载波(carrierwave)。

虽然说明了本发明的几个实施方式,但本发明的范围不限定于上述实
施方式,还包含与记载的所要求保护的范围内记载的发明范围相同的范围。

工业实用性

如上所述,本发明能够较好地利用在如下的技术中,该技术是使眼球
上下左右移动或者使实现移动时的脸部的表现更为自然的技术。

符号说明

100图像处理装置

1中央控制部

3存储部

3a脸部图像数据

5a图像取得部

5c虹膜检测部

5d第一计算部

5e第二计算部

5f眼睛图像生成部

5g阴影区域确定部

5h阴影建立对应部

5i眼睛图像存储部

图像处理装置、图像显示装置、图像处理方法以及介质.pdf_第1页
第1页 / 共19页
图像处理装置、图像显示装置、图像处理方法以及介质.pdf_第2页
第2页 / 共19页
图像处理装置、图像显示装置、图像处理方法以及介质.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《图像处理装置、图像显示装置、图像处理方法以及介质.pdf》由会员分享,可在线阅读,更多相关《图像处理装置、图像显示装置、图像处理方法以及介质.pdf(19页珍藏版)》请在专利查询网上搜索。

一种图像处理装置,使移动眼睛时的脸部的表现更为自然。图像处理装置(100),包含如下结构:取得部(5a),取得包含眼睛的图像;虹膜检测部(5c),从取得的图像检测眼睛的虹膜区域;以及眼睛图像生成部(5f),以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1