图像处理方法和装置 【技术领域】
本发明涉及图像处理,尤其涉及对包含候选人脸区域的图像进行处理的方法和装置。
背景技术
有许多众所周知的技术用于检测图像中感兴趣的区域,如人脸或其他感兴趣的要识别的目标。人脸检测是一个令人特别感兴趣的领域,因为人脸识别不仅对于图像处理,而且对于身份鉴别和安全,以及人机界面都有重要性。人机界面不仅识别人脸的位置,如果人脸存在的话,其还能识别特殊的人脸,并可以理解面部表情和姿势。
近来,报道了许多关于自动人脸检测的研究。参考资料例如包括1996年5th IEEE International Workshop on Robot and HumanCommunication,第341到第346页中的“Face Detection andRotations Estimation using Color Information”和1999年6月IEEE Transaction on Pattern Analysis and Machine Intelligence卷21第6号中的“Face Detection from Color Images Using a FuzzyPattern Matching Method”。
所有检测人脸的常规方法,都有它们的优点和不足,这取决于处理图像时所用的不同算法。一些方法虽然准确但却复杂而耗时。
重要的是,没有一种检测人脸的常规方法将检测结果存储到图像中,这就使得如果需要对人脸区域进行特殊处理时,对图像进行进一步地处理很不方便。
因此,在该技术领域需要开发出一种方法和装置,其能够在图像中识别人脸区域并将识别过程的结果存储起来,用于对图像作进一步处理。
【发明内容】
本发明的第一个目的在于提供一种图像处理的方法和装置,其将候选人脸区域的信息存储到图像中,用于以后对图像进行处理。
本发明的第二个目的在于提供一种对其中已存储了候选人脸区域信息的图像进行处理的方法和装置。
为实现上述目的,本发明提供了一种图像处理方法,其特征在于包括如下步骤:
识别上述图像中的候选人脸区域;
计算上述候选人脸区域表示人脸的概率;以及
将上述概率作为附加信息存储到上述图像中。
本发明还提供了一种图像处理方法,其特征在于包括如下步骤:
识别上述图像中的候选人脸区域;
计算上述候选人脸区域表示人脸的概率;
通过将上述概率与一个阈值相比较,判断上述候选人脸区域是否表示人脸;以及
将上述判断步骤的结果作为附加信息存储到上述图像中。
本发明还提供了一种对其中已存储了候选人脸区域概率的图像进行处理的方法,其特征在于包括如下步骤:
从上述图像中检索出一个候选人脸区域的概率;
通过将检索出的概率与一个阈值相比较,判断上述候选人脸区域是否表示人脸;以及
如果经判断上述候选人脸区域表示人脸,则在上述候选人脸区域中执行一种针对人脸优化了的独特的处理方法。
本发明还提供了一种在其中已存储了至少一个候选人脸区域概率的图像中识别人的方法,其特征在于包括如下步骤:
从上述图像中检索出一个候选人脸区域的概率;
通过将检索出的概率与一个阈值相比较,判断上述候选人脸区域是否表示人脸;以及
如果经判断上述候选人脸区域表示人脸,则仅根据上述候选人脸区域识别人。
本发明还提供了一种图像处理装置,其特征在于包括:
候选人脸区域选择器,用于在上述图像中识别一个候选人脸区域;
概率计算器,用于计算上述候选人脸区域表示人脸的概率;以及
概率记录器,用于将上述概率作为附加信息写入上述图像中。
本发明还提供了一种图像处理装置,其特征在于包括:
候选人脸区域选择器,用于在上述图像中识别一个候选人脸区域;
概率计算器,用于计算上述候选人脸区域表示人脸的概率;以及
判断单元,用于通过将上述概率与一个阈值相比较,判断上述候选人脸区域是否表示人脸;以及
判断结果记录器,用于将上述判断单元的输出作为附加信息写入上述图像中。
本发明还提供了一种对其中已存储了至少一个候选人脸区域概率的图像进行处理的装置,其特征在于包括:
概率提取器,用于从待处理图像的数据中提取一个候选人脸区域的概率;
人脸处理单元,用于使用一种针对处理人脸优化了的算法对数据进行处理;以及
判断和控制单元,用于通过将上述概率与一个阈值相比较,判断上述候选人脸区域是否表示人脸,并且,如果经判断上述候选人脸区域表示人脸,则启动上述人脸处理单元,以便处理上述候选人脸区域的数据。
按照本发明的方法,候选人脸区域的识别结果将被存储到图像中,便于对图像作进一步处理。
常规的图像处理装置也可被训练为具有检测人脸的能力。按照本发明的人脸检测方法既精确又迅速。
另外,本发明的方法可方便地与用于检测人脸的常规方法中的不同算法相结合,以便适应不同的情况。
本发明的其他特点和优点可结合附图从下面通过举例对本发明的原理进行解释的优选实施例的说明中变得更清楚。
【附图说明】
图1是对本发明的实施例中的图像处理装置进行训练的方法的流程图。
图2是按照本发明的图像处理方法的流程图,其中使用了已经用图1所示方法训练过的图像处理装置。
图3是按照本发明的另一图像处理方法的流程图,其中使用了多个用图1所示方法训练过的图像处理装置。
图4是另一图像处理方法的流程图,在处理的图像中已存储了至少一个候选人脸区域的概率。
图5是在图像中识别人的方法的流程图,在图像中已存储了至少一个候选人脸区域的概率。
图6是按照本发明的图像处理装置的示意框图。
图7是按照本发明的另一图像处理装置的示意框图。
图8是对其中已存储了至少一个候选人脸区域概率的图像进行处理的装置的示意框图。
图9表示一个训练序列,包括1000个训练样本,即图像区域A1、A2、A3、...A1000。
图10表示两个用作检测的图像区域B1、B2。
图11示意性示出一个图像处理系统,可在其中实现图1至5所示的每种方法。
【具体实施方式】
下面将对本发明作出详细说明。在下面的说明中,关于如何在图像中识别一个候选人脸区域,可参照由同一申请人于2000年9月15日提出申请,并于2002年4月10日公开的中国专利申请第00127067.2号。该申请在此被引用作为参考。但是中国专利申请第00127067.2号中公开的识别候选人脸区域的方法不构成对本发明的限制。任何在图像中识别候选人脸区域的常规方法都可以在本发明中使用。
图1是对本发明的实施例中的图像处理装置进行训练的方法的流程图。流程开始于步骤101。在步骤102,输入多个图像区域。这些图像区域可以来自一个图像或多个图像。这些图像区域中的一些图像区域表示真人脸。事先知道哪些图像区域表示真人脸。这些图像区域被称作“训练样本”。在图1中,训练样本的数目为N,其中N为大于1的整数。
在步骤103,对在步骤102中输入的每个图像区域,应用一种预定算法,这样就生成一个M维向量,其中M为等于或大于1的整数。在M取值为1时,预定算法为每个输入的图像区域生成一个标量。
使用上述方法,将生成多个M维向量。生成的M维向量数目与N相同。由于事先知道哪一个训练样本(即,图像区域)表示真人脸,也就会知道哪一个M维向量对应真人脸。
本发明并不关心预定算法的具体过程,只要该算法能为每个输入的图像区域生成一个M维向量即可。因此,预定算法可为处理图像数据的任何常规方法。由预定算法生成的向量表示出在其上应用了预定算法的图像区域的一些特征。参照图9,将在后面给出这些算法的两个例子(见例一和例二)。
步骤103之后,将生成N个M维向量,它们分布在M维空间中。
步骤104到108,构成一种将M维空间分成多个子空间的方式,子空间的数目可表示为并且相同数目的M维向量分布在子空间中。分布在每个子空间中的M维向量的数目可表示为N/Πj=1MKj,]]>其中,K1、K2、...、KM是大于1的整数。
应当注意,将M维空间划分为个子空间有多种方式。步骤104到108只是表示出了一个例子,不构成对本发明的限制。
在步骤104,值“1”被赋给变量i。
在步骤105,将分布在每个子空间中的所有M维向量,根据待排列的M维向量的第i个分量的值,沿第i个轴排列。
在步骤106,将每个子空间中的第i个轴分为Ki个区间,这样M维空间就被相应地分为个子空间,并且分布在每个子空间中的M维向量的数目为N/Πj=1iKj.]]>
在步骤107,变量i增加1。
在步骤108,判断变量i是否大于M。如果步骤108的判断结果为否定的,则流程进入步骤105;否则进入步骤109。
在步骤109,计算每个子空间的概率。在一个子空间中,首先对对应于真人脸的M维向量的数目进行计数。然后,将分布在该子空间中的M维向量的总数,即N/Πj=1MKj,]]>去除上述对应于真人脸的M维向量的数目。相除的结果作为该子空间的概率。一个子空间的概率是指分布在该子空间中的向量对应于真人脸的概率。
在可选步骤110,例如将所有子空间的位置和概率存储到图像处理装置的内存或外存中。
在步骤111,训练流程结束。
为了使图1所示的流程更容易理解,下面举出两个例子。
例一
参照图9,其表示由1000个训练样本,即图像区域A1、A2、A3、...、A1000组成的训练序列。因此,图1中的N取值为1000。
在图9中,事先知道哪一个图像区域表示真人脸,哪一个图像区域不表示真人脸。例如,图像区域A1、A5表示真人脸,图像区域A2、A3、A4、A6不表示人脸。
例一中应用的预定算法生成了一个标量,即一个在M=1时的M维向量。作为例子,本例中使用的预定算法生成属于肤色的面积对于整个图像区域的比例。
以图像区域A1为例。图像区域A1中的像素总数为10000,其中属于肤色的像素数为8000。因此,属于肤色的面积对于整个图像区域的比例为8000/10000=0.8。
当将上面的预定算法分别应用于图像区域A1、A2、...、A1000时,将得到1000个标量,称为训练标量,如下所示:
0.8,0.2,0.3,0.5,0.7,0.1...
然后,沿着实数轴,以升序排列上面的训练标量,得到序列:
...,0.1,...,0.2,...,0.3,...,0.5,...,0.7,...,0.8,...
然后,将实数轴分成M个区间,使得每个区间包括相同数目的训练标量。每个区间中的训练标量的数目等于N/M。
假设M=10,实数轴将被分为10个区间(即,10个子空间,每个子空间是一维的),例如:
(-∞,0.11],
(0.11,0.2],
(0.2,0.32],
(0.32,0.39],
(0.39,0.45],
(0.45,0.56],
(0.56,0.66],
(0.66,0.73],
(0.73,0.85],
(0.85,+∞)
区间在左边界为开,右边界为闭,或左边界为闭,右边界为开。在每个区间中,即一维子空间中,有N/M=1000/10=100个训练标量。
然后,计算每个区间的概率。对于按上述方法分成的10个区间,在这10个区间中,与真人脸对应的训练标量的数目为:
5,11,16,28,32,44,52,61,77,43。
每个区间中训练标量的总数为:N/M=1000/10=100。
则这10个区间中每个区间的概率分别为:
0.05,0.11,0.16,0.28,0.32,0.44,0.52,0.61,0.77,0.43。
在最后一步,存储10个区间的位置和概率。
例二
图9表示包括1000个训练样本,即图像区域A1、A2、A3、...、A1000的训练序列。在该例中,仅使用A1、A2、A3、...、A900。因此,图1中的N取值900。
如上所述,事先知道哪些图像区域表示真人脸,哪些图像区域不表示真人脸。例如,图像区域A1、A5表示真人脸,图像区域A2、A3、A4、A6不表示人脸。
例二中应用的预定算法生成了一个二维向量,即M=2时的M维向量。作为例子,本例中使用的预定算法生成一个环形区域中灰度分布梯度与基准分布梯度之间的平均和加权角度。对该算法详细的解释,请参考中国专利申请第01132807.x号。
当将该算法分别应用于图像区域A1、A2、A3、...、A900时,将得到下面的被称为训练向量的二维向量:
(0.23,0.14),(-0.6,-0.71),(0.44,0.51),(0.52,0.74),(-0.16,-0.22),(0.58,0.46),...
然后,在第1个轴,即实数轴,将这900个二维向量按它们第1个分量的值以升序进行排列,得到下面的序列:
...,(-0.6,-0.71),...,(-0.16,-0.22),...,(0.23,0.14),...,(0.44,0.51),...,(0.52,0.74),...,(0.58,0.46),...
然后,将实数轴分成P个区间,相应地将二维空间分成P个子空间,使得P个子空间中每个子空间将包括N/P个二维向量。
假设P=10,这10个区间为:
(-∞,-0.6],
(-0.6,-0.33],
(-0.33,-0.12],
(-0.12,0.09],
(0.09,0.15],
(0.15,0.26],
(0.26,0.44],
(0.44,0.57],
(0.57,0.73],
(0.73,+∞)。
所有区间在左边界为开,右边界为闭,或左边界为闭,右边界为开。
在每个子空间中,有N/M=90个训练向量。
然后,在每个子空间中,将这些训练向量按它们第2个分量的值以升序沿第2个轴进行排列。
例如,在与区间(-0.12,0.09]对应的子空间中,分布了下列训练向量:
...,(-0.1,0.2),...,(-0.05,0.01),...,(-0.03,0.3),...,(0.01,-0.1),...,(0.03,-0.22),...,(-0.06,-0.5),...
按第2个分量值,将这些向量进行排列,得到下面的序列:
...,(-0.06,-0.5),...,(0.03,-0.22),...,(0.01,-0.1),...,(-0.05,0.01),...,(-0.1,0.2),...,(-0.03,0.3),...
在每个子空间中,将第2个轴分成Q个区间,从而将每个子空间分成Q个子空间,使得最后得到的每个子空间包括相同数目的二维向量,其数目为N/(P*Q)。
假设Q=9,对于通过划分实数轴获得的每个子空间,将第2个数轴分为9个区间。
以与(-0.12,0.09]区间对应的子空间为例,得到的9个区间为:
(-∞,-0.5],
(-0.5,-0.35],
(-0.35,-0.18],
(-0.18,0.04],
(0.04,0.17],
(0.17,0.31],
(0.31,0.54],
(0.54,0.77],
(0.77,+∞)。
所有区间在左边界为开,右边界为闭,或左边界为闭,右边界为开。
在每个子空间中,有N/(P*Q)=10个训练向量。
以上述方式,最终将二维空间分为下列(P*Q)=90个子空间:
((-∞,-0.6],(-∞,-0.53]),...,((-∞,-0.6],(0.71,+∞)),
((-0.6,-0.33],(-∞,-0.58]),...,((-0.6,-0.33],(0.56,+∞)),
...\
((-0.12,0.09],(-∞,-0.5]),...,((-0.12,0.09],(0.04,0.17]),...,((-0.12,0.09],(0.77,+∞))
...\
((0.73,+∞),(-∞,-0.65]),...,((0.73,+∞),(0.61,+∞))
在每个子空间中,分布了N/(P*Q)=10个训练向量。
下一步,计算每个子空间的概率。
假设与真人脸对应的训练向量的数目分别为:
1,...,2,0,...,3,...,3,...,8,...,2,...,0,...,1。
由于分布在每个子空间中的训练向量的总数为N/(P*Q)=900/(10*9)=10,则这90个子空间的概率为:
0.1,...,0.2,0,...,0.3,...,0.3,...,0.8,...,0.2,...,0,...,0.1。
在最后一步,存储90个子空间的位置和概率。
在最后一步,存储90个子空间的位置和概率。
图2是按照本发明的图像处理方法的流程图,其中使用了已经用图1所示方法训练过的图像处理装置。流程开始于步骤201。在步骤202输入一个图像。为了检测待处理图像中的人脸,在步骤203识别该图像中的一个候选人脸区域。在步骤204,将上述候选人脸区域的数据输入到已经利用图1所示方法训练过的图像处理装置中。
在步骤205,在图像处理装置中,将已经在图像处理装置的训练过程中使用的预定算法应用于候选人脸区域的数据,并且生成候选人脸区域的M维向量。
在步骤206,在上述个子空间中识别上述M维向量所在的一个子空间。这些个子空间是在图像处理装置的训练过程中形成的,并且它们的信息(例如,位置和概率)已被存储在图像处理装置中。
在步骤207,将识别出的子空间的概率值赋于(由步骤203所识别的)候选人脸区域。
以这种方式,在已经利用图1所示方法训练过的图像处理装置中,可以容易地得到每个候选人脸区域的概率。同时,由于个子空间的概率已被存储在图像处理装置中,所以在检测人脸时可以极大地减少计算量。
应当理解,步骤204到207只是构成本发明的一个实施例,而并不构成对本发明的限制。任何常规的方法都可以采用,只要如在步骤203所识别的候选人脸区域表示人脸的概率可由这些常规方法计算出即可。
在步骤208,通过将候选人脸区域的概率与一个阈值相比较,判断候选人脸区域是否表示人脸。
在步骤209,将判断的结果作为附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。在步骤209,也可以将候选人脸区域的识别信息作为补充附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。
在步骤210,将候选人脸区域的概率作为附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。在步骤210,也可以将候选人脸区域的识别信息作为补充附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。
在步骤209和210,存储附加信息和补充附加信息的预定格式并不重要,不构成对本发明的限制。任何存储数据的常规格式或数据结构都可以使用。
已经存储了判断结果或概率的图像可被广泛地应用。图4和图5将说明这类图像的某些应用。
上述流程结束于步骤211。
例三
现在参照图10,其表示出两个供检测的图像区域B1、B2。如图10所示,图像区域B1表示人脸,而图像区域B2不表示人脸。下面的说明将展示出本发明的检测方法的出色结果。
以例一使用的算法为例。
如果图像区域B1被识别为一个候选人脸区域,该算法将生成一个标量0.75,其落入区间(0.73,0.85]中。由于该区间的概率为0.77,则图像区域B1的概率也取值为0.77。
如果图像区域B2被识别为一个候选人脸区域,该算法将生成一个标量0.31,其落入区间(0.2,0.32]中。由于该区间的概率为0.16,则图像区域B2的概率也取值为0.16。
很明显,实际上表示人脸的候选人脸区域的概率增加了(从0.75到0.77),并且实际上不表示人脸的候选人脸区域的概率降低了(从0.31到0.16)。即,本发明的检测人脸的精确度提高了。
例四
再参照图10,其表示出两个供检测的图像区域B1、B2。
以例二使用的算法为例。
如果图像区域B1被识别为一个候选人脸区域,该算法将生成一个二维向量(0.05,0.11),其落入子空间((-0.12,0.09],(0.04,0.17])中。由于该子空间的概率为0.8,则图像区域B1的概率也取值为0.8。
如果图像区域B2被识别为一个候选人脸区域,该算法将生成一个二维向量(-0.71,-0.66),其落入子空间((-∞,-0.6],(-∞,-0.53])中。由于该子空间的概率为0.1,则图像区域B2的概率也取值为0.1。
本例中使用了一种不同的算法,与例三相比,检测人脸的精确度进一步提高。
图3是按照本发明的另一图像处理方法的流程图,其中使用了多个已经用图1所示方法训练过的图像处理装置。
流程开始于步骤301。然后,在步骤302,输入一个图像的数据。在步骤303,在输入的图像中识别一个候选人脸区域。
在步骤304到306,使用多个已经用图1所示方法训练过的图像处理装置,获得候选人脸区域的多个被称为中间概率的概率。多个图像处理装置的数目例如为K。K为等于或大于1的整数。使用单个图像处理装置得到概率的详细过程与图2中所示的方法类似。
在不同的图像处理装置中可以使用不同的算法。但是,当然,对于每一个图像处理装置而言,在图像处理装置的训练过程中使用的算法应与获得概率的详细过程中使用的算法相同。
步骤304到306之后,得到K个中间概率p1,p2,...,pK。
在步骤307,根据上述中间概率p1,p2,...,pK,利用下面的等式,计算出候选人脸区域的概率:
p=α(1-Πi=1K(1-pi))]]>
其中α为小于但非常接近1的因子。
应当理解,步骤304到307仅构成本发明的实施例,并不构成对本发明的限制。可以采用任何常规方法,只要如在步骤203所识别的候选人脸区域表示人脸的概率可由这些常规方法计算出即可。
在步骤308,通过将候选人脸区域的概率与一个阈值相比较,判断候选人脸区域是否表示人脸。
在步骤309,将判断的结果作为附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。在步骤309,也可将候选人脸区域的识别信息作为补充附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。
在步骤310,将候选人脸区域的概率作为附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。在步骤310,也可将候选人脸区域的识别信息作为补充附加信息存储到图像中,例如,以预定的格式存储到图像的头标文件或脚注文件中。
在步骤309和310,存储附加信息和补充附加信息的预定格式并不重要,不构成对本发明的限制。可以采用任何常规格式或数据结构来存储数据。
已经存储了判断结果或概率的图像可被广泛地应用。图4和图5将说明这类图像的某些应用。
上述流程结束于步骤311。
例五
再参照图10,其表示出两个供检测的图像区域B1、B2。
如上面例三和例四所述,图像区域B1的概率(即,中间概率)为0.77和0.8。
令α为0.9。=0.86。
如上面例三和例四所述,图像区域B2的概率(即,中间概率)为0.16和0.1。
令α为0.9。
图像区域B2的概率经计算为0.9*(1-(1-0.16)*(1-0.1))=0.22。
从图3及其说明中看出,很明显如果K和α均取值为1,则图3中所示方法与图2中所示方法相同。
图4是另一图像处理方法的流程图,在处理的图像中已存储了至少一个候选人脸区域的概率。流程开始于步骤401。在步骤402,接收到一个在其中已存储了至少一个候选人脸区域概率的图像。
如上所述,概率信息可以作为附加信息以预定的格式存储在图像的头标文件或脚注文件中。
在步骤403,从图像中(例如从图像的头标文件或脚注文件中)检索出一个候选人脸区域的概率。
在步骤404,将检索出的概率与一个阈值相比较。在步骤405,根据步骤404比较的结果,判断当前的候选人脸区域是否表示人脸。上述阈值可以这样的方式选取,即任何具有大于该阈值的概率的候选人脸区域均表示人脸。
如果步骤405的判断结果为肯定,即候选人脸区域表示人脸,流程进入步骤406;否则,进入步骤407。
在步骤406,在候选人脸区域中执行针对人脸优化了的独特的处理方法。该独特的处理方法可由打印机执行,例如,用于图11中的打印机1113的打印机驱动程序或应用程序,从而人脸将以改进的打印质量打印。该独特的处理方法也可由显示器执行,例如用于图11中的显示器1114的应用程序,从而人脸将以高质量显示。
在步骤407,在候选人脸区域中执行普通的处理方法。
在步骤408,对图像中不包含候选人脸区域的其他部分进行处理。如果存在其他的候选人脸区域,并且它们的概率已包含在图像中,则如果存在其他的候选人脸区域,并且它们的概率已包含在图像中,则流程进入步骤403。
该流程在步骤409结束。
图5是在图像中识别人的方法的流程图,在图像中已存储了至少一个候选人脸区域的概率。流程开始于步骤501。在步骤502,接收到一个在其中已存储了至少一个候选人脸区域概率的图像。如上所述,概率信息可以作为附加信息以预定的格式存储在图像的头标文件或脚注文件中。在步骤503,从图像中(例如从图像的头标文件或脚注文件中)检索出一个候选人脸区域的概率。
在步骤504,将检索出的概率与一个阈值相比较。在步骤505,根据步骤504比较的结果,判断当前的候选人脸区域是否表示人脸。上述阈值可以这样的方式选取,即任何具有大于该阈值的概率的候选人脸区域均表示人脸。
如果步骤505的判断结果为肯定,即候选人脸区域表示人脸,流程进入步骤506;否则,进入步骤507。
在步骤506,仅根据候选人脸区域对人进行识别,而在步骤507,通常根据整个图像对人进行识别。容易理解,如果仅根据一个人的脸而不是整个图像对人进行识别,则对该人的识别过程将极大加快,并将提高精确度。
该流程结束于步骤508。
图6是按照本发明的图像处理装置的结构图。601代表图像输入单元,602代表候选人脸区域选择器,603代表向量生成器,604代表概率选择器,605代表概率存储器,606代表概率记录器,607代表图像输出单元。本图中所示的该装置中的关键部件为向量生成器603,概率选择器604和概率存储器605。
如图6所示,虚线框住的部件组成了概率计算器。虽然图中示出该概率计算器由向量生成器603、概率选择器604和概率存储器605组成,但是应当理解,可以使用任何常规部件组成概率计算器。即,向量生成器603、概率选择器604和概率存储器605不构成对概率计算器的限制。重要的是,概率计算器将计算一个候选人脸区域表示人脸的概率。
图6中所示装置已经利用图1所示的方法训练过,并且所有子空间的位置和概率已存储在概率存储器605中。概率存储器605可使用任何形式,如ROM、EPROM、RAM、硬盘等等。对子空间位置和概率的不同存储介质和不同存储方案,不构成对本发明的限制。
图像输入单元601接收图像,并将其数据输入到该装置中用于处理。候选人脸区域选择器602选择输入图像中的一部分,并将该部分识别为候选人脸区域。向量生成器603对候选人脸区域的数据执行在图像处理装置的训练过程中已使用过的预定算法,生成候选人脸区域的M维向量。
由于向量生成器603使用的算法和在图像处理装置的训练过程中使用的算法相同,所以M维向量必然属于其位置和概率已经存储在概率存储器605中的一个子空间。
概率选择器604根据由向量生成器603生成的M维向量,从概率存储器605中检索出一个概率。
概率记录器606将由概率选择器604检索出的概率作为附加信息写入被处理的图像中,例如,以预定的格式写入其头标文件或脚注文件中。概率记录器606也可将候选人脸区域的识别信息作为补充附加信息写入图像中,例如,以预定的格式写入图像的头标文件或脚注文件中。
存储附加信息和补充附加信息的预定格式并不重要,不构成对本发明的限制。可以采用任何常规格式或数据结构来存储数据。
图像输出单元607输出图像,用于进一步的处理。
图7是按照本发明的另一图像处理装置的结构图。701代表图像输入单元,702代表候选人脸区域选择器,703代表向量生成器,704代表概率选择器,705代表概率存储器。这些部件的功能与图6中所示的相应部件的功能相同。
如图7所示,虚线框住的部件组成了概率计算器。虽然图中示出该概率计算器由向量生成器703、概率选择器704和概率存储器705组成,但是应当理解,可以使用任何常规部件组成概率计算器。即,向量生成器703、概率选择器704和概率存储器705不构成对概率计算器的限制。重要的是,概率计算器将计算一个候选人脸区域表示人脸的概率。
706代表判断单元,707代表判断结果记录器,708代表图像输出单元。判断单元706通过将概率选择器704检索出的概率与一个阈值相比较,判断候选人脸区域是否表示人脸。判断结果记录器707将判断单元706输出的判断结果作为附加信息写入图像中,例如,以预定的格式写入图像的头标文件或脚注文件中。判断结果记录器707也可将候选人脸区域的识别信息作为图像的补充附加信息写入图像中,例如,以预定的格式写入图像的头标文件或脚注文件中。
存储附加信息和补充附加信息的预定格式并不重要,不构成对本发明的限制。可以采用任何常规格式或数据结构存储数据。
图像输出单元708输出图像,用于进一步处理。
图8是对其中已存储了至少一个候选人脸区域概率的图像进行处理的装置的示意框图。801代表图像输入单元,802代表概率提取器,803代表判断和控制单元,804代表图像处理单元,805代表针对人脸的算法,806代表针对普通图像的算法,807代表图像输出单元。
图像输入单元801接收图像,并将其数据输入该装置中用于处理。在图像中已经存储了至少一个候选人脸区域的概率,例如是在图2中的步骤210或图3中的步骤310中,由图6中的概率记录器606存储的。
概率提取器802从图像中,例如从图像的头标文件或脚注文件中检索出一个候选人脸区域的概率。如果候选人脸区域的识别信息已被存储在图像中,则概率提取器802也将从图像中检索出候选人脸区域的识别信息,该识别信息将由图像处理单元804使用。
判断和控制单元803将检索到的概率与一个阈值相比较,根据比较的结果确定当前候选人脸区域是否表示人脸,并据此控制图像处理单元804。
图像处理单元804在判断和控制单元803的控制下,使用不同的算法,如针对人脸的算法805和针对普通图像的算法806,处理由图像输入单元801输入的图像。如果经判断和控制单元803判断,候选人脸区域代表人脸,则图像处理单元804将使用针对人脸的算法805,对从图像中检索出的识别信息识别出的候选人脸区域进行处理,否则将使用针对普通图像的算法806进行处理。图像处理单元804例如为一种打印机或显示器中的用于处理待打印或待显示数据的部件,或者一种用于识别物体或人的设备。
图像输出单元807输出图像,用于进一步的处理。
图11表示一个图像处理系统,图1至5所示的每种方法都可以在该系统中实现。图11中所示的图像处理系统包括CPU(中央处理单元)1101,RAM(随机存取存储器)1102,ROM(只读存储器)1103,系统总线1104,HD(硬盘)控制器1105,键盘控制器1106,串行接口控制器1107,并行接口控制器1108,显示器控制器1109,硬盘1110,键盘1111,照相机1112,打印机1113和显示器1114。在这些部件中,与系统总线1104相连的有CPU1101、RAM1102、ROM1103、HD控制器1105、键盘控制器1106,串行接口控制器1107,并行接口控制器1108和显示器控制器1109。硬盘1110与HD控制器1105相连,键盘1111与键盘控制器1106相连,照相机1112与串行接口控制器1107相连,打印机1113与并行接口控制器1108相连,以及显示器1114与显示器控制器1109相连。
图11中每个部件的功能在本技术领域都是众所周知的,并且图11所示的体系结构也是常规的。这种体系结构不仅适用于个人计算机,而且适用于手持设备,诸如掌上电脑,PDA(个人数据助理),数码照相机,等等。在不同的应用中,图11中所示的某些部件可以被省略。例如,如果整个系统是一个数码照相机,并行接口控制器1108和打印机1113可以被省略,并且该系统可实现为单片机。如果应用软件被存储在EPROM或其他非易失性存储器中,HD控制器1105和硬盘1110可以被省略。
图11中所示的整个系统由通常作为软件存储在硬盘1110中(或如上所述,存储在EPROM或其他非易失性存储器中)的计算机可读指令控制。软件也可从网络(图中未示出)下载。或者存储在硬盘1110中,或者从网络下载的软件可被加载到RAM1102中,并被CPU1101执行,以便完成由软件确定的功能。
对于本领域内的熟练技术人员,无需创造性劳动即可在图1到图5所示的一个或多个流程图的基础上,开发出一种或多种软件。这样开发出的软件将执行如图1所示的训练图像处理装置的方法,执行如图2所示的处理图像的方法,执行如图3所示的处理图像的方法,执行如图4所示的处理图像的方法,或者执行如图5所示的在图像中识别人的方法。
在某种意义上,图11中所示的图像处理系统,如果得到根据图1到5所示的流程图开发出的软件的支持,可以实现如图6到图8所示的图像处理装置同样的功能。
虽然前面参照了本发明的特定实施例,但是对于本领域内的技术人员而言,应当理解,这些仅是举例进行说明,可以对这些实施例作出许多改变而不脱离本发明的原理,本发明的范围由所附权利要求书确定。