图像处理方法和装置 技术领域
本发明涉及一种用于通过利用模板图像从输入图像检测目标的图像处理方法，并涉及一种相应的图像处理装置。
背景技术
有一种传统的公知技术，其中预先注册了一个模板图像，与模板图像类似的图像在输入图像中的位置，通过输入图像和模板图像之间的图案匹配来检测。
然而，由于变形的感觉易于按照与模板图像类似的图像的背景的形成方式而造成，日本公布的未审查的专利申请第Hei-5-28273号公开了一种开发用于解决此问题的技术。
在此公布中，通过下面的数学公式定义了模板图像与对应于模板图像的图像之间的相似值。
【公式1】
Cv：相关系数(相似值)
M：在x方向上的模板图像的像素的数量
N：在y方向上的模板图像的像素的数量
Sx：在x方向上的输入图像S的导数(derivative)值
Sy：在y方向上的输入图像S的导数值
Tx：在x方向上的模板图像T的导数值
Ty：在y方向上的模板图像T的导数值
σ S 0 = 1 MN Σ i = 1 M Σ j - 1 N ( S x ij 2 + S y ij 2 ) ]]> σ T 0 = 1 MN Σ i = 1 M Σ j = 1 N ( T x ij 2 + T y ij 2 ) ]]> ρ V 0 = 1 MN Σ i = 1 M Σ j = 1 N ( T x ij S x ij + T y ij S y ij ) ]]> Cv = ρ V 0 σ T 0 σ S 0 ]]> 详细而言，在模板图像的边法线方向的矢量和输入图像的边法线方向矢量之间的角度θ的内积(cosθ)是相似值的一个分量。
然而，存在一个后面将详细说明的问题，如果目标图像的背景周边的亮度不均匀，则内积的正负被倒换，因此相似值变得不适用于实际的图像，可以容易地产生变形的感觉，因此使得很难获得期望的识别结果。
另外，相似值公式相对于输入和模板图像的边法线方向矢量是非线性的，并且对于模板图像的处理和对于输入图像的处理必须同时进行。
而且，模板图像在输入图像上被扫描，输入图像和参考图像的相关计算必须对每个扫描点执行，因此，在实用中，由此导致的计算量的增加使得实时的处理变得不可能。
发明内容
因此本发明的目的在于提供一种能够获得精确的、清楚的识别效果并能够进行高速处理的图像处理方法和图像处理装置。
在按照本发明的第一方面的图像处理方法中，模板图像和输入图像之间的相匹配通过使用相似值图(map)来评价，对于模板图像和输入图像的每一个产生一个评价矢量(evaluation vector)，评价矢量包括一个其中特定图像的边法线方向矢量经过偶数倍数的角度变换的分量。
利用此结构，其间的相匹配可以适当的被评价，而即使在由于背景亮度的不均匀导致输入图像的边法线方向矢量和模板图像的边法线方向矢量之间的角度θ的内积(cosθ)的正负被倒换的情况下，也不影响相似值。
按照本发明的第二方面的图像处理方法包括步骤：对模板图像和输入图像的每一个输入特定的图像并计算该特定图像的边法线方向矢量；从边法线方向矢量中产生评价矢量；使评价矢量进行正交变换；对于从模板图像和输入图像获得的、已经进行正交变换的每个评价矢量进行相应的频谱数据的积和计算；使积和计算的结果进行反正交变换并产生相似值的图；这其中相似值的公式、正交变换和反正交变换均具有线性。
利用此结构，模板图像的傅立叶变换值和输入图像的傅立叶变换值不需要同时被计算。换句话说，模板图像的傅立叶变换值可以在输入图像的傅立叶变换值之前获得，因此使得有可能减轻处理负担和提高处理速度。
按照本发明的第三方面的图像处理方法包括步骤：压缩每个已经进行正交变换的评价矢量以便减少处理量。
利用此结构，所处理的内容仅仅限于有效的分量(如低频分量)，处理速度得以提高。
在按照本发明的第四方面的图像处理方法中，对于模板图像，直到已经进行了正交变换的评价矢量被压缩时采取的步骤，被在输入图像输入之前执行，其结果被存储在记录部件中。
利用此结构，与模板图像相关的处理仅仅通过从记录部件读取而完成，提高了处理速度。
在按照本发明的第五方面的图像处理方法中，评价矢量被相对于矢量长度正规化。
利用此结构，虽然输入图像的边的强度改变并且矢量长度按照拍摄的条件而改变，但是图案(pattern)提取的稳定性可以不需要进行长度变化而提高。
在按照本发明的第六方面的图像处理方法中，模板图像的评价矢量按照边法线方向矢量的数量而正规化。
因此，不论是否模板图像的边的数量是大还是小，可以通过将其分成n份并使其正规化来在同样的尺度上评价相似性。
在按照本发明的第七方面的图像处理方法中，通过在进行积和计算之前使用正交变换的复共轭属性来减少数据量，此数据量在执行积和计算之后被恢复。
利用此结构，可以大大地减小数据量以提高处理速度，并可以节省存储容量。
在按照本发明的第八方面的图像处理方法中，模板图像被放大/缩小到各种尺寸，每个尺寸的评价矢量进行加法处理。
利用此结构，不必对于每个尺寸都重复进行相匹配，可以提高处理速度。
在按照本发明的第九方面的图像处理方法中，对于模板图像，评价矢量的加法处理在执行压缩每个评价矢量的步骤之后被执行，以便减小处理量。
利用此结构，加法处理的内容可以被减少，可以提高处理的速度。
在按照本发明的第十方面的图像处理方法中，模板图像是典型的脸的图像。
利用此结构，不仅可以识别脸的总位置，而且可以识别主要脸部分的部分位置，如眼睛、鼻子或嘴。
在按照本发明的第十一方面的图像处理方法中，准备了使相似值的峰值(peak)陡峭的峰值图案(peak pattern)，通过使比峰值图案的数据进行正交变换而获得的结果被应用到积和计算中。
利用此结构，在反映峰值图案的同时，与模板类似的部分可以从输入图像中更清楚和稳定地检测到。
在按照本发明的第十二方面的图像处理方法中，形成了依赖于模板图像的遮蔽(mask)图案，通过将此遮蔽图案的数据进行正交变换而获得的结果被应用到积和计算中。
利用此结构，在添加了除模板图像的形状之外的属性的同时，可以执行更近的检测。
在按照本发明的第十三方面的图像处理方法中，遮蔽图案示出了模板图像的图像中的像素数量的平均值。
利用此结构，模板图像的属性可以通过简单的遮蔽图案来反映。
在按照本发明的第十四方面的图像处理方法中，还包括步骤：对于模板图像，处理原始模板图像的评价矢量的正负符号，并产生与原始模板图像双向(bilaterally)对称的图像的评价矢量，通过如此将产生的评价矢量应用到积和计算中。
利用此结构，可以节省模板图像的记录量，已经被双向倒换的模板图像的评价矢量可以不需要直接计算而产生，因此使得有可能提高处理速度。
在按照本发明的第十五方面的图像处理方法中，基于提取的脸图像而产生点双列相关系数的图，并计算脸部的位置。
利用此结构，脸部的位置可以更精确地指定。
在按照本发明的第十六方面的图像处理方法中，投影值在y方向上的分布通过使用遮蔽图案在提取的脸图像的基础上被计算，从该分布中计算出两个最大点，在这两个最大点之间的区域被输出作为嘴的范围。
利用此结构，嘴范围可以更精确地确定。
在按照本发明的第十七方面的图像处理方法中，输入图像被基于提取的脸图像而仅仅划分成脸图像和非脸图像部分，仅仅在脸图像中嵌入数字水印，嵌入了数字水印的脸图像和非脸图像部分被结合起来输出。
利用此结构，水印数据可以被集中地嵌入易于伪造的脸部。
在按照本发明的第十八方面的图像处理方法中，输入图像被基于提取的脸图像而仅仅划分成脸图像和非脸图像部分，仅仅脸图像被编辑，被编辑的脸图像和非脸图像部分被结合起来输出。
利用此结构，仅仅脸部图像可以被校正，而不对非脸图像部分产生影响。
在按照本发明的第三十二方面的图像处理方法中，基于提取的脸图像从输入的图像中切分出脸图像，随后从切分出的脸图像提取出脸内部图像，然后在提取的脸图像的基础上计算用于校正脸图像的特征，随后基于获得的特征确定校正函数，至少对已经切分出的脸图像进行基于所确定的校正函数的图像校正。
利用此结构，脸图像仅仅按照脸内部图像的特征被校正，而不被非脸图像的图像的反面影响，因此脸图像的可视性可以被有效地提高。
本发明的上述和其他目的、特征和优点通过下面结合附图的说明会变得更清楚，附图中的相同的参考标记指相同的元件。
附图说明
图1是按照本发明的实施例1的图像处理装置的方框图。
图2(a)示出模板图像的视图。
图2(b)示出模板图像的边提取图像(x分量)的视图。
图2(c)示出模板图像的边提取图像(y分量)的视图。
图3是用于解释评价矢量的压缩处理的说明图。
图4(a)示出输入图像的视图。
图4(b)示出输入图像的边提取图像(x分量)的视图。
图4(c)示出输入图像的边提取图像(y分量)的视图。
图5(a )示出相似值的图的视图。
图5(b)示出输入图像的视图。
图6是用于解释内积的正/负倒换的说明图。
图7(a)示出模板图像的视图。
图7(b)示出输入图像的视图。
图8(a)和8(b)示出模板图像的视图。
图9是按照本发明的实施例2的图像处理装置的方框图。
图10(a)和10(b)示出共轭属性的图。
图11(a)是按照本发明的实施例3(第一示例)的模板图像处理部分的方框图。
图11(b)是按照本发明的实施例3(第二示例)的模板图像处理部分的方框图。
图12示出输入图像的视图。
图13(a)示出模板图像的视图。
图13(b)示出边提取图像的视图。
图13(c)示出放大/缩小的模板图像的视图。
图13(d)示出模板图像的视图。
图13(e)示出边提取图像的视图。
图13(f)示出放大/缩小的模板图像的视图。
图14示出脸提取结果的视图。
图15是按照本发明的实施例4的图像处理装置的方框图。
图16是示出了峰值图案的视图。
图17是按照本发明的实施例5的图像处理装置的方框图。
图18(a)示出模板图像的装置。
图18(b)示出遮蔽图案的视图。
图19是按照本发明的实施例6的图像处理装置的方框图。
图20(a)示出原始模板图像的视图。
图20(b)示出已经进行双向倒换的模板图像的视图。
图21是按照本发明的实施例6的图像处理装置的部分的方框图。
图22(a)示出输入图像的视图。
图22(b)示出眼睛/眉毛候选范围的视图。
图22(c)示出识别效果的视图。
图23(a)是按照本发明的实施例7的过滤形状的视图。
图23(b)是整个范围遮蔽的说明图。
图23(c)是范围-1遮蔽的说明图。
图23(d)是范围-2遮蔽的说明图。
图24是按照本发明的实施例8的图像处理装置的部分的框图。
图25(a)示出输入图像的视图。
图25(b)是嘴候选范围的说明图。
图25(c)是投影值的图。
图25(d)是遮蔽图案的说明图。
图25(e)示出投影值图的图像的视图。
图25(f)是投影值的图。
图26是按照本发明的实施例9(第一示例)的图像处理装置的部分的方框图。
图27(a)示出输入图像的视图。
图27(b)示出输出图像的视图。
图28是按照本发明的实施例9(第二示例)的图像处理装置的部分的方框图。
图29(a)和29(b)示出输入图像的视图。
图30是按照本发明的实施例9(第三示例)的图像处理装置的部分的方框图。
具体实施方式
以下，参照附图来详细说明本发明的实施例。
(实施例1)
参见图1至图8，将说明本发明的图像处理装置的基本形式。
如图1所示，按照实施例1的图像处理装置包括两个不同的处理部分，即，模板图像处理部分100和输入图像处理部分200，并利用相似值L的图(map)评价模板图像和输入图像之间的匹配。在此图像处理装置中，模板图像处理部分100和输入图像处理部分200两者都进行线性的正交变换，然后执行乘法，并通过反向正交变换计算相似值L。
应当注意到FFT(快速离散傅立叶变换)被用作后面说明的所有实施例中的正交变换。然而，不仅FFT而且哈特雷变换或数论变换也可以使用，而且在下面说明中的“傅立叶变换”可以被哈特雷变换或数论变换所替换。
而且，模板图像处理部分100和输入图像处理部分200两者都使用边法线方向矢量的内积，以便相关性与边法线方向矢量的方向之间的接近程度成比例地增加。此内积利用偶数倍数角度表达式来评价。为了方便，下面仅仅说明双倍大小的角度作为偶数倍数角度的示例，但是在其他诸如四倍或六倍大小的偶数倍数角度中，也可以产生本发明的相同效果。
下面，将说明模板图像处理部分100。边提取单元1对模板图像在x和y方向上进行微分(differential)处理(边提取)，并输出模板图像的边法线方向矢量。
在此实施例中，【公式2】
- 1 0 1 - 2 0 2 - 1 0 1 ]]> 的Sobel过滤器被用于x方向，【公式3】
- 1 - 2 - 1 0 0 0 1 2 1 ]]> 的Sobel过滤器被用于y方向。
由下面公式定义的模板图像的边法线方向矢量通过这些过滤器获得。
【公式4】
T → = ( T X , T Y ) ]]> 此实施例选取了一个示例，其中正传过人行交叉路的特定姿势的人的图像被从从人行交叉路附近的输入图像中提取。
此人的模板图像是例如如图2(a)的图像。如果公式2的过滤处理施加到图2(a)的模板图像，将获得如图2(b)所示的结果(x分量)，并且如果公式3的过滤处理施加到图2(a)的模板图像，将获得如图2(c)所示的结果(y分量)。
评价矢量产生单元2从边提取单元1输入模板图像的边法线方向矢量，并通过后述的处理向正交变换单元3输出模板图像的评价矢量
首先，评价矢量产生单元2按照下面的公式使模板图像的边法线方向矢量的长度正规化。
【公式5】
U → = ( U X , U Y ) = T → | T → | ]]> 一般来讲，输入图像的边强度按照摄影条件而变化。然而，在输入和模板图像的边之间的角差(或，按照角差变化的隶属函数值)与摄影条件无关。
因此，在本发明中，在输入图像处理部分200中输入图像的边法线方向矢量在长度上被正规化为l，后面将说明。按照如此，在输入图像处理部分100中模板图像的边法线方向矢量在长度上被正规化为l。
结果，图案提取的稳定性可以得到提高。通常，期望正规化长度为l，但是其他常数也可以使用。
关于三角函数，有下面公知的倍角公式。
【公式6】
cos(2Θ)＝2cos(Θ)2-1
sin(2Θ)＝2cos(Θ)sin(Θ)
评价矢量产生单元2计算按照下面公式定义的模板图像的评价矢量。
【公式7】
当被假设为阈值(对于细边的去除)时，模板图像的评价矢量是：
如果
| T → | ≥ a ]]> V → = ( V X , V Y ) = 1 n ( cos ( 2 α ) , sin ( 2 α ) ) = 1 n ( 2 U X 2 - 1 , 2 U X U Y ) ]]> 否则
V → = 0 → ]]> 其中n是当
| T → | ≥ a ]]>时的的数量。
将会说明公式7。将小于常数“a”的矢量设定为0矢量的原因是为了例如去除噪声。
下面将说明此评价矢量的x和y矢量分别被除以“n”以正规化。
一般来说，模板图像的形状是任意的，边的形状有多种。如，存在一种情况，其中边的数量小，如图8(a)所示，或边的数量(比图8(a)的)大，如图8(b)所示。因此，在此实施例中，不管边的数量的大小，而通过将其除以“n”来正规化以在同样的尺度下评价相似性。
然而，不是必须要进行通过将其除以“n”的正规化处理，正规化处理在只使用一个模板图像或只使用与边的数量相同的模板图像的情况下可以省略。
下面，将说明公式7的x和y分量作为双倍的公式5的x和y分量的余弦/正弦的隶属函数。
如果模板图像的评价矢量T和输入图像的评价矢量I之间的角度θ的内积cosθ被用作与传统技术相同的相似性尺度，将会产生下面的问题。
如，我们假定图7(a)的模板图像和图7(b)的输入图像。在图7(b)的背景中，特定目标的图像的左背景部分比特定目标的图像要亮，特定目标的图像的右背景部分比特定目标的图像要暗。
如果仅从图像考虑，当图7(a)的模板图像的中心与图7(b)输入图像的中心重合时，特定目标的图像彼此完全重合，因此此时的相似值一定为最大。这里，如果从目标图像向外方向的边法线方向矢量是正的，则当从该特定目标的图像得出时，边法线方向矢量一定要在图7(b)的亮背景部分和暗背景部分中方向相同(向外/向内)。
然而，如果图7(b)的背景的亮度此时在特定目标的左右背景部分中不均匀，则方向相反，如图7(b)的箭头所示(即在亮背景部分中从特定目标向外，和在暗背景部分中从特定目标向内)。
原来，可达到最大的相似值，但是在这种情况下相似值不一定高，因此容易造成变形的感觉。
上述问题的详细说明将参照图6给出。在模板图像的评价矢量T和输入图像的评价矢量I之间的角度表示为θ的情况下，它的内积，即cosθ，被用作相似值，输入图像的评价矢量I的方向有两个可能，即，图6的完全相反的I和T｀，因为如上所述在特定目标的图像的周边存在背景亮度的不均匀。
因此，用作相似性尺度的内积将具有两个积，即cosθ和cosθ｀。本处，θ+θ｀=π，cosθ｀＝cos(π-θ)＝-cosθ。
因此，如果cosθ被用作相似性尺度，则当需要适当地增加相似值时相似值会相对地减少，当需要适当地减少相似值时相似值会相对地增加。
换而言之，按照现有技术的相似值，在模板图像和输入图像之间的匹配不能被正确评价。结果，不利的是，通过现有技术容易形成错误的识别，即使形成了图像，识别结果也不清楚。
因此，在本发明中，θ的两倍的余弦，即cos(2θ)被用于相似值的公式。因此，即使cosθ｀=-cosθ，公式6的倍角公式得出的cos(2θ｀)＝cos(2θ)。换而言之，当需要增加相似值时，相似值的增加与背景无关。因此，虽然存在背景的亮度的不均匀，其间的匹配可以被正确地评价。这可以应用到除了2倍的4倍或6倍的情况。
而且，相对于角度θ单调地减小的相似值的属性，即使在使用偶数倍数角度余弦的情况下也不变化。
因此，按照本发明，图案可以通过偶数倍数角度评价而被稳定地提取，与背景的亮度条件无关。更具体地说，相似值由本发明的下面公式定义。
【公式8】
相似值
L ( x , y ) = Σ i Σ j K X ( x + i , y + j ) V X ( i , j ) + K Y ( x | i , y | j ) V Y ( i , j ) ]]> K → = ( K X , K Y ) : ]]>输入图像的评价矢量
V → = ( V X , V Y ) : ]]>模板图像的评价矢量
由于公式8仅包含加法和乘法，对于每个输入和模板图像的评价矢量而言相似值是线性的。因此，当公式8进行傅立叶变换时，通过傅立叶变换的离散相关定理(参考：由科学和技术出版的Hiroshi Miyakawa翻译的“快速傅立叶变换”)而获得公式9。
【公式9】
L ~ ( u , v ) = K ~ X ( u , v ) V ~ X ( u , v ) * + K ~ Y ( u , v ) V ~ Y ( u , v ) * ]]> Kx，Ky的傅立叶变换值
Vx，Vy的傅立叶变换复共轭
以下，傅立叶变换值表示为～，复共轭表示为*。
公式8的相似值通过对公式9进行反向傅立叶变换而获得。通过仔细思考公式9，下面两个方面将变得清楚。
(1)首先，在已经进行了正交变换的变换值中，可以简单地将模板图像的傅立叶变换值和输入图像的傅立叶变换值相乘。
(2)其次，模板图像的傅立叶变换值和输入图像的傅立叶变换值不需要同时计算，并且模板图像的傅立叶变换值可以先于输入图像的傅立叶变换值而计算。
因此，在本实施例中，模板图像处理部分100配置记录单元5，以在输入图像输入之前记录压缩单元4的输出。因此，在输入图像输入到输入图像处理部分200之后，模板图像处理部分100没有必要处理模板图像，处理执行可以集中在输入图像处理部分200和乘法单元10后面的处理上，因此使得有可能提高处理速度。
下面，将说明评价矢量产生单元2后面的结构。如图1所示，在模板图像处理部分100中，从评价矢量产生单元2输出的模板图像的评价矢量由正交变换单元3进行傅立叶变换，并输出到压缩单元4。
压缩单元4压缩已经进行了傅立叶变换的评价矢量，并将其存储在记录单元5中。如图3所示，进行了傅立叶变换的评价矢量包括在x和y方向上的各种频率分量。通过由本发明的发明者进行的实验，可知道可以通过处理低频分量(如x和y各自方向上的低频侧的一半)而不用处理所有的频率分量来获得足够的精确度。在图3中，没有斜线的范围(-a≤x≤a，-b≤y≤b)是原始范围，有斜线的范围(-a/2≤x≤a/2，-b/2≤y≤b/2)是压缩的范围。即，处理量变为以前的1/4。
因此，可以压缩要处理的目标，处理的速度可以得到提高。
当数据量小或不需要高速处理时可以省略压缩单元4和记录单元5。
下面，将说明输入图像处理部分200。输入图像处理部分200执行与模板图像处理部分100几乎相同的处理。即，按照公式2和公式3，边提取单元6输出由下面公式定义的输入图像的边法线方向矢量。
【公式10】
输入图像的边法线方向矢量
I → = ( I X , I Y ) ]]> Ix：在x方向上的输入图像的导数值
Iy：在y方向上的输入图像的导数值
评价矢量产生单元7输入来自边提取单元6的输入图像的边法线方向矢量，并输出由下面两个公式定义的输入图像的评价矢量。
【公式11】
输入图像的长度正规化矢量
J → = ( J X , J Y ) = I → | I → | ]]> 【公式12】
当被假设为阈值(对于细边的去除)时，输入图像的评价矢量是：
如果
| I → | ≥ a ]]> K → = ( K X , K Y ) = ( cos ( 2 β ) , sin ( 2 β ) ) = ( 2 J x 2 - 1,2 J X J Y ) ]]> 否则
K → = 0 → ]]> 输入图像处理部分200与模板图像处理部分100不同之处仅仅在于未进行除以“n”的正规化处理。换言之，由偶数倍数角度的评价、在长度上处理到l的正规化处理和噪音去除处理的执行与模板图像处理部分100中的相同。
下面，将说明评价矢量产生单元7后面的结构。如图1所示，在输入图像处理部分200中，从评价矢量产生单元7输出的输入图像的评价矢量由正交变换单元8进行傅立叶变换并输出到压缩单元9。
压缩单元9压缩已经进行了傅立叶变换的评价矢量，并将其输出到乘法单元10。本处，压缩单元9将要处理的目标压缩到与压缩单元4相同的频带(如，在此实施例中为如x和y各自方向上的低频侧的一半)。
压缩单元9当然可以在数据量小时或不需要高速处理时省略，压缩单元9当在模板图像处理部分100中省略压缩单元4时也同样可以省略。
下面说明乘法单元10和其后的其他结构。当在模板图像处理部分100中和输入图像处理部分200中的处理完成时，乘法单元10输入来自记录单元5和压缩单元9的模板和输入图像的每个评价矢量的傅立叶变换值。
其后，记录单元5按照公式9进行积和计算，并输出结果(即相似值L的傅立叶变换值)到反向正交变换单元11。
反向正交变换单元11使相似值L的傅立叶变换值进行反向傅立叶变换，并向图处理单元12输出相似值L的图L(x，y)。图处理单元12从图L(x，y)提取一个高值点(峰值)，并输出其位置和值。图处理单元12和其后的结构可以在必要时自由安排。
下面参照图4和图5说明图2的模板图像的处理示例。如果输入图像如图4(a)所示，边提取单元6提取如图4(b)所示的x方向上的边分量，并提取如图4(c)所示的y方向上的边分量。
作为前述的处理的结果，获得了如图5(a)所示的相似值图L(x，y)。本处，指示为“最大值”的箭头的前端是本图的峰值，通过与图5(b)的输入图像相比较很显然，可知可以仅仅通过一个点清楚地识别正确的点。
在传统技术中，必须通过积的倍数，即2AB来进行计算，以便连续地在输入图像上扫描模板图像并获得每个位置的公式1的ρY0，其中输入图像的大小为A(＝2γ)，模板图像的大小为B。本处，计算的次数由所述积的倍数计算，计算量大。
相反，在本实施例中，FFT被正交变换单元3和8执行了两次，然后积和计算由乘法单元10执行，反向FFT由反向正交变换单元11执行了一次。计算的次数为仅仅是积的3{(2γ-4)A+4}+2A倍。
在计算次数的比较中，按照本实施例的积的计算次数变为按照传统技术的积的计算次数的1/00，如果A＝256×256＝216，B＝60×60。结果，可以进行不寻常的高速处理。
傅立叶变换的离散相关定理不可以被用在传统技术的公式1这样的非线性公式中。
因此，在传统技术中，对于模板图像的处理不能先于对本实施例中的图1所示的输入图像的处理而执行。换而言之，在传统技术中，模板图像和输入图像必须同时处理。也是在这个方面，本实施例的处理速度变得比传统技术要高。
(实施例2)
在该实施例中，共轭压缩单元13和共轭恢复单元14被添加到图1的元件中，如图9所示。共轭压缩单元13通过利用傅立叶变换的复共轭属性而进一步减半已经从记录单元5读取的模板图像的评价矢量的傅立叶变换值。
这一方面将得到说明。下面的公式建立用于通过实数傅立叶变换获得的频谱。
【公式13】
A ~ ( u , v ) = A ~ ( - u , - v ) * ]]> 详细而言，在uv坐标系统中特定点的频谱值与该点相对称的位置的频谱值的复共轭相等。此特性的使用使得有可能减少uv坐标系统的一半的处理量，如图10(a)所示。
由于压缩单元4和压缩单元9进一步压缩了数据量，数据量可以减少到原始数据的1/8，如图10(b)所示。因此，处理速度可以提高，存储容量可以节省。
结果，在本实施例中，共轭压缩单元13从记录单元5读取的傅立叶变换值被减半，并被输出到乘法单元10。其后，共轭恢复单元14执行处理，通过此从乘法单元10的输出被加倍，并将其输出到反向正交变换单元11。
这些构成了本发明的基本原理。下面说明应用这些基本原理的有用技术。
(实施例3)
在本实施例中，将说明第一示例和第二示例。在每个示例中都说明了通过使用放大的/缩小的模板图像进行脸提取的技术。按照此技术，可以有效高速地执行利用大小不同的类似模板的处理。本技术的应用不仅限于脸提取。
「第一示例」
图11(a)是按照本发明的实施例3(第一示例)的模板图像处理部分的框图。如图所示，对图1或图9的模板图像处理部分100作了一些改进。
首先，当模板图像被输入到模板图像处理部分101时，该图像被放大/缩小单元15放大/缩小。其后，被放大/缩小的模板图像被输出到边提取单元1。
当评价矢量产生单元2输出模板图像的评价矢量时，加法单元16对此进行加法处理，由此加法处理获得的数据被输出到正交变换单元3。
加法单元16按照下面的公式执行对每个尺寸范围的加法处理。
【公式14】
模板图像的评价矢量
V ~ = ( V X ( x , y ) , V Y ( x , y ) ) ]]> V X ( x , y ) = Σ i = a b V xi ( x , y ) ]]> V Y ( x , y ) = Σ i = a b V Yi ( x , y ) ]]> 其中大小范围为a～b。
虽然图像处理通过使用实施例1和2中的模板图像来执行，但是具有多个尺寸的模板通过使用本实施例中的多个模板来处理。
而且，每个模板的大小被分离到一个特定范围中，模板处理结果被叠加在其上。
图12示出了包括人的脸图像的输入图像的示例。在此示例中，提供了不显现表情的脸的模板图像，如图13(a)所示。还提供了以特定角度倾斜的脸的模板图像，如图13(d)所示。可以适当地选择所提供的脸的倾斜角度。
当图13(a)和图13(d)的模板图像的边被提取时，在本实施例中可分别获得如图13(b)和图13(e)所示的形状。而且，当输入图13(a)或图13(d)的图像时，产生了与边图像相对应的评价矢量，如图13(c)或图13(f)所示。
同实施例1和2相同，有关模板图像的数据被存储在记录单元5中。
当输入输入图像时，在输入图像处理部分200和乘法单元10的处理过程后面的处理过程以与实施例1和2相同的方式进行。
对于模板图像的所有尺寸范围的被叠加的模板数据计算了相应的相似值图。
因此获得了如图14所示的检测结果。从图14显然可见，可以识别不仅脸的整个位置而且其大小和主要脸部分诸如眼、鼻和嘴的的位置。
此时，期望在图处理单元12后续的阶段在显示器上显示如图14所示的处理结果或将其输出到打印机。
按照第一示例，可以获得下面的效果。
(1)即使在特定尺寸范围中的模板数据被添加，并且图像处理对分层的模板进行，与模板类似的部分经常显出高的相似值。因此，当计算所有尺寸的相似值时，积和计算部分的处理和反向正交变换部分的处理必须被重复进行NM次，其中N是模板的数量，M是所有尺寸的数量。另一方面，利用叠加的模板使处理的数量达到NM/H，其中H是叠加范围的宽度。因此，可以实现有效性的改进，图像处理可以对于例如脸提取高速地执行。
(2)此外，眼、鼻和嘴的粗略候选范围不仅可以通过输出脸的位置数据来提取，也可以通过在如图14所示的脸候选位置上叠加模板来提取。
诸如眼、鼻和嘴的脸部分的位置也可以通过在这些范围中更细地处理图像而更精确地被提取，如下面的实施例所述。
「第二示例」
在此示例中，模板图像处理部分102的结构如图11(b)所示。即，与第一示例相比，加法单元16的位置被移动到压缩单元4和记录单元5之间。因此，加法单元16用来进行按照下面公式的加法处理。
【公式15】
V ~ X ( u , v ) = Σ i = a b V ~ Xi ( u , v ) ]]> V ~ Y ( u , v ) = Σ i = a b V ~ Yi ( u , v ) ]]> 其中大小范围为a～b。
在进行傅立叶变换之前为线性的相似值公式在变换后仍然为线性。因此，加法单元16的位置可以例如从第一示例变到第二示例。
因此，由于目标被压缩单元4压缩，因此通过加法单元16处理的目标可以比第一示例中的有所减少。因此处理速度可以被适当地提高。
(实施例4)
参照图15和16说明实施例4。此实施例公开了用于将实施例1和2中说明的相似值图的最大点的值变为更强的峰值的一种有效的技术。
一般，在相似值图中，峰值出现在叠加模板图像的部分。在此实施例中，包括最大点及其周围的峰值图案(peak pattern)“P”被用作相似值图的过滤器，在相似值图中与峰值图案类似的部分的值被放大。
如图15所示，在此实施例中，峰值图案处理部分300被添加到示出实施例1的图1中的结构中。
图16示出了峰值图案的遮蔽(mask)。如图16所示，在峰值图案中，进行了正规化以将平均值设定为0。
在峰值图案处理部分300中，正交变换单元17使此峰值图案进行傅立叶变换，压缩单元18压缩傅立叶变换值以便将压缩的数据记录到记录单元19中。
由于使用了遮蔽，相似值公式不是由公式8而是由下面反映遮蔽的公式建立。
【公式16】
M ~ ( u , v ) = L ~ ( u , v ) P ~ * ]]> 峰值图案低频谱
L(u，v)：过滤前的相似值
M(u，v)：过滤后的相似值
因此，乘法单元10从记录单元5、记录单元19和压缩单元9读取数据，然后执行积和计算，并输出由峰值图案校正的相似值的傅立叶变换值。
峰值图案过滤器可以按照下面公式过滤相似值图L，但是，如果如此，则会低效率地存在大量积和计算。
【公式17】
M ( x , y ) = Σ l Σ m p ( l , m ) L ( x + l , y + m ) ]]> 相反，在此实施例中，按照公式16执行简单准确的处理，而不用进行象公式17那样的大量积和计算。
因此，按照此实施例，相似值图的峰值点可以有效地放大。另外，与模板类似的部分可以在反映峰值图案的同时清楚稳定地从输入图像检测出来。
(实施例5)
在此实施例中，在模板图像范围中的像素平均值以及输入图像的边和模板图像的边之间的相似值被添加到相似性判断中。
此结构示于图17。与图15一样，遮蔽图案处理部分400被添加到实施例1的图1的结构中。
然而，图17的结构与图15的不同之处在于，遮蔽图案处理部分400不是被用于输入峰值图案而是用来输入模板图像，并在于遮蔽图案产生单元20被提供来产生依赖于此图像的遮蔽图案。
与图15一样，遮蔽图案产生单元20的输出由正交变换单元21进行傅立叶变换，然后被压缩单元22压缩，并记录到记录单元23中。
而且，由于使用了遮蔽，相似值公式不是表达为公式8，而是下面反映遮蔽的公式。
【公式18】
Q ( x , y ) = L ( x , y ) + Σ l Σ m q ( l , m ) I ( x + l , y + m ) ]]> Q(x，y)：增加像素平均值的相似值
q(l，m)：遮蔽图案
L(x，y)：过滤前相似值
I(x，y)：输入图像数据
因为实施例4中所述的同样原因，如果乘法也以这种方式执行的话，将低效率地需要大量积和计算。
公式19通过将此进行傅立叶变换而获得，计算可以非常简单地执行。
【公式19】
Q ~ ( u , v ) = L ~ ( u , v ) + q ~ * ( u , v ) I ~ ( u , v ) ]]> 因此，乘法单元10按照公式19执行积和计算。
下面，将参照图18说明在模板图像和遮蔽图案之间的关系。本处，为了向相似性判断添加模板图像范围的像素平均值，遮蔽图案产生单元20产生用于如图18(a)所示的模板图像的如图18(b)所示的遮蔽图案。
更详细而言，在图18(a)的模板图像中，1/N的值被设定在要计算像素平均值的内部部分(在圆内)的每个点，其他点被设定为0。本处，N是内部部分的点的数量，遮蔽图案的所有点的值的相加结果为1。
按照此实施例，图像内的像素值的平均值也可以被添加到相似值，特定的目标可以从输入图像更精确和有效地提取。
每个像素的平方值的平均值可以被计算以便形成其中由输入图像处理部分对输入图像的每个像素进行平方的数据，并且进行相同的处理。
因此，在范围中的分布值以及平均值可以有效地被计算。
(实施例6)
此实施例公开了一种技术，通过它可以有效地处理相对于模板图像的双向对称图像。
此结构如图19所示。即，除了实施例1的图1的结构外，在记录单元5和乘法单元10之间提供了对称矢量产生单元24。如实施例1一样，公式8在此实施例中被用作相似值公式。
下面，将说明如何处理双向对称模板图像。例如，如果图20(a)的模板图像是原始图像，则其中原始模板图像已经双向倒换的模板图像如图20(b)所示。
这些模板图像的边法线方向矢量之间的关系由下面公式表达。
【公式20】
使原始模板图像双向倒换产生的图像的边法线方向矢量
T → ′ = ( T ′ x ( x , y ) , T ′ y ( x , y ) ) ]]> T′x(x，y)＝-Tx(-x，y)
T′v(x，y)=Ty(-x，y)
已经双向倒换的模板图像的评价矢量由下面公式表达。
【公式21】
W → = ( W x ( x , y ) , W y ( x , y ) ) : T → ′ ]]>的评价矢量
V → = ( V x ( x , y ) , V y ( x , y ) ) : T → ]]>的评价矢量
Wx(x，y)＝2T′x2-1＝2(-Tx(-x，y))2-1＝2Tx(-x，y)2-1＝Vx(-x，y)
Wy(x，y)＝2T′xT′y＝2(-Tx(-x，y))Ty(-x，y)＝-2Tx(-x，y)Ty(x，y)＝-Vy(-x，y)
关于傅立叶变换，因为公式22的关系式，公式23通过将公式22应用到公式21而得到。
【公式22】
f ( x ) = g ( - x ) ⇒ f ~ ( u ) = g ~ ( - u ) ]]> 【公式23】
W ~ X ( u , v ) = V ~ X ( - u , v ) ]]> W ~ Y ( u , v ) = - V ~ Y ( - u , v ) ]]> 详细而言，已经进行了双向倒换的模板图像的评价矢量可以容易地通过例如倒换原始模板图像的评价矢量的正负而产生。
因此，已经进行了双向倒换的模板图像的评价矢量可以仅仅通过使对称矢量产生单元24将公式23应用到图19的记录单元5中的原始模板图像的评价矢量来获得。
当简单假设时，没有必要进行复杂的处理，如其中由图20(a)的图像产生图20(b)的图像的处理过程，评价矢量再一次从图20(b)的图像计算。
因此，可以不需要直接计算来产生已经进行了双向倒换的模板图像的评价矢量，处理速度得到提高。另外，因为不需要特意存储已经进行了双向倒换的模板图像。因此可以节省记录容量。
(实施例7)
在此实施例中，眼/眉候选范围可以按照实施例3中说明的处理从图22(a)的输入图像粗略提取。
图23(a)至23(d)所示的点双列相关系数过滤器被应用到此眼/眉候选范围的图像的每个点，于是形成点双列相关值的图，图中相关值变高的点被分别设定为眼中心点3002和眉中心点3003。
点双列相关系数η通过下面公式定义(参考：现代数学，第十七页，多变量分析手册)。
【公式24】
η = x 1 ‾ - x 2 ‾ S n 1 n ( 1 - n 1 n ) ]]> 全部范围：将第一范围添加到第二范围
n1：第一范围的像素数量
n：全部范围的像素数量
第一范围的平均亮度水平
第二范围的平均亮度水平
S：整个范围的标准偏差
当遮蔽尺寸固定时_内的数值恒定。
参见图23(a)至23(d)，图23(a)示出了所有范围的位置关系，图23(b)示出了全部范围遮蔽，图23(c)示出了第一范围遮蔽，图23(d)示出了第二范围遮蔽。
如果过滤器的形状按照此点双列相关系数形成为如图23(a)所示，则应该可以提取眉中心3002和眼中心3003，如图22(c)所示。
下面，将说明按照点双列相关系数的过滤器处理。
首先，公式24的主要分量由下面公式表达。
【公式25】
x 1 ‾ = ΣI ( x + i , y + j ) M 1 ( i , j ) ]]> x 2 ‾ = ΣI ( x + i , y + j ) M 2 ( i , j ) ]]> x＝∑I(x+i，y+j)Ma(i，j)
x 2 ‾ = ΣJ ( x + i , y + j ) Ma ( i , j ) ]]> 其中，
J(x，y)＝I2(x，y)
x 1 ‾ - x 2 ‾ = ΣI ( x + i , y + j ) ( M 1 ( x , y ) - M 2 ( x , y ) ) ]]> M1：第一范围遮蔽
M2：第二范围遮蔽
Ma：全部范围遮蔽
I(x，y)：输入图像的每个像素值
下面的公式通过将每个分量进行傅立叶变换而得到。
【公式26】
【公式27】
~ x = I ~ M a * ~ ]]> 【公式28】
~ x 2 = J ~ M a * ~ ]]> 其中
J(x，y)=I2(x，y)
为了执行这些处理，形成例如图21的结构。首先，全部范围、第一范围和第二范围的每个遮蔽由正交变换单元51至53进行傅立叶变换。
输入图像和实施例3中说明的脸提取的结果被通过图处理单元12输入到眼/眉候选范围提取单元54。基于这些输入，眼/眉候选范围提取单元54从图22(a)仅仅提取图22(b)所示的眼/眉候选范围。有关此眼/眉候选范围的数据由正交变换单元55进行傅立叶变换而没有任何变化，并由平方单元56进行平方，然后由正交变换单元57进行傅立叶变换。
其后，公式27所示的数据通过乘法单元58被输入到η图形成单元65之前的反向正交变换单元62。同样，公式26所示的数据被通过乘法单元60输入到反向正交变换单元63，公式28所示的数据被通过乘法单元61输入到反向正交变换单元64。输入数据由反向正交变换单元62至64进行反向傅立叶变换并输出到η图形成单元65。
其后，当从反向正交变换单元62至64接收到数据时η图形成单元65按照公式24进行计算，并输出点双列相关系数的图η(x，y)。
眼/眉中心提取单元66从η图形成单元65输出的点双列相关系数的图η(x，y)提取具有高值的两个点，并将它们分别输出作为眼中心和眉中心。
以此结构，乘法必须被执行大约15×15×N＝225N次，其中“15×15”(像素)是图23(a)的过滤器大小，N是输入图像的像素数量。
相反，按照此实施例，积计算的次数是大约N+[(2γ-4)N+4]×5+12N+N+N＝5N(2γ-1)+20次。为了方便，_的计算被假设为与一个乘法处理相同。
即，在γ为22或更小的条件下，(此实施例的计算)＜(传统技术的计算量)。
通常，不使用N为222或更多的大型图像。因此，可知本实施例的图像处理在计算次数上小于传统处理，比传统技术执行得要快。
因此，按照本实施例，点双列相关系数过滤器处理可以更有效地执行。
可以通过不同地改变图23(a)至图23(d)所示的遮蔽来计算其他脸部分的位置，如眼角、嘴边、鼻孔和虹膜。
(实施例8)
此实施例公开了一种技术，用于扩展按照实施例3的脸提取的功能，并从脸图像提取作为脸部器官的嘴范围。
如参照图14的实施例3中所述，图25(b)中的嘴候选范围可以从图25(a)的输入图像提取。
当被提取的嘴候选范围被投射到Y轴上时(即当像素值的总和h沿着X轴绘制时)，可得到如图25(c)所示的粗略的图。
总和h由下面的公式定义。
【公式29】
h ( x , y ) = Σ i = x - w / 2 x + w / 2 I ( x + i , y ) ]]> I(x，y)：输入图像的每个像素值
w：嘴候选范围的宽度
h(x，y)：投影值
为了有效地利用正交变换获得此总和，提供了如图25(d)所示的遮蔽。公式29可以重新写为包括此遮蔽的下面的公式。
【公式30】
h ( x , y ) = Σ i = x - w / 2 x + w / 2 I ( x + i , y ) = Σ i , j m ( i , j ) I ( i + x , j + y ) ]]> m：遮蔽
当进行傅立叶变换时，可获得下面的公式。
【公式31】
h ~ ( u , v ) = m ~ ( u , v ) * I ~ ( u , v ) ]]> 即，获得此投影值要求将输入图像和遮蔽图案进行傅立叶变换，因此执行公式31的计算，并将结果进行反向傅立叶变换。因此，可以获得投影值“h”的图“h(x，y)”。
从上述结果，可取的是形成例如图24所示的结构。如图24所示，输入图像和遮蔽图案由正交变换单元25和26分别进行傅立叶变换。
其后，变换值由乘法单元27相乘，并由反向正交变换单元28进行反向傅立叶变换。作为结果，获得了投影值的图h(x，y)。
所获得的图h(x，y)由投影数据提取单元29处理，最大点提取单元30从此图计算两个最大点，并输出在此两个最大点之间的范围作为嘴范围。
遮蔽图案当然可以预先进行实施例1中的傅立叶变换，如果是这样，则处理性能可以集中在输入图像的处理上，处理速度可以得到提高。
按照此实施例，脸部器官嘴的位置(更具体地说，上下嘴唇的位置)可以被精确地计算。
(实施例9)
此实施例公开了一种技术，用于扩展按照实施例3的脸提取的功能，并按照本实施例的第一和第二示例将预定的处理施加到脸图像。
「第一示例」
在此示例中，数字水印被嵌入到所提取的脸图像中。即，形成了图26的结构。结果使用部分600被提供到图11的图处理单元12的后续阶段。
结果使用部分600包括脸图像切分单元31，用于参照输入图像和由图处理单元12确定的脸位置将输入图像分离成脸图像和非脸图像。脸图像部分从脸图像切分单元31输出到数字水印嵌入单元32，预定的数字水印被嵌入脸图像部分。本处，此数字水印可以是公知的。
另一方面，不包括脸图像的部分从脸图像切分单元31直接输出到图像合成单元33。
图像合成单元33将嵌入了数字水印的脸图像与不包括脸图像的部分结合起来，并输出嵌入了数字水印的图像。
因此，对于例如图27(a)的输入图像，获得了其脸部分嵌入了数字水印的图27(b)的输出图像。
要拍摄的模特的姓名或拍摄日期适合于作为数字水印。
按照此示例，水印数据可以集中和容易地嵌入到易于被伪造的脸部分。
「第二示例」
在此示例中，仅对提取的脸图像进行具体的编辑。即，形成图28的结构。结果使用部分601被提供在图11的图处理单元12的后续阶段。
结果使用部分601包括脸图像切分单元31，用于参照输入图像和由图处理单元12确定的脸位置将输入图像分离成脸图像和非脸图像。脸图像部分从脸图像切分单元31输出到图像校正单元34，并对脸图像部分进行预定的编辑。本处，此编辑可以是公知的。
另一方面，不包括脸图像的部分从脸图像切分单元31直接输出到图像合成单元33。
图像合成单元33将经过编辑的脸图像与不包括脸图像的部分结合起来，并输出经过编辑的图像。
因此，对于例如图29(a)的输入图像，获得了其中脸部分已经被提取如图29(b)、并且仅脸部分已经被编辑如图29(c)的输出图像。
在一个逆光拍摄的人的图像中，脸部分的图像可以被校正以便脸色变得白，因为脸太黑难于辨认。然而，在由图像校正单元34进行的编辑中，这样的图像可以任意地校正。
按照本示例，仅仅脸部分的图像可以被容易地和有选择地校正，或换而言之，可以不影响不包括脸的部分而进行图像校正。
「第三示例」
在此示例中，被提取的脸图像被校正以便容易看出。即，形成图30的结构。首先，结果使用部分602被提供在图11的图处理单元12之后。
结果使用部分602包括脸图像切分单元31，用于将输入图像分离成脸图像和非脸图像。切分出的脸图像部分被输出到脸内部范围提取单元35和图像校正单元34。
按照实施例3中所述的处理过程，脸内部范围提取单元35计算利用模板所切分出的脸图像的诸如眼、鼻和嘴的主要脸部分的位置，并提取脸内部图像(即，位于整个脸内的图像)。在此实施例中，脸内部图像是在具有预定大小并且中心位于脸中心(如鼻中心)的矩形范围内的图像。然而，可以改变矩形范围的大小，并且中心可以位于稍稍偏离脸中心。
被提取的脸内部图像被输出到图像特征提取单元36。图像特征提取单元36计算用于校正脸图像的有用特征。在此示例中，图像特征提取单元36计算脸内部图像的亮度分布，并将其结果以亮度频率曲线的形式输出到校正函数确定单元37。图像特征提取单元36当然可以将亮度频率曲线中的亮度最大值和最小值输出到校正函数确定单元37。
参照从图像特征提取单元36输入的特征，校正函数确定单元37确定一个校正函数，通过它脸内部图像的对比变得更清楚，并向图像校正单元34输出此校正函数。
在此示例中，图像特征提取单元36输出如上所述的亮度频率曲线，因此校正函数确定单元37计算校正函数，以便频率曲线中出现的最小亮度达到动态范围的最小亮度，并且以便最大亮度达到动态范围中的最大亮度。其后，校正函数确定单元37将校正函数输出到图像校正单元34。
图30的亮度频率曲线的水平轴表示亮度值，可知仅使用了可以表达亮度的一部分动态范围。因此，校正函数确定单元37确定校正函数以便充分利用动态范围，因此图像校正单元34可以校正脸图像以便该图像可以容易辨别，或更具体地说，以便它看起来能够具有足够的灰度。作为校正的结果，脸图像必然容易观看，虽然可能有其中除脸图像的部分变白或变黑的情况。
本处，由于校正函数基于仅仅脸内部图像被确定，校正从不会被非脸部分误导。因此，在校正后，可以保证脸的可视性得到改善。
虽然图30示出了仅对切分出的脸图像进行校正的图，但是类似的校正也可以对整个输入图像进行。
此外，作为要被图像特征提取单元36寻求的特征，表示图像的明/暗的指数比如亮度可以被如上所述使用。此外，可以使用平均色度或平均色调。
如果使用了平均色度，校正函数确定单元37可以向图像校正单元34输出例如色度放大系数；并且如果使用了平均色调，校正函数确定单元37可以向图像校正单元34输出例如色调旋转角。
本处，当使用平均色度作为特征时，苍白的脸图像可以校正得生动，当使用平均色调时，不太红的脸可以被校正的更红。在任一情况下，脸图像可以变得更自然。此外，可以使用亮度、平均色度或平均色调的两个或多个的组合作为特征。
虽然参照附图说明了本发明的优选实施例，应当了解本发明不限于这些明确的实施例，本领域的技术人员在不脱离在所附权利要求书中公开的本发明的范围和精神的情况下，可以进行各种改进和变化。