使用三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序 【技术领域】
本发明涉及使用了三维物体模型的图像匹配系统、图像匹配方法以及图像匹配程序，特别是涉及以下图像匹配系统、图像匹配方法以及图像匹配程序，即：对于在姿势、照明不同的条件下所拍摄的物体(人物的脸)的输入图像，可以从该输入图像来检索数据库(DB)中的参照图像。
背景技术
1995年，电子信息通信学会论文杂志D-II，第J78-D-II卷，第11号，1639页～1649页，岛田等所著，《用于不依据脸部朝向的人物识别的辞典构成法》中记载有现有的图像匹配系统的一个例子(以下称为第一现有技术)。如图26所示，该第一现有技术地图像匹配系统包括图像输入部10、图像匹配部40、结果显示部80、参照图像存储部70和参照图像注册部75。
具有这种结构的现有的图像匹配系统如下那样工作。
参照图像存储部70中存储有预先通过参照图像注册部75所拍摄的各种物体的参照图像(人物的参照脸部图像等)。其中，对于参照图像来说，由于根据摄影时的条件(姿势、照明等条件)不同而大幅变化，所以对于一个物体要存储在各种条件下拍摄的多个(很多)图像。
图像输入部10由照相机等来实现，并将拍摄的输入图像存储在存储器(图中未示出)中。图像匹配部40将通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像进行比较，分别计算特征的类似度(或是距离值)，并选出各物体中类似度最大(或是距离具小)的参照图像。各个图像用浓淡特征来表现，在特征间的类似度计算或距离值计算中例如可使用规范化函数或欧几里得距离等。结果显示部80将该参照图像中所选出的类似度最大的物体的参照图像作为匹配结果加以显示(或者按照类似度从大到小的顺序显示作为候补的参照图像)。
日本专利文献特开2000-322577号公报中记载有现有图像匹配系统的另一个例子(以下称为第二现有技术)。如图28所示，该现有的图像匹配系统包括图像输入部10、图像转换部35、部分图像匹配部45、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20和三维物体模型注册部25。
具有这样的结构的现有的图像匹配系统如下那样工作。
代表三维物体模型存储部20中存储有预先通过三维物体模型注册部25所得到的有代表性的一个或多个三维物体模型。关于通过图像输入部10所得到的输入图像和通过参照图像存储部70所得到的各参照图像共同的部分区域，图像转换部35使用通过代表三维物体模型存储部20所得到的三维物体模型，来转换该输入图像和该参照图像的双方或任意一方以生成部分图像，使得输入条件(例如姿势条件)相同。
所谓部分区域，例如图29所示，是眼、鼻、口这样的特征部分，可以通过预先对各图像与三维物体模型指定特点来获得对应。部分图像匹配部45将通过图像转换部35得到的被转换的输入图像和各参照图像的部分图像进行比较，分别计算平均类似度，并选出各物体中类似度最大的参照图像。结果显示部80将该参照图像的类似度最大的物体作为匹配结果加以显示。
在上述现有技术中，有下面所述的各种问题。
第一，在上述第一及第二现有技术中存在以下问题，即：对于所注册的物体，需要在各种条件下所拍摄的多个参照图像。
其理由是，由于直接比较输入图像和参照图像，所以在输入图像的拍摄条件没有被限定时，为了对应多种姿势或照明条件，就需要预先准备接近输入图像的拍摄条件的参照图像。但是，实际上，姿势或照明条件存在无限的可能性，预先准备与各种条件相对应的大量图像在现实上是不可能的。
第二，在第二现有技术中，由于转换输入图像或参照图像，使得姿势吻合，并进行比较，所以，存在以下问题，即：三维物体模型的参照图像的数目不够多，或是若姿势差异较大，则转换引起的失真变大，从而不能正确匹配。此外，存在以下问题，即：通过转换来使照明条件吻合是非常困难的，而且，由于在共同区域内比较图像，所以就必须存在共同的区域。
第三，在各现有技术中，存在匹配耗时的问题。
其理由是，在现有技术中，由于对输入图像和各物体的多个参照图像进行比较，所以当物体数是M个，而各物体的参照图像是L个时，至少需要进行L×M次的图像比较。
【发明内容】
本发明的目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使在只存在少数参照图像的情况下，也可以针对每个物体在不同姿势和照明条件下所拍摄的图像，从输入图像来检索出数据库中注册的参照图像。
本发明的另一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而不进行转换输入图像或参照图像以使其姿势吻合的处理，就可以通过很少的三维物体模型的参照图像进行匹配，并且即使各图像未必存在共同的区域也可以进行匹配。
本发明的又一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使不对所有物体生成某一必需数目的三维物体模型也可以进行图像的匹配。
本发明的再一目的在于提供一种图像匹配系统、图像匹配方法及图像匹配程序，从而即使数据库中注册有关于很多物体的参照图像，也可以高速地进行检索。
根据本发明，提供一种检索与输入图像类似的参照图像的图像匹配系统，所述图像匹配系统的特征在于，其包括：用于将所述输入图像与多个代表三维物体模型进行匹配的单元；用于将所述参照图像与多个所述代表三维物体模型进行匹配的单元；利用所述输入图像与多个所述代表三维物体模型进行匹配的结果，和所述参照图像与多个所述代表三维物体模型进行匹配的结果，检索与所述输入图像类似的所述参照图像的单元。
上述图像匹配系统还可以包括：用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；和利用所述参照三维物体模型和所述输入图像，重新检索与所述输入图像类似的所述参照图像的单元。
上述图像匹配系统还可以包括：用于求出与所述参照图像对应的参照三维物体模型的单元，其中所述参照图像与所述输入图像类似；基于所述参照三维物体模型，通过转换所述输入图像与所述参照图像的双方或任一方来使所述输入图像与所述参照图像的输入条件一致的转换单元；和通过将所述输入条件一致的所述输入图像与所述参照图像进行匹配来检索与所述输入图像对应的所述参照图像的单元。
在上述图像匹配系统中，所述转换单元也可以预先转换所述参照图像，并使所述输入图像的输入条件与所述参照图像的输入条件一致。
上述图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将新的参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中。
在上述图像匹配系统中，也可以是：所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在上述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
上述记载的图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；参照三维物体模型存储部，用于存储与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型；第二图像生成单元，通过所述参照三维物体模型存储部获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，关于各参照三维物体模型生成输入条件与输入图像接近的、至少一个第二比较图像；和第二图像匹配单元，用于计算所述输入图像与通过所述第二图像生成单元所生成的各第二比较图像之间的类似度，并关于与各参照三维物体模型对应的第二比较图像选出最大类似度，并将该最大类似度作为所述输入图像与参照三维物体模型之间的类似度。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在上述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
上述图像匹配系统也可以包括：图像输入单元，用于输入所述输入图像；代表三维物体模型存储部，用于存储多个所述代表三维物体模型；图像生成单元，用来基于所述代表三维物体模型存储部中所存储的多个所述代表三维物体模型，关于各代表三维物体模型生成输入条件与所述输入图像接近的、至少一个比较图像；图像匹配单元，用于计算所述输入图像与通过所述图像生成单元所生成的各比较图像之间的类似度，并关于与各代表三维物体模型对应的比较图像选出最大类似度，并将该最大类似度作为所述输入图像与代表三维物体模型之间的类似度；参照图像存储部，用于存储各物体的所述参照图像；参照图像匹配结果存储部，用于存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；结果匹配单元，基于通过所述图像匹配单元计算的所述输入图像与各代表三维物体模型之间的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的类似度，提取与所述输入图像类似的所述参照图像；参照三维物体模型存储部，用于存储与所述参照图像存储部中所存储的各参照图像对应的参照三维物体模型；图像转换单元，通过所述参照三维物体模型存储部获得与通过所述结果匹配单元提取的各参照图像对应的各参照三维物体模型，并基于所获得的各参照三维物体模型，通过转换所述输入图像与通过所述结果匹配单元提取的所述参照图像的双方或任一方来使所述输入图像与通过所述结果匹配单元提取的所述参照图像的输入条件一致，并分别生成输入条件一致的所述输入图像与所述参照图像的部分图像；部分图像匹配单元，用于计算通过所述图像转换单元生成的所述输入图像的部分图像与所述参照图像的部分图像之间的类似度。
上述图像匹配系统还可以包括：三维物体模型注册单元，用于将各代表三维物体模型注册到所述代表三维物体模型存储部中；参照图像注册单元，用于将各参照图像注册到所述参照图像存储部中；参照图像匹配结果更新单元，用于在通过所述三维物体模型注册单元将新的代表三维物体模型注册到所述代表三维物体模型存储部中时，或者，在通过所述参照图像注册单元将参照图像注册到所述参照图像存储部中时，对于通过注册而新产生的参照图像与代表三维物体模型的组合，通过所述图像匹配单元进行所述类似度的计算，并将该计算结果添加到所述参照图像匹配结果存储部中；三维物体模型生成单元，用于在通过所述参照图像匹配结果更新单元将所述参照图像与所述代表三维物体模型之间的类似度注册到参照图像匹配结果存储部中时，基于该类似度，通过合成所述代表三维物体模型存储部中所存储的所述代表三维物体模型来生成与该参照图像对应的所述参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，也可以是：所述三维物体模型生成单元基于所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的每个部分区域的类似度，通过按每个部分区域合成所述代表三维物体模型存储部中所存储的代表三维物体模型来生成与各参照图像对应的参照三维物体模型，并将所生成的参照三维物体模型注册到所述参照三维物体模型存储部中。
在上述图像匹配系统中，所述图像匹配单元按每个部分区域计算所述输入图像与代表三维物体模型之间的类似度；所述参照图像匹配结果存储部按每个部分区域存储所述参照图像存储部中所存储的各参照图像与所述代表三维物体模型存储部中所存储的各代表三维物体模型之间的类似度；所述结果匹配单元基于通过所述图像匹配单元计算出的所述输入图像与各代表三维物体模型之间的每个部分区域的类似度，和所述参照图像匹配结果存储部中所存储的各参照图像与各代表三维物体模型之间的每个部分区域的类似度，提取与所述输入图像类似的所述参照图像。
在所述图像匹配系统中，也可以是：所述结果匹配单元对所述输入图像与各代表三维物体模型之间的类似度，和各参照图像与各代表三维物体模型之间的类似度之间的类似度进行计算，并在该计算中，基于所述输入图像及各比较图像与各代表三维物体模型之间的类似度的候补顺序给各类似度加权。
在上述图像匹配系统中，所述物体也可以是人的脸。
根据本发明可以达成如下所述效果。
第一效果是，即使在参照图像是每个物体存在一个甚至只有少数存在时，也可以针对在姿势、照明条件等不同的输入条件下拍摄的物体的输入图像，检索同一物体的参照图像。此外，不进行转换输入图像或参照图像，以使得姿势吻合这一处理，就可以利用很少的三维物体模型的参照图像进行匹配，并且即使未必存在各图像共同的区域也可以进行匹配。此外，即使对于所有物体未必生成某一预定数量的三维物体模型也可以进行图像的匹配。
其理由是，因为采用了通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较，从而可以检索参照图像的结构。此外，还因为采用了通过代表三维物体模型的合成来生成参照三维物体模型并匹配的结构。
第二效果是可以从输入图像来高速地检索参照图像。
其理由是，因为采用了通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构。此外，还因为采用了在进行与参照三维物体模型的匹配时，在通过代表三维物体模型提取了类似性高的参照图像之后，对上位候补进行与参照三维物体模型的匹配的结构。
【附图说明】
图1是表示本发明第一实施方式的图像匹配系统的结构的框图；
图2是表示第一实施方式中匹配时的动作的流程图；
图3是第一实施方式中代表三维物体模型的具体例子的示意图；
图4是第一实施方式中参照图像的具体例子的示意图；
图5是第一实施方式中参照图像匹配结果的具体例子的示意图；
图6是第一实施方式中输入图像的具体例子的示意图；
图7是第一实施方式中输入图像匹配结果的具体例子的示意图；
图8是第一实施方式中结果匹配的具体例子的示意图；
图9是表示本发明第二实施方式的图像匹配系统的结构的框图；
图10是表示第二实施方式中三维物体模型注册时的动作的流程图；
图11是表示第二实施方式中参照图像注册时的动作的流程图；
图12是第二实施方式中所注册的三维物体模型的匹配结果的具体例子的示意图；
图13是第二实施方式中参照图像匹配结果的更新的具体例子的示意图；
图14是第二实施方式中所注册的参照图像的匹配结果的具体例子的示意图；
图15是第二实施方式中参照图像匹配结果的更新的具体例子的示意图；
图16是表示本发明第三实施方式中的图像匹配系统的结构的框图；
图17是表示第三实施方式的匹配时的动作的流程图；
图18是第三实施方式的参照三维物体模型的具体例子的示意图；
图19是第三实施方式的参照图像匹配结果的具体例子的示意图；
图20是表示本发明第四实施方式的图像匹配系统的结构的框图；
图21是表示第四实施方式中三维物体模型注册时的动作的流程图；
图22是表示第四实施方式中参照图像注册时的动作的流程图；
图23是表示本发明第五实施方式的图像匹配系统的结构的框图；
图24是表示第五实施方式的匹配时的动作的流程图；
图25是表示本发明第六实施方式的图像匹配系统的结构的框图；
图26是表示第一现有技术的图像匹配系统的结构的框图；
图27是三维物体模型的坐标的具体例子的示意图；
图28是表示第二现有技术的图像匹配系统的结构的框图；
图29是第二现有技术的部分区域的具体例子的示意图。
【具体实施方式】
以下，参照附图详细说明本发明的实施方式。
参照图1，本发明第一实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、代表三维物体模型存储部20和参照图像匹配结果存储部50。
代表三维物体模型存储部20中注册有代表性的三维物体模型(物体的三维形状和物体表面的纹理(texture))。关于三维物体模型，例如可以通过使用日本专利文献特开2001-12925号公报记载的三维形状测定装置来生成，或是使用日本专利文献特开平9-91436号公报记载的从通过多个照相机所拍摄的多个图像复原三维形状的装置来生成。
如图27所示，三维物体模型包括物体表面的三维空间(x，y，z)内的形状PQ(x，y，z)和纹理TQ(R，G，B)的信息。Q表示物体表面上的点的位标(index)，对应于将物体表面上的点从重心向以物体的重心为中心的球体投影的点Q(s，t)的坐标。为了匹配，预先使用各三维物体模型，通过计算机制图生成基于各种照明条件的学习用CG图像，并通过对该学习用CG图像进行主成份分析而求得基底图像组。
图像生成部30基于通过代表三维物体模型存储部20所得到的代表三维物体模型，假定姿势条件并生成多个与通过图像输入部10所得到的输入图像照明条件接近的比较图像。此处，生成与输入图像照明条件接近的比较图像是通过以下实现的：基于假定了的姿势条件对预先求得的基底图像组进行坐标变换，并通过最小二乘法求得线性和的系数，使得该进行了坐标变换的基底图像的线性和接近该输入图像。
关于从该三维物体模型生成接近输入图像的比较图像的技术，例如，在2001年电子信息通信学会技术研究报告Vol.101 No.524 PRMU2001-153～175、59页～64页“通过照明条件与姿势两者的自动校正而进行的脸部匹配”中有记载。
图像匹配部40对通过图像输入部10所得到的输入图像与通过图像生成部30所得到的各比较图像进行比较，并计算输入图像与各比较图像之间的类似度，从而通过选出各物体中类似度最大的比较图像来推定姿势。
将作为存储参照图像的数据库(DB)的参照图像存储部70的各参照图像作为输入图像，并通过图像生成部30及图像匹配部40对代表三维物体模型存储部20的各代表三维物体模型与各参照图像进行匹配，其结果预存在参照图像匹配结果存储部50中。
结果匹配部60将通过图像生成部30及图像匹配部40对利用图像输入部10所得到的输入图像进行匹配的结果与参照图像匹配结果存储部50中的各参照图像的匹配结果进行比较，并按类似度从高到低的顺序提取匹配结果类似的参照图像。结果显示部80将该类似度最大的物体作为匹配结果加以显示。
参照图像存储部70中注册有作为检索对象的物体的二位图像，即参照图像。该参照图像不受包括其照明、姿势在内的输入条件的限制，对于一个物体(检索对象)至少注册一个图像。
代表三维物体模型存储部20中存储有代表性的多个代表三维物体模型。
下面，参照图1和图2的流程图对第一实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，首先通过图像输入部10获得输入图像(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型，生成姿势、照明等输入条件与输入图像接近的，即易于进行比较的比较图像(步骤101)。
进一步，图像匹配部40求出该输入图像与该各比较图像的类似度(步骤102)。结果匹配部60计算该匹配结果与参照图像匹配结果存储部50中的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像(步骤103)。最后，显示类似度高的该参照图像(步骤104)。
接着，对如上所述构成并工作的第一实施方式的效果进行说明。
在第一实施方式中，由于被构成通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较来检索参照图像，所以即使在参照图像是每个物体存在一个甚至只有少数存在时，也可以对不同姿势、照明条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，进一步地，由于采用通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构，所以可以高速检索。因为匹配结果的类似度计算所耗时间比图像匹配短，所以检索时间依赖于图像匹配的数量。例如，代表三维物体模型的数量N相对于物体数量(参照图像数量)M是N＝M/100时，若在图像生成部30中所生成的各代表三维物体模型的比较图像是L个，则以L×N＝L×M/100次的图像匹配来完成，从而能够以以往的1/100的匹配次数进行检索。
此外，利用表示具体实施例的图3～图8来说明第一实施方式的动作。
如图3所示，代表三维物体模型存储部20中存储有N个代表性的代表三维物体模型Cj(j＝1，2，…，N)。此外，如图4所示，参照图像存储部70中存储有M个各物体的参照图像Ri(i＝1，2，…，M)(每个物体都存在多个参照图像也没问题，此处以1个来说明)。
此外，如图5所示，参照图像匹配结果存储部50通过参照图像注册时的处理，存储有各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij(在图5中是以类似度从高到低的顺序显示的，但是实际上按模型的顺序存储也可以)。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型Cj(j＝1，2，…，N)，生成L个接近输入图像的姿势、照明等输入条件的比较图像Gjk(u，v)(j＝1，…，N、k＝1，…，L)(步骤101)。
此外，图像匹配部40求得该输入图像I(u，v)与该各比较图像Gjk(u，v)的类似度S(I，Gjk)，并按每个代表三维物体模型求出类似度最大的类似度S0j＝maxkS(I，Gjk)(步骤102)。匹配结果(类似度)S0j例如图7所示。
结果匹配部60计算该匹配结果S0j与参照图像匹配结果存储部50中的各参照图像的匹配结果Sij的类似度Di＝D(S0j，Sij)，并按顺序提取该匹配结果的类似度Di高的参照图像(步骤103)。提取结果例如如图8所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求得R1、R5、R2。最后，显示类似度高的该参照图像(步骤104)。
此处，作为匹配结果的类似度Di(S0j，Sij)的计算方法，可以利用规范化函数、秩相关等。所谓秩相关，是匹配结果的候补顺序的相关。若输入图像的匹配结果S0j的候补顺序为A0j，则图7的匹配结果为A0，2＝1，A0，6＝2，A0，3＝3。若各参照图像的匹配结果Sij的候补顺序为Aij，则例如斯皮尔曼秩相关通过1-6∑j(A0j-Aij)2/{N(N2-1)}求得。
此外，在类似度计算中，对各变量(S0j、Sij、或A0j、Aij)进行变量转换之后再计算类似度也可以。此外，使用基于候补顺序A0j，Aij的任何一个或两个的权g(A0j，Aij)给各变量加权，再计算类似度也可以。例如，令g(A0j，Aij)＝1/(A0j+Aij)，并将类似度S0j，Sij转换成S0j/(A0j+Aij)，Sij/(A0j+Aij)，则上位候补的比重增高。进而，除下位候补外，也可进行类似度计算。
参照图9以下对本发明第二实施方式的图像匹配系统进行说明。
本发明第二实施方式的图像匹配系统包括图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50和参照图像匹配结果更新部55，在第一实施方式的结构中增加了参照图像注册部75、三维物体模型注册部25和参照图像匹配结果更新部55。
对于第二实施方式的图像匹配系统与第一实施方式相同的结构要素，省略说明，对在本实施方式中增加的结构要素进行说明。
三维物体模型注册部25将新的代表三维物体模型(物体的三维形状和物体表面的构造)注册到代表三维物体模型存储部20中。
参照图像匹配结果更新部55，在注册时，在通过三维物体模型注册部25将代表三维物体模型注册到代表三维物体模型存储部20中时，以及通过参照图像注册部75将参照图像注册到参照图像存储部70中时，通过图像生成部30及图像匹配部40对新的参照图像与代表三维物体模型的组合进行匹配，并将该匹配结果添加到参照图像匹配结果存储部50中。
参照图像注册部75相对于参照图像存储部70注册作为检索对象的物体的二维图像，即参照图像。该注册的参照图像不受包括其照明、姿势在内的输入条件的限制，对于一个物体(检索对象)至少注册一个图像。
此外，三维物体模型注册部25与图28所示的第二现有技术中的三维物体模型注册部25相同，代表三维物体模型存储部20中存储有预先通过三维物体模型注册部25得到的代表三维物体模型。
接着，参照图9、图2、图10、图11的流程图对第二实施方式的全体动作进行详细说明。
关于进行输入图像的匹配时的动作，与第一实施方式的图2所示的动作完全相同。
在进行输入图像的匹配时，首先通过图像输入部10获得输入图像(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型，生成姿势、照明等输入条件与输入图像接近的，即易于进行比较的比较图像(步骤101)。
进一步，图像匹配部40求出该输入图像与该各比较图像的类似度(步骤102)。结果匹配部60计算该匹配结果与参照图像匹配结果存储部50中的各参照图像的匹配结果的类似度，并按类似度从高到低的顺序提取匹配结果类似的参照图像(步骤103)。最后，显示类似度高的该参照图像(步骤104)。
此处，对代表三维物体模型注册时和参照图像注册时的动作进行说明。
在代表三维物体模型(物体的三维形状和物体表面的纹理)注册时，首先，三维物体模型注册部25将新的代表三维物体模型注册到代表三维物体模型存储部20中(图10的步骤200)。
接着，参照图像匹配结果更新部55将参照图像存储部70中的各参照图像作为输入图像送到图像输入部10，并在图像匹配部40对该各参照图像与基于所注册的该代表三维物体模型并通过图像生成部30而生成的比较图像进行匹配，求出各类似度(步骤201)。最后，将该匹配结果添加到参照图像匹配结果存储部50中的各参照图像的匹配结果中(步骤202)。
在参照图像注册时，首先，参照图像注册部75将新的参照图像注册到参照图像存储部70中(图11的步骤210)。
接着，参照图像匹配结果更新部55将参照图像存储部70中所注册的该参照图像作为输入图像送到图像输入部10，并通过图像匹配部40对该参照图像与基于代表三维物体模型存储部20中的代表三维物体模型并通过图像生成部30而生成的比较图像进行匹配，求出各类似度(步骤211)。最后，将该匹配结果添加到参照图像匹配结果存储部50中(步骤212)。
接着，对如上所述构成并工作的第二实施方式的效果进行说明。
在第二实施方式中，由于是通过对输入图像与代表三维物体模型的匹配结果和参照图像与代表三维物体模型的匹配结果进行比较来检索参照图像，所以即使在参照图像是每个物体存在一个甚至只有少数存在时，也可以对不同姿势、照明条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，进一步地，由于采用通过与比物体数量少的代表三维物体模型的匹配以及匹配结果的类似度计算来进行图像匹配的结构，所以可以高速地进行检索。因为匹配结果的类似度计算所耗时间比图像匹配短，所以检索时间依赖于图像匹配的数量。例如，代表三维物体模型的数量N相对于物体数量(参照图像数量)M是N＝M/100时，若在图像生成部30中所生成的各代表三维物体模型的比较图像是L个，则以L×N＝L×M/100次的图像匹配来完成，从而能够以以往的1/100的匹配次数进行检索。
此外，利用具体的实施例来说明第二实施方式的动作。
这里，与第一实施方式一样，如图3所示，代表三维物体模型存储部20中存储有N个代表性的代表三维物体模型Cj(j＝1，2，…，N)，如图4所示，参照图像存储部70中存储有M个各物体的参照图像Ri(i＝1，2，…，M)。如图5所示，参照图像匹配结果存储部50通过参照图像注册时的处理，存储有各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图2的步骤100)。接着，图像生成部30对于代表三维物体模型存储部20中的各代表三维物体模型Cj(j＝1，2，…，N)，生成L个接近输入图像的姿势、照明等输入条件的比较图像Gjk(u，v)(j＝1，…，N、k＝1，…，L)(步骤101)。
此外，图像匹配部40求得该输入图像I(u，v)与该各比较图像Gjk(u，v)的类似度S(I，Gjk)，并按每个代表三维物体模型求出类似度最大的类似度S0j＝maxkS(I，Gjk)(步骤102)。匹配结果(类似度)S0j例如如图7所示。
结果匹配部60计算该匹配结果S0j与参照图像匹配结果存储部50中的各参照图像的匹配结果Sij的类似度Di＝D(S0j，Sij)，并依次提取该匹配结果的类似度Di高的参照图像(步骤103)。提取结果例如如图8所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求得R1、R5、R2。最后，显示类似度高的该参照图像(步骤104)。
在代表三维物体模型注册时，首先，在代表三维物体模型存储部20中已注册有N＝50个代表三维物体模型时，三维物体模型注册部25注册第51个新的代表三维物体模型C51。(图10的步骤200)。
接着，参照图像匹配结果更新部55将参照图像存储部70中的各参照图像Ri作为输入图像送到图像输入部10，并通过图像生成部30及图像匹配部40对该各参照图像Ri与所注册的该代表三维物体模型C51进行匹配，求出各类似度Si，51＝maxkS(Ri，G51，k)(步骤201)。
匹配结果(类似度)Si，51例如如图12所示。最后，如图13所示，将该匹配结果添加到参照图像匹配结果存储部50中的各参照图像的匹配结果中(步骤202)。
在参照图像注册时，首先，在参照图像存储部70中已存储有M＝100个的参照图像时，参照图像注册部75注册第101个新的参照图像R101(图11的步骤210)。
接着，参照图像匹配结果更新部55将参照图像存储部70中所注册的该参照图像R101作为输入图像发送到图像输入部10，并通过图像生成部30及图像匹配部40对该参照图像R101与代表三维物体模型存储部20中的各代表三维物体模型Cj进行匹配，求出各类似度S101，j＝maxkS(R101，Gjk)(步骤211)。
匹配结果(类似度)S101，j例如如图14所示。最后，如图15所示，将该匹配结果添加到参照图像匹配结果存储部50中(步骤212)。
接着，参照图16及其以下附图对本发明第三实施方式的图像匹配系统进行详细说明。
参照图16，本发明第三实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、第二图像生成部31、第二图像匹配部41、结果显示部80、参照图像存储部70、代表三维物体模型存储部20、参照图像匹配结果存储部50和参照三维物体模型存储部21。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70和代表三维物体模型存储部20进行与图1所示的本发明第一实施方式中的处理相同的处理。
参照三维物体模型存储部21中注册有与该参照图像对应的参照三维物体模型。该参照三维物体模型可以基于参照图像匹配结果存储部50中所注册的参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成。或者，与上述代表三维物体模型的注册一样，通过三维形状测定装置，在生成与参照图像相同物体的三维物体模型时，使用该三维物体模型也可以。
第二图像生成部31对于通过结果匹配部60所得到匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等的输入条件接近通过图像输入部10所得到的输入图像的比较图像。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度。
接着，参照图16和图17的流程图对第三实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图17，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。
第二图像生成部31对于通过结果匹配部60所得到的匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等的输入条件接近通过图像输入部10所得到的输入图像的比较图像(步骤111)。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度(步骤112)。最后，显示类似度高的该参照图像(步骤104)。
接着，对如上述那样构成并工作的第三实施方式的效果进行说明。
在本第三实施方式中，由于对通过代表三维物体模型的合成而生成的参照三维物体模型进行匹配，所以即使在参照图像是每个物体只存在一个时，也可以通过参照三维物体模型对不同姿势、照明条件等的输入条件下拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，还由于在通过代表三维物体模型提取类似性高的参照图像后，对上位候补进行与参照三维物体模型的匹配，所以，可以高速检索参照图像。
接着，利用具体的实施例来说明第三实施方式的动作。
与第一实施方式的动作一样，代表三维物体模型存储部20中存储有图3所示的代表三维物体模型Cj(j＝1，2，…，N)；参照图像存储部70中存储有图4所示的各物体的参照图像Ri(i＝1，2，…，M)；参照图像匹配结果存储部50中存储有图5所示的各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
进一步，如图18所示，参照三维物体模型存储部21中存储有M个与该参照图像Ri对应的参照三维物体模型Bi(i＝1，2，…，M)。
在输入图像匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图16的步骤100)。通过与第一实施方式的动作相同的处理，通过图像生成部30、图像匹配部40、结果匹配部60和结果匹配部60，作为与输入图像是同一物体的图像的可能性高的参照图像，如图8所示，依次求得R1、R5、R2(步骤101、102、103)。
第二图像生成部31从通过结果匹配部60得到的匹配结果中，取得通过参照三维物体模型存储部21而与作为例如上位3候补的R1、R5、R2的参照图像对应的各参照三维物体模型B1、B5、B2，并生成姿势、照明条件与通过图像输入部10所得到的输入图像接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)(步骤111)。比较图像Hjk(u，v)的生成通过与步骤S101同样的方法来进行。即，对于参照三维物体模型存储部21中的各参照三维物体模型Bj(j＝1，5，2)，生成L个与输入图像的姿势、照明等输入条件接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)。第二图像匹配部41求出该输入图像I(u，v)与该各比较图像Hjk(u，v)的类似度S(I，Hjk)，并按每个模型求出类似度最大的类似度S0j＝maxkS(I，Hjk)(步骤112)。
匹配结果例如如图19所示，作为与输入图像是同一物体的图像的可能性高的参照图像，当S05＞S01＞S02时，依次求出R5、R1、R2。最后，显示类似度高的该参照图像(步骤104)。
接着，参照图20及其以下的附图对本发明的第四实施方式的图像匹配系统进行详细说明。
参照图20，本发明第四实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、第二图像生成部31、第二图像匹配部41、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50、参照图像匹配结果更新部55、参照三维物体模型存储部21和三维物体模型生成部27。
对于本第四实施方式来说，是在第三实施方式中增加了参照图像注册部75、三维物体模型注册部25、参照图像匹配结果更新部55和三维物体模型生成部27而构成的。
对于第四实施方式的图像匹配系统的与第三实施方式相同的结构要素，省略其说明，对在本实施方式中增加的结构要素进行说明。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25和参照图像匹配结果更新部55进行与图1所示的本发明第一实施方式和图9所示的第二实施方式中的处理相同的处理。
此外，对于参照三维物体模型存储部21、第二图像生成部31、第二图像匹配部41来说，进行与图16所示的第三实施方式中的处理相同的处理。
三维物体模型生成部27在注册时，在通过参照图像匹配结果更新部55将参照图像匹配结果注册到参照图像匹配结果存储部50中时，基于参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成与该参照图像对应的参照三维物体模型，并将该参照三维物体模型注册到参照三维物体模型存储部21中，或将参照三维物体模型存储部21的参照三维物体模型更新。
第二图像生成部31对于通过结果匹配部60所得到的匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等输入条件与通过图像输入部10所得到的输入图像接近的比较图像。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度。
接着，参照图20、图17、图21和图22的流程图对第四实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图17，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。
第二图像生成部31对于通过结果匹配部60所得到匹配结果的上位候补的参照图像，基于通过参照三维物体模型存储部21所得到的与该参照图像对应的各参照三维物体模型，生成姿势、照明条件等输入条件与通过图像输入部10所得到的输入图像接近的比较图像(步骤111)。
第二图像匹配部41将通过图像输入部10得到的输入图像与通过第二图像生成部31得到的各比较图像进行比较，并分别计算类似度(步骤112)。最后，显示类似度高的该参照图像(步骤104)。
在三维物体模型注册时，参照图21，首先，步骤200、201、202与图10所示的第二实施方式中的动作相同。最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的各参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来再次生成与各参照图像对应的参照三维物体模型，并将该参照三维物体模型注册到参照三维物体模型存储部21中，或与所存储的参照三维物体模型置换(步骤220)。
在参照图像注册时，参照图22，首先，步骤210、211、212与图11所示的第二实施方式中的动作相同。最后，三维物体模型生成部27基于参照图像匹配结果存储部50中新注册的该参照图像匹配结果的信息，通过代表三维物体模型存储部20中的代表三维物体模型的合成来生成与该参照图像对应的参照三维物体模型，并将该参照三维物体模型添加注册到参照三维物体模型存储部21中(步骤221)。
接着，对如上述那样构成并工作的第四实施方式的效果进行说明。
在本第四实施方式中，由于通过代表三维物体模型的合成而生成参照三维物体模型并进行匹配，所以即使在参照图像是每个物体只存在一个时，也可以通过参照三维物体模型对在姿势、照明条件等输入条件不同的条件下所拍摄的物体的输入图像检索参照图像。
此外，在本实施方式中，还由于在通过代表三维物体模型提取类似性高的参照图像后，对上位候补进行与参照三维物体模型的匹配，所以，可以高速检索参照图像。
接着，利用具体的实施例来说明第四实施方式的动作。
与第一实施方式的动作一样，代表三维物体模型存储部20中存储有图3所示的代表三维物体模型Cj(j＝1，2，…，N)；参照图像存储部70中存储有图4所示的各物体的参照图像Ri(i＝1，2，…，M)；参照图像匹配结果存储部50中存储有图5所示的各参照图像Ri相对于代表三维物体模型Cj的匹配结果(类似度)Sij。
进一步，如图18所示，参照三维物体模型存储部21中，通过参照图像注册时的处理，存储有M个与该参照图像Ri对应的参照三维物体模型Bi(i＝1，2，…，M)。
在进行输入图像的匹配时，通过图像输入部10获得图6所示的输入图像I(u，v)(图16的步骤100)。通过与第一实施方式的动作相同的处理，通过图像生成部30、图像匹配部40、结果匹配部60和结果匹配部60，作为与输入图像是同一物体的图像的可能性高的参照图像，如图8所示，依次求得R1、R5、R2(步骤101、102、103)。
第二图像生成部31从通过结果匹配部60得到的匹配结果中，取得通过参照三维物体模型存储部21而与作为例如上位3候补的R1、R5、R2的参照图像对应的各参照三维物体模型B1、B5、B2，并生成姿势、照明条件与通过图像输入部10所得到的输入图像接近的比较图像Hjk(u，v)(j＝1，5，2、k＝1，…，L)(步骤111)。第二图像匹配部41求出该输入图像I(u，v)与该各比较图像Hjk(u，v)的类似度S(I，Hjk)，并求出每个模型的作为最大类似度的类似度S0j＝maxkS(I，Hjk)(步骤112)。
匹配结果例如如图19所示，作为与输入图像是同一物体的图像的可能性高的参照图像，依次求出R5、R1、R2。最后，显示类似度高的该参照图像(步骤104)。
在三维物体模型注册时，首先，当代表三维物体模型存储部20中已注册有N＝50个三维物体模型时，三维物体模型注册部25注册第51个新的代表三维物体模型C51。(图21的步骤200)。
接着，通过与第二实施方式的动作相同的处理，参照图像匹配结果更新部55更新参照图像匹配结果存储部50中的各参照图像的匹配结果Sij(步骤201、202)。
最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的各参照图像匹配结果Sij的信息，通过代表三维物体模型存储部20中的代表三维物体模型Cj的合成来再次生成与各参照图像Ri(i＝1，2，…，M)对应的参照三维物体模型Bi，并将该参照三维物体模型Bi与参照三维物体模型存储部21中已存储的参照三维物体模型置换(步骤220)。
此处，令代表三维物体模型Cj(i＝1，2，…，N)的形状和纹理分别为PQj(x，y，z)和纹理TQj(R，G，B)，令参照三维物体模型Bi(i＝1，2，…，M)的形状和纹理分别为PQi(x，y，z)和纹理TQi(R，G，B)，则参照三维物体模型例如可通过下式计算。
PQi(x，y，z)＝∑jf(Sij)PQj(x，y，z)
TQi(R，G，B)＝∑jf(Sij)TQj(R，G，B)
此处，f相对于Sij的增加而单调增加，并通过满足∑jf(Sij)＝1的函数，作为最简单的例子通过f(Sij)＝Sij/∑jSij来实现。
在参照图像注册时，首先，当在参照图像存储部70中已存储有M＝100个参照图像时，参照图像注册部75注册第101个新的参照图像R101(图22的步骤210)。
接着，通过与第二实施方式的动作相同的处理，参照图像匹配结果更新部55将与参照图像R101对应的参照结果S101，j添加到参照图像匹配结果存储部50中(步骤211、212)。
最后，三维物体模型生成部27基于参照图像匹配结果存储部50中的该参照图像匹配结果S101，j的信息，通过代表三维物体模型存储部20中的代表三维物体模型Cj的合成来生成与参照图像R101对应的参照三维物体模型B101，并将该参照三维物体模型B101添加到参照三维物体模型存储部21中(步骤221)。
接着，参照图23及其以下附图对本发明第五实施方式的图像匹配系统进行详细说明。
参照图23，本发明第五实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、图像转换部36、部分图像匹配部45、结果显示部80、参照图像存储部70、代表三维物体模型存储部20、参照图像匹配结果存储部50和参照三维物体模型存储部21。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20进行与图1所示的本发明第一实施方式中的处理相同的处理。
图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同。图像转换部36与图28所示的第二现有技术的图像转换部35是相同的。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度。类似度的计算与上述步骤S102相同地进行。
接着，参照图23及图24的流程图对第五实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图24，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同(步骤121)。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度(步骤122)。最后，显示类似度高的该参照图像(步骤104)。
在本发明第五实施方式中，在图像转换部36中，转换输入图像与参照图像双方或任一方，但是，也可以将参照图像预先转换为标准的输入条件(例如姿势条件)并存储，再在图像转换部36中将输入图像转换为标准的输入条件(例如姿势条件)。这样，无需根据匹配的度转换参照图像，从而可以使匹配时间缩短。
接着，参照图25对本发明第六实施方式的图像匹配系统进行详细的说明。
参照图25，本发明第六实施方式的图像匹配系统包括：图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、图像转换部36、部分图像匹配部45、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25、参照图像匹配结果存储部50、参照图像匹配结果更新部55、参照三维物体模型存储部21和三维物体模型生成部27。
这些部分分别大致如下工作。图像输入部10、图像生成部30、图像匹配部40、结果匹配部60、结果显示部80、参照图像存储部70、参照图像注册部75、代表三维物体模型存储部20、三维物体模型注册部25和参照图像匹配结果更新部55进行与图1所示的本发明第一实施方式和图9所示的第二实施方式中的处理相同的处理。
此外，参照三维物体模型存储部21、三维物体模型生成部27进行与图16所示的第三实施方式和图20所示的第四实施方式中的处理相同的处理。
图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同。部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度。
接着，参照图25及图24的流程图对第六实施方式的全体动作进行详细说明。
在进行输入图像的匹配时，参照图24，首先，步骤100、101、102和103与图2所示的第一实施方式中的动作相同。图像转换部36对于通过结果匹配部60得到的匹配结果的上位候补的参照图像，基于与通过参照三维物体模型存储部21得到的该参照图像对应的各参照三维物体模型，通过转换该输入图像与该参照图像双方或其中任一方来生成部分图像，以使得输入条件(例如姿势条件)相同(步骤121)。
部分图像匹配部45将通过所述图像转换部36得到的被转换了的输入图像与参照图像的部分图像进行比较，并分别计算类似度(步骤122)。最后，显示类似度高的该参照图像(步骤104)。
在本发明第六实施方式中，在图像转换部36中，转换输入图像与参照图像双方或任一方，但是，也可以将参照图像预先转换为标准的输入条件(例如姿势条件)并存储，再在图像转换部36中将输入图像转换为标准的输入条件(例如姿势条件)。
在本发明的第一至第六实施方式中，当在图像匹配部40中求得输入图像I(u，v)与各比较图像Gjk(u，v)的类似度S(I，Gjk)时，在全体中求一个类似度S(I，Gjk)，但是也可以按每个部分区域m求出类似度S(I，G’jkm)，按每个模型求出作为最大类似度的类似度S’0jm＝maxkS(I，G’jkm)。
部分区域例如是图29所示的区域。此时，在参照图像匹配结果存储部50中也存储有每个部分区域m的类似度S’ijm＝maxkS(Ri，G’jkm)。结果匹配部60计算该匹配结果S’0jm与参照图像匹配结果存储部50中的各参照图像的匹配结果S’ijm的类似度Di＝∑mD(S’0jm，S’ijm)，并依次提取该匹配结果的类似度Di高的参照图像。此外，在第四实施方式及第六实施方式中的三维物体模型生成部27中，也可以在每个部分区域中合成代表三维物体模型。
此外，在本发明的第一至第六实施方式中，对从很多的参照图像中检索与输入图像相同的物体的图像的动作进行了说明，但是，也可应用于对特定的参照图像判断是否是与输入图像相同的物体的一对一匹配。
在第一、第二实施方式中，例如特定的参照图像为R1，则结果匹配部60计算输入图像的匹配结果S0j与参照图像R1的匹配结果S1j的类似度D1＝D(S0j，S1j)，并且若该类似度D1比某一阈值大，则可以判定R1是与输入图像相同的物体。此外，在第三、第四及第五、第六实施方式中，可以判定特定的参照图像与第二图像匹配部41及部分图像匹配部45中的输入图像的类似度是否大于某一阈值。
本发明的图像匹配系统当然可以通过硬件来实现作为结构要素的各部分的功能，还可以通过计算机读入并运行图像匹配程序500来实现，其中所述图像匹配程序500是用于使计算机实现上述各部分的功能的。该图像匹配程序500被存储在磁盘、半导体存储器及其他记录介质中，并且计算机从该记录介质中读入图像匹配程序500。
工业上的可利用性
本发明可用于使用了脸部等的图像的人物确定、个人认证等。