图像处理装置及方法.pdf

上传人:大师****2 文档编号:1302138 上传时间:2018-04-14 格式:PDF 页数:24 大小:1.46MB
返回 下载 相关 举报
摘要
申请专利号:

CN201510886288.1

申请日:

2015.12.04

公开号:

CN106844381A

公开日:

2017.06.13

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):G06F 17/30申请日:20151204|||公开

IPC分类号:

G06F17/30

主分类号:

G06F17/30

申请人:

富士通株式会社

发明人:

王淞; 范伟; 孙俊

地址:

日本神奈川县

优先权:

专利代理机构:

北京集佳知识产权代理有限公司 11227

代理人:

王萍;乔毅

PDF下载: PDF下载
内容摘要

提供了一种图像处理装置及方法。图像处理装置包括:提取单元,提取未分组图像的、表征未分组图像的局部特征的特征点;特征点匹配单元,将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并且基于匹配的特征点的数量,确定其他未分组图像中与输入未分组图像相匹配的图像,作为匹配图像集合;分组生成单元,在输入的未分组图像与其他未分组图像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于阈值数量的情况下,基于匹配图像集合来生成新的图像分组,其中分组特征点是位于图像标识区域的特征点。根据本发明实施例的方法和装置,可以自动、准确地对图像进行分组。

权利要求书

1.一种图像处理装置,包括:
提取单元,被配置成提取未分组图像的、表征未分组图像的局部特
征的特征点;
特征点匹配单元,被配置成将输入的未分组图像的特征点与其他未
分组图像的特征点匹配,并且基于匹配的特征点的数量,确定所述其他
未分组图像中与所述输入未分组图像相匹配的图像,作为匹配图像集合;
以及
分组生成单元,被配置成在所述输入的未分组图像与所述其他未分
组图像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组
特征点的数量大于等于阈值数量的情况下,基于所述匹配图像集合来生
成新的图像分组,其中分组特征点是位于所述图像的标识区域的特征点。
2.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
候选分组特征点确定单元,被配置成针对未分组图像的特征点中的
任何一个,当在所述匹配图像集合中,包含与所述特征点匹配的特征点
的图像的数量大于等于所述第一预定数量时,确定所述特征点为候选分
组特征点;
所述分组生成单元进一步被配置成当至少所述第一预定数量的所述
候选分组特征点与所述匹配图像集合中大于等于所述阈值数量的所述其
他未分组图像的相应的特征点匹配时,确定匹配的特征点中的分组特征
点的数量大于等于阈值数量。
3.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
生成分组特征点获取单元,被配置成获取图像分组的生成分组特征点,
其中,所述每个生成分组特征点与每个分组特征点相对应,以表征图像
分组的图像的共同特征。
4.根据权利要求1所述的图像处理装置,所述图像处理装置还包括:
分组匹配单元,被配置成基于未分组图像的特征点与已有的图像分组的
生成分组特征点匹配的数量,判定所述未分组图像是否属于所述已有的
图像分组。
5.根据权利要求1所述的图像处理装置,其中,所述特征点匹配单
元包括:
第一搜索模块,针对输入的未分组图像的特征点中的任何一个,所
述第一搜索模块被配置成在所述其他未分组图像的、与所述输入的未分
组图像的特征点所在位置相对应的区域处搜索是否存在特征点;以及
第一相似度计算模块,被配置成在所述相对应的区域处存在特征点
的情况下,计算所述输入的未分组图像的特征点与所述其他未分组图像
的所述特征点的相似度;并且在存在相似度大于阈值的特征点的情况下,
判定所述输入的未分组图像的特征点与所述其他未分组图像的所述特征
点匹配。
6.根据权利要求4所述的图像处理装置,其中,所述分组匹配单元
包括:
第二搜索模块,针对未分组图像的特征点中的任何一个,所述第二
搜索模块被配置成在已有分组图像的、与所述未分组图像的特征点的所
在位置相对应的区域处搜索是否存在生成分组特征点;以及
第二相似度计算模块,被配置成在所述相对应的区域处存在生成分
组特征点的情况下,计算所述未分组图像的特征点与所述已有的图像分
组的所述生成分组特征点的相似度;并且在存在相似度大于阈值的生成
分组特征点情况下,判定所述未分组图像的特征点与所述已有的图像分
组的所述生成分组特征点匹配。
7.根据权利要求5或6所述的图像处理装置,其中,通过计算特征
点的特征描述向量之间的欧氏距离来计算相似度。
8.根据权利要求1所述的图像处理装置,其中,所述图像处理装置
还包括:预处理单元,用于对图像进行归一化预处理,以便使进行匹配
处理的图像具有预定的标准尺寸。
9.一种信息处理设备,包括:
存储器,用于存储程序指令;以及
处理器,所述处理器被配置成执行所存储的指令以:
提取未分组图像的、表征未分组图像的局部特征的特征点;
将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并
且基于匹配的特征点的数量,确定所述其他未分组图像中与所述输入未
分组图像相匹配的图像,作为匹配图像集合;以及
在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等
于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于阈
值数量的情况下,基于所述匹配图像集合来生成新的图像分组,其中分
组特征点是位于所述图像的标识区域的特征点。
10.一种图像处理方法,包括:
提取未分组图像的、表征未分组图像的局部特征的特征点;
将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并
且基于匹配的特征点的数量,确定所述其他未分组图像中与所述输入未
分组图像相匹配的图像,作为匹配图像集合;以及
在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等
于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于阈
值数量的情况下,基于所述匹配图像集合来生成新的图像分组,其中分
组特征点是位于所述图像的标识区域的特征点。

说明书

图像处理装置及方法

技术领域

本发明涉及一种图像处理装置及方法,更具体地,涉及一种用于自
动地对图像进行分组的装置和方法。

背景技术

随着智能移动终端的普及,用户越来越习惯于借助于移动终端的拍
照来记录各种信息。例如,通过拍摄诸如报纸、期刊、水费单以及电费
单等来进行信息记录,并且用户可以在之后通过检索这些图像来获得所
需的信息。这种方式对用户来说十分方便。

通过对记录有各种信息的图像进行分组,可以大幅提高用户通过检
索图像获取所需的信息的效率。然而,与文字信息相比,图像信息对于
计算机来说是非常难以自动处理归类的。

发明内容

在鉴于现有技术的上述状况,本发明的目的之一在于提供一种图像
装置及方法以解决现有技术中的问题。

根据本发明的一方面,提供了一种图像处理装置,包括:提取单元,
被配置成提取未分组图像的、表征未分组图像的局部特征的特征点;特
征点匹配单元,被配置成将输入的未分组图像的特征点与其他未分组图
像的特征点匹配,并且基于匹配的特征点的数量,确定所述其他未分组
图像中与所述输入未分组图像相匹配的图像,作为匹配图像集合;以及
分组生成单元,被配置成在所述输入的未分组图像与所述其他未分组图
像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组特征
点的数量大于等于阈值数量的情况下,基于所述匹配图像集合来生成新
的图像分组,其中分组特征点是位于所述图像的标识区域的特征点。

根据本发明的另一方面,还提供了一种图像处理方法,包括:提取
未分组图像的、表征未分组图像的局部特征的特征点;将输入的未分组
图像的特征点与其他未分组图像的特征点匹配,并且基于匹配的特征点
的数量,确定所述其他未分组图像中与所述输入未分组图像相匹配的图
像,作为匹配图像集合;以及在所述输入的未分组图像与所述其他未分
组图像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组
特征点的数量大于等于阈值数量的情况下,基于所述匹配图像集合来生
成新的图像分组,其中分组特征点是位于所述图像的标识区域的特征点。

根据本发明的其他方面,本发明的实施例还提供了计算机可读介质
形式的计算机程序产品,其上记录有用于实现上述方法的计算机程序代
码。

根据本发明实施例的方法和装置,可以基于输入的未分组图像的标
识区域与数据库中的未分组图像以及/或者已有图像分组的标识区域的匹
配程度,自动、准确地对图像进行分组。

通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这
些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理
解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相
似的部件,其中

图1是根据本发明一个实施例的图像处理装置10的结构框图;

图2是根据本发明另一实施例的图像处理装置20的结构框图;

图3是根据本发明又一实施例的图像处理装置30的结构框图;

图4A至图4D是根据本发明又一实施例的图像处理装置30对输入
的未分组图像进行分组操作的示意图;

图5A是根据本发明一个实施例的特征点匹配单元54的结构框图;

图5B是根据本发明一个实施的分组匹配单元53的结构框图;

图6是根据本发明一个实施例的进行特征点匹配/分组匹配的示意
图;

图7是根据本发明一个实施例的图像处理方法70的流程图;以及

图8是其中可以实现根据本发明的实施例的方法和/或装置的通用个
人计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种
实施例中描述的元素和特征可以与一个或更多个其他附图或实施例中示
出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省
略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和
描述。

本领域技术人员可以理解,本发明中的“第一”、“第二”等术语仅用
于区别不同单元、模块或步骤等,既不代表任何特定技术含义,也不表
示它们之间的必然逻辑顺序,也不体现其所限定的不同单元、模块或步
骤的重要性程度。

在各实施例中,仅着重描述那些与其他实施例不同的特征,而省略
了与其他实施例相同或相近的特征。

本发明的发明人发现,通过对所获取的未分组图像的标识区域进行
匹配,可以自动地对图像进行分组。

对于诸如报纸、期刊、水费单、电费单等文档图像来说,这类图像
通常都在文档中相同或者类似位置具有相同或者非常相似的部分,例如,
报纸的标题,各种单据的标题等。这种相似例如可以是布局上的相似,
也可以是内容上的相似,例如,对于报纸“人民日报”来说,其都在页
面上方相同的区域具有相同的标题“人民日报”。在下文中,将这些相同
或者相似的部分称为标识区域。本发明可以通过对图像标识区域的匹配
来对不同的图像进行分组。

图1是根据本发明一个实施例的图像处理装置10的结构框图。如图
1所示,图像处理装置10,包括:提取单元12,被配置成提取未分组图
像的、表征未分组图像的局部特征的特征点;特征点匹配单元14,被配
置成将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并
且基于匹配的特征点的数量,确定所述其他未分组图像中与所述输入未
分组图像相匹配的图像,作为匹配图像集合;以及分组生成单元16,被
配置成在所述输入的未分组图像与所述其他未分组图像匹配的数量大于
等于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于
阈值数量的情况下,基于所述匹配图像集合来生成新的图像分组,其中
分组特征点是位于所述图像的标识区域的特征点。

提取单元12可以从未分组图像中提取表征该未分组图像的局部特征
的特征点。可以使用多种方法提取图像的特征点,诸如基于SIFT、SURF
和BRISK等。提取特征点的算法是已知技术,故在此不再赘述。

在提取单元12对未分组图像进行特征点提取之后,未分组图像实际
上可以被看作是特征点的集合。

特征点匹配单元14用于判定输入的未分组图像与其他未分组图像是
否匹配。特征点匹配单元14可以基于来自不同图像的特征点的相似度来
确定图像是否匹配,因此,未分组图像之间的匹配实际上是通过比较来
自不同图像的特征点之间的相似度而实现的。

通常,每个特征点都包含在图像上的位置和特征描述向量这两个属
性。因此,特征点之间的相似度的判定包括特征点位置的相似度判定以
及特征点特征描述向量的相似度判定。当两幅图之间匹配的特征点大于
等于预定数量时,则可以认为这两幅图像是相匹配的。本文中所使用的
判定特征点相似度的算法将在下文做进一步描述。

在数据库中,针对一幅输入的未分组图像,特征点匹配单元14可以
将该未分组图像与数据库中的其他未分组图像进行匹配判定,在该未分
组图像与数据库中的所有未分组图像都进行了匹配判定之后,可以获取
与该未分组图像匹配的所有图像的集合,即生成一个匹配图像集合。

假设针对一幅未分组图像,特征点匹配单元14共在数据库中发现n
(n为自然数)幅图像与该未分组图像匹配成功,分别为M1,M2,…,
Mn。通常,在生成新的图像分组的过程中,如果相匹配的图像大于等于
预定数量T(T为自然数)时,例如,T≥2时,则这些相匹配的图像很
有可能属于同一分组。换言之,如果要生成新的图像分组,匹配图像集
合中匹配的图像的数量n需要大于等于数量T,即n≥T。而如果匹配图
像集合中匹配的图像小于预定数量,例如,仅与数据库中的一幅图像匹
配,则无法生成新的图像分组。在这种情况下,输入的未分组图像将作
为未分组图像保存在数据库中。

如上所述,属于一个图像分组的不同图像之间通常都存在共同的相
似部分,即标识区域,例如,报刊的标题,各种单据的标题等。然而,
对于诸如报刊、单据等的文档图像来说,这类图像中除标识区域之外的
其他区域中相似的特征也较多。在这种情况下,即使图像之间匹配成功,
它们也可能属于不同的分组。例如,有可能出现如下情形:两幅图像尽
管在标识区域匹配的特征点较少,然而由于在其他区域中匹配的特征点
较多,两幅图像仍被认定是相匹配的图像,但实际上它们并不属于一个
图像分组。在这种情况下,如果仅以匹配的图像的数量作为是否生成新
的图像分组的条件,则有可能出现错误。

由于同一分组的图像通常都具有基本上相同的标识区域,因此理论
上,针对匹配图像集合中的图像,这些图像的标识区域中应存在较多匹
配的特征点。在本实施例中,分组特征点被定义为在多幅匹配的图像中
重复出现次数大于等于预定次数的匹配的特征点,即可以认为这样的分
组特征点位于匹配的图像的标识区域。因此,为了避免上述错误的生成
分组的情况发生,可以根据多幅图像的标识区域中重复存在的匹配的特
征点的数量来判断匹配的图像是否属于同一图像分组。当图像的标识区
域的匹配程度较高时,即在多幅匹配的图像的标识区域中重复存在的匹
配的特征点较多时,这些匹配的图像很可能属于同一图像分组。

在本实施例中,分组生成单元16不仅需要判断在匹配图像集合中匹
配的图像是否大于等于预定数量T,还需要在匹配的图像大于等于预定
数量T的情况下,判断这些匹配的图像中重复存在的匹配的分组特征点
的数量是否大于等于阈值。

在一个可能的示例中,分组生成单元16例如可以将在匹配的图像中
重复出现大于等于预定次数的特征点确定为分组特征点,并且在这样的
分组特征点的数量大于等于阈值数量的情况下,基于匹配图像集合中包
含这些分组特征点的图像来生成新的图像分组。

根据上述本发明实施例的图像处理装置10,可以基于输入的未分组
图像的标识区域与数据库中其他未分组图像的标识区域的匹配程度,自
动地对图像进行分组。

图2是根据本发明另一实施例的图像处理装置20的结构框图。在下
文中,将参考图2详细地说明根据本发明另一实施例的图像处理装置20。

在本实施例中,可以按照参照图1的实施例所描述的方式构建提取
单元22、特征点匹配单元24。

图像处理装置20还包括候选分组特征点确定单元25。候选分组特征
点确定单元25被配置成:针对未分组图像的特征点中的任何一个,当在
匹配图像集合中,包含与该特征点匹配的特征点的图像的数量大于等于
第一预定数量时,确定该特征点为候选分组特征点。

在本实施例中,为了判断这些匹配的图像中匹配的分组特征点的数
量是否大于等于阈值数量,首先需要确定在匹配的特征点中确定候选分
组特征点。

具体地,针对未分组图像的某一个特征点K,其来自匹配图像集合
中的图像M1,M2,…,Mn的匹配的特征点为k1,k2,…,kn。当然,
对于特征点K来说,在某幅匹配的图像中匹配特征点可能不存在。所以,
针对特征点K,可以用一个图像序号的集合s=(1,2,…,n,n为自然
数)来表示其在匹配图像集合中的各图像中是否存在。在集合s中每个元
素代表了一个匹配的特征点来自的图像的序号,即如果该特征点K分别
在图像M1,M2,M3,Mn-1,Mn中存在,则集合s为(M1,M2,M3,Mn-1
Mn)。假设m是集合s中元素的个数(其他图像中与特征点K匹配的特
征点的个数),则如果m≥T,那么特征点K就将作为一个候选分组特征
点。也就是说,针对某一个特征点K,如果其在匹配图像集合中的图像
中出现次数大于等于第一预定数量,则认为特征点K有可能是分组特征
点,即候选分组特征点。换言之,假设针对匹配的特征点K1,如果其在
匹配图像集合中的每个图像或绝大部分图像中均存在,则候选分组特征
点确定单元25可以判定特征点K1是候选分组特征点;相反,假设针对
匹配的特征点K2,如果其仅在少数图像中存在,则候选分组特征点确定
单元25可以判定特征点K2不属于候选分组特征点,也即,特征点K2
于偶然匹配的情形。

分组生成单元26被配置成当至少第一预定数量的候选分组特征点与
匹配图像集合中大于等于阈值数量的其他未分组图像的相应的特征点匹
配时,确定匹配的特征点中的分组特征点的数量大于等于阈值数量。

在候选分组特征点确定单元25确定了候选分组特征点的情况下,分
组生成单元26基于这些候选分组特征点确定是否生成新的图像分组。

假设,针对输入的未分组图像,共存在l个匹配的特征点,分别为
K1,K2,…,Kl。对应的图像序号集合为S1,S2,…,Sl。假设匹配图像
集合中的图像的数量n大于T(即满足如上所述的生成图像分组的匹配
图像数量的条件),因此,除输入的未分组图像之外,如果可以从匹配的
图像集中挑选出T幅图像满足生成新的图像分组的条件,即可生成新的
图像分组。也就是说,可以有种不同的可能来构建新的图像分组,这
些不同的组合同样可以被当作图像序号集合。

针对某一个组合S,可以计算这个组合拥有上述候选分组特征点的数
量。在本实施例中,如果某个候选分组特征点的图像序号集合包含图像
组合S,则认为该图像组合S拥有这个候选分组特征点。于是,可以通过
下面的公式(1)来计算图像组合S拥有的候选分组特征点数量h:


针对每一个这样的图像组合,都可以计算相应的h。假设hmax是拥
有最多候选分组特征点的图像组合Smax所拥有的候选分组特征点的数
量,则分组生成单元26可以使用阈值H来决定是否生成新的分组。如果
hmax>H,则确定分组特征点的数量大于等于阈值数量,并且分组生成单
元26基于拥有最多候选分组特征点的图像组合Smax生成新的图像分组;
否则,不生成新的图像分组,此时,输入的未分组图像作为一个未分组
图像被存储在数据库中。

在本实施例中,在一定数量的相同的候选分组特征点存在于匹配图
像集合中的较多的图像的情况下,可以确定分组特征点的数量满足阈值
条件。

根据上述本发明的另一实施例的图像处理装置20,基于重复出现次
数最多的分组特征点的集合中的分组特征点的数量是否大于等于阈值数
量,来确定是否生成新的图像分组,从而提高自动分组的准确度。

在一个可能的实施例中,在分组生成单元26生成了新的图像分组的
情况下,可以获取新的图像分组的生成分组特征点,以便作为新的图像
分组的分组特征。

由于新生成的图像分组中的图像存在共同的分组特征点,因此可以
获取与每个分组特征点相对应的生成分组特征点以表征新的图像分组的
图像的分组特征。在数据库中已有的图像分组的情况下,输入的未分组
图像可以与已有的图像分组的生成分组特征点进行匹配以确定输入的未
分组图像是否属于存在的图像分组。

在本实施例中,图像处理装置还包括生成分组特征点获取单元27,
如图2中的虚框所示。在分组生成单元26生成了新的图像分组的情况下,
生成分组特征点获取单元27可以获取新的图像分组的生成分组特征点。

在一个可能的示例中,生成分组特征点获取单元27可以通过中值计
算或者取中位数的方式来获取所生成的新的图像分组的生成分组特征
点。

可以在每次有图像被加入到已有的图像分组之后更新图像分组的生
成分组特征点,也可以在预定数量的图像(例如,5幅)加入到已有的图像
分组之后更新图像分组的生成分组特征点。

以上结合图1至图2描述了根据本发明实施例的图像处理装置10、
20在生成新的图像分组时的操作,然而,如果数据库中存在已有的图像
分组的情况下,通常可以先将输入的未分组图像与数据库中的已有的图
像分组进行匹配,以确定输入的未分组图像是否属于已有的图像分组。

图3是根据本发明又一实施例的图像处理装置30的结构框图,图4
是根据本发明又一实施例的图像处理装置30对输入的未分组图像进行分
组操作的示意图。下面将结合图3和图4详细地描述根据本发明实施例
的图像处理装置30。

在本实施例中,可以按参照图1和图2的实施例中所描述的方式配
置提取单元32、特征点匹配单元34、分组生成单元36/候选分组特征点
确定单元35和分组生成单元36以及生成分组特征点获取单元37,在此
不再赘述。

如图3所示,图像处理装置30还包括分组匹配单元33,被配置成基
于未分组图像的特征点与已有的图像分组的生成分组特征点匹配的程
度,判定未分组图像是否属于已有的图像分组。

如上所述,图像分组的生成分组特征点表征了所属图像分组区别于
其他图像分组的特征,分组匹配单元33可以根据的未分组图像的特征点
与一个已有的图像分组的生成分组特征点的匹配程度,例如,输入的未
分组图像与一个已有的图像分组的生成分组特征点匹配的数量大于等于
预定数量,确定未分组图像是否属于该图像分组。

下面参照图4A至图4D来说明根据本发明又一实施例的图像处理装
置30对未分组图像进行分组的操作。

如图4A所示,假设开始在数据库中存在两幅人民日报的图像以及一
幅电费单的图像。在用户又输入了一幅人民日报的图像的情况下,提取
单元32对输入的未分组图像以及存储在数据库中的未分组的图像进行特
征提取,提取了各图像的特征点。然后,特征点匹配单元34将输入的人
民日报的图像的特征点与数据库中其他未分组的图像的特征点进行匹
配,假设基于匹配的特征点数量确定输入的人民日报的图像与数据库中
已有的两幅人民日报的图像相匹配,于是特征点匹配单元34基于这三幅
图像生成匹配图像集合。

随后,分组生成单元36判定匹配图像集合中的图像的数量是否大于
等于阈值数量,并在大于等于阈值数量的情况下,进一步判定匹配的特
征点中的分组特征点的数量是否大于等于阈值数量。结果,如图4A所示,
分组生成单元36生成了新的图像分组人民日报(假设满足上述两个条
件)。并且在生成了新的图像分组的情况下,生成分组特征点获取单元37
获取该图像分组的生成分组特征点。在上述操作之后,在数据库中存在
一个对应于人民日报的图像分组,以及一幅未分组的电费单图像。

在一个可能的示例中,在生成了新的图像分组的情况下,需要进行
一个次级匹配过程。在次级匹配过程中进一步判定数据库中的所有未分
组图像(包括匹配图像集合中的图像)是否与新的图像分组相匹配。这
是由于分组生成单元36是基于包含所有分组特征点的图像或者拥有最多
候选分组特征点的组合Smax的图像来生成新的分组,在这种情况下,在
匹配图像集合中的其他图像也可能属于新的图像分组,例如,某一图像
仅在个别分组特征点处未匹配成功。

于是,在次级匹配过程中,分组匹配单元33将图像数据库中的未分
组图像与生成的图像分组的生成分组特征点进行匹配,以确定是否未分
组的图像属于新生成的图像分组。并且,当其他未分组的图像被加入该
新生成的图像分组时,生成分组特征点获取单元37可以通过例如中值计
算或者取中位数的方式重新获取该图像分组中的所有图像的生成分组特
征点。

如图4B所示,用户又输入了一幅电费单的图像,同样,提取单元
32首先对该图像进行特征提取。此时,由于数据库中存在已有的图像分
组,因此,分组匹配单元33将输入的未分组图像的特征点与已有的图像
分组的生成分组特征点进行匹配以确定该图像是否属于已有的图像分
组。由于输入的电费单与对应于人民日报的图像分组并不匹配,这时,
特征点匹配单元34将输入的电费单的图像与数据库中的未分组的图像进
行匹配,结果基于两幅电费单的图像生成了匹配图像集合。

分组生成单元36判定匹配图像集合中的相匹配的图像的数量小于阈
值数量,结果没有生成新的图像分组。在上述操作之后,如图4B所示,
在数据库中存在一个对应于人民日报的图像分组,以及二幅未分组的电
费单的图像。

如图4C所示,用户又输入了一幅人民日报的图像。分组匹配单元
33将输入的未分组图像的特征点与已有的图像分组的生成分组特征点进
行匹配,结果确定输入的人民日报的图像对应于人民日报的图像分组。
生成分组特征点获取单元37更新该图像分组的生成分组特征点。在上述
操作之后,如图4C所示,在数据库中存在一个对应于人民日报的图像分
组,以及二幅未分组的电费单。

如图4D所示,用户又输入了水费单的图像。由于水费单的图像不属
于已有的人民日报的图像分组,也不能与数据库中两幅未分组的电费单
图像生成新的图像分组。在上述操作之后,如图4D所示,在数据库中存
在一个对应于人民日报的图像分组,二幅未分组的电费单图像以及一幅
未分组的水费单图像。

如上所述,在用户不断输入图像的情况下,根据本实施例的图像处
理装置30能够自动的生成新的图像分组,并且随着输入图像被加入到各
个已有的图像分组,不断地更新各个图像分组的分组特征。

图5A是根据本发明一个实施例的特征点匹配单元54的结构框图,
图5B是根据本发明一个实施的分组匹配单元53的结构框图,图6是根
据本发明一个实施例的进行特征点匹配/分组匹配的示意图。在下文中,
将参照图5A、5B和图6来详细地描述本发明一个实施例的特征点匹配单
元54以及分组匹配单元53。

特征点匹配单元54包括第一搜索模块541和第一相似度计算模块
542。第一搜索模块541被配置成在其他未分组图像的、与输入的未分组
图像的特征点所在位置相对应的区域处搜索是否存在特征点。第一相似
度计算模块542被配置成在所述相对应的区域处存在特征点的情况下,
计算输入的未分组图像的特征点与其他未分组图像的所述特征点的相似
度;当存在相似度大于阈值的特征点的情况下,判定输入的未分组图像
的特征点与其他未分组图像的特征点匹配。

如上所述,提取的特征点包括两方面信息:特征点的位置信息和有
关该特征点局部特征的特征描述向量。在本实施例中,为了对特征点进
行匹配,首先需要确定待匹配图像的特征点的位置是否相近,在存在位
置相近的特征点的情况下,再确定特征点的特征向量是否相似。

如图6所示,针对输入的图像中的特征点K,第一搜索模块541可
以在待匹配的图像中与特征点K所在位置相对应的区域A内搜索是否存
在特征点。区域A例如可以是以和输入的图像的特征点K所在位置相对
应的位置为中心的矩形区域。应理解,本领域技术人员能够合理的选择
区域A的形状及大小。

如果第一搜索模块541并未在区域A中搜索到特征点,则关于特征
点K的匹配不成功。如果第一搜索模块541在区域A中搜索到至少一个
特征点,则第一相似度计算模块542分别计算这些搜索出的特征点的特
征描述向量与特征点K的特征描述向量的相似度。如果计算出的特征描
述向量的相似度低于阈值,则关于特征点K的匹配不成功。如果存在与
特征点K的特征描述向量相似度大于阈值的特征点K’,则判定输入的未
分组图像的特征点K与其他未分组图像的特征点K’匹配。

在一个可能的示例中,可以通过计算输入未分组图像的特征描述向
量与待匹配图像的特征点的特征描述向量的欧氏距离,来计算特征点的
特征描述向量之间的相似度。

分组匹配单元53包括第二搜索模块531和第二相似度计算模块532。
第二搜索模块531被配置成在已有分组图像的、与未分组图像的特征点
所在的位置相对应的区域处搜索是否存在生成分组特征点。第二相似度
计算模块532被配置成在所述相对应的区域处存在生成分组特征点的情
况下,计算未分组图像的特征点与已有的图像分组的生成分组特征点的
相似度;当存在相似度大于阈值的生成分组特征点情况下,判定未分组
图像的特征点与已有的图像分组的生成分组特征点匹配。

类似的,分组匹配单元53可以通过计算未分组图像的特征描述向量
与已有图像分组的生成分组特征点的特征描述向量的欧氏距离,来计算
特征点的特征描述向量之间的相似度。

在一个可能的实施例中,图像处理装置还包括预处理单元(图中未
示出),用于进行归一化预处理。通过对图像进行预处理,可以将待匹配
的图像的尺寸调整为标准值,例如,1000像素*1000像素,以便可以对
不同尺寸的图像进行处理。

以上结合附图描述了根据本发明的图像处理装置的各实施例,在此
过程中事实上也描述了一种图像处理方法。下面结合图7对该方法予以
简要描述,其中的细节可参见前文对图像处理装置的描述。

图7示出了根据本发明的一个实施例的图像处理方法的流程图。该
方法开始于步骤S71,包括如下步骤:在步骤S73,提取未分组图像的、
表征未分组图像的局部特征的特征点;在步骤S75,将输入的未分组图像
的特征点与其他未分组图像的特征点匹配,并且基于匹配的特征点的数
量,确定所述其他未分组图像中与所述输入未分组图像相匹配的图像,
作为匹配图像集合;在步骤S77,在输入的未分组图像与其他未分组图像
匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组特征点
的数量大于等于阈值数量的情况下,基于所述匹配图像集合来生成新的
图像分组,其中分组特征点是位于所述图像的标识区域的特征点。例如,
可以通过结合图1描述的根据第一实施例的图像处理装置10执行的过程
来实现,具体细节在此不再赘述。

在一个可能的实施例中,在步骤S77,可以在至少第一预定数量的候
选分组特征点与匹配图像集合中大于等于阈值数量的其他未分组图像的
相应的特征点匹配的情况下,确定至少第一预定数量的候选分组特征点
为分组特征点。例如,可以通过结合图2描述的根据另一实施例的图像
处理装置20执行的过程来实现,具体细节在此不再赘述。

在一个可能的实施例中,图像处理方法70还包括进行分组匹配的步
骤S74。在步骤S74,可以基于未分组图像的特征点与已有的图像分组的
生成分组特征点匹配的数量,判定未分组图像是否属于所述已有的图像
分组。例如,可以通过结合图3描述的根据本发明又一实施例的图像处
理装置30执行的过程来实现,具体细节在此不再赘述。

在一个可能的实施例中,图像处理方法70还包括:通过诸如中值计
算或者取中位数等方式获取图像分组的生成分组特征点的步骤。

在获取了图像分组的生成分组特征点的情况下,可以通过将未分组
的图像的特征点与已有的图像分组的生成分组特征点进行匹配来确定未
分组图像是否属于已有的图像分组。

在一个可能的实施例中,在步骤S75,将输入的未分组图像与其他未
分组图像匹配包括:针对输入的未分组图像的特征点中的任何一个,在
其他未分组图像的、与所述输入的未分组图像的特征点所在位置相对应
的区域处搜索是否存在特征点;以及,计算输入的未分组图像的特征点
与其他未分组图像的特征点的相似度;并且在存在相似度大于阈值的特
征点的情况下,判定输入的未分组图像的特征点与其他未分组图像的特
征点匹配。例如,可以通过结合图5A描述的根据本发明一个实施例的特
征点匹配单元54执行的过程来实现,具体细节在此不再赘述。

在一个可能的实施例中,在步骤S74,将未分组图像的特征点与已有
的图像分组的生成分组特征点包括:针对未分组图像的特征点中的任何
一个,在已有分组图像的、与未分组图像的特征点的所在位置相对应的
区域处搜索是否存在生成分组特征点;以及当存在生成分组特征点时,
计算未分组图像的特征点与已有的图像分组的生成分组特征点的相似
度;并且在存在相似度大于阈值的生成分组特征点情况下,判定未分组
图像的特征点与已有的图像分组的生成分组特征点匹配。例如,可以通
过结合图5B描述的根据本发明一个实施的分组匹配单元53执行的过程
来实现,具体细节在此不再赘述。

在一个可能的实施例中,图像处理方法还可以包括对图像进行归一
化预处理的步骤S72,以便使进行匹配处理的图像具有预定的标准尺寸。

在本申请的装置、方法等实施例中,显然,各部件(单元、子单元、
模块、子模块等)或各步骤是可以分解、组合和/或分解后重新组合的。这
些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请
具体实施例的描述中,针对一种实施例描述和/或示出的特征可以以相同
或类似的方式在一个或更多个其他实施例中使用,与其他实施例中的特
征相组合,或替代其他实施例中的特征。

以上结合具体实施例描述了本发明的基本原理,但是,需要指出的
是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全
部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介
质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加
以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用
他们的基本编程技能就能实现的。

因此,本发明的目的还可以通过在任何计算装置上运行一个程序或
者一组程序来实现。计算装置可以是公知的通用装置。因此,本发明的
目的也可以仅仅通过提供包含实现方法或者装置的程序代码的程序产品
来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的
程序产品的存储介质也构成本发明。显然,存储介质可以是任何公知的
存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下,从存储介质或
网络向具有专用硬件结构的计算机,例如图8所示的通用计算机800安
装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功
能等等。

在图8中,中央处理单元(CPU)801根据只读存储器(ROM)802中存
储的程序或从存储部分808加载到随机存取存储器(RAM)803的程序执
行各种处理。在RAM 803中,也根据需要存储当CPU 801执行各种处
理等等时所需的数据。CPU 801、ROM 802和RAM 803经由总线804
彼此链路。输入/输出接口805也链路到总线804。

下述部件链路到输入/输出接口805:输入部分806(包括键盘、鼠标
等等)、输出部分807(包括显示器,比如阴极射线管(CRT)、液晶显示
器(LCD)等,和扬声器等)、存储部分808(包括硬盘等)、通信部分809
(包括网络接口卡比如LAN卡、调制解调器等)。通信部分809经由网
络比如因特网执行通信处理。根据需要,驱动器810也可链路到输入/输
出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等
等根据需要被安装在驱动器810上,使得从中读出的计算机程序根据需
要被安装到存储部分808中。

在通过软件实现上述系列处理的情况下,从网络比如因特网或存储
介质比如可拆卸介质811安装构成软件的程序。

据此,本发明的实施例实际上还涉及了一种信息处理设备(例如计
算机),其包括:存储器,用于存储程序指令;以及,处理器,该处理器
被配置成执行所存储的指令以便可以实现如上参照图1-6描述的图像处
理装置的各功能部件所具有的功能,或者执行如上参照图7描述的图像
处理方法的操作步骤。

本领域的技术人员应当理解,这种存储介质不局限于图8所示的其
中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质
811。可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含
光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘
(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM 802、存
储部分808中包含的硬盘等等,其中存有程序,并且与包含它们的设备
一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令
代码由机器读取并执行时,可执行上述根据本发明实施例的方法。

相应地,用于承载上述存储有机器可读取的指令代码的程序产品的
存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、
磁光盘、存储卡、存储棒等等。

最后,还需要说明的是,术语“包括”、“包含”或者其任何其他变
体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、
物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,
或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外,
在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不
排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同
要素。

通过上述的描述,本发明的实施例提供了以下的技术方案,但不限
于此。

附记1.一种图像处理装置,包括:

提取单元,被配置成提取未分组图像的、表征未分组图像的局部特
征的特征点;

特征点匹配单元,被配置成将输入的未分组图像的特征点与其他未
分组图像的特征点匹配,并且基于匹配的特征点的数量,确定所述其他
未分组图像中与所述输入未分组图像相匹配的图像,作为匹配图像集合;
以及

分组生成单元,被配置成在所述输入的未分组图像与所述其他未分
组图像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组
特征点的数量大于等于阈值数量的情况下,基于所述匹配图像集合来生
成新的图像分组,其中分组特征点是位于所述图像的标识区域的特征点。

附记2.根据附记1所述的图像处理装置,所述图像处理装置还包括:

候选分组特征点确定单元,被配置成针对未分组图像的特征点中的
任何一个,当在所述匹配图像集合中,包含与所述特征点匹配的特征点
的图像的数量大于等于所述第一预定数量时,确定所述特征点为候选分
组特征点;

所述分组生成单元进一步被配置成当至少所述第一预定数量的所述
候选分组特征点与所述匹配图像集合中大于等于所述阈值数量的所述其
他未分组图像的相应的特征点匹配时,确定匹配的特征点中的分组特征
点的数量大于等于阈值数量。

附记3.根据附记1所述的图像处理装置,所述图像处理装置还包括:

生成分组特征点获取单元,被配置成获取图像分组的生成分组特征
点,其中,每个生成分组特征点与每个分组特征点相对应,以表征新的
图像分组的图像的共同特征。

附记4.根据附记3所述的图像处理装置,其中,所述生成分组特征
点获取单元进一步被配置成通过中值计算或者取中位数的方式获取图像
分组的生成分组特征点。

附记5.根据附记1所述的图像处理装置,所述图像处理装置还包括:
分组匹配单元,被配置成基于未分组图像的特征点与已有的图像分组的
生成分组特征点匹配的数量,判定所述未分组图像是否属于所述已有的
图像分组。

附记6.根据附记1所述的图像处理装置,所述特征点匹配单元包括:

第一搜索模块,针对输入的未分组图像的特征点中的任何一个,所
述第一搜索模块被配置成在所述其他未分组图像的、与所述输入的未分
组图像的特征点所在位置相对应的区域处搜索是否存在特征点;以及

第一相似度计算模块,被配置成在所述相对应的区域处存在特征点
的情况下,计算所述输入的未分组图像的特征点与所述其他未分组图像
的所述特征点的相似度;并且在存在相似度大于阈值的特征点的情况下,
判定所述输入的未分组图像的特征点与所述其他未分组图像的所述特征
点匹配。

附记7.根据附记5所述的图像处理装置,其中,所述分组匹配单元
包括:

第二搜索模块,针对未分组图像的特征点中的任何一个,所述第二
搜索模块被配置成在已有分组图像的、与所述未分组图像的特征点的所
在位置相对应的区域处搜索是否存在生成分组特征点;以及

第二相似度计算模块,被配置成在所述相对应的区域处存在生成分
组特征点的情况下,计算所述未分组图像的特征点与所述已有的图像分
组的所述生成分组特征点的相似度;并且在存在相似度大于阈值的生成
分组特征点情况下,判定所述未分组图像的特征点与所述已有的图像分
组的所述生成分组特征点匹配。

附记8.根据附记6或7所述的图像处理装置,其中,通过计算特征
点的特征描述向量之间的欧氏距离来计算相似度。

附记9.根据附记1所述的图像处理装置,其中,所述图像处理装置
还包括:预处理单元,用于对图像进行归一化预处理,以便使进行匹配
处理的图像具有预定的标准尺寸。

附记10.一种信息处理设备,包括:

存储器,用于存储程序指令;以及

处理器,所述处理器被配置成执行所存储的指令以:

提取未分组图像的、表征未分组图像的局部特征的特征点;

将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并
且基于匹配的特征点的数量,确定所述其他未分组图像中与所述输入未
分组图像相匹配的图像,作为匹配图像集合;以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等
于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于阈
值数量的情况下,基于所述匹配图像集合来生成新的图像分组,其中分
组特征点是位于所述图像的标识区域的特征点。

附记11.一种图像处理方法,包括:

提取未分组图像的、表征未分组图像的局部特征的特征点;

将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并
且基于匹配的特征点的数量,确定所述其他未分组图像中与所述输入未
分组图像相匹配的图像,作为匹配图像集合;以及

在所述输入的未分组图像与所述其他未分组图像匹配的数量大于等
于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等于阈
值数量的情况下,基于所述匹配图像集合来生成新的图像分组,其中分
组特征点是位于所述图像的标识区域的特征点。

附记12.根据附记11所述的图像处理方法,其中,通过如下方法判
定所述分组特征点的数量大于等于阈值数量:

针对未分组图像的特征点中的任何一个,当在所述匹配图像集合中,
包含与该特征点匹配的特征点的图像的数量大于等于所述第一预定数量
时,确定该特征点为候选分组特征点;以及

当至少第一预定数量的所述候选分组特征点与所述匹配图像集合中
大于等于所述阈值数量的所述其他未分组图像的相应的特征点匹配时,
确定所述至少第一预定数量的候选分组特征点为分组特征点。

附记13.根据附记11所述的图像处理方法,所述图像处理方法还包
括:获取图像分组的生成分组特征点,其中,每个生成分组特征点与每
个分组特征点相对应,以表征新的图像分组的图像的共同特征。

附记14.根据附记13所述的图像处理方法,通过中值计算或者取中
位数的方式获取图像分组的生成分组特征点。

附记15.根据附记11所述的图像处理方法,所述图像处理方法还包
括:

基于未分组图像的特征点与已有的图像分组的生成分组特征点匹配
的数量,判定所述未分组图像是否属于所述已有的图像分组。

附记16.根据附记11所述的图像处理方法,所述将输入的未分组图
像与其他未分组图像匹配包括:

针对输入的未分组图像的特征点中的任何一个,在所述其他未分组
图像的、与所述输入的未分组图像的特征点所在位置相对应的区域处搜
索是否存在特征点;

在所述相对应的区域处存在特征点的情况下,计算所述输入的未分
组图像的特征点与所述其他未分组图像的所述特征点的相似度;并且在
存在相似度大于阈值的特征点的情况下,判定所述输入的未分组图像的
特征点与所述其他未分组图像的所述特征点匹配。

附记17.根据附记15所述的图像处理方法,其中,将未分组图像的
特征点与已有的图像分组的生成分组特征点包括:

针对未分组图像的特征点中的任何一个,在已有分组图像的、与所
述未分组图像的特征点的所在位置相对应的区域处搜索是否存在生成分
组特征点;以及

在所述相对应的区域处存在生成分组特征点的情况下,计算所述未
分组图像的特征点与所述已有的图像分组的所述生成分组特征点的相似
度;并且在存在相似度大于阈值的生成分组特征点情况下,判定所述未
分组图像的特征点与所述已有的图像分组的所述生成分组特征点匹配。

附记18.根据附记16或17所述的图像处理方法,其中,通过计算
特征点的特征描述向量之间的欧氏距离来计算相似度。

附记19.根据附记11所述的图像处理方法,所述图像处理方法还包
括:对图像进行归一化预处理,以便使进行匹配处理的图像具有预定的
标准尺寸。

以上实施例仅用于说明本发明,而并非对本发明的限制,有关技术
领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以
做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,
本发明的专利保护范围应由权利要求限定。

图像处理装置及方法.pdf_第1页
第1页 / 共24页
图像处理装置及方法.pdf_第2页
第2页 / 共24页
图像处理装置及方法.pdf_第3页
第3页 / 共24页
点击查看更多>>
资源描述

《图像处理装置及方法.pdf》由会员分享,可在线阅读,更多相关《图像处理装置及方法.pdf(24页珍藏版)》请在专利查询网上搜索。

提供了一种图像处理装置及方法。图像处理装置包括:提取单元,提取未分组图像的、表征未分组图像的局部特征的特征点;特征点匹配单元,将输入的未分组图像的特征点与其他未分组图像的特征点匹配,并且基于匹配的特征点的数量,确定其他未分组图像中与输入未分组图像相匹配的图像,作为匹配图像集合;分组生成单元,在输入的未分组图像与其他未分组图像匹配的数量大于等于第一预定数量,并且匹配的特征点中的分组特征点的数量大于等。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1