《基于词汇树分块聚类的无人机航拍图像匹配的方法.pdf》由会员分享，可在线阅读，更多相关《基于词汇树分块聚类的无人机航拍图像匹配的方法.pdf（7页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104216974A43申请公布日20141217CN104216974A21申请号201410432326122申请日20140828G06F17/30200601G06T7/0020060171申请人西北工业大学地址710072陕西省西安市友谊西路127号72发明人张艳宁杨涛宋征玺74专利代理机构西北工业大学专利中心61204代理人王鲜凯54发明名称基于词汇树分块聚类的无人机航拍图像匹配的方法57摘要本发明涉及一种基于词汇树分块聚类的无人机航拍图像匹配的方法，本发明首先以词汇树量化场景中的图像，将图像集中的海量特征建立层次聚类，实现快速的带匹配图像与海量图像集相似性的筛选。
2、。实现了快速的场景分类过程，避免了传统方法中逐帧匹配挑选带匹配图像集运算量。其次，该方法对于已经得到具有相似性的两帧图像，建立图像的缩略图并在缩略图下对图像进行粗匹配。随后利用聚类的方法将图像分块，是对由粗到细匹配思想的一次有效的尝试。此外，该发明针对无人机图像数据量大，图像分辨率高和图像重叠率低等数据特性，第一次提出适合无人机海量图像匹配的方法。从而，使得无人机图像匹配的精度和效率有效的提升。通过在PAMVIEWPROVIDENCEAERIALMULTIVIEWDATASET数据库中航拍图像进行测试，验证了发明方法的有效性。51INTCL权利要求书2页说明书4页19中华人民共和国国家知识产权。
3、局12发明专利申请权利要求书2页说明书4页10申请公布号CN104216974ACN104216974A1/2页21一种基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在于步骤如下步骤1对航拍图像建立训练集，给每一张图像建立一个独立的IDI，提取图像的SIFT特征集合，将所有图像的特征构建特征集合FEATFEATI；步骤2利用KMEANS聚类方法对特征集合FEATFEATI建立有层次的L层聚类的聚类树,每一层的特征分为K类，节点数为步骤3计算每个IDI图像与聚类树中的每一个聚类中心节点FI的权值矩阵其中，MJ,I为聚类中心节点FJ出现在图像IDI中的频数，N为训练集图像总数，NJ表示节点包。
4、含图像总数，矩阵的每一行表示第I张图像对从1到T个聚类中心节点的相关度权值；步骤4将无人机采集到的新的图像作为匹配图像ID，提取匹配图像ID的SIFT特征集合，计算匹配图像在聚类树中的权值向量QW1,W2,WT，MJ为匹配图像特征在聚类中心节点FJ中出现的频数；对匹配图像的Q逐行计算与训练集图像的IDI的2范数，用快速排序算法得到距离排名前20的图像形成待匹配图像集合IDI；步骤5对待匹配图像和匹配图像进行水平与竖直方向上降采样得到缩略图，在待匹配图像集IDI与匹配图像ID的缩略图尺度下，利用SIFT特征构建KDTREE，采用下式计算匹配图像与待匹配图像集合中的每个图像IDI的FLANN最近邻。
5、特征当图像对的特征的最近邻距离与次近邻的距离小于固定阈值时，匹配图像能够与待匹配图像匹配，对匹配缩略图像的已匹配的特征分别进行KMEANS聚类，根据聚类类别对图像特征进行分块，利用下述规则得到匹配缩略图像上第I个聚类的图像块的四个方向的边界其中，X,Y分别为第I个特征点的像素的位置，同时对待匹配缩略图像集合中的IDI进权利要求书CN104216974A2/2页3行分块，并映射到原始图像的尺度下；步骤6对能够匹配的图像块在原始图像下构建KDTREE子树，按照步骤5的方法计算匹配图像ID与待匹配集合IDI每个元素间的特征匹配关系。2根据权利要求1所述的基于词汇树分块聚类的无人机航拍图像匹配的方法，。
6、其特征在所述的固定阈值为07。权利要求书CN104216974A1/4页4基于词汇树分块聚类的无人机航拍图像匹配的方法技术领域0001本发明涉及海量航拍图像的匹配方法，具体为一种基于词汇树分块聚类的无人机航拍图像匹配的方法。背景技术0002图像匹配是计算机视觉和场景分析领域一个重要的问题，其在图像拼接和三维重建等领域具有广泛的应用。现有的图像匹配算法主要有基于KDTREE的最近邻匹配方法，基于图像块近似匹配方法以及基于哈希表的临近元素检索方法。文献“COMPUTINGNEARESTNEIGHBORFIELDSVIAPROPAGATIONASSISTEDKDTREES,2012CVPR”提出了一。
7、种基于传播方法KDTREES匹配方法计算两个视角间稠密的匹配关系，旨在两张图像中通过一张图像恢复出另一张图像的信息。传统的基于树形结构的匹配方法，通常利用KDTREE计算特征点之间的最近邻关系，该方法能够通过树形结构统计图像中带匹配特征的分布信息，然而该方法常常独立的考虑每一组匹配关系，并没有充分利用多个匹配特征对之间的相互依赖关系。图像块近似匹配方法PATCHMATCH是基于图像的局部一致性假设设计的图像匹配方法，即若图像1中的区域A与图像2中的区域B已验证具有匹配关系，则在相当的概率上A的临近区域与B的临近区域也具有相似的匹配关系。这是一个高效且自动的算法，巧妙的结合了基于树形结构与图像块。
8、的两种匹配思想。同时有效的避免了针对树形结构检索时具有的大量的回溯现象，而有能够提前对图像数据进行整理，回避了图像块匹配中需要随机采样的算法不稳定性。然而，在无人机航拍领域需要的进行的是特征点之间的稀疏匹配，且图像间存在大量的旋转与缩放。常常无需完全的得到从一个视角到另一个视角的完美恢复，而是需要准确的计算同名特征点。因此该算法不能直接应用的无人机航拍图像匹配的问题中。发明内容0003要解决的技术问题0004为了解决该类图像的匹配时存在匹配的速度较慢且匹配的误差较大等的缺点，本发明提出一种基于词汇树分块聚类的无人机航拍图像匹配的方法。0005技术方案0006一种基于词汇树分块聚类的无人机航拍图。
9、像匹配的方法，其特征在于步骤如下0007步骤1对航拍图像建立训练集，给每一张图像建立一个独立的IDI，提取图像的SIFT特征集合，将所有图像的特征构建特征集合FEATFEATI；0008步骤2利用KMEANS聚类方法对特征集合FEATFEATI建立有层次的L层聚类的聚类树,每一层的特征分为K类，节点数为0009步骤3计算每个IDI图像与聚类树中的每一个聚类中心节点FI的权值矩阵说明书CN104216974A2/4页500100011其中，MJ,I为聚类中心节点FJ出现在图像IDI中的频数，N为训练集图像总数，NJ表示节点包含图像总数，矩阵的每一行表示第I张图像对从1到T个聚类中心节点的相关度权。
10、值；0012步骤4将无人机采集到的新的图像作为匹配图像ID，提取匹配图像ID的SIFT特征集合，计算匹配图像在聚类树中的权值向量QW1,W2,WT，MJ为匹配图像特征在聚类中心节点FJ中出现的频数；0013对匹配图像的Q逐行计算与训练集图像的IDI的2范数，用快速排序算法得到距离排名前20的图像形成待匹配图像集合IDI；0014步骤5对待匹配图像和匹配图像进行水平与竖直方向上降采样得到缩略图，在待匹配图像集IDI与匹配图像ID的缩略图尺度下，利用SIFT特征构建KDTREE，采用下式计算匹配图像与待匹配图像集合中的每个图像IDI的FLANN最近邻特征00150016当图像对的特征的最近邻距离与。
11、次近邻的距离小于固定阈值时，匹配图像能够与待匹配图像匹配，对匹配缩略图像的已匹配的特征分别进行KMEANS聚类，根据聚类类别对图像特征进行分块，利用下述规则得到匹配缩略图像上第I个聚类的图像块的四个方向的边界00170018其中，X,Y分别为第I个特征点的像素的位置，同时对待匹配缩略图像集合中的IDI进行分块，并映射到原始图像的尺度下；0019步骤6对能够匹配的图像块在原始图像下构建KDTREE子树，按照步骤5的方法计算匹配图像ID与待匹配集合IDI每个元素间的特征匹配关系。0020所述的固定阈值为07。0021有益效果0022本发明提出的一种基于词汇树分块聚类的无人机航拍图像匹配的方法，从图。
12、像的说明书CN104216974A3/4页6缩略图入手，有效地较少的运算代价。同时在确定图像块之间具有匹配属性时，进一步有针对性的计算图像分块之间的匹配关系。更新原始特征匹配队列，实现了航拍图像间的快速匹配。具体实施方式0023现结合实施例对本发明作进一步描述00241、基于词汇树的待匹配图像集选取策略0025针对无人机所采集的大量图像建立训练集,为每一张图像建立一个独立的ID，并提取图像的SIFT特征，至此我们可以得到一个特征集合FEATFEATI以及包含该特征的图像ID集合，即IDI，采用KMEANS聚类方法对特征集合进行有层次的聚类。限定聚类的类别数为K，在第一层将所有的特征分为可K类，。
13、得到聚类中心CI，然后对每一类重复上述聚类过程。限定该聚类树的层次为L层，数中的节点数为这里我们对无人机采集的海量数据实现了无监督的训练过程。0026为了保证快速性，需要根据已经得到的层次聚类树对每一张图像表示为一个由权值构成的向量。聚类树中的每一个节点，即分层聚类过程中的每个聚类中心为描述该无人机采集大场景的一个单词，设其为FI，其中I1,2,T，T为单词个数。而对训练集合中的所有图片建立词汇树，即计算该IDI图像与聚类树中的每一个聚类中心节点FI每一层的聚类中心权值矩阵00270028其中，该权值可以由计算得到，其中MJ,I为聚类中心节点FJ出现在图像IDI中频数。矩阵的每一行表示第I张图。
14、像对从1到T个聚类中心节点的相关度权值。N为训练集图片总数，NJ表示该节点包含图片总数。0029当无人机采集到一张新的图片时，称其为匹配图像ID并提取其SIFT特征集合，计算该图像在聚类树中的权值向量QW1,W2,WT，MI为特征在聚类中心节点FJ中出现的频数，N为训练集图片总数，NJ表示节点包含图片总数；0030对该匹配图像的Q逐行计算与训练集图像的IDI的2范数，用快速排序算法得到距离排名前20的图片形成待匹配图像集合IDI；00312、待匹配图像与筛选图片集的匹配方法0032对待匹配图像进行水平与竖直方向上降采样得到缩略图，在待匹配图像集IDI与匹配图像ID的缩略图尺度下，利用SIFT特。
15、征构建KDTREE，得到该图像与待匹配图像集说明书CN104216974A4/4页7合的逐个图像IDI计算FLANN最近邻特征00330034即当图像对的特征的最近邻距离与此近邻的距离小于固定阈值07时，认为该图像对中的特征具有匹配关系。分别得到匹配缩略图与待匹配缩略图像集IDI的匹配关系，对待匹配缩略图像已匹配特征分别进行KMEANS聚类，根据聚类结果对图像特征每一个类别进行分块，对缩略图上第I个聚类，利用下属规则得到该类别的图像块00350036其中，X,Y分别为第I个特征点的像素的位置，得到第I个聚类的图像分块的四个方向的边界，同时根据记录的匹配关系将对待匹配缩略图像集中的IDI进行分块，并映射到原始图像的尺度下分别对上述每一个图像块具有匹配关系的图像块对，在原始尺度下重新计算计算匹配关系，即对逐个分块在原图下构建KDTREE子树，采用与缩略图中的相同的方法计算特征匹配关系并得到匹配图像ID与待匹配集合IDI每个元素间的特征匹配关系。说明书CN104216974A。