《一种非几何约束多幅图像线段匹配的方法.pdf》由会员分享,可在线阅读,更多相关《一种非几何约束多幅图像线段匹配的方法.pdf(11页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103353984 A (43)申请公布日 2013.10.16 CN 103353984 A *CN103353984A* (21)申请号 201310116236.7 (22)申请日 2013.04.03 G06T 7/00(2006.01) (71)申请人 西安交通大学 地址 710049 陕西省西安市咸宁西路 28 号 (72)发明人 黄华 张琳彦 (74)专利代理机构 西安通大专利代理有限责任 公司 61200 代理人 陆万寿 (54) 发明名称 一种非几何约束多幅图像线段匹配的方法 (57) 摘要 一种非几何约束多幅图像线段匹配的方法, 包括 : 采集图像。
2、并输入计算机 ; 对输入图像提取 特征线段 ; 在输入图像中均匀选取若干组基础图 像对 ; 利用非几何约束匹配每组基础图像对中两 幅图像之间的线段特征 ; 以每组基础图像对的匹 配线段为基础, 建立多幅图像中线段特征之间的 对应关系, 形成匹配线段组 ; 对形成的匹配线段 组进行筛选, 剔除不相容匹配线段组, 保留、 合并 相容匹配线段组。 本发明避免了利用几何约束时, 需要预先知道对极几何关系等不足, 并且本发明 中采用的双视图匹配算法具有旋转、 光照、 缩放等 不变性, 对匹配线段组的准确性也提供了保障。 (51)Int.Cl. 权利要求书 1 页 说明书 5 页 附图 4 页 (19)中。
3、华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图4页 (10)申请公布号 CN 103353984 A CN 103353984 A *CN103353984A* 1/1 页 2 1. 一种非几何约束多幅图像线段匹配的方法, 其特征在于包括以下步骤 : 步骤 S1 : 采集图像并输入计算机 ; 步骤 S2 : 对输入图像提取特征线段 ; 步骤 S3 : 在输入图像中均匀选取若干组基础图像对, 对每一组基础图像对都顺序执行 步骤 S4、 步骤 S5 ; 步骤 S4 : 两视图线段匹配 : 利用非几何约束的双视图匹配算法对一组基础图像对中的 两幅图像进行特征线段匹。
4、配 ; 步骤 S5 : 对于每一组基础图像对, 都要在余下的、 没有与之匹配过的图像中, 根据光心 距离搜寻与其距离较近的一幅图像, 对新搜寻的图像和基础图像对中与之距离最近的图像 进行两视图线段匹配, 判断新得到的匹配线段与基础图像对在步骤 S4 中得到的匹配线段 之间的关系, 重复上述过程, 直至每一幅图像都被搜索, 最终形成匹配线段组 ; 步骤 S6 : 筛选匹配线段组, 剔除不相容匹配线段组, 保留、 合并相容匹配线段组。 2. 根据权利要求 1 所述的非几何约束多幅图像线段匹配的方法, 其特征在于 : 所述步 骤 S4 包括 : 两幅图像间的特征线段匹配采用的是, 不利用对极几何约束。
5、的线段匹配算法。 3. 根据权利要求 1 所述的非几何约束多幅图像线段匹配的方法, 其特征在于 : 所述步 骤 S5 包括 : 在判断新得到的匹配线段与基础图像对在步骤 S4 中得到的匹配线段之间的关 系时, 若某一对匹配线段与已有的匹配线段相对应, 则将其纳入已有的线段匹配中, 形成匹 配线段组 ; 否则, 其单独形成一个匹配线段组, 重复上述过程, 直到所有未匹配图像都经过 搜寻。 4. 根据权利要求 1 所述的非几何约束多幅图像线段匹配的方法, 其特征在于 : 所述步 骤 S6 包括 : 对步骤 S5 得到的匹配线段组, 将其关系分为相容匹配, 即两组匹配包含的数据 不同但互相不矛盾 ;。
6、 完全相同匹配, 即两组匹配包含的数据完全相同 ; 不相容匹配, 即两组 匹配包含的数据互相矛盾, 其中, 相容匹配又分为无关相容匹配、 交错相容匹配和包含相容 匹配 ; 相容匹配需要合并两个匹配线段组, 完全相同匹配和不相容匹配则需要删除完全相同 的或不相容的匹配线段组。 权 利 要 求 书 CN 103353984 A 2 1/5 页 3 一种非几何约束多幅图像线段匹配的方法 技术领域 0001 本发明涉及三维重建的特征线段匹配技术领域, 特别涉及一种非几何约束多幅图 像线段匹配的方法。 背景技术 0002 多幅图像线段匹配是在不同图像上提取到的特征线段中, 寻找同一条空间线段在 不同成像。
7、图像上的投影, 对应于同一条空间线段的特征线段是一组匹配线段。这项技术可 应用在物体识别、 三维重建、 机器人导航等方面。 0003 传 统 的 多 幅 图 像 匹 配 算 法 (如 文 献 Baillard,C.,et al.,Automatic line matching and3D reconstruction of buildings from multiple views.ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery,Munich:Allemagne (1999) ) 是将输入。
8、图像分成若干组三图像组, 每一组中的三幅图像较为相近, 在每一组中利 用基础矩阵和三焦点张量匹配该组三幅图像中的特征线段, 并由其估算对应的三维直线, 之后将三维直线向另一组中的三幅图像进行投影, 如果有至少两幅图像中的检测线段与投 影线段重合, 则这两组图像中的六条线段即为匹配线段 ; 否则只有与投影线段重合的那一 幅图像中的检测线段, 才被认定为匹配线段。这一算法中所利用的基础矩阵与三焦点张量 等都需要预先获知。 0004 一 种 较 新 的 算 法 (文 献 Tomas Werner.Matching of Line Segments Across Multiple View:imple。
9、mentation Description.http:/cmp.felk.cvut.cz/cmp/ software/lmatch/lmatch_memo.pdf) 的匹配过程是以两幅图像间的线段匹配为基础的, 所 有步骤都直接在二维线段间展开, 利用到的几何关系也必须提前获知。这种算法的特征如 下 : 0005 a选取基础图像对。根据图像光心之间的距离, 在输入图像中均匀选取光心距离 最近的若干组图像对作为基础图像对。 0006 b计算基础匹配线段对。在每一组基础图像对 (k,l) 中, 利用对极几何计算所有 的匹配线段对 , 以此作为下一步扩展匹配的基础匹配线段对。 0007 c扩展匹配。。
10、以上一步中产生的匹配线段为中心, 利用对极几何, 在未匹配图像 中搜寻与已知匹配线段相对应的线段, 最终得到一些匹配线段组集合。 0008 d筛选匹配。通过唯一性约束和顺序约束, 筛选、 优化这些集合得到最终的线段 匹配。 0009 以上的匹配方法都是完全利用几何知识进行线段匹配, 这种做法虽然比较直观, 但是需要预先获知较为准确的几何约束。 发明内容 0010 本发明的目的在于解决现有技术中存在的上述问题, 提供一种具有旋转、 光照、 缩 放等不变性, 对匹配线段组的准确性提供有利保障的非几何约束多幅图像线段匹配的方 说 明 书 CN 103353984 A 3 2/5 页 4 法。 001。
11、1 为实现上述发明的目的, 本发明采用的技术方案包括以下步骤 : 0012 步骤 S1 : 采集图像并输入计算机 ; 0013 步骤 S2 : 对输入图像提取特征线段, 利用已有算法, 如 LSD 算法 (von Gioi,R. G.,et al.,LSD:A Fast Line Segment Detector with a False Detection Control.Ieee Transactions on Pattern Analysis and Machine Intelligence,2010.32(4):p.722-732 .) ; 0014 步骤 S3 : 在输入图像中均匀选。
12、取若干组基础图像对, 对每一组基础图像对都顺序 执行步骤 S4、 步骤 S5 ; 0015 步骤 S4 : 两视图线段匹配 : 利用非几何约束的双视图匹配算法对一组基础图像对 中的两幅图像进行特征线段匹配, 该步骤采用已有算法, 如文献 Fan,B.,F.Wu,and Z.Hu. Line matching leveraged by point correspondences.Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on. ; 0016 步骤 S5 : 对于每一组基础图像对, 都要在余下的、 没有与之匹。
13、配过的图像中, 根据 光心距离搜寻与其距离较近的一幅图像, 对新搜寻的图像和基础图像对中与之距离最近的 图像进行两视图线段匹配, 判断新得到的匹配线段与基础图像对在步骤 S4 中得到的匹配 线段之间的关系。重复上述过程, 直至每一幅图像都被搜索, 最终形成匹配线段组 ; 0017 步骤 S6 : 筛选匹配线段组, 剔除不相容匹配线段组, 保留、 合并相容匹配线段组。 0018 所述步骤 S4 包括 : 两幅图像间的特征线段匹配采用的是, 不利用对极几何约束的 线段匹配算法。如此的处理可以不用提前获知对极几何约束。 0019 所述步骤 S5 包括 : 在判断新得到的匹配线段与基础图像对在步骤 S。
14、4 中得到的匹 配线段之间的关系时, 若某一对匹配线段与已有的匹配线段相对应, 则将其纳入已有的线 段匹配中, 形成匹配线段组 ; 否则, 其单独形成一个匹配线段组, 重复上述过程, 直到所有未 匹配图像都经过搜寻。 0020 所述步骤 S6 包括 : 对步骤 S5 得到的匹配线段组, 将其关系分为相容匹配, 即两组 匹配包含的数据不同但互相不矛盾 ; 完全相同匹配, 即两组匹配包含的数据完全相同 ; 不 相容匹配, 即两组匹配包含的数据互相矛盾。其中, 相容匹配又分为无关相容匹配、 交错相 容匹配和包含相容匹配 ; 0021 相容匹配需要合并两个匹配线段组, 完全相同匹配和不相容匹配则需要删。
15、除完全 相同的或不相容的匹配线段组。 0022 与现有技术相比, 本发明提出的非几何约束多幅图像线段匹配方法, 避免了利用 几何约束时, 需要预先知道几何关系、 几何约束计算不准确等不足, 并且本发明中采用的双 视图匹配算法具有旋转、 光照、 缩放等不变性, 对匹配线段组的准确性也提供了保障。 附图说明 0023 图 1 是本发明非几何约束多幅图像线段匹配的方法的流程图 ; 0024 图 2 是匹配线段组关系示意图 ; 0025 图 3 多幅图像特征线段匹配结果 ; 0026 图 4 是另一个建筑物的多幅图像线段匹配结果。 说 明 书 CN 103353984 A 4 3/5 页 5 具体实施。
16、方式 0027 为使本发明的目的、 技术方案及优点更加清楚明白, 以下结合附图及具体实例, 对 本发明做进一步的详细说明。这些实例仅仅说明性的, 而并非对本发明的限制。 0028 图 1 是根据本发明非几何约束多幅图像线段匹配的方法的流程图, 以下对流程图 中的各步骤做以描述。 0029 步骤 S1 : 采集图像并输入计算机。利用手持设备拍摄同一场景不同视角下的多幅 图像, 输入计算机。 0030 步骤 S2 : 提取线段。 0031 输入为 M 张图像, 每张图像用 LSD 算法提取 Jm条特征线段, m=1,2,M, 则第 m 张 图像的第j条线段记为和(分别是线段lmj 的首尾坐标。 0。
17、032 步骤 S3 : 选取基础图像对。 0033 在输入的 M 幅图像中, 根据图像光心之间的距离, 均匀选取光心距离最近的若干 组图像对作为基础图像对。对每一组基础图像对 (mp,mq), p,q 1,M, 都重复、 顺序执行 步骤 S4、 S5。 0034 步骤 S4 : 两视图线段匹配。 0035 计算 (mp,mq) 中所有的匹配线段, 匹配线段集合记为 Spq, 其中任一组匹配线段为 si=lpj,lqb, 该组匹配的相似度为 ri=SimL(lpj,lqb), i=1,2,Ipq, Ipq为 Spq中匹配线段组 的总数。用 表示计算得到的所有匹配线段组的集合, 更新为 := Sp。
18、q。 0036 步骤 S5 : 匹配扩展 0037 k(Spq) 表示基础图像对图像 p,q,表示还未与 p,q 进行过进一步线段匹配的 图像。根据光心距离, 在中寻找与 k(Spq) 中图像距离最近的图像, 记作 : 0038 0039 计算中所有的匹配线段, 若中的一条线段与 Spq中某一已存在的匹配 线段组 si相对应, 假设与 lpj相匹配, 则将纳入 si中, si更新为ri更新为 若不与 Spq中任何已存在的匹配相对应, 而是与 lpc形成新的匹配线段组 则 Spq更新为 Spq:=Spq sv, 该组新匹配的相似度为Ipq更新为 Ipq+1。同时, 将从中剔除, 0040 重复该。
19、步骤中上述的各项操作, 直到中没有图像。 0041 步骤 S6 : 筛选匹配 0042 步骤 S3 至 S5 完成了初始的匹配线段组的生成过程, 中包含了多幅图像间所有 的匹配线段组, 但此时 中各匹配线段组之间的关系还是不成熟的, 两个匹配线段组之间 的关系可能会有以下三种情况 : 相容匹配, 即两组匹配包含的数据互相不矛盾 ; 完全相同 匹配 ; 不相容匹配, 即两组匹配包含的数据互相矛盾。 其中, 相容匹配又分为无关相容匹配、 交错相容匹配和包含相容匹配。除了无关相容, 其余几种情况都需要对 中的匹配数据进 说 明 书 CN 103353984 A 5 4/5 页 6 行进一步处理。以下。
20、分情况进行讨论, 以六幅图像为例, 图 1 中六幅图表示意了匹配线段组 之间可能出现的六种关系, 每幅图表的上下两行表示 中的两组匹配线段组, 每一列方格 表示一幅图像, 方格中的内容表示对应图像中的一条线段, -1 表示该幅图像在该组匹配中 没有对应线段, 红色、 绿色和蓝色分别示意不同的线段 , 蓝色为可能存在项, 不影响判断结 果。图 2 中从左到右, 从上到下的小图依次为 (a)、 (b)、 (c)、 (d)、 (e)、 (f)。 0043 无关相容匹配 : 0044 在两组匹配线段组共同涉及的图像中, 两组匹配包含的线段是不同的, 即 : 两组匹 配线段组重叠部分对应位完全不同, 如。
21、图 2(a) 所示。或者, 两组匹配线段组包含的的线段 中不涉及共同的图像, 即没有重叠的匹配位, 如图 2(b) 所示。 0045 交错相容匹配和包含相容匹配 0046 两匹配线段组重叠部分对应位相同, 不重叠部分, 只有一个匹配线段组有匹配线 段, 或者两方都没有匹配线段。 0047 交错相容是指如图 2(c) 所示的情况, 任一个匹配线段组的匹配线段集合都不能 包含另一个匹配线段组的匹配线段集合。包含匹配如图 2(d) 所示, 其中一个匹配线段组的 匹配线段集合, 可以真包含另一个匹配线段组的匹配线段集合。 0048 完全相同匹配 0049 完全相同匹配可以看作是包含相容匹配的一个特例,。
22、 如图 2(e) 所示, 两组匹配线 段组对应位完全相同。 0050 不相容匹配 0051 如图 2(f) 所示, 两组匹配线段组重叠部分的对应位, 有一部分相同, 一部分不同。 例如在一组匹配线段组中l1a,l2b,l3c相互匹配, 但在另一组匹配线段组中l1a,l2b,l3k相 互匹配, 这样的数据显然是相互矛盾的, 这两组匹配线段组即为不相容匹配。 0052 在以上对 中各匹配线段组之间关系的分析基础上, 需要对数据进行进一步处 理, 最终的数据存放在 *中, 步骤如下 : 0053 (1) 根据各匹配线段组的相似度 ri, 在 中选取相似度最高的匹配线段组 si, *:=* si, :。
23、=si。 0054 (2) 遍历 中的匹配线段组 sk, 与 si比较, 若 si与 sk属于无关相容匹配, 则在 中保留 sk, 继续 ; 若 si与 sk属于交错相容匹配或包含相容匹配, 则将 sk中与 si不同的匹配 线段合并入si, 并删除sk, :=sk; 若si与sk属于完全相同匹配或不相容匹配, 则直接从 中删除 sk, :=sk。 0055 (3) 重复上述步骤, 直至 中没有匹配线段组。 0056 步骤 S1 至 S6 完成后, *中为很多匹配线段组, 每一个匹配线段组的内容是各幅 图像中参与该组匹配的线段。将每一个匹配线段组中的线段在其对应的图像中绘制, 并标 注同样的序号。
24、和颜色。 0057 图3所示为Wadham大学基准图像集中的五幅图像的特征线段匹配结果, 五组图像 中, 上方图像为在输入原图上标注的匹配结果, 图中标注有相同数字的线段为一组匹配线 段组 ; 下方中间和右侧图像为上方图像的局部放大图, 以便于观察。从图中可以看到建筑 物外立面中大部分的线段都能在不同的图像中找到正确的匹配, 如 : 222、 363、 591、 472 等 等。本发明还对五张西安交通大学科学馆正面图片进行实验, 由于文档空间和图片清晰度 说 明 书 CN 103353984 A 6 5/5 页 7 的限制, 图 4 只截取了结构相对简单的楼顶装饰部分, 展示了五张图片中三张图。
25、片的效果, 图4(a)为线段匹配之前的三张原始图片, 图4(b)为线段匹配后, 与原始图相对应的楼顶装 饰部分的匹配结果。 0058 本发明可通过多种编程语言来实现, 包括但不限于 C、 C+ 等等。本说明书中的描 述仅仅是用于说明性的, 而不应被认为是限制性的。 本发明的范围仅受权利要求书的限制。 说 明 书 CN 103353984 A 7 1/4 页 8 图 1 图 2 说 明 书 附 图 CN 103353984 A 8 2/4 页 9 图 3 说 明 书 附 图 CN 103353984 A 9 3/4 页 10 说 明 书 附 图 CN 103353984 A 10 4/4 页 11 图 4 说 明 书 附 图 CN 103353984 A 11 。