《一种基于视觉特征的车辆图像比对方法.pdf》由会员分享，可在线阅读，更多相关《一种基于视觉特征的车辆图像比对方法.pdf（5页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104298967 A (43)申请公布日 2015.01.21 CN 104298967 A (21)申请号 201410482824.7 (22)申请日 2014.09.19 G06K 9/00(2006.01) G06F 17/30(2006.01) G08G 1/017(2006.01) (71)申请人 上海依图网络科技有限公司 地址 200240 上海市松江区北松公路 4915 号影视乐园南大楼 1261 室 (72)发明人 朱珑 陈远浩 (74)专利代理机构 上海科盛知识产权代理有限 公司 31225 代理人 赵继明 (54) 发明名称 一种基于视觉特征的。
2、车辆图像比对方法 (57) 摘要 本发明涉及一种基于视觉特征的车辆图像比 对方法， 包括以下步骤 ： 1) 采集大量车辆图像数 据形成图像数据库， 根据图像数据库建立车辆图 像集合的倒排表索引表 ； 2) 根据所述倒排表索引 表， 检索与输入的 Query 图像最相似的 n 张图像， 并输出。与现有技术相比， 本发明速度快， 平均 1 个Query图像只需要1秒时间比对完成， 在百万级 别的数据库上， 正确率可以达到 8 成。 (51)Int.Cl. 权利要求书 1 页 说明书 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书3页 (10)申请公布号 。
3、CN 104298967 A CN 104298967 A 1/1 页 2 1. 一种基于视觉特征的车辆图像比对方法， 其特征在于， 包括以下步骤 ： 1) 采集大量车辆图像数据形成图像数据库， 根据图像数据库建立车辆图像集合的倒排 表索引表 ； 2) 根据所述倒排表索引表， 检索与输入的 Query 图像最相似的 n 张图像， 并输出。 2. 根据权利要求 1 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的建立车辆图像集合的倒排表索引表具体为 ： (a) 对图像数据库中的每张车辆图像进行车牌检测和品牌识别处理 ； (b) 根据检测得的车牌位置抽取车辆图像， 并进行归一化处。
4、理 ； (c) 采用多种特征提取方法对抽取的每张车辆图像进行特征点提取， 对不同方法获得 的特征点进行非极大值抑制处理， 在相同区域只保留一个关键点 ； (d) 对获得的关键点提取特征， 包括 SIFT、 SURF 和 LSSD 三种特征， 最终获得所有图像 的特征点 ； (e) 对步骤 (d) 中获得的特征点进行聚类分析， 生成词表 ； (f) 将每张车辆图像中的每个特征点与词表进行比对， 将每张车辆图像以特征向量的 形式表达， 所述特征向量为 (s1， s2， s3， ， sN)， 其中， sK 表示在当前图像中词表的第 K 个词出现的次数， K 1， 2， .， N， N 为词表中词的总。
5、数 ； (g) 对特征向量进行 TF-IDF 归一化， 并根据品牌识别处理的结果建立不同品牌下的倒 排表索引表。 3. 根据权利要求 2 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的车牌检测采用 AdaBoost 检测器执行。 4. 根据权利要求 2 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的步骤 (c) 中的特征提取方法包括 SIFT、 MSER 和 Harris Laplace。 5. 根据权利要求 2 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的步骤 (c) 中， 采用多种特征提取方法进行特征点提取时， 任意两种方法提取。
6、的特征点之 间重复率大于 50。 6. 根据权利要求 2 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的步骤 (e) 中， 聚类分析采用的方法为利用 KD-Forests 技术加速后的 Kmeans 聚类算法。 7. 根据权利要求 2 所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所述 的检索与输入的 Query 图像最相似的 n 张图像具体步骤为 ： (aa) 根据步骤 (a)-(f) 对 Query 图像的特征区域进行检测， 获得与 Query 图像相对就 把 TF-IDF 归一化后的特征向量 ； (bb) 对 Query 图像进行品牌识别 ； (cc) 分。
7、别计算 Query 图像的特征向量与对应品牌下的倒排表索引表中所有特征向量 的余弦相似性， 输出余弦相似性最小的 n 张图像。 8.根据权利要求1或7所述的一种基于视觉特征的车辆图像比对方法， 其特征在于， 所 述的 n 为 15-25。 权 利 要 求 书 CN 104298967 A 2 1/3 页 3 一种基于视觉特征的车辆图像比对方法 技术领域 0001 本发明涉及一种图像识别方法， 尤其是涉及一种基于视觉特征的车辆图像比对方 法。 背景技术 0002 近年来， 智能交通系统发展快速， 随着计算机视觉和模式识别技术的发展， 为智能 交通系统更有效的应用提供了契机。计算机视觉是利用计算机。
8、来模拟人的视觉功能， 从客 观事物的图像中提取信息， 进行处理并加以理解， 最终用于实际检测、 测量和控制。 0003 现有技术没有针对车辆系统专门做优化， 因此性能无法满足需求。目前还没有能 在百万级别的数据库上找到相似车辆的技术。 发明内容 0004 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种速度快、 搜索精 度高的基于视觉特征的车辆图像比对方法。 0005 本发明的目的可以通过以下技术方案来实现 ： 0006 一种基于视觉特征的车辆图像比对方法， 包括以下步骤 ： 0007 1) 采集大量车辆图像数据形成图像数据库， 根据图像数据库建立车辆图像集合的 倒排表索引表 ； 00。
9、08 2) 根据所述倒排表索引表， 检索与输入的 Query 图像最相似的 n 张图像， 并输出。 0009 所述的建立车辆图像集合的倒排表索引表具体为 ： 0010 (a) 对图像数据库中的每张车辆图像进行车牌检测和品牌识别处理 ； 0011 (b) 根据检测得的车牌位置抽取车辆图像， 并进行归一化处理 ； 0012 (c) 采用多种特征提取方法对抽取的每张车辆图像进行特征点提取， 对不同方法 获得的特征点进行非极大值抑制处理， 在相同区域只保留一个关键点 ； 0013 (d) 对获得的关键点提取特征， 包括 SIFT、 SURF 和 LSSD 三种特征， 最终获得所有 图像的特征点 ； 0。
10、014 (e) 对步骤 (d) 中获得的特征点进行聚类分析， 生成词表 ； 0015 (f) 将每张车辆图像中的每个特征点与词表进行比对， 将每张车辆图像以特征向 量的形式表达， 所述特征向量为 (s1， s2， s3， ， sN)， 其中， sK 表示在当前图像中词表的 第 K 个词出现的次数， K 1， 2， .， N， N 为词表中词的总数 ； 0016 (g) 对特征向量进行 TF-IDF 归一化， 并根据品牌识别处理的结果建立不同品牌下 的倒排表索引表。 0017 所述的车牌检测采用 AdaBoost 检测器执行。 0018 所述的步骤 (c) 中的特征提取方法包括 SIFT、 MS。
11、ER 和 Harris Laplace。 0019 所述的步骤 (c) 中， 采用多种特征提取方法进行特征点提取时， 任意两种方法提 取的特征点之间重复率大于 50。 说 明 书 CN 104298967 A 3 2/3 页 4 0020 所述的步骤(e)中， 聚类分析采用的方法为利用KD-Forests技术加速后的Kmeans 聚类算法。 0021 所述的检索与输入的 Query 图像最相似的 n 张图像具体步骤为 ： 0022 (aa) 根据步骤 (a)-(f) 对 Query 图像的特征区域进行检测， 获得与 Query 图像相 对就把 TF-IDF 归一化后的特征向量 ； 0023 (。
12、bb) 对 Query 图像进行品牌识别 ； 0024 (cc) 分别计算 Query 图像的特征向量与对应品牌下的倒排表索引表中所有特征 向量的余弦相似性， 输出余弦相似性最小的 n 张图像。 0025 所述的 n 为 15-25。 0026 与现有技术相比， 本发明具有以下优点 ： 0027 1、 速度快， 平均 1 个 Query 图像只需要 1 秒时间 ； 0028 2、 搜索精度高， 在百万级别的数据库上， 正确率可以达到 8 成 ； 0029 3、 鲁棒性强， 可以在不同场景下使用。 具体实施方式 0030 下面结合具体实施例对本发明进行详细说明。 本实施例以本发明技术方案为前提 。
13、进行实施， 给出了详细的实施方式和具体的操作过程， 但本发明的保护范围不限于下述的 实施例。 0031 一种基于视觉特征的车辆图像比对方法， 该方法， 其输入包括 Query 图像、 Query 图像上的特征区域和图像数据库， 输出为图像数据库最相似的 n 辆车， 具体包括建库和检 索两个步骤， 其中， 建库只和图像数据库有关， 流程完成后可以处理任意 Query 图像。该方 法具体说明如下 ： 0032 1) 建库 ： 采集大量车辆图像数据形成图像数据库， 根据图像数据库建立车辆图像 集合的倒排表索引表， 具体为 ： 0033 (a) 对图像数据库中的每张车辆图像进行车牌检测和品牌识别处理，。
14、 车牌检测采 用 AdaBoost 检测器执行， 品牌识别处理采用中国专利 CN103488973A 公开的技术方案。 0034 (b) 根据检测得的车牌位置抽取车辆图像， 并进行归一化处理。 0035 (c) 采用多种特征提取方法 (detector) 对抽取的每张车辆图像进行特征点提取， 特征提取方法包括 SIFT( 也称为 DoG)、 MSER 和 Harris Laplace 不同车辆监控系统采集的 图像质量有明显差异， 因此不能对所有图像采用相同的参数， 可采用爬坡法的方式来调整 参数， 最终目标是 3 种 detector 都抽取出 2K 左右的特征点 ( 点太少无法精确描述车辆的。
15、 视觉特点 )， 且任意两个 detector 抽取的特征点之间有 5 成的重复率 ( 避免某个 detector 由于参数原因性能太差， 都检测到地面等无用区域)。 对不同方法获得的特征点进行非极大 值抑制处理， 在相同区域只保留一个关键点。 0036 (d) 对获得的关键点提取特征， 包括 SIFT、 SURF 和 LSSD 三种特征， 最终获得所有 图像的特征点。 对所有车辆图像都抽取特征后， 每张图像都抽取一定数目的特征点， 最后共 收集到约 100M 个特征点。 0037 (e)对步骤(d)中获得的特征点进行聚类分析， 生成词表， 词表中约有1M个词。 常 见聚类分析方法是 Kmea。
16、ns， 但其速度太慢， 正常情况下一台普通机器需要 1 个月时间， 所以 说 明 书 CN 104298967 A 4 3/3 页 5 本发明采用了 KD-Forests 技术进行加速， 使其在 3 5 小时内完成。 0038 (f) 将每张车辆图像中的每个特征点与词表进行比对， 将每张车辆图像以特征向 量的形式表达， 所述特征向量为 (s1， s2， s3， .， sN)， 其中， sK 表示在当前图像中词表的第 K 个词出现的次数， K 1， 2， .， N， N 为词表中词的总数。 0039 (g) 对特征向量进行 TF-IDF 归一化， 并根据品牌识别处理的结果建立不同品牌下 的倒排表。
17、索引表， 来加快后续索引过程。 0040 2) 检索 ： 根据所述倒排表索引表， 检索与输入的 Query 图像最相似的 n 张图像， 并 输出， n 可根据需要设为 15-25， 这里的相似定义是两张图像最终特征向量的 Cos 相似性。 检索步骤具体为 ： 0041 (aa) 根据步骤 (a)-(f) 对 Query 图像的特征区域进行检测， 获得与 Query 图像相 对就把 TF-IDF 归一化后的特征向量 ； 0042 (bb) 对 Query 图像进行品牌识别 ； 0043 (cc) 分别计算 Query 图像的特征向量与对应品牌下的倒排表索引表中所有特征 向量的余弦相似性， 输出余弦相似性最小的 n 张图像。 说 明 书 CN 104298967 A 5 。