一种基于相似度学习的车辆检索方法技术领域:
本发明是关于视频、图像中相似车辆检索的一种方法,不但在一般场景下具有较高的检测率和精确度,而且在目标车辆存在较大的姿态和光照变化时,本方法依然具有很好的表现。
背景技术:
当前城市各种道路和重要区域都设置有摄像头,采集到的车辆图片在维护治安中起到很重要的作用。传统的相似车辆检索都是基于车牌识别技术,但对于假牌车,套牌车的检索效果很差。为此,本发明提出一种不依赖车牌识别的相似车辆检索,可以有效的解决套牌车,无牌车无法检索的问题。
发明内容:
本发明针对实际车辆检索应用的需求,设计了一种对光照变换和姿态变换具有较强鲁棒性的方法。
本发明由以下两部分构成:
1.特征提取模块
给定车辆区域,获得SIFT特征点和描述后,使用聚类算法对SIFT特征离散化。为了弥补SIFT特征缺少位置信息的缺陷,进一步使用邻域内离散SIFT特征分布生成邻域特征,作为最终的特征点描述。
2.相似度学习模块
每一个车辆图片由一批特征来表示,一对相似车辆图片的特征组成一个正样本,一对不同车辆图片的特征组成一个负样本。如此收集大量的正负样本后,利用随机森林方法进行相似度学习,获得分类器可以用来判断两个车辆是否相似,达到相似车辆检索的目的。
附图说明:
后续结合附图的详细说明将更为清晰的解释本发明的特征,目的和优势,其中:
图1是本发明的整体架构示意图
图2是本发明的特征提取模块流程图
图3是本发明的相似度学习模块流程图
图4是本发明的详细训练流程图
图5是本发明的详细预测流程图
具体实施方式:
现在,将参照附图描述本发明的优选实施例。
图1是表示本发明装置的整体架构示意图。
如图1所示,本发明由邻域特征提取模块和相似度学习模块两部分组成。邻域特征提取模块完成从车辆图片中获取一种对光照,姿态都有较好鲁棒性的局部特征。相似度学习模块通过合理的构造正负样本集,利用随机森林学习相似度评估模型,达到相似车辆检索的目的。
图2是表示本发明的邻域特征提取模块的流程图。
如图2所示,本发明优选实例的特征提取模块详细步骤如下:
(S21)输入原始的车辆图片库。
车辆区域定义为车辆正面的一个矩形区域,上边缘到驾驶室车窗顶部,下边缘到车牌底部,左边缘到车辆驾驶室车窗左边界,右边缘到驾驶室车窗右边界。
(S22)从图片库中提取SIFT特征集。
提取SIFT特征点首先需要建立图像的高斯金字塔,金字塔中像素的值如果超过邻域内其他像素,则选择改点作为特征点。从特征点邻域内生成一个128维的向量用来描述该特征点,这个向量就是SIFT特征。
(S23)利用K均值聚类方法对SIFT特征集离散化。
从图片库中可以提取大量的SIFT特征集,利用K均值聚类对其作离散化。K均值聚类通过迭代的方式,把每一个SIFT特征划分到距离其最近的聚类中,最终SIFT特征集被划分成K个离散的聚类,认为同一个聚类的SIFT特征是一样的,则可以使用类编号表示SIFT特征,即离散SIFT特征。本发明的优选实例中取K值为100000。
(S24)生成邻域特征
为了弥补SIFT特征缺少特征相对位置关系的缺陷,要把离散化的SIFT进一步转换成邻域特征。假设SIFT聚类个数为K,选择N×N的邻域,则邻域特征可以表示为一个整数序列,其元素的值不超过K×N×N。给定一个SIFT特征点,以其为中心定义一个N×N的邻域。按照如下规则生成一个矩阵:同一个子区域内,同一个离散SIFT特征出现多次只记录一次;如果第k个离散SIFT特征出现在第n个区域内,则矩阵第n行的第k个值置为1,否则置为0。最终的整数序列按照下面的步骤生成:初始序列为空,自左向右,自上而下扫描矩阵,如果第n行第k个值为1,则在序列中增加一个整数,值为(n-1)×K+k,忽略值为0的元素,由此得到一个整数序列,这个序列就是邻域特征。本发明的优先实例中K取100000,N取3
图3是本发明的相似度学习模块的流程图。
如图3所示,本发明优选实例的相似度学习模块的详细步骤如下:
(S31)输入邻域特征
(S32)构造训练样本
一个训练样本由三部分构成:图像A的邻域特征集,图像B的邻域特征集以及相似度标志Y。Y取1时表示正样本,其中A和B是相似车辆的不同图片;Y取0时表示负样本,其中A和B是不相似车辆的图片。
(S33)随机森林训练模块
随机森林是随机树的集合,随机树由内节点和叶子节点构成,训练时内节点随机选定一个特征,按照样本中两个特征集是否包含该特征,把样本划分成两个不相交的集合,如此不断划分样本集,产生新的内节点,直至某终止条件时,生成一个叶子节点。叶子节点记录节点内正样本在节点内总样本中的比例,表示该叶子节点内正样本的置信度。训练过程中,三个重要的训练参数是,随机树允许的最大深度D,随机树的个数T以及节点内最小样本数L。本发明的优选实例中D取500,T取20000,L取1000.
图4是本发明的详细训练流程图。
如图4所示,本发明的优选实例的训练流程详细步骤如下:
(S41)输入车辆图片库
具体要求和S21一致
(S42)SIFT特征提取
具体操作和S22一致
(S43)K均值聚类训练
具体操作和S23一致
(S44)生成邻域特征
具体操作和S44一致
(S45)构造训练样本
具体操作和S32一致
(S46)训练随机森林
具体操作和S33一致
图5是本发明的详细预测流程图。
如图5所示,本发明的优选实例的预测流程详细步骤如下:
(S51)输入查询图片
查询图的要求和(S21)中的描述一致
(S52)提取SIFT特征
具体操作和S22一致
(S53)K均值聚类预测模块
K均值聚类预测的具体流程是:计算样本到每一个聚类中心的距离,选取最小距离对应的聚类编号作为输出。
(S54)生成邻域特征
具体操作和S24一致
(S55)随机森林预测模块
随机森林的预测是通过随机树的预测来实现的。查询图特征和图像库中每个车辆图片的特征组成一个查询样本,被分发给每一个随机树,查询样本从内节点向叶子节点移动,抵达内节点时按照训练时确定的内节点规则决定下一步移动方向,抵达叶子节点时把训练时确定的正样本置信度作为随机树的输出。所有随机树的输出经过投票后作为随机森林的输出,表示查询图和该库存图的相似度,最终按照相似度由大到小的次序输出查询结果。
尽管出于说明性目的已经公开本发明的优选实施例,但是本领域的普通技术人员将懂得各种变更,增加或是替代都是可能的,并不脱离如附带的权利要求书中所公开的本发明的精神和范围。