《一种基于高清图像的车牌定位与识别方法.pdf》由会员分享，可在线阅读，更多相关《一种基于高清图像的车牌定位与识别方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 101937508 A (43)申请公布日 2011.01.05 CN 101937508 A *CN101937508A* (21)申请号 201010297917.4 (22)申请日 2010.09.30 G06K 9/00(2006.01) G06K 9/60(2006.01) G06K 9/66(2006.01) G08G 1/017(2006.01) (71)申请人 湖南大学 地址 410082 湖南省长沙市岳麓区麓山南路 2 号 申请人 湖南创合制造有限公司 (72)发明人 李树涛 吴希贤 杨斌 胡秋伟 陶君丽 盛先 (74)专利代理机构 长沙市融智专利事。
2、务所 43114 代理人 颜勇 (54) 发明名称 一种基于高清图像的车牌定位与识别方法 (57) 摘要 本发明公开发明了一种基于高清图像的车牌 定位与识别方法， 包括如下步骤 ：（1） 对原始彩色 图像进行一次下采样， 对下采样后的图像灰度化 并进行垂直边缘检测和二值化， 利用垂直边缘信 息进行车牌粗定位， 得到所有的候选车牌区域 ； （2） 将所有的候选车牌区域映射回原图像并送入 训练好的级联 Adaboost 分类器， 去除非车牌区 域 ；（3） 将经过步骤 （2） 得到的车牌区域进行倾斜 矫正 ；（4） 将经过步骤 （3） 得到的车牌区域进行字 符分割 ；（5） 对分割出的字符进行识别。
3、。本发明能 快速有效的从复杂场景中提取出多个大小不同的 车牌并能有效的提高字符识别的准确率， 其在智 能交通、 停车场管理和小区管理等方面有广泛的 应用前景。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 2 页 CN 101937509 A1/2 页 2 1. 一种基于高清图像的车牌定位与识别方法， 包括如下步骤 ： （1） 对原始彩色图像进行一次下采样， 对下采样后的图像灰度化并进行垂直边缘检 测和二值化， 利用垂直边缘信息进行车牌粗定位， 得到所有的候选车牌区域 ； （2） 将所有的候选车牌区域映射回原图像并。
4、送入训练好的级联 Adaboost 分类器， 去除非车牌区域 ； （3） 将经过步骤 （2） 得到的车牌区域进行倾斜矫正 ； （4） 将经过步骤 （3） 得到的车牌区域进行字符分割 ； （5） 对分割出的字符进行识别。 2. 根据权利要求 1 所述的基于高清图像的车牌定位与识别方法， 所述步骤 （1） 的垂直 边缘检测采用 Sobel 算子， 二值化方法采用 Otsu 全局阈值法。 3. 根据权利要求 1 所述的基于高清图像的车牌定位与识别方法， 所述步骤 （2） 的级联 Adaboost 分类器采用的是 Haar 特征。 4. 根据权利要求 1 所述的基于高清图像的车牌定位与识别方法， 所述。
5、步骤 （3） 采用基 于最小化水平投影的倾斜校正方法。 5. 根据权利要求 1 所述的基于高清图像的车牌定位与识别方法， 所述步骤 （4） 采用基 于模板的字符分割方法。 6. 根据权利要求 1 所述的基于高清图像的车牌定位与识别方法， 所述步骤 （5） 采用支 持向量机和模板匹配的融合方法对字符进行识别， 其步骤为 ： 第一步 ： 制作字符二值化模板 ； 第二步 ： 模板匹配算法所用模板库的制作， 把第一步得到字符二值化模板库归一 化到宽度为 18 个像素， 高度为 36 个像素， 作为模板匹配算法的模板库 ； 第三步 ： 支持向量机分类器的训练， 对第一步得到字符模板库归一化为宽度为 18。
6、 个像 素， 高度为 36 个像素， 作为支持向量机分类器的训练集， 把二值化的字符按列展开就得到 一个 648 维的行向量， 分别训练汉字分类器、 字母分类器、 数字分类器和字母数字分类器四 个多分类的支持向量机 ； 第四步 ： 把分割得到字符归一化为宽度为 18 个像素， 高度为 36 个像素， 用模板匹配方 法进行识别， 如果识别的可信度大于0.6就直接输出结果， 如果可信度低于0.6且识别结果 不是 0,Q,8,B 等相似字符时， 转到第六步 ； 第五步 ： 根据相似字符的特点， 提取字符的一部分归一化为宽度为 18 个像素， 高度为 36 个像素， 以 8 和 B 为例， 提取字符的。
7、左半部分并归一化， 利用 SVM 精分类器对相似字符进 行识别， 输出结果 ； 第六步 ： 根据字符在车牌中的位置选择四个支持向量机分类器中的一个对字符进行分 类， 并输出相应的置信度， 然后对 SVM 的识别结果和模板匹配的结果进行比较， 如果两种分 类方法得到的结果一样则直接输出结果， 否则转到第七步 ； 第七步 ： 利用证据理论融合支持向量机和模板匹配的结果， 判断是输出模板匹配的结 果还是 SVM 的识别结果， 识别结果按照下式融合 ： 权 利 要 求 书 CN 101937508 A CN 101937509 A2/2 页 3 m(A) 代 表属于 A 的可信度， mi代表证据 i 。
8、的信度分配函数， 代表该证据的权重。 权 利 要 求 书 CN 101937508 A CN 101937509 A1/5 页 4 一种基于高清图像的车牌定位与识别方法 技术领域 0001 本发明涉及一种车牌定位与识别方法， 具体涉及一种基于高清图像的车牌定位与 识别方法。 背景技术 0002 随着经济的发展， 汽车保有量急剧增长， 对交通、 治安的管理要求也日益提高， 采 用高清摄像机成像技术， 不仅可以清晰抓拍车牌， 还可以提供高质量的前排司乘人员的面 貌图像， 并且可以记录车辆全貌及车载情况等信息， 从而满足了刑侦、 治安、 交警等多个业 务部门的需求。此外， 采用 200 万或者更高像。
9、素的摄像机， 一个摄像机可以抓拍 2-3 车道， 系统建设效率也明显提高。因此， 高清晰的车牌识别系统， 包括治安卡口系统、 电子警察系 统等， 已成为当前发展的一个热点。 0003 而现有的基于标清图像的车牌识别技术很难直接用于高清图像， 原因在于高清图 像取景范围大， 需要处理的数据量很大， 背景也更复杂， 而且一般监控几个车道， 需要同时 识别几个车牌， 不同车道的车牌大小也不一样， 现有的基于标清图像的车牌识别系统一般 背景简单且只识别单一车道的单一车牌， 另外相似字符和退化字符的识别一直是影响车牌 字符识别准确率的重要因素， 因此如何快速有效的从复杂场景中提取出多个大小不同的车 牌以。
10、及提高对相似字符和退化字符的识别率是现有车牌识别技术待解决的一个重要问题。 发明内容 0004 为了解决现有车牌定位与识别存在的上述技术问题， 本发明提供一种基于高清图 像的车牌定位与识别方法。本发明利用基于边缘的车牌定位方法速度快、 准确率高的特点 和级联 Adaboost 分类器虚警率低的特点， 对车牌区域进行快速准确定位， 采用模板匹配和 SVM 融合的字符识别方法， 综合两类方法各自的优点， 打破单一字符识别方法识别率难以提 高的局限， 提高了对相似字符和退化字符的识别准确率。 0005 本发明解决上述技术问题的技术方案包括以下步骤 ： （1） 对原始彩色图像进行一次下采样， 对下采样。
11、后的图像灰度化并进行垂直边缘检测 和二值化， 利用垂直边缘信息进行车牌粗定位， 得到所有的候选车牌区域 ； （2） 将所有的候选车牌区域映射回原图像并送入训练好的级联 Adaboost 分类器， 去除 非车牌区域 ； （3） 将经过步骤 （2） 得到的车牌区域进行倾斜矫正 ； （4） 将经过步骤 （3） 得到的车牌区域进行字符分割 ； （5） 对分割出的字符进行识别。 0006 进一步， 所述步骤 （1） 的垂直边缘检测采用 Sobel 算子， 二值化方法采用 Otsu 全 局阈值法。 0007 进一步， 所述步骤 （2） 的级联 Adaboost 分类器采用的是 Haar 特征。 0008 。
12、进一步， 所述步骤 （3） 采用基于最小化水平投影的倾斜校正方法。 说 明 书 CN 101937508 A CN 101937509 A2/5 页 5 0009 进一步， 所述步骤 （4） 采用基于模板的字符分割方法。 0010 进一步， 所述步骤 （5） 采用 SVM 和模板匹配的融合方法对字符进行识别。 0011 由于采用上述技术方案， 本发明的技术效果是 ： 本发明对图像进行一次下采样后 再进行垂直边缘检测， 利用基于边缘的定位方法准确率高、 速度快的特点进行快速粗定位， 然后利用级联 Adaboost 分类器对非车牌区域进行去除， 解决了基于边缘的检测方法虚警 率高的缺点， 由于对图。
13、像进行了下采样， 因此能大大提高处理速度， Adaboost 算法的引入也 提高了方法的鲁棒性和去除误检的能力。 最后利用融合支持向量机分类器和模板匹配的方 法对提取出来的车牌字符进行识别， 通过综合两类识别方法各自的优点， 打破单一字符识 别方法识别率难以提高的局限， 提高了对相似字符和退化字符的识别准确率。 0012 下面结合附图和具体实施方式对本发明作进一步详细的说明 ： 附图说明 0013 图 1 为本发明实施例的流程示意图 ； 图 2 为本发明实施例所用到的 Haar 特征类型 ； 图 3 为本发明实施例所用到的一些 Adaboost 训练用的车牌图片 ； 图 4 为本发明实施例字符。
14、识别部分的流程示意图 ； 图 5 为本发明实施例所用到的一些字符模板和 SVM 训练字符。 具体实施方式 0014 如图 1-5 所示， 其具体实施步骤如下 ： 1、 候选车牌区域的提取 在实际车牌识别系统中， 车牌在图像中的大小受摄像头的安装位置、 采集的场景大小 和车速等的影响， 为了快速有效的提取大小不同的车牌候选车牌区域， 实施例中采用基于 边缘的方法进行车牌候选区域的提取。本发明中只有两个阈值输入， 最小车牌高度和最大 车牌高度， 其它阈值都通过这两个阈值来确定， 高度范围一般取 15-45 个像素就能解决大 部分的场景应用问题， 如果有更小的车牌或者更大的车牌需要检测， 只需要修改。
15、这两个高 度阈值即可， 方法本身无须任何修改， 使得本发明具有很强的鲁棒性和通用性。 0015 提取候选车牌区域的步骤如下 ： 第一步 ： 对输入图像进行一次下采样， 对下采样之后的图像进行灰度化。 0016 第二步 ： 对第一步得到的灰度图像进行 Sobel 垂直边缘检测， 并利用 Otsu 算法对 边缘图像进行二值化， 得到二值化后的垂直边缘图像。 0017 第三步 ： 假定车牌高度在原图中的范围为 15-45 个像素， 则由于下采样之后图像 大小变为原来的 1/4， 则下采样之后图像中车牌高度范围为 8-23 个像素， 根据车牌的高度 范围确定车牌的最大车牌高度、 最小车牌高度、 最大车。
16、牌长度、 最小车牌长度、 最小车牌面 积和最大车牌字符间距这几个阈值。利用车牌区域垂直边缘比较密集的特点， 对二值垂直 边缘图像进行连线， 找出所有的车牌候选区域。 0018 第四步 ： 把所有的车牌候选区域映射回原图。 0019 2、 级联 Adaboost 去除非车牌区域 上述基于灰度边缘图像的车牌候选区域提取算法的检测率很高且速度很快， 但虚警率 说 明 书 CN 101937508 A CN 101937509 A3/5 页 6 也相对较高， 我们引入 Adaboost 对候选车牌区域进行筛选， 去除非车牌区域。Adaboost 去 除非车牌区域算法主要分为训练部分和判别部分。具体训练。
17、和判别步骤描述如下 ： 训练部分的步骤如下 ： 第一步 ： 对训练用的车牌图片和非车牌图片进行归一化， 包括灰度归一化和尺度归一 化。 0020 第二步 ： 通过Haar特征来描述车牌， 采用Adaboost算法， 选择Haar特征生成具有 区分车牌与非车牌的 Adaboost 级联分类器。所述 Adaboost 算法步骤是 ： 1） 给定 个训练样本 ，分别表示为负样本或正样本。 0021 2） 初始化权重， 其中正样本个数为 ， 负样本个数为。 0022 3） 从 1 到,为特征个数， 循环执行以下步骤 ： a） 归一化权重； b）对 每 一 个 特 征，训 练 一 个 弱 分 类 器，记。
18、 此 分 类 器 错 误 率 为 ； c） 从上一步训练出的所有弱分类器中， 找出具有最低错误率的分类器； d） 更新权重， 其中， 为第 t 次循环时分类器的错误率， 如果 被分类正确， 否则。 0023 4） 最后得到强分类器 其中， 代表第 t 个弱分类器的权重。 0024 判别部分的步骤如下 ： 利用训练好的级联 Adaboost 遍历每一个车牌候选区域， 若该候选区域里能检测出车 牌， 则保留该候选区域， 否则删除该候选区域。 0025 3、 倾斜矫正 对车牌区域进行差分垂直边缘检测， 得到车牌区域的的垂直边缘图， 并利用 Otsu 算法 对垂直边缘图进行二值化， 对图像进行旋转， 。
19、旋转角度从 -30到 +30之间变化， 每次角 度增加 0.1， 找到一个角度使得垂直边缘二值化图的水平投影宽度最小， 此角度即为图像 的倾斜角度 ； 然后利用双线性插值法对车牌图像进行校正。 0026 4、 字符分割 采用模板法进行字符分割， 首先利用边缘和颜色信息对倾斜矫正后的图像进行一次精 定位， 包括上下精定位和左右精定位， 再对倾斜矫正后的图像利用 Bernsen 局部二值化方 法进行二值化， 解决光照不均所造成的影响 ； 根据先验知识制作车牌分割模板， 按照倾斜校 正后的车牌区域高度缩放模板 ； 利用此模板在车牌区域上从左至右滑动并计算中间 12 个 说 明 书 CN 101937。
20、508 A CN 101937509 A4/5 页 7 分割处的二值化垂直投影值之和， 选取投影和最小的分割位置即字符左右边界得到字符。 这用方法能有效的解决相连字符和破损字符的分割问题。 0027 5、 字符识别 模板匹配是将分割好的字符图像与字符库中的字符模板进行匹配， 优点是简单易行， 粗分类效果好， 如果特别加入一些经常可能出现的退化字符模板， 会提高对退化字符的识 别准确率， 但对相似字符的识别效果差。支持向量机 （SVM） 方法是建立在统计学习理论及 结构风险最小原来基础上的， 该算法具有良好的推广能力， 从理论上讲， 该算法得到的将是 全局最优解， 而且对相似字符识别准确率较高。。
21、但由于该算法最终的分类只依赖于支持向 量， 所以对退化字符的识别准确率不是很高。 0028 为了提高字符识别的准确率， 本发明采用融合模板匹配和 SVM 分类的方法进行字 符识别， 综合两类方法各自的优点， 打破单一字符识别方法识别率难以提高的局限， 提高了 对相似字符和退化字符的识别准确率。 0029 字符识别算法分为分类器构造和识别两个过程， 具体描述如下 ： 分类器构造的步骤如下 ： 第一步 ： 制作字符二值化模板， 字符二值化模板包括标准字符字符二值化模板和实际 车牌字符二值化模板， 标准字符模板从 中华人民共和国公关安全行业标准 ： 中华人民共和 国机动车号牌 （GA36-2007）。
22、 附录 B 的字样图像获得， 经过二值化和归一化后直接作为标准 字符模板。实际车牌字符二值化模板通过对实际车牌图片进行前面步骤所述的定位、 分割 和二值化处理得到。再经过归一化处理即可以作为车牌字符模板。最后可以得到 73 个字 符二值化模板库， 包括 37 个汉字库、 26 个英文大写字母库和 10 个数字库。 0030 第二步 ： 模板匹配算法所用模板库的制作， 把第一步得到字符二值化模板库归 一化到宽度为 18 个像素， 高度为 36 个像素， 作为模板匹配算法的模板库， 为了增加模板匹 配对退化字符的识别率， 经过对现实车牌图片分割结果的大量统计， 我们特别的加入一些 常见的退化字符模。
23、板。 0031 第三步 ： SVM 分类器的训练， 对第一步得到字符模板库归一化为宽度为 18 个像素， 高度为 36 个像素， 作为 SVM 分类器的训练集， 把二值化的字符按列展开就得到一个 648 维 的行向量， 分别训练汉字分类器、 字母分类器、 数字分类器和字母数字分类器四个多分类的 支持向量机 （SVM） ， 针对 8 和 B、 4 和 A 和 0 和 Q 等相似字符特别训练精分类的分类器， 以 8 和 B 为例， 取 8 字符和 B 字符的左半部分另外训练一个用于精分类的支持向量机， 以提高对 相似字符的识别准确率 , 其它相似字符类似。 0032 识别过程步骤如下 ： 第一步 。
24、： 把分割得到字符归一化为宽度为 18 个像素， 高度为 36 个像素， 用模板匹配方 法进行识别， 如果识别的可信度大于0.6就直接输出结果， 如果可信度低于0.6且识别结果 不是 0,Q,8,B 等相似字符时， 转到第三步。 0033 第二步 ： 根据相似字符的特点， 提取字符的一部分归一化为宽度为 18 个像素， 高 度为 36 个像素， 以 8 和 B 为例， 提取字符的左半部分并归一化， 利用 SVM 精分类器对相似字 符进行识别， 输出结果 第三步 ： 根据字符在车牌中的位置选择四个 SVM 分类器中的一个对字符进行分类， 并 输出相应的置信度， 然后对 SVM 的识别结果和模板匹。
25、配的结果进行比较， 如果两种分类方 说 明 书 CN 101937508 A CN 101937509 A5/5 页 8 法得到的结果一样则直接输出结果， 否则转到第四步。 0034 第四步 ： 利用证据理论融合 SVM 和模板匹配的结果， 大量的实验表明模板匹配和 SVM 同时分类错误的概率是极低的， 所以我们只需判断是输出模板匹配的结果还是 SVM 的 识别结果， 识别结果按照下式融合 ： m(A) 代表 属于 A 的可信度， mi代表证据 i 的信度分配函数， wi代表该证据的权重， 在这里我们有模板 匹配的结果和 SVM 的预测结果两个证据， 其各自的信度分配函数取各自输出的置信度， 权 重分别取 0.6 和 0.4， 由此我们可以分别计算融合后的模板匹配结果的可信度 m(A1) 和 SVM 结果的可信度m(A2)， 如果m(A1) m(A2)就输出模板匹配的结果， 否则输出SVM的识别结果。 说 明 书 CN 101937508 A CN 101937509 A1/2 页 9 图 1 图 2 图 3 说 明 书 附 图 CN 101937508 A CN 101937509 A2/2 页 10 图 4 图 5 说 明 书 附 图 CN 101937508 A 。