《一种基于字符融合特征的车牌字符识别方法及系统.pdf》由会员分享,可在线阅读,更多相关《一种基于字符融合特征的车牌字符识别方法及系统.pdf(16页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 103902981 A (43)申请公布日 2014.07.02 CN 103902981 A (21)申请号 201410132674.7 (22)申请日 2014.04.02 G06K 9/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) G08G 1/017(2006.01) (71)申请人 浙江师范大学 地址 321004 浙江省金华市迎宾大道 688 号 (72)发明人 熊继平 汤清华 赵健 (74)专利代理机构 北京聿宏知识产权代理有限 公司 11372 代理人 吴大建 钟日红 (54) 发明名称 一种基于。
2、字符融合特征的车牌字符识别方法 及系统 (57) 摘要 本发明公开了一种基于字符融合特征的车牌 字符识别方法及系统, 克服目前车牌字符识别准 确度较低的不足。该方法包括 : 对车牌图像进行 预处理, 获得预处理图像 ; 提取出预处理图像中 字符的融合特征 ; 对字符的融合特征进行分类识 别, 获得车牌信息。 本申请的实施例可以提高车牌 字符识别的准确度和速度。 (51)Int.Cl. 权利要求书 2 页 说明书 9 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书9页 附图4页 (10)申请公布号 CN 103902981 A CN 1039。
3、02981 A 1/2 页 2 1. 一种基于字符融合特征的车牌字符识别方法, 用于从车牌图像中识别出车牌信息, 其特征在于, 该方法包括 : 对所述车牌图像进行预处理, 获得预处理图像 ; 提取出所述预处理图像中字符的融合特征 ; 对所述字符的融合特征进行分类识别, 获得所述车牌信息。 2. 根据权利要求 1 所述的方法, 其特征在于, 对所述车牌图像进行预处理, 获得预处理 图像, 包括 : 对所述车牌图像进行二值化处理, 得到二值化图像 ; 在所述二值化图像中确定包含有字符的有效字符区域 ; 在所述有效字符区域中提取出字符的骨架, 得到包含所述骨架的所述预处理图像。 3. 根据权利要求 。
4、1 所述的方法, 其特征在于, 提取出所述预处理图像中字符的融合特 征, 包括 : 提取出所述预处理图像中体现字符整体形状分布情况的网格特征、 反映不同方向上字 符像素点分布情况的笔画密度特征、 反映字符四周笔画信息的四边码特征以及反映字符轮 廓信息的字符轮廓特征。 4. 根据权利要求 1 所述的方法, 其特征在于, 对所述字符的融合特征进行分类识别, 获 得所述车牌信息, 包括 : 采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别, 获得所述 第一个字符对应的汉字 ; 采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行识别, 获得所述第二个字符至最后一个字符。
5、各自对应的数字或字母 ; 根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应的数 字或字母, 获得所述车牌信息。 5. 一种基于字符融合特征的车牌字符识别系统, 用于从车牌图像中识别出车牌信息, 其特征在于, 该系统包括 : 预处理模块, 对所述车牌图像进行预处理, 获得预处理图像 ; 提取模块, 提取出所述预处理图像中字符的融合特征 ; 识别模块, 对所述字符的融合特征进行分类识别, 获得所述车牌信息。 6. 根据权利要求 5 所述的系统, 其特征在于, 所述预处理模块包括 : 二值化处理单元, 对所述车牌图像进行二值化处理, 得到二值化图像 ; 确定单元, 在所述二值化图。
6、像中确定包含有字符的有效字符区域 ; 提取单元, 在所述有效字符区域中提取出字符的骨架, 得到包含所述骨架的所述预处 理图像。 7. 根据权利要求 5 所述的系统, 其特征在于 : 所述提起模块提取出所述预处理图像中体现字符整体形状分布情况的网格特征、 反映 不同方向上字符像素点分布情况的笔画密度特征、 反映字符四周笔画信息的四边码特征以 及反映字符轮廓信息的字符轮廓特征。 8. 根据权利要求 5 所述的系统, 其特征在于, 所述识别模块包括 : 汉字识别单元, 采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行 权 利 要 求 书 CN 103902981 A 2 2/2 页 3 。
7、识别, 获得所述第一个字符对应的汉字 ; 字母数字识别单元, 采用字母数字分类网络对所述预处理图像中的第二个字符至最后 一个字符进行识别, 获得所述第二个字符至最后一个字符各自对应的数字或字母 ; 获取单元, 根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自 对应的数字或字母, 获得所述车牌信息。 权 利 要 求 书 CN 103902981 A 3 1/9 页 4 一种基于字符融合特征的车牌字符识别方法及系统 技术领域 0001 本发明涉及车牌字符识别, 尤其涉及一种基于字符融合特征的车牌字符识别方法 及系统。 背景技术 0002 车牌识别技术是现代智能交通系统 (Intel。
8、ligent Transportation System, ITS) 中的重要组成部分。高效的车牌识别系统 (License Plate Recognition, LPR) 可以大幅度 提高路网的通行能力和服务质量。 0003 车牌识别技术主要包括车牌区域的定位、 车牌字符的分割和车牌字符的识别等三 个部分。车牌字符的识别, 可以获取完整的车牌信息, 是车牌识别技术的最终目的。因此车 牌字符识别准确率是直接影响到获取车牌的信息是否准确, 如何快速准确地在实际复杂场 景中对车牌字符进行识别是一个挑战。 0004 车牌字符识别属于模式识别的范畴, 模式识别是对过程或者事物的分类与描述, 具有类似性。
9、质的过程或者事物被划为一类。简单来说, 车牌字符识别的实现方式是通过提 取待识别车牌字符的特征与收集的字符数据库中的特征进行匹配并找出匹配度最大的特 征对应的字符, 该字符就是识别结果, 将识别的结果逐个显示可以看到车牌的全部信息, 因 此车牌字符识别阶段包括车牌字符预处理、 提取字符特征、 分类匹配判决等过程。 0005 常用的字符识别方法围绕车牌字符的特征展开, 包括统计模式识别、 结构模式识 别和神经网络, 其中统计模式识别统计字符的整体规律并将统计信息作为字符特征, 输入 到分类网络中通过判决函数识别, 该法对外部条件的鲁棒性不强且计算量过大 ; 结构模式 识别方法鲁棒性差且算法复杂而。
10、无实用性 ; 神经网络作为一种机器学习的方法需要经过充 足的训练和参数调整后才具备很好地泛化能力和正确率, 因此分类网络的训练比较费时费 力并会出错。 0006 在复杂场景中, 单一特征无法完整提取车牌特征而导致车牌字符的识别准确率较 低。 支持向量机中分类网络的构建, 不仅要考虑识别速度必须满足实时性的要求, 还需构建 的分类网络具有一定的鲁棒性和适应性。 0007 如何选择和提取字符的特征以及构建合适的分类网络, 是影响车牌字符识别性能 的关键因素。 有必要在提高车牌字符识别准确率的同时, 提高车牌字符的识别速度, 克服车 牌边框等自身条件的干扰和光照变化等外部条件的影响, 最终高效准确地。
11、对车牌字符进行 识别。 发明内容 0008 本发明所要解决的技术问题是克服目前车牌字符识别准确度较低的不足。 0009 为了解决上述技术问题, 本发明提供了一种基于字符融合特征的车牌字符识别方 法, 用于从车牌图像中识别出车牌信息, 该方法包括 : 0010 对所述车牌图像进行预处理, 获得预处理图像 ; 说 明 书 CN 103902981 A 4 2/9 页 5 0011 提取出所述预处理图像中字符的融合特征 ; 0012 对所述字符的融合特征进行分类识别, 获得所述车牌信息。 0013 其中, 对所述车牌图像进行预处理, 获得预处理图像, 包括 : 0014 对所述车牌图像进行二值化处理。
12、, 得到二值化图像 ; 0015 在所述二值化图像中确定包含有字符的有效字符区域 ; 0016 在所述有效字符区域中提取出字符的骨架, 得到包含所述骨架的所述预处理图 像。 0017 其中, 提取出所述预处理图像中字符的融合特征, 包括 : 0018 提取出所述预处理图像中体现字符整体形状分布情况的网格特征、 反映不同方向 上字符像素点分布情况的笔画密度特征、 反映字符四周笔画信息的四边码特征以及反映字 符轮廓信息的字符轮廓特征。 0019 其中, 对所述字符的融合特征进行分类识别, 获得所述车牌信息, 包括 : 0020 采用汉字分类网络对所述预处理图像中的第一个字符的融合特征进行识别, 获。
13、得 所述第一个字符对应的汉字 ; 0021 采用字母数字分类网络对所述预处理图像中的第二个字符至最后一个字符进行 识别, 获得所述第二个字符至最后一个字符各自对应的数字或字母 ; 0022 根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符各自对应 的数字或字母, 获得所述车牌信息。 0023 本申请的实施例还提供了一种基于字符融合特征的车牌字符识别系统, 用于从车 牌图像中识别出车牌信息, 该系统包括 : 0024 预处理模块, 对所述车牌图像进行预处理, 获得预处理图像 ; 0025 提取模块, 提取出所述预处理图像中字符的融合特征 ; 0026 识别模块, 对所述字符的融合特征。
14、进行分类识别, 获得所述车牌信息。 0027 其中, 所述预处理模块包括 : 0028 二值化处理单元, 对所述车牌图像进行二值化处理, 得到二值化图像 ; 0029 确定单元, 在所述二值化图像中确定包含有字符的有效字符区域 ; 0030 提取单元, 在所述有效字符区域中提取出字符的骨架, 得到包含所述骨架的所述 预处理图像。 0031 其中 : 所述提起模块提取出所述预处理图像中体现字符整体形状分布情况的网格 特征、 反映不同方向上字符像素点分布情况的笔画密度特征、 反映字符四周笔画信息的四 边码特征以及反映字符轮廓信息的字符轮廓特征。 0032 其中, 所述识别模块包括 : 0033 汉。
15、字识别单元, 采用汉字分类网络对所述预处理图像中的第一个字符的融合特征 进行识别, 获得所述第一个字符对应的汉字 ; 0034 字母数字识别单元, 采用字母数字分类网络对所述预处理图像中的第二个字符至 最后一个字符进行识别, 获得所述第二个字符至最后一个字符各自对应的数字或字母 ; 0035 获取单元, 根据所述第一个字符对应的汉字以及所述第二个字符至最后一个字符 各自对应的数字或字母, 获得所述车牌信息。 0036 与现有技术相比, 本申请的实施例利用融合特征提取及支持向量机相结合的算法 说 明 书 CN 103902981 A 5 3/9 页 6 来对车牌字符进行识别, 适用于不同时间段和。
16、光照条件下实地的街道、 马路、 商场、 地下停 车场等拍摄的各种质量的车牌图片, 车牌图像类型可以是特写图像、 低质量图像或者复杂 场景图像等, 可以提高车牌字符识别的准确度和速度。本申请的实施例利用字符融合特征 向量可以克服在复杂情况下利用单一字符特征对车牌字符识别准确度不高的缺陷, 并且让 汉字、 字母数字分别进入构建的两类分类网络, 遍历较少的分类网络获取字符识别结果, 以 此来提高识别速度。 提取的融合特征综合考虑车牌字符的整体形状分布、 形状特征、 不同方 向上像素点的分布情况、 周边的笔画信息, 将车牌字符由内而外、 由整体到局部的特征充分 进行提取, 对汉字、 数字和字母都比较适。
17、用, 从而解决车牌汉字特征提取的难题。利用字符 融合特征和支持向量机相结合的方法可以快速准确的实现车牌字符的识别, 获得完整的车 牌信息。 附图说明 0037 图 1 为本申请实施例的基于字符融合特征的车牌字符识别方法的流程示意图。 0038 图 2 为本申请实施例的基于字符融合特征的车牌字符识别系统的构造示意图。 0039 图 3 为利用本申请实施例的原理对样本进行训练获得字符分类网络的过程示意 图。 0040 图 4 为本申请实施例中细化处理时像素的邻近关系示意图。 0041 图 5(a)- 图 5(d) 为本申请实施例中字符融合特征的提取过程示意图。 具体实施方式 0042 以下将结合附。
18、图及实施例来详细说明本发明的实施方式, 借此对本发明如何应用 技术手段来解决技术问题, 并达成技术效果的实现过程能充分理解并据以实施。本申请实 施例以及实施例中的各个特征在不相冲突前提下的相互结合, 均在本发明的保护范围之 内。 0043 车牌识别技术是智能交通系统的重要组成部分, 而车牌字符识别是车牌识别系统 的关键步骤, 车牌字符识别效果的好坏直接影响到能否获得完整的车牌信息, 必须利用有 效的方法获取良好的车牌字符识别效果, 特别是在实际复杂环境中能够对车牌字符进行快 速准确地识别, 并且能够对边框以及光照变化的影响具有较高的鲁棒性和较强的泛化能 力。但现有的统计模式识别和结构模式识别的。
19、方法无法考虑到各方面的因素, 需要研究一 种可以应用于实际的车牌字符识别方法。 0044 支持向量机以结构风险最小化和 VC 维理论为基础的统计学习方法, 通过寻找最 大间隔超平面来分类并将分类问题转化为二次规划问题, 根据训练样本的信息考虑学习能 力和模型复杂度之间的平衡获得最好的泛化能力, 在处理非线性、 高维和小样本模式识别 问题中具有很大的优势, 并且在进行车牌字符识别只需要简单的训练学习与参数调整就能 得到不输于神经网络分类网络的准确率。 0045 本发明的技术方案中, 利用字符融合特征提取和支持向量机相结合的算法对车牌 字符进行识别, 基于字符融合特征的提取方法克服了单一字符特征无。
20、法获得较高的车牌字 符识别准确率的缺陷, 提取的融合特征综合考虑车牌字符的整体形状分布、 形状特征、 不同 方向上像素点的分布情况、 周边的笔画信息, 将车牌字符由内而外、 由整体到局部的特征充 说 明 书 CN 103902981 A 6 4/9 页 7 分进行提取, 对汉字、 数字和字母都比较适用, 从而解决车牌汉字特征提取的难题。利用支 持向量机构建汉字、 字母数字两类分类网络, 并且让汉字、 字母数字分别进入构建的两类分 类网络, 遍历较少的分类网络获取字符识别结果, 以此来提高识别速度 ; 支持向量机本身在 处理小样本、 非线性和高维的模式识别问题上具有良好的优势, 并且泛化能力较强。
21、, 能够适 应边框以及光照等变化因素的影响, 因此适合应用到实际场景中对车牌字符进行识别。将 两者结合起来, 先提取车牌字符的融合特征, 以融合特征向量为支持向量机的输入训练两 类分类网络, 测试车牌字符也提取融合特征并分别输入到两类分类网络进行识别, 逐个显 示识别结果获得完整车牌信息, 将两者结合可以不仅成功提高了车牌字符识别的准确率, 具有较好的识别速度, 而且具有较强的鲁棒性和泛化能力, 能够在实际复杂环境中获得良 好的车牌字符识别效果。 0046 本发明实施例的基于字符融合特征的车牌字符识别方法, 用于从车牌图像中识别 出车牌信息。如图 1 所示, 该方法主要包括如下步骤 : 004。
22、7 步骤 S110, 对待从中识别出车牌信息的车牌图像进行预处理, 获得预处理图像。 0048 本申请的实施例中, 该预处理的过程主要包括二值化处理、 截取有效字符区域并 从中提取出字符的骨架。首先, 对车牌图像进行二值化处理, 得到二值化图像。其次, 在二 值化图像中确定包含有字符的有效字符区域。 然后, 在有效字符区域中提取出字符的骨架, 得到包含字符骨架的预处理图像。 0049 步骤 S120, 提取出预处理图像中字符的融合特征。 0050 本申请的实施例中, 字符的融合特征, 主要包括体现字符整体形状分布情况的网 格特征、 反映不同方向上字符像素点分布情况的笔画密度特征、 反映字符四周。
23、笔画信息的 四边码特征以及反映字符轮廓信息的字符轮廓特征。 0051 步骤 S130, 对字符的融合特征进行分类识别, 获得车牌信息。 0052 本申请的实施例中, 所述的分类识别主要是采用汉字分类网络对汉字进行识别, 以及采用字母数字分类网络对字母和数字进行识别。具体地, 采用汉字分类网络对预处理 图像中的第一个字符的融合特征进行识别, 获得第一个字符对应的汉字 ; 采用字母数字分 类网络对预处理图像中的第二个字符至最后一个字符进行识别, 获得第二个字符至最后一 个字符各自对应的数字或字母。 根据第一个字符对应的汉字以及第二个字符至最后一个字 符各自对应的数字或字母, 获得车牌信息。 005。
24、3 本发明实施例的基于字符融合特征的车牌字符识别系统, 用于从车牌图像中识别 出车牌信息。如图 2 所示, 该系统主要包括如下步骤预处理模块 210、 提取模块 220 以及识 别模块 230。其中 : 0054 预处理模块 210, 设置为对车牌图像进行预处理, 获得预处理图像。 0055 提取模块 220, 与预处理模块 210 相连, 提取出预处理图像中字符的融合特征 ; 0056 识别模块 230, 与提取模块 220 相连, 对字符的融合特征进行分类识别, 获得车牌 信息。 0057 如图 2 所示, 该预处理模块 210 主要包括二值化处理单元 211、 确定单元 212 以及 提。
25、取单元 213。其中 : 0058 二值化处理单元 211, 对车牌图像进行二值化处理, 得到二值化图像。 0059 确定单元 212, 与二值化处理单元 211 相连, 在二值化图像中确定包含有字符的有 说 明 书 CN 103902981 A 7 5/9 页 8 效字符区域。 0060 提取单元 213, 与确定单元 212 相连, 在有效字符区域中提取出字符的骨架, 得到 包含骨架的预处理图像。 0061 本申请的实施例中, 提取模块 220 提取出预处理图像中体现字符整体形状分布情 况的网格特征、 反映不同方向上字符像素点分布情况的笔画密度特征、 反映字符四周笔画 信息的四边码特征以及。
26、反映字符轮廓信息的字符轮廓特征。 0062 如图 2 所示, 该识别模块 230 包括汉字识别单元 231、 字母数字识别单元 232 以及 获取单元 233。其中 : 0063 汉字识别单元 231, 采用汉字分类网络对预处理图像中的第一个字符的融合特征 进行识别, 获得第一个字符对应的汉字。 0064 字母数字识别单元 232, 采用字母数字分类网络对预处理图像中的第二个字符至 最后一个字符进行识别, 获得第二个字符至最后一个字符各自对应的数字或字母。 0065 获取单元 233, 与汉字识别单元 231 及字母数字识别单元 232 相连, 根据第一个字 符对应的汉字以及第二个字符至最后一。
27、个字符各自对应的数字或字母, 获得车牌信息。 0066 本申请的实施例在应用时, 首先训练出汉字、 字母数字两类分类网络。 需要说明的 是, 利用训练样本训练出汉字、 字母数字两类分类网络并利用测试样本进行测试的过程, 与 本申请实施例的基于字符融合特征的车牌字符识别方法的原理和过程实质上相同, 与本申 请实施例的基于字符融合特征的车牌字符识别系统的工作原理和过程实质上相同, 可以用 来对本申请实施例进行理解和参考。 0067 如图 3 所示, 训练的主要过程包括如下步骤 : 0068 步骤 S310, 收集车牌字符训练样本和车牌字符测试样本, 其中训练样本和测试样 本均包括对应于中国 31 。
28、个省份的 31 类汉字, 10 类数字和 24 类英文字母。 0069 本申请的实施例中, 每类数字和字母的训练样本和测试样本可以分别为 20 张, 每 类汉字的训练样本和测试样本数不等, 方便研究不同的样本数对车牌汉字识别造成的影 响, 汉字总共的训练样本和测试样本数分别为 208 张, 训练和测试样本利用平均加权法进 行灰度化处理。 0070 步骤 S320, 对训练样本和测试样本进行预处理。 0071 处理的对象是简单的车牌字符, 首先采用 OTSU 全局二值化算法进行二值化处理, 得到二值化图像。它按照图像的目标和背景类间方差最大时取到二值化的阈值, 不管图像 的直方图有无明显的双峰都。
29、能达到比较好的效果。 0072 将大小为 MN 的图像 I(x,y) 的分割阈值记为 , 图像中像素点的灰度值大于阈 值 的数目记为 K1, 小于 的记为 K2, 即 MN K1+K2。属于目标的像素点的个数占整幅 图像的比例记做1K1/(MN), 目标像素点的平均灰度记作1; 属于背景的像素点占整 幅图像的比例记做 2 K2/(MN), 背景像素点的平均灰度记作 2, 整幅图像的平均灰度 记作 , 类间方差记为 , 那么这些变量的关系如下 : 0073 11+22 式 (1) 0074 (-1)21+(-2)22 式 (2) 0075 将式 (1) 代入式 (2) , 得到 : 0076 (。
30、1-2)212 式 (3) 说 明 书 CN 103902981 A 8 6/9 页 9 0077 分割阈值从灰度值0-255开始迭代, 计算每次迭代的边缘检测图像的类间方差 并将前后两次的 进行比较, 当 为最大的时候取得二值化效果最好的分割阈值 。 0078 然后根据获取的最佳分割阈值 对图像进行二值化处理, 图像中灰度值大于阈 值 的像素点的新值记为 1, 小于阈值 的像素点的新值记为 0, 将灰度图转化为二值图, 转化公式为 : 0079 式 (4) 0080 其中 g(x,y) 为每个训练样本车牌字符的灰度像素矩阵。 0081 然后在获取二值化后的车牌字符图像之后, 会发现除了正常的。
31、白色字符区域, 还 存在无用的黑色区域, 这些无用区域的存在会严重影响到字符在整幅图像中的位置进而 影响到车牌字符在整个图像中的像素分布, 给字符特征的提取带来不利影响, 需要考虑去 掉无用的黑色区域, 但又无法将全部的黑色区域去除, 因此去除规则为记录上下左右四个 方向上最先出现白点坐标, 利用记录的坐标获取有效的字符区域 (Effective Character Area) 。 0082 记录车牌字符图像中所有白点的行列坐标分别记为 rowi 和 colj, 分别寻找 行列坐标集中的最小值和最大值, 也就是有效字符区域的左右边界和上下边界, 记为 : 0083 ECA_left min(r。
32、owi) 式 (5) 0084 ECA_right max(rowi) 式 (6) 0085 ECA_up min(colj) 式 (7) 0086 ECA_down max(colj) 式 (8) 0087 确定了有效字符区域的上下左右边界的坐标点之后, 就可以将有效的字符区域从 二值化车牌字符图像中截取出来。 0088 在获取车牌字符的有效字符区域后, 采用双线性插值法将有效字符区域图像归一 化到标准 2040 的像素大小。 0089 由于在不同质量、 噪声影响的字符图像中, 白色字符冗余的像素点的个数是不一 样的, 也就是笔画粗细不一致, 会严重影响字符特征的提取使得相同字符在不同的冗余。
33、度 下的特征向量差别很大, 进而导致测试字符无法识别或识别错误。因此需要在车牌字符图 像中提取出字符的骨架, 去掉冗余的像素点, 提取出字符的骨架也能够使得每个字符本身 的特征更加明显。 0090 综合考虑细化效果和细化效率, 采用 Zhang-Suen 算法的改进版本, 通过该算法可 以有效提取出车牌字符的骨架, 排除车牌字体和字符笔画粗细所产生的干扰。在扫描归一 化为标准大小的车牌字符图像时, 设待删除的像素点为 N1, 它与周围八邻域像素点的位置 关系如图 4 所示。 0091 定义onenum(N1)为与N1相邻的非零像素的个数, tnum(N1)是沿着N2N3N4N5N6N7N8N9。
34、N2 的顺序从 0 过渡到 1 的总的次数。改进的细化算法包括两个步骤 : 0092 首先判断如果 N1 1 并且满足下面四个条件, 则标记 N1为可删除白点 (将白变为 为黑点) , 扫描完整幅标准化的车牌字符图像后统一将标记的像素点的值记为 0。 0093 (1) 2onenum(N1)6。 它表示当N1只有一个白色的邻点时N1为像素串的端点, 如果有大于 6 个白色邻点时删除 N1会删除整块区域使得这个区域产生分裂, 因此以上两个 说 明 书 CN 103902981 A 9 7/9 页 10 情况出现时都不可删除 N1。 0094 (2) tnum(N1) 1, 当 N1的邻域像素点中。
35、 0 到 1 的过渡的次数不等于 1 时, 删除 N1 会使该区域产生分裂。 0095 (3) N2N4N6 0, 当字符的上左下像素点全为白点时, 删除 N1会导致该区域产生分 裂。 0096 (4) N2N4N8 0 0097 然后对标记的像素点进行删除之后继续扫描新产生的字符图像, 如果图像中还存 在符合上述四个条件的像素点, 则继续进行标记删除, 直到新产生的字符图像中不存在可 标记的像素点为止。 0098 细化后可以提取出清晰的字符框架, 同时车牌上的铆钉、 边框和噪声等干扰也因 为细化的原因被减弱了, 有些甚至被完全消除了。 0099 步骤 S330, 分别提取出训练样本和测试样本。
36、中车牌字符的融合特征, 综合考虑车 牌字符的整体形状分布、 形状特征、 不同方向上像素点的分布情况、 周边的笔画信息等, 将 车牌字符由内而外、 由整体到局部的特征充分进行提取, 提取包括网格特征、 笔画密度特 征、 四边码特征、 字符轮廓特征在内的四种字符特征, 具体方法如下 : 0100 (1) 网格特征 (Grid Feature, GF) 体现了字符的整体形状分布情况, 如图 5(a) 所 示, 将 MN 大小的车牌字符图像分成 nn 块, 这里的 n 取得太小无法显示出分块效果, 取 得太大仅仅体现出字符的局部形状分布并且影响统计速度, 经过多次试验发现 44 的分 块大小能够表现字。
37、符的整体形状分布并且在统计速度上具有一定的优势。 分块之后统计每 块子图像中白点数 Grid_Ni占总的白点数 Grid_N 的比例 Grid_ki, 如式 (9) 所示, 最终形成 nn 维的网格特征向量。 0101 Grid_ki Grid_Ni/Grid_N 式 (9) 0102 (2) 笔画密度特征 (Stroke Density Feature, SDF) 反映的是在各种不同方向上字 符像素点的分布情况, 如图 5(b) 所示, 分别取水平, 垂直, 45, 135四个扫描方向, 计算 每个单位方向上的白点的投影数 Density_Nm所占该单位方向上总的点数 Density_N 的。
38、比 例Density_km, 其中计算45和135的投影比例时, 将字符图像的像素空间从常态转换到 45和 135, 转换公式如下所示 : 0103 b_45(i+j,j) b(i,j) i 0,1,.,h-1;j 0,1,.w-1 式 (10) 0104 式 (11) 0105 最终的每个方向的投影比例计算方法如式 12 15 所示, 0106 式 (12) 0107 式 (13) 说 明 书 CN 103902981 A 10 8/9 页 11 0108 式 (14) 0109 式 (15) 0110 然后对四个扫描方向上所产生的比例值进行排序。 0111 由于车牌字符图像的大小为 204。
39、0, 所以对垂直、 45和 135三个方向的比例 值由于各数较多, 取前 16 个作为特征向量。而水平方向的比例值由于个数较少, 所以取其 前 10 个作为特征向量。这样做不仅能够排除字符在不同位置上所产生的干扰, 也能够去除 无用的特征数据降低特征的维数, 最终提取的笔画密度特征总共形成 58 维的笔画密度特 征向量。 0112 (3) 四边码特征 (Quadrilateral Code Feature, QCF) 反映的是字符四周的笔画 信息, 如图 5(c) 所示, 从车牌字符图像上下左右四个方向的边界向里延伸一定宽度, 形成 四个等面积的小矩形, 车牌字符图像的宽高为 2040 像素大。
40、小, 所以设定上下延伸的宽度 为 10 个像素, 左右延伸的宽度为 5 个像素, 所以四个小矩形的面积都为 200 个像素的大小。 分别统计四个矩形中白点个数 QC_Ni, 根据白点个数划分为四个等级为 0、 1/3、 2/3、 1, 由于 字符细化后每个小矩形中存在的白点的个数是不多的, 结合实验结果设定白点的个数的临 界点分别为 15、 25、 35, 白点个数是 0 15 个的为等级 0, 15 25 个的等级为 1/3, 25 35 的等级为 2/3, 35 以上的为等级 1, 这样可以区别出四个边界处笔画复杂程度不同的车牌字 符, 提取车牌字符图像的四边码特征, 也就是它四个方向的等。
41、级数, 最后形成 4 维的四边码 特征向量。 0113 (4) 字符轮廓特征 (Character Outline Feature, COF) 反映的是字符的外部以及 内部的轮廓信息, 这是字符存在明显差异的特征。如图 5(d) 所示, 车牌字符图像的四个 方向分别记为 Left、 Right、 Up、 Down, 分别从字符的四个方向的每个单位方向上的边界处 统计第一次从黑点到白点的距离 (First Distance, FD) 上黑点的个数, 分别记作 LFDi,i 0,1,.,h-1, RFDi,i 0,1,.,h-1, UFDi,i 0,1,.,w-1, DFDi,i 0,1,.,w-。
42、1, 然 后计算每个方向的每个单位方向上统计的黑点个数的总和占整个图像面积的比例, 也就是 外轮廓所占图像的比例, 分别记作 TLFD、 TRFD、 TUFD、 TDFD, 计算公式如式 (16) 式 (19) 所 示, 同理统计第二次从黑点到白点的距离 (Second Distance, SD) 上黑点的个数, 再统计第 二距离上黑点个数的总和所占整幅车牌字符图像的比例, 分别记作 TLSD、 TRSD、 TUSD、 TDSD, 相当于统计了字符内轮廓的情况, 四个方向的字符内外轮廓特征形成总共 8 维的字符轮廓 特征向量。 0114 式 (16) 0115 式 (17) 0116 式 (1。
43、8) 说 明 书 CN 103902981 A 11 9/9 页 12 0117 式 (19) 0118 提取的四类特征的特征值都已经归一化到01的范围内, 按照网格特征、 笔画密 度特征、 四边码特征和字符轮廓特征的顺序融合成一个总 86 维的车牌字符融合特征, 作为 SVM 的输入特征方便它对车牌字符进行训练与识别。 0119 步骤 S340, 提取出训练样本中车牌字符的特征之后, 利用训练样本构建字符分类 网络。之后, 即可利用测试样本来对字符分类网络进行测试。 0120 正常车牌中第一个字符一般为汉字, 剩下的全是字母或者数字, 因此需要构造两 类分类网络, 包括汉字分类网络和字母数字。
44、分类网络, 采用汉字分类网络对汉字进行分类 识别, 采用字母数字分类网络对字母和数字进行分类识别。 0121 车牌字符的类别和类数都是固定的, 综合考虑加快分类速度, 从而缩短判决时间 以及判决结果不受节点选择的影响, 采用一对多的方法来构建多值分类网络。 0122 一对多的方法是利用 K 类训练样本构建 K 个二类分类网络, 第 i 类样本作为第 i 个分类网络的正样本, 就是在正样本的特征向量前面用 +1 标记, 其余的样本作为负样本, 也就是在负样本的特征向量前面用 -1 标记, 这里对样本进行了标记, 属于有监督学习的范 畴, 求得所有分类网络的判决函数并将判决函数输出最大的类别作为分。
45、类结果。 0123 从车牌图像的训练集中抽取融合特征作为分类网络的输入特征, 在训练集中汉字 作为一种分类网络, 在汉字分类网络中的31个汉字作为31类训练样本, 采用一对多的方式 训练出 31 个两类分类网络, 用来对汉字进行分类识别。同理字母和数字作为另一个分类网 络, 将其中的 10 个数字和 24 个字母作为 34 类训练样本, 也利用 1 对多的方法训练处 34 个 分类网络对字母和数字进行分类识别, 训练时设支持向量机的惩罚因子C128, 核参数 0.5。 0124 虽然本发明所揭露的实施方式如上, 但所述的内容仅为便于理解本发明而采用的 实施方式, 并非用以限定本发明。 任何本发。
46、明所属领域内的技术人员, 在不脱离本发明所揭 露的精神和范围的前提下, 可以在实施的形式及细节上进行任何的修改与变化, 但本发明 的专利保护范围, 仍须以所附的权利要求书所界定的范围为准。 说 明 书 CN 103902981 A 12 1/4 页 13 图 1 说 明 书 附 图 CN 103902981 A 13 2/4 页 14 图 2 说 明 书 附 图 CN 103902981 A 14 3/4 页 15 图 3 图 4 图 5(a) 图 5(b) 说 明 书 附 图 CN 103902981 A 15 4/4 页 16 图 5(c)图 5(d) 说 明 书 附 图 CN 103902981 A 16 。