一种RGB矢量匹配快速识别系统及方法.pdf

1、(10)申请公布号 CN 103559499 A (43)申请公布日 2014.02.05 CN 103559499 A (21)申请号 201310467455.X (22)申请日 2013.10.09 G06K 9/62(2006.01) G06T 7/00(2006.01) (71)申请人 华南理工大学 地址 511458 广东省广州市南沙区环市大道 南路 25 号华工大广州产研院 (72)发明人 高红霞 戚其丰 马鸽 胡跃明 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 蔡茂略 (54) 发明名称 一种 RGB 矢量匹配快速识别系统及方法 (57) 摘要

2、本发明一种 RGB 矢量匹配快速识别系统， 包 括图像获取模块、 存储模块、 匹配模块和检测模 块， 其中图像获取模块用来获取待识别图像 ； 存 储模块， 用来存储模板图像和获取的待识别图像 ； 匹配模块， 用来移动模板图像， 在待识别图像中 搜寻与模板图像相匹配的单元， 利用四元数相关 性来判定是否存在与模板物体具有相同形状、 大 小、 颜色和亮度的物体 ； 检测模块， 根据匹配模块 的计算结果来判断待识别图像与模板图像的匹配 度， 检测PCB是否存在焊点缺陷。 本发明的系统及 方法， 其计算量小、 不破坏各色彩之间的关联性且 精度较高。 (51)Int.Cl. 权利要求书 2 页 说明书

3、5 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图1页 (10)申请公布号 CN 103559499 A CN 103559499 A 1/2 页 2 1. 一种 RGB 矢量匹配快速识别系统， 其特征在于， 包括图像获取模块、 存储模块、 匹配 模块和检测模块， 其中 图像获取模块， 为单镜头彩色光源立体视觉系统， 用来获取待识别图像 ； 存储模块， 用来存储模板图像和获取的待识别图像 ； 匹配模块， 用来移动模板图像， 在待识别图像中搜寻与模板图像相匹配的单元， 利用四 元数相关性来判定是否存在与模板物体具有相同形状、 大小、

4、 颜色和亮度的物体 ： 首先用四 元数矩阵模型描述待识别图像， 即待识别图像中每一个位置的彩色值均可以用一个四元数 矢量表示 ； 然后用四元数 f(,) 表示模板图像， 用四元数 g(,) 表示 PCB 的待识别 图像， f(,)、 g(,) 大小分别为 MN,PQ ； 最后计算待识别图像是否存在某个位置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0) ； 检测模块， 检测模块根据匹配模块的计算结果来判断待识别图像与模板图像的匹配 度， 若待识别图像存在某个位置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0)， 则说明待识别图像 g(,) 中在位置 (ms,ns

5、) 处存在一个与模板图像相匹配的物体， 彩色图像识别完成。 2. 根据权利要求 1 所述的 RGB 矢量匹配快速识别系统， 其特征在于， 图像获取模块中， 所述的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光源架构， 使得拍摄的二维图 像传达了三维信息， 且增加了色度信息。 3. 一种 RGB 矢量匹配快速识别方法， 包含以下顺序的步骤 ： 1） 利用图像获取模块的单镜头彩色光源立体视觉系统， 获取待识别图像 ； 2） 将待识别图像存储于存储模块中， 存储模块中还存储有模板图像， 以备匹配模块调 用 ； 3） 利用匹配模块来移动模板图像， 在待识别图像中搜寻与模板图像相匹配的单元， 利 用四

6、元数相关性来判定待识别图像与模板图像之间是否具有相同形状、 大小、 颜色和亮度 的物体 ： a、 首先用四元数矩阵模型描述待识别图像， 即待识别图像中每一个位置的彩色值均可 以用一个四元数矢量表示 ； b、 然后用四元数 f(,) 表示模板图像， 用四元数 g(,) 表示 PCB 的待识别图像， f(,)、 g(,) 大小分别为 MN,PQ ； c、 最后计算待识别图像是否存在某个位置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0) ； 4） 检测模块根据步骤 3） 的计算结果来判断待识别图像与模板图像的匹配度， 若待识别 图像存在某个位置(m0,n0)， 使得g(m,n)=f

7、(m-m0,n-n0)， 则说明待识别图像g(,)中在位 置 (ms,ns) 处存在一个与模板图像相匹配的物体， 彩色图像识别完成。 4. 根据权利要求 3 所述的 RGB 矢量匹配快速识别方法， 其特征在于， 所述的步骤 3） ， 具 体包含以下步骤 ： （1） 计算模板图像的能量函数 Ef， 其中和待识别图像的能量函数 Eg(m,n)， 其中 （2） 取 C 和 D 满足 ： 权 利 要 求 书 CN 103559499 A 2 2/2 页 3 这里 C 和 D 均为 2 的指数次方， 延拓模板图像 f(,) 和待识别的图像 g(,)， 得 到 fe(,) 和 ge(,)， 确保它们在 x

8、 方向有相同的周期 C， 在 y 方向有相同的周期 D ； （3） 计算延拓后的两幅图像 fe(,) 和 ge(,) 的四元数相关性函数 （4） 将 （3） 中的卷积运算转换为频域中的傅里叶变换， 并利用四元数相关性的傅里叶变 换提高计算速度， 这里均使用 fe(,) 和 ge(,) 进行运算 ； （5） 由步骤和的结果， 计算归一化后的四元数相关性函数 h(m,n) ； （6） 选择阙值 P1， P2， d1， 使其满足条件 P11P2， d11， 并且要求 P1， P2， d1均接近等于 1 ； （7） 计算 |g(ms,ns)| 并判断其值是否在区间 P1,P2 内， 且满足 5. 根据

9、权利要求 4 所述的 RGB 矢量匹配快速识别方法， 其特征在于， 步骤 4） 中， 所述的 四元数相关性的傅里叶变换通过下式实现 ： 其中 IQFT 为反四元数傅里叶变换 ： 权 利 要 求 书 CN 103559499 A 3 1/5 页 4 一种 RGB 矢量匹配快速识别系统及方法 技术领域 0001 本发明涉及彩色图像处理及精密电子组装过程中 PCB 缺陷检测领域， 特别涉及一 种适用于彩色图像处理的 RGB 矢量匹配快速识别系统及方法。 背景技术 0002 现代电子工业中， 印刷电路板 (PCB) 作为电子元器件的载体， 其贴装质量直接影 响产品的性能。 在实际生产过程中， 由于原材

10、料、 设备稳定性、 温度、 人为操作失误等不确定 因素造成 PCB 缺陷在所难免， 因此为了确保 PCB 的质量达标必须对 PCB 焊接质量进行检测。 0003 PCB 缺陷种类繁多， 常见的元器件贴放缺陷， 如错件、 少件只涉及到二维信息， 仅需 灰度图像模板匹配就可有效地检测出来， 而对于焊点缺陷则涉及到三维深度信息， 因此很 难通过灰度图像反映焊点好坏。 0004 对于像焊点缺陷一样涉及到三维深度信息的缺陷， 目前的检测方法有两种 ： 0005 一、 基于单色光源多角度拍摄多张灰度图像方法， 其增加了区分不同观测角度的 功能， 因此数据计算更加庞杂、 处理过程更加复杂 ； 0006 二、

11、 基于特殊架构光源的单一镜头彩色图像处理方法， 其优点是拍摄的图像更能 反映实际人眼视觉， 故越来越多的应用于 PCB 缺陷检测。传统的彩色图像匹配方法将图像 分成三个分量 （RGB） ， 将每一个分量的图像看成一个灰度图像， 分别在各自的分量中进行 匹配处理， 然后根据每种颜色的权重值来合成最后的结果， 但是这种彩色图像匹配方法人 为的破坏了彩色图像各色彩之间的关联性， 对匹配算法的精度和鲁棒性造成不同程度的影 响， 并且分别对三个分量进行匹配处理， 计算量增大。故人们需要一种计算量小、 不破坏各 色彩之间的关联性且精度较高的彩色图像匹配方法。 发明内容 0007 本发明的目的在于克服现有技

12、术的缺点与不足， 提供一种 RGB 矢量匹配快速识别 系统， 其计算量小、 不破坏各色彩之间的关联性且精度较高。 0008 本发明的另一目的在于提供一种 RGB 矢量匹配快速识别方法。 0009 本发明的目的通过以下的技术方案实现 ： 0010 一种 RGB 矢量匹配快速识别系统， 包括图像获取模块、 存储模块、 匹配模块和检测 模块， 其中 0011 图像获取模块， 为单镜头彩色光源立体视觉系统， 用来获取待识别图像 ； 0012 存储模块， 用来存储模板图像和获取的待识别图像 ； 0013 匹配模块， 用来移动模板图像， 在待识别图像中搜寻与模板图像相匹配的单元， 利 用四元数相关性来判定

13、是否存在与模板物体具有相同形状、 大小、 颜色和亮度的物体 ： 首先 用四元数矩阵模型描述待识别图像， 即待识别图像中每一个位置的彩色值均可以用一个四 元数矢量表示 ； 然后用四元数f(,)表示模板图像， 用四元数g(,)表示PCB的待识 别图像， f(,)、 g(,) 大小分别为 MN,PQ ； 最后计算待识别图像是否存在某个位 说 明 书 CN 103559499 A 4 2/5 页 5 置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0) ； 0014 检测模块， 检测模块根据匹配模块的计算结果来判断待识别图像与模板图像的匹 配度， 若待识别图像存在某个位置 (m0,n0)

14、， 使得 g(m,n)=f(m-m0,n-n0)， 则说明待识别图像 g(,) 中在位置 (ms,ns) 处存在一个与模板图像相匹配的物体， 彩色图像识别完成。 0015 图像获取模块中， 所述的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光 源架构， 使拍摄的二维图像传达了三维的信息， 且增加了色度信息。从而满足了 PCB 焊点检 测的要求。 0016 本发明的另一目的通过以下的技术方案实现 ： 0017 一种 RGB 矢量匹配快速识别方法， 包含以下顺序的步骤 ： 0018 1） 利用图像获取模块的单镜头彩色光源立体视觉系统， 获取待识别图像 ； 0019 2） 将待识别图像存储于存储模

15、块中， 存储模块中还存储有模板图像， 以备匹配模 块调用 ； 0020 3） 利用匹配模块来移动模板图像， 在待识别图像中搜寻与模板图像相匹配的单 元， 利用四元数相关性来判定待识别图像与模板图像之间是否具有相同形状、 大小、 颜色和 亮度的物体 ： 0021 a、 首先用四元数矩阵模型描述待识别图像， 即待识别图像中每一个位置的彩色值 均可以用一个四元数矢量表示 ； 0022 b、 然后用四元数 f(,) 表示模板图像， 用四元数 g(,) 表示 PCB 的待识别 图像， f(,)、 g(,) 大小分别为 MN,PQ ； 0023 c、 最后计算待识别图像是否存在某个位置 (m0,n0)，

16、使得 g(m,n)=f(m-m0,n-n0) ； 0024 4） 检测模块根据步骤 3） 的计算结果来判断待识别图像与模板图像的匹配度， 若 待识别图像存在某个位置(m0,n0)， 使得g(m,n)=f(m-m0,n-n0)， 则说明待识别图像g(,) 中在位置 (ms,ns) 处存在一个与模板图像相匹配的物体， 彩色图像识别完成。 0025 所述的步骤 3） ， 具体包含以下步骤 ： 0026 （1） 计算模板图像的能量函数 Ef， 其中和待识别图像的能量函 数 Eg(m,n)， 其中 0027 （2） 取 C 和 D 满足 ： 0028 0029 这里C和D都是2的指数次方， 延拓模板图像

17、f(,)和待识别的图像g(,)， 得到 fe(,) 和 ge(,)， 确保它们在 x 方向有相同的周期 C， 在 y 方向有相同的周期 D ； 0030 （3） 计算延拓后的两幅图像 fe(,) 和 ge(,) 的四元数相关性函数 0031 说 明 书 CN 103559499 A 5 3/5 页 6 0032 （4） 将 （3） 中的卷积运算转换为频域中的傅里叶变换， 并利用四元数相关性的傅里 叶变换提高计算速度， 这里均使用 fe(,) 和 ge(,) 进行运算 ； 0033 （5） 由步骤和的结果， 计算归一化后的四元数相关性函数 h(m,n) ； 0034 （6） 选择阙值 P1， P

18、2， d1， 使其满足条件 P11P2， d11， 并且要求 P1， P2， d1均接近等 于 1 ； 0035 （7） 计算 |g(ms,ns)| 并判断其值是否在区间 P1,P2 内， 且满足 0036 0037 步骤 4） 中， 所述的四元数相关性的傅里叶变换通过下式实现 ： 0038 0039 其中 IQFT 为反四元数傅里叶变换 ： 0040 0041 本发明与现有技术相比， 具有如下优点和有益效果 ： 0042 一、 不破坏各色彩之间的关联性 ： 待识别图像和模板图像用四元数模型表示， 充分 利用彩色图像的整体信息， 对 RGB 这一有机整体并行处理， 实现了真正意义上的矢量图像

19、识别 ； 0043 二、 精确度高 ： 待识别图像与模板图像之间只有当形状、 大小、 亮度、 颜色都相同时 才能够得到较大的匹配度， 故本发明的系统及方法不仅可以检测出 PCB 是否缺件， 还可以 检测出相同形状的部件是否具有不同亮度的缺陷 ； 0044 三、 计算速度快 ： 通过卷积定理将空间域和频率域联系起来， 把四元数相关性的卷 积计算转化为快速傅里叶变换的乘积， 显著提高了计算速度， 在一定程度上解决了长期以 来直接四元数相关性算法由于速度慢而难以推广应用的难题。 附图说明 0045 图 1 为本发明所述的一种 RGB 矢量匹配快速识别系统的结构示意图 ； 0046 图 2 为本发明所

20、述的一种 RGB 矢量匹配快速识别方法的流程图。 具体实施方式 0047 如图1所示， 一种RGB矢量匹配快速识别系统， 包括图像获取模块、 存储模块、 匹配 模块和检测模块， 其中 0048 图像获取模块， 为单镜头彩色光源立体视觉系统， 用来获取待识别图像， 其中所述 的单镜头彩色光源立体视觉系统为单镜头三环特殊彩色光源架构， 且增加了色度信息 ； 0049 存储模块， 用来存储模板图像和获取的待识别图像 ； 0050 匹配模块， 用来移动模板图像， 在待识别图像中搜寻与模板图像相匹配的单元， 利 用四元数相关性来判定是否存在与模板物体具有相同形状、 大小、 颜色和亮度的物体 ： 首先 用

21、四元数矩阵模型描述待识别图像， 即待识别图像中每一个位置的彩色值均可以用一个四 说 明 书 CN 103559499 A 6 4/5 页 7 元数矢量表示 ； 然后用四元数f(,)表示模板图像， 用四元数g(,)表示PCB的待识 别图像， f(,)、 g(,) 大小分别为 MN,PQ ； 最后计算待识别图像是否存在某个位 置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0) ； 0051 检测模块， 检测模块根据匹配模块的计算结果来判断待识别图像与模板图像的匹 配度， 若待识别图像存在某个位置 (m0,n0)， 使得 g(m,n)=f(m-m0,n-n0)， 则说明待识别图像 g

22、(,) 中在位置 (ms,ns) 处存在一个与模板图像相匹配的物体， 彩色图像识别完成。 0052 一种 RGB 矢量匹配快速识别方法， 如图 2 所示， 包含以下顺序的步骤 ： 0053 首先， 将图像获取模块中单镜头彩色光源立体视觉系统采集到的待识别 PCB 板彩 色图像存入存储模块 ； 0054 接着， 匹配模块读取存储模块中的一幅待识别图像和一幅模板图像， 并建立以上 两幅图像的四元数矩阵模型 ； 令四元数 q=qr+qii+qjj+qkk 中的纯量部分 qr=0， 得到用四元 数表示的 RGB 三色空间彩色图像的色度值， 写成 f(x,y)=R(x,y)i+G(x,y)j+B(x,y

23、)k， 其中 R(x,y),G(x,y),B(x,y) 分别表示图像在位置 (x,y) 处的 RGB 三色空间的阶调值 ； 0055 进一步地， 由卷积定理知函数卷积的傅里叶变换是函数傅里叶变换的乘积， 因 此二者可通过运算相互转换 ； 但由傅里叶变换得到卷积函数时， 对函数的周期性有一定 的约束， 否则将导致结论错误 ； 因此为保证模板图像函数 f(,) 和待识别的图像函数 g(,) 在 x 方向有相同的周期 C， 在 y 方向有相同的周期 D， 必须要对其进行延拓处理 ； 周期 C 和 D 均为 2 的指数次方并且满足延拓模板图像 f(,) 和待识别 图像 g(,)， 得到 fe(,) 和

24、 ge(,)， 使得二者具有相同的周期 ； 0056 传统的应用于灰度图像的相关性技术， 其相关性函数归一化形式为 ： 0057 0058 随着图像亮度的变化， R(x,y) 也随之变化， 当且仅当模板图像和待识别图像相应 位置的图像完全匹配时， R(x,y)=1 ； 相似于传统的相关性函数， 得到适用于彩色图像的四元 数相关性函数归一化形式如下 ： 0059 0060 其中， 0061 b(m,n) 为四元数相关性函数， 表示为 b(m,n) 0062 Ef为模板图像的能量函数， 表示为 0063 Eg(m,n) 为待识别图像的能量函数， 表示为其中， 说 明 书 CN 103559499

25、A 7 5/5 页 8 0 m P-M+1,0 n Q-N+1 ； 0064 在四元数相关性计算过程中， 鉴于时域离散的卷积计算复杂度高， 耗时太长， 对于 实际应用中的实时性要求并不能很好的满足 ； 因此本发明将时域中的卷积运算转换为频域 中简单的傅里叶函数乘积运算， 并将其应用到四元数相关性的计算中， 从而提高了计算速 度 ； 四元数相关性的傅里叶变换通过下式实现 ： 0065 0066 其中 IQFT 为反四元数傅里叶变换 ： 0067 0068 进一步地， 选取阙值 P1， P2， d1， 使其满足条件 P11P2， d11， 并判断 |g(ms,ns)| 的值 是否在区间 P1,P2

26、 内， 且满足如下式子 ： 0069 0070 最后， 检测模块判断是否满足以上条件 ： 若上述的条件都满足， 则说明待识别图像 g(,) 中在位置 (ms,ns) 处存在一个与模板物体具有相同形状、 大小、 颜色和亮度的物 体， 若有其中一个条件不满足， 或二者皆不满足， 则不存在与模板相匹配的物体 ； 至此， PCB 板彩色图像识别完毕。 0071 上述实施例为本发明较佳的实施方式， 但本发明的实施方式并不受上述实施例的 限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、 替代、 组合、 简化， 均应为等效的置换方式， 都包含在本发明的保护范围之内。 说 明 书 CN 103559499 A 8 1/1 页 9 图 1 图 2 说 明 书 附 图 CN 103559499 A 9