一种机器人手眼立体视觉测量方法.pdf

一种机器人手眼立体视觉测量方法，通过安装在工业机器人末端执行器上的工业摄像机从两个不同方向对目标场景拍摄图像。在进行完摄像机标定和图像预处理之后，寻找两幅图像的共轭匹配点，最后根据共轭匹配点进行三维重建从而得到工件表面点的三维坐标。相比目前常用的固定式工业机器人手眼视觉测量，本发明可以获取工件的三维信息而非单纯的二维坐标，大大拓展了视觉系统在工业机器人装配、分拣等系统中的应用，具有巨大的应用价值与广泛的应用领域。

1.  一种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人，其特征在于， 该方法包括如下步骤：
所述拍摄装置实时获取目标物体的图像；
通过滤波的方式对图像进行预处理，得到目标物体的清晰图像；
提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点；
根据共轭匹配点进行三维重建，获取目标物体的三维信息；
根据所述三维信息控制所述机器人末端执行器对目标物体进行抓取。

2.  如权利要求1所述的一种机器人手眼立体视觉测量方法，其特征在于：在所述拍摄 装置获取图像之前，要先对所述拍摄装置进行标定，标定采用小孔成像的方式。

3.  如权利要求1所述的一种机器人手眼立体视觉测量方法，其特征在于：所述提取目 标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点，具体为：首先采用Harris 角点检测方法获取清晰图像中所有局部兴趣值最大的点，然后根据高斯差分进行特征点的立 体匹配。

4.  如权利要求3所述的一种机器人手眼立体视觉测量方法，所述首先采用Harris角点 检测方法获取清晰图像中所有局部兴趣值最大的点具体为：
计算各像素元的兴趣值IV；
得到局部极值点；
根据计算后的兴趣值，提取清晰图像中所有局部兴趣值最大的点。

5.  如权利要求4所述的一种机器人手眼立体视觉测量方法，所有局部兴趣值最大的点 利用高斯差分进行特征点的立体匹配，确定最终共轭匹配特征点，具体步骤如下：
利用高斯卷积构建金字塔结构的尺度空间；
对金字塔中间各层图像求Harris角点；
对所提取的Harris角点与其上下层图像对应的像素点计算高斯差分，高斯差分取得极 值并大于阈值的Harris角点被选为最终共轭匹配特征点。

一种机器人手眼立体视觉测量方法
技术领域
本发明涉及机器人视觉测量领域，尤其涉及一种机器人手眼立体视觉测量方法。
背景技术
在传统的机器人生产线上，执行抓取搬运任务的工业机器人绝大多数是以精确示教或者 离线编程的方式进行工作的。目标物体的初始位姿和终止位姿都是严格限定的，机器人只能 完成点到点的工作。但很多情况下特别是流水线的场合工件位姿常常是不固定的，实际目标 物体的位姿与理想目标物体位姿总是有偏差的，这种偏差哪怕很小都会导致机器人操作任务 的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人 的实际应用范围。随着现代生产制造技术的进步，进一步提高生产线的柔性的要求也日益迫 切，对工业机器人系统应用领域、灵活性和自主性要求也越来越高。
小批量多品种的生产模式是未来制造业的发展趋势。为保证工业机器人实时高效的完成 生产任务，将机器视觉引入到机器人作业系统，从而大大提高了生产线的柔性和智能水平。
当前机器视觉的实现主要采用平面视觉系统。王修岩等在《机械设计与制造》（2011年 第4期155页至157页）上发表的“基于单目视觉的工业机器人目标识别技术研究”，该文提 出使用一台固定在机器人上方的CCD摄像机拍摄工件环境中的目标并通过相关运算达到定位 目标的目的。其不足在于：只能获得工件的二维信息，无法获得其深度或者高度信息。无法 满足工业机器人装配、码垛等更高要求的作业任务。
发明内容
鉴于以上内容，有必要提出一种可以获取目标工件的三维立体信息、有较强实用性和可 靠性的机器人视觉测量方法。
一种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人，其特征在于，该方 法包括如下步骤：
所述拍摄装置实时获取目标物体的图像；
通过滤波的方式对图像进行预处理，得到目标物体的清晰图像；
提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点；
根据共轭匹配点进行三维重建，获取目标物体的三维信息；
根据所述三维信息控制所述机器人末端执行器对目标物体进行抓取。
进一步地，在所述拍摄装置获取图像之前，要先对所述拍摄装置进行标定，标定采用小 孔成像的方式。
进一步地，所述提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点， 具体为：首先采用Harris角点检测方法获取清晰图像中所有局部兴趣值最大的点，然后根据 高斯差分进行特征点的立体匹配。
进一步地，所述首先采用Harris角点检测方法获取清晰图像中所有局部兴趣值最大的 点具体为：计算各像素元的兴趣值IV；得到局部极值点；
根据计算后的兴趣值，提取清晰图像中所有局部兴趣值最大的点。
进一步地，所有局部兴趣值最大的点利用高斯差分进行特征点的立体匹配，确定最终共 轭匹配特征点，具体步骤如下：利用高斯卷积构建金字塔结构的尺度空间；对金字塔中间各 层图像求Harris角点；对所提取的Harris角点与其上下层图像对应的像素点计算高斯差分， 高斯差分取得极值并大于阈值的Harris角点被选为最终共轭匹配特征点。
相比于现有技术，本发明达到的有益效果如下：
本发明的提出一种工业机器人手眼式立体视觉测量方法，可以得到生产线上目标工件的 三维立体信息，此方法具有较强的实用性与可靠性。大大拓展了视觉系统在工业机器人装配、 分拣等系统中的应用，具有巨大的应用价值与广泛的应用领域。
附图说明
图1是本发明一种机器人手眼立体视觉测量方法的一较佳实施方式流程图；
图2是本发明一种机器人手眼立体视觉测量方法的三维重建空间图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图， 对本发明做进一步详细说明。
请参照图1，一种机器人手眼立体视觉测量方法，包括有一拍摄装置和一机器人，该方 法包括如下步骤：
S10：所述拍摄装置实时获取目标物体的图像。
拍摄装置固定在机器人手臂的末端执行器上，与末端执行器一起运动，以使所述拍摄装 置在多个不同位置（此实施例中为两个）对同一目标物体获取图像，在此实施例中，获取的 图像为两幅。在本实施例中，所述拍摄装置为一摄像机。
在所述拍摄装置获取图像之前，要先对所述拍摄装置进行标定，摄像机标定采用小孔成 像的方式。
S20：通过滤波的方式对图像进行预处理，得到目标物体的清晰图像。
此处选用中值滤波来消除图像中的噪声信号，即采用当前像素点所在邻域中所有像素按 灰度级排序，取其中间值来替代该像素的灰度值。以获取目标物体的清晰图像。中值滤波可 由下式表示：
g(m,n)=Median{f(m-k,n-l),(k,l)∈W}
其中，g(m,n)为中值滤波后的结果图像，f(m-k,n-l)为原始图像。取窗口为奇数，有 g(m,n)=f_(n+1)/2。常用的窗口为线形、十字形、方形、菱形、圆形等。
S30：提取目标物体清晰图像中的特征点，并进行立体匹配，获取共轭匹配点。
通常一幅图像中的某个特征点在另一幅图像中可能会有很多的匹配对象，此外，图像中 还存在诸如光照条件、景物形状、干扰噪声和畸变等不利因素，可能会引起歧义匹配。为避 免歧义匹配的出现，此处采用Harris角点检测及高斯差分检测对各视点的图像进行特征提 取。
首先，根据Harris角点检测方法求出一定数目的特征点：Harris算子是一种基于信 号的点特征提取算子，当像素所在位置沿任意方向的曲率都比较大时，则判定该像素点为角 点。Harris算子只涉及图像的一阶导数，其方法步骤如下：
S301：计算各像素元的兴趣值IV:
M = G ( s ~ ) × g x 2 g x g y g y g x g y 2 ]]>
IV=Det(M)-k·trace²(M),k=0.04
其中g_x是x方向的梯度，g_y是y方向的梯度，为高斯模板，Det(M)和trace(M)分 别表示矩阵M的行列式和迹，k为默认常数；
S302：得到局部极值点，根据计算后的兴趣值，提取清晰图像中所有局部兴趣值最大的 点；
S303：对所有局部兴趣值最大的点进行立体匹配。
所有局部兴趣值最大的点利用高斯差分进行特征点的立体匹配，确定最终共轭匹配特征 点，具体步骤如下：
S304：利用高斯卷积构建金字塔结构的尺度空间；
S305:对金字塔中间各层图像求Harris角点；
S306:对所提取的Harris角点与其上下层图像对应的像素点计算高斯差分，高斯差分 取得极值并大于阈值的Harris角点被选为最终共轭匹配特征点。
S40:根据共轭匹配点进行三维重建。
如2图所示，在得到两幅图像的共轭匹配点后，就可以进行三维重建得到空间点的三维 坐标。方法是若其中一对共轭匹配点是P1、P2。投影点P1对应的空间点必在O1P1直线上， 同样投影点P2对应的空间点必在O2P2直线上。因此，共轭匹配点P1和P2对应的空间点P 一定为两直线的交点，从而对应空间点P的三维位置信息便可唯一确定。根据此方法逐点进 行三维重建就能恢复空间物体的三维立体信息。
S50：根据所述三维信息控制所述机器人末端执行器对目标物体进行抓取。
在本领域的普通技术人员来说，可以根据本发明的发明方案和发明构思结合生产的实际 需要做出相应的改变或调整，而这些改变和调整都应属于本发明权利要求的保护范围。