《一种果实振荡状况下采摘机器人的采摘方法.pdf》由会员分享，可在线阅读，更多相关《一种果实振荡状况下采摘机器人的采摘方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)授权公告号 CN 102113434 B (45)授权公告日 2012.08.15 CN 102113434 B *CN102113434B* (21)申请号 201110007518.4 (22)申请日 2011.01.14 A01D 46/24(2006.01) B25J 13/00(2006.01) B25J 19/00(2006.01) (73)专利权人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301 号 (72)发明人 赵德安 吕继东 姬伟 陈玉 沈慧良 张颖 (74)专利代理机构 南京经纬专利商标代理有限 公司 32200 代理人 楼高潮 CN 101803。
2、511 A,2010.08.18, 全文 . EP 0685779 A1,1995.12.06, 全文 . CN 101019484 A,2007.08.22, 全文 . CN 101395989 A,2009.04.01, 全文 . US 3971480 A,1976.07.27, 全文 . 方建军 . 采摘机器人开放式控制系统设 计 .农业机械学报 .2005, 第 36 卷 ( 第 5 期 ),83-86. 李占坤等.基于工业PC机的果树采摘机器人 控制系统设计 .机械设计与制造 .2010,( 第 6 期 ),142-144. 薛峰等 . 六自由度农业采摘机器人驱动控制 仿真研究. 农。
3、机化研究 .2010,(第7期),59-64. 张向珂 . 采摘机械手障碍信息探测 .江苏 大学硕士学位论文 .2010, 全文 . (54) 发明名称 一种果实振荡状况下采摘机器人的采摘方法 (57) 摘要 本发明公开了一种采摘机器人的果实采摘方 法 , 该方法通过图像采集步骤连续实时采集果实 图像 ； 目标果实检测步骤对采集的图像进行预处 理， 去除背景， 检测出图像中的目标果实 ； 快速傅 立叶变换对目标果实振荡周期计算步骤 ； 单目视 觉测距方法对目标果实深度计算 ； 机器人直动关 节行程速度确定步骤和目标果实采摘步骤。通过 该方法可以实现满足苹果等类球状果实震荡下的 采摘机器人采摘过。
4、程， 提高采摘机器人的采摘效 率。 (51)Int.Cl. (56)对比文件 审查员 王东 权利要求书 1 页 说明书 4 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利 权利要求书 1 页 说明书 4 页 附图 2 页 1/1 页 2 1. 一种果实振荡状况下采摘机器人的采摘方法， 其特征在于包括以下步骤 ： 1） 图像采集步骤 ： 连续实时采集果实图像 ； 2） 目标果实检测步骤 ： 对采集的图像进行预处理， 去除背景， 检测出图像中的目标果 实 ； 依据下式求取振荡目标果实的二维质心坐标 : ， 其中 ： i， j 为目标果实图像像素的横、 纵坐标， n 为目标。
5、果实图像的总像素数， 为属于 同一目标果实图像的像素集合 ； 3） 目标果实振荡周期计算步骤 ： 确定目标果实振幅最高的图像帧， 计算其在振荡平衡 位置的坐标， 判断比较目标果实在x和y方向上的振幅大小， 对振幅较大的方向采用基于目 标果实多帧图像质心坐标的快速傅立叶变换， 得到目标果实的振荡周期 TS； 4） 目标果实深度计算步骤 ： 根据视频摄像头不同位置采集的两幅图像中目标果实形状 特征的差值， 采用基于形状特征的单目视觉测距方法计算得到目标果实深度 d ； 所述单目 视觉测距方法为， 从步骤 1） 所采集图像中任选一帧提取目标果实的半径 r1， 然后机器人向 前移动 g 的距离， 采集。
6、并提取该位置的目标果实半径 r2， 则目标果实深度 d 为 ：。 5） 机器人直动关节行程速度确定步骤 ： 计算以目标果实振荡平衡位置为起始点的 TS/4 周期的个数 td， 其公式为 ： 其中 ： t 为步骤 1）4） 所需的时间， N 为振荡幅值最高的图像帧数， TC为图像采集周 期 ； 目标果实深度 d 与目标果实到达振荡平衡位置所需的时间相除， 得到机器人直动关节 运动到达目标果实的行程速度 v， 其公式为 ： 对 td取余得 tdy； m 与对 td取整的奇偶性一致， 且 m 满足下取值最小。 6） 目标果实采摘步骤 ： 以行程速度 v 驱动机器人直动关节到达目标果实进行采摘。 2.。
7、 根据权利要求 1 所述的一种果实振荡状况下采摘机器人的采摘方法， 其特征在于， 所述步骤 2） 目标果实检测步骤中去除背景的方法为， 采用从多帧图像中基于帧间差分再与 原始帧取交集的方法。 权 利 要 求 书 CN 102113434 B 2 1/4 页 3 一种果实振荡状况下采摘机器人的采摘方法 技术领域 0001 本发明是一种涉及采摘机器人果实采摘的方法， 尤其是对苹果等类球状果实在振 荡状况下的采摘方法。 背景技术 0002 苹果等类球状果实采摘机器人在进行果实采摘时， 首先采摘机器人各模块初始 化， 其机械臂靠近果树于适合距离 ； 视频摄像头捕捉并获得目标果实的图像信息， 图像处理 。
8、软件进行背景消除、 识别定位等， 得出目标果实的位置信息 ； 机器人控制计算机驱动各关节 运动， 完成果实抓取、 果实与果枝分离等采摘动作。然而， 在采摘机器人进行果实与果枝分 离的过程中， 不管采用切断方式还是扭断方式， 都会引起果树上其他果实的振荡 ； 另外， 自 然界风力的作用也会导致果实振荡的发生， 从而会使得后续果实的识别定位时间变长， 连 续采摘间断， 进而加长了果实采摘的整体时间， 影响采摘机器人的采摘效率。 发明内容 0003 本发明的目的是 ： 提供一种果实振荡状况下采摘机器人的采摘方法， 解决由于果 实振荡影响采摘机器人采摘效率的问题。 其方法简单、 通用性好， 能够显著提。
9、高采摘机器人 果实采摘的速度。 0004 本发明果实振荡状况下采摘机器人的采摘方法的技术方案是 , 包括以下步骤 : 0005 1） 图像采集步骤 ： 连续实时采集果实图像 ； 0006 2） 目标果实检测步骤 ： 对采集的图像进行预处理， 去除背景， 检测出图像中的目标 果实 ； 依据下式求取振荡目标果实的二维质心坐标 : 0007 ， 0008 其中 ： i， j 为目标果实图像像素的横、 纵坐标， n 为目标果实图像的总像素数， 为 属于同一目标果实图像的像素集合 ； 0009 3） 目标果实振荡周期计算步骤 ： 确定目标果实振幅最高的图像帧， 计算其在振荡 平衡位置的坐标， 判断比较目。
10、标果实在x和y方向上的振幅大小， 对振幅较大的方向采用基 于目标果实多帧图像质心坐标的快速傅立叶变换， 得到目标果实的振荡周期 TS； 0010 4） 目标果实深度计算步骤 ： 根据视频摄像头不同位置采集的两幅图像中目标果实 形状特征的差值， 采用基于形状特征的单目视觉测距方法计算得到目标果实深度 d ； 0011 5） 机器人直动关节行程速度确定步骤 ： 计算以目标果实振荡平衡位置为起始点的 TS/4 周期的个数 td， 其公式为 ： 0012 说 明 书 CN 102113434 B 3 2/4 页 4 0013 其中 ： t 为步骤 1）4） 所需的时间， N 为振荡幅值最高的图像帧数，。
11、 TC为图像采 集周期 ； 0014 通过 td计算目标果实到达振荡平衡位置所需的时间， 则目标果实深度 d 与该时间 相除即为机器人直动关节运动到达目标果实的行程速度 v ； 0015 6） 目标果实采摘步骤 ： 以行程速度 v 驱动机器人直动关节到达目标果实进行采 摘。 0016 本发明的技术效果为 ： 对于苹果等类球状果实采摘机器人将果实分离果枝时导致 其他果实振荡以及由于自然界风力作用引起果实振荡的情况， 该发明方法仍能对这些振荡 的果实进行连续的抓取采摘， 而不必等待振荡果实停止下来才完成其识别定位， 继而才进 行抓取采摘， 由此减少了采摘时间， 提高了采摘效率， 大大增强了采摘机器。
12、人的实用性。 附图说明 0017 图 1 为果实采摘流程 ； 0018 图 2 为采摘机器人采摘机构图 ； 0019 图 3 为果实振荡曲线图 ； 0020 图 4 为果实振荡快速傅立叶变换曲线图 ； 0021 图 5 为采摘机器人目标果实深度示意图 ； 0022 其中 ： 1- 数据处理与系统控制模块， 2- 机械臂底座， 3- 腰部， 4- 大臂， 5- 小臂， 6- 直动关节， 7- 末端执行器， 8- 图像采集模块， 9- 振荡周期， 10- 振荡平衡位置， 11- 果实振 荡原始曲线， 12- 果实振荡采集连接曲线， 13- 果实振荡快速傅立叶变换幅值 - 频率曲线， 14- 目标果。
13、实深度 d， 15- 果树。 具体实施方式 0023 下面结合附图对本发明的实施方式做进一步的描述。 0024 图 2 中的采摘机器人其采摘机构主要由腰部 3、 大臂 4、 小臂 5、 直动关节 6 和末端 执行器 7 组成， 其中腰部 3、 大臂 4、 小臂 5 为旋转关节， 腰部 3 旋转带动机械臂底座 2 动作， 直动关节 6 可伸长末端执行器 7， 腰部 3、 大臂 4、 小臂 5 和直动关节 6 整体联动实现末端执 行器7在工作空间中进退任意方向 ； 图像采集模块8采用眼在手上安装方式， 实现对果实图 像的采集 ； 数据处理与系统控制模块 1 负责图像信息的处理和对机器人的控制。 0。
14、025 采摘机器人图像采集模块 8 可以采用二维摄像装置， 如 CMOS 视频摄像头， 它能够 连续实时采集果实图像 ； 数据处理与系统控制模块 1 采用数字处理器， 它能够将采集到的 图像信息进行加工处理， 并能控制采摘机器人完成目标果实的采摘 ； 图像采集模块 8 和数 据处理与系统控制模块 1 通过数据传输线连接。数据处理与系统控制模块 1 可以采用工业 控制计算机， 数据传输线采用 USB 接口的数据传输线。 0026 图 3 为果实的震荡曲线， 由图可见， 果实的振荡近似为阻尼运动， 其振荡周期 9 保 说 明 书 CN 102113434 B 4 3/4 页 5 持不变， 每个振荡。
15、周期 9 经历两次震荡平衡位置 10。果实振荡周期的求取方法采用数字图 像处理技术， 首先将振荡果实从所采集的多帧图像中检测出来， 其后计算出果实的振荡周 期。 0027 采摘机器人采摘振荡状况下目标果实的过程如下 ： 0028 (1) 图像采集步骤 0029 视频摄像头采集频率为 15 帧 / 秒， 连续采集 30 帧图像。 0030 (2) 目标果实检测步骤 0031 本实施例对视频摄像头所采集的图像首先使用矢量中值滤波的方法进行图像预 处理， 去除噪声、 突出前景果实、 保持其边缘和细节 ； 然后采用帧间差分法对相邻帧图像进 行差分处理， 去除背景， 其结果再与原始帧进行交集， 从而检测。
16、出图像中的振荡果实 ； 最后 依据下式求取振荡目标果实的二维质心坐标 (x, y)。 0032 ， 0033 式中 （i, j） 为目标果实图像像素的横、 纵坐标， n 为目标果实图像的总像素数， 为属于同一目标果实图像的像素集合。 0034 (3) 目标果实振荡周期计算步骤 0035 由上述所求取 30 帧图像目标果实二维质心坐标值首先来确定果实振幅最高的图 像帧， 计算果实在振荡平衡位置的坐标， 然后判断比较果实在 x 和 y 方向上的振幅大小， 若 果实在 x 方向上的振幅大， 则对所求取 30 帧图像目标果实质心的 x 坐标进行快速傅立叶变 换 ； 若果实在 y 方向上的振幅大， 则对。
17、所求取 30 帧图像目标果实质心的 y 坐标进行快速傅 立叶变换， 由此可以得到目标果实的振荡频率。图 4 中是对果实振荡曲线的快速傅立叶变 换分析， 它们的纵坐标表示的都是果实的振荡幅值， 果实振荡快速傅立叶变换幅值 - 频率 曲线 13 是果实振荡采集连接曲线 12 连接曲线各个采集点进行快速傅立叶变换的幅值 - 频 率曲线图， 15 帧 / 秒的采集频率采集 30 帧图像， 其横坐标各个点对应的频率应为 0.5Hz， 即 快速傅立叶变换的频率分辨率为 0.5Hz， 由于快速傅立叶变换结果的对称性， 通常只使用前 半部分的结果， 即小于采集频率一半的结果， 由此从图 4 中的果实振荡快速傅。
18、立叶变换幅 值-频率曲线13可知， 目标果实的振荡频率为1.5Hz， 这和图4中的11目测频率是相符的 ； 由目标果实的振荡频率可求出振荡周期TS。 视频摄像头在相同采集频率下增加图像采集帧 数， 可提高快速傅立叶变换的频率分辨率， 从而提高目标果实的振荡周期计算精度。 0036 图 3 中振荡周期 T 不变。图 5 中采摘机器人机械臂的姿态即为机器人寻找目标果 实时其机械臂的初始工作姿态， 此过程中直动关节是收缩在小臂内的。 0037 (4) 目标果实深度计算步骤 0038 目标果实深度的计算是基于单目视觉的， 根据视频摄像头不同位置采集的两幅图 像中目标果实形状特征的差值计算得到目标果实深。
19、度 d。本实施例以目标果实的半径这一 形状特征作为测距变量。采摘机器人首先从步骤 (1) 中所采集图像中任选一帧提取目标果 实的半径 r1， 然后机器人向前移动 g 的距离， 采集并提取该位置的目标果实半径 r2， 则目标 果实深度 d 为 ： 0039 说 明 书 CN 102113434 B 5 4/4 页 6 0040 (5) 机器人直动关节行程速度确定步骤 0041 从视频摄像头采集图像开始计时， 直到目标果实振荡周期 TS及目标果实深度 d 计 算出来所需的时间为 t ； 视频摄像头图像采集周期 TC由步骤 (1) 可知 ； 机器人直动关节的 行程速度 v 是可控的， 其最大行程速度。
20、为 vmax。假定第 N 帧图像目标果实振荡幅值最高， 以 该图像采集时间点加 TS/4 即为目标果实振荡的一个平衡位置时间点， 由此可得 td： 0042 0043 式中 td为以果实振荡平衡位置为起始点的 TS/4 周期的个数。对 td取余得 tdy。机 器人直动关节运动到达目标果实进行采摘的行程速度 v 为 ： 0044 0045 对 td取余得 tdy； m 与对 td取整的奇偶性一致， 且 m 满足下取值最小。 0046 (6) 以行程速度v驱动机器人直动关节到达目标果实进行采摘， 此时目标果实正 处于平衡位置。 说 明 书 CN 102113434 B 6 1/2 页 7 图 1 图 2 图 3 说 明 书 附 图 CN 102113434 B 7 2/2 页 8 图 4 图 5 说 明 书 附 图 CN 102113434 B 8 。