柑橘采摘机器人的柔性采摘装置和方法.pdf

本发明涉及一种针对柑橘类球形水果采摘方法和装置，将力觉、温觉、视觉、距离等多传感器信息融合，及时反馈信息以实现执行部件对水果的柔性采摘。所述柔性采摘装置，由果实采摘硬件装置和软件控制系统两部分组成，果实采摘硬件装置由计算机视觉系统、工控系统、机械手臂、末端执行器组成；其利用立体视觉系统检测和识别可采摘的成熟水果；在世界坐标下，计算出果实的具体位置，将得到的果实位置信息和障碍物位置信息进行特征提取，在虚拟环境下建立三维模型得到机器人运动路径后，由工控机系统控制机械臂和手爪抵达指定位置；最后，控制末端执行器伸出吸盘吸住并牵引水果，而后用手爪固定水果，再由切割装置旋转到指定位置，切断果梗。

权利要求书
1.  柑橘采摘机器人的柔性采摘装置，其特征是由果实采摘硬件装置和软件控制系统两部分组成，果实采摘硬件装置由计算机视觉系统、工控系统、机械手臂、末端执行器组成，末端执行器部分包括：真空吸附装置、手爪和切割装置；
1)机械手臂：由5个自由度旋转关节组成，机械臂包括底座(1)、腰关节(2)、肩部(3)、肩关节(4)、大臂(5)、肘关节(6)、小臂(7)、腕关节(8、9)、末端执行器安装架(10)，其中腕关节有2个自由度，每个关节都由齿轮(16)、齿型带(17)、编码盘(18)、减速器(19)、电机(20)和电机驱动器(21)连接组成；
2)视觉系统：为安装在机械臂基座上的双目立体视觉系统(12)，通过USB接口与主计算机(13)相连，实现环境信息的采集；
3)工控系统：包括工控机(14)，内插多个用于控制机械臂各关节(2，4，6，8，9)和末端执行器(11)的运动控制卡(15)；
4)真空吸附装置：为橡胶吸盘(30)，安装在吸盘导杆(47)上，吸盘导杆固定在吸盘支架(48)上，吸盘支架和螺杆(49)相连，螺杆末端和吸盘电机(27)连接，电机固定在末端执行器安装架(10)上；
5)手爪：由3个两关节手指(23)构成，安装在手掌(22)上，指根(44)、指尖(43)的关节驱动由指根驱动器(46)和指尖驱动器(24)驱动，指根驱动器(46)由角度传感器(50)检测指根转动角度，电机(56)、电机驱动器(57)、减速器(58)直接和指根相连控制指根(44)运动；指尖驱动器(46)由角度传感器(59)检测指尖转动角度，电机(54)、电机驱动器(55)、减速器(53)连接驱动轮(52)，带动指尖驱动带(51)控制指尖(43)运动，每个指尖安装了接近传感器(40)，每个手指内侧装有力觉传感器(41)和温觉传感器(42)，手掌(22)内装有超声传感器(25)；
6)切割装置：其支架(32)固定在手掌(22)上，与旋转装置(33)相连，刀片架上安装电机(36)、皮带轮(35)，刀片上方有防护罩(39)；
软件控制系统包括：立体视觉标定，目标信息获取识别、定位，机械手路径规划，机械臂和末端执行器控制模块。

2.  根据权利要求1所述的柑橘采摘机器人的柔性采摘装置的采摘方法，其特征是：首先，利用立体视觉系统检测和识别可采摘的成熟水果；利用成熟柑橘和枝叶之间的颜色和形态差异识别目标、障碍物等信息；接着在世界坐标下，计算出果实的具体位置，判断障碍物位置是否影响水果采摘；
将得到的果实位置信息和障碍物位置信息进行特征提取，在虚拟环境下建立三维模型，利用基于概率地图算法进行机器人路径规划计算，得到无碰撞路径，得到机器人运动路径后，由工控机系统控制机械臂和手爪抵达指定位置；
最后，控制末端执行器伸出吸盘吸住并牵引水果，而后用手爪固定水果，再由切割装置旋转到指定位置，切断果梗。

说明书柑橘采摘机器人的柔性采摘装置和方法
技术领域
本发明涉及一种针对柑橘类球形水果采摘方法和装置，将力觉、温觉、视觉、距离等多传感器信息融合，及时反馈信息以实现执行部件对水果的柔性采摘。
背景技术
在水果生产作业中，果实采摘约占整个作业量的33～50％。由于采摘作业的复杂性，采摘自动化程度仍然很低。目前，农业劳动力将逐渐向社会其它产业转移，世界各国面临着人口老龄化问题，劳动力资源不足将逐渐变为现实，水果收获机器人作为农业机械的重要分支，能够降低人劳动强度，提高劳动生产率和产品质量，保证果实适时采收，具有很大发展潜力。
人工柑橘采摘时，采用“复剪法”采果，第一剪离果蒂1cm附近处剪下，再齐果蒂剪第二剪，要求果蒂平整，萼片完整。由于同一树的果实成熟期不同，因此在采摘时不能损伤未成熟果以及枝叶。
柑橘采摘机器人系统中，末端执行器设计是难点，要求能准确抓取水果，实现果、树分离，如何切断柑橘短而坚硬的果梗是果、树分离的关键。日本学者研究了一种夏橙收获机器人，该装置由橡胶手指抓住水果，汽缸驱动剪刀剪断果梗。如果末端执行器和水果之间枝叶等障碍物，橡胶手指靠近水果时会过早弯曲，无法抓取水果，即使抓住果实，当果梗不在剪切范围也无法剪断，这种装置手爪过于笨重，影响机器人整体结构。美国研究人员研制的柑橘采摘机器人，其末端执行器有一个圆弧刀片，可以快速转动180度，切断果梗，由于柑橘果梗坚硬，如果刀片不够锋厉，一次切割难以切断，这种设计很容易伤及果实，据报导采摘时造成44％的水果损伤，可见这种装置缺乏柔性。经美国专利检索，Fruit Picker(5428947)，Citrus Harvesting Machine(5666795)，Dual Pressure Release Assembly For A Fruit HarvestingMachine(6006507)，Continuously Advancing Fruit Harvesting Machine(US 6263652 B1)等专利，主要利用移动机械将梳状的果实采摘臂伸入果树，当手臂收回时安装在采摘臂上的钩子钩住果梗，并将其折断，实现果、树分离。这是一种单纯的收获机械，既不考虑果实成熟期，也不判断钩住的是否为果梗，因此极易损伤果实和果树。其他柑橘类水果采摘装置大多是为方便人工采摘而设计，如Fruit Picking Apparatus(US 6182431 B1)等，国内相关柑橘采摘装置的专利也是主要为人工采摘设计。
发明内容
鉴于现有装置和方法存在的缺陷，本发明的目的是提供一种柑橘采摘机器人的柔性采摘装置和方法。
本发明的技术方案如下：
本发明所述柑橘采摘机器人的柔性采摘装置由两部分组成：果实采摘硬件装置和软件控制系统。
果实采摘硬件装置由计算机视觉系统、工控系统、机械手臂、末端执行器几部分组成。
末端执行器部分包括：真空吸附装置、手爪和切割装置。
1)机械手臂：完成将末端执行器送到指定位置的工作。如图1所示，机械臂由5个自由度旋转关节组成，机械臂包括底座(1)、腰关节(2)、肩部(3)、肩关节(4)、大臂(5)、肘关节(6)、小臂(7)、腕关节(8、9)、末端执行器安装架(10)、末端执行器(11)。其中腕关节有2个自由度，可以实现转动(8)和上下摆动(9)。每个关节都由齿轮(16)、齿型带(17)、编码盘(18)、减速器(19)、电机(20)和电机驱动器(21)连接组成。
2)视觉系统：主要实现非结构性工作环境的信号采集，完成目标和背景分割，果实成熟度判定和定位功能，如图1所示。主要硬件为安装在机械臂基座上的双目立体视觉系统(12)，通过USB接口与主计算机(13)相连，实现环境信息的采集。自行编制的计算机软件完成成熟果实识别、定位，障碍物识别，规划机器人运动路径。
3)工控系统：实现各部件的运动控制。如图1所示，包括工控机(14)，内插多个运动控制卡(15)用于控制机械臂各关节(2，4，6，8，9)和末端执行器(11)运动。
4)真空吸附装置：实现吸附和牵引水果的功能。如图2所示，该装置末端是橡胶吸盘(30)，安装在吸盘导杆(47)上，吸盘导杆固定在吸盘支架(48)上，吸盘支架和螺杆(49)相连，螺杆末端和吸盘电机(27)连接，电机驱动实现吸盘的前后运动，电机固定在末端执行器安装架(10)上。水果采摘时，吸盘伸出，并驱动真空泵(29)抽真空，当吸盘吸住水果时，吸盘内的压力传感器(31)检测到真空度发生突变控制吸盘回收，可以牵引出树枝中的水果，便于采摘。
5)手爪：完成水果抓取和固定功能。如图2所示，主要由3个两关节手指(23)构成，安装在手掌(22)上，指根(44)、指尖(43)的关节驱动由指根驱动器(46)和指尖驱动器(24)驱动，实现手指的开合、伸缩功能。指根驱动器(46)由角度传感器(50)检测指根转动角度，电机(56)、电机驱动器(57)、减速器(58)直接和指根相连控制指根(44)运动；指尖驱动器(46)由角度传感器(59)检测指尖转动角度，电机(54)、电机驱动器(55)、减速器(53)连接驱动轮(52)，带动指尖驱动带(51)控制指尖(43)运动。每个指尖安装了接近传感器(40)防止手指与障碍物碰撞。每个手指内侧装有力觉传感器(41)和温觉传感器(42)用于实时检测手指握力大小，并检测抓取物的温度。手掌(22)内装有超声传感器(25)，用于检测抓取对象的距离。
6)切割装置：用于切断柑橘坚硬的果梗实现果、树分离。如图2所示，切割装置的支架(32)固定在手掌(22)上，由旋转装置(33)(同指根驱动器(45)结构)驱动刀片架(34)正反旋转。刀片架上安装电机(36)、皮带轮(35)，通过皮带(37)带动刀片(38)飞速旋转切割果梗。刀片上方有防护罩(39)，避免切到周围枝叶。由于刀片是在高速旋转下切割果梗，因此对手爪的抓紧力度要求较小。
软件控制系统主要包括：立体视觉标定，目标信息获取识别、定位，机械手路径规划，机械臂和末端执行器控制等模块，如图3所示。
1)立体视觉标定模块：由于双目立体视觉中的两个摄像头基线可以变化，镜头可以调整，在检测前需要对系统进行标定，以获得精确的摄像头内部参数和外部参数，从而计算出柑橘和摄像头之间准确的三维信息，保证机器人手爪的定位精度。
2)目标信息获取、识别定位模块：采用各种算法，如图像预处理去除图像采集噪声、修正光线对图像质量的影响，在特征提取方面，利用图像形状特征、颜色特征去除自然场景下无用背景，提取果实信息和障碍物信息，实现成熟果实的识别、定位以及障碍物三维位置计算。
3)机器人路径规划模块：利用包围盒技术在位姿空间搜索能避开障碍物的自由空间；通过概率地图算法(PRM)，规划出一条机械臂能躲开障碍物，将手爪无碰撞移动到成熟水果的运动路径；对规划路径进行平滑处理，避免机械臂运动速度和方向发生突变，损坏电机。
4)机械臂和手爪控制模块：根据路径规划得到的自由路径，控制机械臂和末端执行器按指定的运动轨迹运动。当末端执行器抵达指定位置后，控制真空吸附装置伸缩、吸住并牵引果实，控制手指按规定程序抓紧果实，并控制果梗切割装置旋转并切割果梗，完成采摘。
本发明所述的柑橘采摘方法技术方案为：
首先，利用立体视觉系统检测和识别可采摘的成熟水果。主要利用成熟柑橘和枝叶之间的颜色和形态差异识别目标、障碍物等信息；接着在世界坐标下，计算出果实的具体位置，判断障碍物位置是否影响水果采摘。
将得到的果实位置信息和障碍物位置信息进行特征提取，在虚拟环境下建立三维模型，利用基于概率地图算法(PRM)进行机器人路径规划计算，得到无碰撞路径。得到机器人运动路径后，由工控机系统控制机械臂和手爪抵达指定位置。
最后，控制末端执行器伸出吸盘吸住并牵引水果，而后用手爪固定水果，再由切割装置旋转到指定位置，切断果梗。
本发明的优点是可根据力觉、温觉、视觉、距离等多传感信息融合，实时感知环境信息，引导机器人末端执行器在合适位置实现果、树分离的。
附图说明
图1柑橘采摘机器装置结构示意图
1-机械臂底座，2-腰关节(包括：16-齿轮，17-齿型带，18-编码盘，19-减速器，20-电机21-电机驱动器，)，3-肩部，4-肩关节(结构同腰关节)，5-大臂，6-肘关节(结构同腰关节)，7-小臂，8-旋转腕关节(结构同腰关节)，9-摆动腕关节(结构同腰关节)，10-末端执行器安装架，11-末端执行器，12-立体视觉系统，13-主计算机，14-工控机，15-运动控制卡。
图2机械臂关节示意图
16-齿轮、17-齿型带、18-编码盘、19-减速器、20-电机、21-电机驱动器
图3末端执行器结构示意图
图3(1)主视图
图3(2)侧视图
图3(3)两关节手指总成示意图
22-手掌，23-两关节手指总成，24-真空吸附装置总成，25-超声测距装置总成，26-切割装置总成，10-末端执行器安装支架，27-吸盘电机，28-真空泵软管，29-真空泵，30-橡胶吸盘，31-气压传感器，32-切割装置支架，33-刀片架旋转装置，34-刀片架，35-皮带轮，36-电机，37-皮带，38-刀片，39-刀片防护罩，40-接近传感器，41-力觉传感器，42-温觉传感器，43-指尖，44-指根，45-指根驱动器(包括：50-角度传感器，56-电机，57-驱动器，58-减速器)，46-指尖驱动器(包括：51-指尖驱动带，52-驱动轮，53-减速器，54-电机，55-电机驱动器，59-角度传感器)，47-吸盘导杆，48-吸盘支架，49-螺杆
图4柑橘采摘机器人软件控制模块
具体实施方式
本发明的柑橘柔性采摘方法和装置，在球形果实采摘方面具有普遍适用性。采用三指两关节结构，可以稳妥地抓住球形水果，手指内侧的力反馈系统，可以根据需要实施不同的抓紧力，适合薄皮水果和易破水果的采摘。本发明的关键难点在于柑橘有坚硬的果梗，必须采用锋利的刀锯才能实现果、树分离，一般的刀片很难一次切断。如果采摘其它果梗易断水果，如西红柿，则可以拆除刀锯。
本发明根据柑橘的生长状况和大小不同，设计的手爪最大张开直径9cm，可以容纳大多数柑橘类水果。由于重力作用，柑橘一般挂在树枝上，有些被树叶遮挡。通过立体视觉系统可以测量到裸露在外柑橘的具体位置。
在图像采集前，需要对立体视觉系统的内部参数，如焦距、镜头畸变系数进行标定，并对外部参数也进行标定，得到两摄像头基线距离，摄像机在世界坐标中的位置。为进一步定位计算提供精确参数。
机器人进行采摘操作时，首先由双目立体视觉系统拍摄两幅图像，经过自行开发的软件进行图像预处理，提取目标的颜色和形态特征，用Hough变换和最小外界矩形技术分割重叠水果，并对提取目标进行基于特征的立体匹配，匹配时采用各种约束条件，如极线约束、唯一性约束、保序性约束，确保匹配的唯一性，得到果实和障碍物的三维信息。果实定位后，将障碍物信息和目标信息向虚拟空间转换，并在位姿空间进行路径规划，搜索自由路径。为保证机械臂运动平滑，还必须对行走路径进行平滑处理，减少电机转动时的反转、急停和急加速等现象。
当末端执行器抵达指定位置后，真空泵开始抽真空，并启动吸盘的驱动电机，伸出吸盘吸住果实，吸盘伸出距离大小由手掌内的测距传感器获得。当果实被吸住时吸盘管道内真空度会急剧上升，当真空度达到一定阈值时，吸盘驱动电机反转，吸盘牵引果实向掌心回缩同时启动手指驱动电机，手指将按照指定路径抓紧并固定水果，如果手指运动过程中有障碍物，指尖的接近传感器会发出信号，终止手指伸出；手指内测的力觉传感器可以实时检测到抓紧力大小，以避免抓伤水果或抓紧力不够导致水果脱落的事件发生。手指包住水果后，吸盘和三个手指形成4个支点固定住水果，并调整与掌心的位置。当抵达规定位置后才会启动切割刀片支架向掌心移动，并启动旋转刀片工作，当刀片遇到果梗时，刀片驱动电机负荷增加开始切割果梗，当负荷消失时表明果梗被切断采摘结束。如果遇到果实大小超出设计范围时，则无法启动切割装置，有效保护机械手的手指和水果不受割伤。采摘结束后，刀片回到起始位置，采摘果实被放入指定位置，手指回到初始状态。