一种物体抓取设备的物体抓取方法、装置及物体抓取设备.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利 (10)授权公告号 (45)授权公告日 (21)申请号 201710318016.0 (22)申请日 2017.05.08 (65)同一申请的已公布的文献号 申请公布号 CN 107212976 A (43)申请公布日 2017.09.29 (73)专利权人 深拓科技 （深圳） 有限公司 地址 518000 广东省深圳市罗湖区东门街 道文锦中路1027号深业大厦8楼809室 (72)发明人 吴玉媚 王琳 (74)专利代理机构 深圳青年人专利商标代理有 限公司 44350 代理人 傅俏梅 (51)Int.Cl. A61G 5/10(2006

2、.01) G06T 7/70(2017.01) B25J 5/00(2006.01) (56)对比文件 CN 106607907 A,2017.05.03,说明书第 0024-0030段， 图1-3. CN 201135561 Y,2008.10.22,全文. CN 101774170 A,2010.07.14,全文. CN 102165880 A,2011.08.31,全文. CN 104827483 A,2015.08.12,全文. CN 106105566 A,2016.11.16,全文. WO 2013/025978 A2,2013.02.21,全文. CN 104398346 A,2

3、015.03.11,全文. CN 104816300 A,2015.08.05,全文. CN 205839659 U,2016.12.28,全文. 杨军 等. “装备机械臂的智能轮椅研究” . 上海电机学院学报 .2008,第11卷(第2期),第 160-164页. 审查员 马梨 (54)发明名称 一种物体抓取设备的物体抓取方法、 装置及 物体抓取设备 (57)摘要 本发明适用计算机技术领域， 提供了一种物 体抓取设备的物体抓取方法、 装置及物体抓取设 备， 该方法包括： 通过物体抓取设备基座上的第 一视觉传感器获取基座前方视场范围内物体的 图像与位置信息， 并向用户输出获取到的图像， 接收用

4、户输入的待抓取物体， 获取待抓取物体的 位置信息， 根据待抓取物体的位置信息移动物体 抓取设备上的机械臂， 以使机械臂末端夹持器移 动到待抓取物体的抓取范围内， 当待抓取物体处 于机械臂的可抓取视场范围内时， 通过机械臂上 的第二视觉传感器获取待抓取物体的图像和位 置信息， 根据第二视觉传感器获取到的位置信息 移动机械臂， 通过机械臂末端夹持器抓取待抓取 物体， 从而提高了通过机械臂抓取物体的准确 性， 进而提高抓取效率。 权利要求书2页 说明书8页 附图5页 CN 107212976 B 2018.12.14 CN 107212976 B 1.一种物体抓取设备的物体抓取方法， 其特征在于，

5、所述方法包括下述步骤： 通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体的图 像与位置信息， 并向用户输出所述获取到的图像； 接收所述用户输入的待抓取物体， 获取所述待抓取物体的位置信息， 根据所述待抓取 物体的位置信息移动所述物体抓取设备上的机械臂， 以使所述机械臂末端夹持器移动到所 述待抓取物体的抓取范围内； 当所述待抓取物体处于所述机械臂的可抓取视场范围内时， 通过所述机械臂上的第二 视觉传感器获取所述待抓取物体的图像和位置信息； 根据所述第二视觉传感器获取到的位置信息移动所述机械臂， 通过所述机械臂末端夹 持器抓取所述待抓取物体。 2.如权利要求1所述的方法， 其特

6、征在于， 根据所述待抓取物体的位置信息移动所述物 体抓取设备上的机械臂的步骤之后， 通过所述第二视觉传感器获取所述待抓取物体的图像 和位置信息的步骤之前， 所述方法还包括： 当所述待抓取物体不处于所述机械臂的可抓取视场范围内时， 在预设范围内调节所述 第二视觉传感器的视角。 3.如权利要求2所述的方法， 其特征在于， 在预设范围内调节所述第二视觉传感器的视 角的步骤之后， 所述方法还包括： 当所述第二视觉传感器的视角调节不到可抓取所述待抓取物体的视角范围内时， 向所 述用户输出提示信息， 以提醒所述用户重新输入所述待抓取物体。 4.如权利要求1所述的方法， 其特征在于， 通过物体抓取设备基座上

7、的第一视觉传感器 获取所述基座前方视场范围内物体的图像与位置信息的步骤， 包括： 通过所述第一视觉传感器获取所述基座前方视场范围内物体的图像以及所述物体在 基座坐标系中的位置坐标。 5.如权利要求4所述的方法， 其特征在于， 接收所述用户输入的待抓取物体， 获取所述 待抓取物体的位置信息， 根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械 臂， 以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内的步骤， 包括： 接收所述用户输入的待抓取物体， 根据所述待抓取物体在所述基座坐标系中的位置坐 标和所述基座坐标系与机械臂坐标系之间的转换关系， 计算所述待抓取物体在所述机械臂 坐标系中的

8、位置坐标； 在所述机械臂坐标系中根据所述待抓取物体的位置坐标， 生成所述机械臂的运动规划 路线， 以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围内。 6.一种物体抓取设备的物体抓取装置， 其特征在于， 所述装置包括： 图像输出单元， 用于通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视 场范围内物体的图像与位置信息， 并向用户输出所述获取到的图像； 机械臂移动单元， 用于接收所述用户输入的待抓取物体， 获取所述待抓取物体的位置 信息， 根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂， 以使所述机械 臂末端夹持器移动到所述待抓取物体的抓取范围内； 第一获取单元， 用于

9、当所述待抓取物体处于所述机械臂的可抓取视场范围内时， 通过 所述机械臂上的第二视觉传感器获取所述待抓取物体的图像和位置信息； 以及 权 利 要 求 书 1/2 页 2 CN 107212976 B 2 机械臂抓取单元， 用于根据所述第二视觉传感器获取到的位置信息移动所述机械臂， 通过所述机械臂末端夹持器抓取所述待抓取物体。 7.如权利要求6所述的装置， 其特征在于， 所述装置还包括： 视角调节单元， 用于当所述待抓取物体不处于所述机械臂的可抓取视场范围内时， 在 预设范围内调节所述第二视觉传感器的视角。 8.如权利要求7所述的装置， 其特征在于， 所述装置还包括： 用户提示单元， 用于当所述第

10、二视觉传感器的视角调节不到可抓取所述待抓取物体的 视角范围内时， 向所述用户输出提示信息， 以提醒所述用户重新输入所述待抓取物体。 9.如权利要求6所述的装置， 其特征在于， 所述图像输出单元包括： 第二获取单元， 用于通过所述第一视觉传感器获取所述基座前方视场范围内物体的图 像以及所述物体在基座坐标系中的位置坐标。 10.如权利要求9所述的装置， 其特征在于， 所述机械臂移动单元包括： 坐标转换单元， 用于接收所述用户输入的待抓取物体， 根据所述待抓取物体在所述基 座坐标系中的位置坐标和所述基座坐标系与机械臂坐标系之间的转换关系， 得到所述待抓 取物体在所述机械臂坐标系中的位置坐标； 以及

11、规划移动单元， 用于在所述机械臂坐标系中根据所述待抓取物体的位置坐标， 生成所 述机械臂的运动规划路线， 以使所述机械臂末端夹持器移动到所述待抓取物体的抓取范围 内。 权 利 要 求 书 2/2 页 3 CN 107212976 B 3 一种物体抓取设备的物体抓取方法、 装置及物体抓取设备 技术领域 0001 本发明属于计算机技术领域， 尤其涉及一种物体抓取设备的物体抓取方法、 装置 及物体抓取设备。 背景技术 0002 现有的通过机械臂进行物体抓取的设备上通常只安装有一个视觉传感器。 当视觉 传感器安装在机械臂上时， 视觉传感器获取物体在传感器坐标系下的坐标， 然后机械臂根 据物体的坐标进行

12、下一步抓取动作， 缺点是视场小， 当物体不在传感器视场范围时无法定 位物体。 当视觉传感器安装在设备基座上的相对固定位置时， 视觉传感器获取物体在传感 器坐标系下的坐标， 然后机械臂根据物体的坐标进行下一步抓取动作， 缺点是当机械臂进 行抓取时机械臂会遮挡传感器视场， 若物体与传感器相对位置发生变化时无法快速准确地 重新定位。 发明内容 0003 本发明的目的在于提供一种物体抓取设备的物体抓取方法、 装置及物体抓取设 备， 旨在解决现有技术难以快速准确地通过机械臂抓取物体， 导致用户通过机械臂抓取物 体的效率不高的问题。 0004 一方面， 本发明提供了一种物体抓取设备的物体抓取方法， 所述方

13、法包括下述步 骤： 0005 通过物体抓取设备基座上的第一视觉传感器获取所述基座前方视场范围内物体 的图像与位置信息， 并向用户输出所述获取到的图像； 0006 接收所述用户输入的待抓取物体， 获取所述待抓取物体的位置信息， 根据所述待 抓取物体的位置信息移动所述物体抓取设备上的机械臂， 以使所述机械臂末端夹持器移动 到所述待抓取物体的抓取范围内； 0007 当所述待抓取物体处于所述机械臂的可抓取视场范围内时， 通过所述机械臂上的 第二视觉传感器获取所述待抓取物体的图像和位置信息； 0008 根据所述第二视觉传感器获取到的位置信息移动所述机械臂， 通过所述机械臂末 端夹持器抓取所述待抓取物体。

14、 0009 另一方面， 本发明提供了一种物体抓取设备的物体抓取装置， 所述装置包括： 0010 图像输出单元， 用于通过物体抓取设备基座上的第一视觉传感器获取所述基座前 方视场范围内物体的图像与位置信息， 并向用户输出所述获取到的图像； 0011 机械臂移动单元， 用于接收所述用户输入的待抓取物体， 获取所述待抓取物体的 位置信息， 根据所述待抓取物体的位置信息移动所述物体抓取设备上的机械臂， 以使所述 机械臂末端夹持器移动到所述待抓取物体的抓取范围内； 0012 第一获取单元， 用于当所述待抓取物体处于所述机械臂的可抓取视场范围内时， 通过所述机械臂上的第二视觉传感器获取所述待抓取物体的图像

15、和位置信息； 以及 说 明 书 1/8 页 4 CN 107212976 B 4 0013 机械臂抓取单元， 用于根据所述第二视觉传感器获取到的位置信息移动所述机械 臂， 通过所述机械臂末端夹持器抓取所述待抓取物体。 0014 另一方面， 本发明提供了一种物体抓取设备， 所述物体抓取设备包括设置在物体 抓取设备基座上的第一视觉传感器、 控制器、 机械臂、 设置在机械臂上的第二视觉传感器， 其中： 0015 所述第一视觉传感器用于获取所述基座前方视场范围内物体的图像与位置信息； 0016 所述控制器用于获取用户输入的待抓取物体的位置信息， 根据所述待抓取物体的 位置信息移动所述物体抓取设备上的机

16、械臂， 以使所述机械臂末端夹持器移动到所述待抓 取物体的抓取范围内； 0017 所述第二视觉传感器用于当所述待抓取物体处于所述机械臂的可抓取视场范围 内时， 获取所述待抓取物体的图像和位置信息； 0018 所述机械臂用于根据所述第二视觉传感器获取到的位置信息抓取所述待抓取物 体。 0019 本发明通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范围内物 体的图像与位置信息， 并向用户输出获取到的图像， 接收用户输入的待抓取物体， 获取待抓 取物体的位置信息， 根据待抓取物体的位置信息移动物体抓取设备上的机械臂， 以使机械 臂末端夹持器移动到待抓取物体的抓取范围内， 当待抓取物体处于机械臂

17、的可抓取视场范 围内时， 通过机械臂上的第二视觉传感器获取待抓取物体的图像和位置信息， 根据第二视 觉传感器获取到的位置信息移动机械臂， 通过机械臂末端夹持器抓取待抓取物体， 从而提 高了通过机械臂抓取物体的准确性， 进而提高抓取效率。 附图说明 0020 图1是本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程图； 0021 图2是带有机械臂的轮椅的结构示意图； 0022 图3是本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程图； 0023 图4是本发明实施例三提供的物体抓取设备的物体抓取装置的结构示意图； 0024 图5是本发明实施例四提供的物体抓取设备的物体抓取装置的结构示

18、意图； 以及 0025 图6是本发明实施例五提供的物体抓取设备的结构示意图。 具体实施方式 0026 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定本发明。 0027 以下结合具体实施例对本发明的具体实现进行详细描述： 0028 实施例一： 0029 图1示出了本发明实施例一提供的物体抓取设备的物体抓取方法的实现流程， 为 了便于说明， 仅示出了与本发明实施例相关的部分， 详述如下： 0030 在步骤S101中， 通过物体抓取设备基座上的第一视觉传感器获取基座前方

19、视场范 围内物体的图像与位置信息， 并向用户输出获取到的图像。 说 明 书 2/8 页 5 CN 107212976 B 5 0031 本发明实施例适用于设置有机械臂的物体抓取设备， 尤其适用于可抓取物体的带 机械臂轮椅。 作为示例地， 如图2所示， 图中示出了带有机械臂的轮椅， 其中， 21表示轮椅的 基座， 22表示轮椅基座上的第一视觉传感器， 该视觉传感器通过支架固定在基座上， 23表示 机械臂上的第二视觉传感器， 24表示轮椅的机械臂。 0032 在本发明实施例中， 在物体抓取设备的基座上设置第一视觉传感器， 在物体抓取 设备的机械臂上设置第二视觉传感器， 第一视觉传感器和第二视觉传感

20、器为视觉深度传感 器。 当用户需要机械臂抓取物体时， 通过第一视觉传感器获取基座前方视场范围内物体的 图像与位置信息， 以获取基座前方视场范围内物体的分布状况。 0033 在本发明实施例中， 在获取到基座前方视场范围内物体的图像与位置信息之后， 向用户输出获取到的图像， 以方便用户获取基座前方视场范围内物体的分布状况， 从而方 便用户根据需求从前方视场范围内的物体中选择待抓取物体。 具体地， 在向用户输出获取 到的图像时， 可以通过物体抓取设备自带的显示屏幕向用户输出， 也可以通过与物体抓取 设备连接的移动终端向用户输出， 从而优化了向用户输出图像的过程。 0034 在步骤S102中， 接收用

21、户输入的待抓取物体， 获取待抓取物体的位置信息， 根据待 抓取物体的位置信息移动物体抓取设备上的机械臂， 以使机械臂末端夹持器移动到待抓取 物体的抓取范围内。 0035 在本发明实施例中， 在用户选择了待抓取物体之后， 根据用户输入的待抓取物体， 获取第一视觉传感器提供的待抓取物体的位置信息， 根据第一视觉传感器提供的待抓取物 体的位置信息移动机械臂， 以使机械臂末端夹持器移动到待抓取物体的抓取范围内， 从而 方便机械臂末端的夹持器抓取用户需要的物体。 0036 在步骤S103中， 当待抓取物体处于机械臂的可抓取视场范围内时， 通过机械臂上 的第二视觉传感器获取待抓取物体的图像和位置信息。 0

22、037 在本发明实施例中， 通过第二视觉传感器判断待抓取物体是否处于可抓取视场范 围内， 如果待抓取物体处于机械臂的可抓取视场范围内， 则通过第二视觉传感器获取待抓 取物体的图像和位置信息， 以得到待抓取物体的当前位置， 从而提高抓取物体的准确性。 优 选地， 在第二视觉传感器获取到待抓取物体的图像后， 将获取到的图像向用户输出， 以确认 抓取物体， 进而提高抓取物体的准确性。 0038 在步骤S104中， 根据第二视觉传感器获取到的位置信息移动机械臂， 通过机械臂 末端夹持器抓取待抓取物体。 0039 在本发明实施例中， 在第二视觉传感器获取到待抓取物体的位置后， 根据待抓取 物体的位置移动

23、机械臂， 以通过机械臂末端夹持器抓取待抓取物体， 从而提高通过机械臂 抓取物体的效率。 0040 实施例二： 0041 图3示出了本发明实施例二提供的物体抓取设备的物体抓取方法的实现流程， 为 了便于说明， 仅示出了与本发明实施例相关的部分， 详述如下： 0042 在步骤S301中， 通过物体抓取设备基座上的第一视觉传感器获取基座前方视场范 围内物体的图像以及物体在基座坐标系中的位置坐标。 0043 本发明实施例适用于设置有机械臂的物体抓取设备， 尤其适用于可抓取物体的带 机械臂轮椅。 在本发明实施例中， 在物体抓取设备的基座上设置第一视觉传感器， 在物体抓 说 明 书 3/8 页 6 CN

24、107212976 B 6 取设备的机械臂上设置第二视觉传感器， 第一视觉传感器和第二视觉传感器为视觉深度传 感器。 为了对物体抓取设备基座前方视场范围内的物体进行定位， 根据基座的位置建立基 座坐标系， 然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应的物体在基 座坐标系中的位置坐标， 以准确获取基座前方视场范围内物体的分布状况。 0044 在步骤S302中， 接收用户输入的待抓取物体， 根据待抓取物体在基座坐标系中的 位置坐标和基座坐标系与机械臂坐标系之间的转换关系， 计算待抓取物体在机械臂坐标系 中的位置坐标。 0045 在本发明实施例中， 根据机械臂的位置建立了机械臂坐标系，

25、 基座坐标系与机械 臂坐标系之间有预先确定的转换关系， 在接收到用户输入的待抓取物体之后， 获取第一视 觉传感器提供的待抓取物体在基座坐标系中的位置信息， 根据坐标系之间预先确定的转换 关系， 计算待抓取物体在机械臂坐标系中的位置坐标， 从而方便后续的之前动作的进行。 0046 在步骤S303中， 在机械臂坐标系中根据待抓取物体的位置坐标， 生成机械臂的运 动规划路线， 以使机械臂末端夹持器移动到待抓取物体的抓取范围内。 0047 在步骤S304中， 判断待抓取物体是否处于可抓取视场范围内， 是则执行步骤S306， 否则执行步骤S305。 0048 在步骤S305中， 当待抓取物体不处于机械臂

26、的可抓取视场范围内时， 在预设范围 内调节机械臂上的第二视觉传感器的视角。 0049 在本发明实施例中， 如果待抓取物体不处于机械臂的可抓取视场范围内， 则说明 待抓取物体可能超出了机械臂的抓取范围， 因此， 在预设范围内调节第二视觉传感器的视 角， 以在第二视觉传感器周围寻找待抓取物体， 从而实现运动物体的快速定位。 0050 优选地， 通过运动传感器获取待抓取物体的运动参数， 根据待抓取物体的运动参 数在预设范围内调节第二视觉传感器的视角， 从而提高对运动物体定位的准确性。 0051 优选地， 如果第二视觉传感器的视角调节不到可抓取待抓取物体的视角范围内 时， 向用户输出提示信息， 以提醒

27、用户重新输入待抓取物体。 0052 在步骤S306中， 当待抓取物体处于机械臂的可抓取视场范围内时， 通过机械臂上 的第二视觉传感器获取待抓取物体的图像和位置信息。 0053 在本发明实施例中， 如果待抓取物体处于机械臂的可抓取视场范围内， 则通过第 二视觉传感器获取待抓取物体的图像和位置信息， 以得到待抓取物体的当前位置， 从而提 高抓取物体的准确性。 优选地， 在第二视觉传感器获取到待抓取物体的图像后， 将获取到的 图像向用户输出， 以确认抓取物体， 进而提高抓取物体的准确性。 0054 在步骤S307中， 根据第二视觉传感器获取到的位置信息移动机械臂， 通过机械臂 末端夹持器抓取待抓取物

28、体。 0055 在本发明实施例中， 在第二视觉传感器获取到待抓取物体的位置后， 根据待抓取 物体的位置移动机械臂， 以通过机械臂末端夹持器抓取待抓取物体， 从而提高通过机械臂 抓取物体的效率。 0056 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以 通过程序来指令相关的硬件来完成， 所述的程序可以存储于一计算机可读取存储介质中， 所述的存储介质， 如ROM/RAM、 磁盘、 光盘等。 0057 实施例三： 说 明 书 4/8 页 7 CN 107212976 B 7 0058 图4示出了本发明实施例三提供的物体抓取设备的物体抓取装置的结构， 为了便 于说明， 仅示出了与

29、本发明实施例相关的部分， 其中包括： 0059 图像输出单元41， 用于通过物体抓取设备基座上的第一视觉传感器获取基座前方 视场范围内物体的图像与位置信息， 并向用户输出获取到的图像。 0060 在本发明实施例中， 在物体抓取设备的基座上设置第一视觉传感器， 在物体抓取 设备的机械臂上设置第二视觉传感器， 第一视觉传感器和第二视觉传感器为视觉深度传感 器。 当用户需要机械臂抓取物体时， 第一获取单元通过第一视觉传感器获取基座前方视场 范围内物体的图像与位置信息， 以获取基座前方视场范围内物体的分布状况。 0061 在本发明实施例中， 在获取到基座前方视场范围内物体的图像与位置信息之后， 图像输

30、出单元向用户输出获取到的图像， 以方便用户获取基座前方视场范围内物体的分布 状况， 从而方便用户根据需求从前方视场范围内的物体中选择待抓取物体。 具体地， 在向用 户输出获取到的图像时， 可以通过物体抓取设备自带的显示屏幕向用户输出， 也可以通过 与物体抓取设备连接的移动终端向用户输出， 从而优化了向用户输出图像的过程。 0062 机械臂移动单元42， 用于接收用户输入的待抓取物体， 获取待抓取物体的位置信 息， 根据待抓取物体的位置信息移动物体抓取设备上的机械臂， 以使机械臂末端夹持器移 动到待抓取物体的抓取范围内。 0063 在本发明实施例中， 在用户选择了待抓取物体之后， 机械臂移动单元

31、根据用户输 入的待抓取物体， 获取第一视觉传感器提供的待抓取物体的位置信息， 根据第一视觉传感 器提供的待抓取物体的位置信息移动机械臂， 以使机械臂末端夹持器移动到待抓取物体的 抓取范围内， 从而方便机械臂末端的夹持器抓取用户需要的物体。 0064 第一获取单元43， 用于当待抓取物体处于机械臂的可抓取视场范围内时， 通过机 械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。 0065 在本发明实施例中， 通过第二视觉传感器判断待抓取物体是否处于可抓取视场范 围内， 如果待抓取物体处于机械臂的可抓取视场范围内， 则第一获取单元通过第二视觉传 感器获取待抓取物体的图像和位置信息， 以得到待抓

32、取物体的当前位置， 从而提高抓取物 体的准确性。 0066 机械臂抓取单元44， 用于根据第二视觉传感器获取到的位置信息移动机械臂， 通 过机械臂末端夹持器抓取待抓取物体。 0067 在本发明实施例中， 图像输出单元通过物体抓取设备基座上的第一视觉传感器获 取基座前方视场范围内物体的图像与位置信息， 并向用户输出获取到的图像， 机械臂移动 单元接收用户输入的待抓取物体， 获取待抓取物体的位置信息， 根据待抓取物体的位置信 息移动物体抓取设备上的机械臂， 以使机械臂末端夹持器移动到待抓取物体的抓取范围 内， 当待抓取物体处于机械臂的可抓取视场范围内时， 第一获取单元通过第二视觉传感器 获取待抓取

33、物体的图像和位置信息， 机械臂抓取单元根据第二视觉传感器获取到的位置信 息移动机械臂， 通过机械臂末端夹持器抓取待抓取物体， 从而提高了通过机械臂抓取物体 的准确性， 进而提高抓取效率。 0068 在本发明实施例中， 物体抓取设备的物体抓取装置的各单元可由相应的硬件或软 件单元实现， 各单元可以为独立的软、 硬件单元， 也可以集成为一个软、 硬件单元， 在此不用 以限制本发明。 说 明 书 5/8 页 8 CN 107212976 B 8 0069 实施例四： 0070 图5示出了本发明实施例四提供的物体抓取设备的物体抓取装置的结构， 为了便 于说明， 仅示出了与本发明实施例相关的部分， 其中

34、包括： 0071 图像输出单元51， 用于通过物体抓取设备基座上的第一视觉传感器获取基座前方 视场范围内物体的图像与位置信息， 并向用户输出获取到的图像。 0072 在本发明实施例中， 在物体抓取设备的基座上设置第一视觉传感器， 在物体抓取 设备的机械臂上设置第二视觉传感器， 第一视觉传感器和第二视觉传感器为视觉深度传感 器。 为了对物体抓取设备基座前方视场范围内的物体进行定位， 第一获取单元根据基座的 位置建立基座坐标系， 然后通过第一视觉传感器获取前方视场范围内物体的图像以及对应 的物体在基座坐标系中的位置坐标， 以准确获取基座前方视场范围内物体的分布状况。 0073 机械臂移动单元52，

35、 用于接收用户输入的待抓取物体， 获取待抓取物体的位置信 息， 根据待抓取物体的位置信息移动物体抓取设备上的机械臂， 以使机械臂末端夹持器移 动到待抓取物体的抓取范围内。 0074 在本发明实施例中， 机械臂移动单元根据待抓取物体的位置信息移动机械臂。 优 选地， 在本发明实施例中， 根据机械臂的位置建立了机械臂坐标系， 基座坐标系与机械臂坐 标系之间有预先确定的转换关系， 在接收到用户输入的待抓取物体之后， 获取第一视觉传 感器提供的待抓取物体在基座坐标系中的位置信息， 根据坐标系之间预先确定的转换关 系， 计算待抓取物体在机械臂坐标系中的位置坐标， 从而方便后续的之前动作的进行， 然后 在

36、机械臂坐标系中根据待抓取物体的位置坐标， 生成机械臂的运动规划路线， 以使机械臂 末端夹持器移动到待抓取物体的抓取范围内， 从而提高对待抓取物体定位的准确性。 0075 视角调节单元53， 用于当待抓取物体不处于机械臂的可抓取视场范围内时， 在预 设范围内调节机械臂上的第二视觉传感器的视角。 0076 在本发明实施例中， 如果待抓取物体不处于机械臂的可抓取视场范围内， 则说明 待抓取物体可能超出了机械臂的抓取范围， 因此， 视角调节单元在预设范围内调节第二视 觉传感器的视角， 以在第二视觉传感器周围寻找待抓取物体， 从而实现运动物体的快速定 位。 0077 优选地， 通过运动传感器获取待抓取物

37、体的运动参数， 根据待抓取物体的运动参 数在预设范围内调节第二视觉传感器的视角， 从而提高对运动物体定位的准确性。 0078 用户提示单元54， 用于当第二视觉传感器的视角调节不到可抓取待抓取物体的视 角范围内时， 向用户输出提示信息， 以提醒用户重新输入待抓取物体。 0079 第一获取单元55， 用于当待抓取物体处于机械臂的可抓取视场范围内时， 通过机 械臂上的第二视觉传感器获取待抓取物体的图像和位置信息。 0080 在本发明实施例中， 如果待抓取物体处于机械臂的可抓取视场范围内， 则第一获 取单元通过第二视觉传感器获取待抓取物体的图像和位置信息， 以得到待抓取物体的当前 位置， 从而提高抓

38、取物体的准确性。 0081 机械臂抓取单元56， 用于根据第二视觉传感器获取到的位置信息移动机械臂， 通 过机械臂末端夹持器抓取待抓取物体。 0082 在本发明实施例中， 在第二视觉传感器获取到待抓取物体的位置后， 机械臂抓取 单元根据待抓取物体的位置移动机械臂， 以通过机械臂末端夹持器抓取待抓取物体， 从而 说 明 书 6/8 页 9 CN 107212976 B 9 提高通过机械臂抓取物体的效率。 0083 因此， 优选地， 该图像输出单元51包括： 0084 第二获取单元511， 用于通过基座上的第一视觉传感器获取前方视场范围内物体 的图像与物体在基座坐标系中的位置坐标； 0085 优选

39、地， 该机械臂移动单元52包括： 0086 坐标转换单元521， 用于接收用户输入的待抓取物体， 根据待抓取物体在基座坐标 系中的位置坐标和基座坐标系与机械臂坐标系之间的转换关系， 得到待抓取物体在机械臂 坐标系中的位置坐标； 以及 0087 规划移动单元522， 用于在机械臂坐标系中根据待抓取物体的位置坐标， 生成机械 臂的运动规划路线， 以使机械臂末端夹持器移动到待抓取物体的抓取范围内。 0088 在本发明实施例中， 物体抓取设备的物体抓取装置的各单元可由相应的硬件或软 件单元实现， 各单元可以为独立的软、 硬件单元， 也可以集成为一个软、 硬件单元， 在此不用 以限制本发明。 0089

40、实施例五： 0090 图6示出了本发明实施例五提供的物体抓取设备的结构， 为了便于说明， 仅示出了 与本发明实施例相关的部分。 0091 在本发明实施例中， 提供了一种物体抓取设备6， 该物体抓取设备6包括设置在基 座上的第一视觉传感器61、 控制器62、 设置在机械臂上的第二视觉传感器63、 机械臂64， 其 中： 0092 该第一视觉传感器61用于获取基座前方视场范围内物体的图像与位置信息。 0093 在本发明实施例中， 在获取到基座前方视场范围内物体的图像与位置信息之后， 向用户输出获取到的图像， 以方便用户获取基座前方视场范围内物体的分布状况， 从而方 便用户根据需求从前方视场范围内的

41、物体中选择待抓取物体。 具体地， 在向用户输出获取 到的图像时， 可以通过物体抓取设备自带的显示屏幕向用户输出， 也可以通过与物体抓取 设备连接的移动终端向用户输出， 从而优化了向用户输出图像的过程。 0094 该控制器62用于获取用户输入的待抓取物体的位置信息， 根据待抓取物体的位置 信息移动物体抓取设备上的机械臂64， 以使机械臂64末端夹持器移动到待抓取物体的抓取 范围内。 0095 在本发明实施例中， 为了对物体抓取设备基座前方视场范围内的物体进行定位， 根据基座的位置建立基座坐标系， 然后通过第一视觉传感器获取前方视场范围内物体的图 像以及对应的物体在基座坐标系中的位置坐标， 以准确

42、获取基座前方视场范围内物体的分 布状况。 0096 在本发明实施例中， 根据机械臂的位置建立了机械臂坐标系， 基座坐标系与机械 臂坐标系之间有预先确定的转换关系， 在接收到用户输入的待抓取物体之后， 获取第一视 觉传感器提供的待抓取物体在基座坐标系中的位置信息， 根据坐标系之间预先确定的转换 关系， 计算待抓取物体在机械臂坐标系中的位置坐标， 从而方便后续的之前动作的进行， 然 后在机械臂坐标系中根据待抓取物体的位置坐标， 生成机械臂的运动规划路线， 以使机械 臂末端夹持器移动到待抓取物体的抓取范围内。 0097 该第二视觉传感器63用于当待抓取物体处于机械臂64的可抓取视场范围内时， 获 说

43、 明 书 7/8 页 10 CN 107212976 B 10 取待抓取物体的图像和位置信息。 0098 在本发明实施例中， 如果待抓取物体不处于机械臂的可抓取视场范围内， 则说明 待抓取物体可能超出了机械臂的抓取范围， 因此， 在预设范围内调节第二视觉传感器的视 角， 以在第二视觉传感器周围寻找待抓取物体， 从而实现运动物体的快速定位。 如果待抓取 物体处于机械臂的可抓取视场范围内， 则通过第二视觉传感器获取待抓取物体的图像和位 置信息， 以得到待抓取物体的当前位置， 从而提高抓取物体的准确性。 0099 该机械臂64用于根据第二视觉传感器63获取到的位置信息抓取待抓取物体。 0100 在本

44、发明实施例中， 在第二视觉传感器获取到待抓取物体的位置后， 根据待抓取 物体的位置移动机械臂， 以通过机械臂末端夹持器抓取待抓取物体， 从而提高通过机械臂 抓取物体的效率。 0101 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内所作的任何修改、 等同替换和改进等， 均应包含在本发明的保护范围之内。 说 明 书 8/8 页 11 CN 107212976 B 11 图1 图2 说 明 书 附 图 1/5 页 12 CN 107212976 B 12 图3 说 明 书 附 图 2/5 页 13 CN 107212976 B 13 图4 说 明 书 附 图 3/5 页 14 CN 107212976 B 14 图5 说 明 书 附 图 4/5 页 15 CN 107212976 B 15 图6 说 明 书 附 图 5/5 页 16 CN 107212976 B 16