《基于手势识别的自动避障小车及其控制装置和控制方法.pdf》由会员分享，可在线阅读，更多相关《基于手势识别的自动避障小车及其控制装置和控制方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103955215 A (43)申请公布日 2014.07.30 CN 103955215 A (21)申请号 201410149890.2 (22)申请日 2014.04.15 G05D 1/02(2006.01) (71)申请人 桂林电子科技大学 地址 541004 广西壮族自治区桂林市七星区 金鸡路 1 号 申请人 桂林宇辉信息科技有限责任公司 (72)发明人 张彤 芦爱余 莫建文 刘鹏 袁华 陈利霞 首照宇 欧阳宁 赵晖 (74)专利代理机构 桂林市华杰专利商标事务所 有限责任公司 45112 代理人 巢雄辉 (54) 发明名称 基于手势识别的自动避障小车及其。
2、控制装置 和控制方法 (57) 摘要 基于手势识别的自动避障小车， 涉及人机交 互智能图像信息处理， 属于基于深度相机非接触 式三维虚拟空间领域和双目立体视觉领域， 其车 体前部设置分开的两个摄像头， 车体内部设置包 含单片机的下位机， 车体安置两个无线 wifi 模 块， 一个无线 wifi 模块连接一个摄像头， 车体还 安置一个蓝牙模块， 两个小车后轮分别连接着一 个精密直流电机。 上述自动避障小车的控制装置， 其深度体感相机连接上位机， 上位机设置串口蓝 牙和一个无线wifi模块。 本发明通过手势控制小 车并绘制地图， 在自动运行模式下实现小车自动 避障， 利用自动控制、 网络通信和图像。
3、处理技术， 操作方便， 适合在危险环境下检查周围环境是否 有危险和在障碍物多的地形下进行搬运工作。 (51)Int.Cl. 权利要求书 2 页 说明书 5 页 附图 2 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图2页 (10)申请公布号 CN 103955215 A CN 103955215 A 1/2 页 2 1. 基于手势识别的自动避障小车， 包括车体和轮子， 其特征在于 ： 车体前部设置分开 的两个摄像头， 车体内部设置包含单片机的下位机， 车体安置两个无线 wifi 模块， 一个无 线 wifi 模块连接一个摄像头， 车体还安置一个。
4、蓝牙模块， 两个小车后轮分别连接着一个精 密直流电机。 2. 根据权利要求 1 所述的自动避障小车， 其特征在于 ： 单片机选用 Atmega128 AVR 单 片机。 3. 根据权利要求 1 所述的自动避障小车， 其特征在于 ： 两个无线 wifi 模块通过网口线 连接。 4. 权利要求 1 的基于手势识别的自动避障小车的控制装置， 其特征在于 ： 深度体感相 机连接上位机， 上位机设置串口蓝牙和一个无线 wifi 模块。 5. 根据权利要求 4 所述的控制装置， 其特征在于 ： 深度体感相机选用 Kinect 体感相 机。 6. 权利要求 1 所述的基于手势识别的自动避障小车的控制方法， 。
5、其特征在于 ： 使用权 利要求 4 所述的控制装置， 在上位机中配置 opencv 和 openni 库， 上位机安装地图绘制算 法、 手势识别算法、 自动避障算法， 手势识别算法存储手掌平面参数， 在权力要求 1 所述的 自动避障小车下位机中安装自动避障算法， 然后按照下述步骤 ： 步骤 1） ： 将上位机的蓝牙与车体蓝牙配对， 连接上位机的无线 wifi 与车体的无线 wifi ； 步骤 2） ： 发出手势。 7. 根据权利要求 6 所述的控制方法， 其特征在于 ： 所述手势包括 ： 手势 5 ： 为停车手势， 表示小车立即停止， 等待新的手势 ； 手势 0 ： 为进入手动控制模式手势， 。
6、移动该手势到合适的位置， 小车做相应的移动 ； 同 时也是进入手势控制状态的手势， 只有检测到手势 0 后， 手势 5 或者手势 2 才会进入算法中 进行判断 ； 手势 2 ： 为进入自动控制模式手势， 小车按照程序自行移动。 8. 根据权利要求 6 所述的控制方法， 其特征在于 ： 所述手势识别算法中， 涉及手势深度信息的阈值范围控制在 70cm 80cm ； 涉及利用三维点云的计算公式得到手势点云， 然后对手势点云做数据筛选 ； 涉及根据手势几何模型， 找到手势的最外轮廓， 对比保存的手掌平面参数， 利用最小 hu 矩法计算提取出手指轮廓的 hu 矩， 将计算出的 hu 矩与模板的 hu 。
7、矩进行匹配， 识别最相近 的手势 hu 矩值。 9. 根据权利要求 6 所述的控制方法， 其特征在于 ： 所述地图绘制算法中， 涉及下位机的单片机通过外部中断， 获取小车后轮转动产生的脉冲， 并通过定时中断 判断小车脉冲数是否到达指定脉冲 ； 涉及小车用红点标注， 地图原点为小车初始放置的位置， 上位机检测到更新数据后重 新标注小车红点坐标 ； 涉及上位机读取下位机传送的电脑视频流， 并做双目视差处理， 获取图像视差， 用视差 图得到空间点云， 将空间点云中低于 15cm 的点云设为地面， 高于 15cm 低于 100cm 的物体作 为障碍物 ； 权 利 要 求 书 CN 103955215 。
8、A 2 2/2 页 3 涉及判别 y 轴低于 15cm 的为地面， 提取从地面点集的外轮廓进行地图绘制， 即为小车 经过的外界地形。 10. 根据权利要求 6 所述的控制方法， 其特征在于 ： 自动避障算法中， 涉及判别 y 轴高 于 15cm， 低于 100cm 的为障碍物， 提取障碍物点集， 判断 z 轴距离和 x 轴最左最右距离进行 自动避障。 权 利 要 求 书 CN 103955215 A 3 1/5 页 4 基于手势识别的自动避障小车及其控制装置和控制方法 技术领域 0001 本发明涉及人机交互智能图像信息处理， 属于基于深度相机非接触式三维虚拟空 间领域和双目立体视觉领域， 具体。
9、涉及一种基于手势识别的自动避障小车及其控制装置和 控制方法。 背景技术 0002 在现在计算机普遍智能化的时代， 人机交互智能图像信息处理已成为计算机视觉 领域的重要应用。自上世纪 90 年代 PC 出现以来， 人机交互这门交叉综合学科， 已成为用户 体验的主流研究技术， 体感交互模式的出现让人机交互技术进入一个新时代。随着用户对 层出不穷的移动智能设备的刚性需求， 智能图像处理愈趋向庞大复杂的数据处理及多功能 应用发展， 由此为人机交互平台带来了更大的挑战与机遇。 现在， 计算机处理的交互信息量 越来越庞大， 促使日渐高效、 稳定、 实时的新型交互技术飞速发展。现代交互技术主要分为 语言识别。
10、技术和身体语言识别技术， 其中手势识别是身体语言识别技术的重要分支技术。 0003 随着科学技术的发展， 移动机器人的应用领域越来越广泛， 同时对人类生产和生 活带来了重大影响。 视觉作为机器人获取周围环境信息的重要手段， 以信息量大为特点， 对 移动机器人自动导航和自动避障具有重要意义。 避障小车有通过类似红外传感器实现硬件 避障， 但是这种避障方式只能在近距离避障， 而且判断不准确。 而双目视觉通过视差获取周 围环境的三维点云， 可以精确得到障碍物离小车的距离， 障碍物的左右边距， 可以为自动导 航和自动避障提供很好的可行性方案。 发明内容 0004 本发明所要解决的技术问题是提供一种基于。
11、深度相机的手势控制小车并绘制地 图， 并能在自动运行模式下实现小车自动避障的算法及装置， 该装置能有效以多种操作方 式控制小车， 并能自动避开障碍物， 识别出地形并绘制地图。该装置利用自动控制技术、 网 络通信技术、 图像处理技术， 操作方便， 且能绘制出地图和小车此时在地图中的坐标位置， 适合在危险环境下检查周围环境是否有危险和障碍物多的地形下搬运工作。 0005 基于上述， 本发明的第一个目的是提供一种基于手势识别的自动避障小车。 0006 本发明的基于手势识别的自动避障小车， 包括车体和轮子， 其车体前部设置分开 的两个摄像头， 车体内部设置包含单片机的下位机， 车体安置两个无线 wif。
12、i 模块， 一个无 线 wifi 模块连接一个摄像头， 车体还安置一个蓝牙模块， 两个小车后轮分别连接着一个精 密直流电机。 0007 小车上的无线 wifi 模块将摄像头获取的视频信号， 通过编码发送到上位端， 上位 机通过 wifi 热点链接到 wifi 模块， 上位机再去解码， 并读取视频， 再做后面的视频处理过 程。 0008 由于有两个wifi模块， 有两个热点， 所以通过网口线， 将两个wifi模块连起来， 这 样上位机只需连接一个热点， 就可获取两路视频信号。这种方案有利于简化结构。 说 明 书 CN 103955215 A 4 2/5 页 5 0009 小车上除了两个摄像头， 。
13、两个 wifi 模块， 还有一个蓝牙模块， 负责小车运动控制 信号的传输。 0010 两个摄像头是分开的， 他们各自获取各自的视频图像， 通过图像处理的方法， 具体 就是双目视觉的方法， 获取深度图， 这个深度图是实时移动的， 因为小车在移动， 获取的深 度图是为了做自动避障。 0011 本发明中， 单片机优选 Atmega128 AVR 单片机。 0012 本发明的第二个目的是提供上述自动避障小车的一种控制装置。 0013 上述自动避障小车的控制装置， 其深度体感相机连接上位机， 上位机设置串口蓝 牙和一个无线 wifi 模块。 0014 作为优选， 深度体感相机选用 Kinect 体感相机。
14、。 0015 本发明的第三个目的是提供上述自动避障小车的一种控制方法。 0016 上述自动避障小车的控制方法， 使用上述所述的控制装置， 在上位机中配置 opencv 和 openni 库， 上位机安装地图绘制算法、 手势识别算法、 自动避障算法， 手势识别算 法存储手掌平面参数， 在上述所述的自动避障小车下位机中安装自动避障算法， 然后按照 下述步骤 ： 步骤 1） ： 将上位机的蓝牙与车体蓝牙配对， 连接上位机的无线 wifi 与车体的无线 wifi ； 步骤 2） ： 发出手势。 0017 本发明所述手势包括 ： 手势 5 ： 为停车手势， 表示小车立即停止， 等待新的手势 ； 手势 0。
15、 ： 为进入手动控制模式手势， 移动该手势到合适的位置， 小车做相应的移动 ； 同 时也是进入手势控制状态的手势， 只有检测到手势 0 后， 手势 5 或者手势 2 才会进入算法中 进行判断 ； 手势 2 ： 为进入自动控制模式手势， 小车按照程序自行移动。 0018 所述手势识别算法中， 手势通过 kinect 获取， 在上位机中获取到图像后， 通过 openni和opencv结合的方法， 具体通过深度阈值获取手势 （这是openni的功能） ， 通过手势 图像中凹凸点个数和最小 hu 矩方法， 匹配手势 （这是用到了 opencv 的方法） ， 手势识别完以 后， 只需要发出手势对应的蓝牙。
16、输出信号给下位机控制即可。 0019 当手势 0 进行移动， 并超过移动最小距离 3cm 时， 即进行判断移动方向， 根据移动 方向， 蓝牙输出对应的控制信号。移动方向有以下四种 ： 前进， 后退， 左拐， 右拐。当手势偏 离这几个正对方向时， 计算向哪边的趋势多， 并输出对应控制信号。当检测到手势 5 时， 小 车立即停止。也可通过手势 5 移动手到适合 kinect 检测的位置。当检测到手势 2 时， 小车 进入自动控制模式， 小车通过自动避障， 进行运动。当再次检测到手势 5 时， 停止自动控制 模式， 并进入手动控制模式。 0020 这里， 手势深度信息的阈值范围控制在 70cm 80。
17、cm ； 利用三维点云的计算公式得到手势点云， 然后对手势点云做数据筛选 ； 具体过程是 ： 通过深度体感相机获取实时的深度图像和 RGB 彩色图像， 利用 Openni 对 图像中人体进行用户定位和骨骼跟踪， 根据人体跟踪的骨骼关节信息提取出目标手势的关 节点 ； 说 明 书 CN 103955215 A 5 3/5 页 6 对手关节点进行跟踪预测定位。设定以手关节点为中心的合适手势区域范围， 同时设 定手势深度信息的阈值， 结合场景深度图像将手势从背景图像中分割出来， 实时得到目标 手势的深度信息和 RGB 彩色信息。 0021 对分割后的手势深度信息和 RGB 彩色信息， 利用三维点云的。
18、计算公式得到手势点 云， 计算后的点云数据只包括点的三维坐标位置信息， 然后对手势点云做数据筛选， 滤除掉 手势中的噪声干扰点。 0022 根据手势几何模型， 找到手势的最外轮廓， 对比保存的手掌平面参数， 利用最小 hu 矩法计算提取出手指轮廓的 hu 矩， 将计算出的 hu 矩与模板的 hu 矩进行匹配， 识别最相近 的手势 hu 矩值。 0023 所述地图绘制算法中， 下位机的单片机通过外部中断， 获取小车后轮转动产生的 脉冲， 并通过定时中断判断小车脉冲数是否到达指定脉冲 ； 小车用红点标注， 地图原点为小车初始放置的位置， 上位机检测到更新数据后重新标 注小车红点坐标 ； 上位机读取。
19、下位机传送的电脑视频流， 并做双目视差处理， 获取图像视差， 用视差图得 到空间点云， 将空间点云中低于 15cm 的点云设为地面， 高于 15cm 低于 100cm 的物体作为障 碍物 ； 判别 y 轴低于 15cm 的为地面， 提取从地面点集的外轮廓进行地图绘制， 即为小车经过 的外界地形。 0024 具体过程是 ： 通过小车后轮两个精密直流电机， 可以精确控制小车走的距离， 量出 小车轮子的直径 （小车轮子直径是通过买来时厂家提供的技术参数获得） ， 由此可以精确计 算小车自行距离和转弯角度。 0025 由直流电机技术和小车后轮参数可知， 小车后轮转一圈， 直流电机会产生 650 个脉冲。
20、， 所以要使小车转的角度对应的脉冲数 =*360/650， 小车直行的距离 d= 脉冲数 *2*R/650。下位机的 AVR 单片机通过外部中断， 获取小车脉冲， 并通过定时中断判断小车 脉冲数是否到达指定脉冲。通过计算出的转的角度和自行距离， 距离和转的角度发送到上 位机， 上位机检测到更新数据后重新标注小车红点坐标。 0026 上位机读取下位机传到电脑视频流， 将两个摄像头获取的视频先做双目标定， 再 做立体矫正， 获取图像视差， 用视差图得到空间点云。 0027 上述的自动避障算法中， 判别 y 轴高于 15cm， 低于 100cm 的为障碍物， 提取障碍物 点集， 判断 z 轴距离和 。
21、x 轴最左最右距离进行自动避障。 0028 本发明中， 控制装置中的深度体感相机获取人发出的手势， 上位机识别手势， 通过 蓝牙传输至下位机， 下位机控制小车进行运动。同时下位机实时地将小车坐标通过蓝牙传 至上位机， 上位机实时更新地图， 小车的摄像头采集到的视频流通过 wifi 传输到上位机， 上位机进行双目视差图像处理， 获取双目图像视差， 用视差图得到空间点云， 将点云中低于 15cm的点云设为地面， 将高于15cm低于100cm的物体作为障碍物， 将低于15cm的点集之中 最外层的点画在地图上， 即为小车经过的外界地形。小车的下位机判别 y 轴高于 15cm， 低 于 100cm 的障。
22、碍物， 提取障碍物点集， 判断 z 轴距离和 x 轴最左最右距离， 控制小车在自动 控制模式下进行自动避障。 说 明 书 CN 103955215 A 6 4/5 页 7 附图说明 0029 图 1 是本发明的手势控制过程图 ； 图 2 是手势 5 的手势图 ； 图 3 是手势 0 的手势图 ； 图 4 是手势 2 的手势图。 具体实施方式 0030 基于手势识别的自动避障小车， 包括车体和轮子， 其车体前部设置分开的两个摄 像头， 车体内部设置包含单片机的下位机， 车体安置两个无线 wifi 模块， 一个无线 wifi 模 块连接一个摄像头， 车体还安置一个蓝牙模块， 两个小车后轮分别连接着。
23、一个精密直流电 机。 0031 通过网口线， 将两个 wifi 模块连起来。 0032 单片机优选 Atmega128 AVR 单片机。 0033 上述自动避障小车的控制装置， 其深度体感相机连接上位机， 上位机设置串口蓝 牙和一个无线 wifi 模块。 0034 深度体感相机选用 Kinect 体感相机。 0035 见图 1。上述自动避障小车的控制方法， 使用上述的控制装置， 在上位机中配置 opencv 和 openni 库， 上位机安装地图绘制算法、 手势识别算法、 自动避障算法， 手势识别算 法存储手掌平面参数， 在自动避障小车下位机中安装自动避障算法， 然后按照下述步骤 ： 步骤 1。
24、） ： 将上位机的蓝牙与车体蓝牙配对， 连接上位机的无线 wifi 与车体的无线 wifi ； 设置小车上两个无线 wifi 模块的物理地址， 模块 1 的物理地址为 192.168.1.1， 模块 2 的物理地址为 192.168.1.2。通过网口线， 将两个 wifi 模块连起来。 0036 步骤 2） ： 发出手势。 0037 见图 2 图 4。手势 5 ： 为停车手势， 表示小车立即停止， 等待新的手势 ； 手势 0 ： 为进入手动控制模式手势， 移动该手势到合适的位置， 小车做相应的移动 ； 同 时也是进入手势控制状态的手势， 只有检测到手势 0 后， 手势 5 或者手势 2 才会进。
25、入算法中 进行判断 ； 手势 2 ： 为进入自动控制模式手势， 小车按照程序自行移动。 0038 所述手势识别算法中， 手势通过 kinect 获取， 在上位机中获取到图像后， 通过 openni和opencv结合的方法， 具体通过深度阈值获取手势 （这是openni的功能） ， 通过手势 图像中凹凸点个数和最小 hu 矩方法， 匹配手势 （这是用到了 opencv 的方法） ， 手势识别完以 后， 只需要发出手势对应的蓝牙输出信号给下位机控制即可。 0039 当手势 0 进行移动， 并超过移动最小距离 3cm 时， 即进行判断移动方向， 根据移动 方向， 蓝牙输出对应的控制信号。移动方向有以。
26、下四种 ： 前进， 后退， 左拐， 右拐。当手势偏 离这几个正对方向时， 计算向哪边的趋势多， 并输出对应控制信号。当检测到手势 5 时， 小 车立即停止。也可通过手势 5 移动手到适合 kinect 检测的位置。当检测到手势 2 时， 小车 进入自动控制模式， 小车通过自动避障， 进行运动。当再次检测到手势 5 时， 停止自动控制 模式， 并进入手动控制模式。 0040 这里， 手势深度信息的阈值范围控制在 70cm 80cm ； 说 明 书 CN 103955215 A 7 5/5 页 8 利用三维点云的计算公式得到手势点云， 然后对手势点云做数据筛选 ； 具体过程是 ： 通过深度体感相机。
27、获取实时的深度图像和 RGB 彩色图像， 利用 Openni 对 图像中人体进行用户定位和骨骼跟踪， 根据人体跟踪的骨骼关节信息提取出目标手势的关 节点 ； 对手关节点进行跟踪预测定位。设定以手关节点为中心的合适手势区域范围， 同时设 定手势深度信息的阈值， 结合场景深度图像将手势从背景图像中分割出来， 实时得到目标 手势的深度信息和 RGB 彩色信息。 0041 对分割后的手势深度信息和 RGB 彩色信息， 利用三维点云的计算公式得到手势点 云， 计算后的点云数据只包括点的三维坐标位置信息， 然后对手势点云做数据筛选， 滤除掉 手势中的噪声干扰点。 0042 根据手势几何模型， 找到手势的最。
28、外轮廓， 对比保存的手掌平面参数， 利用最小 hu 矩法计算提取出手指轮廓的 hu 矩， 将计算出的 hu 矩与模板的 hu 矩进行匹配， 识别最相近 的手势 hu 矩值。 0043 所述地图绘制算法中， 下位机的单片机通过外部中断， 获取小车后轮转动产生的 脉冲， 并通过定时中断判断小车脉冲数是否到达指定脉冲 ； 小车用红点标注， 地图原点为小车初始放置的位置， 上位机检测到更新数据后重新标 注小车红点坐标 ； 上位机读取下位机传送的电脑视频流， 并做双目视差处理， 获取图像视差， 用视差图得 到空间点云， 将空间点云中低于 15cm 的点云设为地面， 高于 15cm 低于 100cm 的物体作为障 碍物 ； 判别 y 轴低于 15cm 的为地面， 提取从地面点集的外轮廓进行地图绘制， 即为小车经过 的外界地形。 说 明 书 CN 103955215 A 8 1/2 页 9 图 1 说 明 书 附 图 CN 103955215 A 9 2/2 页 10 图 2 图 3 图 4 说 明 书 附 图 CN 103955215 A 10 。