《一种基于图像透视的微型无人机室内自主导航方法.pdf》由会员分享，可在线阅读，更多相关《一种基于图像透视的微型无人机室内自主导航方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103925920 A (43)申请公布日 2014.07.16 CN 103925920 A (21)申请号 201410143275.0 (22)申请日 2014.04.10 G01C 21/00(2006.01) G05D 1/10(2006.01) (71)申请人 西北工业大学 地址 710072 陕西省西安市友谊西路 127 号 (72)发明人 赵春晖 王荣志 张天武 潘泉 马鑫 (74)专利代理机构 西北工业大学专利中心 61204 代理人 王鲜凯 (54) 发明名称 一种基于图像透视的微型无人机室内自主导 航方法 (57) 摘要 本发明提出的一种基于图像。
2、透视的微型无人 机室内自主导航方法， 将室内环境分为走廊、 台阶 与房间三种， 通过分析视觉图像的透视特征确定 环境类型， 进而采用消失点、 中心线或光流等方法 进行障碍物检测， 得到相应导航与控制信息， 实现 微型无人机室内自主避障与飞行。本发明无需构 建环境的三维模型， 可大大降低算法运算时间， 提 高控制指令的实时性， 并具有高自主性与高可靠 性。该方法计算量较小， 实时性强， 对硬件的要求 低， 且定位精度较高。 为微型无人机室内导航的工 程应用提供一种可行的技术方案。 (51)Int.Cl. 权利要求书 2 页 说明书 8 页 附图 3 页 (19)中华人民共和国国家知识产权局 (1。
3、2)发明专利申请 权利要求书2页 说明书8页 附图3页 (10)申请公布号 CN 103925920 A CN 103925920 A 1/2 页 2 1. 一种基于图像透视的微型无人机室内自主导航方法， 其特征在于步骤如下 ： 步骤1 ： 在微型无人机室内飞行过程中， 机载前视摄像机Camera1实时获取图像a， 机载 下视摄像机 Camera2 实时获取图像 b ； 步骤 2 ： 分析图像 a 与图像 b 的透视特征， 判断微型无人机所处的环境类型， 环境类型 走廊、 台阶或房间 ； 过程如下 ： A、 使用 Hough 变换对图像 a 进行直线检测得到图像 c， 判断图像 c 中是否有消。
4、失点 ； 所 述消失点为具有透视特征的点 ； B、 若有消失点， 判定室内环境类型为走廊， 若无消失点， 则去除图像 c 中的水平线和垂 直线得到图像 d， 再判断图像 d 中是否有消失点 ； C、 若有消失点， 同样判定室内环境类型为走廊， 若无消失点， 则使用 Hough 变换对图像 b 进行直线检测得到图像 e， 判断图像 e 中是否有成簇的等间距平行线 ； D、 若有成簇的等间距平行线， 判定室内环境类型为台阶， 若无成簇的等间距平行线， 判 定室内环境类型为房间 ； 步骤 3 ： 针对不同环境类型， 利用障碍检测算法对飞行路径障碍物进行检测， 过程如 下 ： A、 对于走廊环境， 定。
5、义以消失点为中心的 5050 图像亮度均值为判断基准， 若当前帧 图像与前一帧图像亮度均值差小于阈值 Threshold2 30， 认为无障碍， 否则认为有障碍 ； B、 对于台阶环境， 定义图像中最长线的长度为判断基准， 若当前帧图像与前一帧图像 最长线的长度差小于阈值 Threshold3 15， 认为无障碍， 否则认为有障碍 ； 步骤 4 ： 当检测结果为无障碍时， 则通过不同环境类型下的飞行控制方法实现微型无 人机室内自主飞行 ； 步骤 5 ： 若障碍物检测结果为有障碍， 则通过障碍规避方法实现微型无人机自主避障。 2. 根据权利要求 1 所述基于图像透视的微型无人机室内自主导航方法，。
6、 其特征在于 ： 步骤 4 所述的不同环境类型下的飞行控制方法为 ： 情况 1、 对于走廊环境， 定义消失点在图像中的坐标为若小于图像高度的一 半， 则控制器对微型无人机发出上升指令， 若大于图像高度的一半， 则控制器对微型无人 机发出下降指令， 否则保持高度不变， 若小于图像宽度的一半， 则控制器对微型无人机发 出向左飞行指令， 若大于图像宽度的一半， 则控制器对微型无人机发出向右飞行指令， 否 则保持方向不变 ； 情况2、 对于台阶环境， 定义相邻两条平行线之间的距离为dis， 若当前帧图像的dis与 前一帧图像的 dis 差值大于阈值 Threshold4（该阈值需根据精度需求设定， 原。
7、则为小于图 像高度的十分之一） ， 则控制器对微型无人机发出上升指令， 若前一帧图像的 dis 与当前帧 图像的 dis 差值大于阈值 Threshold4， 则控制器对微型无人机发出下降指令， 否则保持高 度不变， 定义最长直线中点的横坐标为， 若小于图像宽度的一半， 则控制器对微型无人 机发出向左飞行指令， 若大于图像宽度的一半， 则控制器对微型无人机发出向右飞行指 令， 否则保持方向不变。 3. 根据权利要求 1 所述基于图像透视的微型无人机室内自主导航方法， 其特征在于 ： 步骤 5 所述障碍规避方法是 ： 权 利 要 求 书 CN 103925920 A 2 2/2 页 3 步骤 1。
8、 ： 使用 Lucas-Kanade 算法计算连续两帧图像的光流 ； 步骤 2 ： 利用扩展卡尔曼滤波算法处理光流以及惯性导航提供的角速度， 消除光流的 旋转分量， 准确估计出平移分量 ； 步骤 3 ： 利用光流的平移分量恢复微型无人机的平移运动信息与障碍物的距离信息 ； 步骤 4 ： 根据障碍物的距离信息， 控制器对微型无人机发出相应的避障指令。 权 利 要 求 书 CN 103925920 A 3 1/8 页 4 一种基于图像透视的微型无人机室内自主导航方法 技术领域 0001 本发明属于无人机导航技术领域， 具体涉及一种基于图像透视的微型无人机室内 自主导航方法。 背景技术 0002 微。
9、型无人机是指尺寸只有手掌大小的飞行器， 可作为士兵携带的一种战场侦察设 备， 其潜在作用包括空中监视、 生物战剂探测、 目标识别、 通信中继等， 并且在大型建筑物内 部探测方面具有得天独厚的优势。 0003 高精度、 高可靠的自主导航技术是保证微型无人机顺利完成各种任务的关键技术 之一， 对于增强微型无人机自主行为能力， 提高作战效能具有十分重要的意义。目前， 实现 无人机自主导航技术的基本思路是通过机载传感器， 实时感知无人机自身状态及飞行空间 环境信息， 通过多源信息融合技术确定无人机运动状态与相关导航参数， 并实现对周围环 境的感知、 避障、 路径规划等功能。 0004 视觉导航是随着计。
10、算机硬件与图像处理技术的高速发展而兴起的一门新的导航 技术， 该技术涉及光学、 模式识别、 图像处理和导航等多门学科。 在视觉导航系统中， 载体通 过成像传感器感知环境， 然后由计算机对图像进行分析， 获取载体的位置和姿态等导航信 息。视觉导航的自主性、 灵活性和适应性等特点使其迅速成为导航领域的研究热点。 0005 针对微型无人机室内飞行环境， 其重点在于高精度定位与空间障碍感知与规避， 相比惯性导航与 GPS 导航， 视觉导航在障碍感知方面具有独特的优势， 因此研究基于视觉 的室内自主导航极其重要， 一般方法是采用高分辨率摄像机拍摄周围环境并进行三维重 构， 根据重构结果确定合理的飞行路径。
11、， 然而这种方法所需计算量很大， 实时性差， 对硬件 的要求高， 且定位精度较低。 发明内容 0006 要解决的技术问题 0007 为了避免现有技术的不足之处， 本发明提出一种基于图像透视的微型无人机室内 自主导航方法， 实现微型无人机室内环境下自主导航。 0008 技术方案 0009 一种基于图像透视的微型无人机室内自主导航方法， 其特征在于步骤如下 ： 0010 步骤1 ： 在微型无人机室内飞行过程中， 机载前视摄像机Camera1实时获取图像a， 机载下视摄像机 Camera2 实时获取图像 b ； 0011 步骤 2 ： 分析图像 a 与图像 b 的透视特征， 判断微型无人机所处的环境。
12、类型， 环境 类型走廊、 台阶或房间 ； 过程如下 ： 0012 A、 使用 Hough 变换对图像 a 进行直线检测得到图像 c， 判断图像 c 中是否有消失 点 ； 所述消失点为具有透视特征的点 ； 0013 B、 若有消失点， 判定室内环境类型为走廊， 若无消失点， 则去除图像 c 中的水平线 说 明 书 CN 103925920 A 4 2/8 页 5 和垂直线得到图像 d， 再判断图像 d 中是否有消失点 ； 0014 C、 若有消失点， 同样判定室内环境类型为走廊， 若无消失点， 则使用 Hough 变换对 图像 b 进行直线检测得到图像 e， 判断图像 e 中是否有成簇的等间距平。
13、行线 ； 0015 D、 若有成簇的等间距平行线， 判定室内环境类型为台阶， 若无成簇的等间距平行 线， 判定室内环境类型为房间 ； 0016 步骤 3 ： 针对不同环境类型， 利用障碍检测算法对飞行路径障碍物进行检测， 过程 如下 ： 0017 A、 对于走廊环境， 定义以消失点为中心的 5050 图像亮度均值为判断基准， 若当 前帧图像与前一帧图像亮度均值差小于阈值 Threshold2 30， 认为无障碍， 否则认为有障 碍 ； 0018 B、 对于台阶环境， 定义图像中最长线的长度为判断基准， 若当前帧图像与前一帧 图像最长线的长度差小于阈值 Threshold3 15， 认为无障碍，。
14、 否则认为有障碍 ； 0019 步骤 4 ： 当检测结果为无障碍时， 则通过不同环境类型下的飞行控制方法实现微 型无人机室内自主飞行 ； 0020 步骤 5 ： 若障碍物检测结果为有障碍， 则通过障碍规避方法实现微型无人机自主 避障。 0021 步骤 4 所述的不同环境类型下的飞行控制方法为 ： 0022 情况1、 对于走廊环境， 定义消失点在图像中的坐标为若 小于图像高度的 一半， 则控制器对微型无人机发出上升指令， 若大于图像高度的一半， 则控制器对微型无 人机发出下降指令， 否则保持高度不变， 若小于图像宽度的一半， 则控制器对微型无人机 发出向左飞行指令， 若大于图像宽度的一半， 则控。
15、制器对微型无人机发出向右飞行指令， 否则保持方向不变 ； 0023 情况 2、 对于台阶环境， 定义相邻两条平行线之间的距离为 dis， 若当前帧图像的 dis 与前一帧图像的 dis 差值大于阈值 Threshold4（该阈值需根据精度需求设定， 原则为 小于图像高度的十分之一） ， 则控制器对微型无人机发出上升指令， 若前一帧图像的 dis 与 当前帧图像的 dis 差值大于阈值 Threshold4， 则控制器对微型无人机发出下降指令， 否则 保持高度不变， 定义最长直线中点的横坐标为， 若小于图像宽度的一半， 则控制器对微 型无人机发出向左飞行指令， 若大于图像宽度的一半， 则控制器对。
16、微型无人机发出向右 飞行指令， 否则保持方向不变。 0024 步骤 5 所述障碍规避方法是 ： 0025 步骤 1 ： 使用 Lucas-Kanade 算法计算连续两帧图像的光流 ； 0026 步骤 2 ： 利用扩展卡尔曼滤波算法处理光流以及惯性导航提供的角速度， 消除光 流的旋转分量， 准确估计出平移分量 ； 0027 步骤 3 ： 利用光流的平移分量恢复微型无人机的平移运动信息与障碍物的距离信 息 ； 0028 步骤 4 ： 根据障碍物的距离信息， 控制器对微型无人机发出相应的避障指令。 0029 有益效果 0030 本发明提出的一种基于图像透视的微型无人机室内自主导航方法， 根据图像透视。
17、 源于人类的视觉经验 ： 大小相同的物体， 近的看起来比远的大， 如沿着铁路线看两条铁轨会 说 明 书 CN 103925920 A 5 3/8 页 6 交汇于一点， 称为消失点。在室内环境如走廊中， 一般存在消失点， 根据消失点的特性可以 指导微型无人机感知周围环境进而实现自主飞行。 0031 本发明参考视觉导航的原理， 将室内环境分为走廊、 台阶与房间三种， 通过分析视 觉图像的透视特征确定环境类型， 进而采用消失点、 中心线或光流等方法进行障碍物检测， 得到相应导航与控制信息， 实现微型无人机室内自主避障与飞行。本发明无需构建环境的 三维模型， 可大大降低算法运算时间， 提高控制指令的实。
18、时性， 并具有高自主性与高可靠 性。该方法计算量较小， 实时性强， 对硬件的要求低， 且定位精度较高。为微型无人机室内 导航的工程应用提供一种可行的技术方案。 附图说明 0032 图 1 是本发明的框架结构图。 0033 图 2 是室内环境分类器工作流程。 0034 图 3 是台阶环境下航向角校正。 具体实施方式 0035 现结合实施例、 附图对本发明作进一步描述 ： 0036 本发明实施例中基于图像透视的微型无人机室内自主导航方法包括以下步骤 ： 0037 第一步， 在微型无人机室内飞行过程中， 机载前视摄像机 Camera1 实时获取图像 a， 机载下视摄像机 Camera2 实时获取图像。
19、 b。 0038 第二步， 设计室内环境分类器， 通过分析图像 a 与图像 b 的透视特征， 判断微型无 人机所处的环境类型。 0039 具体流程如图 2 所示， 首先使用 Canny 边缘检测算子处理图像 a， 进而利用 Hough 变换提取直线， 去除检测到的水平线与垂直线， 通过滑窗法确定图像中斜线交点密度最大 的区域 Z， 并认为该区域为消失点。 0040 定义滑窗中点的密度为 ： 0041 0042 图像中点的密度为 ： 0043 0044 其中N表示区域Z中斜线交点的数量， K表示整个图像中斜线交点点的数量， Swindow 表示区域 Z 的面积， Simage表示图像的面积。 0。
20、045 定义消失点判别准则如下 ： 0046 说 明 书 CN 103925920 A 6 4/8 页 7 0047 设定 Threshold1=30。 0048 如果消失点存在， 判定微型无人机所处环境为走廊， 并定义消失点的坐标为 0049 0050 其中 (xi,yi) 表示区域 Z 中点的坐标。 0051 如果消失点不存在， 利用Hough变换对图像b进行直线检测， 判断是否有成簇的等 间距平行线， 若有成簇的等间距平行线， 判定室内环境类型为台阶， 若无成簇的等间距平行 线， 判定室内环境类型为房间。 0052 第三步， 针对不同环境类型， 利用障碍检测算法对飞行路径障碍物进行检测。。
21、 0053 走廊环境下， 若存在障碍物， 消失点附近的亮度会发生显著变化， 使用像素点均值 表征亮度， 定义为 0054 0055 w,h 分别为图像的宽度和高度， I(i,j) 表示图像 (i,j) 处对应的灰度值。 0056 定义障碍物判别准则如下， 阈值 Threshold2=30 0057 0058 台阶环境下， 若存在障碍物， Hough 变换提取的最长线长度会发生显著变化， 设 t 时刻图片中最长线的长度为 lt， 定义障碍物判别准则如下， 阈值 Threshold3=15 0059 0060 房间环境下， 认为障碍物一直存在。 0061 第四步， 若障碍物检测结果为无障碍， 则通。
22、过不同环境类型下的飞行控制算法实 现微型无人机室内自主飞行。 0062 对于走廊环境， 定义消失点在图像中的坐标为， 若小于图像高度的一半， 则控制器对微型无人机发出上升指令， 若大于图像高度的一半， 则控制器对微型无人机 发出下降指令， 否则保持高度不变， 若小于图像宽度的一半， 则控制器对微型无人机发 出向左飞行指令， 若大于图像宽度的一半， 则控制器对微型无人机发出向右飞行指令， 否 则保持方向不变 ； 对于台阶环境， 定义相邻两条平行线之间的距离为 dis， 若当前帧图像的 dis 与前一帧图像的 dis 差值大于阈值 Threshold4（该阈值需根据精度需求设定， 原则为 小于图像。
23、高度的十分之一） ， 则控制器对微型无人机发出上升指令， 若前一帧图像的 dis 与 当前帧图像的 dis 差值大于阈值 Threshold4， 则控制器对微型无人机发出下降指令， 否则 保持高度不变， 定义最长直线中点的横坐标为， 若小于图像宽度的一半， 则控制器对微 说 明 书 CN 103925920 A 7 5/8 页 8 型无人机发出向左飞行指令， 若大于图像宽度的一半， 则控制器对微型无人机发出向右 飞行指令， 否则保持方向不变。 0063 第五步， 若障碍物检测结果为有障碍， 则通过障碍规避算法实现微型无人机自主 避障。 0064 当无人机处于运动状态时， 使用 Lucas-Ka。
24、nade 算法计算连续两帧图像的光流， 利 用扩展卡尔曼滤波算法处理光流以及惯性导航提供的角速度， 消除光流的旋转分量， 准确 估计出平移分量， 利用光流的平移分量恢复微型无人机的平移运动信息与障碍物的距离信 息， 根据障碍物的距离信息， 控制器对微型无人机发出相应的避障指令。 0065 具体实施例如下 ： 0066 1、 在微型无人机室内飞行过程中， 机载前视摄像机 Camera1 实时获取图像 a， 机载 下视摄像机 Camera2 实时获取图像 b。 0067 利用无人机机载前视光学摄像机与下视光学摄像机实时获取图像序列， 但只需保 存当前帧与前一帧图像即可。 0068 2、 设计室内环。
25、境分类器， 通过对图像a与图像b进行预处理， 判断微型无人机所处 的环境类型。 0069 具体流程如图 2 所示， 首先使用 Canny 边缘检测算子处理图像 a， 进而利用 Hough 变换提取直线， 由于消失点是图像中斜线的交点， 需要去除检测到的水平线与垂直线， 鉴于 直线提取存在误差， 因此图像中斜线的交点并不是都在消失点处交汇， 定义交点密度最大 的区域 Z 为消失点， 通过滑窗的方法确定。 0070 定义滑窗中点的密度为 ： 0071 0072 图像中点的密度为 ： 0073 0074 其中 N 表示区域 Z 中点的数量， K 表示整个图像中点的数量， Swindow表示区域 Z 。
26、的 面积， Simage表示图像的面积。 0075 定义消失点判别准则如下 ： 0076 0077 设定 Threshold1=30。 0078 如果消失点存在， 判定微型无人机所处环境为走廊， 并定义消失点的坐标为 0079 0080 其中 (xi,yi) 表示区域 Z 中点的坐标。 说 明 书 CN 103925920 A 8 6/8 页 9 0081 如果消失点不存在， 利用Hough变换对图像b进行直线检测， 判断是否有成簇的等 间距平行线， 若有成簇的等间距平行线， 判定室内环境类型为台阶， 若无成簇的等间距平行 线， 判定室内环境类型为房间。 0082 3、 针对不同环境类型， 利。
27、用障碍检测算法对飞行路径障碍物进行检测。 0083 走廊环境下， 若存在障碍物， 消失点附近的亮度会发生显著变化， 使用像素点均值 表征亮度， 定义为 0084 0085 w,h 分别为图像的宽度和高度， I(i,j) 表示图像 (i,j) 处对应的灰度值。 0086 定义障碍物判别准则如下 0087 0088 台阶环境下， 若存在障碍物， Hough 变换提取的最长线长度会发生显著变化， 设 t 时刻图片中最长线的长度为 lt， 定义障碍物判别准则如下 0089 0090 另外， 房间环境下， 认为障碍物一直存在。 0091 4、 若障碍物检测结果为无障碍， 则通过不同环境类型下的飞行控制算。
28、法实现微型 无人机室内自主飞行。 0092 走廊环境下， 可通过消失点在图像中的位置给出微型无人机所需飞行控制信息， 设消失点坐标为 (x,y)， wimage与 himage分别代表图像的宽度和高度， 定义高度控制准则如下 0093 0094 定义方向控制准则如下 0095 0096 台阶环境下， 通过 Hough 变换提取下视图像 b 中的直线并筛选出代表台阶的直线 说 明 书 CN 103925920 A 9 7/8 页 10 定义相邻两条直线的距离为 0097 0098 其中 为 Hough 变换的返回值， 定义高度控制准则为 0099 0100 Threshold4 可根据精度需求设。
29、定。 0101 由于微型无人机最初进入台阶环境时， 航向是随机的， 如图 3 所示， 需将其调整到 与台阶直线垂直的方向， 通过 Hough 变换提取下视图像 b 中的直线并筛选出代表台阶的 平行线簇， 这些平行线簇在霍夫变换参数空间的角度就是无人机航向角所要调整的角度， 即 ： 0102 90-hough 0103 为所需调整的航向角， hough为霍夫变换给出的平行线簇的角度。 0104 微型无人机沿台阶飞行时应始终保持在台阶水平方向中央位置， 对前视图像 a 进 行图像处理得到台阶直线信息， 选取其中最长线并取中点， 即 0105 0106 定义方向控制准则为 0107 0108 5、 。
30、若障碍物检测结果为有障碍， 则通过障碍规避算法实现微型无人机自主避障。 0109 本发明采用光流法确定障碍物距离微型无人机的距离， 将这一距离反馈给控制器 实现自主避障。视觉心理学认为人与被观察物体发生相对运动时， 被观察物体表面带光学 特征部位的移动提供了运动和结构信息。 当摄像机与场景目标间有相对运动时所观察到的 亮度模式运动称之为光流 (optical flow)， 本发明使用区块匹配和 Lucas-Kanade 微分算 法进行光流的计算。 0110 光流可以通过同一像素点在连续帧图像的位移 d (dx,dy) 近似表达， 设 I1(x,y,t) 为基准图， 为了确定其中某个像素点 X1。
31、 (x1,y1) 的位移， 以 (x1,y1) 为中心点截 取的区块P， 通过求解如下函数的最小值确定下一帧图像I2(x,y,t)中与此区块对 应的区块 ： 0111 0112 使用区块匹配得到的光流精度不高， 因此采用 Lucas-Kanade 微分算法计算亚像 素光流分量。由光流的密度约束方程可得如下表达式 ： 说 明 书 CN 103925920 A 10 8/8 页 11 0113 0114 由区块匹配得到， I2减去得到转化后的新图像 I2， 因此上式可 写为 0115 0116 进行泰勒展开， 可得 ： 0117 0118 可通过求解下式在空间邻域 S 中的最小值得到 ： 0119。
32、 0120 其中 W(x,y) 是加权对角矩阵， 使用加权最小二乘法得到上式的最优解为 0121 ds ATW2A-1ATW2b 0122 其中 0123 A I(x1,y1),., I(xn,yn)T 0124 b -It(x1,y1),.,It(xn,yn)T 0125 总的光流 dm R2等于位移 dn Z2和亚像素位移 ds R2之和。 0126 另 外，点 (xi,yi) 处 的 光 流) 可 以 根 据 飞 行 器 的 速 度 及 角 速 度 (Vx,Vy,Vz,x,y,z) 以及深度 Zi表示 ： 0127 0128 其中是摄像机焦距的倒数。 0129 将上式写为 ： 0130 。
33、OF OFt+OFr 0131 其中 OF 为总光流， OFt为光流的平移分量， OFr为光流的旋转分量。 0132 因此， 根据惯导提供的角速度得出旋转分量， 利用总光流与旋转分量之差求的平 移分量， 平移分量仅依赖于障碍物的深度。 利用平移分量， 根据扩展卡尔曼滤波算法估计出 障碍物的深度， 控制器根据此深度信息作出相应的避障措施。 说 明 书 CN 103925920 A 11 1/3 页 12 图 1 说 明 书 附 图 CN 103925920 A 12 2/3 页 13 图 2 说 明 书 附 图 CN 103925920 A 13 3/3 页 14 图 3 说 明 书 附 图 CN 103925920 A 14 。