一种无人机飞行控制系统以及方法技术领域
本发明涉及飞行控制器技术领域，特别是涉及一种无人机飞行控制系统以及方
法。
背景技术
目前装载高集成度飞行控制器(简称飞控)的无人机广泛应用于农业、军事、航模
运动和消费级产品中，在农业、军事和消费级产品应用中，无人机的用途越来越广，比如农
业植保、火力、敌情侦察、航拍测绘等。
就目前而言，高集成度的飞行控制器带给飞手非常大的便利，早期的旋翼无人机
如直升机只有陀螺仪作为辅助来控制直升机飞行姿态，后来随着多旋翼无人机的迅速发
展，各类无人机飞行控制器也如雨后春笋般涌现出来，其中各类开源飞控，如法国的开源KK
飞控，MWC(MultiWii Copter)开源飞控，APM开源飞控和Pixhawk开源飞控；商业飞控，如大
疆A2飞控、NAZA系列飞控，零度飞控，极飞(XAircraft)super X飞控等等。这些飞控基本都
集成了加速度传感器、气压传感器、电子罗盘传感器(GPS)等，能够实现自稳飞行、定高飞
行、定点飞行等控制，飞行控制过程中大大降低了操作难度和复杂性。不过随着消费级无人
机的兴起，这些传统的飞行控制模式逐渐在向人性化、可靠性方向发展，比如失控返航、失
控保护、飞行路线规划等等，这就要求飞行控制器不仅要在可靠性方面做出一定改进，还需
要增加硬件和软件来实现一些人性化的功能来解决当前遇到的某些问题。
失控返航和飞行路线规划是目前比较流行的无人机地面站设置，但是无论哪种设
置，都是基于电子罗盘传感器和气压传感器实现定点和定高飞行的，如果飞行过程中遇到
障碍物，无人机是无法感知障碍物的存在而撞机坠毁的。特别在高楼林立的都市，一旦启动
失控返航，无人机将会按照地面站设定高度和路线返航，很容易撞到高大的建筑物上。所
以，设计一种可以实现无人机自动避障的飞行控制器，可以有效帮助无人机自动实现躲避
障碍物按照设定的方向移动。
发明内容
本发明的目的是提供一种无人机飞行控制系统以及方法，以解决现有无人机按照
设定路线进行航行时容易撞到障碍物的问题。
为解决上述技术问题，本发明提供一种无人机飞行控制系统，包括：摄像装置、遥
控器、处理器以及航姿操纵机构；
其中，所述摄像装置至少包括两个设置在无人机上的摄像头，用于获取所述无人
机当前所处环境的双目图像；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行
图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中是
否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；并通过无线传输获取所述
遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制所述航姿操纵机构执
行相应的避障动作；
所述处理器与所述摄像装置相连，用于获取所述双目图像；对所述双目图像进行
图像处理包括使用ORB算法提取特征，并在每个超像素块中进行融合作为该超像素块的特
征；
所述处理器能够进行参数学习，采用极大似然估计方法实现求解条件随机场模型
的参数问题，通过学习训练出分类模型。
可选地，所述处理器采用微控制器以及FPGA实现；所述微处理器与所述FPGA协同
运行，用于对生成的图像数据进行亚像素提取后再做三维重建，并根据三维重建模型计算
所述障碍物与所述无人机的距离。
可选地，所述微处理器为STM32F407ZET6微控制器，采用LQFP144封装，具有144个
引脚，还具备浮点运算单元。
可选地，所述FPGA还用于对所述摄像头产生行同步HSYNC和场同步VSYNC，以使两
个摄像头同步工作。
可选地，还包括：传感器模块，包含MTI姿态传感器、六轴姿态传感器、三轴磁场传
感器以及气压计；其中，所述MTI姿态传感器采用MTI-300；所述六轴姿态传感器采用MPU-
6000；所述三轴磁场传感器采用HMC5883L；所述气压计采用MS5611高分辨率气压传感器。
可选地，所述遥控器采用2.4GHz的FUTABA遥控器。
可选地，还包括：激光雷达探测器，用于实时探测所述无人机当前所处环境是否存
在障碍物，并将获取到的障碍物信息发送至所述处理器；所述处理器用于接收所述障碍物
信息，确定所述障碍物的位置。
本发明还提供了一种无人机飞行控制方法，包括：
通过设置在无人机上的摄像头获取所述无人机当前所处环境的双目图像；
获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模型；
根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍物；如果
是，则确定所述障碍物与所述无人机的距离；
通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，
以控制航姿操纵机构执行相应的避障动作。
可选地，所述获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模
型包括：
根据第一摄像机的标定参数，获取所述第一摄像机拍摄的第一角度障碍物视频图
像；
根据第二摄像机的标定参数，获取所述第二摄像机拍摄的第二角度障碍物视频图
像；
对相同时刻的所述第一角度障碍物视频图像以及所述第二角度障碍物视频图像
进行特征点立体匹配；
根据特征点立体匹配结果以及所述标定参数，生成包含所述障碍物的三维重建模
型。
可选地，还包括：
获取雷达探测器实时探测到的所述无人机当前所处环境是否存在障碍物的障碍
物信息，根据所述障碍物信息确定所述障碍物的位置。
本发明所提供的无人机飞行控制系统，通过设置在无人机上的摄像头获取无人机
当前所处环境的双目图像；对双目图像进行图像处理，生成三维重建模型；根据三维重建模
型检测无人机当前所处环境中是否存在障碍物；如果是，则确定障碍物与无人机的距离；并
通过无线传输获取遥控器的指令，同时根据确定得到的距离生成避障指令，以控制航姿操
纵机构执行相应的避障动作。本发明所提供的无人机飞行控制系统，能够在飞行过程中自
动执行避障操作，协助飞行控制器可靠安全地完成失控返航、飞行路线规划等功能，具有实
用性以及广阔的应用前景。此外，本发明还提供了一种具体上述技术优点的无人机飞行控
制方法。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有
技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发
明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其他的附图。
图1为本发明所提供的无人机飞行控制系统的一种具体实施方式的结构框图；
图2为本发明实施例提供的无人机飞行控制的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式
对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是
全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提
下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所提供的无人机飞行控制系统的一种具体实施方式的结构框图如图1所
示，该系统具体包括：摄像装置1、遥控器2、处理器3以及航姿操纵机构4；
其中，所述摄像装置1至少包括两个设置在无人机上的摄像头，用于获取所述无人
机当前所处环境的双目图像；
所述处理器3与所述摄像装置1相连，用于获取所述双目图像；对所述双目图像进
行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无人机当前所处环境中
是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；并通过无线传输获取所
述遥控器2的指令，同时根据确定得到的所述距离生成避障指令，以控制所述航姿操纵机构
4执行相应的避障动作。
双目避障原理是根据人眼相同的测距原理，通过双眼看到不同的图像差异，运行
一些浮点运算后，计算出物体的直线距离。采用双目避障技术利用传统的视觉障碍传感器
实现即可，无需增加其他硬件电路。
需要指出的是，避障动作可以为预先设置的动作，例如按照设定的方向、速度进行
避障，这均不影响本发明的实现。
本发明所提供的无人机飞行控制系统，通过设置在无人机上的摄像头获取无人机
当前所处环境的双目图像；对双目图像进行图像处理，生成三维重建模型；根据三维重建模
型检测无人机当前所处环境中是否存在障碍物；如果是，则确定障碍物与无人机的距离；并
通过无线传输获取遥控器的指令，同时根据确定得到的距离生成避障指令，以控制航姿操
纵机构执行相应的避障动作。本发明所提供的无人机飞行控制系统，能够在飞行过程中自
动执行避障操作，协助飞行控制器可靠安全地完成失控返航、飞行路线规划等功能，具有实
用性以及广阔的应用前景。
除此之外，所述处理器3与所述摄像装置1相连，用于获取所述双目图像；对所述双
目图像进行图像处理包括使用ORB算法提取角点特征，同时提取RGB颜色特征、纹理柱状图
提取的纹理特征、灰度值等特征共同构成特征向量，并对目标内的超像素块特征进行整合
构成特征向量，在每个超像素块中进行融合作为该超像素块的特征；
所述处理器3能够进行参数学习，采用极大似然估计方法实现求解条件随机场模
型的参数问题，通过学习训练出分类模型。
具体的，处理器3能够处理图像为256*256的彩色图像，经过处理后得到原始图、超
像素分割图、ORB特征点检测图、目标类检测图等。为分析提供具体测试数据。通过与现实场
景的比对，处理器3不断进行参数学习，并调整分析数据，直到得到最优方案。
在上述实施例的基础上，本发明所提供的无人机飞行控制系统中，所述处理器采
用微控制器以及FPGA实现。所述微处理器与所述FPGA协同运行，用于对生成的图像数据进
行亚像素提取后再做三维重建，并根据三维重建模型计算所述障碍物与所述无人机的距
离。进一步，FPGA还可以用于对所述摄像头产生行同步HSYNC和场同步VSYNC，以使两个摄像
头同步工作。
单飞行控制器的核心控制器无法承受巨大的运算量，弱光下避障失效，遇到镜面
障碍也无法准确计算出距离(和人眼类似)。因此，本实施例中通过增加FPGA作为协处理器，
采用FPGA和微控制器同时协同处理，由于FPGA的并行处理效率较高，能够实现两摄像头同
步工作。对于FPGA的选型和硬件电路设计，本申请不作详细阐述。根据FPGA运算处理输出的
指令，飞行控制器得到该指令后迅速做出判断和动作完成避障。
其中，作为一种具体实施方式，微处理器可以具体为STM32F407ZET6微控制器，采
用LQFP144封装，具有144个引脚，还具备浮点运算单元。
本发明实施例中，可以具体采用意法半导体(ST)公司的STM32F407ZET6微控制器
作为主控制核心，这是一种高性能32位微控制器，基于Cortex-M4内核，主频达到了168MHz，
内部资源丰富，有512KB FLASH和192+4KB SRAM，为了便于用户外接UART外设，这种微控制
器原生3个USART和2个UART，3个12位A/D转换器。
由于飞行控制器需要处理多种传感器传来的信息和大量运算各类姿态算法(如卡
尔曼滤波器等)，所以STM32F407还具备浮点运算单元(Float Point Unit，FPU)实现一些
DSP功能，能够胜任飞行控制器所需的浮点运算量。
STM32F407ZET6采用LQFP144封装，具有144个引脚，一般来讲，为了保障飞行控制
器内部程序的安全，bootloader都存储在ROM当中，所以，在用户对其烧写内部固件到飞行
控制器过程中出现错误和其他问题时，飞行控制器是不会失效的。
在上述任一实施例的基础上，本发明所提供的无人机飞行控制系统还可以进一步
包括：传感器模块，包含MTI姿态传感器、六轴姿态传感器、三轴磁场传感器以及气压计；其
中，所述MTI姿态传感器采用MTI-300；所述六轴姿态传感器采用MPU-6000；所述三轴磁场传
感器采用HMC5883L；所述气压计采用MS5611高分辨率气压传感器。
其中，MTI-300姿态传感器采用的是XSENS公司的MTI-300，具有抗机械抖动和撞击
的优异性能，能直接输出高精度的3轴角度、3轴角速率和3轴加速度等数据。静态条件下，滚
转角与俯仰角测量偏差在0.2°-0.25°之间；动态情况下，其测量偏差分别为0.3°-1.0°之
间，偏航角测量偏差最大为1.0°。提供高达2kHz输出数据频率和低于2ms的数据延迟。
六轴姿态传感器选用美国Invensense公司生产的MPU-6000，其整合了3轴陀螺仪、
3轴加速器，为全球首例整合性6轴运动处理组件。相较于多组件方案，MPU-6000免除了组合
陀螺仪与加速器时之轴间差的问题，减少了大量的包装空间，具有低功耗、低成本、高性能
的特点。传感器的测量数据最终可通过最高400kHz的I2C总线或最高20MHz的SPI总线输出。
三轴磁场传感器采用的是Honeywell公司的HMC5883L。该传感器能在±8高斯的磁
场中实现5毫高斯分辨率，内置自检功能，能让罗盘航向精度精确到1°-2°，采用霍尼韦尔各
向异性磁阻(AMR)技术，具有在轴向高灵敏度和线性高精度的特点。
气压计采用由MEAS推出的新一代高分辨率气压传感器MS5611，该传感器用来测量
多旋翼飞行器绝对飞行高度。该模块包含了一个高线性度的压力传感器和一个超低功耗的
24位模数转换器，提供了一个精确的24位数字压力值和温度值以及不同的操作模式，可以
提高转换速度并优化电流消耗。高分辨率的温度输出无须额外传感器可实现高度计/温度
计功能。工作温度范围为：-40-85℃，精确度为：在飞行高度750m时，偏差-1.5m～+1.5m。
无线传输用于实现位于地面的地面站和位于空中无人机搭载的飞控系统间的数
据互传。本发明实施例采用3DR Radio Telemetry数传摸块，传输频率为915MHz，最大传输
距离为700m，使用UART接口输出数据。
作为一种具体实施方式，遥控器可以采用2.4GHz的FUTABA遥控器。操纵用户可以
通过拨动遥控器上的一些拨杆，各拨杆所处的不同位置对应不同的行程，从而产生具有不
同脉宽的各通道遥控PWM信号。
优选地，本发明还可以包括：激光雷达探测器，用于实时探测所述无人机当前所处
环境是否存在障碍物，并将获取到的障碍物信息发送至所述处理器；所述处理器用于接收
所述障碍物信息，确定所述障碍物的位置。本实施例可以将双目避障技术以及激光雷达探
测技术结合起来，共同对障碍物的位置、障碍物的深度、障碍物与无人机的距离信息进行确
定，增加了信息的全面性，提高了避障的精度，提升了无人机用户的使用体验。
下面对本发明实施例提供的无人机飞行控制方法进行介绍，下文描述的无人机飞
行控制方法与上文描述的无人机飞行控制系统可相互对应参照。
图2为本发明实施例提供的无人机飞行控制方法的流程图，参照图2无人机飞行控
制方法可以包括：
步骤S101：通过设置在无人机上的摄像头获取所述无人机当前所处环境的双目图
像；
步骤S102：获取所述双目图像，对所述双目图像进行图像处理，生成三维重建模
型；
步骤S103：根据所述三维重建模型检测所述无人机当前所处环境中是否存在障碍
物；如果是，则确定所述障碍物与所述无人机的距离；
步骤S104：通过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成
避障指令，以控制航姿操纵机构执行相应的避障动作。
本实施例的无人机飞行控制方法用于实现前述的无人机飞行控制系统，因此无人
机飞行控制方法中的具体实施方式可见前文中的无人机飞行控制系统的实施例部分，所
以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
作为一种具体实施方式，本发明实施例中上述步骤S102获取所述双目图像，对所
述双目图像进行图像处理，生成三维重建模型可以具体包括：
根据第一摄像机的标定参数，获取所述第一摄像机拍摄的第一角度障碍物视频图
像；
根据第二摄像机的标定参数，获取所述第二摄像机拍摄的第二角度障碍物视频图
像；
对相同时刻的所述第一角度障碍物视频图像以及所述第二角度障碍物视频图像
进行特征点立体匹配；
根据特征点立体匹配结果以及所述标定参数，生成包含所述障碍物的三维重建模
型。
在上述任一实施例的基础上，本发明实施例所提供的方法还可以进一步包括：
获取雷达探测器实时探测到的所述无人机当前所处环境是否存在障碍物的障碍
物信息，根据所述障碍物信息确定所述障碍物的位置。
下面结合具体场景对本发明所提供的无人机飞行控制系统的具体工作过程进行
进一步详细阐述。
预先对无人机进行路径规划，包括飞行高度、飞行距离、航速和航向；检测记载通
信设备与地面站之间的数据传输系统，一切正常后执行飞行任务；无人机飞行过程中，通过
传感器实时采集各项传感数据，并且通过双目摄像头实时采集无人机飞行过程中的环境图
像，对所述双目图像进行图像处理，生成三维重建模型；根据所述三维重建模型检测所述无
人机当前所处环境中是否存在障碍物；如果是，则确定所述障碍物与所述无人机的距离；通
过无线传输获取遥控器的指令，同时根据确定得到的所述距离生成避障指令，以控制航姿
操纵机构执行相应的避障动作。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它
实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装
置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分
说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元
及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和
软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些
功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业
技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执
行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存
储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术
领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的无人机飞行控制系统以及方法进行了详细介绍。本文中应
用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理
解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离
本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发
明权利要求的保护范围内。