用于无人机的具有校正抖动型失真的高分辨率相机单元技术领域
本发明涉及处理由移动装置(尤其是诸如无人机等机动飞行设备)机载的相机捕
捉的数字图像。
本发明有利地应用于由固定翼无人机(尤其是“飞翼”型飞机，诸如瑞士Cheseaux-
Lausanne的SenseFly公司的eBee型，这是一种专业土地测绘无人机，尤其用于农学中农作
物的跟踪)的相机收集的图像。
本发明还应用于其他类型的无人机，例如诸如四螺旋桨直升机等旋翼无人机，法
国巴黎Parrot SA公司的Bebop Drone是一个典型示例，它除前置相机外还配备有收集该无
人机飞过的土地的图像的俯视相机。
背景技术
为了获得飞过的土地的精细地图表示，无人机使用的相机是产生高清RGB彩色图
像(典型地，至少12百万像素，可能20或甚至40百万像素)的相机。
能满足这样规格的相机是配备有卷帘快门型传感器的相机，这是其中传感器像素
被逐行读取且感光点(photosite)的曝光和传感器的连续行的读取同时进行的传感器。
存在着被称为“全局快门”传感器的另一类型的传感器，其以两个不同的步骤来操
作，其中初始阶段是传感器感光点曝光，随后是感光点被曝光后像素数据的全局读取阶段。
全局快门传感器的缺点之一是其相对低的清晰度(比卷帘快门传感器低得多(要
不然就是过高的费用))连同其低感光度，这是因为在读取阶段的整个持续时间期间，感光
点没有曝光，不像卷帘快门传感器那样感光点曝光持续长得多的时间，甚至在逐行读取期
间。
另一方面，卷帘快门传感器具有一个主要缺点，就是图像由于外部现象而经受的
失真。的确，在采用卷帘快门传感器的情况下，场景没有完全“冻结”，但是对于图像的所有
像素而言没有同时获得组成图像的各行，在图像捕捉期间发生的各种移动在图像中生成从
一行到下一行不同的失真。
具体而言，在图像捕捉期间发生的无人机的姿态变化以及马达的振动等生成了众
所周知的被称为抖动(wobble)的缺陷，这是图像模糊和失真效果，其中场景的直线元素被
典型地渲染为在传感器输出处递送的图像中的波浪线。
当无人机姿态变化造成抖动效果时，使用无人机惯性单元的测量来有效地矫正这
一缺陷是可能的，该惯性单元递送了表示无人机(并且因此表示相机)在俯仰、滚转和偏航
的三个轴内的即时旋转的信号。一旦针对与相机传感器同步的每一行准确地获取了无人机
姿态，应用与陀螺仪测量相反的变换就允许实时补偿图像失真。具体而言，这类技术在申请
人名义下的EP2933775A1(公布于2015年10月21日，对应于2014年7月2日的法国申请
FR1456302，题为“Droneàvoilure toumante muni d’une caméra video délivrant des s
équences d’images stabiliisées(配备摄像机的旋翼无人机所提供的图像序列稳定
化)”)中被描述。
该校正技术首先允许消除由于旋转而造成的抖动，这是诸如四旋翼直升机等旋翼
无人机的典型伪像。
在固定翼无人机(例如那些“飞行翼”类型)的情况下，这一类型的校正不太有效尤
其当无人机相对于被捕捉的场景快速移动时。的确，卷帘快门传感器的逐行操作的原理引
发了其中复杂的失真，取决于速度和所捕捉的场景的结构而难以预测。
如此，这两种传感器类型实际上都不令人满意：装备有卷帘快门传感器的相机将
产生高清图像，但受制于多种且不可预见的失真，而装备有全局快门传感器的相机将产生
没有失真的图像(所捕捉的场景是在曝光阶段的结束且恰恰在读取阶段开始之前被“冻结”
的场景)，但是具有低得多的分辨率以及低得多的感光度。
发明内容
本发明的目标是提出一种新型相机单元，其组合了全局快门和卷帘快门传感器两
者的相应优点，但是没有其缺点，即相机单元具有下述优点：
——高分辨率和高感光度(常规卷帘快门传感器的典型优点)；
——图像中没有失真，特别是抖动效果(全局快门传感器独有的优点)；以及
——相机单元整体由目前广泛使用的成本合理的组件制成。
本发明的起始点是观测到某些无人机搭载了在同一单元中整合有配备两类传感
器的相机的相机单元。
特别是用于职业测绘(例如控制农作物、水文测量等)的无人机，情况就是如此，其
配备有卷帘快门型主相机(给出飞过的土地的高分辨率RGB图像)以及至少一个(通常是几
个)窄带单色相机(用于飞过的土地的频谱分析)这两者。具体而言，这些光谱相机在不同频
带内测量农作物的反射率，也就是被叶片反射的光量，以获得与光合作用的状态有关的信
息。
这些光谱相机是单色的和相对低分辨率(典型的是一百万像素量级)的全局快门
相机，其在窄光谱带(绿、红、近红外等)上操作且不提供可被用于光谱分析以外的其他目的
的图像质量。
本发明的基本思路在于使用由光谱相机递送的图像(低分辨率的单色图像，但是
由于其全局快门传感器的操作原理而没有失真)以校正主卷帘快门相机(这是给出高分辨
率但经受上述失真的RGB图像的相机)的图像的失真。
更确切地，本发明提出了一种相机单元，以本质上已知的方式包括：卷帘快门型相
机，其包括第一高分辨率的数字传感器；以及至少一个全局快门型相机，其包括比所述第一
分辨率低的第二低分辨率的数字传感器。该卷帘快门相机和至少一个全局快门相机使它们
的光轴定向在同一方向上并能被一起触发以同时收集无人机所见的同一场景的高分辨率
图像和至少一个低分辨率图像。
本发明的特征在于，该相机单元还包括图像处理装置，该图像处理装置被适配成：
确定存在于高分辨率图像中且不存在于所述至少一个低分辨率图像中的抖动类型的失真；
以及组合高分辨率图像和至少一个低分辨率图像，以递送针对所述失真进行了校正的高分
辨率图像来作为输出。
在第一实施方式中，图像处理装置包括被适配成执行以下操作的装置：
·在高分辨率图像和至少一个低分辨率图像中搜索兴趣点；
·将高分辨率图像的相应兴趣点与至少一个低分辨率图像的相应兴趣点进行映
射；
·计算高分辨率图像的兴趣点和至少一个低分辨率图像的对应兴趣点的相应位
移；
·确定由所有所述位移限定的变换；以及
·对高分辨率图像应用所述变换的的逆变换。
在第二实施方式中，图像处理装置包括被适配成执行以下操作的装置：
·根据至少一个低分辨率图像构建场景的表示；
·根据由无人机的陀螺仪、加速度计和/或地理定位传感器递送的信号来确定相
机单元在高分辨率图像收集期间经历的移动；以及
·考虑所述移动来在根据至少一个低分辨率图像构建的场景的所述表示上逐点
地投影高分辨率图像的每一像素来作为纹理。
根据各辅助有利特征：
——卷帘快门相机是RGB相机；
——至少一个全局快门相机是单色相机；
——至少一个全局快门相机是一组4个窄带光谱相机；
——卷帘快门相机的传感器的分辨率至少是12百万像素；
——至少一个全局快门相机的传感器的分辨率至少是1百万像素。
本发明还涉及一种图像处理的方法，以本质上已知的方式包括：
——获取由卷帘快门型相机递送的第一高分辨率的图像；
——获取由至少一个全局快门型相机各自传递的比所述第一分辨率低的第二低
分辨率的至少一个图像；
该卷帘快门相机和至少一个全局快门相机使它们的光轴定向在同一方向上并能
被一起触发以同时收集无人机所见的同一场景的所述高分辨率图像和所述至少一个低分
辨率图像。
其特征在于，该方法进一步包括：
——确定存在于高分辨率图像中且不存在于至少一个低分辨率图像中的抖动类
型的失真；
——组合高分辨率图像和至少一个低分辨率图像以递送针对所述失真进行了校
正的高分辨率图像来作为输出。
在第一实施方式中，该方法包括以下步骤：
——在高分辨率图像和至少一个低分辨率图像中搜索兴趣点；
——将高分辨率图像的相应兴趣点和至少一个低分辨率图像的相应兴趣点进行
映射；
——计算高分辨率图像的兴趣点与至少一个低分辨率图像的对应兴趣点的相应
位移；
——确定由所有所述位移限定的变换；以及
——对高分辨率图像应用所述变换的逆变换。
在第二实施方式中，该方法包括以下步骤：
——根据至少一个低分辨率图像构建场景的表示；
——根据由无人机的陀螺仪、加速度计和/或地理定位传感器递送的信号来确定
相机单元在高分辨率图像收集期间经历的移动；以及
——考虑所述移动来在根据至少一个低分辨率图像构建的场景的所述表示上逐
点地投影高分辨率图像的每一像素来作为纹理。
附图说明
参考附图，本发明实施方案的实施例将被描述，在附图中，相同的参考标记贯穿附
图始终表示相同或功能上相似的元件。
图1是示出无人机飞过其场景由机载相机所捕捉的土地的总体图。
图2示出了包括高清卷帘快门相机和4个全局快门光谱相机的相机单元的一般结
构。
图3以框图示出了允许根据由图2相机单元生成的多个图像来获得无失真的高分
辨率图像的不同元件。
图4是示出本发明的第一实施方式的不同步骤的流程图。
图5是示出本发明的第二实施方式的不同步骤的示图。
具体实施方式
现在将描述本发明的示例性实施例和实现。
在图1中示出了飞过的土地12的无人机10，例如“飞行翼”型的固定翼无人机，例如
SenseFly的eBee型，土地12的测绘将由该无人机作出。出于该目的，该无人机配备有被转向
土地以捕捉由土地的近似矩形部分形成的场景的图像的俯视相机单元14。
图2更确切地示出了相机单元14的不同元件，在该示例中其包括一组5个相机16、
18，它们的光轴都定向在同一方向上，即垂直方向，这5个相机中各自递送与由无人机飞过
的几乎相同场景16的图像。
相机单元14包括表示为16的以可见光谱的所有颜色来递送RGB图像的卷帘快门型
高清HD相机，例如12百万像素或更高(20至40百万)分辨率。
单元14还包括表示为18的4个光谱相机SP1…SP4，它们是单色、低分辨率(典型地
为1百万像素)的全局快门型相机。除了它们敏感的频带之外，这4个光谱相机18是相同的。
在农业应用中，这些频带例如是位于绿色、红色、极红(红色边缘)和近红外中的窄带。
如图3所示，5个相机16和18同时被共同信号20所触发，并分别递送：
——对于卷帘快门相机16：作为高分辨率RGB信号的图像信号I0，以及
——对于4个全局快门光谱相机18：作为单色、低分辨率信号的相应图像信号I1-
I4。
这些信号I0(一方面)和信号I1-I4(另一方面)在单元22内被组合，从而以将在下文
公开的方式根据由光谱相机18产生的图像I1-I4(由于使用全局快门传感器，图像没有失真，
但却是单色和低分辨率的图像)来消除在图像I0中存在的失真(使用卷帘快门相机所固有
的失真)。
单元22还可以接收由无人机的惯性单元(IMU)或机载传感器(以单元24来示意性
地示出的单元)产生的陀螺仪信息和/或地理定位信息(GPS).
由单元22操作的处理可以是在飞行中由微处理器或由专用图像处理单元(GPU)实
时操作的处理。
它还可以作为后处理来执行，无人机分开地记录图像I0和I1-I4以然后获得清除了
失真的图像I’0。
本发明的第一实施方式
图4以流程图100示出了本发明第一实施方式的不同步骤。
第一步骤(框102)包括获取由高清卷帘快门相机16和4个全局快门光谱相机18同
时捕捉的图像数据I0和I1-I4。
在每一图像上，该方法例如通过FAST(来自加速段测试的特征)型角检测算法来搜
索(框104)兴趣点(POI)。
因为高分辨率相机16和4个光谱相机18使它们的光轴定向在同一方向上(基本上
是垂直方向)，所以将认为由4个光谱相机18给出的图像(它们是场景的无失真图像)是完美
地对齐的，因此提供了每个兴趣点的4个位置估计，这允许改进最终结果。
还将注意到，在若干图像上的时间积分允许通过减少仅出现在一个图像上的短暂
伪像的效果来基本上改进校正。
一旦获取了兴趣点，该方法就搜索图像I0的POI(一方面)与图像I1至I4的POI(另一
方面)之间的对应关系(步骤106)，以确定存在于图像I0上且存在于图像I1至I4中的一个或
几个上的那些POI。当在I0和I1-I4上找到两个对应的相应POI时，这些POI连同它们在每个图
像上的位置稍后被记忆。
下面的步骤(框108)包括根据所获得的数据计算在图像I1-I4(无失真图像)和对应
的图像I0(失真图像)之间的每个兴趣点的位移。
所有这样计算得到的位移允许确定(框110)表示I0相对于无失真图像I1-I4经历的
失真的变换。
随后，对I0应用在先前步骤确定的变换的逆变换，以将失真的高分辨率图像I0矫正
为无失真的高分辨率图像I’0是可能的(步骤112)。
将注意到，在校正失真后对高分辨率图像的分析允许通过分析连贯图像来辅助地
确定每个兴趣点的深度，即相机与地面上的兴趣点之间的沿光轴方向的分量(该光轴是在
链接到相机的参照系X，Y，Z中的Z轴，X和Y是相对于图像在左/右和顶部/底部轴上的坐标)。
本发明的第二实施方式
图5以流程图200示出了本发明的第二实施方式的不同步骤。
与前述情况一样，同时获取(框202和204)分别由高清相机16和由4个光谱相机18
递送的图像数据I0和I1-I4。
随后的步骤(框206)包括根据由光谱相机I1-I4递送的图像(低分辨率)来操作飞过
的土地的场景的三维重构。这个步骤可以用例如瑞士洛桑Pix4D公司的Pix4Dmapper等软件
程序来实现。
该步骤允许对于所拍摄的每个图像，使用相机相对于大地的位置来确立大地的拓
扑结构的表示。
此外，根据由高清卷帘快门相机16拍摄的图像的准确时间戳(框208)和由无人机
机载陀螺仪和/或地理定位传感器递送的信息的时间戳(框210)，在对于图像每个像素知晓
相机定向的情况下确定(框212)在图像拍摄期间(框212)无人机(并且因此相机)的移动是
可能的。
然后，在先前步骤(206)处重构的3D场景(低分辨率，无失真)上逐点地投影图像I0
(高分辨率，有失真)的每个像素来作为纹理(框214)。
在3D场景上应用纹理(在此是由卷帘快门相机16获得的失真图像)来作为纹理是
本质上已知的步骤，用于大部分3D软件程序中，尤其是上述提到的那些软件程序中。
该投影的结果是图像I’0，这是针对图像I0中存在的失真进行了矫正的高分辨率
RGB图像。