快速半全局密集匹配方法和装置技术领域
本发明涉及数字摄影测量领域，具体而言，涉及快速半全局密
集匹配方法和装置。
背景技术
基于影像密集匹配算法生成影像视差图的过程，是数字摄影测
量中的一个重要步骤，其同样是后续摄影测量产品的基础。在生成
影像视差图之后，借助每个像素的视差值和两张影像的外方位，通
过空间前方交汇可以获得密集3D点云，进而能够根据获得的密集
3D点云进行物体三维建模、数字表面模型生成以及正射影像纠正
等。
具体的，进行影像密集匹配的每个影像(包括基准影像和匹配
影像，分别对应为左影像和右影像)中均包括很多像素，因为需要
为上述影像中的每一个像素找到对应的同名点，所以影像密集匹配
在整个生产流程中是占据计算资源最多，消耗时间最长的步骤。具
体的，在实际生产中，除了考虑时间因素，匹配质量也必须得到保
证，而下述的多种原因均能够引起错误的匹配，包括：第一，左右
影像因为拍摄角度差异，会出现不同程度的物体遮挡现象，因此会
造成匹配时被物体遮挡到的边界不清晰；第二，左右图像中拍摄的
影像中，如果出现不同区域但是该不同区域对应类似或者重复的纹
理的现象，会使左右图像的匹配具有歧义性；第三，某些区域(如
草地、沙漠)没有显著的纹理，将使局部区域无法进行匹配。
目前，解决上述问题的方法是使用半全局匹配算法，基于上述
算法，相关技术提供了一种半全局密集匹配方法包括：通过上述半
全局匹配算法先从左影像(即基准影像)匹配到右影像(即匹配影
像)进行独立的第一次匹配，得到左影像视差图；但是，该方法会
使拍摄的物体边缘的匹配出现较多错误；为了解决该问题，相关技
术还提供了另一种半全局密集匹配方法，包括：通过上述半全局匹
配算法先从左影像(即基准影像)匹配到右影像(即匹配影像)进
行独立的第一次匹配，再反过来从右影像匹配到左影像进行独立的
第二次匹配，然后比较两次匹配结果，去除左影像中的错误匹配点，
得到精确的左影像视差图；但是，进行两次独立的影像匹配需要占
用较多的计算机内存且会使得匹配时间的翻倍。
发明人在研究中发现，现有技术中提供的半全局密集匹配方法
中，在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及
占用较多的计算机内存，针对该问题，目前尚未提出有效的解决方
式。
发明内容
本发明的目的在于提供快速半全局密集匹配方法和装置，能够
快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，
在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
第一方面，本发明实施例提供了一种快速半全局密集匹配方法，
包括：
获取待匹配的基准影像和匹配影像；其中，基准影像和匹配影
像具有核线关系；
根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹
配计算，得到基准影像视差图和匹配影像视差图；
分别对基准影像视差图和匹配影像视差图进行去噪精化处理；
其中，去噪精化处理用于过滤视差图中的噪音且保持视差图中物体
的边界与原始影像中物体的边界一致；
对去噪精化处理得到的基准影像视差图和匹配影像视差图进行
一致性检测，得到匹配基准影像视差图。
结合第一方面，本发明实施例提供了第一方面的第一种可能的
实施方式，其中，根据密集匹配算法以及核线关系对基准影像和匹
配影像进行匹配计算，得到基准影像视差图和匹配影像视差图包括：
通过以下公式计算从基准影像到匹配影像的基准影像视差图
mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示基准影像
上的任意像素；d1表示p像素所对应的视差；
通过以下公式计算从匹配影像到基准影像的匹配影像视差图
mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q表示匹
配影像的任意像素；d2表示q像素所对应的视差；emb表示匹配影像
中的任意像素q到基准影像中的任意像素p的核线关系。
结合第一方面的第一种可能的实施方式，本发明实施例提供了
第一方面的第二种可能的实施方式，其中，方法还包括：
构建待匹配影像对应的影像金字塔；其中，待匹配影像包括：
基准影像和/或匹配影像；影像金字塔包括多个不同的分辨率且多个
分辨率之间具有预设关联关系；
根据构建的影像金字塔，确定待匹配影像的原始分辨率；
根据构建的影像金字塔，确定待匹配影像用于搜索像素视差的
当前分辨率；
在当前分辨率的待匹配影像对应的最大视差范围中搜索像素视
差，得到像素的当前视差；
根据影像金字塔中的当前分辨率与原始分辨率的预设关联关系
以及当前视差，计算像素在原始分辨率的待匹配影像中的原始视差
搜索范围；
在原始视差搜索范围中，搜索视差d1和视差d2。
结合第一方面，本发明实施例提供了第一方面的第三种可能的
实施方式，其中，获取待匹配的基准影像和匹配影像包括：
接收采集装置发送的原始基准影像和原始匹配影像；其中，采
集装置采集原始基准影像和原始匹配影像时对应有预设采集高度；
根据采集装置的预设采集高度以及采集装置的外方位元素，分
别计算原始基准影像和原始匹配影像的拍摄区域；其中，外方位元
素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三
个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
根据原始基准影像的拍摄区域和原始匹配影像的拍摄区域，计
算原始基准影像和原始匹配影像的重叠区域；
对重叠区域外的原始基准影像和原始匹配影像进行切除处理，
得到具有核线关系的基准影像和匹配影像。
结合第一方面，本发明实施例提供了第一方面的第四种可能的
实施方式，其中，对去噪精化处理得到的基准影像视差图和匹配影
像视差图进行一致性检测，得到匹配基准影像视差图包括：
对去噪精化处理得到的基准影像视差图和匹配影像视差图进行
对比处理，得到基准影像视差图中与匹配影像视差图匹配不一致的
像素；
对基准影像视差图中匹配不一致的像素进行剔除处理，得到匹
配基准影像视差图。
第二方面，本发明实施例还提供了一种快速半全局密集匹配装
置，包括：
获取模块，用于获取待匹配的基准影像和匹配影像；其中，基
准影像和匹配影像具有核线关系；
匹配计算模块，用于根据密集匹配算法以及核线关系对基准影
像和匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差
图；
去噪精化处理模块，用于分别对基准影像视差图和匹配影像视
差图进行去噪精化处理；其中，去噪精化处理用于过滤视差图中的
噪音且保持视差图中物体的边界与原始影像中物体的边界一致；
一致性检测模块，用于对去噪精化处理得到的基准影像视差图
和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
结合第二方面，本发明实施例提供了第二方面的第一种可能的
实施方式，其中，匹配计算模块包括：
第一视差图计算单元，用于通过以下公式计算从基准影像到匹
配影像的基准影像视差图mindS[p,d1]；其中，S表示聚集的(平滑的)
匹配代价；p表示基准影像上的任意像素；d1表示p像素所对应的
视差；
第二视差图计算单元，用于通过以下公式计算从匹配影像到基
准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平
滑的)匹配代价；q表示匹配影像的任意像素；d2表示q像素所对应
的视差；emb表示匹配影像中的任意像素q到基准影像中的任意像素
p的核线关系。
结合第二方面的第一种可能的实施方式，本发明实施例提供了
第二方面的第二种可能的实施方式，其中，装置还包括：
构建模块，用于构建待匹配影像对应的影像金字塔；其中，待
匹配影像包括：基准影像和/或匹配影像；影像金字塔包括多个不同
的分辨率且多个分辨率之间具有预设关联关系；
原始分辨率确定模块，用于根据构建的影像金字塔，确定待匹
配影像的原始分辨率；
当前分辨率确定模块，用于根据构建的影像金字塔，确定待匹
配影像用于搜索像素视差的当前分辨率；
第一搜索模块，用于在当前分辨率的待匹配影像对应的最大视
差范围中搜索像素视差，得到像素的当前视差；
计算模块，用于根据影像金字塔中的当前分辨率与原始分辨率
的预设关联关系以及当前视差，计算像素在原始分辨率的待匹配影
像中的原始视差搜索范围；
第二搜索模块，用于在原始视差搜索范围中，搜索视差d1和视
差d2。
结合第二方面，本发明实施例提供了第二方面的第三种可能的
实施方式，其中，获取模块包括：
接收单元，用于接收采集装置发送的原始基准影像和原始匹配
影像；其中，采集装置采集原始基准影像和原始匹配影像时对应有
预设采集高度；
拍摄区域计算单元，用于根据采集装置的预设采集高度以及采
集装置的外方位元素，分别计算原始基准影像和原始匹配影像的拍
摄区域；其中，外方位元素包括：x，y、z、ω、φ和κ；x，y、z
分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维
空间中三个旋转角度；
重叠区域计算单元，用于根据原始基准影像的拍摄区域和原始
匹配影像的拍摄区域，计算原始基准影像和原始匹配影像的重叠区
域；
切除处理单元，用于对重叠区域外的原始基准影像和原始匹配
影像进行切除处理，得到具有核线关系的基准影像和匹配影像。
结合第二方面，本发明实施例提供了第二方面的第四种可能的
实施方式，其中，一致性检测模块包括：
对比单元，用于对去噪精化处理得到的基准影像视差图和匹配
影像视差图进行对比处理，得到基准影像视差图中与匹配影像视差
图匹配不一致的像素；
剔除处理单元，对基准影像视差图中匹配不一致的像素进行剔
除处理，得到匹配基准影像视差图。
本发明实施例提供的快速半全局密集匹配方法和装置，包括：
获取待匹配的具有核线关系的基准影像和匹配影像；根据密集匹配
算法以及核线关系对基准影像和匹配影像进行匹配计算；分别对得
到基准影像视差图和匹配影像视差图进行去噪精化处理；对去噪精
化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，
得到匹配基准影像视差图，与现有技术中的半全局密集匹配方法在
兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较
多的计算机内存相比，
其通过密集匹配算法以及基准影像和匹配影像的核线关系，计
算基准影像视差图和匹配影像视差图，然后对得到两个视差图进行
去噪精化处理，过滤了视差图中的噪音且保持了视差图中的物体边
界与原始影像中的物体边界一致，快速实现了左右一致性检测，无
需进行两次单独的左右影像匹配，且在兼顾匹配质量和匹配速度的
前提下，缩短了匹配时间。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举
较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例
中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了
本发明的某些实施例，因此不应被看作是对范围的限定，对于本领
域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种快速半全局密集匹配方
法的流程图；
图2示出了本发明实施例所提供的另一种快速半全局密集匹配
方法的流程图；
图3示出了本发明实施例所提供的另一种快速半全局密集匹配
方法的流程图；
图4示出了本发明实施例所提供的另一种快速半全局密集匹配
方法的流程图；
图5示出了本发明实施例所提供的一种快速半全局密集匹配方
法的应用场景示意图；
图6示出了本发明实施例所提供的一种快速半全局密集匹配装
置的结构示意图；
图7示出了本发明实施例所提供的一种快速半全局密集匹配装
置中匹配计算模块的结构示意图；
图8示出了本发明实施例所提供的另一种快速半全局密集匹配
装置的结构示意图；
图9示出了本发明实施例所提供的一种快速半全局密集匹配装
置中获取模块的结构示意图；
图10示出了本发明实施例所提供的一种快速半全局密集匹配
装置中一致性检测模块的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方
案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一
部分实施例，而不是全部的实施例。通常在此处附图中描述和示出
的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，
以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要
求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于
本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下
所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中提供的半全局密集匹配方法中，除了在兼顾了速度
和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机
内存的问题之外，还存在如下问题：通过固定的视差搜索范围搜素
匹配计算过程中的视差，但是，固定的视差搜索范围增加了很多无
意义的计算。其中，固定的视差搜索范围指的是，在整幅影像(包
括基准影像和匹配影像，对应为左影像和右影像)中设置固定的最
大视差值和最小视差值，得到对应的固定视差搜索范围，对于整幅
影像中的每个要匹配的像素都要在这个较大的固定视差搜索范围内
寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的区域
进行的。另外，现有技术中的匹配方法中，上述左影像和上述右影
像的非重叠区域也参与上述匹配计算，而由于上述左影像和右影像
的非重叠区域根本没有正确的匹配点，故上述非重叠区域的匹配计
算既导致时间的延长，又容易引起错误的结果。
针对上述问题，本发明实施例提供了一种快速半全局密集匹配
方法和装置，能够快速实现了左右一致性检测，在兼顾匹配质量和
匹配速度的前提下，缩短了匹配时间。
参考图1，本发明实施例提供了一种快速半全局密集匹配方法，
所述方法具体包括如下步骤：
S101、获取待匹配的基准影像和匹配影像；其中，所述基准影
像和所述匹配影像具有核线关系。
具体的，获取的待匹配的影像可以有多个，而无论影像具体有
多少，本步骤中均是将两个影像为一对进行匹配，故首先获取一对
影像，在这一对影像中包括一个基准影像，还包括一个上述基准影
像对应的匹配影像，并且，包括该基准影像和匹配影像的一对影像
具有核线关系。
具体的，首先获取的上述一对影像是原始的基准影像和匹配影
像，然后对原始的基准影像和匹配影像进行计算处理，得到具有核
线关系的待匹配的基准影像和匹配影像。
S102、根据密集匹配算法以及所述核线关系对所述基准影像和
所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差
图。
具体的，密集匹配算法可以为SGM(SemiglobalMatching，密
集匹配)算法，根据该SGM算法首先列出一个匹配能量函数，再
用半全局的方式从不同的通道进行匹配代价的聚集(Aggregationof
Matchingcoststhroughdifferentpaths)，然后根据该聚集的(平滑的)
匹配代价计算从基准影像到匹配影像的基准影像视差图；
然后，根据SGM算法以及上述基准影像和匹配影像的核线关
系，在计算从匹配影像到基准影像的匹配影像视差图。
S103、分别对所述基准影像视差图和所述匹配影像视差图进行
去噪精化处理；其中，所述去噪精化处理用于过滤所述视差图中的
噪音且保持所述视差图中物体的边界与原始影像中物体的边界一
致。
具体的，由于通过上述匹配计算的方式计算的匹配影像视差图，
并不是直接从匹配影像到基准影像的匹配，故在物体边缘部分质量
稍差。针对该问题，本发明实施例中对上述计算得到的匹配影像视
差图进行了优化处理，具体是加入了引导滤波器，通过该引导滤波
器对匹配影像视差图首先进行去噪精化处理。
其中，引导滤波器是数字图像处理中一种既能去噪，又能保持
边界信息的方法，其去噪精化处理的基本流程是把一个图(在该算
法中是基准影像和匹配影像)作为引导图，去过滤另一个图(在该
算法中是基准视差图和匹配视差图)，其既能过滤视差图中的噪音，
又能让视差图中物体的边界与原始影像的边界保持一致，而通过上
述引导滤波器的融合，既不用进行两次独立的密集匹配(即从基准
影像到匹配影像以及从匹配影像到基准影像的匹配)，又不降低物体
边界的匹配质量。
另外，通过上述匹配计算的方式计算的基准影像视差图也可能
存在物体边缘部分质量稍差，故优选的同样使用上述引导滤波器对
该基准影像视差图进行去噪滤波处理，得到优化后的基准影像视差
图。
S104、对去噪精化处理得到的基准影像视差图和匹配影像视差
图进行一致性检测，得到匹配基准影像视差图。
具体的，使用去噪精化处理后的匹配影像视差图对上述基准影
像视差图进行一致性检测，剔除基准影像视差图中与上述匹配影像
匹配不一致的像素点，得到最终的匹配基准影像视差图。
本发明实施例提供了一种快速半全局密集匹配方法，其通过密
集匹配算法以及基准影像和匹配影像的核线关系，计算基准影像视
差图和匹配影像视差图，然后对得到两个视差图进行去噪精化处理，
过滤了视差图中的噪音且保持了视差图中的物体边界与原始影像中
的物体边界一致，快速实现了左右一致性检测，无需进行两次单独
的左右影像匹配，且在兼顾匹配质量和匹配速度的前提下，缩短了
匹配时间。
具体的，根据上述密集匹配算法以及所述核线关系计算基准影
像视差图和匹配影像视差图具体包括：
通过以下公式计算从所述基准影像到所述匹配影像的基准影像
视差图mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示所
述基准影像上的任意像素；d1表示p像素所对应的视差。
具体的，S表示聚集的(平滑的)匹配代价，其是根据SGM算法
的一个匹配能量函数，用半全局的方式从不同的通道进行匹配代价
的聚集(AggregationofMatchingcoststhroughdifferentpaths)，得到
聚集的(平滑的)匹配代价；然后，根据上述公式mindS[p,d1]计算从基
准影像到匹配影像的基准影像视差图；其中，上述S是聚集的(平滑
的)匹配代价，需要被最小化；p对应基准影像上的任意像素；d1为
p像素所对应的视差，与最小代价相关的d1是所求值。
通过以下公式计算从所述匹配影像到所述基准影像的匹配影像
视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q
表示所述匹配影像的任意像素；d2表示q像素所对应的视差；emb
表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p
的核线关系。
具体的，根据上述得到的聚集的(平滑的)匹配代价，以及基准
影像和匹配影像的核线关系，即根据公式mindS[emb(q,d2),d2]计算从匹
配影像到基准影像的匹配影像视差图；其中，S表示聚集的(平滑的)
匹配代价，需要被最小化；q表示所述匹配影像的任意像素；d2表
示q像素所对应的视差，与最小代价相关的d2是所求值；emb表示
所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核
线关系。
下面详细说明本发明实施例中，计算上述聚集的(平滑的)匹配
代价的方法，主要包括三个部分：
第一、输入输出：密集匹配指的是在影像外方位确定以后(即
通过空三平差方法获得外方位元素后)，对影像重叠部分进行逐像素
的匹配，目的是重建每一个像素点的3D坐标，生成密集3D点云(通
常是LAS格式)。目前主流的密集匹配为了节省时间，都是基于核
线影像进行的。一对核线影像中的任意同名点只有横轴方向的视差，
没有纵轴方向不同。
具体的，密集匹配算法输入包括：基准影像I1和匹配影像I2(与
后面的基准影像Ib和匹配影像Im相对应)。
输入的核线像对原则上可以是彩色影像，但是在基于MI
(MutualInformation，互信息)的匹配代价计算中，选用的都是黑
白影像。因为只存在水平方向的视差，故可以将基准影像上每个点
的视差值(即水平位移大小)放到原像素的位置，便构成了一张基
准影像的视差图。其中，密集匹配算法输出的：基准影像的视差图D，
也叫深度图。
视差以像素为单位，在外方位已知的情况下，通过这些视差值
可以计算物体实际的3D坐标。视差值的的正负符号以及绝对值的
大小，与物体离采集装置(可以为相机)的距离相关。所以视差图
在计算机视觉领域往往也被称作深度图。在飞机垂直航拍的情况下，
该“深度”显然与物体的高度线性相关。
第二、基于MI的匹配代价的计算：
密集匹配通过计算和比较匹配代价实现。匹配代价用来衡量基
准影像上某个点与匹配影像上某个点的相似程度。越相似的点对应
的匹配代价越小，越应该被匹配在一起。从数据结构来说，匹配代
价C(p，d)是一个二维数组，其中p代表基准影像上的任意像素，d代
表与p像素相关的任意视差值。目的在于对于p选出一个d，使对应的
C最小化。
下列步骤为了描述方便，基准影像也被称作左图，匹配影像被
称作右图。在实际中，左右互换角色进行匹配也是可以的。
具体的，匹配代价种类繁多，本算法(即密集匹配算法)目前
使用的互信息MI是基于统计学的一种匹配代价。MI的本质是用概
率分布来描述匹配代价，左图每一灰度值与右图每一灰度值相匹配
的概率需要被计算出来。其中，本发明实施例中基于MI的进行匹
配代价计算，MI计算步骤如下：
第一步：假设一个先验视差图：计算MI必须从已有的视差图
出发，而初始化的过程必须用到先验视差图，可以选择任意视差值
作为像素的先验视差。优选的，经过多轮的匹配迭代得到先验视差，
用以避免初始化的先验视差值错误。
第二步：计算左右影像灰度值匹配的概率黑白影像的
灰度值取值范围为0～255总共256个值。因为图像明暗光照的变化，
相匹配的两个点很可能灰度值并不相等。从统计学的角度来说，左
图上的每一种灰度值都有一定概率和右图上的每一种灰度值相匹
配。左右灰度值i与k取值范围都可以从0到255，总共有(256×256)
种匹配的可能性。是一个256×256大小的矩阵，所有元素初始为
0。根据上一步的先验视差图，如果每一种灰度匹配出现一次，的
相应元素便加1(次)。
第三步：基于概率计算联合熵最初的概率
还是一个整数矩阵，每个值都表示某一事件出现的次数。整数型的
概率需要被转换为浮点型的联合熵即
h I 1 I 2 ( i , k ) = - 1 n l o g ( P I 1 I 2 ( i , k ) ⊗ g ( i , k ) ) ⊗ g ( i , k ) . ]]>
上述公式中表示高斯平滑函数，n表示所有匹配点的个
数，即影像像素总数。
第四步：计算左图灰度值概率和熵在上述步骤中计
算了联合概率与联合熵以后，还需要分别考虑单张影像灰度值出现
的概率和熵。是一个包含256个元素的向量，每种灰度值出现
一次，对应元素的概率便加1(次)。熵的计算使用如下公式：
h I 1 ( i ) = - 1 n l o g ( P I 1 ( i ) ⊗ g ( i ) ) ⊗ g ( i ) . ]]>
第五步：与第四步类似，计算右图灰度值概率和熵
第六步：计算最终互信息
mi I 1 I 2 ( i , k ) = h I 1 ( i ) + h I 2 ( k ) - h I 1 I 2 ( i , k ) , ]]>
mi I 1 I 2 ( i , k ) = h I 1 ( i ) + h I 2 ( k ) - h I 1 I 2 ( i , k ) ; ]]>其中，是一个
256×256大小的矩阵，包含浮点类型的数值。为了计算速度，可对
其进行缩放、平移和数据类型转换，使最终结果为short整数类型。
第七步：填充匹配代价C(p，d)：匹配代价C是一个二维数组，其
中p代表左图任意像素，d代表与p像素相关的任意视差值。通过(p，d)
与核线关系可以在右图上找到对应的像素q。基于q和q的灰度值，能
在中获取对应的互信息，并把该互信息填充到数组C(p，d)中
的相应位置。
第三、对上述匹配代价的半全局最优解：
如果只考虑单个像素匹配代价C(p，d)，选出每个像素最小的匹
配代价以及对应的视差值，很容易出现错误匹配。为了避免错误，
必须考虑单个像素与其相邻像素的关系。总体思路是假设相邻像素
视差值类似(除了物体边界区域，该假设基本成立)，如果相邻视差
变化1，则加上一个较小的惩罚值；如果相邻视差变化大于1，则加
上一个较大的惩罚值。该惩罚值需要根据经验选择。在本算法中，
惩罚值与基准影像的梯度值相关。梯度值越大，说明是物体边界的
可能性越大，即视差跳跃的可能性越大，随之惩罚值越小。这样的
惩罚值，一方面可以保证在物体表面视差的连续性，另一方面还可
以保证在物体边界处视差能够正确的跳跃。
把上述思路表述为一个需要被最小化的能量函数E(D)：
E ( D ) = Σ p ( C ( p , D p ) + Σ q ∈ N p P 1 T [ | D p - D q | = 1 ] + Σ q ∈ N p P 2 T [ | D p - D q | > 1 ] ) . ]]>
需要求得一张最优的视差图D，使能量函数E最小化。E是所有
像素p的匹配代价C(p，Dp)之和，加上惩罚值。当p的相邻的像素q∈Np
与p的视差值变化为1时(|Dp-Dq|＝1条件为真，T等于1，为假时
则等于0)，需要加上一个较小的惩罚值P1。当相邻的像素视差值变
化大于1时，需要加上较大的惩罚值P2。
以上能量函数最小化问题的变量D是一个二维矩阵，将该二维
矩阵简化为多个方向的一维问题可进行求解。沿单个方向来看，二
维的影像矩阵中可以提取出一条一维的数据，该一维问题可用动态
规划(DynamicProgramming)递归解决，最后综合考虑多个方向一
维问题的解，可得到二维问题的近似解(即半全局优化)。
从公式的角度来说，基于MI之前已经计算出单个像素匹配代
价C(p，d)。接着，沿某一方向r将要计算出累积代价Lr(p，d)。
L r ( p , d ) = C ( p , d ) + min L r ( p - r , d ) , L r ( p - r , d - 1 ) + P 1 , L r ( p - r , d + 1 ) + P 1 , min i L r ( p - r , i ) + P 2 - min k L r ( p - r , k ) ]]>
其中p-r表示沿着r方向的p的前一像素。上述公式的含义是：
聚合代价Lr(p，d)等于单个像素匹配代价C(p，d)加上前一像素的含惩
罚值的最小聚合代价减去前一像素不含惩罚值的最小聚合代价。上
述公式从影像边缘开始进行递归计算，为了防止数据不断变大超过
计算机的处理范围，才减去前一像素不含惩罚值的最小聚合代价。
通过以上公式计算单个通道(即单个方向)的聚合代价，而总
体上需要考虑多个通道r。最终聚合代价S(p，d)等于多个通道之和：
S ( p , d ) = Σ r L r ( p , d ) . ]]>
在实际计算中，通道数选择8个，即从左到右，从右到左，从
上到下，从下到上，从左上到右下，从右下到左上，从右上到左下
和从左下到右上。聚合的(平滑的)匹配代价S(p，d)与单个像素的匹
配代价C(p，d)的数据结构完全一样，都是一个二维数组。对于任意
像素p，基于S(p，d)选出的视差值d，使S最小化，再把所有的d组合成
一个二维矩阵，就能得到最终结果：视差图D。
另外，现有技术中匹配计算过程均是通过固定的视差搜索范围
搜素匹配计算过程中的视差，但是，固定的视差搜索范围增加了很
多无意义的计算。其中，固定的视差搜索范围指的是，在整幅影像
(包括基准影像和匹配影像，对应为左影像和右影像)中设置固定
的最大视差值和最小视差值，得到对应的固定视差搜索范围，对于
整幅影像中的每个要匹配的像素都要在这个较大的固定视差搜索范
围内寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的
区域进行的，为了解决该问题，参见图2，本发明实施例中使用动
态视差搜索范围，具体方法包括：
S201、构建待匹配影像对应的影像金字塔；其中，所述待匹配
影像包括：所述基准影像和/或所述匹配影像；所述影像金字塔包括
多个不同的分辨率且多个分辨率之间具有预设关联关系；
本发明实施例中，上述待匹配影像包括：基准影像和/或匹配影
像，且基准影像和匹配影像中均包括多个像素；将上述待匹配影像
按一定规则生成的由细到粗不同分辨率的影像集，得到该待匹配影
像对应的影像金字塔；其中，得到的上述影像金字塔包括多个不同
的分辨率且多个分辨率之间具有预设关联关系，其中，每一个分辨
率占据影像金字塔的一层，该影像金字塔从下到上分辨率越来越大，
本发明实施例中以金字塔的最底层为第一层，从最底层往上依次为
第二层、第三层等。
上述预设关联关系可以理解为影像金字塔中的分辨率从上到下
的逐层缩小关系，如1/2，1/4，1/8和1/16，或者为影像金字塔中的
分辨率从下到上的放大关系，如2倍，4倍，8倍和16倍等。
以上述第一层、第二层和第三层为例，其包括分辨率的大小可
以分别为：320×240、640×480、1280×960等，且上述相邻两两分辨
率之间均为放大2倍的关系。
需要说明的是，上述分辨率的大小和分辨率之间的预设关联关
系可以根据需要任意设置，本发明实施例对此不作具体限制。
S202、根据构建的所述影像金字塔，确定所述待匹配影像的原
始分辨率。
本发明实施例中针对待匹配影像中的每一个像素均设置一个视
差搜索范围，以待匹配影像中的任意一个像素来说，首先确定该像
素所在的待匹配影像在影像金字塔中的原始分辨率。
S203、根据构建的所述影像金字塔，确定所述待匹配影像用于
搜索像素视差的当前分辨率。
由于在待匹配影像中较大的原始分辨率对应的视差搜索范围
(即固定的视差搜索范围)下搜索像素视差，增加了很多无意义的
计算，并且还可能使得绝大部分的搜索计算是在远离正确视差值的
区域进行的。针对该问题，本发明实施例使用动态视差搜索范围，
首先在影像金字塔中确定待匹配影像的一个较小的当前分辨率，然
后在该当前分辨率对应的整个视差搜索范围中搜索像素视差，因为
是当前分辨率的待匹配影像是低分辨影像，所以并不会消耗太多时
间。
本发明实施例中以当前分辨率为影像金字塔的最底层分辨率
(即第一层分辨率)为例进行说明；实际中，当前分辨率是根据实
际待匹配影像进行确定的。
S204、在所述当前分辨率的待匹配影像对应的最大视差范围中
搜索所述像素视差，得到所述像素的当前视差。
具体的，在影像金字塔的最底层分辨率(即第一层分辨率)的
待匹配影像对应的整个视差搜索范围中搜索像素视差，得到当前视
差d0，该d0是一个点值。
S205、根据所述影像金字塔中的所述当前分辨率与所述原始分
辨率的预设关联关系以及所述当前视差，计算所述像素在原始分辨
率的待匹配影像中的原始视差搜索范围。
具体的，上述当前分辨率与原始分辨率具有预设关联关系(如
相邻的两两分辨率之间为放大2倍关系)，根据上述预设关联关系以
及计算得到的当前视差，即可计算得到像素在原始分辨率的待匹配
影像中的原始视差搜索范围；
其中，在上述金字塔影像的最底层(即第一层)的当前分辨率
的待匹配影像对应的整个视差搜索范围内搜索像素视差，得到该像
素的当前视差；然后根据该最底层与上一层的预设关联关系，可以
计算得到第二层分辨率影像中的视差所在点值，而为了保证该视差
搜索更准确，需要将该第二层得到的点值加减一个预设阈值(此处
称为第一预设阈值)，即可得到该像素在第二层中的视差搜索范围；
然后根据第二层与上一层(即第三层)的预设关联关系，可以计算
得到该像素在第三层分辨率影像中的视差所在点值，而为了保证该
视差搜索更准确，需要将该第三层得到的点值加减一个预设阈值(此
处称为第二预设阈值)，即可得到该像素在第三层对应的视差搜索范
围；以此类推，根据原始分辨率的上一层与原始分辨率所在层数的
预设关联关系以及上一层计算得到的视差所在点值，同样可以计算
得到该像素在原始分辨率的待匹配影像中的原始视差搜索范围。
上述动态视差搜索范围技术需要确定待匹配影像中每一个像素
的视差搜索范围，具体方法为：首先在低分辨率影像中搜索该像素
的视差，然后根据当前低分辨率与原始分辨率对应的预设关联关系、
像素在低分辨率影像中的搜索得到的视差以及对应的预设阈值，即
可以计算得到像素在原始分辨率的待匹配影像中的原始视差搜索范
围。
具体的，设一个像素在影像金字塔的第一层对应的低分辨影像
上的视差为d0，在该视差加减一个阈值dthreshold后，便可获得在一个
高分辨率影像上搜索的视差范围[d-dthreshold，d+dthreshold]。
需要说明的是，上述第一预设阈值，第二预设阈值优选为不同，
即每一层对应的加减的预设阈值均不同，而该预设阈值均是根据多
次实验得出的数据。
S206、在所述原始视差搜索范围中，搜索视差d1和视差d2。
具体的，在确定的上述原始视差搜索范围中，搜索视差d1和视
差d2，用以对基准影像和匹配影像进行匹配计算。
具体的，结合上述步骤201到步骤204对本发明实施例中的快
速半全局密集匹配方法中的采用的动态视差搜索范围方法进行简要
说明：
针对现有技术中对整幅影像采用固定的视差搜索范围，具有搜
索范围过大的缺点，本发明实施例对每个像素设定不同的视差范围，
即上述动态视差搜索范围，而缩小视差搜索范围需要利用金字塔影
像逐层匹配，具体的，首先从最低分辨率的金字塔影像开始匹配，
这时没有任何视差先验信息，然后在最低分辨率的金字塔影像中对
整个视差范围进行搜索，得到在该最低分辨率的金字塔影像中搜索
的视差d；虽然该视差搜索范围很大，但是因为是低分辨影像，所
以并不会消耗太多时间，然后在低分辨影像匹配完成之后，将该低
分辨率影像视差图逐层放大到原始图像的分辨率，作为高分辨影像
的视差先验信息，在上述低分辨率影像搜索的视差d0的基础上加减
一个阈值后，便可获得在高分辨率影像上搜索的视差范围[d0–
dthreshold，d0+dthreshold]。
另外，现有技术的匹配方法中，是将基准影像和匹配影像的非
重叠区域也参与了匹配计算，由于非重叠区域根本没有正确的匹配
点，故该非重叠区域参与了匹配计算既导致时间的延长，又容易引
起错误的结果。针对该问题，本发明提供的快速半全局密集匹配方
法中，参考图3，上述步骤101具体包括：
S301、接收采集装置发送的原始基准影像和原始匹配影像；其
中，所述采集装置采集所述原始基准影像和所述原始匹配影像时对
应有预设采集高度。
具体的，采集装置可以为相机，在实际航空测量中，该相机安
装在飞机上，相机用于采集物体的多个原始影像，然后根据用户端
各种操作计算处理，选择对应的一对原始影像(即原始基准影像和
原始匹配影像)；接收相机发送的这一对原始影像。
其中，该相机安装在飞机上时具有预设高度，根据该高度用于
后续计算原始基准影像和所述原始匹配影像的重叠区域和非重叠区
域。
S302、根据所述采集装置的预设采集高度以及所述采集装置的
外方位元素，分别计算所述原始基准影像和所述原始匹配影像的拍
摄区域；其中，所述外方位元素包括：x，y、z、ω、φ和κ；x，y、
z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三
维空间中三个旋转角度。
具体的，上述采集装置对应的外方位元素包括x，y、z以及ω
(即Omega)、φ(即Phi)和κ(即Kappa)，其中，上述x，y、z
分别表示三维空间中的坐标；上述ω、φ和κ分别表示物体在三维
空间中三个旋转角度；优选的，X，Y，Z，ω，φ，κ都是通过平
差方法得到最后的精确结果的。其中，平差方法需要有初始值，获
取上述X，Y，Z，ω，φ，κ的初始值获取方式具体如下：
X，Y，Z的初始值可以通过全球定位系统采集，也可以通过地
面控制点坐标也可反算出相机坐标信息；
ω，φ，κ的初始值可以通过惯性导航系统获取，也可以通过
最初的航线规划来获取角度近似值。
最后，根据上述采集装置的预设高度以及该采集装置对应的上
述外方位元素，可以计算原始基准影像原始匹配影像的拍摄区域。
S303、根据所述原始基准影像的拍摄区域和所述原始匹配影像
的拍摄区域，计算所述原始基准影像和所述原始匹配影像的重叠区
域。
具体的，根据计算的上述原始基准影像的拍摄区域和上述原始
匹配影像的拍摄区域，可以计算(具体为粗略计算出)原始基准影
像和原始匹配影像的重叠区域以及非重叠区域。
S304、对所述重叠区域外的原始基准影像和原始匹配影像进行
切除处理，得到具有核线关系的所述基准影像和所述匹配影像。
具体的，在计算机视觉中的密集匹配算法不涉及切除处理，因
为计算机要处理的大多数为图幅较小的近景影像，故切除多余的部
分不会有更好的效果。而在航空摄影摄方面，由于图幅非常大，涉
及有几亿像素的影像，该影像处理很耗时，故摄影测量流程在之前
精准的获取外方位元素，然后切除根据上述外方位元素和预设高度
计算得到的非重叠区域中的原始基准影像和原始匹配影像，能够大
大节省处理时间。
针对上述步骤301-步骤304，本发明提供的快速半全局密集匹
配，采用排除左右影像不重叠区域的方法。在做密集匹配之前，左
右影像的外方位元素是已知的，通过相机外方位元素和飞机拍摄高
度可以估算出拍摄区域以及重叠区域，而影像上非重叠区域的80％
将会被切除，避免不必要的计算，保留20％的部分作为缓冲区防止
过度切除。
为了得到精准的基准影像视差图，以便根据该基准影像视差图
进行后续的工作，如物体三维建模、数字表面模型生成以及正射影
像纠正，还需要对去噪精化处理得到的基准影像视差图和匹配影像
视差图进行一致性检测，参考图4，具体的一致性检测过程包括如
下步骤：
S401、对去噪精化处理得到的所述基准影像视差图和所述匹配
影像视差图进行对比处理，得到所述基准影像视差图中与所述匹配
影像视差图匹配不一致的像素。
S402、对所述基准影像视差图中匹配不一致的像素进行剔除处
理，得到匹配基准影像视差图。
下面结合图5对本发明实施例提供的快速半全局密集匹配方法
进行简要说明：
基准影像Ib和匹配影像Im通过SGM算法计算得到的聚集的(平
滑的)匹配代价S[p,d]，并根据得到的聚集的(平滑的)匹配代价S[p,d]计
算以及选择对应的引导滤波处理前的基准影像视差图D,b和匹配影
像视差图D,m，然后通过引导滤波器对这两个视差图进行去噪精化处
理，得到去噪精化处理的基准影像视差图Db和匹配影像视差图Dm，
最后对得到的基准影像视差图Db和匹配影像视差图Dm进行一致性
检测，得到一致性检测后的最终基准影像视差图。
本发明实施例提供的快速半全局密集匹配方法，与现有技术中
的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较
多的计算时间以及占用较多的计算机内存相比，其不降低匹配质量
的前提下，缩短了匹配时间，具体体现在下述三个方面：
(1)通过密集匹配算法和基准影像和匹配影像的核线关系，计
算基准影像视差图和匹配影像视差图，并融合引导滤波器，对得到
两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持物体
的边界与原始影像的物体的边界一致，能够进行快速左右一致性检
测，无需进行两次单独的左右影像匹配，在兼顾匹配质量和匹配速
度的前提下，缩短了匹配时间。
(2)采用动态视差搜索范围，以缩短计算时间。
(3)排除左右影像不重叠区域的方法，以减少不必要的计算，
缩短了匹配时间。
本发明实施例还提供了一种快速半全局密集匹配装置，所述装
置用于执行上述快速半全局密集匹配方法，参考图6，所述装置具
体包括：
获取模块11，用于获取待匹配的基准影像和匹配影像；其中，
所述基准影像和所述匹配影像具有核线关系；
匹配计算模块12，用于根据密集匹配算法以及所述核线关系对
所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图
和匹配影像视差图；
去噪精化处理模块13，用于分别对所述基准影像视差图和所述
匹配影像视差图进行去噪精化处理；其中，所述去噪精化处理用于
过滤所述视差图中的噪音且保持所述视差图中物体的边界与原始影
像中物体的边界一致；
一致性检测模块14，用于对去噪精化处理得到的基准影像视差
图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
进一步的，参考图7，上述快速半全局密集匹配装置中，匹配
计算模块12包括：
第一视差图计算单元121，用于通过以下公式计算从所述基准
影像到所述匹配影像的基准影像视差图mindS[p,d1]；其中，S表示聚
集的(平滑的)匹配代价；p表示所述基准影像上的任意像素；d1表示
p像素所对应的视差；
第二视差图计算单元122，用于通过以下公式计算从所述匹配
影像到所述基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S
表示聚集的(平滑的)匹配代价；q表示所述匹配影像的任意像素；d2
表示q像素所对应的视差；emb表示所述匹配影像中的任意像素q到
所述基准影像中的任意像素p的核线关系。
另外，现有技术中匹配计算过程均是通过固定的视差搜索范围
搜素匹配计算过程中的视差，但是，固定的视差搜索范围增加了很
多无意义的计算。其中，固定的视差搜索范围指的是，在整幅影像
(包括基准影像和匹配影像，对应为左影像和右影像)中设置固定
的最大视差值和最小视差值，得到对应的固定视差搜索范围，对于
整幅影像中的每个要匹配的像素都要在这个较大的固定视差搜索范
围内寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的
区域进行的，为了解决该问题，参见图8，所述装置还包括：
构建模块15，用于构建待匹配影像对应的影像金字塔；其中，
所述待匹配影像包括：所述基准影像和/或所述匹配影像；所述影像
金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关
系；
原始分辨率确定模块16，用于根据构建的所述影像金字塔，确
定所述待匹配影像的原始分辨率；
当前分辨率确定模块17，用于根据构建的所述影像金字塔，确
定所述待匹配影像用于搜索像素视差的当前分辨率；
第一搜索模块18，用于在所述当前分辨率的待匹配影像对应的
最大视差范围中搜索所述像素视差，得到所述像素的当前视差；
计算模块19，用于根据所述影像金字塔中的所述当前分辨率与
所述原始分辨率的预设关联关系以及所述当前视差，计算所述像素
在原始分辨率的待匹配影像中的原始视差搜索范围；
第二搜索模块20，用于在所述原始视差搜索范围中，搜索视差
d1和视差d2。
另外，现有技术的匹配方法中，是将基准影像和匹配影像的非
重叠区域也参与了匹配计算，由于非重叠区域根本没有正确的匹配
点，故该非重叠区域参与了匹配计算既导致时间的延长，又容易引
起错误的结果。针对该问题，参见图9，本发明提供的快速半全局
密集匹配装置中，获取模块11包括：
接收单元111，用于接收采集装置发送的原始基准影像和原始
匹配影像；其中，所述采集装置采集所述原始基准影像和所述原始
匹配影像时对应有预设采集高度；
拍摄区域计算单元112，用于根据所述采集装置的预设采集高
度以及所述采集装置的外方位元素，分别计算所述原始基准影像和
所述原始匹配影像的拍摄区域；其中，所述外方位元素包括：x，y、
z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ
和κ分别表示物体在三维空间中三个旋转角度；
重叠区域计算单元113，用于根据所述原始基准影像的拍摄区
域和所述原始匹配影像的拍摄区域，计算所述原始基准影像和所述
原始匹配影像的重叠区域；
切除处理单元114，用于对所述重叠区域外的原始基准影像和
原始匹配影像进行切除处理，得到具有核线关系的所述基准影像和
所述匹配影像。
为了得到精准的基准影像视差图，以便根据该基准影像视差图
进行后续的工作，如物体三维建模、数字表面模型生成以及正射影
像纠正，还需要对去噪精化处理得到的基准影像视差图和匹配影像
视差图进行一致性检测，参见图10，进一步的，一致性检测模块14
包括：
对比单元141，用于对去噪精化处理得到的所述基准影像视差
图和所述匹配影像视差图进行对比处理，得到所述基准影像视差图
中与所述匹配影像视差图匹配不一致的像素；
剔除处理单元142，对所述基准影像视差图中匹配不一致的像
素进行剔除处理，得到匹配基准影像视差图。
本发明实施例提供的快速半全局密集匹配装置，与现有技术中
的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较
多的计算时间以及占用较多的计算机内存相比，其通过密集匹配算
法以及基准影像和匹配影像的核线关系，计算基准影像视差图和匹
配影像视差图，然后对得到两个视差图进行去噪精化处理，过滤了
视差图中的噪音且保持了视差图中的物体边界与原始影像中的物体
边界一致，快速实现了左右一致性检测，无需进行两次单独的左右
影像匹配，且在兼顾匹配质量和匹配速度的前提下，缩短了匹配时
间。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围
并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技
术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围
之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。