图像拼接方法和图像拼接设备技术领域
本公开涉及数据处理技术领域，更具体地，涉及一种采用局部平滑变
换对图像进行拼接的图像拼接方法和图像拼接设备。
背景技术
图像拼接算法可将多个重叠图像组合为一张高分辨率图像，该算法可
被应用在多种场景如全景重建、3D地图导航、遥感图像重建等。
对于大尺寸文档图像拼接，传统方法使用全局模型对图像进行对齐，
然后在对齐后的重叠区域进行图像融合等方法完成拼接。然而，在非刚性
文档图像拼接中，存在局部形变，仅用图像融合将产生图像局部结构内容
的错误对准。另外一些方法使用双拼缝来拼接图像，然而如果需要多次组
合图像时，常常需要对图像进行多次变换。另外，上述估计双拼缝的方法
仅仅对拼缝局部图像进行变换，这仍将带来误对准。图1是示出采用上述
现有拼接方法得到的拼接后图像的局部图像的示意图。如图1的右侧部分
所示，假设I1、I2和I3分别为对齐的图像，矩形框A1表示I1和I2的
重叠区域，矩形框A2表示I2和I3的重叠区域。在图1的左侧部分，由
上向下依次示出了与图1的右侧部分中的四个虚线框对应的拼接后图像
的局部图像，即分别示出了：原始I1和变换后的A1相交的局部图像、由
变换后的A1构成的局部图像、由变换后的A2构成的局部图像、以及原
始I3和变换后的A2相交的局部图像。由图1的左侧部分示出的四个局部
图像可看出：在重叠区域内，可获得较好的拼接结果，然而，在原始图像
和变换后的重叠区域相交的地方(如图1的左侧部分中的圆形所示)，仍
有错误对准。
如上所述，当前图像拼接算法的主要问题在于拼接后的图像中存在错
误局部对准以及需要对图像进行多次变换。
发明内容
在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些
方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性
概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意
图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的
某些概念，以此作为稍后给出的更详细描述的前序。
鉴于以上问题，本公开的目的是提供一种能够去除图像局部内容的错
误对准、不需多次变换图像以及可以有效保持图像内容的图像拼接方法和
图像拼接设备。
根据本公开的一方面，提供了一种对第一图像和第二图像进行拼接的
图像拼接方法，包括：粗对准步骤，用于对第一图像和第二图像进行粗对
准，以得到两者的矩形重叠区域；第一拼缝提取和估计步骤，用于提取重
叠区域的左下角与右上角之间的对角线的左侧部分作为第一图像的第一
拼缝的左侧部分，并且基于第一拼缝的左侧部分在第二图像中估计第二拼
缝的左侧部分；第二拼缝提取和估计步骤，用于提取重叠区域的所述对角
线的右侧部分作为第二图像的第二拼缝的右侧部分，并且基于第二拼缝的
右侧部分在第一图像中估计第一拼缝的右侧部分；局部平滑变换步骤，用
于基于第一拼缝和第二拼缝对重叠区域执行局部平滑变换；以及组合步
骤，用于将第一图像和第二图像的非重叠区域与变换后的重叠区域进行组
合，从而形成第一图像和第二图像的拼接图像。
根据本公开的另一方面，还提供了一种对第一图像和第二图像进行拼
接的图像拼接设备，包括：粗对准单元，被配置成对第一图像和第二图像
进行粗对准，以得到两者的矩形重叠区域；第一拼缝提取和估计单元，被
配置成提取重叠区域的左下角与右上角之间的对角线的左侧部分作为第
一图像的第一拼缝的左侧部分，并且基于第一拼缝的左侧部分在第二图像
中估计第二拼缝的左侧部分；第二拼缝提取和估计单元，被配置成提取重
叠区域的所述对角线的右侧部分作为第二图像的第二拼缝的右侧部分，并
且基于第二拼缝的右侧部分在第一图像中估计第一拼缝的右侧部分；局部
平滑变换单元，被配置成基于第一拼缝和第二拼缝对重叠区域执行局部平
滑变换；以及组合单元，被配置成将第一图像和第二图像的非重叠区域与
变换后的重叠区域进行组合，从而形成第一图像和第二图像的拼接图像。
根据本公开的其它方面，还提供了用于实现上述根据本公开的方法的
计算机程序代码和计算机程序产品以及其上记录有该用于实现上述根据
本公开的方法的计算机程序代码的计算机可读存储介质。
在下面的说明书部分中给出本公开实施例的其它方面，其中，详细说
明用于充分地公开本公开实施例的优选实施例，而不对其施加限定。
附图说明
本公开可以通过参考下文中结合附图所给出的详细描述而得到更好
的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者
相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并形成
说明书的一部分，用来进一步举例说明本公开的优选实施例和解释本公开
的原理和优点。其中：
图1是示出采用现有拼接方法得到的拼接后图像的局部图像的示意
图；
图2是示出根据本公开的实施例的图像拼接方法的流程示例的流程
图；
图3是描述根据本公开的实施例的最优拼缝估计的示意图；
图4是示出根据本公开的实施例的局部平滑变换的示意图；
图5是示出根据本公开的实施例的对图像区域进行变换的具体方式
的示意图；
图6是示出根据本公开的实施例的图像拼接设备的功能配置示例的
框图；
图7是示出根据本公开的实施例的局部平滑变换单元的功能配置示
例的框图；以及
图8是示出作为本公开的实施例中可采用的信息处理设备的个人计
算机的示例结构的框图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和
简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了
解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的
决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那
些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。
此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益
于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公
开，在附图中仅仅示出了与根据本公开的方案密切相关的设备结构和/或
处理步骤，而省略了与本公开关系不大的其它细节。
下面结合附图详细说明根据本公开的实施例。
首先，将参照图2描述根据本公开的实施例的图像拼接方法的流程示
例。图2是示出根据本公开的实施例的图像拼接方法的流程示例的流程
图。
如图2所示，根据本公开的实施例的图像拼接方法可包括粗对准步骤
S202、第一拼缝提取和估计步骤S204、第二拼缝提取和估计步骤S206、
局部平滑变换步骤S208、以及组合步骤S210。以下将分别详细描述各个
步骤中的处理。
首先，在粗对准步骤S202中，可以对第一图像和第二图像进行粗对
准，以得到两者的矩形重叠区域。
优选地，在粗对准步骤S202中，使用第一图像作为参考图像，可通
过传统方法(例如通过特征匹配进行图像变换的方法)将第二图像和第一
图像进行粗对准，从而得到第一图像和第二图像的矩形重叠区域。
接下来，根据本公开的实施例的图像拼接方法要提取和估计第一图像
的第一拼缝和第二图像的第二拼缝。将参照图3描述根据本公开的实施例
的提取和估计第一拼缝和第二拼缝的示例。图3是描述根据本公开的实施
例的最优拼缝估计的示意图。
如图3所示，假设第一图像和第二图像分别为I1和I2，第一拼缝和
第二拼缝分别为S1和S2，O1和O2分别是I1与I2的重叠区域的左下角
和右上角，M和N为第一拼缝S1上的采样点，M’和N’为例如通过特征
匹配在第二拼缝S2上估计的、分别与第一拼缝S1上的M和N相对应的
点。P1和P2分别表示M和N在重叠区域的下边界上的投影点。因为图
3中的阴影区域应来自于I1，因此S1左上角不应出现错位断裂等。由此，
由点P1、M’、N’、和P2组成的区域应该被变换为由点P1、M、N、和
P2组成的区域。
但是，将产生一个三角形“空洞区域”ΔO1MP1，此区域面积为:
S∝|O1M|·|O1P1|
为了最小化此区域，有两种途径:
●最小化|O1P1|
|O1P1|为M和M’在重叠区域的下边界上的投影点之间的距
离。因此在重叠区域内，应取和第一个采样点坐标差最小的对应采样
点。
●最小化|O1M|
可将M移动为O1，于是上述区域的面积S变为0。
因此，在第一拼缝提取和估计步骤S204中，可以提取重叠区域的左
下角与右上角之间的对角线的左侧部分作为第一图像的第一拼缝的左侧
部分，并且可以基于第一拼缝的左侧部分在第二图像中估计第二拼缝的左
侧部分。
优选地，在第一拼缝提取和估计步骤S204中，可以提取重叠区域的
对角线O1O2的左半部分作为第一图像I1的第一拼缝S1的左侧部分。此
外，也可以提取重叠区域的对角线O1O2的左侧的四分之一、三分之一、
三分之二等作为第一图像I1的第一拼缝S1的左侧部分，本公开对此不作
限制。
优选地，可以通过特征匹配，基于所提取的第一拼缝S1的左侧部分
在第二图像I2中估计第二拼缝S2的左侧部分。另外，本领域技术人员还
可以容易想到基于所提取的第一拼缝S1的左侧部分在第二图像I2中估计
第二拼缝S2的左侧部分的其他方法，本公开对此不作限制。
在第二拼缝提取和估计步骤S206中，可以提取重叠区域的所述对角
线的右侧部分作为第二图像的第二拼缝的右侧部分，并且可以基于第二拼
缝的右侧部分在第一图像中估计第一拼缝的右侧部分。
优选地，在第二拼缝提取和估计步骤S206中，可以提取重叠区域的
对角线O1O2的右半部分作为第二图像I2的第二拼缝S2的右侧部分。此
外，也可以提取重叠区域的对角线O1O2的右侧的四分之一、三分之一、
三分之二等作为第二图像I2的第二拼缝S2的右侧部分，本公开对此不作
限制。
优选地，可以通过特征匹配，基于所提取的第二图像I2的第二拼缝
S2的右侧部分在第一图像I1中估计第一拼缝S1的右侧部分。另外，本
领域技术人员还可以容易想到基于所提取的第二图像I2的第二拼缝S2的
右侧部分在第一图像I1中估计第一拼缝S1的右侧部分的其他方法，本公
开对此不作限制。
由上可知，第一拼缝S1可以是重叠区域的左下角O1到与第二拼缝
S2的终点O2对应的点之间的线段。第二拼缝S2可以是与第一拼缝S1
的首端点O1对应的点到重叠区域的右上角O2之间的线段。
接下来，在局部平滑变换步骤S208中，可以基于第一拼缝和第二拼
缝对重叠区域执行局部平滑变换。
将参照图4描述根据本公开的实施例的局部平滑变换。图4是示出根
据本公开的实施例的局部平滑变换的示意图。
在图4中,两块阴影区域分别表示两幅待拼接的图像部分。假设第一
拼缝包括采样点M和N，通过特征匹配在第二拼缝上估计其对应点分别
为M’和N’；第二拼缝包括采样点Q’和H’(即图3中重叠区域的右上角
O2)，通过特征匹配在第一拼缝上估计其对应点分别为Q和H。P1、P2、
P3和P6分别是点M’、N’、Q’和H’在重叠区域的下边界上的投影点；P4、
P5和P7分别是点Q、H和N在重叠区域的上边界上的投影点。
优选地，局部平滑变换步骤S208可以包括：针对重叠区域的左侧部
分，以预定次数执行第一平滑变换，第一平滑变换进一步包括：在第一拼
缝上选取第一点和第二点，并在第二拼缝上选取与第一点和第二点分别对
应的第一对应点和第二对应点，其中，第一对应点和第二对应点在重叠区
域的下边界上的投影分别为第一对应投影点和第二对应投影点；以及将由
第一对应点、第二对应点、第一对应投影点和第二对应投影点组成的区域
变换到由第一点、第二点、第一对应投影点和第二对应投影点组成的区域。
以重叠区域的左侧部分中第一拼缝上的点M和N为例，在第二拼缝
上选取与点M和N分别对应的对应点M’和N’，其中，对应点M’和N’
在重叠区域的下边界上的投影分别为对应投影点P1和P2。因为需要进行
平滑变换，需保证原始图像和变换后的重叠区域相交的地方没有断裂。因
此，根据本公开的实施例的图像拼接方法将由对应点M’和N’、以及对应
投影点P1和P2组成的区域(简写为P1M’N’P2)变换到由点M和N、
以及对应投影点P1和P2组成的区域(简写为P1MNP2)。依次将重叠区
域的左侧部分中第一拼缝上的每个采样点作为点M和N，从而以预定次
数对重叠区域的左侧部分执行上述第一平滑变换。
优选地，局部平滑变换步骤S208还可以包括：针对重叠区域的右侧
部分，以预定次数执行第二平滑变换，第二平滑变换进一步包括：在第二
拼缝上选取第三点和第四点，并在第一拼缝上选取与第三点和第四点分别
对应的第三对应点和第四对应点，其中，第三对应点和第四对应点在重叠
区域的上边界上的投影分别为第三对应投影点和第四对应投影点；以及将
由第三对应点、第四对应点、第三对应投影点和第四对应投影点组成的区
域变换到由第三点、第四点、第三对应投影点和第四对应投影点组成的区
域。
如图4所示，以重叠区域的右侧部分中第二拼缝上的点Q’和H’为例，
在第一拼缝上选取与点Q’和H’分别对应的对应点Q和H，其中，对应点
Q和H在重叠区域的上边界上的投影分别为对应投影点P4和P5。为保
证右端图像不出现拼接断裂，根据本公开的实施例的图像拼接方法将由对
应点Q和H、以及对应投影点P4和P5组成的区域(简写为P4P5HQ)
变换到由点Q’和H’、以及对应投影点P4和P5组成的区域(简写为
P4P5H’Q’)。依次将重叠区域的右侧部分中第二拼缝上的每个采样点作为
点Q’和H’，从而以预定次数对重叠区域的右侧部分执行上述第二平滑变
换。
优选地，局部平滑变换步骤S208在执行第一平滑变换之后还可以包
括执行作为过渡处理的第三平滑变换，第三平滑变换进一步包括：在第一
拼缝上选取第五点和第六点，并在第二拼缝上选取与第五点和第六点分别
对应的第五对应点和第六对应点，其中，第五点和第六点在重叠区域的上
边界上的投影分别为第五投影点和第六投影点，第五对应点和第六对应点
在重叠区域的下边界上的投影分别为第五对应投影点和第六对应投影点，
以及第六点与第六对应点的中间点为中点；将由第五点、第六点、第五投
影点和第六投影点组成的区域变换到由中点、第五点、第五投影点和第六
投影点组成的区域；以及将由第五对应点、第六对应点、第五对应投影点
和第六对应投影点组成的区域变换到由中点、第五点、第五对应投影点和
第六对应投影点组成的区域。
如图4所示，当采用第一平滑变换将由点P2、P3、N’、和Q’组成
的区域(简写为P2P3N’Q’)变换到由点P2、P3、N、和Q组成的区域
(简写为P2P3NQ)时，第一平滑变换和第二平滑变换之间将出现间断。
为解决这个问题，根据本公开的实施例的图像拼接方法在执行第一平滑变
换之后还可以执行作为过渡处理的第三平滑变换。即，以第一拼缝上的点
N和Q为例，在第二拼缝上选取与点N和Q分别对应的对应点N’和Q’，
点N和Q在重叠区域的上边界上的投影分别为投影点P7和P4，对应点
N’和Q’在重叠区域的下边界上的投影分别为对应投影点P2和P3，并计
算得到点Q和其对应点Q’的中点G。根据本公开的实施例的图像拼接方
法将由点N和Q、以及投影点P7和P4组成的区域(简写为P7P4QN)
变换到由中点G、点N、投影点P7和P4组成的区域(简写为P7P4GN)；
以及将由对应点N’和Q’、以及对应投影点P2和P3组成的区域(简写为
P2P3Q’N’)变换到由中点G、点N、对应投影点P2和P3组成的区域(简
写为P2P3GN)。
优选地，在进行上述第三平滑变换之后，为保证与右端图像不出现拼
接断裂，根据本公开的实施例的图像拼接方法将由点P4、P5、H、和G组
成的区域(简写为P4P5HG)变换到由点P4、P5、H’、和G组成的区域
(简写为P4P5H’G)。
下面以从P1M’N’P2到P1MNP2的变换为例来对变换的具体方式进
行介绍。优选地，从P1M’N’P2到P1MNP2的变换可以采用如下方式：
将待变换的区域划分成三角形，采用仿射变换对三角形进行变换。图5
是示出根据本公开的实施例的对图像区域进行变换的具体方式的示意图。
在图5中，将待变换的区域P1M’N’P2分成两个三角形P1P2N’和P1N’M’，
然后采用仿射变换将三角形P1P2N’变换为三角形P1P2N，并且将三角形
P1N’M’变换为三角形P1NM。此外，从P1M’N’P2到P1MNP2的变换还
可以采用透视变换的方式，本公开对此不作限制。
最后，在组合步骤S210中，将第一图像和第二图像的非重叠区域与
变换后的重叠区域进行组合，从而形成第一图像和第二图像的拼接图像。
优选地，可以依次将多个图像中的每个图像作为第一图像和第二图像
进行拼接，从而形成多个图像的拼接图像。具体地，可以由图像捕获设备
获得一系列图像，使用第一个图像作为参考图像，其他图像可通过特征匹
配与之对齐。拼接文档的尺寸被定义为一系列对齐图像的外接矩形。之后，
可以依次将一系列图像中的每个图像作为第一图像和第二图像采用上述
方法进行拼接，从而形成这一系列图像的拼接图像。
根据以上描述可知，根据本公开的实施例的图像拼接方法能够去除图
像局部内容的错误对准、不需多次变换图像以及可以有效保持图像内容。
与上述方法实施例相对应地，本公开还提供了以下装置实施例。
图6是示出根据本公开的实施例的图像拼接设备的功能配置示例的
框图。
如图6所示，根据本公开的实施例的图像拼接设备600可以包括粗对
准单元602、第一拼缝提取和估计单元604、第二拼缝提取和估计单元606、
局部平滑变换单元608、以及组合单元610。接下来将描述各个单元的功
能配置示例。
粗对准单元602可以被配置成对第一图像和第二图像进行粗对准，以
得到两者的矩形重叠区域。
优选地，粗对准单元602可以被配置成使用第一图像作为参考图像，
通过传统方法(例如通过特征匹配进行图像变换的方法)将第二图像和第
一图像进行粗对准，从而得到第一图像和第二图像的矩形重叠区域。
第一拼缝提取和估计单元604可以被配置成提取重叠区域的左下角
与右上角之间的对角线的左侧部分作为第一图像的第一拼缝的左侧部分，
并且可以基于第一拼缝的左侧部分在第二图像中估计第二拼缝的左侧部
分。
优选地，第一拼缝提取和估计单元604可以被配置成提取重叠区域的
所述对角线的左半部分作为第一图像的第一拼缝的左侧部分。此外，也可
以提取重叠区域对角线的左侧的四分之一、三分之一、三分之二等作为第
一图像的第一拼缝的左侧部分，本公开对此不作限制。
优选地，可以通过特征匹配，基于所提取的第一拼缝的左侧部分在第
二图像中估计第二拼缝的左侧部分。另外，本领域技术人员还可以容易想
到基于所提取的第一拼缝的左侧部分在第二图像中估计第二拼缝的左侧
部分的其他方法，本公开对此不作限制。
第二拼缝提取和估计单元606可以被配置成提取重叠区域的所述对
角线的右侧部分作为第二图像的第二拼缝的右侧部分，并且可以基于第二
拼缝的右侧部分在第一图像中估计第一拼缝的右侧部分。
优选地，第二拼缝提取和估计单元606可以被配置成提取重叠区域的
所述对角线的右半部分作为第二图像的第二拼缝的右侧部分。此外，也可
以提取重叠区域的所述对角线的右侧的四分之一、三分之一、三分之二等
作为第二图像的第二拼缝的右侧部分，本公开对此不作限制。
优选地，可以通过特征匹配，基于所提取的第二图像的第二拼缝的右
侧部分在第一图像中估计第一拼缝的右侧部分。另外，本领域技术人员还
可以容易想到基于所提取的第二图像的第二拼缝的右侧部分在第一图像
中估计第一拼缝的右侧部分的其他方法，本公开对此不作限制。
局部平滑变换单元608可以被配置成基于第一拼缝和第二拼缝对重
叠区域执行局部平滑变换。
图7是示出根据本公开的实施例的局部平滑变换单元608的功能配置
示例的框图。
如图7所示，局部平滑变换单元608可以包括第一平滑变换单元
6082。第一平滑变换单元6082可以被配置成针对重叠区域的左侧部分，
以预定次数执行第一平滑变换，第一平滑变换进一步包括：在第一拼缝上
选取第一点和第二点，并在第二拼缝上选取与第一点和第二点分别对应的
第一对应点和第二对应点，其中，第一对应点和第二对应点在重叠区域的
下边界上的投影分别为第一对应投影点和第二对应投影点；以及将由第一
对应点、第二对应点、第一对应投影点和第二对应投影点组成的区域变换
到由第一点、第二点、第一对应投影点和第二对应投影点组成的区域。
优选地，局部平滑变换单元608还可以包括第二平滑变换单元6084。
第二平滑变换单元6084可以被配置成针对重叠区域的右侧部分，以预定
次数执行第二平滑变换，第二平滑变换进一步包括：在第二拼缝上选取第
三点和第四点，并在第一拼缝上选取与第三点和第四点分别对应的第三对
应点和第四对应点，其中，第三对应点和第四对应点在重叠区域的上边界
上的投影分别为第三对应投影点和第四对应投影点；以及将由第三对应
点、第四对应点、第三对应投影点和第四对应投影点组成的区域变换到由
第三点、第四点、第三对应投影点和第四对应投影点组成的区域。
优选地，局部平滑变换单元608还可以包括第三平滑变换单元6086。
第三平滑变换单元6086可以被配置成在第一平滑变换单元6082执行第一
平滑变换之后执行作为过渡处理的第三平滑变换，第三平滑变换进一步包
括：在第一拼缝上选取第五点和第六点，并在第二拼缝上选取与第五点和
第六点分别对应的第五对应点和第六对应点，其中，第五点和第六点在重
叠区域的上边界上的投影分别为第五投影点和第六投影点，第五对应点和
第六对应点在重叠区域的下边界上的投影分别为第五对应投影点和第六
对应投影点，以及第六点与第六对应点的中间点为中点；将由第五点、第
六点、第五投影点和第六投影点组成的区域变换到由中点、第五点、第五
投影点和第六投影点组成的区域；以及将由第五对应点、第六对应点、第
五对应投影点和第六对应投影点组成的区域变换到由中点、第五点、第五
对应投影点和第六对应投影点组成的区域。
具体的变换方法可参见以上方法实施例中相应位置的描述，在此不再
重复。
组合单元610可以被配置成将第一图像和第二图像的非重叠区域与
变换后的重叠区域进行组合，从而形成第一图像和第二图像的拼接图像。
应指出，尽管以上描述了根据本公开的实施例的图像拼接设备的功能
配置，但是这仅是示例而非限制，并且本领域技术人员可根据本公开的原
理对以上实施例进行修改，例如可对各个实施例中的功能模块进行添加、
删除或者组合等，并且这样的修改均落入本公开的范围内。
此外，还应指出，这里的装置实施例是与上述方法实施例相对应的，
因此在装置实施例中未详细描述的内容可参见方法实施例中相应位置的
描述，在此不再重复描述。
应理解，根据本公开的实施例的存储介质和程序产品中的机器可执行
的指令还可以被配置成执行上述图像拼接方法，因此在此未详细描述的内
容可参考先前相应位置的描述，在此不再重复进行描述。
相应地，用于承载上述包括机器可执行的指令的程序产品的存储介质
也包括在本发明的公开中。该存储介质包括但不限于软盘、光盘、磁光盘、
存储卡、存储棒等等。
另外，还应该指出的是，上述系列处理和装置也可以通过软件和/或
固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具
有专用硬件结构的计算机，例如图8所示的通用个人计算机800安装构成
该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。
在图8中，中央处理单元(CPU)801根据只读存储器(ROM)802
中存储的程序或从存储部分808加载到随机存取存储器(RAM)803的
程序执行各种处理。在RAM 803中，也根据需要存储当CPU 801执行各
种处理等时所需的数据。
CPU 801、ROM 802和RAM 803经由总线804彼此连接。输入/输
出接口805也连接到总线804。
下述部件连接到输入/输出接口805：输入部分806，包括键盘、鼠标
等；输出部分807，包括显示器，比如阴极射线管(CRT)、液晶显示器
(LCD)等，和扬声器等；存储部分808，包括硬盘等；和通信部分809，
包括网络接口卡比如LAN卡、调制解调器等。通信部分809经由网络比
如因特网执行通信处理。
根据需要，驱动器810也连接到输入/输出接口805。可拆卸介质811
比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器
810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介
质比如可拆卸介质811安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中
存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质811。
可拆卸介质811的例子包含磁盘(包含软盘(注册商标))、光盘(包含光
盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你
盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 802、
存储部分808中包含的硬盘等等，其中存有程序，并且与包含它们的设备
一起被分发给用户。
以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以
上示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修
改，并且应理解这些变更和修改自然将落入本公开的技术范围内。
例如，在以上实施例中包括在一个单元中的多个功能可以由分开的装
置来实现。替选地，在以上实施例中由多个单元实现的多个功能可分别由
分开的装置来实现。另外，以上功能之一可由多个单元来实现。无需说，
这样的配置包括在本公开的技术范围内。
在该说明书中，流程图中所描述的步骤不仅包括以所述顺序按时间序
列执行的处理，而且包括并行地或单独地而不是必须按时间序列执行的处
理。此外，甚至在按时间序列处理的步骤中，无需说，也可以适当地改变
该顺序。
另外，根据本公开的技术还可以如下进行配置。
附记1.一种对第一图像和第二图像进行拼接的图像拼接方法，包括：
粗对准步骤，用于对第一图像和第二图像进行粗对准，以得到两者的
矩形重叠区域；
第一拼缝提取和估计步骤，用于提取所述重叠区域的左下角与右上角
之间的对角线的左侧部分作为第一图像的第一拼缝的左侧部分，并且基于
第一拼缝的左侧部分在第二图像中估计第二拼缝的左侧部分；
第二拼缝提取和估计步骤，用于提取所述重叠区域的所述对角线的右
侧部分作为第二图像的第二拼缝的右侧部分，并且基于第二拼缝的右侧部
分在第一图像中估计第一拼缝的右侧部分；
局部平滑变换步骤，用于基于第一拼缝和第二拼缝对所述重叠区域执
行局部平滑变换；以及
组合步骤，用于将第一图像和第二图像的非重叠区域与变换后的重叠
区域进行组合，从而形成第一图像和第二图像的拼接图像。
附记2.根据附记1所述的图像拼接方法，其中，所述局部平滑变换
步骤包括：
针对所述重叠区域的左侧部分，以预定次数执行第一平滑变换，第一
平滑变换进一步包括：
在第一拼缝上选取第一点和第二点，并在第二拼缝上选取与第一
点和第二点分别对应的第一对应点和第二对应点，其中，第一对应点和第
二对应点在所述重叠区域的下边界上的投影分别为第一对应投影点和第
二对应投影点；以及
将由第一对应点、第二对应点、第一对应投影点和第二对应投影
点组成的区域变换到由第一点、第二点、第一对应投影点和第二对应投影
点组成的区域。
附记3.根据附记1所述的图像拼接方法，其中，所述局部平滑变换
步骤还包括：
针对所述重叠区域的右侧部分，以预定次数执行第二平滑变换，第二
平滑变换进一步包括：
在第二拼缝上选取第三点和第四点，并在第一拼缝上选取与第三
点和第四点分别对应的第三对应点和第四对应点，其中，第三对应点和第
四对应点在所述重叠区域的上边界上的投影分别为第三对应投影点和第
四对应投影点；以及
将由第三对应点、第四对应点、第三对应投影点和第四对应投影
点组成的区域变换到由第三点、第四点、第三对应投影点和第四对应投影
点组成的区域。
附记4.根据附记2所述的图像拼接方法，其中，所述局部平滑变换
步骤在执行第一平滑变换之后还包括执行作为过渡处理的第三平滑变换，
第三平滑变换进一步包括：
在第一拼缝上选取第五点和第六点，并在第二拼缝上选取与第五点和
第六点分别对应的第五对应点和第六对应点，其中，第五点和第六点在所
述重叠区域的上边界上的投影分别为第五投影点和第六投影点，第五对应
点和第六对应点在所述重叠区域的下边界上的投影分别为第五对应投影
点和第六对应投影点，以及第六点与第六对应点的中间点为中点；
将由第五点、第六点、第五投影点和第六投影点组成的区域变换到由
所述中点、第五点、第五投影点和第六投影点组成的区域；以及
将由第五对应点、第六对应点、第五对应投影点和第六对应投影点组
成的区域变换到由所述中点、第五点、第五对应投影点和第六对应投影点
组成的区域。
附记5.根据附记2至4中任一项所述的图像拼接方法，其中，将待
变换的区域划分成三角形，采用仿射变换对所述三角形进行变换。
附记6.根据附记1所述的图像拼接方法，还包括：
依次将多个图像中的每个图像作为第一图像和第二图像进行拼接，从
而形成所述多个图像的拼接图像。
附记7.一种对第一图像和第二图像进行拼接的图像拼接设备，包括：
粗对准单元，被配置成对第一图像和第二图像进行粗对准，以得到两
者的矩形重叠区域；
第一拼缝提取和估计单元，被配置成提取所述重叠区域的左下角与右
上角之间的对角线的左侧部分作为第一图像的第一拼缝的左侧部分，并且
基于第一拼缝的左侧部分在第二图像中估计第二拼缝的左侧部分；
第二拼缝提取和估计单元，被配置成提取所述重叠区域的所述对角线
的右侧部分作为第二图像的第二拼缝的右侧部分，并且基于第二拼缝的右
侧部分在第一图像中估计第一拼缝的右侧部分；
局部平滑变换单元，被配置成基于第一拼缝和第二拼缝对所述重叠区
域执行局部平滑变换；以及
组合单元，被配置成将第一图像和第二图像的非重叠区域与变换后的
重叠区域进行组合，从而形成第一图像和第二图像的拼接图像。
附记8.根据附记7所述的图像拼接设备，其中，所述局部平滑变换
单元包括：
第一平滑变换单元，被配置成针对所述重叠区域的左侧部分，以预定
次数执行第一平滑变换，第一平滑变换进一步包括：
在第一拼缝上选取第一点和第二点，并在第二拼缝上选取与第一
点和第二点分别对应的第一对应点和第二对应点，其中，第一对应点和第
二对应点在所述重叠区域的下边界上的投影分别为第一对应投影点和第
二对应投影点；以及
将由第一对应点、第二对应点、第一对应投影点和第二对应投影
点组成的区域变换到由第一点、第二点、第一对应投影点和第二对应投影
点组成的区域。
附记9.根据附记7所述的图像拼接设备，其中，所述局部平滑变换
单元还包括：
第二平滑变换单元，被配置成针对所述重叠区域的右侧部分，以预定
次数执行第二平滑变换，第二平滑变换进一步包括：
在第二拼缝上选取第三点和第四点，并在第一拼缝上选取与第三
点和第四点分别对应的第三对应点和第四对应点，其中，第三对应点和第
四对应点在所述重叠区域的上边界上的投影分别为第三对应投影点和第
四对应投影点；以及
将由第三对应点、第四对应点、第三对应投影点和第四对应投影
点组成的区域变换到由第三点、第四点、第三对应投影点和第四对应投影
点组成的区域。
附记10.根据附记8所述的图像拼接设备，其中，所述局部平滑变换
单元还包括第三平滑变换单元，所述第三平滑变换单元被配置成在所述第
一平滑变换单元执行第一平滑变换之后执行作为过渡处理的第三平滑变
换，第三平滑变换进一步包括：
在第一拼缝上选取第五点和第六点，并在第二拼缝上选取与第五点和
第六点分别对应的第五对应点和第六对应点，其中，第五点和第六点在所
述重叠区域的上边界上的投影分别为第五投影点和第六投影点，第五对应
点和第六对应点在所述重叠区域的下边界上的投影分别为第五对应投影
点和第六对应投影点，以及第六点与第六对应点的中间点为中点；
将由第五点、第六点、第五投影点和第六投影点组成的区域变换到由
所述中点、第五点、第五投影点和第六投影点组成的区域；以及
将由第五对应点、第六对应点、第五对应投影点和第六对应投影点组
成的区域变换到由所述中点、第五点、第五对应投影点和第六对应投影点
组成的区域。
附记11.根据附记8至10中任一项所述的图像拼接设备，其中，将
待变换的区域划分成三角形，采用仿射变换对所述三角形进行变换。
附记12.根据附记7所述的图像拼接设备，其中，
依次将多个图像中的每个图像作为第一图像和第二图像进行拼接，从
而形成所述多个图像的拼接图像。