监控摄像机的标定方法和系统.pdf

摘要
申请专利号：	CN201310670982.0	申请日：	2013.12.10
公开号：	CN103824278A	公开日：	2014.05.28
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):G06T 7/00申请日:20131210\|\|\|公开
IPC分类号：	G06T7/00	主分类号：	G06T7/00
申请人：	清华大学
发明人：	周杰; 邓磊; 喻川; 张昊飏
地址：	100084 北京市海淀区100084-82信箱
优先权：
专利代理机构：	北京清亦华知识产权代理事务所(普通合伙) 11201	代理人：	宋融冰
PDF下载：	PDF下载

内容摘要

本发明公开一种监控摄像机的标定方法及系统。方法包括：利用采集设备在待标定监控摄像机的场景中采集多幅图像，利用待标定监控摄像机采集图像；对采集设备采集的多幅图像进行特征匹配以获取多幅图像之间的匹配关系；根据多幅图像之间的匹配关系重构监控场景的三维点集；以及根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数。本发明可同时对多个监控摄像机的内、外参进行标定，可计算出一个区域内的所有监控摄像机的相对位置、朝向等信息；能处理监控摄像机视场没有交叠的情况，且不要求监控摄像机之间同步；只需要采集设备采集图像或视频将待标定的各个监控摄像机的视场相连接，就能计算出多个摄像机的内参和外参。

权利要求书

权利要求书
1.  一种监控摄像机的标定方法，其特征在于，包括：
利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像，以及利用待标定监控摄像机采集图像；
对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系；
根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集；
根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。

2.  根据权利要求1所述的方法，其特征在于，所述利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像包括：
标定所述采集设备的内参；
利用已经标定好内参的所述采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。

3.  根据权利要求1或2所述的方法，其特征在于，所述对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系包括：
当所述采集设备具有GPS传感器时，利用所述采集设备采集图像时获取的GPS位置信息获取每幅图像的相邻图像，并对相邻的图像进行两两匹配；以及
当所述采集设备不具有GPS传感器时，对所述多幅图像进行两两匹配。

4.  根据权利要求1所述的方法，其特征在于，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：
从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；
根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；
利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；
利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。

5.  根据权利要求4所述的方法，其特征在于，所述利用所述三维点和所述初始图像外的其他图像扩充所述监控场景的三维点集包括：
判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；
如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；
利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；
对所述获得的摄像机矩阵和三维点进行优化。

6.  根据权利要求1所述的方法，其特征在于，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：
获取所述多幅图像对应的采集设备的GPS位置和姿态信息，并根据所述GPS位置和姿态信息计算出每幅图像对应的摄像机矩阵；
对于每两幅图像，利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；
利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。

7.  根据权利要求1所述的方法，其特征在于，所述根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数包括：
将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；
判断所述交集中的特征点的数目是否大于预设阈值；
如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；
重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；
根据所述交集对应的三维点集合以及所述交集计算所述待标定监控摄像机的参数。

8.  一种监控摄像机的标定系统，其特征在于，所述系统包括：
至少一个采集设备，用于在所述待标定监控摄像机的监控场景中采集多幅图像；
计算装置，用于根据所述至少一个采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系，并根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集，以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。

9.  根据权利要求8所述的系统，其特征在于，所述至少一个采集设备的内参已经被标定，且已经标定好内参的至少一个采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。

10.  根据权利要求8所述的系统，其特征在于，所述计算装置用于：
从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；
根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；
利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；
利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。

11.  根据权利要求10所述的系统，其特征在于，所述计算装置进一步用于：
判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；
如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；
利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；
对所述获得的摄像机矩阵和三维点进行优化。

12.  根据权利要求8所述的系统，其特征在于，所述计算装置用于：
获取所述多幅图像对应的采集设备的GPS位置和姿态信息，并根据所述GPS位置和姿态信息计算出每幅图像对应的摄像机矩阵；
对于每两幅图像，利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；
利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。

13.  根据权利要求8所述的系统，其特征在于，所述计算装置用于：
将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；
判断所述交集中的特征点的数目是否大于预设阈值；
如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；
重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；
根据所述交集对应的三维点集合和所述交集计算所述待标定监控摄像机的参数。

说明书

说明书监控摄像机的标定方法和系统
技术领域
本发明涉及图像处理领域，尤其涉及一种监控摄像机的标定方法和系统。
背景技术
视频监控是安全防护系统的重要部分，其中一个关键问题是如何对监控摄像机进行标定，得到其内部参数（主点坐标、脚距、扭曲因子等）和外部参数（摄像机坐标系相对于一个统一坐标系的旋转矩阵和平移向量），从而得到监控系统中各个摄像机的相对架设位置、朝向和监控视场范围等。
监控摄像机的标定方法主要有三种：传统的摄像机标定方法、基于主动视觉的摄像机标定方法和摄像机自标定方法。第一种方法需要将经过精密加工的标定物体（如标定块、标定板、标定棒等）放在摄像机的视场中，通过建立标定物体上的已知三维坐标的点与其在图像上的坐标的对应关系来计算摄像机的内部参数和外部参数。这种方法由于需要在每个摄像机上进行上述操作，因此标定过程费时费力；而且由于室外监控场景范围往往较大，而标定物体相对较小，因此其在图像上所占比例较小，导致标定误差较大。第二种方法主动控制摄像机做特殊运动（例如纯平移运动或绕光心旋转等），利用运动的特殊性来计算摄像机的内部参数和外部参数。但是，由于大多数监控摄像机的安装位置固定且运动很难控制，因此这种方法的适用性差；而且这种方法也需要对每个摄像机逐一进行标定，工作量大。第三种方法不需要标定物体，也不需要摄像机做特殊运动，而是直接利用待标定的摄像机（可以是多个）采集的多幅图像之间像素点的对应关系和内、外参的约束来进行标定。目前已有一些自标定技术能通过多视图几何的方法对多个摄像机同时进行标定，但是其要求多个摄像机的视场必须有较大的重叠区域，否则由于图像匹配失败，将无法进行标定。此外，一般要求多个监控摄像机采集的视频图像同步。但是，在监控系统的实际架设中，多数监控摄像机之间的重叠视场较小，而且由于联网条件等限制很难获得这些摄像机的同步视频，因此现有的自标定技术很难实现对多个摄像机同时进行标定。
发明内容
本发明旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为此，本发明的一个目的在于提出一种能够标定无重叠视场下的监控摄像机的内部参数和外部参数的监控摄像机的标定方法。
本发明的另一个目的在于提出一种能够标定无重叠视场下的监控摄像机的内部参数和外部参数的监控摄像机的标定系统。
为达到上述目的，本发明第一方面的实施例提出一种监控摄像机的标定方法，包括：利用采集设备在待标定监控摄像机的场景中采集多幅图像，以及利用所述待标定监控摄像机采集图像；对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系；根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集；以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。
在本发明的一个实施例中，所述利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像包括：标定所述采集设备的内参；利用已经标定好内参的所述采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。
在本发明的一个实施例中，所述对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系包括：当所述采集设备具有GPS传感器时，利用所述采集设备采集图像时获取的GPS位置信息获取每幅图像的相邻图像，并对相邻的图像进行两两匹配；以及当所述采集设备不具有GPS传感器时，对所述多幅图像进行两两匹配。
在本发明的一个实施例中，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。
在本发明的一个实施例中，所述利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集包括：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；如果否，则从未参与所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；对所述获得的摄像机矩阵和三维点进行优化。
在本发明的另一个实施例中，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：获取所述多幅图像对应的采集设备的GPS位置和姿态信息，并根据所述GPS位置和姿态信息计算出每幅图像对应的摄像机矩阵；对于每两幅图像，利用所述摄像机矩阵通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。
在本发明的一个实施例中，所述根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数包括：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；根据所述交集对应的三维点集合和所述交集计算所述待标定监控摄像机的参数。
本发明第二方面的实施例提供一种监控摄像机的标定系统。所述系统包括：采集设备，用于在所述待标定监控摄像机的监控场景中采集多幅图像；以及计算装置，用于根据所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系，并根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集，以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。
在本发明的一个实施例中，所述采集设备的内参已经被标定，且所述已经标定好内参的采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。
在本发明的一个实施例中，所述计算装置用于：从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。
在本发明的一个实施例中，所述计算装置进一步用于：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；对所述获得的摄像机矩阵和三维点进行优化。
在本发明的一个实施例中，所述计算装置用于：获取所述多幅图像对应的采集设备的GPS位置和姿态信息，并根据所述GPS位置和姿态信息计算出每幅图像对应的摄像机矩阵；对于每两幅图像，利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。
在本发明的一个实施例中，所述计算装置用于：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；根据所述交集对应的三维点集合和所述交集计算所述待标定监控摄像机的参数。
本发明可以首先利用采集设备得到比较完整的监控场景的图像信息，然后精确地重构出监控场景的三维点，最后利用这些三维点和监控摄像机采集的图像上特征点的匹配关系计算出监控摄像机的摄像机矩阵，从而实现对监控摄像机进行标定。同时，标定过程是动态的，即如果发现恢复的监控场景的三维点不足以对监控摄像机进行标定，可以再次拍摄更多的图像扩充监控场景的三维点集，从而可以保证所有待标定的监控摄像机最终都能得到标定。本发明不同于传统的摄像机标定方法需要标定物、摄像机做特殊运动或者要求摄像机视场之间有重叠区域，而只需要用标定好的采集设备主动拍摄的监控场景图像将待标定的各个监控摄像机的视场相连接，就能对多个监控摄像机同时进行标定，得到其内参和相对位置关系。本发明的方法不要求待标定的监控摄像机之间同步，且能处理监控摄像机视场没有交叠的情况。如果用街景车进行图像采集，则可以进行城市级别的监控摄像机网络的智能分析。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的监控摄像机的标定方法的流程图；
图2是本发明一个实施例的根据多幅图像之间的匹配关系重构待标定监控摄像机的监控场景的三维点集的方法的流程图；
图3是本发明一个实施例的根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数的方法的流程图；以及
图4是本发明一个实施例的监控摄像机的标定系统的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1是本发明一个实施例的监控摄像机的标定方法的流程图。如图1所示，根据本发明一个实施例的监控摄像机的标定方法包括如下步骤。
步骤S1，利用采集设备在待标定监控摄像机的监控场景中采集多幅图像，以及利用待标定监控摄像机采集图像。
在本发明的一个实施例中，可首先利用传统的摄像机标定方法标定采集设备的内部参数（焦距、长宽比、主点、扭曲等）。由此可以增加场景重建的精度，从而使得最终的监控摄像机的标定更为精确。在本发明的一个实施例中，采集设备可以是相机、手机、PTZ镜头、全景采集设备等。
然后，利用标定好的采集设备在监控场景中主动采集多幅图像或多段视频（如果是视频，则截取其中的多幅图像），从而获取比较完整的监控场景图像信息，便于实现后续的场景三维重构。采集时要保证采集的多幅图像中的某些图像和待标定摄像机的视场有较大的重叠部分，从而保证通过这些图像能将各个待标定摄像机的视场连接起来。图像或视频可以是等间隔距离地均匀拍摄得到（例如，google街景、百度街景、soso街景等拍摄方式），也可以是不等间隔拍摄得到（例如，同时利用互联网上已有的该监控场景的图像）。在本发明的实施例中，不要求采集设备的图像或视频和待标定摄像机采集的图像同步。此外，在本发明中，可以通过多个位置和姿态不同的采集设备采集多幅图像，或者通过一个采集设备在不同位置和姿态下采集多幅图像。换句话说，只要保证多幅图像对应的位置和姿态不同即可。
步骤S2，对采集设备采集到的多幅图像进行特征匹配以获取多幅图像之间的匹配关系。
具体地，首先提取每幅图像的特征点（例如，Sift、Surf、Harris等特征点），获取每个特征点在图像中的位置和描述子。然后对每两幅图像进行特征点匹配以获取两幅图像上的特征点的对应关系。这个步骤既可以通过计算机自动完成，也可以通过人工手动完成（即，人工指定两幅图像上匹配的特征点对）。而且，目前已有很多自动完成特征点匹配的算法，例如用特征点描述子的最近邻次近邻比约束进行特征点匹配的算法（参见lowe，D.G.，“Distinctive Image Feature from Scale-Invariant Keypoints”,International Journal of Computer Vision,60，2，91-110页，2004）、用特征点位置的对极几何约束进行特征点匹配的算法（参见M.A.Fischer和R.C.Bolles，“Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography”，Commun.Acm，卷24,381-395页，1981年6月）、用基于图匹配的WGTM方法进行特征点匹配的算法（参见Saeedi P，Izadi M.A Robust Weighted Graph Transformation Matching for Rigid and Non-rigid Image Registration[J].2012），此处不再进行详细描述。
由于图像两两匹配的计算量较大，因此在本发明的一个实施例中，可以首先找到每个图像的相邻图像，然后只对相邻的图像进行两两匹配，从而减少匹配工作量。具体地，可以用图像的Gist全局特征对图像先进行聚类然后找到相邻图像，或者利用图像Sift等特征建词典树对每个图像进行量化从而找到近邻，或者利用采集设备采集图像时获取的GPS位置信息找到图像的相邻图像，或者使用从视频中截取的相邻帧的图像作为相邻图像。
步骤S3，根据多幅图像之间的匹配关系重构待标定监控摄像机的监控场景的三维点集。
这个步骤可以通过很多方法实现，例如，基于IBA（Incremental Bundle Adjustment，增量式捆集调整）框架的SFM（Structure From Motion，运动恢复结构）算法（参见S.Agarwal，N.Snavely，I.Simon,S.Seitz,R.Szeliski.Building Rome in a Day,ICCV,2009），基于离散置信传播和列文伯格-马夸尔特法的SFM方法（参见论文Crandall D,Owens A,Snavely N,et al.Discrete-continuous optimization for large-scale structure from motion[C],CVPR,2011），或者利用采集设备上传感器获取的GPS和姿态信息直接重构场景。
在本发明的一个实施例中，可以基于IBA框架的SFM方法重构监控场景的三维点集，具体地包括以下步骤。
步骤S311，从采集设备采集的多幅图像中选择满足以下要求的两幅图像作为初始图像：两幅图像上的匹配点的数目多，且图像间退化不严重。
步骤S312，利用上面得到的两幅初始图像重构场景的三维点。
具体地，首先利用两幅初始图像上的所有匹配的特征点对(xj1,xj2)计算出满足的本质矩阵E（例如使用David Nister提出的五点法，参见Nistér D.An efficient solution to the five-point relative pose problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004）。然后对本质矩阵E进行分解得到两幅初始图像对应的摄像机矩阵P1和P2（将其中一幅图像对应的坐标系作为世界坐标系，即一幅图像对应的像机矩阵为P1=K1[I|0]，其中K1为已知的采集设备内参矩阵，I为3×3的单位阵，0为3×1的全零向量，具体方法见《计算机视觉中的多视图几何》第八章第六节，Richard Hartley等著，韦穗等译）。最后，利用P1、P2通过三角法获得这两幅初始图像上的匹配点对(xj1,xj2)的三维坐标Xj。
步骤S313，利用上面得到的三维点和除两幅初始图像之外的其他图像扩充监控场景的三维点集，得到监控场景的更加稠密的表示。具体地包括如下步骤。
步骤S3131，判断是否所有的图像均已经参与计算。如果是，则结束并输出重构出的三维点集。如果否，则继续执行步骤S3132。
步骤S3132，从未参与重构的图像中找到与已重构出的三维点匹配最好的图像，并计算出其对应的摄像机矩阵。
设已重构出的三维点集为X_set，对应的在已计算出摄像机矩阵的图像中的特征点的集合为x_set，从未参与重构的图像中找一张图像使得其特征点和x_set中的特征点匹配数目最多；设这些匹配上的特征点为x_set1，这些点对应的三维点集为X_set的子集记作X_set1，利用已知的X_set1和x_set1用直接线性变换计算出新加入的图像对应的摄像机矩阵。
步骤S3133，利用上面得到的最佳匹配的图像和已计算出摄像机矩阵的其他图像的匹配结果扩充场景的三维点集，并对得到的所有摄像机矩阵和三维点进行优化。
具体地，读取上面得到的最佳匹配的图像与已计算出摄像机矩阵的图像相匹配的所有特征点（即，可以直接读取上述步骤S2中获得的匹配结果），并将这些点加入到x_set中。然后，用三角法计算出新加入的点的三维坐标，并将这些三维点坐标加入到X_set中。
此外，可采用光束平差法对得到的摄像机矩阵和三维点进行优化：将已计算出的摄像机矩阵Pi和三维点坐标Xj作为变量进行迭代优化，使得总反投影误差最小，求解（其中n为已经计算出摄像机矩阵的个数，m为已重构出的三维点的个数，xij为第j个特征点在第i个图像中的齐次坐标，
这是一个非线性最小二乘问题，可用LM算法求解(用已计算出的Pi和Xj作为优化的初始值，算法实现见论文Kenneth Levenberg(1944)."A Method for the Solution of Certain Non-Linear Problems in Least Squares".Quarterly of Applied Mathematics2:164–168)。
重复上述步骤S3131至S3133直至不能找到更多的三维点。
在本发明的另一实施例中，可以利用上述步骤S2中的图像匹配结果，使用基于离散置信传播和列文伯格-马夸尔特算法的SFM方法同样可以重构场景，得到场景的三维点集X_set。具体的做法可参见Crandall,D.,Owens,A.,Snavely,N.,Huttenlocher,D.P.:Discrete-continuous optimization for large-scale structure from motion.CVPR,2011，此处不再详细描述。记参与重构的图像集合为I_set，X_set在I_set的中的特征点集为x_set。
在本发明的又另一个实施例中，还可以利用采集设备上的传感器获取的GPS位置和姿态信息直接重构监控场景的三维点集。具体地，首先获取每幅图像对应的采集设备的GPS位置和姿态信息，计算出每幅图像对应的摄像机矩阵Pi。然后，对于每两幅图像，利用其摄像机矩阵通过三角法获得每两幅图像上的匹配点对(xj1,xj2)（步骤S2中已计算出的匹配点对）的三维坐标Xj；利用步骤S3133中描述的光束平差法对得到的摄像机矩阵和三维点坐标进行优化。记用于场景重构的图像集合为I_set（有的图像由于和其他图像都没有匹配的特征点，所以没有被用于场景重构），此时得到了场景的三维点集X_set，以及这些点在I_set中的特征点集x_set。
应理解，本领域的技术人员可以根据不同的需求和情况选择上面三种方法中的任一种进行场景重构。例如，如果使用带GPS和角度传感器的采集设备主动拍摄场景，那么就可以容易地获得传感器信息（GPS和角度传感器获得的位置和角度信息），从而就可以使用第三种方法利用采集设备上的传感器获取的GPS位置和姿态信息简单、高效地重构监控场景的三维点集。但是，如果缺失图片的角度、位置和内参信息（例如，互联网图片、室内采集的图像等），就可以使用基于IBA框架的SFM方法重构监控场景的三维点集，尽管这种方法的计算速度较慢。而基于离散置信传播和列文伯格-马夸尔特算法的SFM方法适合大规模的场景重建，在重建的过程中可加入图片中的各种先验信息（如图片中的直线）使得重构更精确，这种方法对噪声（如GPS、角度传感器等的噪声）的鲁棒性更高。
步骤S4，根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数。具体地，可包括如下步骤。
步骤S411，将待标定监控摄像机采集的图像和参与场景重构的图像进行特征匹配以获得特征点集。
步骤S412，将步骤S411中获得的特征点集与重构出监控场景的三维点集的特征点集进行匹配。
将待标定监控摄像机采集的图像和I_set中每幅图像进行两两匹配。记匹配上的特征点集为x_set′，计算出x_set′和x_set的交集，记为x_result。x_result中的点的三维坐标已被恢复出来(记录在X_set中)，如果x_result中的点足够多，则可以用这些点计算出待标定的监控摄像机的摄像机矩阵。
步骤S413，判断x_result中的点的数目是否大于预设阈值。在本发明的一个实施例中，该预设阈值为10。
步骤S414，如果x_result中的点的数目小于预设阈值，则主动采集新的图像。
如果x_result中的点的数目小于某个阈值，则再采集和监控摄像机视场相近、并且和之前主动采集的图像的视场重叠区域较大的图像（如监控摄像机安装高度为10m，而步骤S1中的采集设备的架设高度为2m，则可以在高度为4m、6m、8m等位置再采集一些图像）。采集更多图像的目的是为了扩大监控场景的三维点集，使得待标定的监控摄像机的图像能和重建出来的监控场景的三维点集匹配上较多的点，从而增加标定的精度。
步骤S415，用新拍摄的图像扩充已重构的监控场景的三维点集X_set和x_result。
具体地，提取这些新采集图像的特征点并和I_set中所有图像进行两两匹配（方法同步骤S2），设这些匹配上的特征点为x_new，记x_set2为x_set和x_new的交集；x_set2对应的三维点集为X_set的子集，记作X_set2，利用已知的X_set2和x_set2用直接线性变换计算出这些新采集的图像对应的摄像机矩阵；将新采集的图像加入I_set，将x_new 中所有点加入到x_set中；通过三角法计算出新加入点（x_new中除x_set2的点为新加入的点）的三维坐标，并将这些点加入X_set中。
重复上述步骤直至x_result中的点的数目大于预设阈值。
步骤S416，如果x_result中的点的数目大于预设阈值，计算待标定监控摄像机的摄像机参数。
找到x_result对应的三维点集合X_result(为X_set的一个子集)；利用X_result和x_result用直接线性变换（参见《计算机视觉中的多视图几何》第五章第二节）或者p4p方法（参见M.Bujnak,Z.Kukelova,T.Pajdla.A general solution to the P4P problem for camera with unknown focal length.CVPR2008,Anchorage,Alaska,USA,June2008）等计算出待标定摄像机的摄像机矩阵的内参矩阵（含监控摄像机焦距等信息）和外参（该监控摄像机的坐标系相对于统一坐标系的旋转矩阵以及该监控摄像机光心的位置）。其中，p4p方法较为稳定，但是只适用于内参矩阵中只有一个未知参数（焦距）的情况（即假设摄像机主点坐标为图像中心且成像无扭曲）；而直接线性变换的方法能计算出摄像机的所有内参（焦距，主点坐标，扭曲因子），但是该方法不是很稳定。此处为了简单起见，不再详细描述。
本发明另一方面还提出一种监控摄像机的标定系统。图4为本发明一个实施例的监控摄像机的标定系统的结构框图。如图4所示，该系统包括至少一个采集设备1000和计算装置2000。
至少一个采集设备1000用于在待标定监控摄像机的监控场景中采集多幅图像。计算装置2000用于根据至少一个采集设备1000采集的多幅图像进行特征匹配以获取多幅图像之间的匹配关系，并根据多幅图像之间的匹配关系重构待标定监控摄像机的监控场景的三维点集，以及根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数。
在本发明的一个实施例中，至少一个采集设备1000可以具有GPS传感器。当至少一个采集设备具有GPS传感器时，可以利用采集设备采集图像时获取的GPS位置信息获取每幅图像的相邻图像，并对相邻的图像进行两两匹配，从而提供匹配效率。至少一个采集设备1000还可以主动地采集图像。
计算装置2000的计算方法可参照上面实施例的描述，不再赘述。
本发明首先用主动拍摄的方式得到比较完整的监控场景的图像信息，然后精确地重构出监控场景的三维点，最后利用这些三维点和监控摄像机采集的图像上特征点的匹配关系计算出监控摄像机的摄像机矩阵，从而实现对监控摄像机进行标定。同时，标定过程是动态的，即如果发现恢复的监控场景的三维点不足以对监控摄像机进行标定，可以再次拍摄更多的图像扩充监控场景的三维点集，从而可以保证所有待标定的监控摄像机最终都能得到标定。本发明不同于传统的摄像机标定方法需要标定物、摄像机做特殊运动或者要求摄像机视场之间有重叠区域，而只需要用标定好的采集设备主动拍摄的监控场景图像将待标定的各个监控摄像机的视场相连接，就能对多个监控摄像机同时进行标定，得到其内参和相对位置关系。本发明的方法不要求待标定的监控摄像机之间同步，且能处理监控摄像机视场没有交叠的情况。如果用街景车进行图像采集，则可以进行城市级别的监控摄像机网络的智能分析。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

资源描述

《监控摄像机的标定方法和系统.pdf》由会员分享，可在线阅读，更多相关《监控摄像机的标定方法和系统.pdf（16页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103824278 A (43)申请公布日 2014.05.28 CN 103824278 A (21)申请号 201310670982.0 (22)申请日 2013.12.10 G06T 7/00(2006.01) (71)申请人清华大学地址 100084 北京市海淀区 100084-82 信箱 (72)发明人周杰邓磊喻川张昊飏 (74)专利代理机构北京清亦华知识产权代理事务所 ( 普通合伙 ) 11201 代理人宋融冰 (54) 发明名称监控摄像机的标定方法和系统 (57) 摘要本发明公开一种监控摄像机的标定方法及系统。方法包括：利用采。

2、集设备在待标定监控摄像机的场景中采集多幅图像，利用待标定监控摄像机采集图像；对采集设备采集的多幅图像进行特征匹配以获取多幅图像之间的匹配关系；根据多幅图像之间的匹配关系重构监控场景的三维点集；以及根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数。本发明可同时对多个监控摄像机的内、外参进行标定，可计算出一个区域内的所有监控摄像机的相对位置、朝向等信息；能处理监控摄像机视场没有交叠的情况，且不要求监控摄像机之间同步；只需要采集设备采集图像或视频将待标定的各个监控摄像机的视场相连接，就能计算出多个摄像机的内参和外参。。

3、(51)Int.Cl. 权利要求书 3 页说明书 9 页附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书3页说明书9页附图3页 (10)申请公布号 CN 103824278 A CN 103824278 A 1/3 页 2 1. 一种监控摄像机的标定方法，其特征在于，包括：利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像，以及利用待标定监控摄像机采集图像；对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系；根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集；根据所述重。

4、构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。 2. 根据权利要求 1 所述的方法，其特征在于，所述利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像包括：标定所述采集设备的内参；利用已经标定好内参的所述采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。 3.根据权利要求1或2所述的方法，其特征在于，所述对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系包括：当所述采集设备具有 GPS 传感器时，利用所述采集设备。

5、采集图像时获取的 GPS 位置信息获取每幅图像的相邻图像，并对相邻的图像进行两两匹配；以及当所述采集设备不具有 GPS 传感器时，对所述多幅图像进行两两匹配。 4. 根据权利要求 1 所述的方法，其特征在于，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述。

6、三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。 5. 根据权利要求 4 所述的方法，其特征在于，所述利用所述三维点和所述初始图像外的其他图像扩充所述监控场景的三维点集包括：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；对所述获得的摄像机矩阵和三维点进行优化。 6. 根据权利要求。

7、 1 所述的方法，其特征在于，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：权利要求书 CN 103824278 A 2 2/3 页 3 获取所述多幅图像对应的采集设备的 GPS 位置和姿态信息，并根据所述 GPS 位置和姿态信息计算出每幅图像对应的摄像机矩阵；对于每两幅图像，利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。 7. 根据权利要求 1 所述的方法，其特征在于，所述根据所述重构出的三维点集和所述。

8、待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数包括：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；根据所述交集对应的三维点集合以及所述交集计算所述待标定监控摄像机的参数。 8. 一种监控摄像机的标定系统，其特征在于，所述系统包括：至少一个采集设。

9、备，用于在所述待标定监控摄像机的监控场景中采集多幅图像；计算装置，用于根据所述至少一个采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系，并根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集，以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数。 9. 根据权利要求 8 所述的系统，其特征在于，所述至少一个采集设备的内参已经被标定，且已经标定好内参的至少一个采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过。

10、预设值。 10. 根据权利要求 8 所述的系统，其特征在于，所述计算装置用于：从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。 11. 根据权利要求 10 所述的系统，其特征在于，所述计算装置进一步用于：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；。

11、如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；权利要求书 CN 103824278 A 3 3/3 页 4 对所述获得的摄像机矩阵和三维点进行优化。 12. 根据权利要求 8 所述的系统，其特征在于，所述计算装置用于：获取所述多幅图像对应的采集设备的 GPS 位置和姿态信息，并根据所述 GPS 位置和姿态信息计算出每幅图像对应的摄像机矩阵；对于每两幅图像，。

12、利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。 13. 根据权利要求 8 所述的系统，其特征在于，所述计算装置用于：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所述交集中的特征点的数。

13、目大于所述预设阈值；根据所述交集对应的三维点集合和所述交集计算所述待标定监控摄像机的参数。权利要求书 CN 103824278 A 4 1/9 页 5 监控摄像机的标定方法和系统技术领域 0001 本发明涉及图像处理领域，尤其涉及一种监控摄像机的标定方法和系统。背景技术 0002 视频监控是安全防护系统的重要部分，其中一个关键问题是如何对监控摄像机进行标定，得到其内部参数（主点坐标、脚距、扭曲因子等）和外部参数（摄像机坐标系相对于一个统一坐标系的旋转矩阵和平移向量），从而得到监控系统中各个摄像机的相对架设位置、朝向和监控视场范围等。 0003 监控。

14、摄像机的标定方法主要有三种：传统的摄像机标定方法、基于主动视觉的摄像机标定方法和摄像机自标定方法。第一种方法需要将经过精密加工的标定物体（如标定块、标定板、标定棒等）放在摄像机的视场中，通过建立标定物体上的已知三维坐标的点与其在图像上的坐标的对应关系来计算摄像机的内部参数和外部参数。这种方法由于需要在每个摄像机上进行上述操作，因此标定过程费时费力；而且由于室外监控场景范围往往较大，而标定物体相对较小，因此其在图像上所占比例较小，导致标定误差较大。第二种方法主动控制摄像机做特殊运动（例如纯平移运动或绕光心旋转等），利用运动的特殊性来计算摄像机的内。

15、部参数和外部参数。但是，由于大多数监控摄像机的安装位置固定且运动很难控制，因此这种方法的适用性差；而且这种方法也需要对每个摄像机逐一进行标定，工作量大。第三种方法不需要标定物体，也不需要摄像机做特殊运动，而是直接利用待标定的摄像机（可以是多个）采集的多幅图像之间像素点的对应关系和内、外参的约束来进行标定。目前已有一些自标定技术能通过多视图几何的方法对多个摄像机同时进行标定，但是其要求多个摄像机的视场必须有较大的重叠区域，否则由于图像匹配失败，将无法进行标定。此外，一般要求多个监控摄像机采集的视频图像同步。但是，在监控系统的实际架设中，多数监控摄像。

16、机之间的重叠视场较小，而且由于联网条件等限制很难获得这些摄像机的同步视频，因此现有的自标定技术很难实现对多个摄像机同时进行标定。发明内容 0004 本发明旨在至少在一定程度上解决现有技术中的上述技术问题之一。 0005 为此，本发明的一个目的在于提出一种能够标定无重叠视场下的监控摄像机的内部参数和外部参数的监控摄像机的标定方法。 0006 本发明的另一个目的在于提出一种能够标定无重叠视场下的监控摄像机的内部参数和外部参数的监控摄像机的标定系统。 0007 为达到上述目的，本发明第一方面的实施例提出一种监控摄像机的标定方法，包括：利用采集设备在待标定监控摄像机的场景中采集。

17、多幅图像，以及利用所述待标定监控摄像机采集图像；对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系；根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集；以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述说明书 CN 103824278 A 5 2/9 页 6 待标定监控摄像机的参数。 0008 在本发明的一个实施例中，所述利用采集设备在所述待标定监控摄像机的监控场景中采集多幅图像包括：标定所述采集设备的内参；利用已经标定好内参的所述采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，。

18、其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。 0009 在本发明的一个实施例中，所述对所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系包括：当所述采集设备具有 GPS 传感器时，利用所述采集设备采集图像时获取的 GPS 位置信息获取每幅图像的相邻图像，并对相邻的图像进行两两匹配；以及当所述采集设备不具有 GPS 传感器时，对所述多幅图像进行两两匹配。 0010 在本发明的一个实施例中，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：从所述多幅图像中选择满足预设条件的两幅。

19、图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。 0011 在本发明的一个实施例中，所述利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集包括：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；如果否，则从未参与所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算。

20、所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；对所述获得的摄像机矩阵和三维点进行优化。 0012 在本发明的另一个实施例中，所述根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集包括：获取所述多幅图像对应的采集设备的 GPS 位置和姿态信息，并根据所述 GPS 位置和姿态信息计算出每幅图像对应的摄像机矩阵；对于每两幅图像，利用所述摄像机矩阵通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵。

21、和所述匹配点对的三维坐标进行优化。 0013 在本发明的一个实施例中，所述根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像机的参数包括：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所述交集中的特征点的数目大于所述预设阈值；根据所述交集对应的三维点集合和所述交集计算。

22、所述待标定监控摄像机的参数。 0014 本发明第二方面的实施例提供一种监控摄像机的标定系统。所述系统包括：采集设备，用于在所述待标定监控摄像机的监控场景中采集多幅图像；以及计算装置，用于根据所述采集设备采集的多幅图像进行特征匹配以获取所述多幅图像之间的匹配关系，并根据所述多幅图像之间的匹配关系重构所述待标定监控摄像机的监控场景的三维点集，以及根据所述重构出的三维点集和所述待标定监控摄像机采集的图像计算所述待标定监控摄像说明书 CN 103824278 A 6 3/9 页 7 机的参数。 0015 在本发明的一个实施例中，所述采集设备的内参已经被标定，且所述已。

23、经标定好内参的采集设备在所述待标定监控摄像机的监控场景中主动采集多幅图像，其中所述多幅图像中的至少一些与所述待标定监控摄像机的视场的重叠部分超过预设值。 0016 在本发明的一个实施例中，所述计算装置用于：从所述多幅图像中选择满足预设条件的两幅图像作为初始图像，其中所述预设条件为两幅图像上匹配点的数目多，且图像间退化不严重；根据所述初始图像上的匹配点对计算所述初始图像的摄像机矩阵；利用所述初始图像间的匹配关系和所述初始图像的摄像机矩阵重构所述监控场景的三维点；利用所述三维点和除所述初始图像外的其他图像扩充所述监控场景的三维点集。 0017 在本发明的一个实施。

24、例中，所述计算装置进一步用于：判断是否所述采集设备采集的多幅图像均已经参与计算所述重构监控场景的三维点集；如果否，则从未参与计算所述重构的图像中找到与已经重构出的三维点最匹配的图像，并计算所述与已经重构出的三维点最匹配的图像对应的摄像机矩阵；利用所述与已经重构出的三维点最匹配的图像和已经计算出摄像机矩阵的其他图像的匹配点扩充所述监控场景的三维点集；对所述获得的摄像机矩阵和三维点进行优化。 0018 在本发明的一个实施例中，所述计算装置用于：获取所述多幅图像对应的采集设备的 GPS 位置和姿态信息，并根据所述 GPS 位置和姿态信息计算出每幅图像对应的摄。

25、像机矩阵；对于每两幅图像，利用所述摄像机矩阵和所述多幅图像之间的匹配关系通过三角法获得所述两幅图像上的匹配点对的三维坐标；利用光束平差法对所述摄像机矩阵和所述匹配点对的三维坐标进行优化。 0019 在本发明的一个实施例中，所述计算装置用于：将所述待标定监控摄像机采集的图像与参与所述重构的图像进行特征匹配以获取相匹配的第一特征点集，并计算出所述第一特征点集与所述三维点集在参与重构的图像中的对应特征点集的交集；判断所述交集中的特征点的数目是否大于预设阈值；如果否，则主动采集新的图像，并根据所述新的图像扩充所述三维点集以更新所述交集；重复上述步骤直至所。

26、述交集中的特征点的数目大于所述预设阈值；根据所述交集对应的三维点集合和所述交集计算所述待标定监控摄像机的参数。 0020 本发明可以首先利用采集设备得到比较完整的监控场景的图像信息，然后精确地重构出监控场景的三维点，最后利用这些三维点和监控摄像机采集的图像上特征点的匹配关系计算出监控摄像机的摄像机矩阵，从而实现对监控摄像机进行标定。同时，标定过程是动态的，即如果发现恢复的监控场景的三维点不足以对监控摄像机进行标定，可以再次拍摄更多的图像扩充监控场景的三维点集，从而可以保证所有待标定的监控摄像机最终都能得到标定。本发明不同于传统的摄像机标定方法需要标定物、摄像。

27、机做特殊运动或者要求摄像机视场之间有重叠区域，而只需要用标定好的采集设备主动拍摄的监控场景图像将待标定的各个监控摄像机的视场相连接，就能对多个监控摄像机同时进行标定，得到其内参和相对位置关系。本发明的方法不要求待标定的监控摄像机之间同步，且能处理监控摄像机视场没有交叠的情况。如果用街景车进行图像采集，则可以进行城市级别的监控摄像机网络的智能分析。 0021 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变说明书 CN 103824278 A 7 4/9 页 8 得明显，或通过本发明的实践了解到。附图说明 0022 本发明上述的和 / 或附加。

28、的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中： 0023 图 1 是本发明一个实施例的监控摄像机的标定方法的流程图； 0024 图 2 是本发明一个实施例的根据多幅图像之间的匹配关系重构待标定监控摄像机的监控场景的三维点集的方法的流程图； 0025 图 3 是本发明一个实施例的根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数的方法的流程图；以及 0026 图 4 是本发明一个实施例的监控摄像机的标定系统的结构框图。具体实施方式 0027 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的。

29、标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。 0028 在本发明的描述中，需要理解的是，术语 “第一” 、“第二” 仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有 “第一” 、“第二” 的特征可以明示或者隐含地包括一个或者多个该特征。在本发明的描述中，“多个” 的含义是两个或两个以上，除非另有明确具体的限定。 0029 图 1 是本发明一个实施例的监控摄像机的标定方法的流程图。如图 1 所示，根据本发明一个实施例的监控摄像。

30、机的标定方法包括如下步骤。 0030 步骤 S1，利用采集设备在待标定监控摄像机的监控场景中采集多幅图像，以及利用待标定监控摄像机采集图像。 0031 在本发明的一个实施例中，可首先利用传统的摄像机标定方法标定采集设备的内部参数（焦距、长宽比、主点、扭曲等）。由此可以增加场景重建的精度，从而使得最终的监控摄像机的标定更为精确。在本发明的一个实施例中，采集设备可以是相机、手机、 PTZ 镜头、全景采集设备等。 0032 然后，利用标定好的采集设备在监控场景中主动采集多幅图像或多段视频（如果是视频，则截取其中的多幅图像），从而获取比较完整的监控场景图像信息。

31、，便于实现后续的场景三维重构。采集时要保证采集的多幅图像中的某些图像和待标定摄像机的视场有较大的重叠部分，从而保证通过这些图像能将各个待标定摄像机的视场连接起来。图像或视频可以是等间隔距离地均匀拍摄得到（例如， google 街景、百度街景、 soso 街景等拍摄方式），也可以是不等间隔拍摄得到（例如，同时利用互联网上已有的该监控场景的图像）。在本发明的实施例中，不要求采集设备的图像或视频和待标定摄像机采集的图像同步。此外，在本发明中，可以通过多个位置和姿态不同的采集设备采集多幅图像，或者通过一个采集设备在不同位置和姿态下采集多幅图像。换句话说，只要保。

32、证多幅图像对应的位置和姿态不同即可。 0033 步骤 S2，对采集设备采集到的多幅图像进行特征匹配以获取多幅图像之间的匹配说明书 CN 103824278 A 8 5/9 页 9 关系。 0034 具体地，首先提取每幅图像的特征点（例如， Sift、 Surf、 Harris 等特征点），获取每个特征点在图像中的位置和描述子。然后对每两幅图像进行特征点匹配以获取两幅图像上的特征点的对应关系。这个步骤既可以通过计算机自动完成，也可以通过人工手动完成（即，人工指定两幅图像上匹配的特征点对）。而且，目前已有很多自动完成特征点匹配的算法，例如用特征点描述子的最近邻。

33、次近邻比约束进行特征点匹配的算法（参见 lowe， D.G.，“Distinctive Image Feature from Scale-Invariant Keypoints” ,International Journal of Computer Vision,60， 2， 91-110 页， 2004）、用特征点位置的对极几何约束进行特征点匹配的算法（参见 M.A.Fischer 和 R.C.Bolles，“Random sample consensus:A paradigm for model fitting with applications to image analysi。

34、s and automated cartography” ， Commun.Acm，卷 24,381-395 页， 1981 年 6 月）、用基于图匹配的 WGTM 方法进行特征点匹配的算法（参见Saeedi P， Izadi M.A Robust Weighted Graph Transformation Matching for Rigid and Non-rigid Image RegistrationJ.2012），此处不再进行详细描述。 0035 由于图像两两匹配的计算量较大，因此在本发明的一个实施例中，可以首先找到每个图像的相邻图像，然后只对相邻的图像进行两。

35、两匹配，从而减少匹配工作量。具体地，可以用图像的 Gist 全局特征对图像先进行聚类然后找到相邻图像，或者利用图像 Sift 等特征建词典树对每个图像进行量化从而找到近邻，或者利用采集设备采集图像时获取的 GPS 位置信息找到图像的相邻图像，或者使用从视频中截取的相邻帧的图像作为相邻图像。 0036 步骤 S3，根据多幅图像之间的匹配关系重构待标定监控摄像机的监控场景的三维点集。 0037 这个步骤可以通过很多方法实现，例如，基于 IBA（Incremental Bundle Adjustment，增量式捆集调整）框架的 SFM（Struct。

36、ure From Motion，运动恢复结构）算法（参见 S.Agarwal， N.Snavely， I.Simon,S.Seitz,R.Szeliski.Building Rome in a Day,ICCV,2009），基于离散置信传播和列文伯格 - 马夸尔特法的 SFM 方法（参见论文 Crandall D,Owens A,Snavely N,et al.Discrete-continuous optimization for large-scale structure from motionC,CVPR,2011），或者利用采集设备上传感器获取的 GPS 和姿态信。

37、息直接重构场景。 0038 在本发明的一个实施例中，可以基于 IBA 框架的 SFM 方法重构监控场景的三维点集，具体地包括以下步骤。 0039 步骤 S311，从采集设备采集的多幅图像中选择满足以下要求的两幅图像作为初始图像：两幅图像上的匹配点的数目多，且图像间退化不严重。 0040 步骤 S312，利用上面得到的两幅初始图像重构场景的三维点。 0041 具体地，首先利用两幅初始图像上的所有匹配的特征点对 (xj1,xj2) 计算出满足的本质矩阵 E（例如使用 David Nister 提出的五点法，参见 Nistr D.An efficient solution t。

38、o the five-point relative pose problemJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2004）。然后对本质矩阵 E 进行分解得到两幅初始图像对应的摄像机矩阵 P1和 P2（将其中一幅图像对应的坐标系作为世界坐标系，即一幅图像对应的像机矩阵为 P1=K1I|0，其中 K1为已知的采集设备内参矩阵， I 为说明书 CN 103824278 A 9 6/9 页 10 33 的单位阵， 0 为 31 的全零向量，具体方法见计算机视觉中的多视图几何第八章第六节。

39、， Richard Hartley 等著，韦穗等译）。最后，利用 P1、 P2通过三角法获得这两幅初始图像上的匹配点对 (xj1,xj2) 的三维坐标 Xj。 0042 步骤 S313，利用上面得到的三维点和除两幅初始图像之外的其他图像扩充监控场景的三维点集，得到监控场景的更加稠密的表示。具体地包括如下步骤。 0043 步骤 S3131，判断是否所有的图像均已经参与计算。如果是，则结束并输出重构出的三维点集。如果否，则继续执行步骤 S3132。 0044 步骤 S3132，从未参与重构的图像中找到与已重构出的三维点匹配最好的图像，并计算出其对应的摄像机矩阵。 004。

40、5 设已重构出的三维点集为 X_set，对应的在已计算出摄像机矩阵的图像中的特征点的集合为 x_set，从未参与重构的图像中找一张图像使得其特征点和 x_set 中的特征点匹配数目最多；设这些匹配上的特征点为 x_set1，这些点对应的三维点集为 X_set 的子集记作X_set1，利用已知的X_set1和x_set1用直接线性变换计算出新加入的图像对应的摄像机矩阵。 0046 步骤 S3133，利用上面得到的最佳匹配的图像和已计算出摄像机矩阵的其他图像的匹配结果扩充场景的三维点集，并对得到的所有摄像机矩阵和三维点进行优化。 0047 具体地，读取上面得到的最佳匹配。

41、的图像与已计算出摄像机矩阵的图像相匹配的所有特征点（即，可以直接读取上述步骤 S2 中获得的匹配结果），并将这些点加入到 x_set 中。然后，用三角法计算出新加入的点的三维坐标，并将这些三维点坐标加入到 X_set 中。 0048 此外，可采用光束平差法对得到的摄像机矩阵和三维点进行优化：将已计算出的摄像机矩阵 Pi和三维点坐标 Xj作为变量进行迭代优化，使得总反投影误差最小，求解（其中 n 为已经计算出摄像机矩阵的个数， m 为已重构出的三维点的个数， xij为第 j 个特征点在第 i 个图像中的齐次坐标， 0049 这是一个非线性最小二乘问题，可用 LM 。

42、算法求解 ( 用已计算出的 Pi和 Xj作为优化的初始值，算法实现见论文 Kenneth Levenberg(1944).“A Method for the Solution of Certain Non-Linear Problems in Least Squares“.Quarterly of Applied Mathematics2:164168)。 0050 重复上述步骤 S3131 至 S3133 直至不能找到更多的三维点。 0051 在本发明的另一实施例中，可以利用上述步骤 S2 中的图像匹配结果，使用基于离散置信传播和列文伯格 - 马夸尔特算法的 SFM 方法同样可以重构。

43、场景，得到场景的三维点集 X_set。具体的做法可参见 Crandall,D.,Owens,A.,Snavely,N.,Huttenlocher, D.P.:Discrete-continuous optimization for large-scale structure from motion. CVPR,2011，此处不再详细描述。记参与重构的图像集合为 I_set， X_set 在 I_set 的中的特征点集为 x_set。 0052 在本发明的又另一个实施例中，还可以利用采集设备上的传感器获取的 GPS 位置和姿态信息直接重构监控场景的三维点集。具体地，首先获取每幅图像。

44、对应的采集设备的说明书 CN 103824278 A 10 7/9 页 11 GPS 位置和姿态信息，计算出每幅图像对应的摄像机矩阵 Pi。然后，对于每两幅图像，利用其摄像机矩阵通过三角法获得每两幅图像上的匹配点对 (xj1,xj2)（步骤 S2 中已计算出的匹配点对）的三维坐标 Xj；利用步骤 S3133 中描述的光束平差法对得到的摄像机矩阵和三维点坐标进行优化。记用于场景重构的图像集合为 I_set（有的图像由于和其他图像都没有匹配的特征点，所以没有被用于场景重构），此时得到了场景的三维点集 X_set，以及这些点在 I_set 中的特征点集 x_set。。

45、 0053 应理解，本领域的技术人员可以根据不同的需求和情况选择上面三种方法中的任一种进行场景重构。例如，如果使用带 GPS 和角度传感器的采集设备主动拍摄场景，那么就可以容易地获得传感器信息（GPS 和角度传感器获得的位置和角度信息），从而就可以使用第三种方法利用采集设备上的传感器获取的 GPS 位置和姿态信息简单、高效地重构监控场景的三维点集。但是，如果缺失图片的角度、位置和内参信息（例如，互联网图片、室内采集的图像等），就可以使用基于 IBA 框架的 SFM 方法重构监控场景的三维点集，尽管这种方法的计算速度较慢。而基于离散置信传播和列文伯格 -。

46、马夸尔特算法的 SFM 方法适合大规模的场景重建，在重建的过程中可加入图片中的各种先验信息（如图片中的直线）使得重构更精确，这种方法对噪声（如 GPS、角度传感器等的噪声）的鲁棒性更高。 0054 步骤 S4，根据重构出的三维点集和待标定监控摄像机采集的图像计算待标定监控摄像机的参数。具体地，可包括如下步骤。 0055 步骤 S411，将待标定监控摄像机采集的图像和参与场景重构的图像进行特征匹配以获得特征点集。 0056 步骤 S412，将步骤 S411 中获得的特征点集与重构出监控场景的三维点集的特征点集进行匹配。 0057 将待标定监控摄像机采集的图像和。

47、I_set 中每幅图像进行两两匹配。记匹配上的特征点集为 x_set，计算出 x_set和 x_set 的交集，记为 x_result。x_result 中的点的三维坐标已被恢复出来(记录在X_set中)，如果x_result中的点足够多，则可以用这些点计算出待标定的监控摄像机的摄像机矩阵。 0058 步骤S413，判断x_result中的点的数目是否大于预设阈值。在本发明的一个实施例中，该预设阈值为 10。 0059 步骤 S414，如果 x_result 中的点的数目小于预设阈值，则主动采集新的图像。 0060 如果 x_result 中的点的数目小于某个阈值，。

48、则再采集和监控摄像机视场相近、并且和之前主动采集的图像的视场重叠区域较大的图像（如监控摄像机安装高度为 10m，而步骤 S1 中的采集设备的架设高度为 2m，则可以在高度为 4m、 6m、 8m 等位置再采集一些图像）。采集更多图像的目的是为了扩大监控场景的三维点集，使得待标定的监控摄像机的图像能和重建出来的监控场景的三维点集匹配上较多的点，从而增加标定的精度。 0061 步骤 S415，用新拍摄的图像扩充已重构的监控场景的三维点集 X_set 和 x_ result。 0062 具体地，提取这些新采集图像的特征点并和 I_set 中所有图像进行两两匹配（方法同步。

49、骤S2），设这些匹配上的特征点为x_new，记x_set2为x_set和x_new的交集； x_set2 对应的三维点集为 X_set 的子集，记作 X_set2，利用已知的 X_set2和 x_set2用直接线性变换计算出这些新采集的图像对应的摄像机矩阵；将新采集的图像加入 I_set，将 x_new 中所说明书 CN 103824278 A 11 8/9 页 12 有点加入到 x_set 中；通过三角法计算出新加入点（x_new 中除 x_set2的点为新加入的点）的三维坐标，并将这些点加入 X_set 中。 0063 重复上述步骤直至 x_result 中的点的数目大于预设阈值。 0064 步骤 S416，如果 x_result 中的点的数目大于预设阈值，计算待标定监控摄像机的摄像机参数。 0065 找到 x_result 对应的三维点集合 X_result( 为 X_set 的一个子集 ) ；利用 X_ result 和 x_result 用直。

展开阅读全文