全景图像生成过程中的时间戳消除和重置方法及系统.pdf

《全景图像生成过程中的时间戳消除和重置方法及系统.pdf》由会员分享，可在线阅读，更多相关《全景图像生成过程中的时间戳消除和重置方法及系统.pdf（23页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104104911A43申请公布日20141015CN104104911A21申请号201410317078622申请日20140704H04N7/18200601H04N5/26220060171申请人华中师范大学地址430079湖北省武汉市洪山区珞瑜路152号华中师范大学72发明人余新国成俊74专利代理机构湖北武汉永嘉专利代理有限公司42102代理人乔宇许美红54发明名称全景图像生成过程中的时间戳消除和重置方法及系统57摘要本发明公开了一种全景图像生成过程中的时间戳消除和重置方法及系统，其中方法包括以下步骤在秒位转换帧中确定整个时间戳区域；移动摄像头到第一个预置点，捕获第。

2、一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；将多个摄像头拍摄的视频按照上述步骤进行时间戳的消除，再拼接为全景视频；将原来定位和识别出的时间戳重新移植到全景视频新的位置上。本发明能够从根本上解决视频中消除时间戳的问题，是真正意义上的消除时间戳，实时性和精确性较好。51INTCL权利要求书3页说明书12页附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书12页附图7页10申请公布号CN1041049。

3、11ACN104104911A1/3页21一种全景图像生成过程中的时间戳消除和重置方法，其特征在于，包括以下步骤S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；S4、将多个摄像头拍摄的视频按照步骤S1S3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；S5、利用步骤S1中的时钟识别技术，将原来定位。

4、和识别出的时间戳重新移植到全景视频新的位置上。2根据权利要求1所述的方法，其特征在于，步骤S1具体为S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。3根据权利要求1所述的方法，其特征在于，步骤S3具体为S31、两幅图像的重叠区域定位结合云台标定计算两帧图像之间的估计平移参数和，利用估计平移参数和，定位出两幅图像的重叠区域；S32、提取图像特征点利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点。

5、，形成特征点集，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点，形成特征点集，其中N2为第二幅图像中提取的特征点个数；S33、特征点匹配将第一幅图像重叠区域的特征点集和第二幅图像重叠区域的特征点集进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；S34、时间戳的消除根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。4根据权利要求1所述的方法，其特征在于，步骤S4具体为S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上。

6、，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。5一种全景图像生成过程中的时间戳消除和重置系统，其特征在于，包括权利要求书CN104104911A2/3页3时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域。

7、露出；时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；时间戳重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。6根据权利要求5所述的系统，其特征在于，所述时间戳区域定位模块具体包括秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；秒位数字精确定位模块，用于在秒位数字粗选区域内依据秒位数字和背景颜色进。

8、一步确定秒位数字区域；其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。7根据权利要求5所述的系统，其特征在于，所述时间戳消除模块具体包括两幅图像重叠区域定位模块，用于结合云台标定计算两帧图像之间的估计平移参数和，利用估计平移参数和，定位出两幅图像的重叠区域；图像特征点提取模块，用于利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点，形成特征点集，其中N2为第二幅图像中提取的特征点个数；特征点匹配模块，用。

9、于将第一幅图像重叠区域的特征点集和第二幅图像重叠区域的特征点集进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。8根据权利要求5所述的系统，其特征在于，所述全景视频时间戳消除模块具体包括单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；全景视频拼接模块，用于从每个视频中同步选取。

10、稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频权利要求书CN104104911A3/3页4的拼接，形成全景视频。权利要求书CN104104911A1/12页5全景图像生成过程中的时间戳消除和重置方法及系统技术领域0001本发明涉及时间戳消除方法，尤其涉及一种全景图像生成过程中的时间戳消除和重置方法及系统。背景技术0002每一段监控视频通常都存在一个时间戳，当多个监控视频融合为一个全景视频时，会同时出现多个时间戳，如何高效地去除视频中出现的时间戳，是本算法研究的主要内容。0003现有的监控视频中时间戳的保存存在两种类型，一种是带有电。

11、子时间轨道的视频，该视频的时间戳和视频文件之间是完全独立分开保存的，这种时间戳可以被人为更改，因而存在安全隐患。另一种是视频和时间戳融为一体，时间戳是视频中不可分割的一部分，因而无法被更改，故安全性能好。本方法是针对第二种类型的时间戳设计的方法。0004目前时间戳消除主要有以下技术00051、利用周围像素点来填充时间戳所在像素点0006即先对时间戳所在区域进行定位,并获取时间戳数字像素点和周围像素点的颜色信息，然后利用周围像素点对时间戳所在的数字像素点进行颜色填充。但是由于视频中背景往往较为复杂，颜色和场景经常处于变化状态，故直接用周围像素点来填充存在较大的误差，而且伴随有噪声和变形，因此准确。

12、率和速度上均无法满足实时快速时间戳消除的要求。00072、基于样图的纹理合成TEXTURESYNTHESISFROMSAMPLES，TSFS0008基于样图的纹理合成技术是近几年迅速发展起来的一种新的纹理拼接技术，它基于给定的小区域纹理样本，按照表面的几何形状，拼合生成整个曲面的纹理，它在视觉上是相似而连续的。但是由于视频中背景较为复杂，用单一的样图纹理合成来填充时间戳区域，准确率方面存在一定误差，无法满足当前视频分析的要求。发明内容0009本发明要解决的技术问题在于针对现有技术中消除时间戳的方法准确率和速度上均无法满足实时快速时间戳消除要求的缺陷，提供一种实时性和精确性较好的全景图像生成过程。

13、中的时间戳消除和重置方法。0010本发明解决其技术问题所采用的技术方案是0011提供一种全景图像生成过程中的时间戳消除和重置方法，包括以下步骤0012S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；0013S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；0014S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，说明书CN104104911A2/12页6截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；0015S4、将多个摄像头拍摄的视频按照步骤S1S。

14、3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；0016S5、利用步骤S1中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。0017本发明所述的方法中，步骤S1具体为0018S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；0019S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；0020S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。00213、根据权利要求1所述的方法，其特征在于，步骤S3具体为0022S31、两幅图像的重叠区域定位结合云台标定计算两帧图像之间的估。

15、计平移参数X和Y，利用估计平移参数X和Y，定位出两幅图像的重叠区域；0023S32、提取图像特征点利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F1F11,F12,，F1N1，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F2F21,F22,F2N2，其中N2为第二幅图像中提取的特征点个数；0024S33、特征点匹配将第一幅图像重叠区域的特征点集F1F11,F12,F1N1和第二幅图像重叠区域的特征点集F2F21,F22,F2N2进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；0025S34、时间。

16、戳的消除根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。0026本发明所述的方法中，步骤S4具体为0027S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；0028S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频的拼接，形成全景视频。0029本发明还提供了一种全景图像生成过程中的时间戳消除和。

17、重置系统，包括0030时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；0031预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；0032时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；0033全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再说明书CN104104911A3/12页7将消除了时间戳的视频拼接为全景视频；0034时间戳。

18、重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。0035本发明所述的系统中，所述时间戳区域定位模块具体包括0036秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；0037秒位数字精确定位模块，用于在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；0038其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。0039本发明所述的系统中，所述时间戳消除模块具体包括0040两幅图像重叠区域定位模块，用于结合云台标定计。

19、算两帧图像之间的估计平移参数X和Y，利用估计平移参数X和Y，定位出两幅图像的重叠区域；0041图像特征点提取模块，用于利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F1F11,F12,F1N1，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F2F21,F22,F2N2，其中N2为第二幅图像中提取的特征点个数；0042特征点匹配模块，用于将第一幅图像重叠区域的特征点集F1F11,F12,F1N1和第二幅图像重叠区域的特征点集F2F21,F22,F2N2进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；。

20、0043时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。0044本发明所述的系统中，所述全景视频时间戳消除模块具体包括0045单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；0046全景视频拼接模块，用于从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个。

21、视频的拼接，形成全景视频。0047本发明产生的有益效果是本发明通过计算机控制摄像头移动，根据第二幅图像的时间戳所在位置计算出，在第一幅中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能，这样的做法能够从根本上解决视频中消除时间戳的问题，是真正意义上的消除时间戳，实时性和精确性较好。0048进一步地，利用计算机控制摄像头移动，获取到估计平移参数，该参数能够初步定位出两幅图像的重叠区域，缩小了两幅图像特征点提取的范围，而没有采用现有的基于整幅图像特征点匹配的思路，这样大大提高了特征点提取和匹配的精度和速度。附图说明说明书CN10410491。

22、1A4/12页80049下面将结合附图及实施例对本发明作进一步说明，附图中0050图1是本发明实施例全景图像生产过程中时间戳消除方法和重置方法的流程图。0051图2是本发明实施例时钟数字颜色的提取过程示意，其中图2A和图2B分别为数字区域和背景区域的采样示意；图2C和图2D分别为对应图2A和图2B的灰度直方图；图2E为提取出的10秒内的秒位数字序列；图2F为提取出的一个完整的时钟区域示例。0052图3是本发明实施例定位一个完整的时间戳区域的示例。0053图4A、4B是本发明实施例在图像中提取特征点用圆圈标记的示例，其中4A表示一幅图像中找到的所有的特征点用圆圈标记的示例，4B表示另一幅图像中找。

23、到的所有的特征点用圆圈标记的示例。0054图5是本发明实施例一个两幅图像特征点匹配的示例。0055图6是本发明实施例一个实现时间戳消除功能的示例。0056图7A7F是本发明实施例从两个摄像头中同时各捕获一个当前帧并拼接成带有时间戳重置的全景帧过程示意图，其中图7A、7B两个图分别是从两个摄像头中捕获的当前帧图像，7C、7D两个图分别是对图7A、7B进行时间戳消除的帧图像，图7E是由7C和7D两个帧拼接成的全景帧图像，图7F是对图7E的图像进行时间戳重置的全景帧图像。0057图8是本发明实施例全景图像生成过程中的时间戳消除和重置系统结构示意图。具体实施方式0058为了使本发明的目的、技术方案及优。

24、点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。0059如图1所示，本发明实施例全景图像生成过程中的时间戳消除和重置方法，包括以下步骤0060S1、依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；0061S2、移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区域露出；0062S3、找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；0063S4。

25、、将多个摄像头拍摄的视频按照步骤S1S3进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；0064S5、利用步骤S1中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。0065本发明的一个实施例中，步骤S1具体包括以下步骤0066S11、依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；0067S12、在秒位数字粗选区域内依据秒位数字和背景颜色进一步确定秒位数字区域；说明书CN104104911A5/12页90068S13、依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。0069本发明的一个实施例中，步骤S3具体。

26、包括以下步骤0070S31、两幅图像的重叠区域定位结合云台标定计算两帧图像之间的估计平移参数X和Y，利用估计平移参数X和Y，定位出两幅图像的重叠区域；0071S32、提取图像特征点利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F1F11,F12,F1N1，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点，形成特征点集F2F21,F22,F2N2，其中N2为第二幅图像中提取的特征点个数；0072S33、特征点匹配将第一幅图像重叠区域的特征点集F1F11,F12,F1N1和第二幅图像重叠区域的特征点集F2F21,F22,F2。

27、N2进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；0073S34、根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。0074本发明的一个实施例中，步骤S4具体包括以下步骤0075S41、在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；0076S42、从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个视频。

28、的拼接，形成全景视频。0077本发明的一个较佳实施例中，本发明需要输入一段带有时间戳的监控视频和摄像头控制参数，经过本发明的时间戳消除处理后，输出一段去除时间戳的监控视频，将多个监控视频按照相同方法进行时间戳消除后，再将这些视频进行全景拼接，最终形成全景视频，最后在全景视频上重置时间戳。0078该较佳实施例中，具体包括以下步骤0079步骤1时间戳定位008011秒框数字的定位008112其他时钟数字的定位008213日期数字的定位008314时间戳区域的定位0084步骤2两幅图像的重叠区域定位0085步骤3提取图像特征点008631尺度空间极值检测008732特征点定位008833方向赋值00。

29、8934特征描述符计算0090步骤4特征点匹配009141KD树最近邻搜索说明书CN104104911A6/12页10009242最近邻次近邻比值判别009343计算仿射单应性矩阵HOMOGRAPHY0094步骤5时间戳消除0095步骤6形成全景视频0096步骤7在全景视频中移植新的时间戳0097每一步的具体实施方式分别如下0098步骤1时间戳定位0099依据秒钟数字变化周期性确定秒位转换帧，进一步确定秒位数字粗选区域。在秒位数字粗选区域内依据秒位数字和背景颜色精准确定秒位数字区域，进一步依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。具体的实施步骤如。

30、下0100步骤11秒框数字的定位0101在视频帧流中,确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点,按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；秒钟数字变化的周期性是指秒位数字在某一帧发生变化,而在之前及之后的R帧都保持不变，R为视频的每秒传输帧数，见图2A2F所示。0102步骤12其他时钟数字的定位0103首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域,再以秒位数字区域为基准,结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域，见图。

31、3所示。0104步骤13日期数字的定位0105参照上一步定位其他时钟数字的定位方法来进行。具体为结合时钟数字颜色和背景色以及日期数字间的位置和大小关系确定年、月、日这三个日期数字区域。0106步骤14时间戳区域的定位0107综合步骤11、12、13各步骤的定位情况，确定整个时间戳的坐标位置、宽度及高度，见图3所示。0108步骤2两幅图像的重叠区域定位0109本发明采用云台上下左右匀速运动来控制摄像头，实时地将此次拍摄下来的序列帧进行处理。云台标定是指确定云台匀速运动的角速度V、云台转动1对应的像素点数K与视频中图像帧移动的像素点P之间的关系，求取K步骤如下01101云台启动后，读取云台水平或垂。

32、直角度1，获取图像I1；01112读取云台运动一定角度后的位置水平或垂直角度2，获取图像I2；01123用相位相关法求图像I1、I2的水平或垂直移动像素点P；01134根据公式2来计算K的值。K表示云台移动1对应的像素点数。0114KP/2110115在完成云台标定后，移动摄像头到第一个预置点，读取云台水平或垂直角度1并捕获一帧图像I1第一幅图像，然后移动摄像头到第二个预置点，使得被时间戳覆盖的区域被露出，读取云台水平或垂直角度2并捕获另一帧图像I2第二幅图像，根据公式3计算P的值，进而计算两帧图像之间的估计平移参数X和Y，并定位说明书CN104104911A107/12页11出两幅图像的重叠。

33、区域。0116PK2220117步骤3提取图像特征点0118利用估计平移参数X和Y，定位出两幅图像的重叠区域。提取待匹配的第一幅图像重叠区域中的所有特征点，并提取第二幅图像重叠区域中的所有特征点。0119本发明采用SURF算法作为图像匹配的特征提取算法。SURF特征点的提取过程分为尺度空间极值检测、特征点定位、方向赋值和特征点描述符计算四个步骤。0120步骤31尺度空间极值检测0121SURF算子选择图像尺度空间中的极值点作为候选特征点。图像IX，Y的尺度空间定义为0122LX,Y,GX,Y,IX,Y30123其中代表二维卷积，是尺度因子，GX,Y,是二维高斯函数，01240125通常，尺度空。

34、间用图像金字塔结构来实现。在图像金字塔中的每一层使用HESSIAN矩阵进行极值检测。图像IX，Y中的点X在尺度处的HESSIAN矩阵定义为01260127其中LXXX,是高斯函数二阶偏导数和图像的二维卷积，LXY和LYY的含义与之类似。0128在建立图像的金字塔结构时，需要对图像进行向下采样，再与不同尺度的二维高斯函数进行卷积。为了提高高斯卷积的计算速度，SURF算子使用方框滤波器作为二阶高斯滤波器的近似替代，并使用积分图像对图像卷积进行加速。同时，为了避免对图像的迭代向下采样过程，SURF算子在建立图像金字塔结构时采用增加方框滤波器尺寸的方法。0129步骤32特征点定位0130根据HESSI。

35、AN矩阵求出尺度图像在X，Y，处的极值后，首先在极值点的333的立体邻域内进行非极大值抑制NONMAXIMUMSUPPRESSION，NMS。为了能够对候选特征点进行亚像素定位，可以在尺度空间和图像空间中进行插值，插值使用的二次拟合函数为01310132对函数求导得到极值点为01330134函数在极值点处的极值为说明书CN104104911A118/12页1201350136在实验中剔除DX003的候选特征点。0137步骤33方向赋值0138为了使提取出的特征点具有旋转不变性，可以对每个特征点赋予一个主方向。首先以特征点为中心，计算半径为6SS为特征点的尺度的邻域内的点在水平和垂直方向边长为4。

36、S的HARR小波响应；然后按照距离远近给这些响应值赋予高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；接着对加权后的HARR小波响应以圆形区域进行统计，将圆形区域划分为72组，每5一组，将60范围内的HARR小波响应累加形成新的矢量；最后遍历整个圆形区域，选择最长矢量的方向作为特征点的主方向。0139步骤34特征描述符计算0140通过上面步骤的计算，可以为每一个特征点赋予图像位置坐标、尺度和主方向，这些参数构成了一个描述特征点局部邻域的二维坐标系统，并具有对这些参数的不变性。下一步就是对该局部区域进行量化描述，生成特征点的描述符。01411首先以特征点为中心，按照主方向选取。

37、20S20S的正方形区域，并将该区域旋转到主方向，以保证旋转不变性。01422将该区域划分成44共16个子区域，在每一个子区域内，计算5S5S采样步长为S范围内的HARR小波响应，把相对于主方向的水平和垂直方向的HARR小波响应分别记作DX和DY，并用高斯窗口函数对响应值赋予权重系数。01433将每个子区域在水平和垂直方向的HARR小波响应及响应的绝对值分别进行累加，记为DX、DY、|DX|和|DY|。01444对每个子区域生成一个四维的描述符向量VDX，DY，|DX|，|DY|，每个特征点共有16个子区域，就形成了一个44464维的描述向量。01455对这个64维的向量进行归一化，去除光照变。

38、化的影响，得到特征点的描述符。0146图4A、4B为SURF特征点检测的结果，图中用圆圈标注的点为检测得到的SURF特征点。0147步骤4特征点匹配0148将第一幅图像重叠区域提取的特征点和第二幅图像重叠区域的提取的特征点进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵HOMOGRAPHY。0149从图像中提取特征点后，需要对其进行匹配。以特征向量之间的欧氏距离作为特征点匹配的相似度准则。现对如图4A所示的图像I1和如图4B所示的图像I2进行匹配。P为图像I1中的特征点，要计算特征点P在图像I2中的匹配点，可以求出图像I2中与特征点P欧氏距离最近的前两个距离D1和D2。当D1比D2小很多。

39、时，说明D1对应的特征点是匹配点的概率较大；当D1和D2相差不大时，没有合适匹配点的概率较大。因此可以使用阈值T来量化这种置信度。实验表明，当阈值取值06时，可以取得较好的匹配效果。0150基于特征点匹配的目的是找到两幅图像中表示相同物理位置的特征点，形成特征点匹配对。采用KDKDIMENSION树算法对两幅图像提取的特征点进行快速最近邻搜索，进行最近邻次近邻比值判别，实现特征点的匹配，计算仿射变换矩阵。KD最近邻搜索算法充分利用KD树的特点，大幅度提高了搜索效率。最近邻的判别标准是欧氏距离最短，欧说明书CN104104911A129/12页13氏距离表示如下01510152式中DESC1I,。

40、DESC2I分别为两幅图像IMAGE1,IMAGE2中利用SURF算法得到的特征点描述符DESC1,DESC2的分量。0153步骤41KD树最近邻搜索015464D最近邻搜索算法是一个递归的算法，在64D树上进行。用64D的特征点描述符组成64D搜索树。SURF特征点的64D树的每一个节点都是64D的数据，组成一个64D超空间。每个节点都可以看作一个分裂超平面，将64D超空间分为两个子超空间。一个在分裂超平面的轴的左边，另外一个在右边。分裂超平面轴的选择从第1D轴到第64D轴为一个循环，直到所有的特征点都被插入到64D树中。0155算法中需要开辟必要的空间保存变量值，为提高计算效率，避免开方计。

41、算，欧氏距离直接用其平方代替。算法的执行如下01561从根节点开始往下搜索子树。01572如果搜索到叶子节点，存储该叶子节点为当前最近邻点CURRENTBEST。01583在每个节点上，首先判断计算当前节点与目标节点的距离，如果当前节点与给定的目标点的距离更小，则更新CURRENTBEST。然后，判断以目标节点为中心，以当前最佳距离为半径的子超空间是否与分裂超平面相交。若相交，则搜索右子树；否则，忽略右子树，继续搜索。01594最后算法在根节点上完成上述步骤，结束。0160步骤42最近邻次近邻比值判别0161在匹配过程中，图像的视角不同，景物范围也不同，或是两幅图像之间存在缩放关系，这些情况都。

42、有可能导致图像IMAGE1中的特征点在IMAGE2中没有匹配点。当IMAGE1和IMAGE2中存在邻域灰度信息分布比较相似的点时，也会产生匹配错误。0162这里通过检查最近邻与次近邻的比值，避免上述错误的发生。检测方法可表示为01630164其中，最近邻距离表示为FNDRSTNEARESTDISTANCE，次近邻距离表示为SNDSECONDNEIGHBORDISTANCE。当选取最近邻距离与次近距离比率阈值为08时，将除去90的错误匹配，而只5的正确匹配被消除，所以阈值的设置将直接影响最终匹配的特征点个数，阈值越小，匹配的特征点对个数越少，但是匹配结果更加稳定，阈值一般取值在0306的范围内，。

43、匹配结果最好。经过上述步骤，SURF算法在两幅图像检测到的特征点匹配完成，如图5所示。说明书CN104104911A1310/12页140165步骤43计算仿射单应性矩阵HOMOGRAPHY0166根据图像IMAGE1和IMAGE2中的一对匹配点P1X1,Y1，P2X2,Y2间存在以下变换关系，计算矩阵H016701680169步骤5时间戳消除0170根据上一步计算获得的H矩阵，可以抽取出两幅图像之间平移和旋转的参数，然后按该参数由第二幅图的时间戳所在位置计算出，在第一幅中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能，具体实现流程如。

44、下01711从H矩阵从提取出平移和旋转参数01722由第二幅图中的时间戳所在位置及大小X,Y,W,H，并根据平移和旋转参数，计算出原第一幅图中被时间戳遮盖的那部分区域在第二幅图像中对应的位置及大小X,Y,W,H。01733截取该区域图像并回填到第一幅图像中，实现时间戳消除的功能。如图6所示。0174步骤6形成全景视频0175在已经实现单个视频去时间戳的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，先用上述方法进行时间戳消除，接着从每个视频中选取稳定的某一帧，然后各个相邻视频对应的帧之间从左到右依次进行两两匹配，具体包括提取特征点，进行特征点匹配，根据HOMOGRAPHY。

45、实现多幅图像的拼接，进而实现多个视频的拼接。视频拼接的具体过程如下01761从每个摄像机同步拍摄的视频帧序列，同步提取各自稳定的一帧图像，形成I1,I2,I3,I4,IN1,INN为摄像机的个数。01772分别提取图像I1,I2,I3,I4,IN1,IN的特征点，形成各自的特征点集为P1,P2,P3,P4，PN1，PN。01783对特征点集P1,P2,P3,P4，PN1，PN按照从左到右的顺序依次进行特征点两两匹配并计算它们之间的HOMOGRAPHY，得到H12,H2,3,H3,4,，HN1,N。01794根据H12,H2,3,H3,4,，HN1,N实现图像I1,I2,I3,I4,IN1,IN。

46、的两两拼接，进而实现多个视频拼接成一个全景视频，如图7E所示。0180步骤7在全景视频中移植新的时间戳0181将在步骤1中采用数字时钟识别技术得到的时间戳，重新移植到全景视频的一个新的位置上，如图7F所示。说明书CN104104911A1411/12页150182根据上述方法，本发明的全景图像生成过程中的时间戳消除和重置系统，如图8所示，包括0183时间戳区域定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并在该转换帧中确定整个时间戳区域；0184预置点图像获取模块，用于移动摄像头到第一个预置点，捕获第一幅图像，然后移动摄像头到第二个预置点，捕获第二幅图像，使得第二幅图像中被时间戳覆盖的区。

47、域露出；0185时间戳消除模块，用于找到第一幅图像中被时间戳覆盖的那部分区域在第二幅图像中的对应区域，截取该对应区域图像并回填到第一幅图像中，实现时间戳的消除；0186全景视频时间戳消除模块，用于将多个摄像头拍摄的视频进行时间戳的消除，再将消除了时间戳的视频拼接为全景视频；0187时间戳重置模块，用于根据时间戳区域定位模块中的时钟识别技术，将原来定位和识别出的时间戳重新移植到全景视频新的位置上。0188本发明的一个实施例中，时间戳区域定位模块具体包括0189秒位数字初步定位模块，用于依据秒钟数字变化周期性确定秒位转换帧，并确定秒位数字粗选区域；0190秒位数字精确定位模块，用于在秒位数字粗选区。

48、域内依据秒位数字和背景颜色进一步确定秒位数字区域；0191其他时钟数字及日期定位模块，用于依据时钟数字位置关系确定余下三个时钟数字区域以及日期数字所在区域，从而确定整个时间戳区域。0192本发明的一个实施例中，时间戳消除模块具体包括0193两幅图像重叠区域定位模块，用于结合云台标定计算两帧图像之间的估计平移参数X和Y，利用估计平移参数X和Y，定位出两幅图像的重叠区域；0194图像特征点提取模块，用于利用SURF算法提取待匹配的第一幅图像重叠区域中的所有特征点，形成特征点集F1F11,F12,F1N1，其中N1为第一幅图像中提取的特征点个数，并利用SURF算法提取第二幅图像重叠区域中的所有特征点。

49、，形成特征点集F2F21,F22,F2N2，其中N2为第二幅图像中提取的特征点个数；0195特征点匹配模块，用于将第一幅图像重叠区域的特征点集F1F11,F12,F1N1和第二幅图像重叠区域的特征点集F2F21,F22,F2N2进行匹配，根据匹配的特征点对，计算两幅图像的单应性矩阵；0196时间戳区域图像回填模块，用于根据单应性矩阵，由第二幅图像的时间戳所在位置计算出，在第一幅图像中被时间戳遮盖的那部分区域在第二幅图像中对应的位置，截取该区域图像并回填到第一幅图像中，实现时间戳的消除。0197本发明的一个实施例中，全景视频时间戳消除模块具体包括0198单个视频的时间戳消除模块，用于在已经实现单个摄像头拍摄的视频时间戳消除的基础上，对于相邻的两个或者两个以上的摄像机拍摄的有部分场景重叠的视频，进行相同方法的时间戳消除；0199全景视频拼接模块，用于从每个视频中同步选取稳定的某一帧，然后将各个相邻视频对应的帧之间从左到右依次进行两两图像匹配，实现多幅图像的拼接，进而实现多个说明书CN104104911A1512/12页16视。