《序列视频关键帧提取方法.pdf》由会员分享，可在线阅读，更多相关《序列视频关键帧提取方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103413322 A (43)申请公布日 2013.11.27 CN 103413322 A *CN103413322A* (21)申请号 201310302444.6 (22)申请日 2013.07.16 G06T 7/20(2006.01) H04N 7/26(2006.01) (71)申请人 南京师范大学 地址 210046 江苏省南京市亚东新城区文苑 路 1 号 (72)发明人 刘学军 甄艳 胡加佩 (74)专利代理机构 南京知识律师事务所 32207 代理人 李媛媛 (54) 发明名称 序列视频关键帧提取方法 (57) 摘要 本发明公开了一种序列视频的关键。
2、帧提取方 法。包括如下步聚 ：（1）捕获序列视频， 将序列 视频分割成视频帧， 针对序列视频中的前 n 帧图 像， 对其进行特征点提取与匹配， 并对特征点进行 跟踪 ； 根据基线长度、 特征点分布状况等约束条 件在序列视频中选择两帧图像作为初始关键帧 ； （2） 在获得初始关键帧的基础上， 根据图像特征 点匹配率来确定关键帧候选集合 ；（3） 根据焦距 变化约束及模型鲁棒选择准则 （GRIC， Geometric Robust Infromation Criterion） 从关键帧候选 集合中进一步确定关键帧图像。根据本发明的方 法获得的关键帧图像可用于序列视频的三维重建 和量测， 也可适用于。
3、序列视频数据的压缩等。 (51)Int.Cl. 权利要求书 1 页 说明书 5 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图3页 (10)申请公布号 CN 103413322 A CN 103413322 A *CN103413322A* 1/1 页 2 1. 序列视频关键帧提取方法， 其特征在于包括如下步骤 ： 步骤一， 捕获序列视频， 将序列视频分割成视频帧， 针对序列视频中的前 n 帧图像， 对 其进行特征点提取与匹配， 并对特征点进行跟踪 ； 根据基线长度和特征点分布状况的约束 条件在序列视频中选择两帧图像作为初始关键帧。
4、 ； 步骤二， 在获得初始关键帧的基础上， 根据图像特征点匹配率来确定关键帧候选集 合 ； 步骤三， 根据焦距变化约束及 GRIC 模型鲁棒选择准则， 从关键帧候选集合中进一步确 定关键帧图像。 2. 根据权利要求 1 所述的序列视频关键帧提取方法， 其特征在于， 所述步骤一的具体 过程为 ： （1） 捕获序列视频， 将序列视频分割成视频帧 ； （2） 针对序列视频中的前 n 帧图像， 对其进行特征点提取与匹配， 并对特征点进行跟 踪， 从而得到同一个特征点在多幅视频帧图像上的位置， 将这些能稳定跟踪到的特征点称 为黄金跟踪特征点 ； （3） 选择黄金跟踪特征点数量较多并且分布均匀的图像作为当。
5、前参考关键帧图像 ； （4） 计算后续图像与当前参考帧图像的特征点匹配率和焦距变化量， 选择特征点匹配 率大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧， 与当前参考关键帧图像构 成一对关键帧图像 ； 若找不到合适的下一个关键帧， 则需要调整当前参考关键帧图像， 直到 找到与之对应的下一个关键帧图像为止。 3. 根据权利要求 1 所述的序列视频关键帧提取方法， 其特征在于， 所述步骤二的具体 过程为 ： （1） 初始关键帧包含两帧图像， 分别用 ki和 kj来表示， 计算序列视频中后续图像与关 键帧 kj的特征点匹配率， 直到特征点匹配率小于 50% 为止 ； （2） 选择特征点匹配率满。
6、足一定条件的图像帧构成集合 S ； （3） 计算集合 S 中的图像帧与关键帧 ki的特征点匹配率， 选择特征点匹配率大于给定 阈值的图像帧构成关键帧候选集合。 4. 根据权利要求 1 所述的序列视频关键帧提取方法， 其特征在于， 所述步骤三的具体 过程为 ： （1） 根据 GRIC 鲁棒模型选择准则， 计算关键帧候选集合中的每一帧图像与其距离最 近的一幅关键帧图像间的单应矩阵和基础矩阵两个模型对应 GRIC 鲁棒模型选择值， 即 GRIC(H) 和 GRIC(F)， 在此基础上， 计算两幅图像间的焦距变化量 ； （2） 在满足约束条件 GRIC(F)GRIC(H) 的图像中选择 GRIC(F)。
7、 取值最小的图像作为关 键帧图像。 权 利 要 求 书 CN 103413322 A 2 1/5 页 3 序列视频关键帧提取方法 技术领域 0001 本发明属于计算机视觉、 摄影测量和图像处理技术领域， 涉及序列视频关键帧提 取方法。 背景技术 0002 随着技术的发展， 各类数码相机和摄像机以及手机等数字产品已经成为人们生活 的必需品， 这些产品有一个共同的特点 ： 可以方便获取影像数据。 影像不仅是一种大众化的 娱乐媒介， 更是一种历史风貌、 环境变迁、 场景描述的真实再现， 因此， 可以说图像是表达现 实世界的有效载体。面对人们迫切需要图像也能真实还原现实世界的需求， 需要充分挖掘 图像。
8、中包含的三维几何信息， 而如何有效解决该问题是计算机视觉与摄影测量面临的共同 挑战。 在众多影像数据中， 视频是一类重要的信息源， 不仅具有一般图像、 影像的特征， 还具 有时间属性等， 因此， 从视频数据中有效提取对象三维信息的技术有着巨大的市场需求。 0003 基于视频序列的三维重建可有效恢复对象的三维模型， 从而方便进一步获取对象 的相关信息。视频数据的一大特点是相邻图像间重叠度高， 一方面可为重建提供丰富的信 息， 但同时也带来重建效率较低的问题。传统的重建方法大都将整个视频数据纳入重建的 流程， 这不仅影响重建效率， 同时也会降低重建的精度。因此， 有必要从序列视频中选择部 分图像用。
9、于重建， 将这些选择出来的图像称为关键帧图像。 0004 关键帧提取方法最早由 Farid 在文章 “基于多视图的宽基线立体图像选取策略” （View selection strategies for multi-view,wide-base stereo， Technical Report MS-CIS-94-18,University of Pennsylvania,1994） 中提出， 该方法当时主要应用于多视 图立体几何中。 现有的关键帧提取方法主要根据关键帧选取时采用的约束条件不同而分为 不同的方法， 主要有以下几类 ： 基于运动恢复结构的关键帧选取方法， 该类方法首先选择跟 踪时间。
10、较长的特征点， 然后考虑基线长度和数据冗余等约束条件来选择关键帧图像。基于 能量函数的关键帧选取方法， 该类方法考虑特征的分布位置、 单应误差等约束条件来设定 能量函数， 从而实现关键帧选取。 基于特征点比率和重投影误差的关键帧选取方法， 该类方 法主要考虑基线长度约束因子， 并用特征点比率来表征基线距离， 从而实现关键帧选取。 基 于鲁棒模型选择准则的关键帧选取方法， 该类方法主要通过计算图像的约束关系实现关键 帧选取。基于聚类的关键帧选取方法， 该类方法首先采用聚类算法将图像分成为不同的类 别， 然后再分别对每一类进行处理来确定关键帧图像。 基于视差的关键帧选取方法， 该类方 法序列视频的。
11、将第一帧图像作为初始关键帧， 然后选择稀疏特征点进行跟踪， 最后对跟踪 成功的特征点进行视差估计， 以此作为判断依据进行关键帧选取。 0005 现有关键帧提取算法考虑了匹配点数量、 基线长度以及图像重叠度与对极几何关 系等约束条件。研究重点都放在怎样重建出视觉上的三维模型， 主要在减少重建时间方面 进行了有效改善， 但并未过多考虑如何进一步提高重建的精度， 以方便获取对象的相关信 息。图像中除了包含有丰富的视觉信息外， 更为重要的还包含了大量的几何信息 （如尺寸、 面积等） 。 说 明 书 CN 103413322 A 3 2/5 页 4 发明内容 0006 本发明的目的在于针对现有序列视频三。
12、维重建中效率低下和精度不高的不足， 提 出一种序列视频关键帧提取方法。 0007 序列视频关键帧提取方法包括如下步骤 ： 0008 （1） 捕获序列视频， 将序列视频分割成视频帧图像， 针对序列视频中的前 n 帧图 像， 对其进行特征点提取与匹配， 并对特征点进行跟踪 ； 根据基线长度、 特征点分布状况等 约束条件在序列视频中选择两帧图像作为初始关键帧 ； 0009 （2） 在获得初始关键帧的基础上， 根据图像特征点匹配率来确定关键帧候选集 合 ； 0010 （3） 根据焦距变化约束及 GRIC 模型鲁棒选择准则， 从关键帧候选集合中进一步确 定关键帧图像。 0011 所述的捕获序列视频， 将。
13、序列视频分割成视频帧， 针对序列视频中的前 n 帧图像， 对其进行特征点提取与匹配， 并对特征点进行跟踪 ； 根据基线长度、 特征点分布状况等约束 条件在序列视频中选择两帧图像作为初始关键帧步骤为 ： 0012 （1） 捕获序列视频， 将序列视频分割成视频帧 ； 0013 （2） 针对序列视频中的前 n 帧图像， 对其进行特征点提取与匹配， 并对特征点进行 跟踪， 从而得到同一个特征点在多幅视频帧图像上的位置， 将这些能稳定跟踪到的特征点 称为黄金跟踪特征点 ； 0014 （3） 选择黄金跟踪特征点数量较多并且分布均匀的图像作为当前参考关键帧图 像 ； 0015 （4） 计算后续图像与当前参考。
14、帧图像的特征点匹配率和焦距变化量， 选择特征点 匹配率大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧， 与当前参考关键帧图 像构成一对关键帧图像 ； 若找不到合适的下一个关键帧， 则需要调整当前参考关键帧图像， 直到找到与之对应的下一个关键帧图像为止。 0016 所述的获得初始关键帧的基础上， 根据图像特征点匹配率来确定关键帧候选集合 步骤为 ： 0017 （1） 初始关键帧包含两帧图像， 分别用 ki和 kj来表示， 计算序列视频中后续图像 与关键帧 kj的特征点匹配率， 直到特征点匹配率小于 50% 为止 ； 0018 （2） 选择特征点匹配率满足一定条件的图像帧构成集合 S ； 0。
15、019 （3） 计算集合 S 中的图像帧与关键帧 ki的特征点匹配率， 选择特征点匹配率大于 给定阈值的图像帧构成关键帧候选集合。 0020 所述的根据焦距变化约束及 GRIC 模型鲁棒选择准则， 从关键帧候选集合中进一 步确定关键帧图像步骤为 ： 0021 （1） 根据 GRIC 鲁棒模型选择准则， 计算关键帧候选集合中的每一帧图像与其距离 最近的一幅关键帧图像间的单应矩阵和基础矩阵两个模型对应 GRIC 鲁棒模型选择值， 即 GRIC(H) 和 GRIC(F)， 在此基础上， 计算两幅图像间的焦距变化量 ； 0022 （2） 在满足约束条件 GRIC(F)GRIC(H) 的图像中选择 GR。
16、IC(F) 取值最小的图像作 为关键帧图像。 说 明 书 CN 103413322 A 4 3/5 页 5 0023 本发明的序列视频关键帧提取方法是全自动的方法， 仅需要用户指定不同判断条 件阈值 ； 而且本发明中考虑了初始关键帧对三维重建效果的影响， 最终关键帧的选择是在 多约束条件下实现的， 从而提高了关键帧选取的有效性。采用本发明获取的关键帧图像可 用于序列视频的三维重建和量测， 也可适用于序列视频数据的压缩等。 附图说明 0024 图 1 是序列视频关键帧提取方法框架图 ； 0025 图 2 是初始关键帧选取示意图 ； 0026 图 3 是基线距离与三角测量不确定区域的关系示意图 ；。
17、 0027 图 4 是关键帧候选集合生成示意图 ； 0028 图 5 是关键帧确定示意图 ； 具体实施方式 0029 以下结合具体实施例， 并参照附图， 对本发明作进一步详细说明。 0030 视频数据一秒钟大概包含 20 帧图像以上， 考虑序列视频数据包含的信息量丰富， 相邻帧图像间重叠度高的特点， 本发明提出了一种序列视频的关键帧提取方法。本发明适 用于序列视频的三维重建与量测以及序列视频数据压缩等。 传统三维重建方法大都将序列 视频全部纳入重建处理流程中， 通过与传统方法相比， 本发明可以提高重建的质量， 降低重 建的开销。本发明的结构图在图 1 中显示序列视频关键帧提取方法框架图， 包括。
18、三部分 ： （1） 序列视频初始关键帧选取 ；（2） 关键帧候选集合生成 ；（3） 基于关键帧候选集合确定最 终的关键帧图像。具体实施步骤为 ： 0031 第一步 ： 序列视频初始关键帧选取。 0032 （1） 捕获序列视频， 将序列视频分割成视频帧图像， 选择前 n 帧图像作为参考图 像， 对这 n 帧图像采用进行特征点提取与匹配， 并采用 KLT 特征跟踪器对特征点进行跟踪， 在此基础上， 提取图像的黄金跟踪特征点 ； 0033 （2） 选择黄金跟踪特征点数量较多并且分布均匀的图像作为当前参考帧 ； 0034 （3） 计算后续图像与当前参考帧的特征点匹配率和焦距变化量， 选择特征点匹配 率。
19、大于给定阈值并且焦距变化最小的图像帧作为下一个关键帧， 与当前参考图像帧构成一 对关键帧。 若找不到合适的下一个关键帧， 则需要适当调整当前参考图像帧， 直到找到与之 对应的下一个关键帧为止， 具体参照附图 2。 0035 如附图 3 所示， 根据三角测量原理可知， 基线距离越长， 三角测量解算精度越高， 因此， 基线距离对三维重建不确定区域的大小有重要影响。 基于序列视频三维重建时， 不仅 要考虑三角量测的精度， 还需考虑基线距离对特征点提取与匹配的影响。 基线距离越远， 图 像的重叠度越低， 由此导致匹配越困难。特征匹配率可以用来确定基线长度， 其求解公式 为 ： 0036 0037 其中。
20、 Rc表示特征点匹配率， Tc表示当前图像中匹配的特征点的数量， Tf表示当前 说 明 书 CN 103413322 A 5 4/5 页 6 图像中总共的特征点数量。特征点匹配率与摄像机的运动状况呈反比关系， 特征点匹配率 越大， 说明两幅图像的重叠度越高， 也就说明摄像机的运动距离较小， 两幅图的基线距离较 短。 0038 第二步 ： 关键帧候选集合生成。 0039 （1） 根据选择的初始关键帧， 以此为基础来确定候选关键帧集合。 初始关键帧包含 两帧图像， 分别用 ki和 kj来表示， 计算序列视频中后续图像与关键帧 kj的特征点匹配率， 直到特征点匹配率小于给定的阈值为止 ； 0040 。
21、（2） 选择特征点匹配率满足一定条件的图像帧构成集合 S ； 0041 （3） 计算集合 S 中的图像帧与关键帧 ki的特征点匹配率， 选择特征点匹配率大于 给定阈值的图像帧构成关键帧候选集合。 0042 如附图 4 所示， 首先采用初始关键帧选取算法确定第 2 帧和第 5 帧图像作为初始 关键帧， 计算视频序列中后序图像与第 5 帧图像的特征点匹配率。当计算完第 15 帧图像与 第5帧图像的特征点匹配率后， 发现特征点匹配率小于给定的阈值， 此时， 不再计算第16帧 图像与第 5 帧图像的特征点匹配率。根据计算获得的特征点匹配率， 选择满足一定条件图 像帧构成集合 S， 对应于视频序列中的第。
22、 8 帧到第 14 帧图像。为进一步确定关键帧候选集 合， 针对集合 S 中的每一帧图像， 计算它与第 2 帧图像的特征点匹配率。选择特征点匹配率 大于给定阈值的图像构成关键帧候选集合， 对应于视频序列中的第 8 帧到第 12 帧图像。 0043 第三步 ： 基于关键帧候选集合确定最终的关键帧图像。 0044 关键帧候选集合的确定缩小了关键帧的寻找范围。 关键帧的选取需要满足两个约 束条件， 一个是图像间的焦距变化要求较小， 另一个是选择的关键帧图像需要保证三维重 建的精度和稳定性。 0045 （1） 针对关键帧候选集合中的图像， 计算其焦距信息 ； 0046 （2） 针对选择的关键帧图像需要。
23、保证三维重建的精度与稳定性这一问题， 可采用 GRIC 模型鲁棒选择准则来挑选关键帧图像。基础矩阵 F 和单应矩阵 H 两个模型都可以用 来描述两幅图间的关系， 其中， 单应矩阵 H 更适用于描述短基线情况 , 当基线距离较长时， 基础矩阵 F 更适合用来描述两幅图像的关系。根据 GRIC 模型鲁棒选择准则， 计算关键帧 候选集合中的图像与当前已确定的最后一帧关键帧图像间的 GRIC（F） 和 GRIC（H） ， 其中 GRIC(F) 为基础矩阵对应的 GRIC 值， GRIC(H) 为单应矩阵对应的 GRIC 值， ； 0047 （3） 选择焦距变化较小并且 GRIC（F） 取值最小的图像作。
24、为关键帧图像。 0048 GRIC 模型选择准则是模型选择的有效工具， 根据计算的模型参数不同， 针对基础 矩阵和单应矩阵可以得到不同的计算结果。其表达形式为 ： 0049 0050 其中 n 表示两幅图像间的匹配点数量， d 表示参与计算的模型的维数， 估计基础矩 阵的模型维数是3， 相应的单应矩阵的模型维数是2。 k表示模型中参数数量， 计算基础矩阵 时 k=7， 计算单应矩阵时 k=8。1和 2表示两个调节参数， ei用来表征对应模型的误差， 若对应模型为单应矩阵， 则 ei表示参考平面上的特征点与其反投影点之间的误差， 若对应 的模型为基础矩阵， 则ei表示点到对应极线的距离。是一个与。
25、误差ei相关的函数， 其 表达形式为 ： 说 明 书 CN 103413322 A 6 5/5 页 7 0051 0052 其中 3是权重函数， 2表示方差， r 表示参与计算的数据维数， 本发明中主要用 来计算两幅图像间的关系， 因此 r 的取值为 4。调节参数 1和 2的取值为 ： 0053 0054 如附图 5 所示 ： 根据关键帧候选集合生成算法， 从图中来看， 关键帧候选集合中包 含第 31 帧图像到第 36 帧 6 幅图像， 已确定的关键帧图像为第 2 帧、 第 5 帧、 第 16 帧以及第 25帧四幅图像。 计算关键帧候选集合中每帧图像的焦距信息， 判断它们与第25帧图像的焦 距变化量。根据 GRIC 模型选择标准计算它们与 25 帧图像间的 GRIC(F) 和 GRIC(H) 的值， 选择满足条件的图像帧为关键帧图像， 对应图中的第 34 帧图像。 说 明 书 CN 103413322 A 7 1/3 页 8 图 1 说 明 书 附 图 CN 103413322 A 8 2/3 页 9 图 2 图 3 说 明 书 附 图 CN 103413322 A 9 3/3 页 10 图 4 图 5 说 明 书 附 图 CN 103413322 A 10 。