《一种基于体育比赛视频的相似视频片段检索方法.pdf》由会员分享，可在线阅读，更多相关《一种基于体育比赛视频的相似视频片段检索方法.pdf（13页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102890700 A (43)申请公布日 2013.01.23 C N 1 0 2 8 9 0 7 0 0 A *CN102890700A* (21)申请号 201210230108.0 (22)申请日 2012.07.04 G06F 17/30(2006.01) (71)申请人北京航空航天大学 地址 100191 北京市海淀区学院路37号 (72)发明人李炜 李小燕 李艳华 陈书骞 (54) 发明名称 一种基于体育比赛视频的相似视频片段检索 方法 (57) 摘要 本发明涉及一种基于体育比赛视频的相似视 频片段检索方法，通过离线部分对视频库中的所 有视频进行预处理形。
2、成视频特征库，在线部分对 查询片段进行视频结构化分析以及特征提取后在 视频特征库中进行两轮不同粒度的检索。第一轮 粗粒度的检索确定候选视频集，第二轮细粒度的 检索确定相似片段在视频对象中的精确位置。并 且，对所有的视频特征采用K-D tree进行组织以 加速查询过程。最后综合考虑视觉、时序、干扰因 子对相似度的影响，对相似片段进行相似度进行 计算并排序。 (51)Int.Cl. 权利要求书1页 说明书8页 附图3页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 8 页 附图 3 页 1/1页 2 1.一种基于体育比赛视频的相似片段检索方法，包括以下步骤。
3、： 步骤一：对视频库中的所有视频进行预处理，分别采用基于颜色相似性的子片段分割 方法和基于亮度差异性的子片段分割方法将每个视频分割为若干视频子片段，对每个视频 子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，组成视频特征库； 步骤二：对于步骤一中得到的所有特征采用K-D tree结构进行存储，每一个特征都作 为K-D tree中的一个节点，特征值大于该层分辨器值的特征作为右子树，特征值小于等于 该层分辨器值的特视作为左子树，视频特征库中的所有特征构建成一棵K-D tree； 步骤三：对待查询视频片段分别采用基于颜色相似性的子片段分割方法和基于亮度差 异性的子片段分割方法法将其分割为若干。
4、视频子片段，对每个视频子片段提取其中的关键 帧，对每一关键帧提取颜色和亮度特征，作为查询条件； 步骤四：首先，通过将查询条件与视频特征库中的特征进行对比找到待查询视频片段 中所有视频子片段的相似子片段集，对所得到的所有相似子片段集求交集，并由所求交集 确定候选视频集；其次，对候选视频集中所有视频采用滑动子片段窗口进行相似片段的精 确定位，采用如下公式（1）计算滑动子片段窗口中的视频片段与待查询视频片段的匹配度 m qw ； 其中表示待查询视频片段和滑动子片段窗口中一一对应的视频子片段数目，len 为滑动子片段窗口中视频子片段的总数目；如果匹配度小于给定阈值时，将所述窗口以一 个视频子片段为步长。
5、向前移动，直到匹配度大于所述给定阈值，此时所述窗口的前端为相 似片段的起始位置； 步骤五：根据步骤四中得到相似片段，按照如下相似度计算公式（2）计算待查询视频 片段与相似片段的相似度S(V q ,V s )； S(V q ,V s ) v f v + o f o + i f i (2) 其中f v 、f o 、f i 分别为视觉因子、顺序因子及干扰因子， v 、 0 、 i 分别为视觉因子、顺 序因子及干扰因子的权重值； 步骤六：根据上述计算得到的相似度，确定最终的相似视频。 2.如权利要求1所述的方法，其特征在于：所述步骤一和所述步骤三中关键帧选取视 频子片段的首帧作为其关键帧。 3.如权利。
6、要求1所述的方法，其特征在于：所述步骤四中滑动子片段窗口的大小优选 为滑动子片段窗口中视频子片段的总数目的1.6倍。 4.如权利要求1所述的方法，其特征在于：所述步骤五中视觉因子优选为待查询视频 片段与相似片段所有视频子片段的相似度平均值；顺序因子优选为待查询视频片段与相似 片段所包含的相同顺序的最长视频子片段数目占待查询视频片段中视频子片段的总数目 的比例；干扰因子优选为待查询视频片段与相似片段中所有找不到对应的相似视频子片段 数目。 5.如权利要求1所述的方法，其特征在于：所述步骤五中 v 、 0 、 i 分别优选为 0.25、0.5、0.25。 权 利 要 求 书CN 102890700。
7、 A 1/8页 3 一种基于体育比赛视频的相似视频片段检索方法 技术领域 0001 本发明涉及一种相似视频片段检索方法，属于计算机视觉技术领域。 背景技术 0002 相似视频检索是基于内容视频检索（CBVR）领域近年来兴起的研究热点。由于其 应用广泛能为视频复制检测、视频语义标注等提供关键技术，成为众多研究机构和学者关 注的焦点。其中，对体育比赛视频进行自动检索则具有很高的实用价值，研究成果既可以被 专业人士用于对体育比赛中的选手的技术动作与战术进行快速分析，从而提高体育训练效 率和训练水平，也可以被体育爱好者们用于对感兴趣的视频片段进行更加准确、方便、快捷 的检索，从而提高人们观赏体育比赛的。
8、便捷程度。相似视频检索是通过选取合适的底层视 觉特征，在视频的特征空间进行视频的相似度度量，并在视频数据库中进行快速、准确的检 索，从而得到检索结果。 0003 目前在实际的应用中都是基于单轮检索，直接对视频库中的所有视频进行相似度 计算，但直接检索存在着一个很严重的问题：由于视频包含文本、声音以及图像是一种复杂 的没有结构的流数据，其特征维数高、蕴含的数据量大、计算复杂，若对视频库进行直接处 理必然造成检索时间过长，难以满足实时查询的要求。并且针对视频特征一般维数较高、数 据量大计算复杂等问题，目前的相似片段检索方法中对于视频的特征的组织往往采用一些 常用的降维方法（如VA-File）避免“。
9、维度灾难”这一严峻问题。常用的降维方法能在一定 程度上降低时间复杂度，减少计算时间，但降维方法是基于近似向量的原理会导致检索精 度降低，并且一些常用的降维方法都有其适用范围，而视频特征具有随机性难以满足要求。 对于体育比赛视频而言，尤其是某类型的体育比赛，其场景较为固定、简单，场地以及背景 信息变化较小，因此不必为体育视频提取高维的特征进行检索，只需提取具有代表性的特 征即可，例如颜色特征、亮度特征等。 发明内容 0004 本发明的目的是提供一种基于体育比赛视频的相似片段检索方法。该方法利用离 线部分已经形成视频特征库，在线部分对查询片段进行视频结构化分析以及特征提取后在 视频特征库中的视频进。
10、行两轮不同粒度的检索，并采用K-D tree组织视频特征得到相似片 段。最后综合考虑视觉、时序、干扰因子对相似度的影响，对相似片段进行相似度进行计算 并排序。该方法能有效地减少计算量、提高检索效率，实现了快速、准确的基于体育比赛视 频的相似片段检索。 0005 为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下步骤： 0006 步骤一：对视频库中的所有视频进行预处理，分别采用基于颜色相似性的子片段 分割方法和基于亮度差异性的子片段分割方法将每个视频分割为若干视频子片段，对每个 视频子片段提取其中的关键帧，对每一关键帧提取颜色和亮度特征，组成视频特征库； 0007 步骤二：对于步骤一中。
11、得到的所有特征采用K-D tree结构进行存储，每一个特征 说 明 书CN 102890700 A 2/8页 4 都作为K-D tree中的一个节点，特征值大于该层分辨器值的特征作为右子树，特征值小于 等于该层分辨器值的特视作为左子树，视频特征库中的所有特征构建成一棵K-D tree； 0008 步骤三：对待查询视频片段分别采用基于颜色相似性的子片段分割方法和基于亮 度差异性的子片段分割方法法将其分割为若干视频子片段，对每个视频子片段提取其中的 关键帧，对每一关键帧提取颜色和亮度特征，作为查询条件； 0009 步骤四：首先，通过将查询条件与视频特征库中的特征进行对比找到待查询视频 片段中所有视。
12、频子片段的相似子片段集，对所得到的所有相似子片段集求交集，并由所求 交集确定候选视频集；其次，对候选视频集中所有视频采用滑动子片段窗口进行相似片段 的精确定位，采用如下公式（1）计算滑动子片段窗口中的视频片段与待查询视频片段的匹 配度m qw ，匹配度小于给定阈值时，将所述窗口以一个视频子片段为步长向前移动；直到匹 配度大于所述给定阈值，此时所述窗口的前端为相似片段的起始位置； 0010 0011 其中表示待查询视频片段和滑动子片段窗口中一一对应的视频子片段数目， len为滑动子片段窗口中视频子片段的总数目； 0012 步骤五：根据步骤四中得到相似片段，按照如下相似度计算公式（2）计算待查询 。
13、视频片段与相似片段的相似度S(V q ,V s )； 0013 S(V q ,V s ) v f v + o f o + i f i (2) 0014 其中f v 、f o 、f i 分别为视觉因子、顺序因子及干扰因子， v 、 0 、 i 分别为视觉因 子、顺序因子及干扰因子的权重值； 0015 步骤六：根据上述计算得到的相似度，确定最终的相似视频。 0016 本发明所提供的基于体育比赛视频的相似片段检索方法可以在保证检索精度的 同时有效地减少计算量、降低查询时间。有关的测试结果表明，本方法对于体育比赛视频的 相似片段检索具有较好的结果，其检索时间满足实时的需求。 附图说明 0017 图1基。
14、于体育比赛视频的相似片段检索方法的框架图。 0018 图2基于体育比赛视频的相似片段检索方法的流程图。 0019 图3基于体育比赛视频的相似片段检索方法效果图。 具体实施方式 0020 前已述及，本发明通过离线部分形成视频特征库，在线部分对查询片段进行视频 结构化分析以及特征提取后在视频特征库中的视频进行两轮不同力粒度的检索，并采用 K-D tree组织视频特征得到相似片段。最后综合考虑视觉、时序、干扰因子对相似度的影 响，对相似片段进行相似度进行计算并排序。 0021 下面结合附图说明本发明的实现方式，图3中明确表示了本发明的过程。首先，对 查询视频进行分析；其次，相似片段的查询得到最终结果。
15、。 0022 需要注意的是，以下仅是示例性的列举了本发明的一种实施方式： 0023 步骤一：查询视频分析 说 明 书CN 102890700 A 3/8页 5 0024 由于视频是多媒体中比较复杂的一种媒体，它包含了声音、图像、文本，是在时间 上连续的一系列帧的集合，是一种没有结构的流数据，如果不对其进行有效的组织管理就 无法完成快速且高效的视频检索。本发明中采用视频-子片段-关键帧的三层结构对视频 片段进行表示。在有效的表示视频片段后必须为其提取适合的底层特征进行后续的计算。 本发明中，由于针对特定类型的视频-体育比赛视频，我们仅选取颜色或亮度信息作为底 层特征，其具有简单、快速的特点，并且。
16、具有较好的鲁棒性和泛化性能。 0025 步骤一的一种示例性实施步骤如下： 0026 (1)子片段的分割 0027 本方法中采用了两种不同的子片段分割方法：基于颜色相似性的子片段分割方法 与基于亮度差异的子片段分割算法。 0028 基于颜色相似性的子片段分割的主要思想是计算视频流中的每一帧的HSV颜色 空间的颜色直方图作为该帧的特征向量，遍历视频流中的每一帧与相邻帧之间的颜色差 异，若颜色差异大于给定阈值，说明存在一个子片段的分界点。这种方法是基于视频子片段 内部颜色差异小，而不同的子片段之间的颜色差异大，利用颜色的差异来区分子片段之间 视觉特征的差异，符合人的主观要求。某一类体育比赛视频一般颜。
17、色比较简单，不同的颜色 特征在一定程度上能对应不同的视频语义。因此，选取颜色特征来分割视频是十分可行的。 该方法将HSV空间量化成144个bin值，其中H量化为16个区间、S和V都量化3个区间， 并统计其颜色直方图后将其归一化作为该视频帧的特征向量。帧差用公式(1)来计算。 0029 0030 其中，H 1 ,H 2 分别表示两帧基于HSV颜色空间的颜色直方图，利用其直方图归一化 的交表示其相似度，阈值dist的选取可以根据实验得到。 0031 基于亮度差异的子片段分割方法采用包含空间信息的亮度排序方法对视频流进 行分割，将一个视频片段中具有相同亮度排序的相邻帧划分到一个子片段中。该方法选取 。
18、Lab颜色空间中L，即亮度信息作为视频帧的视觉特征，将视频中的每一帧分为四个子块， 统计每个子块的亮度值的总和，并对这四个总和进行排序，若两帧的亮度值排序相同则将 这两个视频帧划入同一个子片段中，若不同则不划入同一个视频子片段中。 0032 (2)关键帧提取 0033 现阶段关键帧的选取原则“宁多勿少”同时，在代表特征不具体的情况下，一般以 去掉重复（或冗余）帧为原则。基于这一基本原则，不同的提取算法可以选取不同的原则，建 立适合自身情况的判定标准，有时针对不同的视频事件，还可以选择不同的判定标准。就本 方法而言，子片段不同于以往的镜头，往往在子片段内部视觉内容变化较小，为了提高检索 的效率，。
19、减少计算复杂度，我们采取特定帧法来选取关键帧，选取每个子片段的第一帧作为 该子片段的关键帧。 0034 (3)视觉特征提取 0035 在进行完视频子片段分割完成后选取每个子片段的第一帧作为该子片段的关键 帧，视频片段以视频-子片段-关键帧结构表示。本方法中针对两种不同的子片段分割方 法-基于颜色差异子片段分割和基于亮度排序子片段分割采用相同的特征作为子片段代 表-关键帧的特征向量。对于基于颜色相似性的子片段分割方法和基于亮度差异的子片段 说 明 书CN 102890700 A 4/8页 6 分割方法均采用关键帧的颜色直方图作为一个视频子片段的特征向量。视频片段被分割成 C个子片段CC 1 ,C。
20、 2 ,.,C c ，其对应的HSV颜色直方图为HistH 1 ,H 2 ,.,H c ，本文 采用非均匀量化，将每一个关键帧帧表示为1633共144Bin的HSV颜色直方图，其中H 为16Bin，S和V分别为3Bin。 0036 (4)视频特征库的组织 0037 由于视频片段被分割成若干子片段，并且以视频子片段作为视频查询的单位，因 此视频数据库就表示成了子片段的集合CC 1 ,C 2 ,.,C c 。提取子片段关键帧的颜色直 方图作为视频特征，就形成了大量特征向量组成的视频特征数据库。由于子片段数量较多， 其关键帧的数量也多，因此视频特征数据库也将是规模巨大的，为了提高查询效率，就需要 利。
21、用索引结构对其进行组织和管理。 0038 最常见的方法是采用高维索引结构VA-File来组织视频特征库。VA-file （Vector-Approximation file）是用于高维向量数据K-NN的索引方法，它通过减少向量的 存储空间来达到减少查询开销的目的，能够有效克服高维索引结构中存在的“维数灾难”问 题。本方法只针对体育比赛视频进行处理，由于其场景较为单一，可以考虑只采用维数较低 的简单特征即可。通过大量的实验表明，采取维度较低的颜色特征或亮度特征就能得到较 好的检索结果。因此，面临的问题不是“维数灾难”问题而是子片段较多造成关键帧较多， 引起特征向量的数量较多。针对上述问题，本方法。
22、中采用K-D tree对视频特征进行组织。 0039 K-D tree（K-Dimension tree）又称为多维二进制搜索树，是对数据点在k维空间 在k维空间中划分的一种数据结构，其中k表示搜索空间的维数。K-D tree树可以用来存 储对象信息，其中每个对象包括k维，一般被应用于文件的储存，数据库查找，网络的查找 等领域。K-D tree成功地将二叉搜索树推广到多维数据检索，本论文中用K-D tree来组 织视频的特征向量，K维空间中的一个点代表一个关键帧（即一个视频子片段）的特征向量。 不同于二叉搜索树，K-D tree的每个节点用K个关键字来做索引，其中每个关键字都表示K 维空间的一。
23、个维度值。 0040 一棵K-D tree，或为空树，或为满足一下特征的二叉树： 0041 （1）树中的每个节点P拥有K维向量VV 1 ,V 2 ,V k ，记为V(P)； 0042 （2）树的每一层都有一个分辨器(discrimination)，1d1scriminationK，表 示节点P处应表示哪个分量，用discrimination(P)表示； 0043 （3）树节点P指向左孩子和右孩子的指针分别用Left(P)和Right(p)表示。 0044 （4）对于树中任意节点P，令i=discrimination(P)，都满足以下特征：对于P左子 树中的任意节点L，满足V i (L)V i 。
24、(P)；对于P右子树中的任意节点R，满足V i (R)V i (P)； 同一层次的discrimination值相等，第一层的discrimination值discrimination(1) 1，第i层的discrimination值discrimination(i)i，第K层的discrimination值 discrimination(K)K，第K+1层discrimination(K+1)1，如此循环。 0045 其具体做法是将特征库中的所有颜色特征根据K-D tree的构造方法构建成为一 棵K-D tree。K-D tree的每一个节点是代表一个关键帧的特征，后续的查询计算中根据 K-。
25、D tree检索算法进行快速地检索。 0046 步骤二：相似片段的查询 0047 本步骤主要是在视频特征库中进行两轮不同粒度的检索。第一轮粗粒度的检索确 说 明 书CN 102890700 A 5/8页 7 定候选视频集，第二轮细粒度的检索确定相似片段在视频对象中的精确位置。最后综合考 虑视觉、时序、干扰因子对相似度的影响，对相似片段进行相似度进行计算并排序。 0048 步骤二的一个示例性实施步骤如下： 0049 (1)子片段的相似度计算 0050 为了提高检索的速度，本方法为每个视频子片段提取唯一的关键帧。于是，视频子 片段的相似度可以转化为关键帧的相似度，其具体定义为公式(2)。 0051。
26、 0052 其中，H i 、H j 分别为子片段C i 、C j 的关键帧f i 、f j 所对应的基于HSV颜色空间的 144bin的颜色直方图。 0053 (2)候选视频集的确定 0054 考虑到视频数据量大，处理要花费较长的时间，检索时间难以满足检索的需求。本 方法中首先对数据库中的视频进行筛选，去除不符合要求的视频对象。如果查询片段的每 个子片段都能在视频库中的某个视频对象中查找到与其相似的子片段，则它们之间存在相 似。基于这个原理筛选出不存在相似视频子片段的视频对象，构造候选视频集。其具体做 法是如下所示。 0055 输入：一个查询视频对象的子片段序列V q C q1 ,C q2 ,。
27、C qn ，视频数据库中的所 有视频对象的子片段集Clip i C d1 ,C d2 ,C dm ,i1,n。 0056 输出：候选视频集V c =C cl ，C c2 ，C cn 。 0057 （1）初始化，输入查询视频对象的子片段序列V q 以及视频数据库中的所有视频对 象的子片段集Clip i =C dl ，C d2 ，C dm ，i=1，n。 0058 （2）遍历查询视频对象的子片段序列，查找其在视频数据库中的所有视频对象的 子片段集的相似视频，构造相似子片段集SClip i =S d1 ，S d2 ，S dm ，i=1，.，n。 0059 （3）为相似子片段集中的每一个S di ，查。
28、找其对应的视频。于是，一个相似子片段集 SClip i 可以得到一个视频集S ci 。 0060 （4）对查询视频对象所有子片段对应的S ci 求他们的交集，交集记为候选视频集 V c =C c1 ，C c2 ，.，C cn 。 0061 候选视频集的确定过程计算简单，时间复杂度低，不会增加较多的额外的开销，并 且候选视频集的构造过程中能去除很大一部分与查询视频无关的视频集，能减少处理得数 据量，提高检索的效率。 0062 (3)相似片段的精确定位 0063 本方法中采用滑动子片段窗口进行相似片的精确定位。首先，定义匹配度。其次 计算滑动子片段窗口中的片段与查询片段的匹配度，并根据匹配度的高低。
29、确定相似片段的 位置。其具体做法如下述所示。 0064 为了确定查询视频片段和滑动子片段窗中的视频片段的匹配度，过滤伪相似的片 段，从而得到与查询片段真正相似的片段，首先先介绍查询视频片段的相似子片段集的定 义。 0065 相似子片段集。假定查询视频片段为V q ，当前滑动子片段窗中的子片段集合为V w ， 窗口的大小为len，对于查询片段V q 中的任一子片段C qi 定义C qi 的相似子片段集为S i 说 明 书CN 102890700 A 6/8页 8 C wj CSim(C qi ,C wj )a,i1,n q ,jn,n+1,n+2,n+len-1，则不相似子片段集 为V w -S。
30、 i 。其中CSim(C qi ,C wj )两个视频子片段的相似度，为视频子片段相似度的临界值， n为滑动窗口中第一个子片段的序号。 0066 按照相似子片段集合中包含子片段数目从少到多的顺序排列相似子片段集，如果 存在多个相似子片段集包含的子片段数目相同，则可将序号小的子片段的相似子片段集排 在前面。相似子片段集排序后记为OS i 。 0067 假设NV i 表示当前已经一一对应匹配的子片段数目，集合OI i 表示排在相似子片段 集OS i 前面的所有相似子片段集与OS i 的并集，则OS i 用公式(3)和公式(4)计算。 0068 0069 0070 其中|OS i |表示OI i 所。
31、含子片段数目，n q 为查询视频中子片段的数目。 0071 设集合NS i 表示已经被查询子片段匹配的相似子片段集合，即NS i 中的子片段已经 被匹配，不能再与后续的查询子片段匹配，则NS i 的公式计算为公式(5)。 0072 0073 因此，NV i 的计算式为公式(6)。 0074 0075 其中，n q 为查询视频片段中的子片段数目。当 i 0时，表明集合OI i 中仍然有 剩余的可匹配子片段，OS i NS i-1 NS i-1 表明相似子片段集OS i 中有可匹配的相似子片段 与当前查询子片段匹配。 i 0表明相似子片段集OI i 中的所有相似子片段已经与当前 查询子片段之前的查。
32、询子片段匹配，不能再与当前查询子片段匹配。 0076 匹配度的计算。设查询片段为V q ，子片段数为n q ，当前滑动子片段窗中的子片段集 合为V w ，窗口的大小为len，对于的相似子片段集为S i ， 0077 则视频片段V q 和V w 的匹配度的计算公式如公式(7)所示。 0078 0079 其中表示查询视频和滑动窗口中一一对应的视频子片段数目。 0080 相似片段精度定位的具体做法如下述所示。 0081 输入：一个查询视频对象的子片段序列V q =C q1 ,C q2 ,.,C qn ,候选视频集V c C c1 ,C c2 ,.,C cn 。 说 明 书CN 102890700 A。
33、 7/8页 9 0082 输出：n s 个相似视频片段，即相似片段集。 0083 （1）初始化，输入查询视频子片段序列V q ，以及候选视频集子片段序列V c ，设定滑 动窗口的大小len1.5n q 。 0084 （2）如果候选视频集子片段序列为空，算法停止，否则转第（3）步。 0085 （3）对于候选视频集子片段序列V c 中的每一个子片段C ci ，如果C ci 至少与查询视频 V q 中的一个子片段相似，则把C ci 记为M cj ，得到一组相似子片段的集合MClipM c1 ,M c2 , ,M cn 。 0086 （4）计算匹配度m qw 。如果相似子片段集合MClip为空，算法停。
34、止，否则在当前相似 子片段M cj ,1jn的位置使用滑动子片段窗口；计算查询视频片段V q 与滑动子片段窗 中片段V w 的匹配度m qw ，如果m qw 转第（5）步，否则jj+1，转第（4）步。 0087 （5）以一个子片段的增量移动滑动子片段窗口，计算每个子片段窗中视频片段V w 与查询视频片段V q 的匹配度m qw 。 0088 （6）确定相似视频。滑动子片段窗口后移窗口长度个单位后，选取匹配度大于等于 局部最大值中匹配度最大值所对应的序号就是相似片段的起始位置，从此位置处开始取 与滑动子片段窗口子片段个数相等的后续若干个子片段作为相似片段。 0089 jj+1，转至（4）。 00。
35、90 其中，的作用是选择使用滑动子片段窗口的子片段，只有当相似子片段对应的 子片段窗中片段与查询片段的匹配度大于时才继续进行匹配度计算，否则忽略该相似 子片段M cj ，的值可根据实验设定。 0091 (4)相似度的排序 0092 本方法中相似度的计算主要考虑包括视觉因子、时序因子以及干扰因子对相似度 的影响。 0093 视觉因子的计算如下述所示。用MaxC qs (i)表示查询片段V q 的某一个子片段C qi ， 与相似片段Vs中所有子片段的相似度最大值，V q 的子片段个数为n q ，则其计算公式为(8)。 0094 0095 其中，C sj 为相似视频的某一子片段。 0096 同理，用。
36、MaxC sq (i)表示相似片段Vs的某一个子片段C si ，与查询片段V q 中所有子 片段的相似度最大值，V s 的子片段个数为n s ，则其计算公式为(9)。 0097 0098 其中，C qj 为查询片段V q 的某一子片段。 0099 视觉因子定义如公式(10)所示。 0100 0101 顺序因子定义式为(11)所示。 0102 0103 其中n q 为查询视频的子片段个数，LCS(i,j)为查询片段与相似片段V s 的最长公 共子序列的长度。 0104 干扰因子计算式为公式(12)。 说 明 书CN 102890700 A 8/8页 10 0105 0106 其中n q 、n s。
37、 分别表示查询片段V q 与相似片段V s 中子片段的数量，N d 表示查询片段 V q 与相似片段V s 中找不到对应的相似子片段的子片段总个数。 0107 综合考虑视觉因子、时序因子以及干扰因子对相似度的影响，定义查询片段V q 与 它的相似片段V s 的总体相似程度计算式为(13)。 0108 S(V q ,V s ) v f v + o f o + i f i ( v + o + i 1)(13) 0109 其中 v 、 o 、 i 分别为视觉因子、顺序因子及干扰因子的权重值，该值可以通过 实验得出。本方法通过利用公式(13)，计算候选相似片段集中所有候选视频片段与查询视 频片段的总体相似度，并按照相似度高低得到最终结果。 0110 以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域的技术人员 能思及的变化，都应落入本发明的保护范围内。 说 明 书CN 102890700 A 10 1/3页 11 图1 说 明 书 附 图CN 102890700 A 11 2/3页 12 图2 说 明 书 附 图CN 102890700 A 12 3/3页 13 图3 说 明 书 附 图CN 102890700 A 13 。