一种通过视频片段进行视频检索的新方法 【技术领域】
本发明属于视频检索技术领域，具体涉及一种通过视频片段进行视频检索的新方法。
背景技术
以图像和视频信息处理为核心的智能信息处理技术为人们充分利用多媒体信息提供了有力工具。但是，随着大规模图像与视频数据库的出现，信息系统必须处理的数据量大幅度递增，如何对这些数据库进行有效的索引与检索已成为多媒体信息处理领域中的瓶颈问题之一，基于内容的图像与视频检索方法为人们解决此问题开辟了新的途径。视频片段检索是基于内容的视频检索的主要方式，它是指给定一个查询片段，从视频库里找到所有与它相似的片段。
已有的片段检索方法可以分为两类：一、如文献“A Framework forMeasuring Video Similarity and Its Application to Video Query byExample”[Y.P.Tan，S.R.Kulkarni，and P.J.Ramadge，IEEEInternational Conference on Image Processing，Vol.2，pp.106-110，1999]所述，把视频片段分为片段-帧两层考虑，片段地相似性利用组成它的帧的相似性来直接度量。这类方法的缺点在于限制相似的片段必须遵守同样的时间顺序，而实际的视频节目并不遵守这种约束，因为后期编辑的结果使得相似的片段完全可能具有不同的镜头顺序，如同一个广告的不同编辑，同时这种基于每帧的比较，也使得检索速度比较慢。二、与本发明最为接近的现有技术是2001年在IEEE International Conference on Multimedia and Expo发表的文献“A Match and Tiling Approach to Content-based VideoRetrieval”(作者是L.Chen，and T.S.Chua，页码417-420)，该对比文献公开了一类片段检索方法，该方法把视频片段分为片段-镜头-帧三层考虑，它包括这样几个步骤：(1)先使用MRA(Temporal Multi-ResolutionAnalysis)方法检测镜头边界，然后对每个镜头的每一帧，进行颜色编码和纹理编码。颜色编码采用Y分量的均值μ和方差σ编码，纹理采用分形维特征(Fractal Dimension，FD)编码；(2)假设两个镜头内部的相似帧，按照时间顺序对应相似，因此计算两个镜头相似帧的最长序列，最终两个镜头的相似度，表示为上述3个特征的线性组合，确定相似阈值σL，判断两个镜头是否相似；(3)在此基础上，使用滑动窗口(Sliding Window)的办法，最终找到与查询片段相似的片段。这个方法能够同时进行精确检索和相似性检索，但它的问题在于：(1)只考虑了两个片段相似镜头的数量，而没有考虑多对多的镜头相似(粒度)对总体相似度的影响，因此，即使片段Y的所有镜头仅仅和片段X的一个镜头相似，Y也会被认为与X相似；(2)提出的假设并不成立，即两个镜头内部的相似帧，未必按照时间顺序对应相似；(3)镜头的相似性是根据两个镜头相似的最长帧序列来判断，这种基于每帧的比较，片段的检索速度比较慢。
【发明内容】
针对现有的视频片段检索方法所存在的缺陷，本发明的目的是提出一种通过视频片段进行视频检索的新方法，该方法能在现有技术的基础上大大提高基于内容的视频片段检索的查准率、查全率和检索速度，从而更加充分地发挥视频片段检索技术在当今网络信息社会中的巨大作用。
本发明的目的是这样实现的：一种通过视频片段进行视频检索的新方法，包括以下步骤：
(1)首先进行镜头边界检测，把查询片段X和视频库Y中的视频分割为镜头；
(2)然后用每个镜头的首帧来表示每个镜头的内容；两个镜头的相似值Similarity(xi，yj)是根据两个镜头的首帧计算的结果，其中xi，yj表示两个镜头，当Similarity(xi，yj)＞Ts，就认为两个镜头xi和yj相似，式中Ts为镜头相似的阀值，根据这个公式，检索出视频数据库Y中与查询片段X的镜头xi相似的所有镜头yj；
(3)建立片段检索的带权二分图模型，通过考察相似镜头的连续性，初步分割出与查询片段X相似的片段Yk；
(4)因为Yk可能包含了多个与X相似的片段YX，为了进一步得到YX，并能同时评价YX与X的相似度，采用最优匹配方法来计算k个二分图Gk＝{X，Yk，Ek}的最大权匹配M，从M中获取YX，同时用这个最大权来表示X与YX的相似度。
具体来说，在进行视频片段检索时，在步骤(2)中，利用最优匹配的片段长度约束设定阈值Ts，去掉不相似的镜头，阈值Ts为0～1，Ts最好为0.71。
再具体来说，在进行视频片段检索时，采用如下方法初步分割出视频库Y中与查询片段X相似的片段：将Y中与X相似的镜头yj按从小到大的顺序排序，然后考察yj的连续性，如果|yj+1-yj|＞2，j＝1，2，...，m-1，则初步得到一个与X相似的片段Yk＝{yi，yi+1，...，yj}，i，j∈[1，m]。
更进一步，如前面所述的使用片段长度的约束条件过滤掉Ts带来的不相似镜头，是通过两次约束来实现的：
(1)、采用最优匹配方法前的长度约束：为了避免不必要的计算，如果Yk的片段长度达不到要求，就直接过滤掉，即如果则忽略不计，n是查询片段X的长度；
(2)、采用最优匹配方法后的长度约束：取X关联最优匹配M的所有ωij＞0的y，从小到大排序为Y′＝{yα，yβ，...，yγ}，α，β，γ∈[i，j]，如果则忽略不计。
再具体来说，在进行视频片段检索时，因为Yk可能包含了多个与X相似的片段YX，为了进一步得到YX，同时，评价YX与X的相似度，本发明可以用Kuhn_Munkres方法来计算k个二分图Gk＝{X，Xk，Ek}的最大权匹配M，从M中获取YX，同时用这个最大权来表示X与YX的相似度，具体计算最优匹配的Kuhn_Munkres方法如下：
(1)给出初始标号l(xi)=maxjωij,l(yj)=0,i,j=1,2...,t,t=max(n,m);]]>
(2)求出边集El＝{(xi，yi)|l(xi)+l(yj)＝ωij}、Gl＝(X，Yk，El)及Gl中的一个匹配M；
(3)如M已饱和X的所有结点，则M即是G的最优匹配，计算结束，否则进行下一步；
(4)在X中找一M非饱和点x0，令A←{x0}，B←φ，A，B是两个集合；
(5)若NGl(A)=B,]]>则转第(9)步，否则进行下一步，其中，NGl(A)Yk，是与A中结点邻接的结点集合；
(6)找一结点y∈NGl(A)-B；
(7)若y是M饱和点，则找出y的配对点z，令A←A∪{z}，B←B∪{y}，转第(5)步，否则进行下一步；
(8)存在一条从x0到y的可增广路P，令M←ME(P)，转第(3)步；
(9)按下式计算α值：α=maxxi∈Ayj∉NGl(A){l(xi)+l(yj)-ωij},]]>修改标号：
根据l′求El′及Gl′；
(10)l←l′，Gl←Gl′，转第(6)步；
本发明定义Kuhn_Munkres方法为一个函数Kuhn_Munkres(X，Yk)，那么，荻取相似片段YX和评价YX与X相似度的方法描述如下：
(1)调用Kuhn_Munkres(X，Xk)，得到Gk＝{X，Yk，Ek}的最大权匹配M和最大权ω；
(2)取X关联M的所有ωij＞0的y，从小到大排序为Y′＝{yα，yβ，...，yγ}，α，β，γ∈[i，j]，在这个集合中，yα，yβ可能并不连续，即yβ-yα＞1，根据前面视频片段的定义和Yk中镜头都相似于X，本发明取yα与yγ之间的所有镜头构成连续片段YX＝{yα，yα+1，...，yγ}，α，γ∈[i，j]；
(3)如果|Y′|＜L，则YX忽略不计，计算结束，否则进行下一步；
(4)计算X与YX的相似度Similarity(X,YX)=ωn;]]>
(5)如果|X|≥|Yk|，计算结束，否则进行下一步；
(6)对于|X|＜|Yk|，在Yk取YX以后，看Yk剩下的片段能否继续使用Kuhn_Munkres方法，即如果(α-i)≥L，Yk←{yi，yi+1，yα-1}，转(1)；如果(j-γ)≥L，Yk←{yγ+1，yγ+2，...，yj}，转(1)；
取在上述第(4)步，本发明使用Similarity(X,Yx)=ωn]]>将Similarity(X，Yx)归一化到[0，1]之间，这个值越大，表明两个片段越相似，比较现有方法，这个公式简洁有效地评价了两个片段所能达到的最大相似度。
本发明的效果在于：采用本发明所述的视频片段检索方法，可以取得更高的查准率和查全率，同时也取得了更快的检索速度。
本发明之所以具有如此显著的技术效果，其原因在于：如前面技术内容所述，本发明充分考虑了片段相似性判断的视觉和粒度标准，提出用图论最优匹配的Kuhn_Munkres方法优化获取相似片段和评价两个片段的相似度。因为视频片段是由一组镜头组成，因此，本发明把检索过程分为镜头检索和片段检索这样两个阶段：1、在镜头检索上，本发明用每个镜头的首帧来表示每个镜头的内容，这种方法可以大大提高片段检索的速度；同时，为了保障检索得到的片段的完整性和正确性，本发明提出采用镜头相似的较低阈值和片段长度约束相结合的办法同时保障相似镜头高的查全率和查准率。2、在片段检索上，建立了片段检索的带权二分图模型，通过考察相似镜头的连续性初步得到一个个相似片段，再运用Kuhn_Munkres方法求得这些片段和查询片段的最大权匹配，匹配用于判断两个片段是否相似和确定相似片段的边界，最大权用于表示两个相似片段的相似度。本发明首次运用图论的最优匹配来解决视频检索问题，这是因为匹配的思想要求相似镜头必须一一对应(粒度)，在这个条件下，求出的最优匹配可以客观全面地反映两个片段相似的镜头数量和两个片段视觉相似的程度，从而避免了现有方法中镜头计算的粒度问题。实验结果表明，与具有同样功能的现有方法相比，无论是查准率、查全率，还是检索速度，本发明都取得了更好的效果。
【附图说明】
图1是片段检索的带权二分图模型示意图；
图2是本发明对网球比赛的检索结果；
图3是本发明对《黑洞》中人物片段的检索结果；
图4是本发明对《焦点访谈》片头的检索结果。
【具体实施方式】
下面结合附图对本发明作进一步详细的描述。
一种通过视频片段进行视频检索的新方法，包括以下步骤：
1、首先使用时空切片算法(spatio-temporal slice)进行镜头边界检测，把查询片段X和视频库Y中的视频分割为镜头，关于时空切片算法的详细描述可以参考文献“Video Partitioning by Temporal Slice Coherency”[C.W.Ngo，T.C.Pong，and R.T.Chin，IEEE Transactions on Circuits and Systems forVideo Technology，Vol.11，No.8，pp.941-953，August，2001]；
2、然后用每个镜头的首帧来表示每个镜头的内容；两个镜头的相似值Similarity(xi，yj)是根据两个镜头的首帧计算的结果，其中xi，yj表示两个镜头，接着，本发明设定阈值Ts＝0.71，当Similarity(xi，yj)＞Ts，就认为两个镜头xi和yj相似，根据这个公式，检索出视频数据库Y中与查询片段X的镜头xi相似的所有镜头yj；
3、建立片段检索的带权二分图模型，通过考察相似镜头的连续性，初步分割出与查询片段X相似的片段Yk。如图1所示，片段检索的带权二分图模型示意图G＝{X，Y，E}中，顶点集V＝X∪Y，X＝{x1，x2，...，xn}表示查询片段，Y＝{y1，y2，...，ym}表示视频库，边集E＝{eij}，eij表示镜头xi与yj相似，eij的权值ωij表示镜头xi与yj的相似值。
假设查询片段X＝{x1，x2，...，xn}，视频库Y＝{y1，y2，...，ym}(m＞＞n)，其中xi，yj表示镜头，那么，X与Y的相似镜头对应图，可以表示为图论中的带权二分图G＝{X，Y，E}，其中，顶点集V＝X∪Y，边集E＝{eij}，eij表示镜头xi与yj相似，eij的权值ωij表示镜头xi与yj的相似值，如图1所示。对视频库Y而言，与查询片段X相似的镜头是少数，大量的镜头并不相似，反映在图1，即关联边的结点yj是少数，大量的结点yl并没有边关联，因此，连续关联边的yj之间，一般会被多个连续非关联边的yl分隔开。利用这个性质，根据片段由连续镜头组成的定义，本发明首先将Y中与X相似的镜头yj按从小到大的顺序排序，然后考察yj的连续性，如果|yj+1-yj|＞2，j＝1，2，...，m-1，则初步得到一个与X相似的片段Yk＝{yi，yi+1，...，yj}，i，j∈[1，m]。
在得到片段Yk后，本发明采用片段长度的约束条件去掉低阈值带来的不相似镜头。即如果|Yk|＜L，则忽略不计。本发明取n是查询片段X的长度。
4、因为Yk可能包含了多个与X相似的片段YX，为了进一步得到YX，同时，评价YX与X的相似度，本发明使用Kuhn_Munkres方法来计算k个二分图Gk＝{X，Yk，Ek}的最大权匹配M，从M中获取YX，同时用这个最大权来表示X与YX的相似度，具体计算最优匹配的Kuhn_Munkres方法如下：
(1)给出初始标号l(xi)=maxjωij,l(yj)=0,i,j=1,2...,t,t=max(n,m);]]>
(2)求出边集El＝{(xi，yj)|l(xi)+l(yj)＝ωij}、Gl＝(X，Yk，El)及Gl中的一个匹配M；
(3)如M已饱和X的所有结点，则M即是G的最优匹配，计算结束，否则进行下一步；
(4)在X中找一M非饱和点x0，令A←{x0}，B←φ，A，B是两个集合；
(5)若NGl(A)=B,]]>则转第(9)步，否则进行下一步，其中，NGl(A)Yk，是与A中结点邻接的结点集合；
(6)找一结点y∈NGl(A)-B；
(7)若y是M饱和点，则找出y的配对点z，令A←A∪{z}，B←B∪{y}，转第(5)步，否则进行下一步；
(8)存在一条从x0到y的可增广路P，令M←ME(P)，转第(3)步；
(9)按下式计算α值：α=maxxi∈Ayj∉NGl(A){l(xi)+l(yj)-ωij},]]>修改标号：
根据l′求El′及Gl′；
(10)l←l′，Gl← Gl′，转第(6)步。
本发明定义Kuhn_Munkres方法为一个函数Kuhn_Munkres(X，Yk)，那么，获取相似片段YX和评价YX与X相似度的方法描述如下：
(1)调用Kuhn_Munkres(X，Yk)，得到Gk＝{X，Yk，Ek}的最大权匹配M和最大权ω；
(2)取X关联M的所有ωij＞0的y，从小到大排序为Y′＝{yα，yβ，...，yγ}，α，β，γ∈[i，j]，在这个集合中，yα，yβ可能并不连续，即yβ-yα＞1，根据前面视频片段的定义和Yk中镜头都相似于X，本发明取yα与yγ之间的所有镜头构成连续片段YX＝{yα，yα+1，...，yγ}，α，γ∈[i，j]；
(3)如果|Y′|＜L，则YX忽略不计(Kuhn_Munkres方法后的长度约束)，计算结束，否则进行下一步；
(4)计算X与YX的相似度Similarity(X,YX)=ωn;]]>
(5)如果|X|≥|Yk|，计算结束，否则进行下一步；
(6)对于|X|＜|Yk|，在Yk取YX以后，看Yk剩下的片段能否继续使用Kuhn_Munkres方法，即如果(α-i)≥L，Yk←{yi，yi+1，yα-1}，转(1)；如果(j-γ)≥L，Yk←{yγ+1，yγ+2，...，yj}，转(1)。
取在上述第(4)步，本发明使用Similarity(X,YX)=ωn]]>将Similarity(X，YX)归一化到[0，1]之间，这个值越大，表明两个片段越相似。比较现有方法，这个公式简洁有效地评价了两个片段所能达到的最大相似度。
下面用实验结果来说明本发明在视频片段检索中的优异表现。实验数据是从电视录制的几天节目，这个视频数据库非常具有挑战性，总共有3小时11分钟，4714个镜头，286936帧图像，包括了广告、新闻、体育、电影各种类型的节目，这里面有重复的相同视频片段，如新闻的片头、广告等；也有很多重复的相似视频片段，如体育节目中的不同网球比赛、不同时间长度和编辑的相同广告等。为了验证本发明的有效性，我们使用了现有方法作为实验对比，主要有这样两个原因：1、现有方法是目前所给出的实验数据最好的方法，也是最新的一种方法；2、与本发明功能一致，能够在视频库里自动分割出相似片段，然后按相似度从高到低排列这些相似片段。在视频片段检索中，除了查准率和查全率以外，检索速度也是非常重要的一个指标。比较现有方法，本发明首次测试了检索速度的指标，比较了两种方法的检索速度，使用的测试机器是PIII Dual CPU 1G Hz，内存256M。
图2、图3和图4是本发明的检索结果：上面一行是用户提交的查询片段，显示的是它每个镜头的首帧，下面是检索的结果，按照相似度递减的顺序先后排列。检索出的第一行即是查询片段本身，它的相似度当然是最高的，其余的片段按照相似度递减的顺序先后排列。可以看到，检索出的片段都和查询片段相似。其中，图2是关于网球比赛的片段；图3是电视剧《黑洞》中关于人物的场景；图4是《焦点访谈》的片头。具体的实验结果分别在表1和表2给出，表1中精确检索表示要检索的片段与查询片段基本一样，具有同样的镜头和帧序列，表2中相似性检索表示要检索的片段与查询片段仅仅具有相同的语义，如网球比赛，而颜色等低层特征较难利用。
表1 视频片段精确检索的实验结果 查询片段 帧 数 本发明 现有的方法 查准率 查全率 速度(秒) 查准率 查全率 速度(秒) 1、新闻的片头 832 100％ 100％ 9 75％ 100％ 230 2、足球新闻 715 100％ 100％ 11 100％ 100％ 196 3、汇源广告 367 100％ 100％ 21 33.3％ 100％ 97 4、光明广告 374 100％ 100％ 11 100％ 100％ 101 5、福临门广告 432 100％ 100％ 13 100％ 100％ 116 平 均 544 100％ 100％ 13 81.7％ 100％ 148
表2 视频片段相似性检索的实验结果 查询片段 帧 数 本发明 现有的方法 查准率 查全率速度(秒)查准率 查全率 速度(秒) 1、网球比赛 507 100％ 50％ 5 100％ 50％ 140 2、医生抢救病人 1806 100％ 50％ 13 50％ 50％ 507 3、TCL广告 374 100％ 100％ 12 85.7％ 100％ 100 4、脑白金广告 374 100％ 75％ 17 100％ 100％ 100 5、厦新广告 374 80％ 100％ 15 100％ 50％ 99 平 均 687 96％ 75％ 12 87.1％ 70％ 189
从表1和表2可以看到，无论是查准率，还是查全率，本发明都优于现有方法。主要原因在于现有方法仅仅计算两个片段相似镜头的数量，而本发明考虑了相似镜头的对应关系。另外，本发明的最大优点体现在片段的检索速度上，根据我们的实验，总的检索时间基本上是等于相似镜头判断的时间，现有方法采用按时间顺序逐帧比较的办法，而本发明只需比较每个镜头的首帧，因此本发明远远快于现有方法，快了一个数量级，基本上可以满足实时检索的需求。