自动产生多媒体内容项目的概要的方法和装置.pdf

自动产生在步骤(101)中输入的多媒体内容项目的概要。在步骤(105)中确定多媒体内容项目的内容的感觉步速。该多媒体内容项目包括多个段。在步骤(107)中选择多媒体内容项目的至少一个段，以便在步骤(109)中产生概要，其具有类似于在步骤(105)中确定的多媒体内容项目的感觉步速的步速。

1.  一种自动产生多媒体内容项目的概要的方法，该方法包括以下步骤：
确定多媒体内容项目的内容的感觉步速，所述多媒体内容项目包括多个段；
选择所述多媒体内容项目的至少一个段来产生所述多媒体内容项目的概要，使得所述概要的步速类似于所确定的所述多媒体内容项目的内容的感觉步速。

2.  根据权利要求1的方法，其中，基于镜头持续时间、运动活动性和音频响度中的至少一个来确定所述多媒体内容项目的内容的感觉步速。

3.  根据权利要求2的方法，其中，基于镜头持续时间中的至少一个来确定所述多媒体内容项目的内容的感觉步速是通过：
确定所述多媒体内容项目的内容的镜头的持续时间的分布进行的。

4.  根据权利要求3的方法，其中，确定所述多媒体内容项目的内容的镜头的持续时间的分布包括以下步骤：
检测所述多媒体内容项目的内容的镜头边界；和
通过计数具有在预定范围内的持续时间的镜头的数量，或者通过平均镜头持续时间并计算所述镜头持续时间的标准偏差来确定分布。

5.  根据之前任何一个权利要求的方法，其中，选择所述多媒体内容项目的至少一个段的步骤包括以下步骤：
为所述多媒体内容项目的每个段提取至少一个内容分析特征；
向每个段分配分数，该分数是所述提取的内容分析特征的函数；和
选择至少一个最大化分数函数的段。

6.  根据权利要求1到4的任何一个的方法，其中，选择所述多媒体内容项目的至少一个段的步骤包括以下步骤：
在整个多媒体内容项目之上确定感觉步速的分布；
确定所述概要的持续时间；和
选择所述多媒体内容项目的至少一个段，该段在所述确定的概要持续时间上具有类似于所述多媒体内容项目的确定的感觉步速分布的步速分布。

7.  一种计算机程序产品，包括多个程序代码部分，用于执行根据权利要求1到6中任何一个的方法。

8.  一种自动产生多媒体内容项目的概要的装置，该装置包括：
确定多媒体内容项目的内容的感觉步速的处理器，所述多媒体内容项目包括多个段；
选择器，用于选择所述多媒体内容项目的至少一个段来产生所述多媒体内容项目的概要，使得所述概要的步速类似于所确定的所述多媒体内容项目的内容的感觉步速。

自动产生多媒体内容项目的概要的方法和装置
技术领域
本发明涉及自动产生多媒体内容项目的概要。更具体而言，本发明涉及自动产生概要，该概要具有的步速(pace)类似于多媒体内容项目的感觉步速，该多媒体内容项目例如是诸如电影、TV节目或实况广播之类的视频序列。
背景技术
当前的硬盘和光盘视频录像机允许用户存储成百小时的多媒体数据，诸如TV节目，这些已知的设备中的一些产生视频预览，该预览向用户提供所存储内容的快速概述，然后用户就可以决定是否观看整个节目。在这种已知设备中，分析所记录的节目以便自动创建视频预览或概要。
视频概要应当满足的一个重要要求就是重新创建原始节目的气氛(atmosphere)，以便让用户清楚是否对该节目感兴趣。但是，当前的视频概要产生方法并不考虑原始节目的气氛以便将它们的概要产生算法适用于节目的每种风格和类型。这样，用户在观看概要时，并不清楚节目的类型也不知道是否对该节目感兴趣。
发明内容
因此，期望有一种概要产生系统和方法，其能够产生反映诸如电影或TV节目之类的多媒体内容项目的气氛的概要：让观众知道节目的类型的概要。
根据本发明第一方面，这是通过一种自动产生多媒体内容项目的概要的方法实现的，该方法包括以下步骤：确定多媒体内容项目的内容的感觉步速，该多媒体内容项目包括多个段；选择该多媒体内容项目的至少一个段来产生该多媒体内容项目的概要，使得该概要的步速类似于所确定的多媒体内容项目的内容的感觉步速。
根据本发明第二方面，这也通过一种自动产生多媒体内容项目的概要的装置来实现，该装置包括：确定多媒体内容项目的内容的感觉步速的处理器，该多媒体内容项目包括多个段；选择该多媒体内容项目的至少一个段来产生该多媒体内容项目的概要，使得该概要的步速类似于所确定的多媒体内容项目的内容的感觉步速的选择器。
在很大程度上，节目的气氛由节目的步速来确定。根据本发明，模仿多媒体内容项目的原始感觉步速而自动产生概要，从而向用户提供该项目(电影或节目等等)的真实气氛更好的表示。例如，如果电影具有慢的步速(例如，浪漫电影)就产生慢的步速，如果电影具有快的步速(例如，动作电影)就产生快的步速。
多媒体内容项目的内容的感觉步速可以基于镜头持续时间(shotduration)、运动活动性和/或音频响度来确定。导演们在编辑期间通过调整镜头的持续时间来设置电影的步速。短的镜头让观众感觉到动作和快的步速。相反，长镜头给观众感觉平静和慢的步速。结果，多媒体内容项目的感觉步速可以简单地从镜头持续时间的分布来确定。此外，运动活动性在快步速多媒体内容项目中更大，而音频响度不变地在脸部(face)快速步速多媒体内容项目中更大。因此，多媒体内容项目的感觉步速可以容易地从这些特征中获得。
如果基于镜头持续时间确定，那么可以从镜头持续时间的分布来确定感觉步速。所述分布可以从一个范围内镜头持续时间的计数以便形成柱状图来确定，或者可替换地从镜头持续时间的平均及其标准持续时间来确定，或者可替换地，可以计算其他更高阶的力矩(moment)。检测镜头边界的算法是众所周知的，因此镜头持续时间以及它们的分布可以使用简单的统计技术简单容易地获得。
选择至少一个用于概要的段可以通过为每个段提取至少一个内容分析特征、向每个段分配一个作为所提取内容分析特征的函数的分数、并选择使分数函数最大的段来实现。可替换地，可以这样选择段以便使所选择的段在概要持续时间上给出类似于在整个内容项目上的感觉步速分布的步速分布。
附图说明
为了更完整地了解本发明，现在联系附图对以下描述做出参考，其中：
图1是根据本发明优选实施例的方法步骤的流程图。
具体实施方式
将参考图1来描述本发明的实施例。在步骤101，输入多媒体内容项目，诸如电影、TV节目或实况广播。例如，在视频录像机的情况下，多媒体内容项目被记录和存储在硬盘或光盘等等之上。在步骤103，该多媒体内容项目被分段。该分段优选地基于镜头。可替换地，多媒体内容项目可以基于时隙被分段。在步骤105，确定多媒体内容项目的感觉步速。然后在步骤107，选择段，以便在步骤109产生概要，使得该概要具有与多媒体内容项目的感觉步速类似的步速。
现在将更详细地描述确定感觉步速的步骤。
根据本发明的第一实施例，通过镜头持续时间分布来确定多媒体内容项目的感觉步速。
首先，使用任何已知的镜头转换检测算法来检测镜头边界。如果获得了镜头边界的位置，那么就计算镜头的持续时间。通过计数在视频节目中有多少镜头落在预定范围之内来分析镜头持续时间的分布。通过这个方法，构建了镜头持续时间分布的柱状图，其中每个柱体(bin)表示特定的镜头持续时间范围(例如，小于1秒，1和2秒之间、2和3秒之间，等等)。柱状图柱体(histogrambin)的值表示所找到的具有对应于柱状图柱体的持续时间限制的特定持续时间的镜头的数量。
也可以使用其他建模分布的方法。例如，在更简单的实施例中，镜头持续时间分布可以使用镜头持续时间平均和标准偏差来建模。在另一个实施例中，除了标准偏差，可以计算其他更高阶的力矩(moment)。
从镜头持续时间分布确定多媒体内容项目的感觉步速。
然后对多媒体内容项目进行分段。这可以基于所检测的镜头边界进行。可替换地，该多媒体内容项目可以在预定的时隙中或者基于内容分析来分段。
根据第二实施例，多媒体内容项目的感觉步速不仅仅从镜头持续时间获得(镜头持续时间分布)，也可以通过运动量和音频响度来获得。例如，运动和音频响度的增加指示感觉步速的增加。使用运动和音频响度来获得感觉步速被公开在：chapter 4，pages 58-84 of“Formulating Film Tempo”in“Medi aComputing-ComputationalMedi aAesthetics”；Adams B，Dovai C.，Venkatesh S.，edited byChitra Dorai，Svetha Venkatesh，Kluwer Academic Publshers，2002.
在可替换实施例中，可以从感觉步速分布确定感觉步速。这可以通过首先计算感觉步速的量度然后在镜头之中提取其分类来建模。
在感觉步速或感觉步速分布已经被计算之后(或者使用镜头持续时间分布或通过计算步速函数)，本发明的方法选择最匹配感觉步速或分布概要的段。
根据第一替换，段的选择是通过使用重要性分数函数来进行的。
在自动视频产生概要的当前方法中具有与其相关联的数学分数(重要性分数)。该分数是从内容提取的内容分析特征(CA特征)(例如：亮度、对比度、运动等)的函数。段选择涉及选取最大化重要性分数函数的段。该概要的重要性分数函数I_summary可以表示为概要的内容分析特征CAfeatures summary的函数F如下：
I_summary＝F(CA featuressummary)
为了产生也模仿多媒体内容项目(或原始节目)的感觉步速的概要，作为原始节目步速分布Ψ_program和概要步速分布Ψ_summary之间距离的惩罚分数被减去，给出了如下的重要性分数：
I_summary＝F(CA featuressummary)-α·dist(Ψ_summary-Ψ_program)
其中dist(Ψ_summary-Ψ_program)是非负值，表示原始节目步速分布和概要步速之间的差值，α是定标因子，用于归一化分布之间的距离，并使其可与函数F假设的典型值相比。
dist(Ψ_summary-Ψ_program)可以是诸如L1，L2的分布、柱状图交集、推土机距离(earth movers distance)等等之间的任何距离量度。如果使用简单的镜头持续时间平均值建模距离，那么该距离简单地是：
dist(Ψ_summary-Ψ_program)＝|d_summary-d_program|
其中d_summary是概要中的平均镜头持续时间，d_program是多媒体内容项目的平均镜头持续时间。然后可以选择段来最大化重要性分数I_summary。
根据第二替换实施例，通过段的预分配来进行段的选择。
给定多媒体内容项目的内容的感觉步速分布和概要的期望持续时间，那么就为概要的持续时间创建新的步速分布，其具有与感觉步速分布相同的形状。从多媒体内容项目中选择段，使其适合于新创建的分布。该新创建的分布对于每个步速范围，指示必须使用该特别步速选择的镜头数量。选择过程为每个步速范围选择具有最高重要性分数的镜头(根据已知的概要方法)，直到达到所分配的量。通过这个方法，创建的概要具有与多媒体内容项目相同的步速分布。
例如，假设多媒体内容项目包含30％的镜头小于3秒，60％的镜头的持续时间在3到8秒之间，10％的镜头大于8秒，并且该概要长度是100秒。
结果，该概要的30秒需要由短镜头(小于3秒)组成，60秒需要由具有在3到8秒的持续时间的镜头组成，10秒需要由长镜头(大于8秒)组成。
根据本发明的方法，选择具有最高重要分数的小于3秒直到填充了所需的30秒的镜头。然后对于具有3和8秒之间的持续时间的镜头，和对于长的镜头(大于8秒)重复相同的方法。
也可以引入容限余量。在之前的实例中，为长的镜头(大于8秒)分配10秒。显然，仅仅可以选择一个镜头。该镜头不必正好是10秒，例如9或12秒也是可以的。
虽然本发明的优选实施例已经在附图中示出且在之前的说明书中进行了描述，但是应当理解本发明并不限于所公开的实施例，而是可以做出各种修改，而不背离以下权利要求中陈述的本发明的范围。