《用于数字基带视频中场景剪切检测的启发式方法.pdf》由会员分享，可在线阅读，更多相关《用于数字基带视频中场景剪切检测的启发式方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103780801 A (43)申请公布日 2014.05.07 CN 103780801 A (21)申请号 201310631179.6 (22)申请日 2013.10.24 3101/MUM/2012 2012.10.25 IN H04N 5/14(2006.01) G06T 7/00(2006.01) (71)申请人 特克特朗尼克公司 地址 美国俄勒冈州 (72)发明人 K斯尔 (74)专利代理机构 中国专利代理(香港)有限公 司 72001 代理人 张涛 胡莉莉 (54) 发明名称 用于数字基带视频中场景剪切检测的启发式 方法 (57) 摘要 根据实施例用于。
2、检测视频中场景变化的视频 检测器包括用于接受该视频的输入， 用于计算两 个相邻视频帧之间的差异度量的差异度量计算 器， 用来检测差异度量计算器的输出是否包括位 于高斯分布的标准背离的阈值水平之外的测量的 异常检测器。也描述了方法。 (30)优先权数据 (51)Int.Cl. 权利要求书 1 页 说明书 4 页 附图 8 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书4页 附图8页 (10)申请公布号 CN 103780801 A CN 103780801 A 1/1 页 2 1. 一种用于检测在可以包括多个不同场景的视频中的场景变化的视频检测器， 该视频。
3、 包括多个帧， 每个帧由单独的像素组成， 该检测器包括 ： 输入， 用于接受该视频 ； 差异度量计算器， 用于计算两个相邻视频帧之间的差异度量 ； 异常检测器， 用来检测差异度量计算器的输出是否包括位于高斯分布的标准偏差的阈 值水平之外的测量 ； 以及 标识符， 构建来基于异常检测器的输出指示该视频具有场景变化。 2. 如权利要求 1 所述的用于检测场景变化的视频检测器， 其中， 差异度量计算器计算 两个相邻视频帧之间的均方根误差。 3. 如权利要求 2 所述的用于检测场景变化的视频检测器， 其中所述两个相邻视频帧是 以 YUV 格式表示的， 并且其中差异度量计算器计算所述两个相邻视频帧的亮度。
4、分量的均方 根误差。 4. 如权利要求 3 所述的用于检测场景变化的视频检测器， 进一步包括 ： 异常检测器验证器， 其构建来验证一对异常是基于来自在至少一个相同尺寸滑动窗中 的相同元素的数据。 5. 如权利要求 1 所述的用于检测场景变化的视频检测器， 进一步包括 ： 块失配计算器， 其构建来比较两个相邻帧的第一帧的块与两个相邻帧的第二帧的一组 块。 6. 如权利要求 6 所述的用于检测场景变化的视频检测器， 其中与两个相邻帧的第一帧 的所述块进行比较的两个相邻帧的第二帧的所述一组块是可配置的。 7. 一种用于检测在可以包括多个不同场景的视频中的场景变化的方法， 该方法包括 ： 在视频输入处。
5、接受至少两个视频帧 ； 计算两个相邻视频帧之间的差异度量 ； 检测差异度量计算器的输出是否包括位于高斯分布的标准偏差的阈值水平之外的测 量 ； 以及 基于异常检测器的输出指示该视频具有场景变化。 8. 如权利要求 7 所述的用于检测场景变化的方法， 其中， 计算两个相邻视频帧之间的 差异度量包括计算两个相邻视频帧之间的均方根误差。 9. 如权利要求 7 所述的用于检测场景变化的方法， 其中所述两个相邻视频帧是以 YUV 格式表示的， 并且计算两个相邻视频帧之间的差异度量包括计算所述两个相邻视频帧的亮 度分量的均方根误差。 10. 如权利要求 7 所述的用于检测场景变化的方法， 进一步包括 ： 。
6、验证一对异常是基于来自在至少一个相同尺寸滑动窗中的相同元素的数据。 11. 如权利要求 7 所述的用于检测场景变化的方法， 进一步包括 ： 比较两个相邻帧的第一帧的块与两个相邻帧的第二帧的一组块。 12. 如权利要求 11 所述的用于检测场景变化的方法， 其中与两个相邻帧的第一帧的所 述块进行比较的两个相邻帧的第二帧的所述一组块是可配置的。 权 利 要 求 书 CN 103780801 A 2 1/4 页 3 用于数字基带视频中场景剪切检测的启发式方法 技术领域 0001 本公开针对视频分析， 以及更具体地， 针对检测视频流中何时发生场景剪切。 背景技术 0002 视频序列由一组视频帧组成， 。
7、视频帧之间具有一定的时间间隔。作为给定 “场景 (scene)” 的一部分， 该场景内的视频帧具有时间一致性。场景剪切 (scene cut) 由于许多 因素例如视频编辑效果， 改变摄像机角度和艺术效果等等以及由于场景自身变化 而在视频序列中的各个点引入。 0003 图 1 示出了在视频中包含两个场景的一系列视频帧， 在该视频中从第一场景到第 二场景的场景变化是突然的。在突然的场景变化中， 在这些场景变化的任意一侧的帧是完 全不同的。 例如， 视频的第一个场景可以是一个人从外面靠近一栋建筑物， 然后该视频改变 场景到这个人从里面进入这栋建筑物的视图。在这个例子中， 第一个场景的最后一个帧和 第。
8、二个场景的第一个帧是根本不同的。其他场景变化在许多视频帧中逐步发生。这些逐步 的场景变化可以包括衰退、 擦除、 溶解， 等等。 本发明的实施例针对先提到的场景变化类型。 0004 有多种检测场景变化的方法， 但是他们可以宽泛地分类为两个类别之一分析 压缩视频流的类别和分析未压缩视频流的类别。后一种类型也称为未压缩像素域中的分 析， 并且是本发明所针对的类别。 0005 一种在未压缩视频流中检测场景变化的普遍方法是使用强度直方图。在该方法 中， 计算两个连续视频帧之间的直方图差异。然后该差异与阈值进行比较以决定在两个帧 之间是否发生场景剪切。这种方法的潜在缺陷是如何选择所述阈值。有时应用到视频序。
9、列 的所有帧的全局阈值会产生较好的结果， 但是其他时候局部阈值会更好。直方图方法的另 一个可能的限制是很难检测具有不同结构但具有相同像素值的两幅图像。 0006 本发明的实施例致力于现有技术的这些以及其他限制。 发明内容 0007 本发明的一些方面包括用于检测可以包括多个不同场景的视频中的场景变化的 方法。这样一种方法包括在视频输入处接受至少两个视频帧， 以及计算两个相邻视频帧之 间的差异度量。接着， 该方法检测差异度量计算器的输出是否包括在高斯分布的标准偏差 的阈值水平之外的测量。当存在这种异常时， 该方法指示该视频具有场景变化。差异度量 可以包括例如均方根误差。该方法还可以包括异常检测， 。
10、用于验证一对异常是基于来自在 至少一个相同尺寸的滑动窗中的相同元素的数据。 0008 本发明的其他方面包括用于检测可以包括多个不同场景的视频中的场景变化的 视频检测器， 其中该视频包括多个帧， 每一个帧由单独的像素组成。 这种视频检测器包括用 于接受视频的输入， 用于计算两个相邻视频帧之间的差异度量的差异度量计算器， 以及检 测所述差异度量计算器的输出是否包括在高斯分布的标准偏差的阈值水平之外的测量的 异常检测器。一旦计算完， 该视频检测器的标识符基于异常检测器的输出指示该视频具有 说 明 书 CN 103780801 A 3 2/4 页 4 场景变化。 附图说明 0009 图 1 示出了在视。
11、频中包含两个场景的一系列视频帧， 在该视频中从第一场景到第 二场景的场景变化是突然的。 。 0010 图 2 示出了通过本发明实施例使用的在没有场景剪切的帧区间中的相邻帧之间 的差异度量的行为。 0011 图 3 示出了通过本发明实施例使用的在有一个场景剪切的帧区间中的相邻帧之 间的差异度量的行为。 0012 图 4 是示出根据本发明的实施例检测视频中的场景剪切的示例方法的流程图。 0013 图 5 是根据本发明的实施例由用于错误警报检测器的块匹配方法所使用的示例 窗尺寸。 0014 图 6 是示意根据本发明的实施例检测针对视频中的场景剪切的错误警报的示例 方法的流程图。 0015 图 7 是。
12、示出根据本发明的实施例构造为识别视频的场景剪切的视频检测器的部 件的框图。 具体实施方式 0016 本发明的实施例采用统计建模来检测视频中的场景变化。 计算两个连续视频帧之 间的差异度量， 然后统计分析该度量的数据以寻找异常。 如果存在异常， 很可能是被用来计 算该度量的帧是来自不同的场景。该方法的变型被用来减少假阳性结果的概率。 0017 一个差异度量是均方根误差 (root mean squared error， RMSE)。在这个实施例 中， 针对以YUV格式表示的两个相邻帧的亮度分量计算RMSE， 该YUV是一种通常在流视频中 出现的格式， 其把亮度值增强到超过色度值。 0018 RM。
13、SE 公式阐述如下 ： 0019 RMSE= 平方根 (MSE)， 其中 0020 MSE= NX-(n-1)X*NX-(N-1)X) 图像中的像素数， 0021 其中 0022 NX是帧 N 中的亮度分量的像素 x ； 0023 (n-1)X是帧 N-1 中的亮度分量的像素 x ； 以及 0024 x 从 0 变化到 ( 帧亮度宽度 * 帧亮度高度 )。 0025 由 RMSE 值通过滑动窗展示的统计行为近似于高斯分布， 其中所述值的大部分以 均值为中心， 并且一些值在离该均值一个标准偏差内。 0026 图 2 示出了这种行为。图 2 是针对没有突然场景剪切的测试视频序列的样本数而 绘制的R。
14、MSE值的图表。 通过使用已知的属性， 即展示高斯属性的分布的样本的95位于离 均值两个标准偏差内， 可以假设位于离 RMSE 分布的均值两个标准偏差以外的任何东西可 以被认为是潜在的异常。图 3 示出了具有突然场景剪切的视频测试序列的 RMSE 值的图表。 很明显在图 3 中， 当大多数样本以均值为中心时， 存在具有约为 40 的 RMSE 值的一个异常， 该异常约为均值的 8 倍。该异常 RMSE 值对应于在该帧处的场景剪切， 该场景剪切已由人工 说 明 书 CN 103780801 A 4 3/4 页 5 检查确认。 0027 因此， 本发明的实施例以差异度量检测到异常， 所述差异度量例。
15、如是特定窗尺 寸的 RMSE 样本。一个这样的统计方法是 Huber 方法， 在 2001 年 4 月出版的第 6 卷 AMC Technical Brief中的题目为 “Robust Statistics ： a method of coping with outliers” 中详述， 其通过引用被结合于此。 0028 然而， 有时例如相机平移或缩放的影响、 文本标题的出现或在视频序列的两个连 续帧之间的一些丢帧也可能产生 RMSE 值的峰值。如果没有错误检测， 这些 RMSE 峰值会被 归类为异常， 并因此被错误地当做场景剪切。 为了使这种错误归属的可能性最小化， 本发明 的实施例包括如下。
16、描述的块匹配方法。 0029 图 4A-4C 示出了根据实施例的示例方法。流程 100 在操作 110 中从视频序列的第 一个帧开始。决定操作 114 检查当前帧是否是视频序列中的至少第二个帧。既然第一个帧 不是至少第二个帧， 决定操作114初始地向否方向退出， 并且流程100继续到获取视频序列 中的下一帧的操作 168( 图 4C)。由于该视频序列的末端还未到达， 决定操作 170 向否方向 退出， 并且流程 100 循环回到操作 114( 图 4A)。 0030 然后该流程继续到操作 116， 如下所述， 这里决定操作确定是否达到滑动窗的末 端。该滑动窗的尺寸可以由用户指定。假设还没到达该。
17、滑动窗的末端， 操作 116 向否方向 退出， 并且流程 100 继续过程 160( 图 4C)， 这里计算帧 N 和 N-1 之间的 RMSE 差异度量。 0031 然后操作 162 计算帧 N 和 N-1 之间的块失配百分比， 下面参考图 5 和 6 详细描述 该操作。 0032 接着， 流程100继续到操作164， 该操作将在操作160和162中分别计算的RMSE和 块失配百分比相组合， 并且该滑动窗的尺寸增加 1。 0033 然后流程 100 在操作 168 中选择视频序列中的下一帧。如果决定操作 170 确定还 没有达到该视频序列中的最后一帧， 则该流程 100 在处理 114 中再。
18、一次重复。 0034 又参照操作 116( 图 4A)， 如果相反已经到达该滑动窗的末端， 那么该流程 100 向 是方向退出决定操作 116。然后在操作 120 中采用例如上面描述的 Huber 方法的统计方法 确定异常。如果存在这种异常， 决定操作 122 向是方向退出， 并且在操作 124 中再次采用 Huber 方法以块失配百分比的方式确定异常。 0035 如果以块失配百分比的方式存在这种异常， 那么流程 100 继续操作 130， 该操作开 始一个序列来检查假阳性场景检测。 0036 为了检查这种假阳性， 首先决定操作140(图4B)检查循环索引是否小于该滑动窗 的尺寸。由于第一次通。
19、过该分支时该循环索引必须小于滑动窗的尺寸， 因此决定操作 140 向是方向退出。然后决定操作 142 验证在 RMSE 中的异常和块失配百分比的异常二者是指 向滑动窗中的相同元素。如果是， 那么决定操作 142 向是方向退出， 并且确定在帧号 (N- 滑 动窗尺寸 - 循环索引 ) 处存在场景剪切。然后在操作 146 中增加该循环索引， 并且该分支 继续回到操作 140， 直到循环索引等于滑动窗的尺寸。 0037 当循环索引等于滑动窗的尺寸时， 流程 100 继续到决定操作 150。如果在操作 144 中检测到场景剪切， 那么决定操作 150 向是方向退出， 并且在操作 152 中将用于 RM。
20、SE 和块 失配的数据从滑动窗中的场景剪切检测的点移动到滑动窗的开始， 并且流程 100 继续操作 160( 图 4C)。如果相反在操作 144 中没有检测到场景剪切， 那么决定操作 150 向否方向退 说 明 书 CN 103780801 A 5 4/4 页 6 出， 并且将用于 RMSE 和块失配二者的滑动窗统计从滑动窗尺寸的 1 2 移动到该滑动窗的 开始， 并且流程 100 再次继续操作 160( 图 4C)。 0038 下面参照图 5 和 6 描述操作 162( 图 4C) 中引用的块失配方法。在这些图中 ： P0 是帧 (N-1) 中的当前块的共位块 ； P0 ： P48 是当前块。
21、所匹配的帧 (N-1) 中的块 ； 以及 窗 X 和窗 Y 是匹配窗的用户可配置尺寸。 0039 现在参照图 6 中的流程 200 描述块匹配方法的要点。初始化操作 220 后， 在操作 222 中， 帧 N 和 N-1 被分为多个例如二维 1616 的块。虽然没有示出， 对于帧 N 中的每一个 块 “x” ， 也计算块 x 的亮度分量的均值作为均值 x。 0040 然后， 只要在决定操作230中块计算器没有达到最后的块， 就在操作240中对于帧 (N-1) 中的窗 X* 窗 Y 中的每一个块 “y” ， 计算块 y 的平均亮度分量作为均值 y， 并且与均值 x 进行比较。在决定操作 250 。
22、中， 如果均值 x 在误差容差范围之外， 例如每个均值 y 的五个 单位， 那么在操作 260 中增加块失配计数。接着在操作 270 中也增加块计数器。 0041 最后， 当这样针对每个块 x 对每个块 y 估值之后， 在操作 280 中计算块失配百分比 为 ( 块失配计数块的总数 )*100。 0042 块匹配方法的精炼包括采用不同于操作 122 中的 1616 的块尺寸。也可以存储 重叠的相邻块的均值， 使得不必在每个块中计算均值。 0043 用于检测可以包括多个不同场景的视频中的场景变化的场景变化检测器可以包 括如在图 7 中所示的元件。在图 7 中， 场景变化检测器 700 包括用于接。
23、受视频的输入。差 异度量计算器720用于如上参考图4A-4C所述计算两个相邻视频帧之间的亮度分量的差异 度量。在一些实施例中， 差异度量计算器可以计算两个相邻视频帧之间的均方根误差。 0044 场景变化检测器700也包括异常检测器730， 用来检测差异度量计算器720的输出 是否包括在高斯分布的标准偏差的阈值水平之外的测量。然后标识符 750 可以基于异常检 测器的输出指示该视频具有场景变化， 并且还可以指示场景变化的位置。 0045 场景变化检测器 700 也可以包括异常检测器验证器 732， 其构建来验证一对异常 是基于来自在至少一个相同尺寸滑动窗中的相同元素的数据。 这减少了当实际没有场。
24、景变 化时错误标注场景变化的可能性。 0046 场景变化检测器 700 也可以包括块失配计算器， 其构建来比较两个相邻帧的第一 帧的块与两个相邻帧的第二帧的一组块， 并且在一些实施例中， 该块失配计算器被构建来 对不同尺寸的块操作。在图 7 的功能框图中示出的任何功能可以由处理器 760 实现， 并且 可以存储在相关的内存 770 中。 说 明 书 CN 103780801 A 6 1/8 页 7 图 1 说 明 书 附 图 CN 103780801 A 7 2/8 页 8 图 2 图 3 说 明 书 附 图 CN 103780801 A 8 3/8 页 9 图 4A 说 明 书 附 图 CN 103780801 A 9 4/8 页 10 图 4B 说 明 书 附 图 CN 103780801 A 10 5/8 页 11 图 4C 说 明 书 附 图 CN 103780801 A 11 6/8 页 12 图 5 说 明 书 附 图 CN 103780801 A 12 7/8 页 13 图 6 说 明 书 附 图 CN 103780801 A 13 8/8 页 14 图 7 说 明 书 附 图 CN 103780801 A 14 。