一种压缩视频POI快速检测方法.pdf

本发明公开了一种压缩视频POI快速检测方法，属于视频处理领域。本发明的方法为：1)首先打开视频流或视频文件，提取其中的P帧获得宏块的运动补偿向量；2)根据前向运动补偿向量确定当前帧的镜头动作类型；3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证，得到符合目标帧镜头动作类型的起止范围；同时本发明还对起止帧进行多帧检测验证，以及对起止范围内帧进行筛选后输出。与现有技术相比，本发明不仅提高了处理速度，而且提高了POI检测的抗干扰能力和准确性。

1.  一种压缩视频POI快速检测方法，其步骤为：
1)打开视频流或视频文件，提取其中的P帧获得宏块的前向运动补偿向量；
2)根据前向运动补偿向量确定当前帧的镜头动作类型；
3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证，得到符合目标帧镜头动作类型的起止范围。

2.  如权利要求1所述的方法，其特征在于设定一扰动阈值，将小于设定阈值的所述前向运动补偿向量作为扰动舍弃。

3.  如权利要求1所述的方法，其特征在于对所述前向运动补偿向量进行滤波处理。

4.  如权利要求1或2或3所述的方法，其特征在于通过对所述前向运动补偿向量进行直方图统计，确定当前帧的镜头动作类型。

5.  如权利要求4所述的方法，其特征在于对所述前向运动补偿向量按照上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计，得出主运动方向、次主运动方向；然后将得到的主运动方向、次主运动方向与其它运动方向进行差值，计算其运动方向的显著性，确定当前帧对应的镜头动作类型。

6.  如权利要求1所述的方法，其特征在于所述起止范围的记录方法为：一致性验证过程中，通过记录符合所述目标帧镜头动作类型起始帧的帧号和结束帧的帧号，得到所述目标帧镜头动作类型的起止范围。

7.  如权利要求1所述的方法，其特征在于所述起止范围的记录方法为：一致性验证过程中，通过记录符合所述目标帧镜头动作类型起始帧的时间和结束帧的时间，得到所述目标帧镜头动作类型的起止范围。

8.  如权利要求6或7所述的方法，其特征在于所述起始帧的确定方法为：当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型一致时，对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证，如果均一致则将该当前帧作为所述起始帧。

9.  如权利要求6或7所述的方法，其特征在于所述结束帧的确定方法为：当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型不一致时，对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证，如果均不一致则将该当前帧作为所述结束帧。

10.  如权利要求1或6或7所述的方法，其特征在于对所述镜头动作类型起止范围内的帧进行筛选，其方法为：提取视频流或视频文件在该范围内的I帧，计算其边缘锐利程度，虑除边缘锐利程度小于设定阈值的帧；所述边缘锐利程度的计算方法为：统计每一I帧中所有边缘点与其各自8邻域内各像素差的绝对值之和，作为该帧的边缘锐利程度。

一种压缩视频POI快速检测方法
技术领域
本发明涉及一种压缩视频POI快速检测方法，属于视频处理、图像处理、基于内容的视频管理、视频中的POI(Picture of Instrest)检测和提取、计算机视觉等技术领域。
背景技术
随着数字视频的使用越来越广泛，迫切需要自动、有效的视频内容分析技术。摄像机的运动明确地反映了对观看者注意力的导向，是反映镜头动态内容的重要特征，有利于对镜头内容的高层语义推理。因此，摄像机运动检测是视频分析的重要内容之一，对于视频POI的检测和提取具有重要意义和实用价值。
在视频拍摄过程中，为达到特定的拍摄效果，摄像机可以按不同的方式运动。其中最主要的运动方式包括水平摇拍(pan)、俯仰摇拍(tilt)、镜头缩放(zoom in/out)等。摄像机运动检测即判断一个镜头中是否包含摄像机运动以及摄像机的运动属于哪种运动类型，检测并确定该运动类型后，即可从体育转播、视频监控、外景采集等所获得的视频流或视频文件中定位和提取POI帧图像。
根据处理的数据不同，现有的基于摄像机运动类型的POI检测方法主要可以分为两类：第一类方法将视频解压为图像序列后，通过图像序列的分析检测摄像机的运动。典型的方法有光流法、基于图像特征的运动模型估计法等。这类方法检测较为准确，但现有的方法计算量大，算法复杂不易实现。第二类方法直接使用MPEG压缩域数据，利用压缩域提供的运动矢量进行摄像机运动分析。这类方法不需要完全解压视频，效率较高，但是，由于编码量化误差、对缺乏纹理宏块计算的运动矢量不可靠等因素，运动矢量中含有大量的噪声，大大影响了该类方法的鲁棒性，本发明对压缩视频流和视频文件中的IBP帧分别处理，采用P帧过滤加速技术进一步提高了处理速度，用单帧主运动补偿向量分析技术和多帧运动补偿验向量验证技术提高了POI检测的抗干扰能力和准确性。
发明内容
本发明的目的在于提供一种压缩视频POI快速检测方法，本方法直接利用视频流中的宏块运动补偿信息，无需逐帧解压缩，根据量化后的宏块运动补偿向量进行统计分析，得出宏块运动补偿的统计特征及主运动方向，快速准确地判定镜头推拉、摇摆拍摄动作，得到起始与结束帧号或起止时间，从选定的范围内的参考帧图像中提取镜头推拉、摇摆时拍摄到的画面。
本发明的技术方案为：
一种压缩视频POI快速检测方法，其步骤为：
1)打开视频流或视频文件，提取其中的P帧获得宏块的前向运动补偿向量；
2)根据前向运动补偿向量确定当前帧的镜头动作类型；
3)将当前帧的镜头动作类型与目标帧的镜头动作类型进行一致性验证，得到符合目标帧镜头动作类型的起止范围。
进一步的，所述方法中设定一扰动阈值，将小于设定阈值的所述前向运动补偿向量作为扰动舍弃。
进一步的，所述方法中对所述前向运动补偿向量进行滤波处理。
进一步的，对所述前向运动补偿向量进行直方图统计，确定当前帧的镜头动作类型。
进一步的，对所述前向运动补偿向量按照上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计，得出主运动方向、次主运动方向；然后将得到的主运动方向、次主运动方向与其它运动方向进行差值，计算其运动方向的显著性，确定当前帧对应的镜头动作类型。
进一步的，所述起止范围的记录方法为：一致性验证过程中，通过记录符合所述目标帧镜头动作类型起始帧的帧号和结束帧的帧号，得到所述目标帧镜头动作类型的起止范围。
进一步的，所述起止范围的记录方法为：一致性验证过程中，通过记录符合所述目标帧镜头动作类型起始帧的时间和结束帧的时间，得到所述目标帧镜头动作类型的起止范围。
进一步的，所述起始帧的确定方法为：当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型一致时，对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证，如果均一致则将该当前帧作为所述起始帧。
进一步的，所述结束帧的确定方法为：当某一当前帧的镜头动作类型与所述目标帧的镜头动作类型不一致时，对其后续若干连续或间隔的帧镜头动作类型与所述目标帧的镜头动作类型继续进行一致性验证，如果均不一致则将该当前帧作为所述结束帧。
进一步的，对所述镜头动作类型起止范围内的帧进行筛选，其方法为：提取视频流或视频文件在该范围内的I帧，计算其边缘锐利程度，虑除边缘锐利程度小于设定阈值的帧；所述边缘锐利程度的计算方法为：统计每一I帧中所有边缘点与其各自8邻域内各像素差的绝对值之和，作为该帧的边缘锐利程度。
本发明的技术内容如下：
1.P帧过滤加速技术，即：根据视频流的帧存储格式，跳过其中的I帧和B帧，挑选视频流中各GOP(Group of Picture)中的P帧，获得当前帧宏块的前向运动补偿向量；
2.单帧主运动补偿向量分析技术，即：展开P帧得到宏块的前向运动补偿向量，可设定一扰动阈值把其中数值小于设定扰动阈值的向量作为扰动舍弃或进行必要的滤波处理，虑除扰动向量；然后把前向运动补偿向量按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计，找出其中的主运动方向和次主运动方向，通过与其他运动方向的差或比值确定其运动方向的显著性，找出当前帧对应的镜头动作类型；
3.多帧运动补偿验向量验证技术，即：在找出一帧符合目标帧动作类型要求的P帧后，连续或间隔地分析当前及后续GOP中P帧中的前向运动补偿向量，用步骤2的单帧主运动补偿向量分析技术确定其所反映的镜头动作类型，当与已找到的类型一致时则进行确认，记录有关帧号，动作的结束也用多帧确认，这样通过记录每个镜头动作的起始帧和结束帧，得到该镜头动作类型的帧范围；
4.关键帧筛选技术，即：在步骤3所得到的镜头动作范围内，仅提取其中的I帧，计算其边缘锐利程度，即统计其中边缘法向方向的灰度变化情况，取所有边缘点与其各自8邻域内各像素差的绝对值之和，值越大越清晰，记录其中相对清晰的帧号，当任务需要输出对应的图像时则根据此帧号提取相应的I帧图像予以保存。
本发明的积极效果为：
本发明针对体育转播、视频监控、外景采集等所获得的视频流或视频文件，依托视频流和视频文件的运动补偿技术、向量量化和统计技术，快速判定和提取压缩视频中的镜头推拉、摇摆拍摄动作，仅需知道视频流或文件中帧的存储格式，无需逐帧解压缩视频流，直接利用视频流中的宏块前向运动补偿信息，量化后进行统计分析，根据统计特征找出镜头水平摇拍(pan)、俯仰摇拍(tilt)、镜头缩放(zoom in/out)等动作拍摄的起始与结束帧号，可快速准确地定位和提取相应时段内拍摄到的画面。
具体实施方式
实施例1：得到POI所处帧号或时间
1.打开视频流或视频文件；
2.应用本发明的P帧过滤加速技术，无需解压，跳过其中的I帧和B帧，挑选视频流中的P帧，展开后获得当前帧宏块的前向运动补偿向量；
3.应用单帧主运动补偿向量分析技术，首先设定一扰动阈值，把前向运动补偿向量中数值小于设定扰动阈值的向量作为扰动舍弃，然后按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计，得到当前帧的前向运动补偿向量场的分布规律，确定当前帧的镜头运动类型；
4.应用多帧运动补偿验向量验证技术，通过后连帧对已找到的运动类型的P帧进行验证，确认时开始记录有关帧号，否则跳到下一个P帧返回第3步重新查找；动作的结束也用多帧确认，这样通过记录每个镜头动作的起始帧和结束帧，得到该镜头动作类型的帧范围；
5.确定镜头动作的起止范围后，以时间或者帧号的形式输出该范围。
实施例2：提取POI图像
1.打开视频流或视频文件；
2.应用本发明的P帧过滤加速技术，无需解压，跳过其中的I帧和B帧，挑选视频流中的P帧，展开后获得当前帧宏块的前向运动补偿向量；
3.应用单帧主运动补偿向量分析技术，首先对前向运动补偿向量进行滤波处理，然后按上、下、左、右、左上、左下、右上、右下8个方向进行直方图统计，得到当前帧的前向运动补偿向量场的分布规律，确定当前帧的镜头运动类型；
4.应用多帧运动补偿验向量验证技术，通过后连帧对已找到的运动类型的P帧进行验证，确认时开始记录有关帧号，否则跳到下一个P帧返回第3步重新查找；动作的结束也用多帧确认，这样通过记录每个镜头动作的起始帧和结束帧，得到该镜头动作类型的帧范围；
5.确定镜头动作的起止范围后，应用关键帧筛选技术，提取I帧图像，计算其边缘锐利程度，选择其中相对清晰帧图像予以保存。