基于草图手势及弧形摘要时间轴的视频交互方法和系统.pdf

本发明公开了基于草图手势及弧形摘要时间轴的视频交互方法和系统，将一段视频分割成N个镜头，从每个镜头中抽取出相应的关键帧，组成关键帧列表，对所述关键帧列表通过弧形排列形成摘要时间轴，获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串，建立基于所述摘要时间轴的弧形草图手势库，计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。本发明结合视频摘要和草图技术，提供了一种在移动设备上的视频呈现和交互浏览方法，实现方便快捷且可操作性强的目的。

权利要求书基于草图手势及弧形摘要时间轴的视频交互方法，其特征在于，所述视频交互方法具体包括：
A：将一段视频分割成N个镜头，N为整数且N≥2；
B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；
C：对所述关键帧列表通过弧形排列形成摘要时间轴；
D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
E：建立基于所述摘要时间轴的弧形草图手势库；
F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
如权利要求1所述的视频交互方法，其特征在于，所述步骤C具体包括：
C1：绘制两段同心圆弧；
C2：根据所述同心圆弧的外侧圆弧计算关键点；
C3：根据所述关键点确定每一帧的帧图片包围盒；
C4：去除图片的硬边界。
如权利要求1所述的视频交互方法，其特征在于，所述步骤E具体包括：
E1：选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；
E2：选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；
E3：选取顺时针圆作为视频全屏播放的弧形手势；
E4：选取逆时针圆作为取消视频全屏播放的弧形手势；
E5：分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
如权利要求1所述的视频交互方法，其特征在于，所述弧形草图手势库中还包括非弧形手势。
如权利要求1或3所述的视频交互方法，其特征在于，所述步骤E中建立弧形草图手势库时选取草图图形作为弧形手势的顺序不唯一，每种草图图形与弧形手势的一一对应关系也不唯一。
如权利要求1所述的视频交互方法，其特征在于，所述步骤F具体包括：
F1：遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；
F2：选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；
F3：调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
基于草图手势及弧形摘要时间轴的视频交互系统，其特征在于，所述系统具体包括：镜头分割模块、抽取关键帧模块、关键帧布局模块、获取轨迹点模块、手势建模模块和手势匹配模块；
所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；
所述抽取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；
所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴；
所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；
所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
如权利要求7所述的视频交互系统，其特征在于，所述关键帧布局模块具体包括：绘制同心圆弧模块、计算关键点模块、计算包围盒模块和去除硬边界模块；
所述绘制同心圆弧模块，用于绘制两段同心圆弧；
所述计算关键点模块，用于根据所述同心圆弧的外侧圆弧计算关键点；
所述计算包围盒模块，用于根据所述关键点确定每一帧的帧图片包围盒；
所述去除硬边界模块，用于去除图片的硬边界。
如权利要求7所述的视频交互系统，其特征在于，所述手势建模模块具体包括：向后拨动模块、向前拨动模块、全屏播放模块、取消全屏播放模块和打开播放列表模块；
所述向后拨动模块，用于选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；
所述向前拨动模块，用于选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；
所述全屏播放模块，用于选取顺时针圆作为视频全屏播放的弧形手势；
所述取消全屏播放模块，用于选取逆时针圆作为取消视频全屏播放的弧形手势；
所述打开播放列表模块，用于分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
如权利要求7所述的视频交互系统，其特征在于，所述手势匹配模块具体包括：距离计算模块、选取匹配结果模块和执行操作模块；
所述距离计算模块，用于遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；
所述选取匹配结果模块，用于选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；
所述执行操作模块，用于调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
一种弧形无硬边界可滑动的摘要时间轴生成方法，其特征在于，所述摘要时间轴生成方法具体包括：
A：将一段视频分割成N个镜头，N≥2且N为整数；
B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；
C：对所述关键帧列表通过弧形排列形成摘要时间轴。
如权利要求11所述的摘要时间轴生成方法，其特征在于，所述步骤C具体包括：
C1：绘制两段同心圆弧；
C2：根据所述同心圆弧的外侧圆弧计算关键点；
C3：根据所述关键点确定每一帧的帧图片包围盒；
C4：去除图片的硬边界。
一种弧形无硬边界可滑动的摘要时间轴生成系统，其特征在于，所述系统具体包括：镜头分割模块、获取关键帧模块和关键帧布局模块；
所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；
所述获取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；
所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴。
如权利要求13所述的摘要时间轴生成系统，其特征在于，所述关键帧布局模块具体包括：绘制同心圆弧模块、计算关键点模块、计算包围盒模块和去除硬边界模块；
所述绘制同心圆弧模块，用于绘制两段同心圆弧；
所述计算关键点模块，用于根据所述同心圆弧的外侧圆弧计算关键点；
所述计算包围盒模块，用于根据所述关键点确定每一帧的帧图片包围盒；
所述去除硬边界模块，用于去除图片的硬边界。
一种基于摘要时间轴的弧形草图手势建模和识别方法，其特征在于，所述弧形草图手势建模和识别方法具体包括：
D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
E：建立基于所述摘要时间轴的弧形草图手势库；
F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
如权利要求15所述的弧形草图手势建模和识别方法，其特征在于，所述建立基于所述摘要时间轴的弧形草图手势库具体包括：
E1：选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；
E2：选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；
E3：选取顺时针圆作为视频全屏播放的弧形手势；
E4：选取逆时针圆作为取消视频全屏播放的弧形手势；
E5：分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
如权利要求15所述的弧形草图手势建模和识别方法，其特征在于，所述步骤F具体包括：
F1：遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；
F2：选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；
F3：调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
一种基于摘要时间轴的弧形草图手势建模和识别系统，其特征在于，所述系统包括：获取轨迹点模块、手势建模模块和手势匹配模块；
所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；
所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
如权利要求18所述的弧形草图手势建模和识别系统，其特征在于，所述手势建模模块具体包括：向后拨动模块、向前拨动模块、全屏播放模块、取消全屏播放模块和打开播放列表模块；
所述向后拨动模块，用于选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；
所述向前拨动模块，用于选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；
所述全屏播放模块，用于选取顺时针圆作为视频全屏播放的弧形手势；
所述取消全屏播放模块，用于选取逆时针圆作为取消视频全屏播放的弧形手势；
所述打开播放列表模块，用于分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
如权利要求18所述的弧形草图手势建模和识别系统，其特征在于，所述手势匹配模块具体包括：距离计算模块、选取匹配结果模块和执行操作模块；
所述距离计算模块，用于遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；
所述选取匹配结果模块，用于选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；
所述执行操作模块，用于调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。

说明书基于草图手势及弧形摘要时间轴的视频交互方法和系统
技术领域
本发明涉及多媒体交互技术领域，尤其涉及基于草图手势及弧形摘要时间轴的视频交互方法和系统。
背景技术
随着全触屏手机、平板电脑等小型便携式移动设备的普及，越来越多的人选择在移动终端上检索和观看视频。
视频摘要又称视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。
现有技术中的基于时间轴的视频浏览方式，对于用户的操作方法有很大的限制，不方便用户在移动设备上操作和观看视频，无法满足用户的需求，阻碍视频浏览技术在移动平台上的发展，传统的视频浏览方式并没有体现出移动设备的方便快捷以及可操作性强的特点。
发明内容
（一）要解决的技术问题
针对上述缺陷，本发明要解决的技术问题是如何将视频摘要技术以及草图技术结合起来，实现在移动设备上方便快捷地对视频播放进行控制，提高视频在移动设备上的可操作性。
（二）技术方案
为解决上述问题，本发明提供了基于草图手势及弧形摘要时间轴的视频交互方法，所述视频交互方法包括：
A：将一段视频分割成N个镜头，N为整数且N≥2；
B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；
C：对所述关键帧列表通过弧形排列形成摘要时间轴；
D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
E：建立基于所述摘要时间轴的弧形草图手势库；
F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
为解决上述问题，本发明还提供了基于草图手势及弧形摘要时间轴的视频交互系统，所述视频交互系统包括：
镜头分割模块、抽取关键帧模块、关键帧布局模块、获取轨迹点模块、手势建模模块和手势匹配模块；
所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；
所述抽取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；
所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴；
所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；
所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
为解决上述问题，本发明还提供了一种弧形无硬边界可滑动的摘要时间轴生成方法，具体包括：
A：将一段视频分割成N个镜头，N≥2且N为整数；
B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；
C：对所述关键帧列表通过弧形排列形成摘要时间轴。
为解决上述问题，本发明还提供了一种弧形无硬边界可滑动的摘要时间轴生成系统，具体包括：镜头分割模块、获取关键帧模块和关键帧布局模块；
所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；
所述获取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；
所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴。
为解决上述问题，本发明还提供了一种基于摘要时间轴的弧形草图手势建模和识别方法，具体包括：
D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
E：建立基于所述摘要时间轴的弧形草图手势库；
F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
为解决上述问题，本发明还提供了一种基于摘要时间轴的弧形草图手势建模和识别系统，具体包括：获取轨迹点模块、手势建模模块和手势匹配模块；
所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；
所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；
所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
（三）有益效果
本发明提出了基于草图手势及弧形摘要时间轴的视频交互方法和系统，将视频摘要技术以及草图技术结合起来，实现在移动设备上方便快捷地对视频播放进行控制，提高视频在移动设备上的可操作性。
附图说明
图1为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法的流程图；
图2为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法的界面模型；
图3为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法中生成摘要时间轴模型的图解模型；
图4为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法中步骤C的具体流程图；
图5为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法中弧形手势图；
图6为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法中步骤E的流程图；
图7为本发明实施例一的基于草图手势及弧形摘要时间轴的视频交互方法中步骤F的流程图；
图8为本发明实施例二的基于草图手势及弧形摘要时间轴的视频交互系统的组成示意图；
图9为本发明实施例三的一种弧形无硬边界可滑动的摘要时间轴生成方法的步骤流程图；
图10为本发明实施例四的一种弧形无硬边界可滑动的摘要时间轴生成系统的组成示意图；
图11为本发明实施例五的一种基于摘要时间轴的弧形草图手势建模和识别方法的步骤流程图；
图12为本发明实施例六的一种基于摘要时间轴的弧形草图手势建模和识别系统的组成示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例一
本发明实施例一中提供了基于草图手势及弧形摘要时间轴的视频交互方法，步骤流程如图1所示，具体包括以下步骤：
步骤A：将一段视频分割成N个镜头，N为整数且N≥2。
具体的步骤包括：对一段视频中的每一帧计算其对于RGB空间的颜色直方图f(xi)，其中xi表示视频的第i帧，f(xi)=[xi1，xi2,…xin]为一个n维向量。对视频中每相邻的两帧，计算其它们的直方图距离