基于草图手势及弧形摘要时间轴的视频交互方法和系统

本发明公开了基于草图手势及弧形摘要时间轴的视频交互方法和系统，将一段视频分割成N个镜头，从每个镜头中抽取出相应的关键帧，组成关键帧列表，对所述关键帧列表通过弧形排列形成摘要时间轴，获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串，建立基于所述摘要时间轴的弧形草图手势库，计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。本发明结合视频摘要和草图技术，提供了一种在移动设备上的视频呈现和交互浏览方法，实现方便快捷且可操作性强的目的。

1.基于草图手势及弧形摘要时间轴的视频交互方法，其特征在于，所述视频交互方法具体包括：A：将一段视频分割成N个镜头，N为整数且N≥2；B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；C：对所述关键帧列表通过弧形排列形成摘要时间轴；D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；E：建立基于所述摘要时间轴的弧形草图手势库；F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
2.如权利要求1所述的视频交互方法，其特征在于，所述步骤C具体包括：C1：绘制两段同心圆弧；C2：根据所述同心圆弧的外侧圆弧计算关键点；C3：根据所述关键点确定每一帧的帧图片包围盒；C4：去除图片的硬边界。
3.如权利要求1所述的视频交互方法，其特征在于，所述步骤E具体包括：E1：选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；E2：选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；E3：选取顺时针圆作为视频全屏播放的弧形手势；E4：选取逆时针圆作为取消视频全屏播放的弧形手势；E5：分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
4.如权利要求1所述的视频交互方法，其特征在于，所述弧形草图手势库中还包括非弧形手势。
5.如权利要求1或3所述的视频交互方法，其特征在于，所述步骤E中建立弧形草图手势库时选取草图图形作为弧形手势的顺序不唯一，每种草图图形与弧形手势的一一对应关系也不唯一。
6.如权利要求1所述的视频交互方法，其特征在于，所述步骤F具体包括：F1：遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；F2：选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；F3：调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
7.基于草图手势及弧形摘要时间轴的视频交互系统，其特征在于，所述系统具体包括：镜头分割模块、抽取关键帧模块、关键帧布局模块、获取轨迹点模块、手势建模模块和手势匹配模块；所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；所述抽取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴；所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作。
8.如权利要求7所述的视频交互系统，其特征在于，所述关键帧布局模块具体包括：绘制同心圆弧模块、计算关键点模块、计算包围盒模块和去除硬边界模块；所述绘制同心圆弧模块，用于绘制两段同心圆弧；所述计算关键点模块，用于根据所述同心圆弧的外侧圆弧计算关键点；所述计算包围盒模块，用于根据所述关键点确定每一帧的帧图片包围盒；所述去除硬边界模块，用于去除图片的硬边界。
9.如权利要求7所述的视频交互系统，其特征在于，所述手势建模模块具体包括：向后拨动模块、向前拨动模块、全屏播放模块、取消全屏播放模块和打开播放列表模块；所述向后拨动模块，用于选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；所述向前拨动模块，用于选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；所述全屏播放模块，用于选取顺时针圆作为视频全屏播放的弧形手势；所述取消全屏播放模块，用于选取逆时针圆作为取消视频全屏播放的弧形手势；所述打开播放列表模块，用于分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
10.如权利要求7所述的视频交互系统，其特征在于，所述手势匹配模块具体包括：距离计算模块、选取匹配结果模块和执行操作模块；所述距离计算模块，用于遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；所述选取匹配结果模块，用于选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；所述执行操作模块，用于调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
11.一种弧形无硬边界的摘要时间轴生成方法，其特征在于，所述摘要时间轴生成方法具体包括：A：将一段视频分割成N个镜头，N≥2且N为整数；B：从每个镜头中抽取出相应的关键帧，组成关键帧列表；C：对所述关键帧列表通过弧形排列形成摘要时间轴；所述步骤C具体包括：C1：绘制两段同心圆弧；C2：根据所述同心圆弧的外侧圆弧计算关键点；C3：根据所述关键点确定每一帧的帧图片包围盒；C4：去除图片的硬边界。
12.一种弧形无硬边界的摘要时间轴生成系统，其特征在于，所述系统具体包括：镜头分割模块、获取关键帧模块和关键帧布局模块；所述镜头分割模块，用于将一段视频分割成N个镜头，N≥2且N为整数；所述获取关键帧模块，用于从每个镜头中抽取出相应的关键帧，组成关键帧列表；所述关键帧布局模块，用于对所述关键帧列表通过弧形排列形成摘要时间轴；所述关键帧布局模块具体包括：绘制同心圆弧模块、计算关键点模块、计算包围盒模块和去除硬边界模块；所述绘制同心圆弧模块，用于绘制两段同心圆弧；所述计算关键点模块，用于根据所述同心圆弧的外侧圆弧计算关键点；所述计算包围盒模块，用于根据所述关键点确定每一帧的帧图片包围盒；所述去除硬边界模块，用于去除图片的硬边界。
13.一种基于摘要时间轴的弧形草图手势建模和识别方法，其特征在于，所述弧形草图手势建模和识别方法具体包括：D：获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；E：建立基于所述摘要时间轴的弧形草图手势库；F：计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作；所述建立基于所述摘要时间轴的弧形草图手势库具体包括：E1：选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；E2：选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；E3：选取顺时针圆作为视频全屏播放的弧形手势；E4：选取逆时针圆作为取消视频全屏播放的弧形手势；E5：分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
14.如权利要求13所述的弧形草图手势建模和识别方法，其特征在于，所述步骤F具体包括：F1：遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；F2：选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；F3：调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。
15.一种基于摘要时间轴的弧形草图手势建模和识别系统，其特征在于，所述系统包括：获取轨迹点模块、手势建模模块和手势匹配模块；所述获取轨迹点模块，用于获取用户在触摸屏或所述摘要时间轴上留下的一条或多条轨迹，并计算轨迹点，得到一串表征用户手势的字符串；所述手势建模模块，用于建立基于所述摘要时间轴的弧形草图手势库；所述手势匹配模块，用于计算所述用户手势与所述弧形草图手势库中的各个标准手势之间的距离，获得与所述用户手势的距离最近的标准手势为匹配结果，并执行相应的操作；所述手势建模模块具体包括：向后拨动模块、向前拨动模块、全屏播放模块、取消全屏播放模块和打开播放列表模块；所述向后拨动模块，用于选取逆时针圆弧作为向后拨动所述摘要时间轴的弧形手势；所述向前拨动模块，用于选取顺时针圆弧作为向前拨动所述摘要时间轴的弧形手势；所述全屏播放模块，用于选取顺时针圆作为视频全屏播放的弧形手势；所述取消全屏播放模块，用于选取逆时针圆作为取消视频全屏播放的弧形手势；所述打开播放列表模块，用于分别选取逆时针和顺时针，两条方向分离的圆弧作为打开播放列表功能的弧形手势。
16.如权利要求15所述的弧形草图手势建模和识别系统，其特征在于，所述手势匹配模块具体包括：距离计算模块、选取匹配结果模块和执行操作模块；所述距离计算模块，用于遍历所述弧形草图手势库中的标准手势，计算与所述表征用户手势的字符串之间的编辑距离；所述选取匹配结果模块，用于选取所述编辑距离最小的标准手势作为与用户手势的字符串近似的匹配结果；所述执行操作模块，用于调用所述匹配结果中的标准手势在所述弧形草图手势库中的功能，并执行相应的操作。