《基于人机交互生成视频深度图序列的方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于人机交互生成视频深度图序列的方法及系统.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102196292 A (43)申请公布日 2011.09.21 CN 102196292 A *CN102196292A* (21)申请号 201110174037.2 (22)申请日 2011.06.24 H04N 13/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) (71)申请人 清华大学 地址 100084 北京市海淀区 100084-82 信箱 (72)发明人 戴琼海 晏希 (74)专利代理机构 北京清亦华知识产权代理事 务所 ( 普通合伙 ) 11201 代理人 张大威 (54) 发明名称 基于人机交互。
2、生成视频深度图序列的方法及 系统 (57) 摘要 本发明提出一种基于人机交互生成视频深度 图序列的方法和系统， 其中， 方法包括以下步骤 ： 从视频帧序列中提取出关键帧和非关键帧 ； 对视 频帧序列的每一帧进行图像过分割以获得多个 过分割块 ； 设置关键帧中的部分过分割块的深度 值 ； 根据部分过分割块的深度值获取其余过分割 块的深度值， 从而获得关键帧的深度图 ； 将关键 帧和关键帧对应的深度图作为训练样本， 通过机 器学习算法获取非关键帧的深度图 ； 以及对关键 帧和非关键帧的深度图进行后处理， 以获得最终 的视频深度图序列。根据本发明实施例的基于人 机交互生成视频深度图序列的方法和系统，。
3、 既能 保证生成的视频深度图序列具有较高质量， 又不 需要用户进行太多的额外操作， 所有的用户操作 简单而高效。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 6 页 附图 4 页 CN 102196300 A1/3 页 2 1. 一种基于人机交互生成视频深度图序列的方法， 其特征在于， 包括以下步骤 ： A1 ： 从视频帧序列中提取出关键帧和非关键帧 ； A2 ： 对所述视频帧序列的每一帧进行图像过分割以获得多个过分割块 ； A3 ： 设置所述关键帧中的部分过分割块的深度值 ； A4 ： 根据所述部分过分割块的深度值获取所述关。
4、键帧的其余过分割块的深度值， 从而 获得所述关键帧的深度图 ； A5 ： 将所述关键帧和所述关键帧对应的深度图作为训练样本， 通过机器学习算法获取 所述非关键帧的深度图 ； 以及 A6 ： 对所述关键帧的深度图和所述非关键帧的深度图进行后处理， 以获得最终的视频 深度图序列。 2. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A1 具体包括 ： A11 ： 通过采用镜头检测算法中的双阈值法， 检测出所述视频帧序列中的镜头切换帧和 镜头渐变帧， 并将所述镜头切换帧和所述镜头渐变帧作为关键帧， 其余帧作为非关键帧 ； 以 及 A12 ： 对步骤 A11 的检测结果进行人工修正。 3. 。
5、根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A2 中的过分割采用基于 K 均值 聚类的方法。 4. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A3 具体包括 ： 用户在原图像上勾划出多条灰度曲线， 其中每条曲线的灰度值代表该条曲线所经过的 过分割块的深度值。 5. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A4 具体包括 ： A41 ： 将已指定深度值的过分割块的深度值的置信度设为 1， 将其余过分割块的深度值 以及深度值的置信度均设为 0 ； A42 ： 计算每两个相邻的过分割块在颜色和纹理上的相似性度量 ； A43 ： 开始进行迭代， 在每轮迭代中，。
6、 根据以下的公式更新过分割块 i 的深度值， 其中， Dt+1(i) 表示分割块 i 在第 t+1 轮迭代后的深度值， N(i) 表示由过分割块 i 以及 所有和它相邻的过分割块所构成的集合， Dt(j) 表示分割块 j 在第 t 轮迭代后的深度值， 权 重其中Sji为过分割块i和过分割块j在颜色和纹理上的相似性度量， 为过分 割块 j 在第 t 轮迭代后的深度值的置信度 ； A44 ： 在每轮迭代后， 将过分割块 i 的深度值的置信度 ci更新为此轮迭代中权重 wji的 最大值 ； 以及 A45 ： 重复步骤 A43 和 A44， 直至过分割块的深度值不发生变化或者迭代次数达到了给 定的阈值。
7、 ； 以及 A46 ： 根据所述关键帧中所有过分割块的深度值生成关键帧的深度图。 6. 根据权利要求 5 所述的方法， 其特征在于， 其中所述步骤 A42 具体包括以下步骤 ： 权 利 要 求 书 CN 102196292 A CN 102196300 A2/3 页 3 A421 ： 分别计算所述两个相邻的过分割块中所有像素点的 RGB 颜色平均值， 并获取两 个所述 RGB 颜色平均值在颜色空间中的欧式距离 Dcolour； A422 ： 分别统计所述两个相邻的过分割块的 RGB 颜色直方图， 并获取两个所述颜色直 方图的 Bhattacharyya 距离 DB； A423 ： 利用边缘滤波。
8、器及 laws 纹理模板对所述原图像进行滤波， 分别计算所述两个相 邻的过分割块中所有像素点针对不同滤波器的响应平均值， 其中每个过分割块的响应平均 值构成一个矢量， 获取两个所述矢量之间的欧式距离 Dtexture； 以及 A424 ： 通过以下的公式获取所述两个相邻的过分割块 i 和 j 在颜色和纹理上的相似性 度量 Sji， Sji exp(-Dcolor-DB-Dtexture)， 其中， 、 、 为 0 至 1 之间的常数。 7. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A5 具体包括 ： A51 ： 寻找在所述非关键帧之前的与其距离最近的关键帧 ； A52 ： 获取。
9、所述关键帧中每个过分割块的特征向量 ； A53 ： 根据所述关键帧中所有过分割块的特征向量及深度值， 训练 SVM 多分类器 ； 以及 A54 ： 利用所述 SVM 多分类器对所述非关键帧中的过分割块进行分类， 以获取所述非关 键帧中的每个过分割块的深度值。 8. 根据权利要求 7 所述的方法， 其特征在于， 所述过分割块的特征向量包括 ： 过分割块中所有像素点在红、 绿、 蓝三个颜色通道上的平均值 ； 过分割块中所有像素点针对 9 个 Laws 纹理模板的响应平均值 ； 过分割块重心的横坐标和纵坐标 ； 过分割块中光流大小的平均值 ； 以及 过分割块与图像的上、 下、 左、 右四个边缘之间的。
10、最短路径距离。 9. 根据权利要求 1 所述的方法， 其特征在于， 所述步骤 A6 具体包括 ： 按照 “之” 字形的顺序遍历深度图中的每个像素， 若前后两个属于不同过分割块的像素 在深度值上的差异小于给定阈值， 则将后一个像素所属的过分割块的深度值设置为和前一 个像素的深度值相等 ； 以及 对整个深度图进行高斯滤波。 10. 一种基于人机交互生成视频深度图序列的系统， 其特征在于， 包括 ： 检测模块， 用于从平面视频帧序列中检测出镜头变化帧以作为关键帧， 其中所述镜头 变化帧包括镜头切变帧和镜头渐变帧 ； 过分割模块， 用于对所述视频帧序列的每一帧进行图像过分割以获得多个过分割块 ； 人机。
11、交互模块， 用于提供用户操作界面以便用户对所述检测模块的检测结果进行修 正， 并对所述关键帧中的部分过分割块设置深度值 ； 关键帧深度图生成模块， 用于根据所述关键帧中的部分过分割块的深度值获得其余过 分割块的深度值， 并根据所述关键帧中的所有过分割块的深度值生成关键帧的深度图 ； 非关键帧深度图生成模块， 用于以所述关键帧和所述关键帧的深度图为训练样本， 通 过机器学习算法生成非关键帧的深度图 ； 以及 后处理模块， 用于对所述关键帧和非关键帧的深度图进行后处理， 得到最终的视频深 权 利 要 求 书 CN 102196292 A CN 102196300 A3/3 页 4 度图序列。 11。
12、. 根据权利要求 10 所述的系统， 其特征在于， 所述人机交互模块具体包括 ： 关键帧标注单元， 用于对所述检测模块的检测结果进行修正， 将未检测出的镜头变化 帧标注为关键帧， 将冗余的或错误检测出的镜头变化帧标注为非关键帧 ； 以及 深度值赋值单元， 用于为用户提供操作界面以使用户在原图像上勾划出多条灰度曲 线， 其中每条曲线的灰度值代表该条曲线所经过的过分割块的深度值。 权 利 要 求 书 CN 102196292 A CN 102196300 A1/6 页 5 基于人机交互生成视频深度图序列的方法及系统 技术领域 0001 本发明涉及计算机多媒体技术领域， 特别涉及一种基于人机交互生成。
13、视频深度图 序列的方法及系统。 背景技术 0002 立体视频能够给人们带来更真实的视觉体验， 被越来越广泛地应用在家庭娱乐、 影视制作、 虚拟现实等诸多领域。 虽然我们可以借助立体摄像机来直接拍摄新的立体视频， 但对于现有的众多平面视频资源， 无法都通过重新拍摄来获取其相应的立体版本。在这种 情况下， 将平面视频转为立体视频就成为立体内容生成的一个极其重要的途径。 0003 其中， 深度图的获取是平面视频转立体视频中必不可少的部分， 而深度图的质量 也直接决定了观众所能感受到的立体效果。 0004 目前， 有许多种不需要用户干预， 由计算机自动生成视频深度图序列的方法， 这些 方法存在的问题是。
14、， 由于没有任何先验信息， 很难直接从原视频帧序列中提取出相应的深 度线索并生成正确的深度图。针对上述问题， 也有人提出了一些需要用户干预的半自动的 深度图生成方法， 这些方法通常能够生成更高质量的视频深度图序列， 和完全通过图像编 辑软件逐帧制作深度图的方法相比也提高了不少效率， 但它们所带来的额外的用户操作依 然很多、 很繁琐。 发明内容 0005 本发明的目的旨在至少解决上述技术缺陷之一。 0006 为此， 本发明的一个目的在于提出一种基于人机交互生成视频深度图序列的方 法， 该方法既能保证生成的视频深度图序列具有较高质量， 又不需要用户进行太多的额外 操作， 所有的用户操作简单而高效。。
15、 0007 本发明的另一个目的在于提出一种基于人机交互生成视频深度图序列的系统， 该 系统既能保证生成的视频深度图序列具有较高质量， 又不需要用户进行太多的额外操作， 所有的用户操作简单而高效。 0008 根据本发明的一方面， 提出了一种基于人机交互生成视频深度图序列的方法， 包 括以下步骤 ： A1 ： 从视频帧序列中提取出关键帧和非关键帧 ； A2 ： 对所述视频帧序列的每 一帧进行图像过分割以获得多个过分割块 ； A3 ： 设置所述关键帧中的部分过分割块的深度 值 ； A4 ： 根据所述部分过分割块的深度值获取所述关键帧的其余过分割块的深度值， 从而 获得所述关键帧的深度图 ； A5 ：。
16、 根据所述关键帧和所述关键帧对应的深度图获取所述非关 键帧的深度图 ； 以及 A6 ： 对所述关键帧的深度图和所述非关键帧的深度图进行后处理， 以 获得最终的视频深度图序列。 0009 根据本发明实施例的基于人机交互生成视频深度图序列的方法， 通过用户对关键 帧的检测结果进行修正， 并为关键帧中的部分过分割块指定深度值， 再借助深度扩散算法 及机器学习算法获得关键帧及非关键帧的深度图， 能够同时满足精度和效率上的要求， 较 说 明 书 CN 102196292 A CN 102196300 A2/6 页 6 好地完成将平面视频转为立体视频的任务。 0010 本发明另一方面还提供一种基于人机交互。
17、生成视频深度图序列的系统， 包括 ： 检 测模块， 用于从平面视频帧序列中检测出镜头变化帧以作为关键帧， 其中所述镜头变化帧 包括镜头切变帧和镜头渐变帧 ； 过分割模块， 用于对所述视频帧序列的每一帧进行图像过 分割 ； 人机交互模块， 用于提供用户操作界面以便用户对所述检测模块的检测结果进行修 正， 并对所述关键帧对应的部分过分割块设置深度值 ； 关键帧深度图生成模块， 用于根据所 述关键帧对应的部分过分割块的深度值生成关键帧的深度图 ； 非关键帧深度图生成模块， 用于根据所述关键帧的深度图， 通过机器学习算法生成非关键帧的深度图 ； 以及后处理模 块， 用于对所述关键帧和非关键帧的深度图进。
18、行后处理， 得到最终的视频深度图序列。 0011 根据本发明实施例的基于人机交互生成视频深度图序列的系统， 既能保证生成的 视频深度图序列具有较高质量， 又不需要用户进行太多的额外操作， 所有的用户操作简单 而高效。 0012 本发明附加的方面和优点将在下面的描述中部分给出， 部分将从下面的描述中变 得明显， 或通过本发明的实践了解到。 附图说明 0013 本发明上述的和 / 或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解， 其中 ： 0014 图 1 为本发明一个实施例的基于人机交互生成视频深度图序列的方法的流程示 意图 ； 0015 图 2 为本发明一个实施例的基于。
19、人机交互生成视频深度图序列的方法中的步骤 101 的流程图 ； 0016 图 3 为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 102 的流程图 ； 0017 图 4 为本发明一个实施例的用户为关键帧中部分过分割块指定深度值的示意图 ； 0018 图 5 为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 104 的流程图 ； 0019 图 6 为本发明一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 105 的流程图 ； 以及 0020 图 7 为本发明一个实施例的基于人机交互生成视频深度图序列的系统的示意图。 具体实施方式 0021 下面详细描述本。
20、发明的实施例， 所述实施例的示例在附图中示出， 其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。 下面通过参考附 图描述的实施例是示例性的， 仅用于解释本发明， 而不能解释为对本发明的限制。 0022 如图 1 所示， 根据本发明实施例的基于人机交互生成视频深度图序列的方法， 包 括以下步骤 ： 0023 步骤 101， 从平面视频帧序列中提取出关键帧和非关键帧。 0024 步骤 102， 对关键帧中的每一帧进行图像过分割以获得多个过分割块。 说 明 书 CN 102196292 A CN 102196300 A3/6 页 7 0025 步骤 103， 设置关键帧。
21、中的部分过分割块的深度值。 0026 步骤 104， 根据部分过分割块的深度值获取其余过分割块的深度值， 从而获得关键 帧的深度图。 0027 步骤 105， 将关键帧和关键帧对应的深度图作为训练样本， 通过机器学习算法获取 非关键帧的深度图。 0028 步骤 106， 对关键帧的深度图和非关键帧的深度图进行后处理， 以获得最终的视频 深度图序列。 0029 下面将结合附图详细说明本发明实施例的方法中的各个步骤的具体实现方式。 0030 如图 2 所示为步骤 101 的流程图， 具体包括以下步骤 ： 0031 步骤 201， 读取当前帧。 0032 步骤 202， 判断当前帧是否为镜头变化帧。。
22、 0033 具体地， 采用镜头检测算法中的双阈值法， 由计算机自动判断当前帧是否为镜头 变化帧。在本发明的一个实施例中， 镜头变化帧包括镜头切变帧和镜头渐变帧。 0034 步骤 203， 如果当前帧为镜头变化帧， 则将当前帧作为关键帧。 0035 步骤 204， 如果当前帧不为镜头变化帧， 则将当前帧作为非关键帧。 0036 步骤 205， 如果当前帧不为视频帧序列中的最后一帧， 则继续读取当前帧的下一 帧， 重复执行步骤 202-204。 0037 步骤 206， 由用户通过人机交互对当前帧检测结果进行修正。 0038 具体地， 对于冗余或错误检测出的镜头变化帧， 由用户将其人工标定为非关键。
23、帧 ； 对于未检测出的镜头变化帧， 由用户将其人工标定为关键帧。 0039 在本发明的一个实施例中， 采用基于 K 均值聚类的方法对视频的每一帧进行图像 分割， 如图 3 所示， 具体包括以下步骤 ： 0040 步骤 301， 将原图划分为多个大小和形状相同的矩形块， 这些矩形块被当作原图中 所有像素点的初始聚类。 0041 例如， 可选矩形块的大小为 1616。 0042 步骤 302， 执行 K 均值算法， 获得原图中所有像素点的最终聚类。 0043 步骤 303， 执行区域连通算法， 将属于同一聚类的像素点所构成的一个连通区域划 分成一个过分割块。 0044 步骤 304， 对步骤 30。
24、3 的划分结果进行拆分和 / 或合并， 以得到原图像的最终分割 结果。 0045 具体地， 可将面积大于第一给定阈值的过分割块进行拆分， 将面积小于第二给定 阈值的分割块进行合并。其中， 例如将第一给定阈值设置为 600， 将第二给定阈值设置为 100。 0046 图 4 示出了步骤 103 中用户通过人机交互为关键帧对应的部分过分割块指定深 度值的一个例子。用户通过计算机屏幕， 利用自编软件或其他图像编辑软件提供的图形界 面， 在原图像上勾划出 7 条灰度曲线。其中， 3 条曲线的灰度值为 255， 1 条曲线的灰度值为 180， 3 条曲线的灰度为 0， 它们分别代表了每条曲线所经过的过分。
25、割块的深度值。深度值为 255 的过分割块在场景中距离观测者最近， 深度值为 0 的过分割块在场景中距离观测者最 远， 而深度值为 180 的过分割块居于两者之间。应理解， 图 4 所示的仅为示意性的例子， 并 说 明 书 CN 102196292 A CN 102196300 A4/6 页 8 不用于限制本发明， 用户可改变勾划曲线的条数和位置等。 0047 在本发明的一个实施例中， 采用深度扩散算法获取其余过分割块的深度值， 如图 5 所示， 具体包括以下步骤 ： 0048 步骤 501 ： 迭代开始前的初始化。 0049 在本发明的一个实施例中， 对于已指定了深度值的过分割块， 初始深度。
26、值即为其 被指定的深度， 深度值的置信度设为 1 ； 对于其余过分割块， 初始深度值都设为 0， 深度值的 置信度也设为 0。 0050 步骤 502 ： 针对每两个相邻的过分割块， 计算它们在颜色、 纹理上的相似性度量。 0051 具体地， 首先分别计算这两个过分割块中所有像素点的 RGB( 红绿蓝 ) 颜色平均 值， 进而求取这两个颜色平均值在颜色空间中的欧式距离 Dcolour。 0052 然后， 分别统计这两个过分割块的 RGB 颜色直方图， 进而求取这两个颜色直方图 的 Bhattacharyya 距离 DB。 0053 接着， 利用六个方向上的边缘滤波器以及 Laws 纹理模板对原。
27、图像进行滤波， 分别 计算这两个过分割块中所有像素点针对不同滤波器的响应平均值， 每个过分割块的响应平 均值各自构成一个矢量 ； 进而求取这两个矢量之间的欧式距离 Dtexture； 0054 最后， 根据公式 S exp(-Dcolor-DB-Dtextrue) 计算这两个过分割块在颜色、 纹 理上的相似性度量， 其中， Dcolour、 DB和 Dtexture均被事先归一化到 0 255 之间， 、 、 可 取为 0.2。 0055 步骤 503 ： 开始进行迭代， 在每轮迭代中， 更新其余每个过分割块的深度值。 0056 具体地， 对于其余的一个过分割块i， 它在第t+1轮迭代后的深度。
28、值Dt+1(i)由如下 公式决定 ： 0057 0058 其中， N(i) 表示由过分割块 i 以及所有和它相邻的过分割块所构成的集合， Dt(j) 表示分割块 j 在第 t 轮迭代后的深度值， 权重由过分割块 i 和过分割块 j 在颜色、 纹理上 的相似性度量 Sji以及过分割块 j 在第 t 轮迭代后的深度值的置信度 共同决定。在本发 明的一个示例中， 可按照来计算权重 0059 对于每一轮迭代， 在更新完过分割块i的深度值后， 同时更新过分割块i的深度值 的置信度 ci， 将其设定为此轮迭代中权重 wji的最大值， 即 0060 重复上述迭代更新过程， 直到其余过分割块的深度值均不发生变。
29、化， 或者迭代次 数达到了给定的阈值。在本发明的一个示例中， 可将阈值设定为 200。 0061 图 6 显示了步骤 105 中通过机器学习算法获得非关键帧的深度图的方法的流程， 该方法具体包括以下步骤 ： 0062 步骤 601 ： 对于某一个非关键帧， 寻找在此之前的与它距离最近的关键帧。 0063 步骤 602 ： 针对此关键帧中的每个过分割块， 计算过分割块的特征向量。 0064 在本发明的一个实施例中， 过分割块的特征向量包括 ： 过分割块中所有像素点在 R、 G、 B 颜色通道上的平均值、 过分割块中所有像素点针对 9 个不同的 Laws 纹理模板的响应 说 明 书 CN 1021。
30、96292 A CN 102196300 A5/6 页 9 平均值、 过分割块中光流大小的平均值、 过分割块重心的横坐标及纵坐标、 过分割块到图像 上、 下、 左、 右四个边缘的最短路径距离。由此， 可获得 1 个 19 维的特征向量， 代表了过分割 块在颜色、 纹理、 位置、 运动、 遮挡上的特征。 0065 步骤 603 ： 根据关键帧中所有过分割块的特征向量及深度值， 训练 SVM 多分类器。 0066 具体地， 将过分割块的深度值作为类别标签， 和步骤 602 中所求得的特征向量一 起作为训练样本， 采取 “一类对其余” 或者 “一对一” 的方法， 训练 SVM 多分类器。 0067 。
31、步骤 604 ： 计算非关键帧中每个过分割块所对应的特征向量。 0068 具体地， 可采取和步骤 602 相同的方法， 也获取 19 维的特征向量。 0069 步骤 605 ： 利用训练好的 SVM 多分类器对非关键帧中的过分割块进行分类， 从而得 到它们各自所对应的深度值。 0070 步骤 106 中对求得的每一帧深度图进行后处理具体包括以下步骤 ： 0071 1) 按照 “之” 字形的顺序遍历深度图中的每个像素， 若前后两个属于不同过分割块 的像素在深度值上的差异小于给定阈值， 则将后一个像素所属的过分割块的深度值设置为 和前一个像素的深度值相等。例如， 可将阈值设定为 30 ； 0072。
32、 2) 对整个深度图使用中等强度的高斯滤波， 例如， 可将滤波窗口设置 99 的大 小。 0073 综上所述， 本发明实施例提供的基于人机交互生成视频深度图序列的方法， 由用 户对关键帧的检测结果进行修正， 并为关键帧中的部分过分割块指定深度值， 再借助深度 扩散算法及机器学习算法获得关键帧及非关键帧的深度图。 该方法能够同时满足精度和效 率上的要求， 较好地完成将平面视频转为立体视频的任务。 0074 为实现上述实施例， 本发明另一方面还提出一种基于人机交互生成视频深度图序 列的系统， 参见图7， 该系统包括 ： 检测模块701、 过分割模块702、 人机交互模块703、 关键帧 深度图生成。
33、模块 704、 非关键帧深度图生成模块 705 和后处理模块 706。 0075 检测模块 701 用于从平面视频帧序列中检测出镜头变化帧以作为关键帧， 其中所 述镜头变化帧包括镜头切变帧和镜头渐变帧。过分割模块 702 用于对平面视频帧序列中的 每一帧进行图像过分割以获得多个过分割块。人机交互模块 703 用于提供用户操作界面， 使用户能够对检测模块 701 的检测结果进行修正， 并对关键帧中的部分过分割块指定深度 值。关键帧深度图生成模块 704 用于根据关键帧中部的部分过分割块的深度值获得其余过 分割块的深度值， 并根据关键帧中的所有过分割块的深度值生成关键帧的深度图。非键帧 深度图生成。
34、模块 705 用于以关键帧和关键帧的深度图为训练样本， 通过机器学习算法生成 非关键帧的深度图。后处理模块 706 用于对所述关键帧深度图生成模块及非键帧深度图生 成模块生成的深度图进行后处理， 得到最终的视频深度图序列。 0076 其中， 人机交互模块 703 可包括关键帧标注单元和深度值赋值单元。关键帧标注 单元用于对检测模块 701 的检测结果进行修正， 将未检测出的镜头变化帧标注为关键帧， 将冗余的或错误检测出的镜头变化帧标注为非关键帧。 深度值赋值单元用于向用户提供图 形编辑界面， 使用户能够在原图像上勾划出多条灰度曲线， 其中每条曲线的灰度值代表该 条曲线所经过的过分割块的深度值。。
35、 0077 此外， 本领域技术人员可以理解实施例中的系统中的模块可以按照实施例描述分 布于实施例的系统中， 也可以进行相应变化位于不同于本实施例的一个或多个系统中。上 说 明 书 CN 102196292 A CN 102196300 A6/6 页 10 述实施例的模块可以合并为一个模块， 也可以进一步拆分成多个子模块。 0078 尽管已经示出和描述了本发明的实施例， 对于本领域的普通技术人员而言， 可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、 修改、 替换 和变型， 本发明的范围由所附权利要求及其等同限定。 说 明 书 CN 102196292 A CN 102196300 A1/4 页 11 图 1 图 2 说 明 书 附 图 CN 102196292 A CN 102196300 A2/4 页 12 图 3 图 4 说 明 书 附 图 CN 102196292 A CN 102196300 A3/4 页 13 图 5 图 6 说 明 书 附 图 CN 102196292 A CN 102196300 A4/4 页 14 图 7 说 明 书 附 图 CN 102196292 A 。