《视频处理方法、装置、存储介质和电子设备.pdf》由会员分享，可在线阅读，更多相关《视频处理方法、装置、存储介质和电子设备.pdf（24页珍藏版）》请在专利查询网上搜索。
1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202111396782.1(22)申请日 2021.11.23(71)申请人 广州视源电子科技股份有限公司地址 510530 广东省广州市黄埔区云埔四路6号 申请人 广州视源人工智能创新研究院有限公司(72)发明人 张玉兵(74)专利代理机构 北京康信知识产权代理有限责任公司 11240专利代理师 刘鑫(51)Int.Cl.H04N 19/132(2014.01)H04N 19/176(2014.01)H04N 19/70(2014.01)(54)发明名称视频处理方法、装置、存储介质和电子设备(。
2、57)摘要本申请实施例公开了一种视频处理方法、装置、存储介质和电子设备，属于图像处理技术领域。其中，该方法包括：获取原始视频；对原始视频中的每帧图像进行下采样，得到低分辨率图像；对原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，预设图像通过对原始视频进行预设间隔采样得到；对低分辨率图像和稀疏图像进行编码，得到压缩视频。因此，本申请实施例对原始视频进行下采样和稀疏采样得到压缩视频，既可以保留视频中的高频信息，又达到高度的视频压缩，解决了通过现有技术生成的压缩视频无法同时满足低码率压缩和高质量压缩的问题。权利要求书3页 说明书14页 附图6页CN 116156172 A2023.05.23C。
3、N 116156172 A1.一种视频处理方法，其特征在于，包括：获取原始视频；对所述原始视频中的每帧图像进行下采样，得到低分辨率图像；对所述原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，所述预设图像通过对所述原始视频进行预设间隔采样得到；对所述低分辨率图像和所述稀疏图像进行编码，得到压缩视频。2.根据权利要求1所述的方法，其特征在于，对所述原始视频中的预设图像进行稀疏采样，得到稀疏图像包括：对所述预设图像进行分块处理，得到多个图像块；确定每个图像块包含的高频信息量；基于所述高频信息量从所述多个图像块中筛选至少一个图像块，生成所述稀疏图像。3.根据权利要求2所述的方法，其特征在于，通过。
4、全变分正则函数对所述每个图像块进行处理，得到所述每个图像块包含的高频信息量。4.根据权利要求2所述的方法，其特征在于，基于所述高频信息量从所述多个图像块中筛选至少一个图像块，生成所述稀疏图像包括：按照所述高频信息量从大到小的顺序对所述多个图像块进行排序；获取排序最前的所述至少一个图像块，生成所述稀疏图像。5.根据权利要求1至4中任意一项所述的方法，其特征在于，在对所述低分辨率图像和所述稀疏图像进行编码，得到压缩视频之后，所述方法还包括：对所述压缩视频进行解码，得到所述稀疏图像和所述低分辨率图像；对所述低分辨率图像进行上采样，得到重构图像，其中，所述重构图像的分辨率与所述原始视频的分辨率相同；将。
5、所述重构图像和所述稀疏图像进行信息融合，生成目标视频。6.根据权利要求5所述的方法，其特征在于，对所述低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对所述低分辨率图像进行处理，得到所述重构图像，其中，所述超分辨率模型是利用原始训练图像以及压缩训练图像训练得到的，所述压缩训练图像通过对所述原始训练图像进行下采样和编码得到。7.根据权利要求5所述的方法，其特征在于，将所述重构图像和所述稀疏图像进行信息融合，生成目标视频包括：对所述重构图像进行分块处理，得到多个第一图像块；将每个第一图像块与所述稀疏图像中的多个第二图像块进行匹配，得到所述每个第一图像块对应的匹配图像块；利用信息融合模型对。
6、所述每个第一图像块和所述匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生成所述目标视频。8.根据权利要求7所述的方法，其特征在于，将每个第一图像块与所述稀疏图像中的多个第二图像块进行匹配，得到所述每个第一图像块对应的匹配图像块包括：确定所述每个第一图像块在所述重构图像中的第一位置，以及每个第二图像块在所述权利要求书1/3 页2CN 116156172 A2稀疏图像中的第二位置；获取位于所述第一位置周围预设范围内的第二位置对应的第二图像块，得到至少一个目标图像块；将所述每个第一图像块与所述至少一个目标图像块进行匹配，得到所述匹配图像块。9.根据权利要求7所述的方法，其特征在于，利。
7、用信息融合模型对所述每个第一图像块和所述匹配图像块进行处理，得到融合图像块包括：利用所述信息融合模型中的特征提取层分别对所述每个第一图像块和所述匹配图像块进行特征提取，得到所述每个第一图像块的第一特征，以及所述匹配图像块的第二特征；将所述第一特征和所述第二特征进行拼接，得到拼接特征；利用所述信息融合模型中的信息融合层对所述拼接特征进行处理，得到所述融合图像块。10.一种视频处理方法，其特征在于，包括：获取压缩视频；对所述压缩视频进行解码，得到稀疏图像和低分辨率图像，其中，所述低分辨率图像为对原始视频中的每帧图像进行下采样得到的图像，所述稀疏图像为对所述原始视频中的预设图像进行稀疏采样得到的图像。
8、；对所述低分辨率图像进行上采样，得到重构图像，其中，所述重构图像的分辨率与所述原始视频的分辨率相同；将所述重构图像和所述稀疏图像进行信息融合，生成目标视频。11.根据权利要求10所述的方法，其特征在于，对所述低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对所述低分辨率图像进行处理，得到所述重构图像，其中，所述超分辨率模型是利用原始训练图像以及压缩训练图像训练得到的，所述压缩训练图像通过对所述原始训练图像进行下采样和编码得到。12.根据权利要求10所述的方法，其特征在于，将所述重构图像和所述稀疏图像进行信息融合，生成目标视频包括：对所述重构图像进行分块处理，得到多个第一图像块；将每个。
9、第一图像块与所述稀疏图像中的多个第二图像块进行匹配，得到所述每个第一图像块对应的匹配图像块；利用信息融合模型对所述每个第一图像块和所述匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生成所述目标视频。13.一种视频处理装置，其特征在于，包括：获取模块，用于获取原始视频；下采样模块，用于对所述原始视频中的每帧图像进行下采样，得到低分辨率图像；稀疏采样模块，用于对所述原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，所述预设图像通过对所述原始视频进行预设间隔采样得到；编码模块，用于对所述低分辨率图像和所述稀疏图像进行编码，得到压缩视频。14.一种视频处理装置，其特征在于，包括：权。
10、利要求书2/3 页3CN 116156172 A3获取模块，用于获取压缩视频；解码模块，用于对所述压缩视频进行解码，得到稀疏图像和低分辨率图像，其中，所述低分辨率图像为对原始视频中的每帧图像进行下采样得到的图像，所述稀疏图像为对所述原始视频中的预设图像进行稀疏采样得到的图像；上采样模块，用于对所述低分辨率图像进行上采样，得到重构图像，其中，所述重构图像的分辨率与所述原始视频的分辨率相同；融合模块，用于将所述重构图像和所述稀疏图像进行信息融合，生成目标视频。15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至12中任意一项的方法步骤。
11、。16.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至12中任意一项的方法步骤。权利要求书3/3 页4CN 116156172 A4视频处理方法、装置、存储介质和电子设备技术领域0001本申请涉及图像处理领域，具体而言，涉及一种视频处理方法、装置、存储介质 和电子设备。背景技术0002在视频相关应用场景中，通常需要对视频进行压缩处理，并将压缩后的视频数据 流进行保存和传输。然而，当存储空间有限或网络信号差时，通常需要以极低的压缩 率对视频进行压缩，由于压缩后视频会丢失部分原始信息，解码后视频通常存在肉眼 。
12、可见的噪声和压缩伪影，导致视频质量难以满足实际用户的观看需求。0003针对上述的问题，目前尚未提出有效的解决方案。发明内容0004本申请实施例提供了一种视频处理方法、装置、存储介质和电子设备，以至少解 决通过现有技术生成的压缩视频无法同时满足低码率压缩和高质量压缩的技术问题。0005根据本申请实施例的一个方面，提供了一种视频处理方法，包括：获取原始视频；对原始视频中的每帧图像进行下采样，得到低分辨率图像；对原始视频中的预设图像 进行稀疏采样，得到稀疏图像，其中，预设图像通过对原始视频进行预设间隔采样得 到；对低分辨率图像和稀疏图像进行编码，得到压缩视频。0006可选地，对原始视频中的预设图像进。
13、行稀疏采样，得到稀疏图像包括：对预设图 像进行分块处理，得到多个图像块；确定每个图像块包含的高频信息量；基于高频信 息量从多个图像块中筛选至少一个图像块，生成稀疏图像。0007可选地，通过全变分正则函数对每个图像块进行处理，得到每个图像块包含的高 频信息量。0008可选地，基于高频信息量从多个图像块中筛选至少一个图像块，生成稀疏图像包 括：按照高频信息量从大到小的顺序对多个图像块进行排序；获取排序最前的至少一 个图像块，生成稀疏图像。0009可选地，在对低分辨率图像和稀疏图像进行编码，得到压缩视频之后，方法还包 括：对压缩视频进行解码，得到稀疏图像和低分辨率图像；对低分辨率图像进行上采 样，得。
14、到重构图像，其中，重构图像的分辨率与原始视频的分辨率相同；将重构图像 和稀疏图像进行信息融合，生成目标视频。0010可选地，对低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对 低分辨率图像进行处理，得到重构图像，其中，超分辨率模型是利用原始训练图像以 及压缩训练图像训练得到的，压缩训练图像通过对原始训练图像进行下采样和编码得 到。0011可选地，将重构图像和稀疏图像进行信息融合，生成目标视频包括：对重构图像 进行分块处理，得到多个第一图像块；将每个第一图像块与稀疏图像中的多个第二图 像块进行匹配，得到每个第一图像块对应的匹配图像块；利用信息融合模型对每个第 一图像块说明书1/14 。
15、页5CN 116156172 A5和匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生 成目标视频。0012可选地，将每个第一图像块与稀疏图像中的多个第二图像块进行匹配，得到每个 第一图像块对应的匹配图像块包括：确定每个第一图像块在重构图像中的第一位置，以及每个第二图像块在稀疏图像中的第二位置；获取位于第一位置周围预设范围内的 第二位置对应的第二图像块，得到至少一个目标图像块；将每个第一图像块与至少一 个目标图像块进行匹配，得到匹配图像块。0013可选地，利用信息融合模型对每个第一图像块和匹配图像块进行处理，得到融合 图像块包括：利用信息融合模型中的特征提取层分别对每个第一图像块。
16、和匹配图像块 进行特征提取，得到每个第一图像块的第一特征，以及匹配图像块的第二特征；将第 一特征和第二特征进行拼接，得到拼接特征；利用信息融合模型中的信息融合层对拼 接特征进行处理，得到融合图像块。0014根据本申请实施例的另一方面，还提供了一种视频处理方法，包括：获取压缩视 频；对压缩视频进行解码，得到稀疏图像和低分辨率图像，其中，低分辨率图像为对 原始视频中的每帧图像进行下采样得到的图像，稀疏图像为对原始视频中的预设图像 进行稀疏采样得到的图像；对低分辨率图像进行上采样，得到重构图像，其中，重构 图像的分辨率与原始视频的分辨率相同；将重构图像和稀疏图像进行信息融合，生成 目标视频。0015。
17、可选地，对低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对 低分辨率图像进行处理，得到重构图像，其中，超分辨率模型是利用原始训练图像以 及压缩训练图像训练得到的，压缩训练图像通过对原始训练图像进行下采样和编码得 到。0016可选地，将重构图像和稀疏图像进行信息融合，生成目标视频包括：对重构图像 进行分块处理，得到多个第一图像块；将每个第一图像块与稀疏图像中的多个第二图 像块进行匹配，得到每个第一图像块对应的匹配图像块；利用信息融合模型对每个第 一图像块和匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生 成目标视频。0017根据本申请实施例的另一方面，还提供了一种视频。
18、处理装置，包括：获取模块，用于获取原始视频；下采样模块，用于对原始视频中的每帧图像进行下采样，得到低 分辨率图像；稀疏采样模块，用于对原始视频中的预设图像进行稀疏采样，得到稀疏 图像，其中，预设图像通过对原始视频进行预设间隔采样得到；编码模块，用于对低 分辨率图像和稀疏图像进行编码，得到压缩视频。0018根据本申请实施例的另一方面，还提供了一种视频处理装置，包括：获取模块，用于获取压缩视频；解码模块，用于对压缩视频进行解码，得到稀疏图像和低分辨率 图像，其中，低分辨率图像为对原始视频中的每帧图像进行下采样得到的图像，稀疏 图像为对原始视频中的预设图像进行稀疏采样得到的图像；上采样模块，用于对低。
19、分 辨率图像进行上采样，得到重构图像，其中，重构图像的分辨率与原始视频的分辨率 相同；融合模块，用于将重构图像和稀疏图像进行信息融合，生成目标视频。0019根据本申请实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质 存储有多条指令，上述指令适于由处理器加载并执行上述实施例中的视频处理方法。0020根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器和存储器；其中，存储器存储有计算机程序，该计算机程序适于由处理器加载并执行上述实施例 中的视频处理方法。说明书2/14 页6CN 116156172 A60021在本申请实施例中，采用获取原始视频，对原始视频中的每帧图像进行下采。
20、样，得到低分辨率图像，对原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，预设图像通过对原始视频进行预设间隔采样得到，对低分辨率图像和稀疏图像进行编 码，得到压缩视频。容易注意到的是，由于压缩视频中包含有稀疏图像，而且稀疏图 像是对原始视频中的预设图像进行稀疏采样得到的，使得压缩视频中仅保留有原始视 频的高频信息，而不包含其他冗余信息，从而达到了获得高质量压缩视频的技术效果，进而解决了通过现有技术生成的压缩视频无法同时满足低码率压缩和高质量压缩的技 术问题。附图说明0022此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构。
21、成对本申请的不当限定。在附图 中：0023图1是根据本申请实施例1的一种视频处理方法的流程图；0024图2是根据本申请实施例2的一种视频处理方法的流程图；0025图3是根据本申请实施例的一种可选的稀疏采样方案的示意图；0026图4是根据本申请实施例的一种可选的视频编码方案的示意图；0027图5是根据本申请实施例的一种可选的视频解码方案的示意图；0028图6是根据本申请实施例的一种可选的信息融合模型的示意图；0029图7是根据本申请实施例3的一种视频处理装置的示意图；0030图8是根据本申请实施例4的一种视频处理装置的示意图；0031图9是根据本申请实施例的一种电子设备的示意图。具体实施方式00。
22、32为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的 附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例 仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领 域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于 本申请保护的范围。0033下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似 的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施 方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装 置和方法的例子。0034需要说明的是，本申请的。
23、说明书和权利要求书及上述附图中的术语“第一”、“第 二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这 样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在 这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的 任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方 法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚 地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，在本申 请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象 的关联关系，。
24、表示可以存在三种关系，例说明书3/14 页7CN 116156172 A7如，A和/或B，可以表示：单独存在A，同 时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。0035为了在降低视频压缩率的同时，尽可能保留原始视频的原始信息，现有技术通常 借助视频下采样和超分辨率算法进行视频编码和解码。现有技术方案首先将原始高分 辨率视频进行下采样得到低分辨率视频，然后使用编码器将视频压缩成二进制码流以 减少视频大小，进而减少视频压缩后的存储空间和传输成本。在视频解码时，现有技 术方案通过解码器将二进制码流解码出低分辨率视频，然后使用超分辨率算法对解码 后的低分辨率视。
25、频进行上采样，重构出原始分辨率视频数据。然而，将原始视频全部 下采样会导致视频中的高频信息丢失，而超分辨率算法通常难以很好恢复这部分高频 部分信息，导致了现有技术方案恢复出的视频流质量较差。由于视频是时序数据，高 频信息在相邻帧中会重复出现，因此通过间隔保留原始帧的混合分辨率编码技术方案 在保留高频信息同时可以减少信息冗余。然而，间隔保留原始帧的方法在保留高频信 息的同时，同样将大量易于重构的重复低频信息保留，导致视频部分信息冗余没有被 很好地去除，进而限制了视频的压缩率。0036综上，上述方案存在以下问题：(1)传统的视频编码压缩算法在低码率压缩时，会丢失大量原始视频信息，导致解码视频存在大。
26、量噪声和压缩伪影，导致视频质量低 下；(2)使用下采样和超分辨率算法的技术方案可以在低码率压缩条件下，较好重构 原始高分辨率视频，但是由于下采样操作会丢失高频信息，导致重构视频质量存在上 限；(3)间隔保存原始高分辨率视频帧的技术方案可以保留原始视频的高频信息，然 而其同样会导致原始视频存在部分信息冗余，导致视频压缩率受限制。0037为了解决上述问题，本申请实施例提出了通过对原始视频进行下采样和稀疏采样 得到压缩视频，实现了获得高质量压缩视频的技术效果，进而解决了通过现有技术生 成的压缩视频无法同时满足低码率压缩和高质量压缩的技术问题。0038实施例10039根据本申请实施例的一个方面，提供了。
27、一种视频处理方法，需要说明的是，在附 图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行 所示出或描述的步骤。0040图1是根据本申请实施例1的一种视频处理方法的流程图，如图1所示，该方法 包括如下步骤：0041步骤S102，获取原始视频。0042上述步骤中的原始视频可以是需要压缩的高分辨率的视频。0043在上述步骤中，可以获取原始视频的全部视频帧。0044步骤S104，对原始视频中的每帧图像进行下采样，得到低分辨率图像。0045在上述步骤中，可以通过线性内插法、DCT系数截断法对原始视频中的每。
28、帧图像 进行下采样，得到低分辨率图像，但不限于此。例如，可以通过双线性插值算法对原 始视频帧进行2倍下采样，将原始视频的分辨率从720p减低到320p。0046步骤S106，对原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，预设 图像通过对原始视频进行预设间隔采样得到。说明书4/14 页8CN 116156172 A80047上述步骤中的预设间隔可以根据视频质量和压缩率的需求进行人为设定，例如每 隔20帧采集一张预设图像，但不限于此。预设图像可以是原始视频帧中重要的视频帧，即关键帧，该图像中包含有图像恢复所需要的高频信息。本申请实施例可以利用现有 技术通过对原始视频进行预设间隔采样得到预。
29、设图像，然后对预设图像进行稀疏采样，得到稀疏图像，在此不多做赘述。0048步骤S108，对低分辨率图像和稀疏图像进行编码，得到压缩视频。0049在上述步骤中，在分别得到低分辨率图像和稀疏图像后，可以根据实际压缩率的 需求选择视频编码器，例如H264视频编码器、AVC视频编码器，但不限于此，并通 过视频编码器将低分辨率视频帧和稀疏图编码成二进制码流，然后进行存储或者网络 传输。0050在本申请实施例中，采用获取原始视频，对原始视频中的每帧图像进行下采样，得到低分辨率图像，对原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，预设图像通过对原始视频进行预设间隔采样得到，对低分辨率图像和稀疏图像进。
30、行编 码，得到压缩视频。容易注意到的是，由于压缩视频中包含有稀疏图像，而且稀疏图 像是对原始视频中的预设图像进行稀疏采样得到的，使得压缩视频中仅保留有原始视 频的高频信息，而不包含其他冗余信息，从而达到了获得高质量压缩视频的技术效果，进而解决了通过现有技术生成的压缩视频无法同时满足低码率压缩和高质量压缩的技 术问题。0051可选地，对原始视频中的预设图像进行稀疏采样，得到稀疏图像包括：对预设图 像进行分块处理，得到多个图像块；确定每个图像块包含的高频信息量；基于高频信 息量从多个图像块中筛选至少一个图像块，生成稀疏图像。0052可选地，可以通过全变分正则函数对每个图像块进行处理，得到每个图像块。
31、包含 的高频信息量。0053可选地，基于高频信息量从多个图像块中筛选至少一个图像块，生成稀疏图像包 括：按照高频信息量从大到小的顺序对多个图像块进行排序；获取排序最前的至少一 个图像块，生成稀疏图像。0054在上述步骤中，可以每隔多个视频帧(如每间隔20帧)，利用现有技术挑选原始 帧视频中重要的视频帧即关键帧并进行稀疏采样，进而保留关键帧的高频信息。本申 请实施例可以使用基于块采样的稀疏采样方案，如图3所示，其中，原始补丁是对原 始视频帧进行分块处理后的图像块，保存的补丁块为筛选后组成稀疏图像的图像块。例如可以将视频帧分为固定大小(如88或1616)的图像块，然后计算每个图像块 中高频信息的多。
32、少，然后保留高频信息多的图像块。该稀疏采样的公式如下所示：0055ScoreiTV(Pi)，i1，.，n (1)0056SPi|iTopK(Sorcei，K)，i1，.，n (2)0057其中，每个视频帧可划分为n个图像块，Pi表示第i个图像块i1，.，n，TV()表示全变分正则函数，其用于评价每个图像块包含高频信息的多少，TopK(，K)表 示选择K个高频信息最多的图像块。0058在上述步骤中根据公式(1)可以得到每个图像块包含的高频信息量，根据公式(2)可以按照高频信息量从大到小的顺序对多个图像块进行排序，获取排序最前的至少一 个图像块，生成稀疏图像。0059在一种可选的实施例中，如图4所。
33、示，进行视频压缩的步骤包括：获取原始视频 的说明书5/14 页9CN 116156172 A9全部视频帧，分别对其进行视频下采样和间隔稀疏采样，得到低分辨率视频帧和原 始帧稀疏图，对其进行编码，得到压缩视频流。0060可选地，在对低分辨率图像和稀疏图像进行编码，得到压缩视频之后，该方法还 包括：对压缩视频进行解码，得到稀疏图像和低分辨率图像；对低分辨率图像进行上 采样，得到重构图像，其中，重构图像的分辨率与原始视频的分辨率相同；将重构图 像和稀疏图像进行信息融合，生成目标视频。0061上述步骤中解码压缩视频使用编码器对应的解码器，例如H264视频解码器、AVC 视频解码器，但不限于此。0062。
34、在一种可选的实施例中，如图5所示，利用解码器对压缩视频流进行解码，得到 原始视频帧稀疏图像和低分辨率视频帧，将低分辨率视频帧输入超分辨率模型进行上 采样得到与原始视频分辨率相同的重构高分辨率视频帧，利用信息融合模型将重构的 高分辨率视频帧与稀疏图像进行信息融合，生成目标视频。0063可选地，对低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对 低分辨率图像进行处理，得到重构图像，其中，超分辨率模型是利用原始训练图像以 及压缩训练图像训练得到的，压缩训练图像通过对原始训练图像进行下采样和编码得 到。0064上述步骤中的超分辨率模型可以是REDS数据训练超分辨率模型，但不限于此。本申请实。
35、施例可以使用现有公开数据集REDS数据作为训练数据集，该视频数据集共 有269个视频片段，每个片段共有100帧，此外，还从REDS数据集中挑选4个视频 片段作为验证数据。超分辨率模型可以通过将视频进行压缩解码后的低分辨率数据作 为输入，原始高分辨率视频作为输出不断重复训练得到。利用训练好的超分辨率模型 对低分辨率图像进行上采样得到重构图像。0065需要注意的是，由于本申请实施例中输入数据都经过编码压缩后解码，数据中存 在着压缩伪影和噪声，因此训练后模型可以同时恢复下采样损失和编码压缩损失。训 练的目标损失函数为绝对平均误差，其计算方法如下：00660067其中N为训练样本对的数量，xi和yi是。
36、第i个样本对中的低分辨率视频帧和高 分辨率视频帧，|1是L1范数，SR()表示使用的超分辨率模型，其输入一个低分 辨率视频帧，输出其对应的高分辨率视频帧。0068可选地，将重构图像和稀疏图像进行信息融合，生成目标视频包括：对重构图像 进行分块处理，得到多个第一图像块；将每个第一图像块与稀疏图像中的多个第二图 像块进行匹配，得到每个第一图像块对应的匹配图像块；利用信息融合模型对每个第 一图像块和匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生 成目标视频。0069在一种可选的实施例中，在利用训练好的超分辨率模型对低分辨率图像进行上采 样得到重构图像后，对重构图像中的视频帧即重构视。
37、频帧，也即高分辨率视频帧进行 分块处理，例如可以将视频帧分为固定大小(如88或1616)的图像块，得到多个 第一图像块。计算稀疏图像中每个第一图像块和对应的重构视频帧中的目标图像块的 余弦相似性，找到最相似的图像块即匹配图像块。之后使用信息融合模型提取稀疏图 中的每个图像块和匹配图像块的特征并进行拼接得到融合图块，将多个融合图像块组 合成目标视频。0070可选地，将每个第一图像块与稀疏图像中的多个第二图像块进行匹配，得到每个 说明书6/14 页10CN 116156172 A10第一图像块对应的匹配图像块包括：确定每个第一图像块在重构图像中的第一位置，以及每个第二图像块在稀疏图像中的第二位置；。
38、获取位于第一位置周围预设范围内的 第二位置对应的第二图像块，得到至少一个目标图像块；将每个第一图像块与至少一 个目标图像块进行匹配，得到匹配图像块。0071上述步骤中的预设范围可以是重构图像中的图像块附近的位置，例如，此时重构 图像被分为55的图像块，第一图像块的第一位置是第2行第2列，其预设范围内的 位置可以为第一位置的上方(第1行第2列)、下方(第3行第2列)、左方(第2行 第1列)、右方(第2行第3列)，但不限于此。若第二图像块的第二位置在第一位置 的预设范围内，则此时的第二图像块为目标图像块，第二图像块的数量可为多个。0072可选地，利用信息融合模型对每个第一图像块和匹配图像块进行处理。
39、，得到融合 图像块包括：利用信息融合模型中的特征提取层分别对每个第一图像块和匹配图像块 进行特征提取，得到每个第一图像块的第一特征，以及匹配图像块的第二特征；将第 一特征和第二特征进行拼接，得到拼接特征；利用信息融合模型中的信息融合层对拼 接特征进行处理，得到融合图像块。0073在一种可选的实施例中，针对每组相似的区域，使用一个轻量的信息融合网络，模型结构如图6所示，其中，Conv为卷积神经网络，分别输入稀疏图像中的图像块pi和重构图像中的图像块然后使用一个卷积神经网络(权重为)分别 提取两个图像块的特征即第一特征和第二特征，并将第一特征和第二特征在通道维度 上进行拼接，然后对拼接后的特征再使。
40、用一个卷积神经网络融合信息(权重为)处理，最终再经过一个卷积神经网络(权重为)输 出融合后的图像块，最后将所有融合图像块组合成最终的视频帧。该模块训练同样使 用平均绝对误差，其计算公式如下：00740075其中，pi是保存在稀疏图中的图像块，而是重构高分辨率视频帧中与pi最相似 的图像块，F()表示信息融合网络，n表示稀疏图中保留的图像块的总数量。0076实施例20077根据本申请实施例的一个方面，提供了一种视频处理方法，需要说明的是，在附 图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行 所。
41、示出或描述的步骤。0078图2是根据本申请实施例2的一种视频处理方法的流程图，如图2所示，该方法 包括如下步骤：0079步骤S202，获取压缩视频。0080在上述步骤中，获取压缩视频流即编码后的二进制码流。0081步骤S204，对压缩视频进行解码，得到稀疏图像和低分辨率图像，其中，低分辨 率图像为对原始视频中的每帧图像进行下采样得到的图像，稀疏图像为对原始视频中 的预设图像进行稀疏采样得到的图像。0082在上述步骤中，使用编码器对应的解码器对压缩视频进行解码得到稀疏图像和低 分辨率图像，例如H264视频解码器、AVC视频解码器，但不限于此。说明书7/14 页11CN 116156172 A11。
42、0083步骤S206，对低分辨率图像进行上采样，得到重构图像，其中，重构图像的分辨 率与原始视频的分辨率相同。0084在上述步骤中，可以通过超分辨率算法对低分辨率图像进行上采样，但不限于此，得到的重构图像即高分辨率视频帧，其分辨率与原始视频分辨率相同。例如，可以通 过对低分辨率图像进行上采样，将压缩后的低分辨率视频的分辨率从320p恢复到原始 视频的分辨率720p。0085步骤S208，将重构图像和稀疏图像进行信息融合，生成目标视频。0086在上述步骤中，可以利用信息融合模型将重构图像和稀疏图像进行融合，生成目 标视频。例如，利用信息融合模型，将稀疏图像中保存的高频信息和重构后的720p 视频。
43、帧进行融合，获得质量更好的720p视频帧。0087在本申请实施例中，获取压缩视频，对压缩视频进行解码，得到稀疏图像和低分 辨率图像，其中，低分辨率图像为对原始视频中的每帧图像进行下采样得到的图像，稀疏图像为对原始视频中的预设图像进行稀疏采样得到的图像，对低分辨率图像进行 上采样，得到重构图像，其中，重构图像的分辨率与原始视频的分辨率相同，将重构 图像和稀疏图像进行信息融合，生成目标视频。容易注意到的是，通过信息融合算法，利用稀疏图像中的高频信息进一步提升重构高分辨率视频帧的视觉效果，可以得到更 高质量的视频。0088可选地，对低分辨率图像进行上采样，得到重构图像包括：利用超分辨率模型对 低分辨。
44、率图像进行处理，得到重构图像，其中，超分辨率模型是利用原始训练图像以 及压缩训练图像训练得到的，压缩训练图像通过对原始训练图像进行下采样和编码得 到。0089上述步骤中的超分辨率模型可以是REDS数据训练超分辨率模型，但不限于此。本申请实施例可以使用现有公开数据集REDS数据作为训练数据集，该视频数据集共 有269个视频片段，每个片段共有100帧，此外，还从REDS数据集中挑选4个视频 片段作为验证数据。超分辨率模型可以通过将视频进行压缩解码后的低分辨率数据作 为输入，原始高分辨率视频作为输出不断重复训练得到。利用训练好的超分辨率模型 对低分辨率图像进行上采样得到重构图像。0090需要注意的是。
45、，由于本申请实施例中输入数据都经过编码压缩后解码，数据中存 在着压缩伪影和噪声，因此训练后模型可以同时恢复下采样损失和编码压缩损失。训 练的目标损失函数为绝对平均误差，其计算方法如下：00910092其中N为训练样本对的数量，xi和yi是第i个样本对中的低分辨率视频帧和高分辨 率视频帧，|1是L1范数，SR()表示使用的超分辨率模型，其输入一个低分辨率 视频帧，输出其对应的高分辨率视频帧。0093可选地，将重构图像和稀疏图像进行信息融合，生成目标视频包括：对重构图像 进行分块处理，得到多个第一图像块；将每个第一图像块与稀疏图像中的多个第二图 像块进行匹配，得到每个第一图像块对应的匹配图像块；利。
46、用信息融合模型对每个第 一图像块和匹配图像块进行处理，得到融合图像块；将多个融合图像块进行合并，生 成目标视频。0094在一种可选的实施例中，在利用训练好的超分辨率模型对低分辨率图像进行上采 样得到重构图像后，对重构图像中的视频帧即重构视频帧，也即高分辨率视频帧进行 分块处理，例如可以将视频帧分为固定大小(如88或1616)的图像块，得到多个 第一图像说明书8/14 页12CN 116156172 A12块。计算稀疏图像中每个第一图像块和对应的重构视频帧中多个第二图像块 的余弦相似性，找到最相似的图像块即匹配图像块。之后使用信息融合模型提取稀疏 图中的每个图像块和匹配图像块的特征并进行拼接得到。
47、融合图块，将多个融合图像块 组合成目标视频。0095实施例30096根据本申请实施例的另一方面，还提供了一种视频处理装置，如图7所示，包括：0097获取模块72，用于获取原始视频。0098下采样模块74，用于对原始视频中的每帧图像进行下采样，得到低分辨率图像。0099稀疏采样模块76，用于对原始视频中的预设图像进行稀疏采样，得到稀疏图像，其中，预设图像通过对原始视频进行预设间隔采样得到。0100编码模块78，用于对低分辨率图像和稀疏图像进行编码，得到压缩视频。0101可选地，稀疏采样模块包括：第一分块单元，用于对预设图像进行分块处理，得 到多个图像块；确定单元，用于确定每个图像块包含的高频信息。
48、量；筛选单元，基于 高频信息量从多个图像块中筛选至少一个图像块，生成稀疏图像。0102可选地，确定单元还用于通过全变分正则函数对每个图像块进行处理，得到每个 图像块包含的高频信息量。0103可选地，筛选单元包括：排序子单元，用于按照高频信息量从大到小的顺序对多 个图像块进行排序；生成子单元，用于获取排序最前的至少一个图像块，生成稀疏图 像。0104可选地，视频处理装置还包括：解码模块，用于对压缩视频进行解码，得到稀疏 图像和低分辨率图像；上采样模块，用于对低分辨率图像进行上采样，得到重构图像，其中，重构图像的分辨率与原始视频的分辨率相同；融合模块，用于将重构图像和稀 疏图像进行信息融合，生成目。
49、标视频。0105可选地，上采样模块还利用超分辨率模型对低分辨率图像进行处理，得到重构图 像，其中，超分辨率模型是利用原始训练图像以及压缩训练图像训练得到的，压缩训 练图像通过对原始训练图像进行下采样和编码得到。0106可选地，融合模块包括：第二分块单元，用于对重构图像进行分块处理，得到多 个第一图像块；匹配单元，用于将每个第一图像块与稀疏图像中的多个第二图像块进 行匹配，得到每个第一图像块对应的匹配图像块；融合单元，用于利用信息融合模型 对每个第一图像块和匹配图像块进行处理，得到融合图像块；生成单元，用于将多个 融合图像块进行合并，生成目标视频。0107可选地，匹配单元包括：确定子单元，用于确。
50、定每个第一图像块在重构图像中的 第一位置，以及每个第二图像块在稀疏图像中的第二位置；获取子单元，用于获取位 于第一位置周围预设范围内的第二位置对应的第二图像块，得到至少一个目标图像块；匹配子单元，用于将每个第一图像块与至少一个目标图像块进行匹配，得到匹配图像 块。0108可选地，融合单元包括：提取子单元，用于利用信息融合模型中的特征提取层分 别对每个第一图像块和匹配图像块进行特征提取，得到每个第一图像块的第一特征，以及匹配图像块的第二特征；拼接子单元，用于将第一特征和第二特征进行拼接，得 到拼接特征；融合子单元，用于利用信息融合模型中的信息融合层对拼接特征进行处 理，得到融合图像块。0109实。