频域去噪背景技术
例如，可以将数字视频用于经由视频会议的远程商务会议、高清晰度视频娱乐、视
频广告或者对用户所生成视频的共享。由于在视频数据中涉及到的大量数据，需要高性能
压缩以用于传输和存储。因此，提供通过具有有限带宽的通信信道发射的高分辨率视频将
是有利的。
发明内容
本申请涉及视频流数据的编码和解码以用于传输或存储。在本文中公开了用于使
用频域去噪进行编码和解码的系统、方法以及装置。
可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于执
行本文中所述的频域去噪的一个方法包括：从来自源视频流的当前源帧识别当前源块，生
成用于所述当前源块的预测块，通过将所述当前源块变换到频域中来生成源变换块，以及
通过将所述预测块变换到所述频域中来生成预测变换块。在某些实施方式中，频域去噪包
括基于所述源变换块和所述预测变换块而生成去噪变换块，通过对所述去噪变换块进行逆
变换来生成去噪块，基于所述去噪块与所述预测块之间的差来生成残余块，通过对所述残
余块进行编码来生成编码块，以及输出或存储所述编码块。
也可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于
执行本文中所述的频域去噪的另一方法包括：从来自源视频流的当前源帧识别当前源块，
通过使用频域去噪对所述当前源块进行编码来生成编码块，以及输出或存储所述编码块。
也可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于
执行本文中所述的频域去噪的另一方法包括：从来自源视频流的当前源帧识别当前源块，
生成用于所述当前源块的预测块，通过将所述当前源块变换到频域中来生成源变换块，以
及通过将所述预测块变换到所述频域中来生成预测变换块。在某些实施方式中，频域去噪
包括通过基于所述预测变换块对所述源变换块应用去噪函数来生成去噪变换块，通过对所
述去噪变换块进行逆变换来生成去噪块，基于所述去噪块与所述预测块之间的差来生成残
余块，通过对所述残余块进行编码来生成编码块，以及输出或存储所述编码块。
下面将另外详细地描述这些及其它方面的变化。
附图说明
本文的描述对附图做出参考，在附图中相同的参考标号遍及多个图指代相同部
分，并且其中：
图1是根据本公开的实施方式的计算设备的图；
图2是根据本公开的实施方式的计算和通信系统的图；
图3是根据本公开的实施方式的供在编码和解码中使用的视频流的图；
图4是根据本公开的实施方式的编码器的框图；
图5是根据本公开的实施方式的解码器的框图；
图6是根据本公开的实施方式的帧的一部分的表示的框图；
图7是根据本公开的实施方式的使用时域去噪对视频流进行代码化的示例的图；
以及
图8是根据本公开的实施方式的使用频域去噪对视频流进行代码化的示例的图。
具体实施方式
数字视频流可以使用帧或图像的序列来表示视频。每个帧可以包括许多块，所述
块可以包括指示像素属性(诸如色值或亮度)的信息。视频的传输和存储可以使用相当多的
计算或通信资源。可以使用压缩及其它代码化技术来减少视频流中的数据量。
视频代码器的实用性可以取决于压缩速度、压缩性能、压缩保真度以及已解码视
觉质量。压缩速度指示被用来压缩视频的时间。压缩性能表示与源视频相比存储或发射已
编码视频所需的带宽的差异。压缩保真度指示已解码视频与源视频匹配的有多好。已解码
视觉质量表示已解码视频的视觉质量，其可以是主观的。在某些实施方式中，在输入视频信
号中所捕获的噪声或其它非期望伪像可以降低视频代码器的实用性。例如，输入噪声(其可
以是随机的不可预测的噪声)可以被传播到已解码视频并因此降低已解码视觉质量。在某
些实施方式中，输入噪声可以降低压缩速度、压缩性能和/或压缩保真度。
在某些实施方式中，频域去噪可以通过在视频代码化之前或期间从输入视频流移
除噪声来改善压缩速度、压缩性能、压缩保真度和/或已解码视觉质量。在某些实施方式中，
频域去噪包括从源视频流的当前帧识别可变大小源块并使用频域去噪函数来生成用于每
个源块的去噪块。在某些实施方式中，对块进行去噪包括生成用于源块的预测块，将源块和
预测块变换到频域中，基于预测变换块使用频域去噪函数对源变换块进行去噪，以及对去
噪块进行逆变换。
图1是根据本公开的实施方式的计算设备100的图。计算设备100可以包括通信接
口110、通信单元120、用户界面(UI)130、处理器140、存储器150、指令160、电源170或其任何
组合。如本文所使用的，术语“计算设备”包括能够执行本文中公开的任何方法或其任何部
分的任何单元或单元的组合。
计算设备100可以是固定计算设备，诸如个人计算机(PC)、服务器、工作站、小型计
算机或主计算机；或者移动计算设备，诸如移动电话、个人数字助理(PDA)、膝上型计算机或
平板PC。虽然被示出为单个单元，但可以将通信设备100的任何一个或多个元件集成到任何
数目的单独的物理单元内。例如，可以将UI 130和处理器140集成在第一物理单元中，并且
可以将存储器150集成在第二物理单元中。
通信接口110可以是无线天线(如所示)、有线通信端口(诸如以太网端口、红外端
口、串行端口)或能够与有线或无线电子通信介质180对接的任何其它有线或无线单元。
通信单元120可以被配置成经由有线或无线介质180来发射或接收信号。例如，如
所示，通信单元120被操作连接到被配置成经由无线信号通信的天线。虽然在图1中并未明
确地示出，通信单元120可以被配置成经由任何有线或无线通信介质(诸如射频(RF)、紫外
线(UV)、可见光、光纤、导线或其组合)进行发射、接收或发射和接收。虽然图1示出了单个通
信单元120和单个通信接口110，但是可以使用任何数目的通信单元和任何数目的通信接
口。
UI 130可以包括能够与用户对接的任何单元，诸如虚拟或物理小键盘、触控板、显
示器、触摸显示器、扬声器、麦克风、视频相机、传感器或其任何组合。UI 130可以与处理器
140(如所示)或者与通信设备100的任何其它元件(诸如电源170)操作耦合。虽然被示为单
个单元，但UI 130可以包括一个或多个物理单元。例如，UI 130可以包括用于执行与用户的
音频通信的音频接口以及用于执行与用户的基于视觉和触摸的通信的触摸显示器。虽然被
示为单独的单元，但可以将通信接口110、通信单元120以及UI 130或其各部分配置为组合
单元。例如，可以将通信接口110、通信单元120以及UI 130实现为能够与外部触摸屏设备对
接的通信端口。
处理器140可以包括现在存在或以后开发的能够操纵或处理信号或其它信息的任
何设备或系统，包括光学处理器、量子处理器、分子处理前或其组合。例如，处理器140可以
包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核
相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵
列(FPGA)、可编程逻辑阵列、可编程逻辑控制器、微代码、固件、任何类型的集成电路(IC)、
状态机或其任何组合。如本文所使用的，术语“处理器”包括单个处理器或多个处理器。处理
器140可以与通信接口110、通信单元120、UI 130、存储器150、指令160、电源170或其任何组
合操作耦合。
存储器150可以包括任何非暂时性计算机可用或计算机可读介质，诸如可以例如
包含、存储、通信、或传输指令160或与之相关联的任何信息以供处理器140使用或与处理器
140相结合地使用的任何有形设备。非暂时性计算机可用或计算机可读介质可以是例如固
态驱动、存储卡、可移动介质、只读存储器(ROM)、随机存取储器(RAM)、任何类型的磁盘(包
括硬盘、软盘、光盘)、磁卡或光卡、专用集成电路(ASIC)或者适合于存储电子信息的任何类
型的非暂时性介质或其任何组合。在示例中，存储器150可以例如通过存储器总线连接到处
理器140。
指令160可以包括用于执行本文中所公开的任何方法或其任何部分的说明。可以
用硬件、软件或其任何组合来实现指令160。例如，可以将指令160实现为存储在存储器150
中的信息，诸如计算机程序，其可以被处理器140执行以执行如本文中所述的任何相应的方
法、算法、方面或其组合。可以将指令160或其部分实现为专用处理器或电路，其可以包括用
于执行如本文中所述的任何的方法、算法、方面或其组合的专用硬件。可以将指令160的部
分跨相同机器或不同机器上的多个处理器或者跨诸如局域网、广域网、互联网或其组合的
网络分布。
电源170可以是用于对通信接口110供电的任何适当设备。例如，电源170可以包括
有线电源；一个或多个干电池，诸如镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子
(Li离子)；太阳能电池；燃料电池；或能够对通信接口110供电的任何其它设备。通信接口
110、通信单元120、UI 130、处理器140、指令160、存储器150或其任何组合可以与电源170操
作耦合。
虽然被示为单独的元件，但是可以将通信接口110、通信单元120、UI 130、处理器
140、指令160、电源170、存储器150或其任何组合集成在一个或多个电子单元、电路或芯片
中。
图2是根据本公开的实施方式的计算和通信系统200的图。计算和通信系统200可
以包括一个或多个计算和通信设备100A/100B/100C、一个或多个接入点210A/210B、一个或
多个网络220或其组合。例如，计算和通信系统200可以是向一个或多个有线或无线通信设
备(诸如语音、数据、视频、消息、广播或其组合)提供通信(诸如计算和通信设备100A/100B/
100C)的多路访问系统。虽然为了简单起见图2示出了三个计算和通信设备100A/100B/
100C、两个接入点210A/210B以及一个网络220，但可以使用任何数目的计算和通信设备、接
入点以及网络。
计算和通信设备100A/100B/100C可以是例如计算设备，诸如图1中所示的计算设
备100。例如，如图示，计算和通信设备100A/100B可以是用户设备，诸如移动计算设备、膝上
型计算机、瘦客户端或智能电话，并且计算和通信设备100C可以是服务器，诸如主机或集
群。虽然计算和通信设备100A/100B被描述为用户设备且计算和通信设备100C被描述为服
务器，但任何计算和通信设备都可以执行服务器的某些或所有功能、用户设备的某些或所
有功能或者服务器和用户设备的某些或所有功能。
每个计算和通信设备100A/100B/100C可以被配置成执行有线或无线通信。例如，
计算和通信设备100A/100B/100C可以被配置成发射或接收有线或无线通信信号，并且可以
包括用户设备(UE)、移动站、固定或移动订户单元、蜂窝电话、个人计算机、平板计算机、服
务器、消费者电子装置或任何类似设备。虽然每个计算和通信设备100A/100B/100C被示为
单个单元，但计算和通信设备可以包括任何数目的互连元件。
每个接入点210A/210B可以是被配置成经由有线或无线通信链路180A/180B/180C
与计算和通信设备100A/100B/100C、网络220或两者通信的任何类型的设备。例如，接入点
210A/210B可以包括基站、基站收发信台(BTS)、节点B、增强型节点B(eNode-B)、主节点B
(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线设
备。虽然每个接入点210A/210B被示为单个单元，但接入点可以包括任何数目的互连元件。
网络220可以是被配置成通过有线或无线通信链路来提供服务(诸如语音、数据、
应用、网际协议语音(VoIP)或任何其它通信协议或通信协议的组合)的任何类型的网络。例
如，网络220可以是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、移动或蜂窝电话网、互联
网或任何其它电子通信手段。网络220可以使用通信协议，诸如传输控制协议(TCP)、用户数
据报协议(UDP)、网际协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或其组合。
计算和通信设备100A/100B/100C可以使用一个或多个有线或无线通信链路或经
由有线和无线通信链路的组合而经由网络220相互通信。例如，如所示，计算和通信设备
100A/100B可以经由无线通信链路180A/180B进行通信，并且计算和通信设备100C可以经由
有线通信链路180C进行通信。任何的计算和通信设备100A/100B/100C可以使用任何有线或
无线通信链路进行通信。例如，第一计算和通信设备100A可以使用第一类型的通信链路经
由第一接入点210A进行通信，第二计算和通信设备100B可以使用第二类型的通信链路经由
第二接入点210B进行通信，并且第三计算和通信设备100C可以使用第三类型的通信链路经
由第三接入点(未示出)进行通信。同样地，接入点210A/210B可以经由一个或多个类型的有
线或无线通信链路230A/230B与网络220通信。虽然图2示出了经由网络220进行通信的计算
和通信设备100A/100B/100C，但计算和通信设备100A/100B/100C可以经由任何数目的通信
链路(诸如直接有线或无线通信链路)相互通信。
计算和通信系统200的其它实施方式是可能的。例如，在实施方式中，网络220可以
是自组织网络，并且可以省略接入点210A/210B中的一个或多个。计算和通信系统200可以
包括图2中未示出的设备、单元或元件。例如，计算和通信系统200可以包括更多的计算设
备、网络以及接入点。
图3是根据本公开的实施方式的供在编码和解码中使用的视频流300的图。视频流
300(诸如由视频相机所捕获的视频流或者由计算设备所生成的视频流)可以包括视频序列
310。视频序列310可以包括相邻帧320的序列。虽然示出了三个相邻帧320，但视频序列310
可以包括任何数目的相邻帧320。来自相邻帧320的每个帧330可以表示来自视频流的单个
图像。每个帧330可以包括块340。虽然在图3中未示出，但块340可以包括像素。例如，块340
可以包括16×16的像素群组、8×8的像素群组、8×16的像素组或任何其它像素群组。除非
本文中另外指示，术语‘块’可以包括超级块、宏块、段、切片或帧的任何其它部分。帧、块、像
素或其组合可以包括显示信息，诸如辉度(luminance)信息、色度信息或者可以用来存储、
修改、通信或显示视频流或其一部分的任何其它信息。
图4是根据本公开的实施方式的编码器400的框图。编码器400可以在设备(诸如图
1中所示的计算设备100或图2中所示的计算和通信设备100A/100B/100C)中被实现为例如
存储在数据存储单元(诸如图1中所示的存储器150)中的计算机软件程序。计算机软件程序
可以包括可以被处理器(诸如图1中所示的处理器160)执行且可以使得设备如本文所述地
将视频数据编码的机器指令。例如，可以将编码器400实现为包括在计算设备100中的专用
硬件。
编码器400可以将输入视频流402(诸如图3中所示的视频流300)编码而生成已编
码(压缩)比特流404。在某些实施方式中，编码器400可以包括用于生成压缩比特流404的正
向路径。正向路径可以包括帧内/帧间预测单元410、变换单元420、量子化单元430、熵编码
单元440或其任何组合。在某些实施方式中，编码器400可以包括用以重构帧以用于进一步
的块的编码的重构路径(用虚连接线指示)。所述重构路径可以包括去量子化单元450、逆变
换单元460、重构单元470、环路滤波单元480或其任何组合。可以使用编码器400的其它结构
变体来对视频流402进行编码。
为了将视频流402编码，可以以块为单位来处理视频流402内的每个帧。因此，可以
从帧中的块识别当前块，并且可以将当前块编码。
在帧内/帧间预测单元410处，可以使用帧内预测(其可以是在单个帧内)或帧间预
测(其可以是从帧至帧)对当前块进行编码。帧内预测可以包括从先前已被编码并重构的当
前帧中的样本生成预测块。帧间预测可以包括从一个或多个先前构造参考帧中的样本生成
预测块。针对当前帧中的当前块生成预测块可以包括执行运动估计以生成指示参考帧中的
适当参考块的运动矢量。
帧内/帧间预测单元410可以从当前块(原始块(raw block))减掉预测块以产生残
余块(residual block)。变换单元420可以执行基于块的变换，其包括将残余块变换成例如
频域中的变换系数。基于块的变换的示例包括Karhunen-Loève变换(KLT)、离散余弦变换
(DCT)以及奇异值分解变换(SVD)。在示例中，DCT包括基于空间频率使用变换系数值将块变
换到频域中，其中，在矩阵的左上方处具有最低频(即，DC)系数且在矩阵的右下方处具有最
高频系数。
量子化单元430可以将变换系数转换成离散量子值，其可以被称为量子化变换系
数或量子水平。量子化变换系数可以被熵编码单元440进行熵编码而产生熵编码系数。熵编
码可以包括使用概率分布度量。被用来对块进行解码的熵编码系数和信息(其可以包括所
使用的预测类型、运动矢量以及量化器值)可以被输出到压缩比特流404。可以使用各种技
术(诸如行程长度编码(RLE)和零行程编码)将压缩比特流404格式化。
可以使用重构路径来保持编码器400与对应解码器(诸如图5中所示的解码器500)
之间的参考帧同步。重构路径可以类似于下面讨论的解码过程，并且可以包括在去量子化
单元450处将量子化变换系数去量子化，并且在逆变换单元460处对去量子化变换系数进行
逆变换以产生导数残余块。重构单元470可以将由帧内/帧间预测单元410所生成的预测块
添加到导数残余块以创建重构块。可以将环路滤波单元480应用于重构块以减少失真，诸如
块状伪像(blocking artifacts)。
可以使用编码器400的其它变体来对压缩比特流404进行编码。例如，非基于变换
的编码器400可以在没有变换单元420的情况下直接地将残余块量子化。在某些实施方式
中，可以将量子化单元430和去量子化单元450组合成单个单元。
图5是根据本公开的实施方式的解码器500的框图。解码器500可以在设备(诸如图
1中所示的计算设备100或图2中所示的计算和通信设备100A/100B/100C)中被实现为例如
存储在数据存储单元(诸如图1中所示的存储器150)中的计算机软件程序。计算机软件程序
可以包括被处理器(诸如图1中所示的处理器160)执行且可以使得设备如本文所述地将视
频数据解码的机器指令。例如，可以将解码器500实现为包括在计算设备100中的专用硬件。
解码器500接收压缩比特流502，诸如图4中所示的压缩比特流404，并且将压缩比
特流502解码以生成输出视频流504。解码器500可以包括熵解码单元510、去量子化单元
520、逆变换单元530、帧内/帧间预测单元540、重构单元550、环路滤波单元560、解块
(deblocking)滤波单元570或其任何组合。可以使用解码器500的其它结构变体来对压缩比
特流502进行解码。
熵解码单元510可以使用例如场境自适应二进制算术解码来对压缩比特流502内
的数据元素进行解码，以产生量子化变换系数集。去量子化单元520可以将量子换变换系数
去量子化，并且逆变换单元530可以对去量子化变换系数进行逆变换以产生导数残余块，其
可以与由图4中所示的逆变换单元460所生成的导数残余块相对应。使用从压缩比特流502
解码的报头信息，帧内/帧间预测单元540可以生成与在编码器400中所创建的预测块相对
应的预测块。在重构单元550处，可以将预测块添加到导数残余块以创建重构块。可以将环
路滤波单元560应用于重构块以减少块状伪像。可以将解块滤波单元570应用于重构块以减
少块状失真，并且结果可以被输出作为输出视频流504。
可以使用解码器500的其它变体来对压缩比特流502进行解码。例如，解码器500可
以在没有解块滤波单元570的情况下输出视频流504。
图6是根据本公开的实施方式的帧(诸如图3中所示的帧330)的部分600的表示的
框图。如所示，部分600包括在笛卡尔平面的矩阵中的两行和两列中的四个64×64块610，可
以将其称为超级块。在某些实施方式中，超级块可以是基本或最大代码化单元。一个或多个
超级块可以包括四个32×32块620。一个或多个32×32块620可以包括四个16×16块630。一
个或多个16×16块630可以包括四个8×8块640。一个或多个8×8块640可以包括四个4×4
块650。一个或多个4×4块650可以包括16个像素，所述16个像素是在笛卡尔平面或矩阵中
的每个相应的块中的四行和四列中表示的。像素可以包括表示在帧中所捕获的图像的信
息，诸如辉度信息、色彩信息以及位置信息。在某些实施方式中，块(诸如所示的16×16像素
块630)包括辉度块660，所述辉度块660包括辉度像素662；以及两个色度块670/680，诸如U
或Cb色度块670以及V或Cr色度块680。色度块670/680包括色度像素690。例如，辉度块660包
括16×16个辉度像素662，并且每个色度块670/680包括如所示的8×8个色度像素690。虽然
示出了块的一个布置，但可以使用任何布置。例如，虽然图6示出了N×N块，但在某些实施方
式中，可以使用N×M块，其中，N≠M。例如，可以使用32×64块、64×32块、16×32块、32×16
块或任何其他大小的块。在某些实施方式中，以使用N×2N块、2N×N块或其组合。
在某些实施方式中，视频代码化可以包括有序块级别(block-level)代码化。有序
块级别代码化包括按顺序(诸如光栅扫描顺序)对帧中的块进行代码化，其中，从帧或帧的
一部分的左上角中的块开始识别并处理块，并且沿着从左至右的行且从顶行至底行继续进
行，依次识别每个块以用于处理。例如，帧的顶行和左列中的超级块可以是被代码化的第一
块，而直接紧挨着在第一块右侧的超级块可以是被代码化的第二块。从顶部算起的第二行
可以是被代码化的第二行，使得第二行的左列中的超级块可以在第一行的最右列中的超级
块之后被代码化。
在某些实施方式中，对块进行代码化可以包括使用四叉树代码化，其可以包括按
照光栅扫描顺序对块内的较小块单元进行代码化。例如，可以使用四叉树代码化对图6中所
示的帧的部分的左下角中所示的64×64超级块进行代码化，其中，对左上方的32×32块代
码化，然后对右上方的32×32块代码化，然后对左下方的32×32块代码化，并且然后对右下
方的32×32块代码化。可以使用四叉树代码化对每个32×32块代码化，其中，对左上方的16
×16块代码化，然后对右上方的16×16块代码化，然后对左下方的16×16块代码化，并且然
后对右下方的16×16块代码化。可以使用四叉树代码化对每个16×16块代码化，其中，对左
上方的8×8块代码化，然后对右上方的8×8块代码化，然后对左下方的8×8块代码化，并且
然后对右下方的8×8块代码化。可以使用四叉树代码化对每个8×8块代码化，其中，对左上
方的4×4块代码化，然后对右上方的4×4块代码化，然后对左下方的4×4块代码化，并且然
后对右下方的4×4块代码化。在某些实施方式中，针对16×16块可以省略8×8块，并且可以
使用四叉树代码化对16×16块进行代码化，其中，对左上方的4×4块进行代码化，然后按照
光栅扫描顺序对16×16块中的其它4×4块进行代码化。
在某些实施方式中，例如，视频代码化可以包括通过从对应的已编码帧省略原始
帧中的某些信息来压缩包括在原始或输入帧中的信息。例如，代码化可以包括减少频谱冗
余、减少空间冗余、减少时间冗余或其组合。
在某些实施方式中，减少频谱冗余包括使用基于辉度分量(Y)和两个色度分量(U
和V或Cb和Cr)的色彩模型，其被称为YUV或YCbCr色彩模型或色彩空间。使用YUV色彩模型包
括使用相对大量的信息来表示帧的一部分的辉度分量，并且使用相对少量的信息来表示用
于所述帧的部分的每个对应的色度分量。在示例中，用高分辨率辉度分量(其可以包括16×
16像素块)并且用两个较低分辨率色度分量(其中的每一个将帧的所述部分表示为8×8像
素块)来表示帧的一部分。像素可以指示值，例如，从0至255范围中的值，并且可以使用例如
八比特来存储或发射。虽然参考YUV色彩模型描述了本公开，但也可以使用任何色彩模型。
在某些实施方式中，减少空间冗余可以包括使用例如DCT将块变换到频域中。例
如，编码器的单元(诸如图4中所示的变换单元420)可以基于空间频率使用变换系数值来执
行DCT。
在某些实施方式中，减少时间冗余包括使用帧之间的相似性来基于一个或多个参
考帧(其可以是视频流的先前经编码、经解码和经重构的帧)使用相对少量的数据对帧进行
编码。例如，当前帧的块或像素可以类似于参考帧的空间上相对应的块或像素。在某些实施
方式中，当前帧的块或像素可以类似于不同空间位置处的参考帧的块或相似，并且减少时
间冗余可以包括生成指示当前帧中的块或像素的位置与参考帧中的块或像素的相应位置
之间的空间差或平移的运动信息。
减少时间冗余还可以包括识别参考帧或参考帧的一部分中的块或像素，其与当前
帧的当前块或像素相对应。例如，在可以被存储在存储器中的参考帧或参考帧的一部分中
搜索最佳块或像素以用于对当前帧的当前块或像素进行编码。所述搜索可以识别对于其而
言参考块与当前块之间的像素值的差被最小化的参考帧的块，并且被称为运动搜索。在某
些实施方式中，可以限制被搜索的参考帧的部分。例如，可以称为搜索区的被搜索的参考帧
的部分可以包括参考帧的有限数目的行。在示例中，识别参考块可以包括计算搜索区中的
块的像素与当前块的像素之间的成本函数，诸如绝对误差和(SAD)(sum of absolute
difference)。
在某些实施方式中，将参考帧中的参考块的位置与当前帧中的当前块之间的空间
差表示为运动矢量。可以将参考块与当前块之间的像素值的差称为差分数据、残余数据或
者作为残余块。可以将生成运动矢量称为运动估计，并且可以基于使用笛卡儿坐标的位置
将当前块的像素指示为fx，y。同样地，可以基于使用笛卡尔坐标的位置将参考帧的搜索区的
像素指示为rx，y。例如，可以基于当前帧的像素与参考帧的对应像素之间的SAD来确定用于
当前块的运动矢量(MV)。
虽然在本文中为了明了起见参考帧的矩阵或笛卡尔表示来描述频域去噪，但可以
用任何数据结构对帧进行存储、发射、处理或其任意组合，使得可以针对帧或图像而高效地
预测像素值。例如，可以在诸如所示的矩阵的二维数据结构中或者诸如向量数组的一维数
据结构中对帧进行存储、发射、处理或其任何组合。帧的表示(诸如所示的二维表示)可以与
帧作为图像的呈现中的物理位置相对应。例如，帧的左上角中的块的左上角中的位置与帧
作为图像的呈现的左上角中的物理位置相对应。
在某些实施方式中，捕获或记录视频的过程可能经受噪声或其它非期望伪像。例
如，诸如相机制造中的不完美、照明等的因素对输入、源或原始图像中的噪声有所贡献。源
视频中的噪声可以降低所感知的视频质量，并且可以降低视频代码化效率。例如，输入噪声
(其可以是随机的不可预测噪声)可以被传播到已解码视频并降低已解码视觉质量。输入噪
声可以降低压缩速度、压缩性能和/或压缩保真度。
图7是根据本公开的实施方式的使用时域去噪对视频流进行代码化的示例的图。
在某些实施方式中，诸如图4中所示的编码器400的编码器可以接收输入视频流，诸如图4中
所示的输入视频流402，可以根据图4的描述对输入视频流进行编码，并且可以输出已编码
视频流，诸如图4中所示的压缩比特流404。在某些实施方式中，对视频流进行编码可以包括
时域去噪700。例如，编码器400可以包括去噪单元(未单独地示出)，其可以基于源帧或源帧
的一部分以及预测帧或预测帧的一部分(诸如由图4中所示的预测单元410所生成的预测
帧)而生成去噪帧或去噪帧的一部分。在某些实施方式中，编码器可以包括组合预测和去噪
单元。例如，图4中所示的编码器400的预测单元410可以包括去噪单元。
时域去噪700可以包括在710处识别源块、在720处生成预测块、在730处识别滤波
器、在740处生成去噪块、在750处评估去噪块或其组合。在某些实施方式中，时域去噪700包
括时间去噪，其中，去噪像素的值可以基于当前帧中的像素和参考帧中的对应像素的值。
在某些实施方式中，在710处识别源块。输入或源视频流的当前帧可以包括多个N
×N块，诸如16×16块，并且来自源帧的块可以被识别为源块。在某些实施方式中，可以以逐
个块为基础对来自源帧的每个块进行去噪。
在某些实施方式中，在720处生成预测块。例如，可以使用帧间预测(诸如图4中所
示的帧间预测单元410)来基于参考帧生成预测块。
在某些实施方式中，在730处识别滤波器。滤波器可以生成已滤波像素，其具有在
来自源块的源像素的值与来自预测块的对应预测像素的值之间的值。在某些实施方式中，
滤波器具有可以指示源像素和预测像素的相对权重的强度。例如，强滤波器生成具有与源
像素的值相比更接近于预测像素的值的值的已滤波像素，并且弱滤波器生成具有与预测像
素的值相比更接近于源像素的值的值的已滤波像素。在某些实施方式中，从具有多种强度
的候选时间去噪滤波器的集合中识别滤波器。可以在示例中选择最强可用滤波器。
在某些实施方式中，在740处生成去噪块。通过应用所选择的滤波器来基于预测块
对源块进行滤波，可以生成去噪块。在某些实施方式中，可以基于来自预测块的对应像素在
逐个像素的基础上对来自源块的每个像素进行滤波。例如，可以按照扫描顺序(诸如光栅扫
描顺序)来处理来自源块的像素。
在某些实施方式中，在750处评估去噪块。评估去噪块可以包括确定去噪块与源块
之间的差。在某些实施方式中，所述去噪块基于所述差是否在保真度阈值内而被拒绝或接
受。例如，去噪块与源块之间的差可以在保真度阈值内，并且去噪块被接受。
可以使用连续较弱滤波器迭代地重复在730处识别滤波器、在740处生成去噪块以
及在750处评估去噪块，直至识别到可接受的去噪块为止。在某些实施方式中，可以使用源
块作为去噪块。在示例中，可用滤波器的集合包括强滤波器和弱滤波器。在730处识别强滤
波器，在740处生成强滤波去噪块，在750处评估强滤波去噪块，强滤波去噪块与源块之间的
差超过保真度阈值，强滤波去噪块被拒绝，在730处识别弱滤波器，在740处生成弱滤波去噪
块，在750处评估弱滤波去噪块，弱滤波去噪块与源块之间的差超过保真度阈值，并且弱滤
波去噪块被拒绝。结果，源块在没有去噪的情况下被用作去噪块。
虽然在图7中未单独地示出，可以诸如按照光栅扫描顺序以逐个块为基础对来自
当前帧的每个块进行去噪。使用时域去噪的编码可以包括使用去噪块来生成残余块。例如，
预测单元(诸如图4中所述的预测单元410)基于源帧与去噪帧之间的差而生成残余。
图8是根据本公开的实施方式的使用频域去噪对视频流进行代码化的示例的图。
在某些实施方式中，诸如图4中所示的编码器400的编码器可以接收输入视频流，诸如图4中
所示的输入视频流402，可以根据图4的描述对输入视频流进行编码，并且可以输出已编码
视频流，诸如压缩比特流404。在某些实施方式中，对视频流进行编码可以包括频域去噪
800。例如，图4中所示的编码器400可以包括去噪单元(未单独地示出)，其基于基于源帧或
源帧的一部分以及预测帧或预测帧的一部分(诸如由图4中所示的预测单元410所生成的预
测帧)而生成去噪帧或去噪帧的一部分。在某些实施方式中，编码器可以包括组合预测和去
噪单元、组合变换和去噪单元、或组合预测、变换和去噪单元。
在某些实施方式中，频域去噪800包括在810处识别源块、在820处生成预测块、在
830处生成变换块、在840处生成去噪块、在850处对去噪块进行逆变换、或其组合。频域去噪
800可以包括频率去噪，其可以包括组合空间和时间去噪，其中，去噪像素的值是基于当前
帧中的像素的值、参考帧中的对应像素的值以及空间相关像素的值。
在某些实施方式中，在810处识别源块。输入或源视频流的当前帧包括多个N×N块
或N×M块，诸如图6中所示的块。例如，源块可以是4×4块、64×64或任何其它大小的块。可
以将来自源帧的块识别为源块。在某些实施方式中，可以以逐个块为基础对来自源帧的每
个块进行去噪。例如，可以按照一定顺序(诸如光栅顺序)对来自当前帧的块进行去噪。
在某些实施方式中，在820处生成预测块。可以使用帧间预测(诸如图4中所示的帧
间预测单元410)来基于参考帧生成预测块。
在某些实施方式中，在830处生成变换块。可以从源块生成源变换块，并且可以从
预测块生成预测变换块。例如，变换单元(诸如图4中所示的变换单元420)从预测块生成预
测变化块，并且从源块生成源变换块。生成变换块可以包括执行基于块的变换(诸如DCT变
换)以从像素的块(诸如源块或预测块)生成频域变换系数。
在某些实施方式中，在840处生成去噪变换块。生成去噪块可以包括基于预测变换
块对源变换块应用去噪函数。
在某些实施方式中，源变换块可以是对应的无噪声块(其可以被视为实际块)以及
加性高斯噪声的函数。频域去噪可以将实际块恢复为去噪块。在某些实施方式中，预测变换
块是与参考块和加性拉普拉斯创新相对应的实际块的函数。频域去噪函数可以基于源变换
块和预测变换块来生成实际块的期望。
在示例中，B指示像素域中的源块的Y平面，Bx,y指示B的行x和列y中的像素的值，h
指示以像素为单位的源块的高度，w指示以像素为单位的源块的宽度，β是B的离散变换域表
示(β＝dct(B))，β0指示DC系数，β1、β2、…,、βhw-1指示AC系数，P指示像素域中的B的预测的Y
平面，并且π是P的离散变换域表示(π＝dct(P))。
在某些实施方式中，是源块的变换域，β表示无噪声信号，其可以是与输入块相
对应的真实或实际信号，n表示在源帧的生成期间添加到真实信号的噪声，并且被如下表
示：
变量可以是预测块的变换域，π可以表示无噪声信号，其可以是与预测块相对应
的真实或实际信号，并且e可以表示创新，使得被如下表示：
在某些实施方式中，去噪包括基于源块和预测块而生成β的估计E。其中，x表示积
分变量且dx表示接近于零的积分变量x的量，可以如下表示估计E：
在某些实施方式中，f指示基于和的β的条件概率密度函数，其被如下表示：
在某些实施方式中，针对给定真实块，噪声块和预测块可以是独立的，其可以如下
表示：
在某些实施方式中，f(n)指示噪声的函数，并且可以如下表示条件概率密度函数：
在某些实施方式中，用高斯分布对f(n)进行建模，其可以如下表示：
在某些实施方式中，f(e)指示创新的函数，并且可以如下表示条件概率密度函数：
在某些实施方式中，用拉普拉斯分布对f(e)进行建模，其可以如下表示：
在某些实施方式中，指示在点处噪声和创新函数的卷积
并且可以如下表示估计：
在某些实施方式中，如下表示的近似：
在某些实施方式中，i可以编索引到从l至u的N个x值的列表xd，每个间隔开距离
Δ，使得并且可以利用和来对积分进行近似，其可以如下表示：
可以利用和来对卷积进行近似，其中，积分的边界是相等的，其可以如下表示：
在某些实施方式中，被识别为下界，并且
被识别为上界。在某些实施方式中，近似的准确度和计算的成本随着点N的数目而增加，并
且N是基于度量(诸如可用的浮点精度、时间、像素精度或其组合)而确定的。可以使用积分
表达式的另一近似。
虽然图8中未单独地示出，但可以应用一个或多个频域截止。例如，当前帧可以包
括从先前的帧省略的对象，诸如进入所捕获场景的新对象。在这种情况下，用于包括新对象
的帧部分的预测块可能被不准确地预测，或者可能是不可预测的，并且可以应用频域截止。
应用频域截止可以包括确定去噪系数值是否在频域中的源系数值与预测系数值
之间的范围中。例如，源系数βi可以具有值30，对应的预测系数πi可以具有值26，对应的去噪
系数可以具有在截止范围之外的值，诸如32，并且源系数βi的值被用作去噪值。在另一示例
中，源系数βi可以具有值30，对应的预测系数πi可以具有值26，对应的去噪系数可以具有在
截止范围内的值，诸如27，并且使用所述去噪系数值。
应用频域截止可以包括确定去噪系数值与对应的源系数值之间的差是否在去噪
频域相似性阈值以下。例如，去噪频遇相似性阈值可以是百分比(诸如20％)，去噪系数值与
对应的源系数值之间的差可以大于去噪频域相似性阈值，并且使用所述源系数。在另一示
例中，去噪系数值与对应的源系数值之间的差可以小于去噪频域相似性阈值，并且使用所
述去噪系数。在另一示例中，去噪系数值与对应的源系数值之间的差可以大于去噪频域相
似性阈值，并且使用用去噪频域相似性阈值(诸如源变换系数乘以一个(1)与去噪频域相似
性阈值的和)所指示的值作为去噪值。
在某些实施方式中，生成去噪变换块包括在第一遍中生成去噪系数，并且在第二
遍中应用截止。生成去噪变换块可以替选地包括在一遍中生成去噪系数并应用截止。
在某些实施方式中，生成去噪变换块包括应用一个或多个基于块的频域截止。使
用基于块的频域截止来生成去噪变换可以包括识别基于块的频域截止阈值，其指示最大可
靠地可预测频率，并且对在基于块的频域截止阈值内的源系数进行去噪。例如，源系数值可
以在基于块的频域截止阈值以上，可以使用所述源系数值，并且省略去噪。在另一示例中，
源系数值可以在基于块的频域截止阈值以下，并且生成去噪系数。
可以对去噪变换块进行逆变换以在850处生成去噪块。虽然在图8中未单独地示
出，但编码器可以基于去噪块和预测块而生成残余。例如，编码器的预测单元(诸如图4中所
示的帧内/帧间预测单元410)可以从去噪块减去预测块以产生残余块。可以诸如按照光栅
扫描顺序以逐个块为基础对来自当前帧的每个块进行去噪。
虽然图8中未单独地示出，但可以应用一个或多个像素域截止。应用像素域截止可
以包括确定去噪像素值是否在源像素值与预测像素值之间的范围中。例如，去噪像素值可
以在源像素值与预测像素值之间，并且使用去噪像素值。在另一示例中，去噪像素值可以在
源像素值与预测像素值之间的范围之外，并且将源像素值用于生成残余。
此外，可以应用一个或多个基于块的像素域截止。例如，源块与去噪块之间的总差
可以超过基于块的像素域截止阈值，并且然后将源块用于生成残余。
虽然在图8中并未单独地示出，可以使用不同的启发式来确定预测块的准确度是
否在去噪阈值以上，并且如果准确度在阈值以下，则省略去噪。例如，用于频率或频率组的
预测块与源块之间的差可以在阈值以上，并且省略去噪。
虽然相对于单个参考帧描述了频域去噪，但可以使用多个参考帧，使得去噪块是
源块和多个预测块的函数。
除图8中所示的之外的频域去噪的其它实施方式是可用的。可以添加频域去噪的
附加元素，可以将某些元素组合和/或可以移除某些元素。
单词“示例”在本文中用来意指充当示例、实例或图示。在本文中描述为“示例”的
任何方面或设计不一定要理解为相对于其它方面或设计而言是优选或有利的。相反地，单
词“示例”的使用旨在以具体的方式提出概念。如在本申请中使用的术语“或”旨在意指包括
性的“或”而不是排他性的“或”。也就是说，除非另外指定，或者从上下文显而易见，“X包括A
或B”旨在意指任何的自然包括性排列。也就是说，如果X包括A；X包括B；或者X包括A和B两
者，则根据任何前述实例，满足“X包括A或B”。另外，如在本申请和所附权利要求中使用的冠
词“一(a)”和“一(an)”一般地应被理解成意指“一个或多个”，除非另外指明或者从上下文
显而易见的是针对单数形式。此外，术语“实施例”或“一个实施例”或“实施方式”或“一个实
施方式”遍及各处的使用并不旨在意指相同的实施例或实施方式，除非这样地描述。如本文
中所使用的术语“确定”和“识别”或其任何变型包括使用图1中所示的设备中的一个或多个
以无论任何方式来选择、查明、计算、查找、接收、确定、建立、获得或者以其他方式识别或确
定。
进一步地，为了说明的简单起见，虽然本文中的图和描述可以包括步骤或阶段的
序列或系列，但本文中公开的方法的元素可以按照各种顺序和/或同时地发生。另外，本文
中公开的方法的元素可以与在本文中并未明确地呈现和描述的其它元素一起发生。此外，
可能并非本文中所述的方法的所有元素都是实现根据公开主题的方法所需要的。
可以用硬件、软件或其任何组合来实现设备100A、100B、100C(以及存储在其上面
和/或从而被执行的算法、方法、指令等)的实施方式。硬件可以包括例如计算机、知识产权
(IP)核心、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代
码、微控制器、服务器、微处理器、数字信号处理器或任何其它适当电路。在权利要求中，应
将术语“处理器”理解为包含任何前述硬件(单独地或以组合方式)。术语“信号”和“数据”被
可互换地使用。进一步地，设备100A、100B、100C的部分不一定必须用相同的方式实现。
进一步地，在一个实施方式中，例如，可以使用具有计算机程序的通用计算机或通
用处理器来实现100A、100B、100C，所述计算机程序在被执行时执行本文所述的任何的各方
法、算法和/或指令。另外或替选地，例如，可以利用专用计算机/处理器，其可以包含用于执
行本文中所述的任何方法、算法或指令的专用硬件。
例如，可以在实时视频系统中的计算机上实现任何或所有设备100A、100B、100C。
替选地，可以在服务器上将设备100A实现为发射站，并且可以在与服务器分离的设备(诸如
手持式通信设备)上将设备100B、100C实现为一个或多个接收站。在这种情况下，设备100A
可以使用编码器400将内容编码成已编码视频信号并将已编码视频信号发射到设备100B或
100C。进而，设备100B/100C然后可以使用解码器500将已编码视频信号解码。替选地，设备
100B/100C可以对本地存储的内容(例如并非由设备100A发射的内容)进行解码。用于发射
站和接收站的其它适当布置是可用的。例如，设备100B或100C可以是大体上固定的个人计
算机而不是便携式通信设备和/或包括编码器400的设备还可以包括解码器500。
进一步地，所有实施方式或其一部分可以采取从例如有形计算机可用或计算机可
读介质可访问的计算机程序产品的形式。计算机可用或计算机可读介质可以是可以有形地
包含、存储、通信或传输程序以供任何处理器使用或与之相结合地使用的任何设备。例如，
所述介质可以是电子、磁性、光学、电磁或半导体设备。其它适当介质也是可用的。
描述上述实施方式是为了允许容易地理解本申请而不是进行限制。相反地，本申
请涵盖包括在所附权利要求范围内的各种修改和等价布置，所述范围将是根据最宽泛的解
释从而涵盖根据法律许可的所有此类修改和等价结构。