使用偶数奇数整数变换后台的视频和数据处理.pdf

1、10申请公布号CN104067621A43申请公布日20140924CN104067621A21申请号201280054519722申请日2012110661/556,68120111107US61/556,82320111107USH04N19/61201401H04N19/122201401G06F17/1420060171申请人VID拓展公司地址美国特拉华州72发明人董洁叶琰74专利代理机构北京润平知识产权代理有限公司11283代理人陈潇潇刘国平54发明名称使用偶数奇数整数变换后台的视频和数据处理57摘要公开了用于对数据例如残留视频数据进行变换的整数变换、和/或整数变换操作的方法、设备以

2、及系统。在这些方法、设备以及系统中，设备中可以包括处理器和存储器。该存储器包括一组变换矩阵、以及能够由所述处理器执行以使用所述一组变换矩阵中的任意变换矩阵来对数据例如残留视频数据进行变换的指令。所述一组变换矩阵中的每个变换矩阵可以是正交的，或可替换地可以是近似正交的并可以被完全因式分解。所述一组变换矩阵中的每个变换矩阵可以具有不同数量的元素。各个数量的元素中的每个元素是整数。每个变换矩阵的基本向量的范数之间的差值满足给定的阈值；并且所述基本向量接近离散余弦变换DCT矩阵的对应基本向量。30优先权数据85PCT国际申请进入国家阶段日2014050686PCT国际申请的申请数据PCT/US2012

3、/0637092012110687PCT国际申请的公布数据WO2013/070605EN2013051651INTCL权利要求书4页说明书52页附图18页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书52页附图18页10申请公布号CN104067621ACN104067621A1/4页21一种设备，该设备包括处理器和存储器，其中该存储器包括一组变换矩阵、以及能够由所述处理器执行以使用所述一组变换矩阵中的任意变换矩阵来对数据进行变换的指令，其中所述一组变换矩阵中的每个变换矩阵是正交的，并且具有不同数量的元素；各个数量的元素中的每个元素是整数；每个变换矩阵的基本向量的范数之间

4、的差值满足给定的阈值；以及所述基本向量接近离散余弦变换DCT矩阵的对应基本向量。2一种设备，该设备包括处理器和存储器，其中该存储器包括一组变换矩阵、以及能够由所述处理器执行以使用所述一组变换矩阵中的任意变换矩阵来对数据进行变换的指令，其中所述一组变换矩阵中的每个变换矩阵近似正交，具有不同数量的元素并能够被完全因式分解；各个数量的元素中的每个元素是整数；每个变换矩阵的基本向量的范数之间的差值满足给定的阈值；以及所述基本向量接近离散余弦变换DCT矩阵的对应基本向量。3根据权利要求1和2中任一项权利要求所述的设备，其中所述存储器还包括能够由所述处理器执行以产生所述一组变换矩阵并将该组变换矩阵存储在所

5、述存储器中的指令。4根据权利要求1和2中任一项权利要求所述的设备，其中所述给定的阈值包括以下阈值当满足该阈值时，指示所述基本向量的范数大致相等。5根据权利要求1和2中任一项权利要求所述的设备，其中根据失真的测量，所述基本向量接近离散余弦变换DCT矩阵的对应基本向量。6根据权利要求1和2中任一项权利要求所述的设备，其中根据失真的测量所述基本向量接近离散余弦变换DCT矩阵的对应基本向量包括根据该失真的测量满足预定义的阈值。7根据权利要求5和6中任一项权利要求所述的设备，其中所述失真的测量是基于所述DCT矩阵的。8根据权利要求57中任一项权利要求所述的设备，其中所述失真的测量是基于至少所述基本向量以

6、及所述DCT矩阵的对应基本向量的一部分的。9根据前述权利要求中任一项权利要求所述的设备，其中所述一组变换矩阵中的每个变换矩阵能够分解成偶数部分和奇数部分。10根据前述权利要求中任一项权利要求所述的设备，其中所述一组变换矩阵中的每个变换矩阵包括2N2N个元素，并且其中N是正整数。11根据权利要求10所述的设备，其中所述一组变换矩阵中的每个变换矩阵能够分解成偶数部分和奇数部分，并且其中所述偶数部分和奇数部分中的每一者包括2N12N1个元素。12根据权利要求11所述的设备，其中所述偶数部分由因数M缩放，并且其中M是正整数。13根据权利要求11所述的设备，其中根据所述奇数部分进行变换包括将2N2阶变换

7、权利要求书CN104067621A2/4页3应用到从一层小波分解得到的每个子带所得到的结果。14根据权利要求13所述的设备，其中所述结果由因数M缩放，并且其中M是正整数。15根据权利要求14所述的设备，其中所述小波变换是哈尔变换。16根据前述权利要求中任一项权利要求所述的设备，其中所述设备是以下任意一者视频编码器、视频解码器、以及无线发射和/或接收单元WTRU。17一种用于使用N阶整数变换处理残留视频数据的方法，该方法包括在预处理单元处，接收残留视频数据的向量；在所述预处理单元处，处理所述残留视频数据的向量，以形成用于变换的第一中间输出向量和第二中间输出向量；在第一变换单元处，接收所述第一中间

8、输出向量；在所述第一变换单元处，对所述第一中间输出向量进行变换，以使用N/2阶整数偶数部分变换矩阵和N/2阶整数奇数部分矩阵的基础向量来形成偶数索引的变换系数；在第二变换单元处，接收所述第二中间输出向量；以及在所述第二变换单元处，对所述第二中间输出向量进行变换，以通过连续的N/2阶整数矩阵处理所述第二中间输出向量来形成奇数索引的变换系数，其中所述N/2阶整数矩阵一起对所述N阶整数变换矩阵的奇数部分进行因式分解。18根据权利要求17所述的方法，其中所述连续的N/2阶整数矩阵基于N/4阶奇数部分矩阵，且其中通过连续N/2阶整数矩阵处理所述第二中间输出向量包括生成所述第二中间输出向量的第一子带和第二

9、子带；以及将所述N/4阶奇数部分矩阵应用到所述第一子带和第二子带的每一者。19根据权利要求17所述的方法，其中所述N阶整数变换是8阶整数变换，且其中所述连续N/2阶整数矩阵包括三个连续的4阶整数矩阵。20根据权利要求19所述的方法，其中第一个连续4阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称，其中第二个连续4阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，且其中第三个连续4阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称。21根据权利要求17所述的方法，其中所述N阶整数变换是16阶整数变换，且其中所述连续N/2阶整数矩阵包括四个连续8阶整数矩阵。2

10、2根据权利要求21所述的方法，其中第一个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称，其中第二个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，其中第三个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，以及第四个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称。23根据权利要求17所述的方法，其中所述N阶整数变换是8阶整数变换，其中通过连续N/2阶整数矩阵处理所述第二中间输出向量包括通过第一个4阶整数矩阵处理所述第二中间输出向量以形成第一组中间变换元素；通过第二个4阶整数矩阵处理所述第一组中间变换元素以形成第二

11、组中间变换元素；以及通过第三个4阶整数矩阵处理所述第二组中间变换元素以形成所述奇数索引的变换权利要求书CN104067621A3/4页4系数。24根据权利要求17所述的方法，其中所述N阶整数变换是16阶整数变换，其中通过连续N/2阶整数矩阵处理所述第二中间输出向量包括通过第一个8阶整数矩阵处理所述第二中间输出向量以形成第一组中间变换元素；通过第二个8阶整数矩阵处理所述第一组中间变换元素以形成第二组中间变换元素；通过第三个8阶整数矩阵处理所述第二组中间变换元素以形成第三组中间变换元素；以及通过第四个8阶整数矩阵处理所述第三组中间变换元素以形成所述奇数索引的变换系数。25根据权利要求17所述的方法

12、，其中所述N阶整数变换是32阶整数变换，其中通过连续N/2阶整数矩阵处理所述第二中间输出向量包括通过第一个16阶整数矩阵处理所述第二中间输出向量以形成第一组中间变换元素；通过第二个16阶整数矩阵处理所述第一组中间变换元素以形成第二组中间变换元素；通过第三个16阶整数矩阵处理所述第二组中间变换元素以形成第三组中间变换元素；通过第四个16阶整数矩阵处理所述第三组中间变换元素以将所述第三组中间变换元素分解成用于根据各自4阶整数矩阵进行变换的四个向量；以及将所述四个向量的每一个向量应用到所述各自的4阶整数矩阵以形成奇数索引的变换系数。26一种用于使用N阶整数变换处理残留视频数据的设备，该设备包括预处理

13、单元、第一变换单元以及第二变换单元，其中所述预处理单元适用于接收残留视频数据的向量；所述预处理单元适用于处理所述残留视频数据的向量以形成用于变换的第一中间输出向量和第二中间输出向量；所述第一变换单元适用于接收所述第一中间输出；所述第一变换单元适用于对所述第一中间输出向量进行变换以使用N/2阶整数偶数部分变换矩阵和N/2阶整数奇数部分矩阵的基本向量来形成偶数索引的变换系数；所述第二变换单元适用于接收所述第二中间输出向量；以及所述第二变换单元适用于对所述第二中间输出向量进行变换以通过连续N/2阶整数矩阵处理所述第二中间输出向量来形成奇数索引的变换系数，其中所述N/2阶整数矩阵一起对所述N阶整数变换

14、矩阵的奇数部分进行因式分解。27根据权利要求26所述的设备，其中所述连续N/2阶整数矩阵基于N/4阶奇数部分矩阵，且其中所述第二变换单元适用于在通过连续N/2阶整数矩阵处理所述第二中间输出向量时，生成所述第二中间输出向量的第一子带和第二子带并将所述N/4阶奇数部分矩阵应用于所述第一子带和第二子带的每一者。28根据权利要求26所述的设备，其中所述N阶整数变换是8阶整数变换，且其中所述连续N/2阶整数矩阵包括三个连续的4阶整数矩阵。29根据权利要求28所述的设备，其中其中第一个连续4阶整数矩阵包括沿一条对角权利要求书CN104067621A4/4页5线的偶数对称和沿另一条对角线的奇数对称，其中第二

15、个连续4阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，且其中第三个连续4阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称。30根据权利要求26所述的设备，其中所述N阶整数变换是16阶整数变换，且其中所述连续N/2阶整数矩阵包括四个连续4阶整数矩阵。31根据权利要求30所述的设备，其中第一个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的奇数对称，其中第二个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，其中第三个连续8阶整数矩阵包括沿一条对角线的偶数对称和沿另一条对角线的零对称，以及第四个连续8阶整数矩阵包括沿一条对角线的偶数对称和

16、沿另一条对角线的奇数对称。32根据权利要求26所述的设备，其中所述N阶整数变换是8阶整数变换，其中当通过连续N/2阶整数矩阵处理所述第二中间输出向量时，所述第二变换单元适用于通过第一个4阶整数矩阵处理所述第二中间输出向量以形成第一组中间变换元素；通过第二个4阶整数矩阵处理所述第一组中间变换元素以形成第二组中间变换元素；以及通过第三个4阶整数矩阵处理所述第二组中间变换元素以形成所述奇数索引的变换系数。34根据权利要求26所述的设备，其中所述N阶整数变换是16阶整数变换，其中当通过连续N/2阶整数矩阵处理所述第二中间输出向量时，所述第二变换单元适用于通过第一个8阶整数矩阵处理所述第二中间输出向量以

17、形成第一组中间变换元素；通过第二个8阶整数矩阵处理所述第一组中间变换元素以形成第二组中间变换元素；通过第三个8阶整数矩阵处理所述第二组中间变换元素以形成第三组中间变换元素；以及通过第四个8阶整数矩阵处理所述第三组中间变换元素以形成所述奇数索引的变换系数。35根据权利要求26所述的设备，其中所述N阶整数变换是32阶整数变换，其中当通过连续N/2阶整数矩阵处理所述第二中间输出向量时，所述第二变换单元适用于通过第一个16阶整数矩阵处理所述第二中间输出向量以形成第一组中间变换元素；通过第二个16阶整数矩阵处理所述第一组中间变换元素以形成第二组中间变换元素；通过第三个16阶整数矩阵处理所述第二组中间变换

18、元素以形成第三组中间变换元素；通过第四个16阶整数矩阵处理所述第三组中间变换元素以将所述第三组中间变换元素分解成用于根据各自4阶整数矩阵进行变换的四个向量；以及将所述四个向量的每一个向量应用到所述各自的4阶整数矩阵以形成奇数索引的变换系数。权利要求书CN104067621A1/52页6使用偶数奇数整数变换后台的视频和数据处理背景技术0001数字视频能力可以合并到多种设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理PDA、便携式电脑或台式机、数码相机、数字录像设备、视频游戏设备、视频游戏控制台、移动电话、卫星或其他无线电电话等等。许多数字视频设备实施视频压缩技术来更高效地传送和接收

19、数字视频信息，该视频压缩技术包括例如由移动图像专家组MPGA诸如MPEG2、MPEG4、以及国际电信联盟ITU诸如ITUTH263，或者ITUTH264/MPEG4第十部分高级视频编码AVC、以及这些标准的扩展定义的标准中所描述的视频压缩技术。0002视频压缩技术可以执行空间预测和/或时间预测TEMPORALPREDICTION来减少或去除视频序列内在的冗余。对于基于块的视频编码，可以将视频帧或片分成块“视频块”。根据不同的编码技术，帧内编码INTRACODEDI的帧或片中的视频块通过使用相对于相邻块的空间预测而被编码。帧间编码INTERCODEDP或B中的帧或片中的视频块可以使用相对于同一帧

20、或片中的相邻视频块的空间预测、或者相对于其他参考帧中的视频块的时间预测。发明内容0003公开了用于对数据例如残留RESIDUAL视频数据进行变换的整数变换、和/或整数变换操作的方法、设备以及系统。在这些方法、设备以及系统中，设备中可以包括处理器和存储器。该存储器可以包括一组变换矩阵、以及能够由所述处理器执行以使用所述一组变换矩阵中的任意矩阵来对数据例如残留视频数据进行变换的指令。所述一组变换矩阵中的每个变换矩阵是正交的，并且具有不同数量的元素。各个数量的元素中的每个元素是整数。每个变换矩阵的基本向量的范数NORM之间的差值满足给定的阈值；并且所述基本向量大致对应于离散余弦变换DCT矩阵的基本向

21、量。0004可替换地，所述一组变换矩阵中的每个变换矩阵可以近似正交，具有不同数量的元素并且可被完全因式分解FACTORIZATION。0005在所述方法、设备以及系统中，还可以包括一种使用N阶整数变换来处理残留视频数据的方法。该方法可以包括在第一预处理PRECONDITIONING单元处接收视频数据例如残留视频数据的向量，并且在第一预处理单元处对视频数据例如残留视频数据的向量进行处理以形成用于变换的第一和第二中间输出向量。该方法还可以包括在第一变换单元处接收第一中间输出向量，并且在第一变换单元处对第一中间输出向量进行变换，以使用N/2阶整数偶数部分变换矩阵和N/2阶整数奇数部分矩阵的基本向量来

22、形成偶数索引的变换系数。该方法还可以包括在第二变换单元处接收第二中间输出向量，并且在第二变换单元处对第二中间输出向量进行变换，以通过对通过连续的N/2阶整数矩阵的第二中间输出向量进行处理来形成奇数索引的变换系数。N/2阶整数矩阵可以一起对N阶变换矩阵的奇数部分进行因式分解。说明书CN104067621A2/52页7附图说明0006可从以下描述中获取更详细的理解，这些描述是结合附图通过举例给出的。类似于详细的描述，这些附图中的图都是示例。因此，附图和详细描述中不能被看作是限制，而其它同样有效的实施例也是可能的和可行的。此外，在图中相同的参考数字表示相同的元件，其中0007图1A是示出一个示例性视

23、频编码和解码系统的框图，在该系统中可以执行和/或实施一个或多个实施方式；0008图1B是示出用于与视频编码和/或解码系统例如如1A的系统一起使用的一个示例性视频编码器单元的框图；0009图1C是示出用于与视频编码器单元例如如1A1B的视频编码器单元一起使用的一个示例性视频编码器的框图；0010图1D是示出用于与视频编码器单元例如如1A1B的视频编码器单元一起使用的一个示例性视频解码器的框图；0011图2示出了根据一个非限制性实施方式的示例性32阶变换矩阵；0012图3A3B是示出用于执行K阶变换的部分因式分解的示例性结构的框图；0013图4A4B是示出用于执行32阶变换的部分因式分解的示例性结

24、构的框图；0014图5A5B是示出用于执行8阶变换的完全因式分解的示例性结构的框图；0015图6A6B是示出用于执行16阶变换的完全因式分解的示例性结构的框图；0016图7A7B是示出用于执行32阶变换的完全因式分解的示例性结构的框图；0017图8示出了根据一个非限制性实施方式的通信系统；0018图9A是一个示例性通信系统的系统图，在该通信系统中可以实施所公开的一个或多个实施方式；0019图9B是可以在图9A所示的通信系统中使用的一个示例性无线发射/接收单元WTRU的系统图；以及0020图9C9E是可以在图9A所示的通信系统中使用的一个示例性无线电接入网和示例性核心网的系统图。具体实施方式00

25、21在下面的详细描述中，列出了许多具体细节来提供对所公开的实施方式和/或示例的透彻理解。但是，可以理解的是可以在不使用这里列出的一些或所有特定细节的情况下实施这些实施方式和示例。在其他实例中，没有详细描述公知的方法、过程、组件以及电路，从而不会使得下面的描述不清楚。另外，这里没有具体描述的实施方式和示例可以代替或结合这里所公开的实施方式和其他示例。0022示例性系统架构0023图1A是示出一个示例性视频编码和解码系统10的框图，在该系统10中可以执行和/或实施一个或多个实施方式。系统10可以包括源设备12，该源设备12经由通信信道16来传送编码后的视频信息给目的设备14。0024源设备12和目

26、的设备14可以是多种设备中的任意一种。在一些实施方式中，源设备12和目的设备14可以包括无线发射和/或接收单元WTRU，例如可以通过通信信道说明书CN104067621A3/52页816来传送视频信息在这种情况下，通信信道16包括无线链路的无线手持设备或任意无线设备。但是，在这里描述的、公开的或以其他方式显性、隐性地、固有地提供的统称为“提供的”方法、设备以及系统不必限为无线应用或设置。例如，这些技术可以应用于空中电视广播、有线电视传输、卫星电视传输、因特网视频传输、在存储介质上编码的编码后的数字视频、或者其他情况。因此，通信信道16可以包括和/或可以是适于传输编码后的视频数据的无线或有线媒介

27、的任意组合。0025源设备12可以包括视频编码器单元18、发射和/或接收TX/RX单元20以及TX/RX元件22。如图所示，可选地，源设备12可以包括视频源24。目的设备14可以包括TX/RX元件26、TX/RX单元28以及视频解码器单元30。TX/RX单元20、28中的每一个可以是或者包括发射机、接收机、或者发射机和接收机的组合例如收发信机或发射机接收机。TX/RX元件22、26中的每一个可以是例如天线。根据所公开的内容，源设备12的视频编码器单元18和/或目的设备的视频解码器单元30可以被配置为和/或适于统称为适合应用这里提供的编码技术。0026源和目的设备12、14可以包括其他元件/组件

28、或装置。例如，源设备12可以适于接收来自外部视频源的视频数据。并且，目的设备14可以与外部显示设备未示出连接，而不是包括和/或使用例如集成的显示设备32。在一些实施方式中，可以将由视频编码器单元18产生的数据流传递给其他设备而无需将数据调制到载波信号上，例如通过直接数据传递，其中所述其他设备可以调制或不调制数据以进行传输。0027图1示出的系统10仅仅是一个示例。这里提供的技术可以由数字视频编码和/或解码设备执行。虽然这里提供的技术一般可以由单独的视频编码和/或视频解码设备执行，但是所述技术还可以由组合的视频编码器/解码器通常称为编解码器CODEC来执行。此外，这里提供的技术还可以由视频预处理

29、器等等执行。源设备12和目的设备14仅仅是这种编码设备的示例在该编码设备中，源设备12产生和/或接收视频数据和产生编码后的视频信息以用于传输给目的设备14。在一些实施方式中，设备12、14可以按照基本对称的方式操作，从而设备12、14中的每一个包括视频编码和解码组件和/或元件统称为“元件”。因此，系统10可以支持设备12、14之间的单向和双向视频传输中的任意一种，例如视频流、视频回放、视频广播、视频电话以及视频会议中的任意一种。在一些实施方式中，源设备12可以是例如适于产生和/或接收视频数据和产生编码后的视频信息以用于一个或多个目的设备14的流服务器，其中目的设备可以通过有线和/或无线通信系统

30、与源设备12通信。0028外部视频源和/或所述视频源24可以是和/或包括视频采集设备，例如视频摄像机、包含先前采集的视频和或从视频内容提供商供应的视频的视频存档。可替换地，外部视频源和/或所述视频源24可以产生基于计算机图形的数据作为源视频、或者直播视频、存档视频以及计算机产生的视频的组合。在一些实施方式中，如果视频源24是视频摄像机，源设备12和目的设备14可以是可拍照手机或视频手机，或者由可拍照手机或视频手机实现。但是，如上所述，这里提供的技术可应用于通常的视频编码，并且可应用于无线和/或有线应用。在任意情况下，视频编码器单元18可以对所采集的、预先采集的、计算机产生的视频、供应的视频、或

31、其他类型的视频数据统称为“未编码的视频”进行编码，以形成编码后的视频信息。说明书CN104067621A4/52页90029TX/RX单元20可以调制编码后的视频信息，例如根据通信标准来进行调制，从而形成运载编码后的视频信息的一个或多个调制信号。TX/RX单元20还可以将调制信号传递给其发射机以进行传输。该发射机可以经由TX/RX元件22来将调制信号传送给目的设备14。0030在目的设备14处，TX/RX单元28可以经由TX/RX元件26接收来自通过信道16的调制信号。TX/RX单元28可以对调制信号进行解调以获得编码后的视频信息。TX/RX单元28可以将编码后的视频信息传送给视频解码器单元3

32、0。0031视频解码器单元30可以对编码后的视频信息进行解码以获得解码后的视频数据。编码后的视频信息可以包括由视频编码器单元18定义的语法信息。语法信息可以包括一个或多个元素“语法元素”；一些或所有元素可用于对编码后的视频信息进行解码。语法元素可以包括例如编码后的视频信息的特征。语法元素还可以包括用于形成编码后的视频信息的未编码的视频的特征和/或描述对其进行的处理。0032视频解码器单元30可以输出解码后的视频数据以用于稍后的存储和/或显示在外部显示器未示出上。可替换地，视频解码器单元30可以将解码后的视频数据输出给显示设备32。显示设备32可以是和/或包括适于向用户显示解码后的视频数据的多种

33、显示设备中的单个、多个、其组合、多个的组合。这些显示设备的示例包括液晶显示器LCD、等离子显示器、有机发光二极管OLED显示器、阴极射线管CRT等等。0033通信信道16可以是任意无线或有线通信媒介，例如射频RF频谱、或者一个或多个物理传输线，或者是无线和有线媒介的任意组合。通信信道16可以形成基于分组的网络例如局域网、广域网、或者全球网络例如因特网的一部分。通信信道16通常代表任意合适的通信媒介、或者不同通信媒介的集合，以用于将来自源设备12的视频数据传送给目的设备14，包括有线或无线媒介的任意合适的组合。通信信道16可以包括路由器、交换机、基站、或者可用于促进从源设备12到目的设备14的通

34、信的任意其他设备。下面参考图8、9A9E提供了可以促进设备12、14之间的这种通信的一个示例性通信系统的细节。下面也提供了可代表12、14的设备的细节。0034视频编码器单元18和视频解码器单元30可以根据一种或多种标准和/或规范例如MPEG2、H261、H263、H264、H264/AVC、H264根据SVC扩展而扩展的“H264/SVC”等来运行。但是，可以理解，这里提供的方法、设备以及系统可应用于根据和/或兼容不同标准实施的其他视频编码器、解码器和/或编解码器CODEC，或者应用于专用视频编码器、解码器和/或编解码器，包括将来还要开发的视频编码器、解码器和/或编解码器。但是，这里公开的技

35、术还不限于任意特定的编码标准。0035上面提及的H264/AVC的相关部分可以从国际电信联盟得到，称为ITUT建议H264，或者更特别地，“ITUTRECH264以及ISO/IEC1449610MPEG4AVC，2010年3月的ADVANCEDVIDEOCODINGFORGENERICAUDIOVISUALSERVICES用于通用视听服务的高级视频编码版本5”，其在这里被合并引用，并且在这里可以称为H264标准或H264规范、或者H264/AVC标准或规范。H264/AVC标准是由ITUT视频编码专家组VCEG与ISO/IECMPEG一起制定的合作关系称为联合视频组JVT的产物。根据一些方面，

36、这里提供的技术可应用于一般符合H264标准的设备。JVT继续为扩展H264/AVC标准而努力。0036在ITUT的各种论坛中，如关键技术领域KTA论坛，已开展了推进H264/AVC标说明书CN104067621A5/52页10准的工作。至少一些论坛已经部分地推进了显示了比H264/AVC标准显示的编码效率更高的编码效率的编码技术。例如，ISO/IECMPEG与ITUT的VCEG已经建立了关于视频编码JCTVC的联合协作小组，其已经开始开发下一代视频编码和/或压缩标准，称为高效视频编码HEVC标准。根据一些方面，这里提供的技术可以提供相对于和/或根据H264/AVC和/或HEVC当前起草的标准的

37、编码改进。0037虽然在图1A1D中没有示出，但是根据一些方面，视频编码器和视频解码器单元18、30中的每一个可以包括音频编码器和/或解码器或者与其集成如果合适。视频编码器和视频解码器单元18、30可以包括合适的复用解复用MUXDEMUX单元、或者其他硬件和/或软件，以处理以普通的数据流或可替换地单独的数据流的形式的音频和视频的编码。如果可应用，则复用解复用单元可以符合例如ITUT建议H223复用器协议、或者例如用户数据报协议UDP之类的其他协议。0038视频编码器和视频解码器单元18、30中的每一个或多个可以包括在一个或多个编码器或解码器中；任意一个可以集成为编解码器的一部分，并且可以与各自

38、的相机、计算机、移动设备、用户设备、广播设备、机顶盒、服务器等等集成或以其他方式合并在一起。此外，视频编码器单元18和视频解码器单元30可以分别实施为多种合适编码器和解码器电路中的任意一者，例如一个或多个微处理器、数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列ASIC、离散逻辑、软件、硬件、固件或其任意组合。可替换地，视频编码器和视频解码器单元18、30中的任一者或两者可以基本以软件实施，并且从而，视频编码器单元18和/或视频解码器单元30的元件的运行可以由合适软件指令执行，该软件指令由一个或多个处理器未示出执行。另外，除了处理器之外，该实施方式还可以包含片外OFFCHIP组件，

39、例如外部存储器例如以非易失性存储器的形式、输入/输出接口等等。0039在其他实施方式中，视频编码器单元18和视频解码器单元30中的每一个的一些元件可以实施为硬件，而其他元件可以使用合适的软件指令来实施，该软件指令由一个或多个处理器未示出执行。在视频编码器和/或视频解码器单元18、30的元件的运行可以由一个或多个处理器执行的软件指令来执行的任意实施方式中，这种软件指令可以维持在计算机可读媒介上，该计算机可读媒介包括磁盘、光盘、以及CPU可读的任意其他易失性例如随机接入存储器RAM或非易失性例如只读存储器ROM大容量存储系统。计算机存储介质可以包括合作或互连的计算机可读媒介，其排他性地在处理系统上

40、存在，或者分布可处于处理系统本地或远程的多个互连的处理系统之间。0040图1B是示出用于与视频编码和/或解码系统例如如1A的系统10一起使用的一个示例性视频编码器单元18的框图。视频编码器单元18可以包括视频编码器33、输出缓冲器34以及系统控制器36。类似于视频编码器单元18，作为一个整体，视频编码器33或者其一个或多个元件可以根据一个或多个标准和/或规范来实施，例如H261、H263、H264、H264/AVC、H264/SVC、HEVC等等。但是，应当理解这里提供的方法、设备以及系统可应用于根据不同标准实施的其他视频编码器、或者专用编解码器，包括将来还要开发的编解码器。0041视频编码器

41、33可以接收从视频源诸如视频源24和/或外部的视频源提供的视频信号。该视频信号可以包括未编码的信号。视频编码器33可以对未编码的视频进行说明书CN104067621A106/52页11编码，并在其输出提供编码后的即压缩的视频比特流BS。0042可以将编码后的视频比特流BS提供给输出缓冲器34。输出缓冲器34可以缓冲编码后的视频比特流BS，并提供该编码后的视频比特流BS作为缓冲的比特流BBS以经由通信信道16进行传输。0043可以将从输出缓冲器34输出的缓冲的比特流BBS提供给存储设备未示出以进行稍后的观看或传输。可替换地，视频编码器单元18可以被配置用于可视通信，在该可视通信种，缓冲的比特流B

42、BS可以经由通信信道16在规定的时刻和/或可变的比特率例如具有很低或最小的延迟而被传送。0044编码后的视频比特流BS以及相应的缓冲的比特流BBS可以运载编码后的视频信息的比特。缓冲的比特流BBS的比特可以被整理为编码后的视频帧流。编码后的视频帧可以是如本领域技术人员可以理解的帧内编码帧例如I帧、间编码帧例如B帧或P帧等等。编码后的视频帧流可以被整理为例如一系列GOP，其中每个GOP的编码后的视频帧以特定顺序排列。一般地，每个GOP以帧内编码帧例如I帧开始，随后是一个或多个帧间编码帧例如P帧和/或B帧。每个GOP通常仅包括单个的帧内编码帧；但是任意GOP可以包括多个帧内编码帧。注意传统的B帧不

43、能用于实时的、低延迟的应用这是因为，举例来说，与例如单向预测P帧相比，双向预测通常引起额外的编码延迟。如本领域技术人员可以理解的，可以支持另外和/或其他帧类型，并且可以修改特定排序的编码后的视频帧。0045每个GOP可以包括语法数据“GOP语法数据”。GOP语法数据可以部署在GOP的报头中、GOP的一个或多个帧的报头中、或者其他位置。GOP语法数据可以指示各个GOP的编码后的视频帧的排序、数量和/或类型，和/或以其他方式描述。每个编码后的视频帧可以包括语法数据“编码后的帧语法数据”。编码后的帧语法数据可以指示或以其他方式描述用于各个编码后的视频帧的编码模式。0046系统控制器36可以监视不同的

44、参数和/或与信道16相关联的限制、视频编码器单元18的可计算能力、用户的需求等等，并且可以建立目标参数以提供适用于规定的限制和/或信道16的条件的参与体验质量QOE。可以根据规定的限制和/或信道条件来不时地调整一个或多个目标参数。举例来说，可以使用用于评估视频质量的一个或多个度量包括例如统称为编码后的视频序列的相对感知质量的度量来从数量上估计。测量的编码后的视频序列的相对感知PERCEPTIVE质量例如通过使用峰值信噪比“PSNR”度量由编码后的比特流BS的比特率BR来控制。可以调整一个或多个目标参数包括例如量化参数QP来在与编码后的比特流BS的比特率BR相关联的限制下最大化视频的相对感知质量

45、。0047图1C是示出用于与视频编码器单元例如如1A1B的视频编码器单元18一起使用的一个示例性视频编码器33的框图。视频编码器33可以包括输入38、模式决定和编码器控制器单元40、空间预测单元42、运动/时间预测单元44、第一加法器46、变换单元48、量化单元50、熵ENTROPY编码单元52、反量化单元54、反变换单元56、第二加法器58、滤波器60、参考图片存储器62以及输出64。视频编码器33可以包括另外的元件和/或不同元件。为了简洁和清楚，没有示出这些元件。0048此外，图1C中示出的以及在这里提供的视频编码器33的细节仅仅用于说明，而真说明书CN104067621A117/52页1

46、2正的实施可以不同。真正的实施可以包括例如更多的、更少的和/或不同的元件，和/或与图1C所示的布置不同地布置。例如，虽然变换单元48与量化单元50被分开示出，但是在一些真正的实施中，例如在使用H264标准的核心变换的实施中，可以高度集成所述变换单元48与量化单元50的一些或所有功能。类似地，反量化单元54和反变换单元56在一些真正实施例如，H264标准兼容实施中可以高度集成，但是为了概念目的同样可以分开示出。0049如上所示，视频编码器33可以在其输入38处接收视频信号。视频编码器33可以从所接收到的未编码的视频产生编码后的视频信息，并从该视频编码器33的输出64将编码后的视频信息例如任意帧内

47、或帧间以编码后的视频比特流BS的形式输出。视频编码器33可以例如作为混合视频编码器来运行，并使用基于块的编码过程来对未编码的视频进行编码。当执行该编码过程时，视频编码器33通常针对未编码视频的单独帧、图片、图像统称为“未编码的图片”进行操作。0050为了促进基于块的编码过程，视频编码器33可以在其输入38处将每个未编码的图片分片、分割、分开或者以其他方式分段统称为“分段”为多个未编码的视频块。在一些实例中，视频编码器33可以首先将未编码的图片分段为多个未编码的视频分段例如片，并且然后将每个未编码的视频分段分段为未编码的视频块。视频编码器33可以将未编码的视频块传递、供应、发送或以其他方式提供给

48、空间预测单元42、运动/时间预测单元44和/或第一加法器46。如下面详细描述的，可以逐块地提供未编码的视频块。0051空间预测单元42可以接收未编码的视频块，并将该视频块以帧内模式INTRAMODE编码。帧内模式指的是基于空间的压缩的若干个模式中的任意一种，并且在帧内模式中编码是尝试提供对未编码的图片的基于空间的压缩。基于空间的压缩如果存在可以是减少或移除未编码的图片内的视频信息的空间冗余的结果。在形成预测块的过程中，空间预测单元42可以相对于已经被编码“编码的视频块”和/或重新构建“重新构建的视频块”的未编码的图片的一个或多个视频块来执行每个未编码视频块的空间预测或“帧内预测”。编码后的视频

49、块和/或重新构建的视频块可以邻近、接近、或非常靠近未编码的视频块。0052运行/时间预测单元44可以接收来自输入38的未编码的视频块，并将该未编码的视频块以帧间模式INTERMODE编码。帧间模式指的是基于时间的压缩的几种模式中的任意一种，包括例如P模式单向预测或B模式双向预测。在帧间模式中编码是尝试提供对未编码的图片的基于时间的压缩。基于时间的压缩如果存在可以是减少或移除未编码的图片与一个或多个参考例如相邻图片之间的视频信息的时间冗余的结果。运行/时间预测单元44可以相对于参考图片的一个或多个视频块“参考视频块”来执行每个未编码视频块的时间预测或“帧间预测”。执行的时间预测可以是单向预测例如对于P模式或者可替换地双向预测例如对于B模式。0053在单向预测的情况下，参考视频块可以来自先前编码和/或重新构建的图片，并且在一些情况下，来自仅一个先前编码和/或重新构建的图片。编码后的图片和/或重新构建的图片可以邻近、接近、或非常靠近未编码的图片。0054在双向预测的情况下，参考视频块可以来自一个或多个先前编码和/或重新构建的图片、以及视频流的一个或多个其他未编码的图片。编码后的图片和/或重新构建的图说明书CN104067621A128/52页13片和其他未编码的图片可以邻近、接近、或非常靠近未编码的图片。0055如果支持多个参考图片这符合最近的视频编码标准例如H264/AVC或HEV