自适应视频帧内插.pdf

大体来说，本发明涉及用于内插视频帧的解码技术。特定来说，本发明的技术可用于基于对与一个或一个以上视频帧相关联的信息的分析来动态地调整帧内插操作。响应于对与一个或一个以上帧相关联的信息的分析，内插控制模块以多种不同的方式调整所述帧内插操作。举例来说，所述内插控制模块可动态地启用或停用经运动补偿的帧内插，选择不同类型的内插，选择将要在所述经运动补偿的帧内插中使用的视频帧预测模式，或选择用于帧内插的不同阈值。

1、  一种用于处理数字视频数据的方法，所述方法包含：
分析与至少一个视频帧相关联的信息；及
基于对所述信息的所述分析来动态地调整帧内插操作。

2、  如权利要求1所述的方法，其中所述分析包含分析所述视频帧的内容、所述视频帧与一个或一个以上其它视频帧之间的运动场的规律性及与所述视频帧相关联的编码复杂性中的至少一者。

3、  如权利要求1所述的方法，其进一步包含：
产生包括多个视频帧的信息的帧信息表(FIT)，
其中所述分析包含分析与所述多个视频帧相关联的所述FIT表。

4、  如权利要求1所述的方法，其中所述动态调整包含选择是否启用或停用经运动补偿的视频帧内插。

5、  如权利要求1所述的方法，其中所述动态调整包含选择视频帧预测模式。

6、  如权利要求5所述的方法，其中所述选择包含选择向前预测模式、向后预测模式及双向预测模式中的一者。

7、  如权利要求1所述的方法，其中所述动态调整包含指派用于帧内插的阈值。

8、  如权利要求1所述的方法，其进一步包含：
将具有大致类似的运动信息的像素块分为一组以在所述视频帧内检测一个或一个以上移动对象；及
将与所述分组的所述像素块中的每一者相关联的所述运动信息合并以产生所述所检测的移动对象的运动信息，
其中所述分析包含分析与所述所检测的移动对象相关联的所述信息。

9、  如权利要求8所述的方法，其进一步包含：
选择所述视频帧内的第一像素块；
将与所述第一像素块相关联的运动向量的量值及方向中的至少一者与和所述视频帧内的多个相邻像素块相关联的运动向量的量值及方向中的一者相比较；
如果所述比较小于阈值，那么将所述运动向量分类为大致类似；及
将所述第一像素块与所述相邻像素块中具有大致类似的运动信息的像素块分为一组以产生所述移动对象的运动信息。

10、  如权利要求9所述的方法，其进一步包含：
选择所述视频帧内的第二像素块，其中所述第二像素块是所述相邻像素块中具有与所述第一像素块大致类似的运动信息的像素块；
将与所述第二像素块相关联的运动向量与和多个像素块相关联的运动向量相比较，所述多个像素块与所述第二像素块相邻；及
将所述第二像素块与和所述第二像素块相邻的所述像素块中具有大致类似的运动信息的像素块分为一组。

11、  如权利要求8所述的方法，其中所述动态调整包含：
基于对与所述所检测的移动对象相关联的所述信息的所述分析来选择参考帧；及
基于所述所选择的参考帧来选择帧预测模式。

12、  如权利要求11所述的方法，其中所述参考帧选择包含选择具有最小数量的移动对象及最小大小的移动对象中的一者的参考帧。

13、  如权利要求1所述的方法，其中所述动态调整包含调整针对所述整个视频帧的所述帧内插操作及调整针对所述视频帧的一部分的所述帧内插操作中的一者。

14、  如权利要求1所述的方法，其中所述分析包含分析与用于内插被跳过的视频帧的一个或一个以上参考帧相关联的信息。

15、  如权利要求1所述的方法，其中所述分析包含分析与被跳过的视频帧相关联的信息。

16、  一种用于处理数字视频数据的设备，所述设备包含：
分析模块，其分析与至少一个视频帧相关联的信息；及
调整模块，其基于对所述信息的所述分析来动态地调整帧内插操作。

17、  如权利要求16所述的设备，其中所述分析模块分析所述视频帧的内容、所述视频帧与一个或一个以上其它视频帧之间的运动场的规律性及与所述视频帧相关联的编码复杂性中的至少一者。

18、  如权利要求16所述的设备，其进一步包含：
帧信息表(FIT)模块，其产生包括多个视频帧的信息的FIT表，
其中所述分析模块分析与所述多个视频帧相关联的所述FIT表。

19、  如权利要求16所述的设备，其中所述调整模块选择是否启用或停用经运动补偿的视频帧内插。

20、  如权利要求16所述的设备，其中所述调整模块选择视频帧预测模式。

21、  如权利要求20所述的设备，其中所述视频帧预测模式包含向前预测模式、向后预测模式及双向预测模式中的一者。

22、  如权利要求16所述的设备，其中所述调整模块指派用于帧内插的阈值。

23、  如权利要求16所述的设备，其进一步包含：
移动对象检测模块，其将具有大致类似的运动信息的像素块分为一组以在所述视频帧内检测一个或一个以上移动对象且将与所述分组的所述像素块相关联的所述运动信息合并以产生与所述所检测的移动对象相关联的运动信息，
其中所述分析模块分析与所述所检测的移动对象相关联的所述信息。

24、  如权利要求23所述的设备，其中所述移动对象检测模块选择所述视频帧内的第一像素块，将与所述第一像素块相关联的运动向量的量值及方向中的至少一者与和所述视频帧内的多个相邻像素块相关联的运动向量的量值及方向中的一者相比较，如果所述比较小于阈值那么将所述运动向量分类为大致类似，且将所述第一像素块与所述相邻像素块中具有大致类似的运动信息的像素块分为一组以产生所述移动对象。

25、  如权利要求24所述的设备，其中所述移动对象检测模块选择所述视频帧内的第二像素块，其中所述第二像素块是所述相邻像素块中具有与所述第一像素块大致类似的运动信息的像素块，将与所述第二像素块相关联的运动向量与和多个像素块相关联的运动向量相比较，所述多个像素块与所述第二像素块相邻，且将所述第二像素块与和所述第二像素块相邻的所述像素块中具有大致类似的运动向量的像素块分为一组。

26、  如权利要求23所述的设备，其中所述调整模块基于对与所述所检测的移动对象相关联的所述信息的所述分析来选择参考帧且基于所述所选择的参考帧来选择帧预测模式。

27、  如权利要求26所述的设备，其中所述调整模块选择具有最小数量的移动对象及最小大小的移动对象中的一者的所述参考帧。

28、  如权利要求16所述的设备，其中所述调整模块调整针对所述视频帧的一部分的所述帧内插操作。

29、  如权利要求16所述的设备，其中所述分析模块分析与用于内插被跳过的视频帧的一个或一个以上参考帧相关联的信息。

30、  如权利要求16所述的设备，其中所述分析模块分析与被跳过的视频帧相关联的信息。

31、  一种用于处理数字视频数据的设备，所述设备包含：
用于分析与视频帧相关联的信息的装置；及
用于基于对所述信息的所述分析来动态地调整帧内插操作的装置。

32、  如权利要求31所述的设备，其中所述分析装置分析所述视频帧的内容、所述视频帧与一个或一个以上其它视频帧之间的运动场的规律性及与所述视频帧相关联的编码复杂性中的至少一者。

33、  如权利要求31所述的设备，其进一步包含：
用于产生包括多个视频帧的信息的帧信息表(FIT)的装置，且
其中所述分析装置分析与所述多个视频帧相关联的所述FIT表。

34、  如权利要求31所述的设备，其中所述调整装置选择是否启用或停用经运动补偿的视频帧内插。

35、  如权利要求31所述的设备，其中所述调整装置选择帧预测模式。

36、  如权利要求35所述的设备，其中所述帧预测模式包含向前预测模式、向后预测模式及双向预测模式中的一者。

37、  如权利要求31所述的设备，其中所述调整装置指派用于帧内插的阈值。

38、  如权利要求31所述的设备，其进一步包含：
用于将具有大致类似的运动信息的像素块分为一组以在所述视频帧内检测一个或一个以上移动对象的装置；及
用于将与所述分组的所述像素块中的每一者相关联的所述运动信息合并以产生所述所检测的移动对象的运动信息的装置，
其中所述分析装置分析与所述所检测的移动对象相关联的所述信息。

39、  如权利要求38所述的设备，其进一步包含：
用于选择所述视频帧内的第一像素块的装置；
用于将与所述第一像素块相关联的运动向量的量值及方向中的至少一者与和所述视频帧内的多个相邻像素块相关联的运动向量的量值及方向中的一者相比较且在所述比较小于阈值的情况下将所述运动向量分类为大致类似的装置；及
用于将所述第一像素块与所述相邻像素块中具有大致类似的运动信息的像素块分为一组以产生所述移动对象的运动信息的装置。

40、  如权利要求39所述的设备，其中：
所述选择装置选择所述视频帧内的第二像素块，其中所述第二像素块是所述相邻像素块中具有与所述第一像素块大致类似的运动信息的像素块；
所述比较装置将与所述第二像素块相关联的运动信息与和多个像素块相关联的运动信息相比较，所述多个像素块与所述第二像素块相邻；且
所述分组装置将所述第二像素块与和所述第二像素块相邻的所述像素块中具有大致类似的运动信息的像素块分为一组。

41、  如权利要求38所述的设备，其中所述调整装置基于对与所述所检测的移动对象相关联的所述信息的所述分析来选择参考帧且基于所述所选择的参考帧来选择帧预测模式。

42、  如权利要求41所述的设备，其中所述选择装置选择具有最小数量的移动对象及最小大小的移动对象中的一者的参考帧。

43、  如权利要求31所述的设备，其中所述调整装置调整针对所述整个视频帧的所述帧内插操作及针对所述视频帧的一部分的所述帧内插操作中的一者。

44、  如权利要求31所述的设备，其中所述分析装置分析与用于内插被跳过的视频帧的一个或一个以上参考帧相关联的信息。

45、  如权利要求31所述的设备，其中所述分析装置分析与被跳过的视频帧相关联的信息。

46、  一种用于处理数字视频数据的处理器，所述处理器适于：
分析与至少一个视频帧相关联的信息；及
基于对所述信息的所述分析来动态地调整帧内插操作。

47、  一种用于处理数字视频数据的计算机程序产品，其包含：
计算机可读媒体，其包含用于致使至少一个计算机进行以下操作的码：
分析与至少一个视频帧相关联的信息；及
基于对所述信息的所述分析来动态地调整帧内插操作。

自适应视频帧内插
相关申请交叉参考案
本申请案请求在2006年7月25日提出申请的第60/833,437号(档案号060955P1)美国临时申请案的权益，其全部内容以引用方式并入本文中。
技术领域
本发明涉及数字视频编码及解码，且更特定来说涉及用于视频帧的内插的技术。
背景技术
可将数字视频能力并入各种各样的装置中，包括数字电视、数字直播系统、无线通信装置、个人数字助理(PDA)、膝上型计算机、桌上型计算机、视频游戏机、数码相机、数字录制装置、蜂窝式或卫星无线电电话及类似装置。数字视频装置在处理及传输视频序列方面可提供优于常规模拟视频系统的显著改善。
已针对数字视频序列的编码建立了不同的视频编码标准。举例来说，移动图像专家组(MPEG)已开发多个标准，包括MPEG-1、MPEG-2及MPEG-4。其它实例包括国际电信联盟(ITU)-T H.263标准，及ITU-T H.264标准及其对等物、ISO/IECMPEG-4，部分10，即高级视频编码(AVC)。这些视频编码标准通过以压缩方式进行数据编码来支持视频序列的改善的传输效率。
各种视频编码标准支持使用连续视频帧之间的相似性(称为时间或帧间关联)来提供帧间压缩的视频编码技术。所述帧间压缩技术通过将视频帧的基于像素的表示变换为运动表示来消除跨越各帧的数据冗余。使用帧间技术编码的帧称为P(“预测性”)帧或B(“双向”)帧。称为I(“内部”)帧的某些帧使用空间压缩来编码，其是不可预测的。
为满足低带宽要求，一些视频应用(例如，视频电话或视频流式传输)通过使用帧跳过来以较低的帧速率进行视频编码来降低位速率。遗憾的是，所述降低的帧速率视频可产生运动跳跃形式的伪影。因此，可在解码器处使用帧内插(也称为帧速率上变换(FRUC))来内插被跳过的帧的内容，且从而在解码器侧提供提高的帧速率的效果。
发明内容
大体来说，本发明涉及用于内插视频帧的解码技术。特定来说，本发明的技术可用于基于对与一个或一个以上视频帧相关联的信息的分析来动态地调整帧内插操作。本发明中所说明的动态帧内插调整技术可产生更高效且更有效的帧解码。
在一个方面中，一种用于处理数字视频数据的方法包含分析与至少一个视频帧相关联的信息及基于对所述信息的所述分析来动态地调整帧内插操作。
在另一方面中，一种用于处理数字视频数据的设备包含分析与至少一个视频帧相关联的信息的分析模块及基于对所述信息的所述分析来动态地调整所述帧内插操作的调整模块。
在再一方面中，一种用于处理数字视频数据的设备包含用于分析与视频帧相关联的信息的装置及用于基于对所述信息的所述分析来动态地调整帧内插操作的装置。
在又一方面中，一种用于处理数字视频数据的计算机程序产品包含计算机可读媒体，所述计算机可读媒体包含用于致使至少一个计算机分析与至少一个视频帧相关联的信息且基于对所述信息的所述分析来动态地调整帧内插操作的码。
在另一方面中，一种用于处理数字视频数据的处理器适于分析与至少一个视频帧相关联的信息及基于对所述信息的所述分析来动态地调整帧内插操作。
本发明中所说明的技术可实施在硬件、软件、固件或其任一组合中。如果实施在软件中，那么可在计算机中执行所述软件。所述软件最初可存储为指令、程序码或类似物。因此，本发明还涵盖包含计算机可读媒体的用于数字视频编码的计算机程序产品，其中所述计算机可读媒包含用于致使计算机执行根据本发明的技术及功能的码。
在附图及以下说明中论述本发明的一个或一个以上方面的细节。根据本说明及图式且根据权利要求书，将易知本发明的其它特征、目的及优点。
附图说明
图1是图解说明采用根据本发明的自适应帧内插技术的视频编码与解码系统的框图。
图2是图解说明用于视频解码器中的实例性内插解码器模块的框图。
图3是图解说明内插解码器模块基于对一个或一个以上视频帧的内容的分析、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合的分析来动态地调整帧内插操作的实例性操作的流程图。
图4是图解说明内插解码器模块基于对帧信息表(FIT)的分析来动态地调整帧内插操作的实例性操作的流程图。
图5是图解说明内插解码器模块基于对一个或一个以上视频帧内的移动对象的分析来调整帧内插操作的实例性操作的流程图。
图6是图解说明移动对象检测模块分析与帧的像素块相关联的块信息以在所述帧中检测移动对象的实例性操作的流程图。
图7是图解说明用于控制内插的实例性模块的框图。
具体实施方式
下文将说明本发明的各个方面。应了解，本文的教示可以各种各样的形式体现，且本文所揭示的任一特定结构或功能仅为代表性。基于本文的教示，所属技术领域中的技术人员应了解，本文所揭示的方面可独立于任何其它方面来实施且可以各种方式组合这些方面中的两个或更多个方面。举例来说，可使用任何数量的本文所述方面来实施设备或实践方法。此外，可使用除本文所述方面中的一者或一者以上以外或不同于本文所述方面中的一者或一者以上的其它结构或功能性来实施所述设备或实践所述方法。因此，可实施或实践使用本文中所揭示的动态帧内插调整技术中的一者或一者以上来更高效且更有效地对帧进行解码的设备或方法。
大体来说，本发明涉及用于内插视频帧的解码技术。特定来说，本发明的技术可用于基于对与一个或一个以上视频帧相关联的信息的分析来动态地调整帧内插操作。本发明中所说明的动态帧内插调整技术可产生更高效且更有效的帧解码。
内插解码器模块可(举例来说)基于一个或一个以上参考视频帧来内插视频帧。所述内插解码器模块可内插视频帧以上变换来自编码器的原始既定帧速率。另一选择为，所述内插解码器模块可内插视频帧以插入视频编码器为以降低的帧速率对视频信息进行编码而跳过的一个或一个以上视频帧。所述内插解码器模块可使用多种内插技术中的任一种(例如，使用经运动补偿的帧内插、帧重复或帧平均化)来内插所述视频帧。根据本发明的技术，所述内插解码器模块分析与一个或一个以上视频帧相关联的信息且基于所述分析来动态地调整所述帧内插操作。
所述内插解码器模块可(举例来说)分析一个或一个以上视频帧的内容、两个或更多个视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合。在一个实例中，所述内插解码器模块可分析与一个或一个以上参考帧相关联的信息。另一选择为或另外，所述内插解码器模块可分析与将要内插的帧(例如，被跳过的帧)相关联的信息。所述内插解码器模块还可分析一时间周期内接收的多个帧(例如，一秒钟的间隔内接收的帧)的信息。
所述内插解码器模块基于对与所述一个或一个以上视频帧相关联的信息的分析来动态地调整所述帧内插操作。所述内插解码器模块可以多种不同的方式调整所述帧内插操作。作为实例，所述内插解码器模块可选择是否启用或停用经运动补偿的帧内插。当停用经运动补偿的帧内插时，所述内插解码器模块可选择不同的帧内插操作，例如帧重复或帧平均化操作。作为另一实例，所述内插解码器模块可基于所述分析来选择将要在所述经运动补偿的帧内插中使用的视频帧预测模式。在再一实例中，所述内插解码器模块可基于所述分析来指派用于帧内插的不同阈值。
图1是图解说明采用根据本发明的自适应帧内插技术的视频编码与解码系统10的框图。如图1中所示，系统10包括通过传输信道15连接的视频编码器12与视频解码器14。可经由传输信道15将经编码的多媒体序列(例如，视频序列)从编码器12传输到解码器14。传输信道15可以是有线或无线媒体。系统10可支持双向视频传输，例如，在视频电话的情况下。因此，可在信道15的相反端上提供互逆的编码及解码组件。另一选择为，系统10可支持广播且视频编码器12可形成经由有线或无线媒体向一个或一个以上订户装置广播或流式传输视频的视频广播装置的部分。在各个方面中，视频编码器12及视频解码器14可体现在视频通信装置内，例如数字电视、无线通信装置、游戏装置、便携式数字助理(PDA)、膝上型计算机或桌上型计算机、数字音乐及视频装置(例如，那些以商标“iPod”出售的装置)或无线电电话(例如，蜂窝式、基于卫星或陆地的无线电电话)或其它经配备以用于视频流式传输、视频电话或两者的无线移动终端。
在一些方面中，对于双路通信，系统10可根据会话起始协议(SIP)、ITU H.323标准、ITU H.324标准或其它标准来支持视频电话或视频流式传输。视频编码器12根据视频压缩标准(例如，MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264)产生经编码的视频数据。虽然图1中未显示，但视频编码器12及视频解码器14可分别与音频编码器及解码器整合，且包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处置共用数据串流或单独数据串流中对音频及视频两者的编码。如果适合，那么MUX-DEMUX单元可符合ITU H.223多路复用器协议或其它协议，例如用户数据报协议(UDP)。在一些方面中，本发明涵盖应用增强型H.264视频编码，增强型H.264视频编码用于在使用唯正向链路(FLO)空中接口规范的陆地移动多媒体多播(TM3)系统中递送实时视频服务，“用于陆地移动多媒体多播的唯正向链路空中接口规范”将公布为技术标准TIA-1099(“FLO规范”)。然而，本发明中所说明的帧内插技术并不局限于任何特定类型的广播、多播系统或点-对-点系统。
视频编码器12及视频解码器14可实施为一个或一个以上处理器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任一组合。视频编码器12及视频解码器14的所图解说明的组件可包括在一个或一个以上编码器或解码器中，其任一者可作为组合式编码器/解码器(CODEC)的部分整合在相应的订户装置、广播装置、服务器或类似装置中。此外，视频编码器12及视频解码器14可包括用于经编码视频的传输及接收的适当调制、解调、频率变换、滤波及放大器组件，包括射频(RF)无线组件及天线(如果适用)。然而，为便于图解说明，在图1中未显示所述组件。
编码器12接收输入多媒体序列17且选择性地对多媒体序列17进行编码。多媒体序列17可以是由视频源(未显示)捕获的实况实时视频序列或视频与音频序列。另一选择为，多媒体序列可以是预先录制及存储的视频序列或视频与音频序列。在任一种情况下，编码器12对多个视频帧进行编码并将其传输到解码器14。所述多个视频帧可包括未参考其它帧而编码的一个或一个以上内部(“I”)帧、参考时间上在先的帧而编码的预测性(“P”)帧、相对于时间上在先的帧及未来帧而编码的双向(“B”)帧，或其组合。经编码的帧包括充足的信息以准许视频解码器14解码并呈现视频信息帧。编码器12可对所述帧进行编码以包括一个或一个以上运动向量、用以对每一像素块进行编码的编码模式、每一像素块的子分割、每一像素块内的系数、每一像素块内的非零系数的数量、跳过或直接块数量及类似信息。
在本发明的一些方面中，视频编码器12可使用帧跳过以降低的帧速率对视频序列14中所包含的视频信息进行编码以节约跨越传输信道15的带宽。为以降低的帧速率对视频信息进行编码，编码器12可根据帧跳过功能来跳过特定的帧(称为被跳过(“S”)的帧)，所述帧跳过功能经设计以降低经编码信息的总量，以用于跨越传输信道15节约带宽。换句话说，编码器12实际上不编码及传输所述S帧。而是，视频解码器14使用经传输帧(在本文中称为参考帧)中的一者或一者以上来内插所述被跳过的帧，以产生视频信息帧。此内插过程具有提高由解码器15解码的视频的视在帧速率的效果，且经常称为帧速率上变换(FRUC)。
在图1的实例中，视频编码器12包括帧处理模块20、标准编码器模块16及内插编码模块18。帧处理模块20经配置以处理传入的视频信息帧，例如帧F₁、F₂及F₃。基于对传入帧F₁、F₂及F₃的分析，帧处理模块20确定是否编码或跳过所述传入帧。在图1的实例中，F₂表示将要跳过的帧，而帧F₁及F₃分别表示先前及后续帧，其将被编码并传输到视频解码器14。虽然在图1所图解说明的实例中帧处理模块20每隔一个帧地跳过，但帧处理模块20可经配置以每n个帧跳过或包括可用于动态地选择将要跳过的帧的动态跳过准则。对于将编码的传入帧，帧处理模块20还可经配置以确定将所述帧编码为I帧、P帧或B帧。
帧处理模块20可进一步经配置以将帧分割为N个像素块且单独对所述像素块中的每一者进行编码。作为实例，帧处理单元20可将所述帧分割为多个16×16像素块。某些像素块(经常称为“宏块”)包含像素的子块的分组。作为实例，16×16宏块可包含四个8×8子块。可单独对所述子块进行编码。举例来说，H.264标准准许对具有各种不同大小(例如，16×16、16×8、8×16、8×8、4×4、8×4、及4×8)的块进行编码。以此方式，帧处理模块20可经配置以将所述帧划分为若干像素块并确定将所述块中的每一者编码为I-帧、P帧或B帧。
标准编码模块16应用标准的编码技术(例如，运动估计及运动补偿)以对帧处理模块20所选择的用于编码的帧或帧中的像素块进行编码，例如帧F₁及F₃。标准编码模块16还可针对所述帧或像素块中的一些应用非运动编码技术，例如空间估计及内部预测。根据标准的基于预测性的技术，标准编码模块16还可包括用于熵编码、扫描、量化、转换及可能的解块滤波的各种单元。
在一些方面中，视频编码器12还可包括内插编码器模块18。内插编码器模块18可产生并编码与被跳过的帧相关联的信息以帮助解码器14内插所述被跳过的帧。内插编码器18可产生并传输(举例来说)一个或一个以上被跳过的帧或所述被跳过的帧中的一个或一个以上像素块的运动信息、识别用于对所述被跳过的帧中的块进行编码的预测模式的信息及类似信息。内插编码器模块18可在专用帧中或将其作为嵌入到一个或一个以上经传输视频帧(例如，帧F₁或F₃)中的信息来将与所述被跳过的帧相关联的经编码信息传输到视频解码器14。以此方式，可在一些方面中配置视频编码器12以产生并传输与所述被跳过的帧相关联的信息，以帮助视频解码器14内插所述被跳过的帧。然而，本发明中所说明的技术可不需要来自视频编码器12的帮助。因此，在一些方面中，视频编码器12可不包括内插编码器模块18。在此情况下，视频解码器14在没有视频编码器12的帮助下执行内插。
视频解码器14从视频编码器12接收经编码的视频帧并对所述视频帧进行解码。视频解码器14包括标准解码器模块22及内插解码器模块24。标准解码器模块22与内插解码器模块24无需为单独的组件，而相反可在共用CODEC内整合为单独的过程，从而在共享的基础上使用多个组件。标准解码器模块22应用标准的解码技术以对由编码器12传输的每一经编码帧(例如，帧F₁及F₃)进行解码。如上文所说明，编码在每一帧中的信息足以准许标准解码器模块22解码并呈现视频信息帧。
内插解码器模块24基于一个或一个以上参考视频数据帧来内插视频帧。换句话说，内插解码器模块24可使用与一个或一个以上参考视频帧(例如，帧F₁、F₃或两者)相关联的经编码信息来内插所述视频帧。如上文所说明，内插解码器模块24可内插编码器12为节约带宽而跳过的视频帧，例如帧F₂。另一选择为，内插解码器模块24可内插视频帧以插入一个或一个以上视频帧以上变换视频信息的帧速率。内插解码器模块24可使用多种内插技术中的任一种来内插所述视频帧。举例来说，内插解码器模块24可使用帧重复操作、帧平均化操作、经运动补偿的帧内插操作或其它帧内插操作来内插所述视频帧。
根据本发明的技术，内插解码器模块24分析与至少一个视频帧相关联的信息且基于所述分析来动态地调整帧内插。内插解码器模块24可(举例来说)分析一个或一个以上视频帧的内容、两个或更多个视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合。在一个实例中，内插解码器模块24可分析与用于内插视频帧的一个或一个以上参考帧(例如，F₁、F₃或两者)相关联的信息。另一选择为或另外，内插解码器模块24可分析与将要内插的帧(例如，被跳过的视频帧)相关联的信息。内插解码器模块24还可分析一时间周期内接收的多个帧(例如，一秒钟的间隔内接收的帧)的信息。可将与所述一个或一个以上视频帧相关联的信息编码在从编码器12接收的视频帧内。另一选择为，内插解码器模块24可产生与所述视频帧相关联的信息的至少一部分。
内插解码器模块24基于对与所述一个或一个以上视频帧相关联的信息的分析来动态地调整帧内插操作。内插解码器模块24可以多种不同的方式调整所述帧内插操作。作为实例，内插解码器模块24可选择是否启用或停用经运动补偿的帧内插。当停用经运动补偿的帧内插时，内插解码器模块24可另外选择不同的帧内插操作，例如帧重复或帧平均化操作。作为另一实例，内插解码器模块24可基于所述分析来选择将要用于帧内插的视频帧预测模式。在再一实例中，内插解码器模块24可基于所述分析来指派用于帧内插的不同阈值。
在内插解码器模块24中，可个别地实施上述技术，或可一起实施所述技术中的两者或更多者或所有所述技术。编码与解码系统10中还可包括多个其它元件，但出于简单及易于图解说明的目的，图1中未具体地予以图解说明。图1中所图解说明的架构仅为实例性，因为本文中所说明的技术可以各种其它架构来实施。此外，可通过硬件、软件组件或其组合的任何适合组合来实现图1中所图解说明的特征。虽然在内插被跳过的视频帧的背景下说明本发明的技术，但所述技术可用于内插以降低的质量编码的视频帧以产生更高质量的视频帧。
图2是图解说明用于视频解码器(例如，图1的视频解码器14)中的实例性内插解码器模块24的框图。内插解码器模块24包括可在一起操作以产生经内插的帧的内插模块32、内插控制模块34、帧信息表(FIT)模块36及帧信息产生模块37(在图2中标记为“帧信息产生模块(FRAME INFO GEN MODULE)”)。如上文所说明，内插解码器模块24根据本发明中所说明技术中的一者或一者以上分析与至少一个视频帧相关联的信息且基于对所述信息的所述分析来动态地调整帧内插操作。
内插模块32基于一个或一个以上参考帧内插视频帧。举例来说，内插模块32可基于与先前参考帧、后续参考帧、先前及后续参考帧两者或两个以上参考帧相关联的帧信息来内插所述视频帧。内插模块32可使用多种内插技术中的任一种来内插帧，例如帧重复操作、帧平均化操作、经运动补偿的帧内插操作或其组合。经运动补偿的帧内插操作可涉及各种内插技术中的任一种，例如双线性内插、立方内插、最近邻内插或其它技术。如上文所说明，内插模块32可经配置以在基于块的模式中内插帧。换句换说，内插模块32可将所述帧划分为多个像素块且基于与所述一个或一个以上参考帧中的对应像素块相关联的信息来单独地内插所述像素块中的每一者。在像素域中表示块中的像素，而可在转换域中表示所述块。
根据本发明的技术，内插控制模块34分析与至少一个视频帧相关联的信息且基于所述分析来调整内插模块32的帧内插操作。在图2所图解说明的实例中，内插控制模块34包括分析与至少一个视频帧相关联的信息的分析模块42及基于所述分析来动态地调整内插模块32的帧内插操作的调整模块44。内插控制模块34可分析与一个或一个以上参考帧相关联的信息。另一选择为或另外，内插控制模块34可分析与将要内插的帧(例如，被跳过的帧)相关联的信息。内插控制模块34还可分析一特定时间周期内接收的多个帧(例如，一秒钟的间隔内接收的帧)的信息。
可将与所述一个或一个以上视频帧相关联的信息编码在从编码器12接收的视频帧内。另一选择为，帧信息产生模块37可产生与所述帧相关联的信息的至少一部分。作为一个实例，帧信息产生模块可使用常规运动估计技术来估计一个或一个以上参考帧的运动。作为另一实例，帧信息产生模块37可使用与邻近所述将要内插的帧的一个或一个以上参考帧相关联的运动信息来产生所述所内插的视频帧的运动信息，例如运动向量(MV)。
帧信息产生模块37可包括产生与帧内的一个或一个以上移动对象相关联的信息的移动对象检测模块40。特定来说，移动对象检测模块40分析与所述帧中的多个像素块相关联的运动向量以在所述帧内检测一个或一个以上移动对象。移动对象检测模块40可(举例来说)将区域内具有大致类似的运动向量的像素块分为一组，以在所述帧中识别一个或一个以上移动对象。此外，移动对象检测模块40可产生与所检测的移动对象中的每一者相关联的信息。举例来说，移动对象检测模块40可产生描述所述帧内的移动对象的大小、所述帧内的移动对象的数量的信息、与所述所检测的移动对象相关联的运动信息及类似信息。
在本发明的一个方面中，内插控制模块34分析一个或一个以上视频帧的内容、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合。内插控制模块34可(举例来说)分析所述帧内的运动、所述帧内的对象的纹理、所述帧中的视频的类型或类似物，以确定所述帧的内容。特定来说，内插控制模块34可分析与所述帧相关联的运动度量(例如，一个或一个以上运动向量)，以确定所述帧的内容。另外，内插控制模块34可分析与所述帧内的一个或一个以上移动对象相关联的信息(例如，由移动对象检测模块40产生的信息)，以确定所述帧的内容。内插控制模块34可(举例来说)分析所述一或多个帧内的移动对象的数量、所述一或多个帧内的移动对象的大小及与所识别的移动对象相关联的运动向量，以确定所述帧的内容。
此外，内插控制模块34可进一步分析纹理度量(例如，对比度值)，以确定所述帧的内容。另外，内插控制模块34可分析输入帧速率以确定所述帧的内容是自然视频还是合成视频。举例来说，视频信道(例如，具有合成视频的卡通信道)可具有13帧/秒的输入帧速率。在自然视频传输中通常看不到所述帧速率。在一些方面中，内插控制模块34可基于对运动、纹理、视频类型及任何其它内容特性的分析来将所述帧的内容分类。作为实例，内插控制模块34可使用分类度量(例如，速率-失真(R-D)曲线)来将所述帧的内容分类。
另一选择为或另外，内插控制模块34可分析两个或更多个帧之间的运动场的规律性。内插控制模块34可(举例来说)分析差度量(例如，差的平方和(SSD)或绝对差和(SAD))，以确定一个或一个以上帧之间的运动规律性。内插控制模块34还可分析与移动对象相关联的信息(例如，由移动对象检测模块40产生的信息)，以确定两个或更多个帧之间的运动场的规律性。举例来说，内插控制模块34可将一个或一个以上帧中的移动对象的数量、所述移动对象的大小或两者相比较以确定两个或更多个帧之间的运动场的规律性。
然而，内插解码器模块24还可分析与一个或一个以上帧相关联的编码复杂性。内插控制模块34可(举例来说)分析提供于与所述帧相关联的信息中的编码系数或提供于与所述帧相关联的信息中的非零系数的数量，以确定与所述帧相关联的编码复杂性。当非零系数的数量较大(其可指示较大量残余信息的编码)时，那么内插控制模块34可确定所述编码复杂性较高。内插控制模块34可(举例来说)选择使用较低复杂性帧的预测模式来用于内插。
内插解码器模块24基于对一个或一个以上视频帧的内容、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合的分析来动态地调整帧内插操作。作为一个实例，内插控制模块34可基于对所述内容、所述运动场的规律性、与一个或一个以上帧相关联的编码复杂性或其组合的所述分析来动态地调整内插模块32所使用的阈值参数。内插控制模块34可维持多个阈值帧内插参数且选择对应于帧的内容的阈值参数组。举例来说，内插控制模块34可在帧具有高运动或高纹理时选择第一组阈值参数且针对具有低运动或低纹理的帧选择第二组阈值参数。
作为另一实例，内插控制模块34可基于对内容、运动场的规律性、与一个或一个以上帧相关联的编码复杂性或其组合的分析来选择是否启用或停用经运动补偿的帧内插。内插控制模块34可在两个参考帧之间的差度量(例如，SAD值)超出阈值时确定停用经运动补偿的帧内插。同样，内插控制模块34可在两个帧中的移动对象的数量或移动对象的大小大致不同时停用经运动补偿的帧内插。另外，内插控制模块34可向内插模块32指示使用帧重复操作或帧平均化操作来执行帧内插。
作为其它实例，内插控制模块34可基于对内容、运动场的规律性、与一个或一个以上帧相关联的编码复杂性或其组合的分析来选择在内插期间将要使用的帧预测模式。举例来说，内插控制模块34可在与先前及后续帧中的移动对象相关联的运动向量大致对准且所述移动对象之间的非零残余的差小于阈值时选择双向预测模式。
在本发明的另一方面中，内插解码器模块24可分析一时间周期内接收的多个视频帧(例如，一秒钟的间隔内接收的帧)的信息。特定来说，FIT模块36产生包括与所述多个视频帧相关联的信息的FIT表38。FIT表38可(举例来说)包括与形成超帧的多个帧相关联的信息。如本文中所使用，术语“超帧”是指一时间周期内的帧的分组。在一个实例中，超帧可以是一秒的周期帧的分组。FIT模块36可产生FIT表38以包括例如每一帧的帧类型、每一帧的帧大小、每一帧的错误模式、每一帧的错误分布等信息以及与所述超帧的帧中的每一者相关联的其它信息。
内插控制模块24可分析FIT表38且基于所述分析来调整帧内插操作。内插控制模块24可(举例来说)分析所述超帧的所述多个帧的帧类型、所述超帧的所述多个帧的帧大小或与所述超帧的所述多个帧相关联的错误分布，且基于所述分析来对帧内插操作作出调整。对FIT表38的分析在确定是否启用经运动补偿的帧内插时特别有用。举例来说，内插控制模块24可在多个连续B帧超出阈值的情况下启用经运动补偿的帧内插。作为另一实例，内插控制模块24可在FIT表38指示参考帧具有较大的错误分布的情况下停用经运动补偿的帧内插。以此方式，内插控制模块24使用FIT表38来选择用于内插视频数据帧的内插类型。
如上文所说明，内插解码器模块24基于对与一个或一个以上帧相关联的多种不同类型的信息中的任一种的分析来调整帧内插操作。因此，在内插解码器模块24中，可个别地实施上述技术，或可一起实施所述技术中的两者或更多者。当内插解码器模块24一起实施所述技术中的两者或更多者时，内插解码器模块24可向不同类型的帧信息指派加权，可分析所述加权以确定特定类型的帧信息的优先等级。以此方式，内插解码器模块24可使用被认为是作出内插调整最重要的帧信息来调整所述帧内插操作。
内插控制模块34可分析与所述帧相关联的信息且以各种等级或粒度调整所述帧内插操作。作为实例，内插控制模块34可分析与一个或一个以上帧相关联的信息且以帧等级调整所述帧内插操作。在此情况下，内插解码器模块24分析所述信息且调整针对整个视频帧的帧内插操作。另一选择为，信息解码器模块24可分析与所述帧相关联的信息且以块等级调整所述帧内插操作。因此，内插解码器模块24分析所述信息且仅调整与所述信息相关联的特定块的帧内插操作。作为另一实例，信息解码器模块24可分析与所述一个或一个以上帧相关联的信息且以基于区域的等级调整所述帧内插操作。内插调整模块24可将多个像素块分组以形成所述区域且分析与所述区域中的所有像素块相关联的信息。在一个方面中，帧的区域中的每一者可对应于所述帧内的移动对象。在此情况下，内插解码器模块24分析所述信息且调整位于所述区域内的所有块的帧内插操作。
内插解码器模块24中还可包括多个其它元件，但出于简单及易于图解说明的目的，图2中未具体地予以图解说明。图2中所图解说明的各种组件可在硬件、软件、固件或其任一组合中实现。一些组件可实现为由一个或一个以上微处理器或数字信号处理器(DSP)执行的过程或模块、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路。以模块形式描述不同的特征旨在突出内插解码器模块24的不同功能方面且未必暗示必须通过单独的硬件或软件组件来实现所述模块。而是，可将与一个或一个以上模块相关联的功能性整合于共用或单独的硬件或软件组件内。因此，不应将本发明局限于内插解码器模块24的实例。
当实施在软件中时，归属于本发明中所说明的系统及装置的功能性可体现为(例如)存储器(未显示)内的计算机可读媒体上的指令，所述存储器可包含(举例来说)随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体或类似存储器。执行所述指令以支持本发明中所说明功能性的一个或一个以上方面。
图3是图解说明内插解码器模块(例如，图1及2的内插解码器模块24)基于对一个或一个以上视频帧的内容、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合的分析来动态地调整帧内插操作的实例性操作的流程图。最初，内插解码器模块24从编码器12接收多个视频帧(50)。作为实例，内插解码器模块24可接收携载与所述多个帧相关联的信息的位流。在所接收的位流上携载的信息可包括(举例来说)与所述帧的一个或一个以上像素块相关联的运动向量、块预测模式、块子分割、系数或块内非零系数的数量、跳过或直接块数量及类似信息。
在本发明的一些方面中，内插解码器模块24可产生与一个或一个以上帧相关联的信息(52)。帧信息产生模块37可(举例来说)产生与经传输帧中的一者或一者以上相关联的信息。另一选择为或另外，帧信息产生模块37可产生与一个或一个以上将要内插的帧相关联的信息。帧信息产生模块37可(举例来说)产生运动向量、与所述运动向量相关联的可靠性信息、与帧或帧内的像素块相关联的预测模式及类似信息。此外，内插解码器模块24可识别所述帧内的一个或一个以上移动对象且产生与所述移动对象相关联的信息，如上文所说明。
内插控制模块34分析一个或一个以上视频帧的内容、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合(54)。内插控制模块34可(举例来说)分析所述帧内的运动、所述帧内的对象的纹理、所述帧中的视频的类型或类似物，以确定所述帧的内容。特定来说，内插控制模块34可分析运动度量(例如，一个或一个以上运动向量)及纹理度量(例如，对比度值)。另外，内插控制模块34可分析与所述帧内的一个或一个以上移动对象相关联的信息，例如所述一或多个帧内的移动对象的数量、所述一或多个帧内的所述移动对象的大小及与所述所识别的移动对象相关联的运动向量，以确定所述帧的内容。
另一选择为或另外，内插控制模块34可分析两个或更多个帧之间的运动场的规律性。内插控制模块34可(举例来说)分析差度量(例如，差的平方和(SSD)或绝对差和(SAD))，以确定一个或一个以上帧之间的运动规律性。内插控制模块34还可将一个或一个以上帧中的移动对象的数量或所述移动对象的大小相比较，以确定两个或更多个帧之间的运动场的规律性。然而，内插解码器模块24还可分析与一个或一个以上帧相关联的编码复杂性。内插控制模块34可(举例来说)分析提供于与所述帧相关联的信息中的系数或提供于与所述帧相关联的信息中的非零系数的数量，以确定与所述帧相关联的编码复杂性。
内插控制模块34基于对一个或一个以上视频帧的内容、一个或一个以上视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合的分析来动态地调整内插模块32的帧内插操作(56)。如上文所说明，内插控制模块34可以多种不同的方式调整所述帧内插操作，包括选择是否启用或停用经运动补偿的帧内插，选择不同类型的内插，选择将要用于帧内插的视频帧预测模式，基于所述分析指派用于帧内插的不同阈值，及在内插被指示为可能较难的情况下指派计算较密集的技术。
内插模块32根据经动态调整的帧内插操作来内插视频帧(58)。举例来说，内插模块32可使用内插控制模块34所选择的预测模式来内插所述视频帧。作为另一实例，内插模块32可停用经运动补偿的内插，且改为使用帧平均化或帧重复操作来内插所述视频帧。如上文所说明，内插解码器模块24可内插被跳过的视频帧或插入一个或一个以上未被跳过的视频帧以上变换所述视频信息的帧速率。
如上文所说明，内插解码器模块24内插视频帧且以各种等级或粒度调整所述内插操作。特定来说，内插解码器模块24可内插视频帧且以帧等级、块等级或区域等级来调整所述内插操作。
图4是图解说明内插解码器模块(例如，图1及2的内插解码器模块24)基于对FIT表38的分析来动态地调整帧内插操作的实例性操作的流程图。最初，内插解码器模块24从编码器12接收多个视频帧(60)。作为实例，内插解码器模块24可接收携载与所述多个帧相关联的信息的位流。
FIT模块36产生FIT表38(62)。FIT模块36可(举例来说)分析与所述多个帧相关联的信息的部分且抽取信息的特定子组以产生FIT表38。FIT模块36可产生FIT表38以包括例如每一帧的帧类型、每一帧的帧大小、每一帧的错误模式、每一帧的错误分布等信息以及与所述超帧的帧中的每一者相关联的其它信息。如上文所说明，FIT模块36可产生FIT表38以包括一时间周期内接收的多个视频帧(例如，一秒钟的间隔内接收的帧)的信息。举例来说，FIT模块36可针对每一所接收的视频数据超帧产生FIT表38。数据“超帧”是指一时间周期内的多个帧的分组。
内插控制模块34分析FIT表38中所包含的信息且基于所述分析来调整帧内插操作(64、66)。内插控制模块24可(举例来说)分析与多个帧相关联的帧类型且在多个连续B帧超出阈值(其可指示平滑的运动场)的情况下启用经运动补偿的帧内插。
作为另一实例，内插控制模块34可分析多个帧的帧大小且基于所述帧大小来调整所述帧内插操作。帧大小可以是帧在运动复杂性及纹理复杂性两方面的复杂性的指示。内插控制模块34可(举例来说)基于是否执行基于所述帧大小的帧内插来确定是否启用或停用经运动补偿的帧内插。特定来说，内插控制模块34可在所述多个帧的帧大小显著地变化(例如，超出阈值)时停用经运动补偿的帧内插。
作为其它实例，内插控制模块34可基于一个或一个以上帧的错误分布分析并调整帧内插操作。经经运动补偿的帧内插可高度依赖于参考帧的正确解码，且因此内插控制模块34可在与一个或一个以上参考帧相关联的错误分布高于阈值错误分布值时停用经运动补偿的帧内插。
在一些方面中，内插控制模块34可基于解码器14的解码复杂性及剩余的计算资源自适应地确定是否启用帧内插。举例来说，内插控制模块34可在解码器14的计算资源正在后面运行时启用帧内插。内插控制模块34可分析帧大小(运动信息及残余信息两者)以及帧类型以确定解码器14的解码复杂性及剩余的计算资源。举例来说，可认为B帧比相同帧大小的P帧复杂，因为所述B帧需要更多的计算资源(由于其双向运动补偿的特征)。当解码器14的计算资源正在后面运行时，内插控制模块34可内插帧而不执行正常的B帧解码。在一些实施方案中，当帧内插操作专用于移动台调制解调器(MSM)平台的数字信号处理器(DSP)部分时，与正常的B帧解码相比，内插视频帧在计算上较不昂贵。
内插模块32根据经动态调整的帧内插操作来内插视频帧(68)。举例来说，内插模块32可停用经运动补偿的内插，且改为使用帧平均化或帧重复操作来内插所述视频帧。作为另一实例，内插模块32可使用内插控制模块34所选择的预测模式来内插所述视频帧。
图5是图解说明内插解码器模块24基于对一个或一个以上视频帧内的移动对象的分析来调整帧内插操作的实例性操作的流程图。最初，内插解码器模块24选择视频帧(70)。内插解码器模块24可选择参考视频帧(例如，先前或后续视频帧)，或选择将要内插的帧。
内插解码器模块24分析与所述所选择的视频帧中的一个或一个以上像素块相关联的运动向量以产生与所述帧内的一个或一个以上移动对象相关联的信息(72)。如上文所说明，内插解码器模块24可包括分析与所述帧相关联的运动向量(MV)且识别所述帧内的一个或一个以上移动对象的移动对象检测模块40。特定来说，移动对象检测模块40可将区域内具有大致类似的运动向量的像素块分为一组以根据本文中所说明的技术检测移动对象。举例来说，移动对象检测模块40可选择所述帧内的第一像素块，将与所述第一像素块相关联的运动向量与与包围所述所选择像素块的一个或一个以上相邻像素相关联的运动信息相比较，且将所述第一像素块与具有大致类似的运动信息的相邻像素块分为一组。
然后，移动对象检测模块40可针对属于所述对象的相邻像素块中的每一者执行类似的分析，直到将所述区域中具有大致类似的运动向量的所有像素块分为一组以形成移动对象。然后，移动对象检测模块40可开始以类似方式分析具有不同运动向量的其它像素块以检测所述帧中的其它移动对象。此外，移动对象检测模块40可将形成所述对象的像素块的运动向量合并以产生对应于所述移动对象的单个运动向量。以此方式，移动对象检测模块40产生识别所述帧内的移动对象的数量、所述移动对象的大小(例如，在移动对象中的块数量方面)的信息、与所述移动对象中的一者或一者以上相关联的运动信息及类似信息。
如上文所说明，移动对象检测模块40可产生与参考帧或将要内插的帧中的移动对象相关联的信息。当移动对象检测模块40产生与被跳过的帧的移动对象相关联的信息时，举例来说，所述信息是在运动向量被指派到所述被跳过的帧之后产生的。另外，在一些方面中，移动对象检测模块40可必须计及一组以上运动向量。举例来说，移动对象检测模块40可必须计及向前及向后的运动向量两者。
内插控制模块34分析与一个或一个以上帧相关联的所产生移动对象信息(74)。内插解码器模块34可(举例来说)比较所述帧中的每一者中的移动对象的数量、每一所述帧中的所述移动对象的大小、与所述帧中的每一者中的所述移动对象相关联的运动信息及类似信息。内插控制模块34可(举例来说)比较与一个或一个以上参考帧相关联的移动对象信息。另一选择为或另外，内插控制模块34可分析与被跳过的帧相关联的移动对象信息。此外，内插控制模块34可分析与整个帧相关联(例如，与所有移动对象相关联)的移动对象信息。另一选择为，内插控制模块34可分析与所述帧内的个别移动对象相关联的移动对象信息。
内插控制模块34基于对所述帧中的一者或一者以上内的移动对象的分析来调整帧内插操作(76)。作为实例，内插控制模块34可选择将产生最好的内插操作的预测模式，例如，向前预测、向后预测模式或双向预测模式。内插控制模块34可在帧等级(例如，针对所述帧的所有块)或在移动对象等级(例如，针对块群组)上调整所述帧内插操作。举例来说，内插控制模块34可基于对与一个或一个以上参考帧中的移动对象相关联的信息的分析来调整整个帧的预测模式。特定来说，内插控制模块34可比较先前及后续参考帧中的移动对象的数量且针对整个帧选择使用具有最少量的移动对象的参考帧的预测模式。以此方式，根据与每一参考帧相关联的移动对象数量之间的比较调整所述预测模式决策。
作为另一实例，内插控制模块34在先前与后续参考帧之间比较移动对象的规范化非零系数，以选择帧预测模式。移动对象的规范化非零系数用于确定所述移动对象的可靠性。较小的非零系数指示更可靠的移动对象。因此，如果两个参考帧具有相同数量的移动对象且所述移动对象的大小大体相同，那么内插控制模块可选择将具有总的较小规范化非零系数的参考帧用于内插的预测模式。
在其它实例中，内插控制模块34可基于与移动对象相关联的信息来选择与所述移动对象相关联的像素块的预测模式。内插控制模块34可(举例来说)在先前与后续参考帧中的对应移动对象相关联的运动向量对准且所述参考帧的所述移动对象之间的非零残余的差小于阈值时针对与所述移动对象相关联的像素块的内插选择双向预测模式。当与参考帧中的移动对象相关联的运动向量彼此指向对方且所述移动对象的重叠部分超出预定的阈值时，内插控制模块34可确定所述运动向量是对准的。当与先前与后续参考帧中的对应移动对象相关联的运动向量不对准或所述参考帧的所述移动对象之间的非零残余的差大于阈值时，内插控制模块34针对所述移动对象选择使用所述参考帧中包括将要内插的帧的大多数移动对象的参考帧的预测模式。内插控制模块34可基于对与所述将要内插的帧中的一个或一个以上移动对象相关联的信息的分析来作出类似的帧等级及移动对象等级的预测模式决策。
内插模块32根据经动态调整的帧内插操作内插视频帧(78)。举例来说，内插模块32可停用经运动补偿的内插，且改为使用帧平均化或帧重复操作来内插所述视频帧。作为另一实例，内插模块32可使用内插控制模块34所选择的预测模式来内插所述帧。
图6是图解说明移动对象检测模块40分析与帧的像素块相关联的块信息以在所述帧中检测移动对象的实例性操作的流程图。如上文所说明，本文中所说明的移动对象检测技术可用于在一个或一个以上参考帧中或将要内插的帧中检测移动对象。最初，移动对象检测模块40将与所述帧中的像素块中的每一者相关联的状态初始化为“未触摸”(80)。“未触摸”状态意指移动对象检测模块40尚未使所述像素块与移动对象相关联。移动对象检测模块40将对象号码设定等于一(82)。所述对象号码与移动对象检测模块40当前正在检测的移动对象对应。
移动对象检测模块40选择所述帧中的像素块(84)。所述所选择的像素块是移动对象分析的开始点。移动对象检测模块40检查与所述所选择的像素块相关联的状态以确定与所述块相关联的状态是否是“未触摸”(86)。如果与所述所选择的像素块相关联的状态不是“未触摸”，那么移动对象检测模块40选择将要分析的下一像素块。如果与所述所选择的像素块相关联的状态是“未触摸”，那么移动对象检测模块40确定与所述所选择的像素块相关联的运动向量是否等于零(88)。如果与所述所选择的像素块相关联的运动向量等于零，那么所述像素块不与任何移动对象相关联。因此，移动对象检测模块40选择将要分析的下一像素块。另外，移动对象检测模块40可将所述块的状态设定为不对应于任何移动对象的号码，例如零。通过将所述块的状态设定为零，移动对象检测模块40不需要再分析所述块。
如果与所述所选择的像素块相关联的运动向量不等于零，那么移动对象检测模块40将与所述所选择的像素块相关联的状态设定为等于当前的对象号码(90)。在此情况下，将与所述所选择的像素块相关联的状态设定为等于一。如果移动对象检测模块40已经检测一个或一个以上对象，那么将所述状态设定为当前正被检测的移动对象的任何号码。
移动对象检测模块40开始分析与包围所述所选择的像素块的像素块(在本文中称为相邻像素块)相关联的运动信息。移动对象检测模块40可(举例来说)分析与包围所述所选择的块的帧的三个块×三个块(three block by three block)区段相关联的运动信息。虽然在三个块×三个块窗口方面说明所述技术，但所述技术也可用于分析不同大小的相邻块窗口。
特定来说，移动对象检测模块40选择所述相邻像素块中的第一者(92)。移动对象检测模块40检查与所述相邻像素块相关联的状态以确定与所述块相关联的状态是否是“未触摸“(94)。如果与所述所选择的像素块相关联的状态不是“未触摸”，那么移动对象检测模块40确定所述三个块×三个块窗口中是否存在尚未经分析的任何其它相邻像素块(96)。如果所述窗口内存在更多的相邻像素，那么移动对象检测模块选择所述像素中的另一者(92)。
如果与所述所选择的像素块相关联的状态是“未触摸”，那么移动对象检测模块40将与所述所选择的像素块相关联的运动向量与和所述相邻像素块相关联的运动向量相比较以确定所述运动向量是否大致类似(98)。移动对象检测模块40可在量值、方向或量值及方向两者方面比较所述所选择的块与所述相邻像素块的运动向量。移动对象检测模块40可(举例来说)计算量值及方向上的差且将所述所计算的差与阈值相比较。如果与所述所选择的块相关联的运动向量与和所述相邻块相关联的运动向量不大致类似，那么移动对象检测模块40确定所述三个块×三个块窗口中是否存在尚未经分析的任何其它相邻像素块(96)。如果所述窗口内存在更多的相邻像素，那么移动对象检测模块选择所述像素中的另一者(92)。
如果所述所选择的块的运动向量与与相邻块相关联的运动向量大致类似，那么移动对象检测模块40将与所述所选择的相邻像素块相关联的状态设定为当前对象号码(100)。以此方式，移动对象检测模块40识别所述块及其相邻块两者属于同一移动对象。移动对象检测模块40还可将与具有相同对象号码的像素块相关联的运动向量平均化(102)。移动对象检测模块40继续以类似方式分析所述相邻块，直到已分析所述三个块×三个块窗口中的所有相邻块。
一旦移动对象检测模块40已分析所述三个块×三个块窗口中的所有相邻块，那么移动对象检测模块40识别是否存在属于当前对象的任何相邻块(104)。移动对象检测模块40可(举例来说)识别具有等于所述当前对象号码的状态的相邻块。如果存在属于所述当前对象的任何相邻块，那么移动对象检测模块40选择所述所识别块中的一者且以上文所说明的相同方式分析与所述所选择的像素块相邻的像素块。移动对象检测模块40继续分析属于所述当前对象的像素块中的每一者，直到已分析与所述当前对象相关联的所有像素块。以此方式，移动对象检测模块40将具有大致类似的运动向量的邻近像素块分为一组以产生并检测所述视频帧内的移动对象。
一旦移动对象检测模块40已分析属于所述当前对象的所有像素块，那么移动对象检测模块40增加所述对象号码且开始以上文所说明的相同方式分析所述帧的剩余像素块(82)。换句话说，移动对象检测模块40开始分析具有与最初选择的像素块不大致类似的运动向量的像素块。
以此方式，移动对象检测模块40可分析与所述帧中的多个像素块相关联的运动向量以在所述帧内检测一个或一个以上移动对象。基于此分析，移动对象检测模块40可识别所述帧内的移动对象的数量、所述帧中的所述移动对象的大小(即，与所述移动对象相关联的像素块的数量)及与所述移动对象中的每一者相关联的运动信息。移动对象检测模块40可将此信息提供到内插控制模块34以进行分析以用于对帧内插操作作出调整。
虽然在检测移动对象以进行分析以作出帧内插调整的背景下说明移动对象检测技术，但所述移动对象检测技术也可用于其它编码及解码用途。
图7是图解说明实例性内插控制模块110的框图。内插控制模块110包括分析模块112及调整模块114。图8中所图解说明的模块一起操作以动态地调整帧内插操作。更具体来说，分析模块112分析与至少一个视频帧相关联的信息且基于所述分析来动态地调整所述帧内插。分析模块112可(举例来说)分析一个或一个以上视频帧的内容、两个或更多个视频帧之间的运动场的规律性、与一个或一个以上视频帧相关联的编码复杂性或其组合。在一个实例中，分析模块112可分析与用于内插视频帧的一个或一个以上参考帧相关联的信息。另一选择为或另外，分析模块112可分析与将要内插的帧(例如，被跳过的视频帧)相关联的信息。分析模块112还可分析一时间周期内接收的多个帧(例如，一秒钟的间隔内接收的帧)的信息。
调整模块114基于对与所述一个或一个以上视频帧相关联的信息的分析来动态地调整帧内插操作。调整模块114可以多种不同的方式调整所述帧内插操作。作为实例，调整模块114可选择是否启用或停用经运动补偿的帧内插。当停用经运动补偿的帧内插时，调整模块114另外选择不同的帧内插操作，例如帧重复或帧平均化操作。作为另一实例，调整模块114可基于所述分析来选择将要用于帧内插的视频帧预测模式。在其它实例中，调整模块114可基于所述分析来指派用于帧内插的不同阈值。
根据本发明，用于分析与视频帧相关联的信息的装置可包含内插解码器模块24(图1)、内插控制模块34(图2)、内插控制模块110(图8)或分析模块112(图7)。同样，用于基于对所述信息的分析来动态地调整帧内插操作的装置可包含内插解码器模块24(图1)、内插控制模块34(图2)、内插控制模块110(图8)或调整模块114(图7)。虽然出于图解说明的目的提供以上实例，但本发明可包括对应于相应装置的其它结构实例。
本文中所说明的技术可实施在硬件、软件、固件或其任一组合中。如果实施在硬件中，那么可使用数字硬件、模拟硬件或其组合来实现所述技术。如果实施在软件中，那么可至少部分地通过一个或一个以上存储或传输于计算机可读媒体上的指令或码来实现所述技术。计算机可读媒体可包括计算机存储媒体、通信媒体或两者，且可包括促进计算机程序从一个位置到另一个位置的转移的任何媒体。存储媒体可以是可由计算机存取的任何可用媒体。
通过实例而并非限制的方式，所述计算机可读媒体可包含RAM，例如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、ROM、电可擦除可编程只读存储器(EEPROM)、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可用来携载或存储呈指令或数据结构形式且可由计算机存取的所需程序码的媒体。
而且，任何连接均适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等的无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等的无线技术均包括于媒体的定义内。如本文所使用，磁盘(disk)及光盘(disc)包括：压缩光盘(CD)、激光盘、光学盘、数字通用光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式来复制数据，而光盘以光学方式(例如，通过激光)来复制数据。以上的组合也应包括在计算机可读媒体的范围内。
本文中所揭示的计算机程序产品包括计算机可读媒体以及与所述计算机可读媒体相关联的任何材料，包括所述计算机可读媒体封装于其中的封装材料。与计算机程序产品的计算机可读媒体相关联的码可由计算机来执行，例如，由一个或一个以上处理器来执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。在一些方面中，本文中所说明的功能性可提供于经配置以进行编码及解码的专用软件模块或硬件模块内，或并入到组合式视频编码器-解码器(CODEC)中。
已对各个方面进行了说明。这些及其它方面归属于以上权利要求书的范围内。