《运动预测方法.pdf》由会员分享，可在线阅读，更多相关《运动预测方法.pdf（16页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102833540 A (43)申请公布日 2012.12.19 C N 1 0 2 8 3 3 5 4 0 A *CN102833540A* (21)申请号 201210272628.8 (22)申请日 2011.01.18 61/295,810 2010.01.18 US 61/326,731 2010.04.22 US 12/957,644 2010.12.01 US 201110020283.2 2011.01.18 H04N 7/26(2006.01) (71)申请人联发科技股份有限公司 地址中国台湾新竹科学工业园区新竹市笃 行一路一号 (72)发明人蔡玉宝。
2、 傅智铭 林建良 黄毓文 雷少民 (74)专利代理机构北京万慧达知识产权代理有 限公司 11111 代理人于淼 杨颖 (54) 发明名称 运动预测方法 (57) 摘要 一种运动预测方法，包含：决定用于当前单元 的运动预测的多个候选单元；决定对应于当前单 元的多个已编码单元；计算对应于所述多个已编 码单元中的每一个的多个候选单元的多个运动向 量与多个已编码单元中的每一个的运动向量之间 的多个运动差值；根据一系列的多个权重，将对 应于多个候选单元中的每一个的多个运动差值相 加，以获取多个分别对应于多个候选单元中的每 一个的加权和；以及根据多个加权和，从多个候 选单元选择至少一用于当前单元的运动预测。
3、的选 定的候选单元。通过上述运动预测方法，候选集合 根据当前单元的特征被自适应地决定，可改善运 动预测的性能。 (30)优先权数据 (62)分案原申请数据 (51)Int.Cl. 权利要求书2页 说明书5页 附图8页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 8 页 1/2页 2 1.一种运动预测方法，包含： 决定用于当前单元的运动预测的多个候选单元； 决定对应于该当前单元的多个已编码单元； 计算对应于该多个已编码单元中的每一个的该多个候选单元的多个运动向量与该多 个已编码单元中的每一个的运动向量之间的多个运动差值； 根据一系列的多个。
4、权重，将对应于该多个候选单元中的每一个的该多个运动差值相 加，以获取多个分别对应于该多个候选单元中的每一个的加权和；以及 根据该多个加权和，从该多个候选单元选择至少一用于该当前单元的运动预测的选定 的候选单元。 2.如权利要求1所述的运动预测方法，其特征在于，该运动预测方法更包含： 根据该选定的候选单元的该运动向量，预测该当前单元的运动向量。 3.如权利要求1所述的运动预测方法，其特征在于，该多个运动差值的计算步骤更包 含： 从该多个已编码单元选择目标已编码单元； 计算对应于该目标已编码单元的该多个候选单元的该多个运动向量与该目标已编码 单元的该运动向量之间的该多个运动差值；以及 重复对应于该。
5、目标已编码单元的该目标已编码单元的选择与该多个运动差值的计算 步骤，直到该多个已编码单元的全部已被选择为该目标已编码单元。 4.如权利要求1所述的运动预测方法，其特征在于，该多个运动差值的相加步骤更包 含： 从该多个候选单元选择目标候选单元； 根据该系列的该多个权重，将对应于该目标候选单元的该多个运动差值相加，以获取 对应于该目标候选单元的该加权和；以及 重复对应于该目标候选单元的该目标候选单元的选择与该多个运动差值的相加步骤， 直到该多个候选单元的全部已被选择为该目标候选单元。 5.如权利要求4所述的运动预测方法，其特征在于，该多个权重分别对应于该多个已 编码单元的一个。 6.如权利要求1所。
6、述的运动预测方法，其特征在于，该多个选定的候选单元的选择步 骤更包含： 对该多个加权和排序；以及 将对应于最佳加权和的该候选单元选择为该选定的候选单元。 7.如权利要求1所述的运动预测方法，其特征在于，该多个已编码单元包含该当前单 元的左边的左单元、该当前单元的上边的上单元、该当前单元的右上方的右上单元、该当前 单元的左上方的左上单元、以及同位单元，其中该同位单元在参考帧中的位置与该当前单 元在当前帧中的位置相同。 8.如权利要求1所述的运动预测方法，其特征在于，该多个候选单元包含该当前单元 的左边的左单元、该当前单元的上边的上单元、该当前单元的右上方的右上单元、以及该当 前单元的左上方的左上。
7、单元。 9.如权利要求8所述的运动预测方法，其特征在于，该多个候选单元更包含第一中值 权 利 要 求 书CN 102833540 A 2/2页 3 单元与第二中值单元，其中该第一中值单元的运动向量等于该左单元、该上单元、以及该右 上单元的运动向量的中值，以及该第二中值单元的运动向量等于该左单元、该上单元、以及 该左上单元的运动向量的中值。 10.如权利要求8所述的运动预测方法，其特征在于，同位单元在参考帧中的位置与该 当前单元在当前帧中的位置相同，以及该多个候选单元更包含该同位单元的左边的左同位 单元、该同位单元的上边的上同位单元、该同位单元的右上方的右上同位单元、该同位单元 的左上方的左上同。
8、位单元、该同位单元、该同位单元的右边的右同位单元、该同位单元的左 下方的左下同位单元、该同位单元的下边的下同位单元、以及该同位单元的右下方的右下 同位单元。 11.如权利要求1所述的运动预测方法，其特征在于，该当前单元与该多个候选单元是 块或宏块。 权 利 要 求 书CN 102833540 A 1/5页 4 运动预测方法 技术领域 0001 本发明有关于视频处理，特别有关于视频数据的运动预测。 背景技术 0002 H.264压缩标准可通过采用例如子像素精度（sub-pixel accuracy）与多 参考（multiple-referencing）的特征，可提供比特率（bit rate）相对。
9、于先前标准 低很多的优秀的视频质量。视频压缩程序通常可被划分为5个部分，包含：帧间预 测/帧内预测（inter-prediction/intra-prediction）、变换/反变换（transform/ inverse-transform）、量化/反量化（quantization/inverse-quantization）、环路滤 波（loop filter）、以及熵编码（entropy encoding）。H.264被用于各种应用，例如蓝光 光盘（Blu-ray Disc）、DVB广播服务、直接广播卫星电视（direct-broadcast satellite television）服务、。
10、有线电视服务、以及实时（real-time）视频会议（conferencing）。 0003 视频数据流包含一系列帧。每一帧被划分为用于视频处理的多个编码单元（例 如宏块或扩充的（extended）宏块）。每一编码单元可被分割为四叉树分区（quad-tree partition），以及叶子编码单元被称为预测单元。预测单元可进一步被分割为四叉树分区， 以及每一分区被分配有运动参数。为降低传输大量运动参数的成本，通过参考邻近已编码 块，为每一分区计算运动向量预测子（motion vector predictor，以下简称为MVP），因邻近 块的运动趋向于具有高空间相关性（spatial corre。
11、lation），从而编码效率可被改善。 0004 请参考图1，图1是当前（编码）单元100与多个相邻（编码）单元A、B、C、以及D的 示意图。在本范例中，当前单元100与相邻单元A、B、C、以及D的大小相同；然而，上述单元 的大小不必相同。当前单元100的MVP根据相邻单元A、B、与C或者A、B、与D（若C不可 用）被预测。当当前单元100为1616块且相邻单元C的运动向量存在时，相邻单元A、B、 与C的运动向量的中值（medium）被决定为当前单元100的MVP。当当前单元100为1616 块且相邻单元C的运动向量不存在时，相邻单元A、B、与D的运动向量的中值被决定为当前 单元100的MVP。
12、。当当前单元100为1616块的左半边的816分区时，相邻单元A的运 动向量被决定为当前单元100的MVP。当当前单元100为1616块的右半边的816分区 时，相邻单元C的运动向量被决定为当前单元100的MVP。当当前单元100为1616块的 上半边的168分区时，相邻单元B的运动向量被决定为当前单元100的MVP。当当前单元 100为1616块的下半边的168分区时，相邻单元A的运动向量被决定为当前单元100 的MVP。 0005 当当前单元的MVP根据相邻单元A、B、C、以及D的运动向量被预测时，相邻单元A、 B、C、以及D的运动向量并未被合适地在时间（temporal）上被缩放。举例来。
13、说，相邻单元A、 B、与C的参考帧不同，而相邻单元A、B、与C的运动向量分别对应于上述参考帧。每一参考 帧与当前帧之间的时间距离不同。因此在根据相邻单元A、B、与C的运动向量预测当前单 元100的MVP之前，相邻单元A、B、与C的运动向量应根据时间距离在时间上被缩放。 0006 当前单元100的MVP仅根据相邻单元A、B、C、以及D的运动向量（motion vector， 说 明 书CN 102833540 A 2/5页 5 以下简称为MV）被预测。若考虑更多候选MVP并通过率失真优化（rate-distortion optimization）从候选MVP中选择最佳者，MVP的预测精度可进一步。
14、改善。举例来说，运动 向量竞争（motion vector competition，MVC）被提出以从序列级别（sequence level）指 定的预定候选集合中选择最佳MVP。预定候选集合包含H.264标准预测子（例如相邻单元的 中值运动向量（median MV），同位（collocated）单元的MV，以及相邻单元的MV，其中同位 单元在参考帧中的位置与当前单元在当前帧中的位置相同。推荐的预定候选集合中的MVP 的数量为二。预定候选集合，根据运动向量竞争方法，在视频序列级别中是固定的。 发明内容 0007 为解决以上技术问题，特提供以下技术方案： 0008 本发明实施方式提供一种运动预测。
15、方法，包含：决定用于当前单元的运动预测的 候选单元；决定对应于当前单元的已编码单元；计算对应于已编码单元中的每一个的候选 单元的运动向量与已编码单元中的每一个的运动向量之间的运动差值；根据一系列的权 重，将对应于候选单元中的每一个的运动差值相加，以获取多个分别对应于候选单元中的 每一个的加权和；以及根据加权和，从候选单元选择至少一用于当前单元的运动预测的选 定的候选单元。 0009 以上所述的运动预测方法，候选集合根据当前单元的特征被自适应地决定，可改 善运动预测的性能。 附图说明 0010 图1是当前编码单元与多个相邻编码单元的示意图。 0011 图2是根据本发明一个实施方式的视频编码器的方。
16、框图。 0012 图3是两个候选单元的运动向量的缩放的示意图。 0013 图4是具有时间差调整的运动预测方法的流程图。 0014 图5是根据本发明一个实施方式的用于当前单元的运动预测的多个候选单元的 示意图。 0015 图6A与图6B是根据本发明一个实施方式的具有自适应（adaptively）选定的候 选单元的运动预测方法的流程图。 0016 图7是根据本发明一个实施方式的对应于不同已编码单元与候选单元的记录运 动差值的表的示意图。 具体实施方式 0017 在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的 技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本。
17、说明书及权利 要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准 则。在说明书及权利要求书中所提及的“包含”为开放式的用语，因此，应解释成“包含但不 限定在”。此外，“耦接”一词在这里包含任何直接及间接的电气连接手段。因此，若文中描 述第一装置耦接于第二装置，则代表第一装置可直接电气连接在第二装置，或通过其它装 置或连接手段间接地电气连接到第二装置。 说 明 书CN 102833540 A 3/5页 6 0018 请参考图2，图2是根据本发明一个实施方式的视频编码器200的方框图。在一个 实施方式中，视频编码器200包含运动预测模块202、减法模块204、变换模块2。
18、06、量化模块 208、以及熵编码模块210。视频编码器200接收视频输入并产生作为输出的比特流。运动 预测模块202对视频输入执行运动预测以产生预测样本与预测信息。然后减法模块204从 视频输入减去预测样本以获取残差（residue），从而将视频输入的视频数据量减少至残差 的视频数据量。然后残差被顺序发送至变换模块206与量化模块208。变换模块206对残 差执行离散余弦变换（discrete cosine transform，DCT）以获取变换的残差。然后量化模 块208量化变换的残差以获取量化的残差。然后熵编码模块210对量化的残差与预测信息 执行熵编码以获取作为输出的比特流。 0019。
19、 运动预测模块202根据多个候选单元的运动向量预测当前帧的当前单元的MVP。 在一个实施方式中，候选单元为与当前单元相邻的相邻单元。在运动预测模块202预测当 前单元的MVP之前，计算候选单元的参考帧与当前帧之间的时间距离，以及候选单元的运 动向量根据时间距离被缩放。请参考图3，图3是两个候选单元310与320的运动向量的 缩放的示意图。当前帧k包含用于当前单元300的运动预测的两个候选单元：第一候选单 元310与第二候选单元320。第一候选单元310具有相应于参考帧i的运动向量MV 1 ，以及 参考帧i与当前帧k之间的第一时间差D ik 被计算。第二候选单元320具有相应于参考帧 l的运动向。
20、量MV 2 ，以及参考帧l与当前帧k之间的第二时间差D lk 被计算。 0020 然后目标搜索帧j与当前帧k之间的目标时间距离D jk 被计算。目标搜索帧j为 选择的参考帧。然后通过第一时间距离D ik 划分目标时间距离D jk ，第一时间缩放因子被计 算，以及第一候选单元310的运动向量MV 1 被乘以第一时间缩放因子（D jk /D ik ）以获取对应 于第一候选单元310的缩放的运动向量MV 1 。然后通过第二时间距离D lk 划分目标时间距 离D jk ，第二时间缩放因子被计算，以及第二候选单元320的运动向量MV 2 被乘以第二时间缩 放因子（D jk /D lk ）以获取对应于第二。
21、候选单元320的缩放的运动向量MV 2 。这样，缩放的运 动向量MV 1 与MV 2 都相应于目标搜索帧j被测量，因此时间距离差因子从缩放的运动向量 MV 1 与MV 2 移除。然后运动预测模块202可根据候选单元310与320的缩放的运动向量 MV 1 与MV 2 预测当前帧300的MVP。 0021 请参考图4，图4是具有时间差调整的运动预测方法400的流程图。首先，决定当 前帧的当前单元的多个候选单元（步骤402）。候选单元与当前单元是具有相同大小或不同 大小的块，且上述单元的每一个可以是编码单元、预测单元、或预测单元分区。在一个实施 方式中，候选单元包含当前单元的左边的左单元A、当前单。
22、元的上边的上单元B、当前单元 的右上方的右上单元C、以及当前单元的左上方的左上单元D。然后获取候选单元的多个运 动向量（步骤404）。然后根据候选单元的多个参考帧与当前帧之间的时间距离，计算候选单 元的多个时间缩放因子（步骤406）。在一个实施方式中，候选单元的参考帧与当前帧之间的 多个时间距离首先被计算，目标搜索帧与当前帧之间的目标时间距离也被计算，以及然后 分别通过对应于候选单元的时间距离划分目标时间距离，以获取对应于候选单元的多个时 间缩放因子，如图3所示。 0022 然后，根据时间缩放因子，缩放候选单元的运动向量，以获取多个缩放的运动向量 （步骤408）。在一个实施方式中，将候选单元的。
23、运动向量分别乘以候选单元的时间缩放因 子，以获取候选单元的缩放的运动向量，如图3所示。然后根据缩放的运动向量，从候选单 说 明 书CN 102833540 A 4/5页 7 元选择当前单元的运动向量预测子（步骤410）。在一个实施方式中，根据缩放的运动向量计 算中值缩放的运动向量（例如对缩放的运动向量排序），以及然后从缩放的运动向量选择中 值缩放的运动向量作为当前单元的MVP。 0023 当运动预测模块202根据运动向量竞争方法决定当前单元的MVP时，通常，仅在序 列级别决定的两个候选单元的运动向量被包含在用于决定当前单元的MVP的候选集合中。 另外，候选集合并非根据当前单元的特征被自适应地决。
24、定。若候选集合根据当前单元的特 征被自适应地决定，则运动预测的性能可被改善。 0024 请参考图5，图5是根据本发明一个实施方式的用于当前单元512的运动预测的 多个候选单元的示意图。在本实施方式中，当前单元512与候选单元为具有不同大小的块， 举例来说，当前单元512是16x16块而候选单元是4x4块。在另一实施方式中，当前与候选 单元的大小可相同或不同，其大小可为4x4、8x8、8x16、16x8、16x16、32x32、或64x64。在本 实施方式中，当前帧502的四个候选单元A、B、C、与D的运动向量可作为用于决定当前单元 512的MVP的候选者。另外，同位单元514在参考帧504中的。
25、位置与当前单元512在当前帧 502中的位置相同，以及与同位单元514相邻或位于同位单元514中的多个候选单元aj的 运动向量也可作为用于决定当前单元512的MVP的候选者。 0025 当前帧502中的候选单元A为位于当前单元512左边的分区，当前帧502中的候 选单元B为位于当前单元512上边的分区，当前帧502中的候选单元C为位于当前单元512 右上方的分区，以及当前帧502中的候选单元D为位于当前单元512左上方的分区。参考 帧504中的候选单元a为位于同位单元514左边的分区，参考帧504中的候选单元b为位 于同位单元514上边的分区，参考帧504中的候选单元c为位于同位单元514右上。
26、方的分 区，参考帧504中的候选单元d为位于同位单元514左上方的分区。另外，参考帧504中的 候选单元e为位于同位单元514内部的分区，参考帧504中的候选单元f与g为位于同位 单元514右边的分区，参考帧504中的候选单元h为位于同位单元514左下方的分区，参考 帧504中的候选单元i为位于同位单元514下边的分区，参考帧504中的候选单元j为位 于同位单元514右下方的分区。在一个实施方式中，用于决定当前单元512的MVP的候选 集合更包含计算的运动向量，举例来说，等于候选单元A、B、与C的运动向量的中值的运动 向量、等于候选单元A、B、与D的运动向量的中值的运动向量、以及通过类似于图4。
27、中所示 的方法得到的缩放的MVP。 0026 在对应于当前单元512的多个运动向量被决定为包含在候选集合中之后，至少一 运动向量从用于当前单元512的运动预测的候选集合被自适应地选择。请参考图6A与图 6B，图6A与图6B是根据本发明一个实施方式的具有自适应选定的候选单元的运动预测方 法600的流程图。决定对应于当前单元512的多个已编码单元（步骤602）。决定对应于当 前单元512的多个候选单元（步骤603）。用于当前单元512的候选集合从对应于当前单元 512的多个运动向量中选择。运动向量可包含同一帧中的已编码分区/块的运动向量的一 个或组合、计算的运动向量、以及参考帧中的运动向量。在一个。
28、实施方式中，对应于图5中 所示的当前单元512的候选集合包含当前帧502中的单元A、B、C、以及D的运动向量与参考 帧504中的单元e的运动向量。候选集合可根据一个或多个先前统计、相邻信息、当前单元 的形状、以及当前单元的位置而被决定。举例来说，对应于当前单元512的多个运动向量根 据相邻信息被归类（rank），且前三个运动向量被选择为包含在候选集合之中。最终的MVP 说 明 书CN 102833540 A 5/5页 8 可通过运动向量竞争方法或其它选择方法从候选集合中选择。在某些实施方式中，多个运 动向量根据选择顺序被归类，以及选择顺序由运动差的加权和决定。运动差为每一运动向 量预测子与候选。
29、单元的对应解码运动向量（即实时运动向量）之间的差。权重可通过当前单 元的形状与位置决定，或权重可通过相邻块的形状与位置决定。 0027 请参考图7，图7是根据本发明一个实施方式的对应于不同已编码单元与候选单 元的记录运动差值的表的示意图。举例来说，假定单元A被选择为目标已编码单元。计算 单元A与位于单元A左边的候选单元A A 的运动向量之间的运动差值D A,A 。也计算单元A与 位于单元A上边的候选单元B A 的运动向量之间的运动差值D B,A 。也计算单元A与位于单元 A右上方的候选单元C A 的运动向量之间的运动差值D C，A 。也计算单元A与位于单元A左上 方的候选单元D A 的运动向量。
30、之间的运动差值D D,A 。也计算单元A与位于对应于单元A的同 位单元的左边的候选单元a A 的运动向量之间的运动差值D a,A 。类似地，也计算对应于已编 码单元A的运动差值D b,A ，D j,A 。然后对应于已编码单元A的计算的运动差值D A,A ，D B,A ， D C,A ，D D,A ，D a,A ，D b,A ，D j,A 被记录在图7所示的表中。然后从已编码单元选择目标已编码 单元B（步骤604），计算目标已编码单元B的运动向量与对应于目标已编码单元B的多个 候选单元的运动向量之间的运动差值D A,B ，D B,B ，D C，B ，D D，B ，D a,B ，D b,B ，D 。
31、j,B （步骤606）并将 其记录在图7所示的表中。步骤604与步骤606重复执行直到所有已编码单元A、B、C、D、 以及e均被选择为目标已编码单元且对应于已编码单元A、B、C、D、以及e的运动差值均已 计算（步骤608）。 0028 在对应于已编码单元A、B、C、D、以及e的运动差均已计算之后，通过运动差的加权 和决定多个运动向量的选择顺序，从候选单元选择目标候选单元（步骤610）。举例来说，若 候选单元A被选择作为目标候选单元，则根据一系列权重W A 、W B 、W C 、W D 、以及W e 将对应于目 标候选单元A的运动差值D A,A 、D A,B 、D A,C 、D A,D 、以及D。
32、 A,e 相加，以获取对应于目标候选单元A 的加权和S A =（D A,A W A ）+（D A,B W B ）+（D A,C W C ）+（D A,D W D ）+（D A,e W e ）（步骤612）， 其中权重W A 、W B 、W C 、W D 、以及W e 分别对应于已编码单元A、B、C、D、以及e中的一个。然后其 它候选单元B、C、D、e、i、以及j被顺序选择为目标候选单元，对应于候选单元B、C、D、 e、i、以及j的加权和S B 、S C 、S D 、S e 、S i 、以及S j 被顺序计算。 0029 当所有候选单元均已被选择为目标候选单元且对应于所有候选单元A、B、C、D、。
33、 e、i、以及j的加权和S A 、S B 、S C 、S D 、S e 、S i 、以及S j 均已计算时（步骤614），根据对应 于候选单元A、B、C、D、e、i、以及j的加权和S A 、S B 、S C 、S D 、S e 、S i 、以及S j 从候选单 元A、B、C、D、e、i、以及j选择至少一用于当前单元的运动预测的选定的候选单元（步 骤616）。在一个实施方式中，根据大小对加权和S A 、S B 、S C 、S D 、S e 、S i 、以及S j 排序，且对 应于最佳加权和（根据不同加权方法可为最小加权和或最大加权和）的候选单元被决定为 选定的候选单元。最后，根据选定的候选单元的。
34、运动向量预测当前单元512的运动向量。 0030 虽然本发明已以较佳实施方式揭露如上，然其并非用于限定本发明，任何所属技 术领域中的技术人员，在不脱离本发明的范围内，可以做一些改动，因此本发明的保护范围 应以权利要求所界定的范围为准。 说 明 书CN 102833540 A 1/8页 9 图1 说 明 书 附 图CN 102833540 A 2/8页 10 图2 说 明 书 附 图CN 102833540 A 10 3/8页 11 图3 说 明 书 附 图CN 102833540 A 11 4/8页 12 图4 说 明 书 附 图CN 102833540 A 12 5/8页 13 图5 说 明 书 附 图CN 102833540 A 13 6/8页 14 图6A 说 明 书 附 图CN 102833540 A 14 7/8页 15 图6B 说 明 书 附 图CN 102833540 A 15 8/8页 16 图7 说 明 书 附 图CN 102833540 A 16 。