《用于发送编码视频流的装置及其发送方法.pdf》由会员分享，可在线阅读，更多相关《用于发送编码视频流的装置及其发送方法.pdf（22页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201410410333.1 (22)申请日 2014.08.20 14/020,013 2013.09.06 US H04N 21/845(2011.01) H04N 21/647(2011.01) H04N 19/37(2014.01) H04N 19/66(2014.01) (71)申请人乐金显示有限公司 地址韩国首尔 (72)发明人默罕默德欣科 本李 金彰坤 李泰旭 (74)专利代理机构北京律诚同业知识产权代理 有限公司 11006 代理人徐金国 (54) 发明名称 用于发送编码视频流的装置及其发送方法 (57) 摘要 讨论了一种。
2、用于发送编码视频流的装置及其 发送方法。该装置包括：片产生单元，将视频流 中包含的一帧划分为至少一个或多个片；以及发 送单元，在片限期内以分组为单位发送片，所述片 限期是发送所述片所要求的时间限制，所述发送 单元相对于其他分组优先发送包含片头部信息的 头部分组，所述片头部包括对于重建所述片所必 需的信息，其中所述发送单元包括：分组发送器， 当分组发送失败时在预定重试限制内重发所述分 组；以及头部保护器，即使当所述头部分组的重 发次数超过所述预定重试限制时，所述头部保护 器仍执行控制以在所述片限期内重复地发送所述 头部分组。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国家。
3、知识产权局 (12)发明专利申请 权利要求书2页 说明书11页 附图8页 (10)申请公布号 CN 104427405 A (43)申请公布日 2015.03.18 CN 104427405 A 1/2页 2 1.一种用于发送编码视频流的装置，包括： 片产生单元，将视频流中包含的一帧划分为至少一个或多个片；以及 发送单元，在片限期内以分组为单位发送片，所述片限期是发送所述片所要求的时间 限制，所述发送单元相对于其他分组优先发送包含片头部信息的头部分组，所述片头部包 括对于重建所述片所必需的信息， 其中所述发送单元包括： 分组发送器，所述分组发送器当分组发送失败时在预定重试限制内重发所述分组，而。
4、 当当前分组发送成功时发送下一可用分组；以及 头部保护器，即使当所述头部分组的重发次数超过所述预定重试限制时，所述头部保 护器仍执行控制以在所述片限期内重复地发送所述头部分组。 2.根据权利要求1所述的装置，还包括动态地计算分组限期的分组限期计算单元，所 述分组限期是片中的头部分组之后的每一分组的发送时间限制，所述分组限期是通过将直 至片限期的剩余时间除以片中的分组数目而计算的， 其中，所述剩余时间是通过从所述片限期中减去成功发送所述头部之后的当前时间而 计算的。 3.根据权利要求2所述的装置，其中所述分组限期D pkt 是通过如下表示的等式计算 的： 其中t remaining 表示所述剩余。
5、时间，n pkt 表示所述片中包含的分组的数目，n over 表示所述 头部分组超过所述重试限制的次数。 4.根据权利要求1所述的装置，还包括重试限制计算单元，所述重试限制计算单元动 态地设置所述重试限制，以使得预测分组延迟满足以下条件：所述预测分组延迟 小于等于分组限期，其中所述预测分组延迟是每次重试所引起的延迟的运行平均值，所述 分组限期是每一分组所要求的时间限制。 5.根据权利要求4所述的装置，其中所述预测分组延迟是基于以下等式计算的： 其中T success 表示成功接收确认(ACK)并由此指示成功发送分组的最终尝试所用时间， EBO r 表示每次尝试的平均退避窗口大小，表示其他站访问。
6、媒介的平均发送数， t slot 表示时隙间隔，r表示尝试重发的次数，T collission 表示冲突中浪费的时间，T DIFS 表示媒介 在重发之前或者开始发送新分组之前必须处于空闲的限定时间，T busy 表示其他站访问媒介 的时间。 6.根据权利要求1所述的装置，其中所述片限期依据片类型而可变地设置。 7.根据权利要求1所述的装置，其中所述发送单元还包括ACK接收器，其确定分组是否 发送成功。 权 利 要 求 书CN 104427405 A 2/2页 3 8.一种发送包括至少一个或多个片的帧的编码视频流发送方法，包括： 在片限期内以分组为单位发送片，所述片限期是发送所述片所要求的时间限。
7、制，发送 单元相对于其他分组优先发送包含片头部信息的头部分组，所述片头部包括对于恢复所述 片所必需的信息；以及 当分组发送失败时在预定重试限制内重发所述分组，而当分组发送成功时开始发送下 一可用分组， 其中所述分组的重发包括在所述片限期的时间约束之内，即使当所述头部分组的重发 次数超过所述预定重试限制时，仍重发所述头部分组。 9.根据权利要求8所述的编码视频流发送方法，还包括动态地计算分组限期，所述分 组限期是片中的头部分组之后的每一分组的发送时间限制，所述分组限期是通过将直至片 限期的剩余时间除以片中的分组数目而计算的，其中，所述剩余时间是通过从所述片限期 中减去发送头部分组所用时间而计算的。
8、。 10.根据权利要求9所述的编码视频流发送方法，还包括动态地复位所述重试限制，以 使得预测分组延迟满足以下条件：所述预测分组延迟小于等于分组限期，其中所 述预测分组延迟是每次重试所引起的延迟的运行平均值，所述分组限期是每一分组所要求 的时间限制。 权 利 要 求 书CN 104427405 A 1/11页 4 用于发送编码视频流的装置及其发送方法 技术领域 0001 本发明涉及用于发送编码视频流的装置及其发送方法。 背景技术 0002 通过以恒定速率显示静止图像或者帧的序列来实现数字视频的播放，所述速率是 以每秒帧数(fps)为单位的。为了平滑视频播放，帧必须满足严格的回放(playout)。
9、限期。 因此，所有网络和播放延迟都必须保持在连续帧之间所允许的时间约束条件之内。 0003 H.264编解码器是一种高效率的编码标准。与传统的视频压缩技术类似，H.264使 用预测方法重建视频顺序。这一概念源自于这样的事实：数字视频通常显示出空间冗余和 时间冗余，空间冗余表示一帧内的各像素之间的相似性，时间冗余是相邻帧中的各像素之 间的相似性。帧被划分为作为1616的像素区域的宏块(MB)单元，并对每MB进行帧内编 码(intra-coded)或者帧间编码(inter-coded)。使用来自当前帧的信息重建帧内编码的 MB。使用仅仅来自前一帧的信息(预测型)、或者使用来自前一帧和更前一帧两者的。
10、信息 (双预测型)重建帧间编码的MB。 0004 帧可以包含不同MB类型的混合，并根据用于预测的参考类型来标记帧。例如，B帧 具有双预测的MB；然而，它也可以包含内预测的MB。P帧将包含根据过去的帧预测的MB，也 可以包含内预测的MB。I帧仅仅包含内预测的MB，并且不参考其他帧。 0005 编码视频由图像组(GOP)的序列构成，图像组是一组规定了I、P和B帧的顺序的 编码图像。 0006 图1示出现有技术中的GOP的帧排序。箭头表示来自于相邻帧的预测MB的源。 0007 如图1所示，仅仅I帧和P帧用作参考帧。由于帧之间的这种相互依赖性，当发生 分组丢失时，错误可能会在GOP中的各帧之间传播。 。
11、0008 使用H.264标准编码的HD视频帧通常再划分为多个片(slice)。片是根据它们所 包含的MB的类型而分类的。 0009 图2示出现有技术中的H.264位流的分级语法。 0010 如图2所示，语法被抽象为两层：视频编码层(VCL)，具有实际的压缩视频数据；和 网络提取层(NAL)，以适合于基于分组的网络的形式封装压缩数据和附加信息。 0011 网络提取层由一系列的NAL单元构成，所述NAL单元是可由H.264解码的最小数 据单元。三种常见的NAL单元是序列参数集(SPS)、图像参数集(PPS)和片。 0012 SPS包含整个视频共用的参数，比如编码视频所符合的类(prole)和级(l。
12、evel)。 因此，如果包含SPS信息的分组丢失，整个视频将无法解码。PPS包含应用于一个帧序列的 共用参数，比如熵编码模式。如果一个帧序列的PPS丢失，则这些帧都无法解码。如前所述， 片是构造帧的主要单元，并且帧可以具有单个片或者多个片。 0013 每个片包含片头部，之后是包含MB的视频数据。片头部包含片内的所有MB共用 的信息。如果片头部丢失，则即使正确地接收了片数据，整个片也无法解码。 0014 图3A和图3B示出在现有技术中分组丢失对帧的影响。图3A示出原始发送的帧， 说 明 书CN 104427405 A 2/11页 5 而图3B示出由于分组丢失而导致失去一些信息的接收帧。 0015。
13、 如图3B所示，片4的片头部丢失，导致整个片无法解码。与此相反，接收到片5的 片头部，但是丢失了最后两个实时协议(RTP)分组，这允许对大部分的片进行解码。 发明内容 0016 据此，本发明涉及一种用于发送编码视频流的装置及其发送方法，其基本上避免 了由于现有技术的局限性和不足而引起的一个或多个问题。 0017 本发明的一个方面是提供一种用于发送编码视频流的装置及其方法，其相对于其 他分组优先发送包含片头部信息的头部分组。 0018 本发明的另一方面是提供一种用于发送编码视频流的装置及其方法，其估计信道 条件并选择适当的重试限制。 0019 本发明的另一方面是提供一种用于发送编码视频流的装置及。
14、其方法，其使用MAC 和物理层参数估计分组到达时间，并将估计结果与相应的回放限期比较以确定完全丢弃分 组。 0020 除了本发明的上述目的之外，下文将说明本发明的其他特征和优点，这可以由本 领域技术人员根据以下说明而清楚理解。 0021 除了本发明的上述特征和效果之外，本发明的其他特征和效果可以根据本发明的 实施例而重新推断。 0022 本发明的额外优点、目的和特征将部分在随后的描述中进行阐述，而部分则将在 本领域技术人员在研究下文之后变得清楚明白，或者可以通过本发明的实践来了解。可以 通过在所撰写的说明书及其权利要求书以及所附附图中具体指明的结构来实现和获得本 发明的目的及其他优点。 002。
15、3 为了实现这些及其他益处、并根据本发明的目的，正如此处所具体实现和概括描 述的，提供了一种用于发送编码视频流的装置，包括：片产生单元，将视频流中包含的一帧 划分为至少一个或多个片；以及发送单元，在片限期内以分组为单位发送片，所述片限期是 发送所述片所要求的时间限制，所述发送单元相对于其他分组优先发送包含片头部信息的 头部分组，所述片头部包括对于重建所述片所必需的信息，其中所述发送单元包括：分组发 送器，所述分组发送器当未成功发送分组时在预定重试限制内重发所述分组，而当成功发 送当前分组时发送下一可用分组；以及头部保护器，所述头部保护器即使当所述头部分组 的重发次数超过所述预定重试限制时，仍执。
16、行控制，以便在所述片限期内重复地发送所述 头部分组。 0024 在本发明的另一方面中，提供了一种发送包括至少一个或多个片的帧的方法，包 括：在片限期内以分组为单位发送片，所述片限期是发送所述片所要求的时间限制，发送单 元相对于其他分组优先发送包含片头部信息的头部分组，所述片头部包括对于恢复所述片 所必需的信息；以及当未成功发送分组时在预定重试限制内重发所述分组，而当成功发送 所述分组时开始发送下一可用分组，其中所述分组的重发包括在所述片限期的时间约束之 内，即使当所述头部分组的重发次数超过所述预定重试限制时，仍重发所述头部分组。 0025 应理解的是，本发明的上述概括说明及随后的详细说明是示例。
17、性的和解释性的， 旨在为所请求保护的本发明提供进一步的解释。 说 明 书CN 104427405 A 3/11页 6 附图说明 0026 附图被包括在内以提供对于本发明的进一步的理解，它们被并入并构成本申请的 一部分；附图图示出本发明的实施例并与描述内容一起用于解释本发明的原理。在附图 中： 0027 图1示出现有技术中的GOP的帧排序。箭头表示来自于相邻帧的预测MB的源； 0028 图2示出现有技术中的H.264位流的分级语法； 0029 图3A和图3B示出在现有技术中分组丢失对帧的影响； 0030 图4示出根据本发明的将片划分为实时协议(RTP)分组以及它们对应的重要性； 0031 图5示。
18、出根据本发明的解码顺序和显示顺序； 0032 图6示出根据本发明的片保护发送方案； 0033 图7示出根据本发明的片保护方案的范例体系结构； 0034 图8示出根据本发明的发送编码视频流的装置的实施例； 0035 图9示出根据本发明的发送单元的实施例；以及 0036 图10示出根据本发明的发送编码视频流的方法的实施例。 具体实施方式 0037 在下文中，将参考附图详细说明根据本发明的发送编码视频流的装置及其方法。 0038 本发明涉及一种用于名称为H.264视频的动态重试适配方案(DRAS.264)的H.264 视频的自适应MAC层重发技术。本发明利用嵌入H.264位流的特定细节连同对于网络条。
19、件 的实时监控，提供对于任何H.264编码视频的保护，而不管所使用的类和级如何。 0039 此外，本发明符合H.264视频的实体，具有片和可变的帧尺寸。MAC层重发限制是 根据由H.264位流推定的分组类型、以及在视频发送过程中监测的具体网络量度而动态调 整的。尽管本发明特别适用于H.264视频，但是本发明也适用于包含基于片的帧的任何视 频，包括即将到来的H.265视频。 0040 IEEE802.11分布式协调功能(DCF)是控制无线网络接入的MAC协议的核心机制。 在802.11网络中，每个站监控无线媒介的活动。站按照时隙的间隔来监控媒介。当检测到 媒介在特定时期T DIFS 内是空闲的，。
20、则允许站发送。在表1中提供了802.11 DCF的重要时间 间隔的概述。 0041 表1 0042 说 明 书CN 104427405 A 4/11页 7 0043 为了避免冲突(即，同时从多个站发送)，采用了一种指数退避(exponential backoff)机制，用于从竞争窗口(CW)中选择一随机时隙，也被称为退避时隙(BO)。 0044 CW是以多个时隙单元为单位划分的预定义时间间隔，并在每次连续冲突后尺寸翻 倍。当CW达到预定的最大值时，它保持在该值，直到发生成功的发送为止，或者达到该分组 的重试限制(即，丢弃)。 0045 802.11无线网络中工作的任何站可以分类为四个状态之一：。
21、成功，冲突，退避，和 延期。可以利用这些状态连同表1中给出的持续时间计算一组影响链路层分组的端到端延 迟的参数。 0046 表2 0047 0048 表2提供了在假定所有分组具有相等长度的情况下为每一状态计算的时序。基于 这一假定，对于成功和冲突时间而言，分组从开始发送直到它预计接收到确认(ACK)分组 所用的时间是相等的。 0049 对实际接收ACK(即，成功)与未接收ACK(即，冲突)进行区分，这一点将在用于 预测总的分组延迟的模型中解决。 0050 对于延期时间的计算是根据其他站在发送期间占用媒介多久。由于我们的假定考 虑了具有相等长度的分组，因此这一时间间隔表示其他站何时开始发送以及它。
22、们预计何时 接收ACK。因此，这一持续时间也等于用于成功和冲突时间的持续时间。最后，CW r 是用于 第r次重试的竞争窗口的值。 0051 本发明是通过监控分组延迟和观察位流内容的组合来实现的。本发明的本质部分 是紧密监控802.11无线网络的行为，其允许估计由MAC层引起的分组延迟。 0052 H.264位流的实时语法分析允许对分组重要性进行即时地(on-the-fly)检测。基 于这一信息，可能需要依据由位流推定的重要性级别，在不利的网络条件期间为特定分组 说 明 书CN 104427405 A 5/11页 8 增加MAC重试限制。此外，可能需要全部丢弃一些分组，以避免原本会在超出它们相应。
23、的帧 回放限期之外传送分组的非必要发送。 0053 对于802.11无线网络所要考虑的重要量度是基于上文列出的四个主要状态：成 功，冲突，退避，和延期。 0054 每一状态表示影响总分组延迟的某个延迟分量。为了预测的目的，对分组在每一 状态中保持多长时间的运行平均值进行计数。重要的是，要注意仅仅能够对于成功接收的 分组获得分组延迟，因为对于丢弃分组的延迟是未知的。 0055 影响分组从它被发送的时间直至它被成功确认的时间所经历的总延迟的三个主 要因素：(1)当发送分组时发生的冲突的数目，(2)为每一重试选择的退避时隙，和(3)站被 延期了多少次。 0056 前两个因素用于确定与冲突和退避次数相。
24、关联的平均延迟。最后一个因素用于获 得与其他站占用媒介多长时间相关联的平均延迟。这些量度定义如下： 0057 n c ：由发送视频的主站经历的冲突的数目， 0058 BO r ：为重试r选择的退避时隙， 0059 n tx ：在主站成功地接收ACK之前其他站的发送数。 0060 这些量度用于定义分组的总延迟由以下等式1给出： 0061 等式1 0062 等式1的各分量涵盖了802.11 MAC层操作的四个主要状态，详细说明如下： 0063 表示与第r次重试相关联的退避延迟，即，使得 BO r 0,CW r ，其中CW r a2 r -1。常数a取决于使用的标准。例如，802.11a使用a16，。
25、 而802.11b使用a32。 0064 T busy 表示媒介被其他站占用的时间。这在等式中可以意味着(1)主站处于延期 中，或者(2)发生冲突，这分别解释了等式中的n tx 和n c 的使用。更具体地说，T busy 被定义 为T busy T frame +T SIFS +T ACK ，其中T frame 、T SIFS 和T ACK 是表1中列出的MAC特定延迟。 0065 T success 是与分组的成功发送相关的时间，它等于T busy 。 0066 T DIFS 是在重发之前媒介必须被感测为空闲的每一次发送之后的MAC特定持续时间 (表1中表示的)。 0067 等式1可以进一步。
26、简化为等式2： 0068 等式2 0069 在默认的MAC层协议中，分组仅仅能够承受最多6次重发(包括首次尝试在内总 共7次重发)。因此，每次重试都具有与它的整个802.11网络操作过程相关联的平均延迟。 这一延迟可以通过监控每次尝试的平均退避窗口大小EBO r 、以及能够访问该媒介的其他 说 明 书CN 104427405 A 6/11页 9 站的平均发送数而获得。 0070 此外，一旦成功发送分组，便可以降低n c rR，其中R是最大重试数(作为默 认R6)。随后可以使用以下等式3，基于重试次数演算估计的分组延迟： 0071 等式3 0072 0073 其中t slot 是时隙的持续时间(。
27、参看表1)，并且T collision T busy 。等式3基于BO r 和 n tx 的平均值，即EBO r 和提供每一重试值r的预测分组延迟。因此，以重试值r 为索引，通过等式3产生预测值的阵列。 0074 本发明关注于两个参数：帧尺寸，和为编码位流的每一分组计算的重要性级别。 这些变量都是相关的，并且由于用于提取分组重要性的预处理步骤而认为在现有方法中已 知。然而，如果不进行预处理，则帧尺寸和分组重要性是无法获得的，并且必须从流制H.264 内容中动态地提取。 0075 因此，类似于执行运行平均以监控分组延迟，所提出的方法即时地(on the fly) 处理H.264位流，并提取平均帧。
28、尺寸，该平均帧尺寸最终用于确定每一分组限期。 0076 如图3所示，编解码器的片特性为每一分组应用清晰的重要性级别。片头部由解 码器所需要的最重要信息构成，片头部之后是由实际编码视频组成的数据。当片头部失去 时，解码器无法重建该片。H.264通过使用可变长度编码，使得片的每个分组都仅仅和它的 先前分组的成功传送一样重要。因此，对于丢失的片内的任一分组，所有后继分组都应当被 清除，以避免发送无用的信息。 0077 图4示出根据本发明的将片划分为实时协议(RTP)分组以及它们对应的重要性。 0078 正如图4所示出的，包括片头部的头部分组比其他分组更重要，因为如果没有该 片头部，则整个片都无法重建。
29、。 0079 图5示出在视频流期间的解码顺序和显示顺序。 0080 如图5所示，在GOP级别，帧以解码顺序发送，该解码顺序不同于显示顺序。这确 保所有参考帧在相对应的内部预测帧之前被解码。因此，在帧级别，信息也是按照重要性的 顺序组织的。 0081 本发明的一个重要特征是为流制视频的每一分组提取重要性级别。通常，使用预 处理技术以便基于重要性为视频分组划分等级，这在以后有助于在视频流期间指定重试限 制。然而，预编码的H.264视频的错误传播行为在分组级别是不可用的。因此，对H.264编 解码器的NAL单元结构进行探索以开发一种保护算法，用于在无需知道视频内容的特定细 节的情况下平滑视频播放。 。
30、0082 在本发明中考虑了图4中示出的片内的分组重要性，以便在压缩视频的片级别提 供保护。为了利用这类保护，如等式4定义帧限期D frame ： 0083 等式4D frame T init +n frame 0084 其中T init 是在接收器处播放视频之前的初始启动延迟，n frame 是待播放的当前帧的 帧编号，1/fps是帧周期或者每一帧播放之间的间隔。T init 也被称为抖动时间(jitter 说 明 书CN 104427405 A 7/11页 10 time)，它是通过适当尺寸的缓冲器或者抖动缓冲器实现的，用于平滑视频回放。 0085 当多个片用于编码视频时，可以按照等式5计算。
31、每一片的限期： 0086 等式5 0087 其中n slice 是每一帧的片的数目。由于一帧的每一单独片的相对重要性不是已知 的，所以在帧的所有片之间均匀地分配帧周期。 0088 图6示出根据本发明的片保护发送方案。 0089 正如图6所示出的，片保护按照以下方式进行： 0090 (1)在如等式6的时间约束之内重复地发送具有片头部的每一分组： 0091 等式6 0092 其中t slice 表示片开始发送的时间，是根据等式1获得的，并表示包含片 头部的分组所经历的延迟，n over 是分组超过重试限制的次数。当超过重试限制时，片保护算 法将为MAC层提供包含片头部的相同分组。正常的MAC层操作。
32、将新入的分组作为新分组考 虑，并以CWCW min a2 r -1开始发送。 0093 此外，就像用户数据报协议(UDP)中的情形一样，还简单地忽略了向上层的MAC重 试超时通知。这种额外的机会提供了对于以H.264片头部作为有效负载一部分的任何分组 的更高保护。此外，这种额外的保护并不对MAC层DCF操作的默认行为作出任何修改，这是 本发明的一个新颖之处。 0094 (2)通过将片的估计最终分组的重试限制减少到1来补偿头部分组的额外发送。 如果每一片的分组的数目是预先不知道的，则需要基于动态获得的统计信息进行估计。 0095 (3)重复步骤(1)和(2)，直到成功发送片头部为止。对于步骤(2。
33、)，从片的末尾按 相反顺序遍历分组。 0096 (4)使用每一片分组的新计算的限期，发送该片的剩余分组。如果成功地发送头部 并保持步骤(1)的条件，则通过等式7给出在片限期之前可用的时间t remaining 。 0097 等式7 0098 0099 这允许使用以下等式8计算每一分组限期的剩余时间： 0100 等式8 0101 0102 其中n pkt 是片中的分组的数目。利用等式9选择头部之后的分组的重试限制。 0103 等式9 0104 说 明 书CN 104427405 A 10 8/11页 11 0105 再次说明，是通过等式3定义的，并表示第r次重试的平均延迟。 0106 (5)令表。
34、示在等式3中定义的正被发送的当前分组的估计延迟。如果在 任意时间则发生限期违反，并将该分组连同该片中的后续分组一起 丢弃。 0107 对于图6中示出的片保护发送方案，必须考虑几个重要的细节。由于每一片中的 分组的提取数目是预先不知道的，因此必须估计它。这是通过在流制传输期间存储每一片 类型(IDR，I，P，或者B)的分组的平均数、并在为发送考虑的情况下将该平均数用作当前片 的近似数，来实现的。 0108 在步骤(4)中，片末尾的分组被忽略，不将它们引入每一分组限期的计算中。这为 片开始处的紧随片头部之后的分组赢得了时间，但是同时，仍然有可能发送片的最后分组， 因为为重试调整考虑了每一分组的平均。
35、延迟。因此，对于原本会被忽略的片末尾分组而言， 仍可能会获得空闲时间。 0109 此外，t remaining 是通过以下等式10连续计算的。 0110 等式10 0111 t remaining D slice -t 0112 其中t是当前时间，D slice 是等式5中计算的片限期。 0113 最后，可以通过将重试限制设置为低值来精细调整片头部的发送以便快速传送， 减少与退避延迟相关联的等待时间，这是本发明的另一新颖之处。 0114 图7示出根据本发明的片保护方案的体系结构。 0115 本发明的实施方式在于网络和链路层之间的接口。重试指定模块是该系统的主要 部件，其从网络接口卡(NIC)采。
36、集DCF参数，从片尺寸计数器采集用于对H.264位流进行语 法分析的片信息，以及从GOP测长器采集GOP信息。重试指定模块随后应用限期计算，以便 为每一分组设置相应的重试限制。NIC内的两个框表示正在发送的分组，以及指定给该分组 的最大重试限制(MRL)。片保护是在长划线框内实现的，并由片头部存储器和多路复用器构 成，该多路复用器将适当分组馈送到无线接口。当MAC层由于过度重试而丢弃片头部时，所 述多路复用器将重新选择经由NIC发送的片头部。一旦成功地发送了片头部，从网络队列 中取出下一等待分组并进行处理。 0116 0117 图8示出根据本发明的发送编码视频流的装置的实施例。 0118 如图。
37、8所示，根据本发明的用于发送编码视频流的装置包括片产生单元200，发送 单元300，分组限期计算单元400，和重试限制调制单元500。 0119 片产生单元200将视频流中包含的一帧划分为至少一个或多个片。片包括至少一 个或多个宏块(MB)。 0120 片包括片头部和片数据。片头部包含片内的所有MB共用的信息。片头部由解码 器所需要的最重要信息构成，片头部之后是由实际编码视频组成的数据。当片头部失去时， 解码器无法重建整个片。 0121 发送单元300在片限期内以分组为单位发送片，所述片限期是发送片所要求的时 说 明 书CN 104427405 A 11 9/11页 12 间限制，发送单元30。
38、0相对于其他分组优先发送包含片头部信息的头部分组，并且片头部 包括对于重建该片所必需的信息。 0122 片限期可依据片类型而可变地设置。 0123 图9示出根据本发明的发送单元的实施例。 0124 如图9所示，根据本发明的发送单元300包括分组发送器310，头部保护器320，和 ACK接收器330。 0125 当在预定重试限制内未成功发送分组时，分组发送器310进行重发，并当成功发 送分组时，分组发送器310发送下一分组。在一实施例中，重试默认限制是6。在本范例中， 分组仅仅能够承受最多6次重发(包括首次尝试在内总共7次重发)。 0126 即使当头部分组的重发次数超过预定重试限制时，头部保护器。
39、320仍执行控制， 以便在片限期内重复地发送头部分组。 0127 在一实施例中，头部保护器320当在超过重试限制之后丢弃头部分组时，将重发 的次数复位至原始值。然后，分组发送器310再次发送头部分组。 0128 ACK接收器330确定头部分组是否成功发送。 0129 分组限期计算单元400在发送片当中动态地计算分组限期，分组限期是每一个剩 余的非发送分组的发送时间限制。分组限期是通过将剩余时间除以重发变量来计算的，其 中剩余时间是从片限期中减去发送头部分组所用时间而得到的值，重发变量是利用分组的 重发次数计算而得的值。 0130 在一实施例中，分组限期D pkt 是通过如下表示的等式计算的： 。
40、0131 0132 其中t remaining 表示在等式10中定义的剩余时间，n pkt 表示片中包含的分组的数目， n over 表示超过重试限制的次数。 0133 重试限制计算单元500动态地设置重试限制，以便基于分组发送当中出现的重发 次数估计而得的预测分组延迟满足以下条件：作为每一分组的发送时间限制的 分组限期大于或等于该预测分组延迟。 0134 在一实施例中，所述预测分组延迟是通过如下表示的等式计算的： 0135 0136 其中T success 表示成功发送分组所用时间，EBO r 表示每次尝试的平均退避窗口大 小，表示其他站访问媒介的平均发送数，t slot 表示时隙间隔，r表。
41、示尝试重发的次 数，T collision 表示冲突期间浪费的时间，T DIFS 表示由802.11标准规定的媒介在重发之前必须 等待的空闲持续时间，T busy 表示由其他站访问媒介的时间。 0137 一种发送包括至少一个或多个片的帧的编码视频流发送方法，包括：在片限期内 以分组为单位发送片，所述片限期是发送片所要求的时间限制，发送单元相对于其他分组 优先发送包含片头部信息的头部分组，并且片头部包括对于恢复该片所必需的信息。以及 说 明 书CN 104427405 A 12 10/11页 13 当未成功发送分组时在预定重试限制内重发该分组，而当成功发送分组时发送下一可用分 组，其中分组的重发。
42、包括在片限期的时间约束之内，即使当头部分组的重发次数超过预定 重试限制时，仍重复地发送头部分组。 0138 图10示出根据本发明的发送编码视频流的方法的实施例。 0139 正如图10所示出的，在操作S1100中，首先，根据本发明的发送编码视频流的方法 包括在片限期内以分组为单位发送片，所述片限期是发送片所要求的时间限制，发送单元 相对于其他分组优先发送包含片头部信息的头部分组，片头部包括对于恢复该片所必需的 信息。 0140 接下来，本发明在操作S1230中确定重发次数是否超过重试限制。如果重发不超 过重试限制，则本发明在操作S1100中重发分组。如果重发次数超过重试限制，则本发明在 操作S1。
43、240中确定该分组是否为头部分组。 0141 如果该分组为头部分组，则本发明在操作S1250中将重发次数复位，并在操作 S1100中重发该头部分组。如果该分组不是头部分组，则本发明在操作S1300中丢弃该分 组，并发送下一可用分组。 0142 本发明动态地计算单独的分组限期，所述分组限期是片中在头部分组之后的所有 分组的发送时间限制。所述分组限期是通过从当前时间中除以剩余时间直到片限期为止来 计算的。这可以通过从片限期中减去发送头部分组所用时间来获得，如等式10所给出的， 并将该数量除以片中分组的数目。通过根据为片头部发送超过重试限制的每一实例计算而 丢弃最终的分组，将片中分组的数目调节至较低。
44、数目。 0143 在一实施例中，分组限期D pkt 是通过如下表示的等式计算的： 0144 0145 其中t remaining 表示剩余时间，n pkt 表示片中包含的分组的数目，n over 表示头部分组 超过重试限制的次数。 0146 本发明动态地复位重试限制，使得作为整个分组发送过程中得出的运行平均值的 预测分组延迟满足以下条件：作为每一分组的发送时间限制的分组限期大于或 等于所述预测的分组发送延迟。 0147 在一实施例中，所述预测分组延迟是通过如下表示的等式计算的： 0148 0149 其中T success 表示成功接收确认(ACK)并由此成功发送分组的最终尝试所用时间， EBO。
45、 r 表示每次尝试的平均退避窗口大小，表示其他站访问媒介的平均发送数， t slot 表示时隙间隔，r表示尝试重发的次数，T collision 表示冲突中浪费的时间，T DIFS 表示在重 发之前或者开始发送新分组之前媒介必须处于空闲的限定时间，T busy 表示其他站访问媒介 的时间。 0150 如上所述，本发明即使在超过预定重试限制之后，仍重复地发送头部分组，因此增 说 明 书CN 104427405 A 13 11/11页 14 加了成功发送片头部的概率。并且，除了对重试限制进行实时调整之外，本发明不需要对下 层的MAC层操作作出任何修改，从而可以被广泛地应用于现有的802.11网络中。
46、。 0151 此外，本发明在覆盖H.264编码视频的多种变型方面提供了很高的灵活性，从而 成为在无线视频流期间保持服务质量(QoS)的有吸引力的方案。 0152 对于本领域中普通技术人员来说很清楚的是，可以在不脱离本发明的精神或者范 围的情况下在本发明中作出各种修改和变动。因此，其意图是，本发明涵盖对于本发明的修 改和变动，只要这些修改和变动归入所附权利要求书及其等效物的范围之内。 说 明 书CN 104427405 A 14 1/8页 15 图1 说 明 书 附 图CN 104427405 A 15 2/8页 16 图2 说 明 书 附 图CN 104427405 A 16 3/8页 17 图3A 图3B 说 明 书 附 图CN 104427405 A 17 4/8页 18 图4 图5 说 明 书 附 图CN 104427405 A 18 5/8页 19 图6 说 明 书 附 图CN 104427405 A 19 6/8页 20 图7 说 明 书 附 图CN 104427405 A 20 7/8页 21 图8 图9 说 明 书 附 图CN 104427405 A 21 8/8页 22 图10 说 明 书 附 图CN 104427405 A 22 。