《用于同步内容播放的方法.pdf》由会员分享，可在线阅读，更多相关《用于同步内容播放的方法.pdf（15页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102714708 A (43)申请公布日 2012.10.03 C N 1 0 2 7 1 4 7 0 8 A *CN102714708A* (21)申请号 201080061719.6 (22)申请日 2010.02.12 H04N 5/928(2006.01) (71)申请人汤姆森特许公司 地址法国伊西莱穆利诺 (72)发明人陈剑峰 马小骏 (74)专利代理机构北京市柳沈律师事务所 11105 代理人吕晓章 (54) 发明名称 用于同步内容播放的方法 (57) 摘要 提供了一种在显示层级上向至少两个显示设 备提供同步内容播放的方法，其中，至少一个内容 流被提供到。
2、所述至少两个显示设备。该方法包括 步骤：从所述至少两个显示设备接收状态报告消 息，其中，所述状态报告消息包括关于在显示设备 的显示层级上的内容流的当前播放位置的信息； 以及基于所接收的状态报告消息如果确定在所述 两个或多个显示设备上播放的所述至少一个内容 流使得观看者感觉不同步，为所述至少一个内容 流执行调整从而消除用户的不同步的主观感觉。 (85)PCT申请进入国家阶段日 2012.07.18 (86)PCT申请的申请数据 PCT/CN2010/000201 2010.02.12 (87)PCT申请的公布数据 WO2011/097762 EN 2011.08.18 (51)Int.Cl. 权。
3、利要求书2页 说明书10页 附图2页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 10 页 附图 2 页 1/2页 2 1.一种在显示层级上向至少两个显示设备提供同步内容播放的方法，其中，至少一个 内容流被提供到所述至少两个显示设备，其特征在于，包括步骤： 从所述至少两个显示设备接收状态报告消息，其中，所述状态报告消息包括关于在显 示设备的显示层级上的内容流的当前播放位置的信息；以及 基于所接收的状态报告消息如果确定在所述两个或多个显示设备上播放的所述至少 一个内容流使得观看者感觉不同步，为所述至少一个内容流执行调整从而消除用户的不同 步的主观感觉。。
4、 2.如权利要求1所述的方法，其特征在于，所述两个显示设备周期性地发送状态报告 消息。 3.如权利要求1所述的方法，其特征在于，响应于指示所述至少两个显示设备发送状 态报告消息的请求消息，所述两个显示设备发送状态报告消息。 4.如权利要求1所述的方法，其特征在于，所述确定步骤进一步包括： 基于状态报告消息中的关于内容流的位置的信息来确定延迟差异；以及 如果确定延迟差异超过一个预定的阈值，则确定在所述两个或多个显示设备上正在播 放的所述至少一个内容流使得观看者感觉不同步。 5.如权利要求4所述的方法，其特征在于，包括延迟查询表，至少用于指示在所述至少 两个显示设备上播放的所述至少一个内容流间的延。
5、迟值、用于指示用户同步感觉的满意值 和内容流类型之间的关系，其中，使用如下的步骤来确定一个预定的阈值： 基于内容流来去诶的那个内容流类型；以及 确定对应于一个可以使观看者感觉同步的满意值的延迟值，其中，所述预定的阈值和 所确定的延迟值成比例。 6.如权利要求1所述的方法，其特征在于，可以使用如下的至少一种手段来执行调整： 调整内容流的传输数据速率；通过向所述至少两个显示设备中的至少一个发送指令来调整 缓存大小；以及通过向所述至少两个显示设备发送指令来调整播放速度。 7.如权利要求1至6任一权利要求所述的方法，其特征在于内容流的类型包括视频、音 频、flash和文本。 8.一种在两个设备上呈现内。
6、容的控制方法，其中第一内容呈现在第一设备，与第一内 容相同或相关联的内容呈现在第二设备，其特征在于，包括步骤： 如果确定所述第一内容和所述第二内容在显示层级上的呈现使得观看者主观感觉不 同步，对所述第一内容和/或所述第二内容执行调整，从而减少所述第一设备上的所述第 一内容和所述第二设备上的所述第二内容之间在显示层级上的时间差值。 9.如权利要求8所述的方法，其特征在于，包括 从所述第一设备和所述第二设备接收状态报告消息，其中，所述状态报告消息包括用 于确定所述第一设备的所述第一内容和所述第二设备的所述第二内容在显示层级上的时 间差值的信息。 10.如权利要求9所述的方法，其特征在于，每一个内容。
7、都对应于一种类型，不同的类 型对应于不同的最大可容忍时间延迟，所述方法进一步包括： 如果确定所述第一内容和所述第二内容的时间差值超过所述第一内容和所述第二内 容之间主要内容的类型对应的最大可容忍时间延迟，则确定所述第一设备的所述第一内容 权 利 要 求 书CN 102714708 A 2/2页 3 和所述第二设备的所述第二内容的呈现是不同步的。 权 利 要 求 书CN 102714708 A 1/10页 4 用于同步内容播放的方法 技术领域 0001 本发明涉及数据通信领域，尤其涉及一种用于同步内容播放的方法。 背景技术 0002 由于用户可以主动参与富媒体（Rich media）应用，其变得。
8、越来越流行。随着电 视网络和互联网的融合，这一趋势从电脑蔓延到了电视屏幕。富媒体应用在用户交互方面 享有盛名：观看者不仅可以同时观看多种类型的相关的媒体内容，例如视频、音频、图像、动 画、文本等等，而且能够自由地在多个设备之间切换或者转移媒体流。例如，当一辆汽车出 现在一个电影中的时候，用户可以获得关于该汽车的广告视频；在观看博物馆的视频的时 候同时获得该博物馆的虚拟世界内容。展望未来的电视节目，一个显示设备不能够为多个 同时的媒体呈现提供足够的显示空间。一般的做法是把电视屏幕分成多个呈现空间，或者 仅仅简单地在多个媒体呈现之中切换。一般而言，一个富媒体应用被一个富媒体播放器在 一个设备上执行。
9、，例如在机顶盒（STB）、平板电脑（tablet）或者其他类型的终端上的flash 播放器。当用户和一个媒体内容交互的时候，富媒体播放器能够解释该交互事件，以及基于 以富媒体格式定义的规则在另一个媒体上做出响应。如果在一个设备上呈现两个或多个媒 体内容，那么就容易把它们进行同步。用于单个设备的另一种同步方法是使用同步多媒体 集成语言（Synchronized Multimedia Integration Language，SMIL)。SMIL在移动多媒体 消息中被广泛使用。SMIL允许对多个独立的媒体对象的集合集成为一个同步的多媒体呈 现。通过使用SMIL，编辑者可以1）描述呈现在时间特性（t。
10、emporal behavior）；2）描述在 一个屏幕上呈现的布局；3）对媒体对象和超链接进行关联。但是在多个显示设备上同步一 个富媒体集合中多个相关的媒体内容的媒体流，上述的两个方法没有提供解决方案。 0003 存在着多个现有的方法用于在多个设备上进行媒体同步。 0004 第一种方法就是使用硬件时钟系统或者网络时间协议（Network Time Protocol， NTP）的全局时间同步。NTP提供了国际协调时间（CoordinatedUniversal Time，UTC）。NTPv4 通常在公共网络上在10毫秒（1/100秒）内维持计时，并且在理想状态下在局域网中能够实 现200微妙（1。
11、/5000秒）或者更好的精确度。虽然NTP协议能够保证精确的物理层上的同 步，但是它不能够反映在应用层上媒体播放的同步需求。为了把媒体播放时间轴和物理层 上的时间轴进行映射，终端需要经常查询系统时间，这样会增加终端的软件实现的负载和 复杂度。 0005 第二种方法被用于服务质量（Quality of Service，QoS）的保证，例如带宽的保 证或者时延的保证。当观看者同时观看多个显示设备的时候，允许一定量的时延。但是， 应该使用媒体传输QoS控制协议，如RTP控制协议（RTCP）协同实时传输协议（Real-time Transport Protocol，RTP）来保证和预测该时延。RTP携。
12、带有媒体数据流（例如音频和视 频），并且RTCP被用于监控传输统计和QoS信息。在RTCP协议中，周期性地发送报告数据 包来报告在一定的时间范围内发送的所有RTP数据包的传输和接收统计。该类型的协议能 够保证从一个发送器到多个接收器在数据包层级上的同步，但是其仍然不能保证最终呈现 说 明 书CN 102714708 A 2/10页 5 给观看者的播放同步，这是因为多个显示设备具有不同的数据包处理过程、缓冲控制、音频 /视频解码和播放器呈现。从观看者角度出发的最终的主观印象完全依赖于在设置设备屏 幕上显示的媒体帧。 0006 因此，为了不给予观看者一种在多个显示设备上不同步的印象，需要一种在显示。
13、 设备的内容呈现层级上的同步内容播放的方法。 发明内容 0007 根据本发明的一个方面，其提供了一种在显示层级上向至少两个显示设备提供同 步内容播放的方法，其中，至少一个内容流被提供到所述至少两个显示设备。该方法包括步 骤：从所述至少两个显示设备接收状态报告消息，其中，所述状态报告消息包括关于在显示 设备的显示层级上的内容流的当前播放位置的信息；以及基于所接收的状态报告消息如果 确定在所述两个或多个显示设备上播放的所述至少一个内容流使得观看者感觉不同步，为 所述至少一个内容流执行调整从而消除用户的不同步的主观感觉。 0008 根据本发明的另一个方面，其提供了一种在两个设备上呈现内容的控制方法，。
14、其 中第一内容呈现在第一设备，与第一内容相同或相关联的内容呈现在第二设备。该方法包 括步骤：如果确定所述第一内容和所述第二内容在显示层级上的呈现使得观看者主观感觉 不同步，对所述第一内容和/或所述第二内容执行调整，从而减少所述第一设备上的所述 第一内容和所述第二设备上的所述第二内容之间在显示层级上的时间差值。 0009 根据本发明的方面，其解决了显示层级上的同步问题，消除了观看者的不同步的 主观感觉，从而为观看者提供了可接受的QoE。 0010 应该了解，在如下的本发明的具体描述中可以找到本发明的更多的方面和带来的 好处。 附图说明 0011 说明书及其附图描述了本发明的实施例，用于解释本发明。
15、的原理。因此，本发明不 应该局限于这些实施例。在附图中： 0012 图1示出了根据本发明的实施例的用于内容分发的系统； 0013 图2示出了根据实施例在网关一侧的用于媒体内容分发的方法； 0014 图3的流程图示出了根据实施例的图2中的步骤204的具体步骤的一个实例； 0015 图4示出了根据实施例的Sync-QoE和延迟差异映射样例。 具体实施方式 0016 如下将结合着附图来描述本发明的实施例。在如下的描述中，为了清楚和简洁起 见，一些公知的功能和配置可能会被省略。 0017 根据本发明的原理，其致力于解决如下的问题：在两个或多个显示设备上播放多 个媒体内容使得观看者感觉不同步。根据发明人。
16、的研究和调查，观看者对于同步或者不同 步的主观感觉随着在两个或多个显示设备上呈现的多个媒体内容之间的延迟时间和媒体 内容的视觉类型（visual rhythm）的不同而不同。在这里，媒体内容的视觉类型的具体例 子包括：足球比赛/电影预告片（这是快速类型内容），演播室内播音员播出的新闻节目（这 说 明 书CN 102714708 A 3/10页 6 是慢速类型内容）等等。如下的描述中可以找到关于视觉类型更具体的描述。 0018 因此，本发明的原理通过把在两个或多个显示设备上呈现的视频（或者其他类型 的多媒体）之间的在呈现层级上的时间延迟维持在最大可容忍时间延迟之下来解决该问 题。应当了解，1）当。
17、实际的时间延迟超出了一种视觉类型的视频的最大可容忍时间延迟， 观看者通常会基于其主观的感觉觉得不同步，从而停止观看；2）可以通过统计的方法来获 得最大可容忍时间延迟，例如，向一组观看者收集反馈/调查表；以及3）最大可容忍时间 延迟随着视频的视觉类型的不同而不同，例如，快速变化的视频（例如足球比赛）的最大可 容忍时间延迟要比慢速变化的视频（例如新闻报道）的最大可容忍时间延迟要小。此外，最 大可容忍时间延迟可以根据视觉类型和其他因素（例如视角类型，关联指数）的组合来进行 分类。关于视角类型（view type）和关联指数（relationship exponen t）的描述可以在如 下的段落中找到。
18、。可以通过如下的方式来获得实际的时间延迟：首先对显示设备进行配置 /请求，从而让其报告它们当前的视频帧编号或视频的当前时间位置，然后再基于显示设备 的报告消息来计算实际的时间延迟。当实际的时间延迟超过对应于视觉类型或者视觉类型 和其他因素的组合的最大可容忍时间延迟的时候，通过调整到显示设备的传输数据速率和 显示设备的缓存大小来执行调整，从而使得实际的时间延迟低于最大可容忍时间延迟。本 领域的普通技术人员应该了解也可以使用其他的调整手段，例如跳过一定量的视频帧从而 减少在呈现或者显示层级上的实际的时间延迟。进一步地，应该了解，在网关上的所有的用 于同步内容分发的控制功能，例如处理报告消息，计算实。
19、际的时间延迟，指示网关调整传输 数据速率以及指示显示设备来调整缓存大小，都可以从网关转移到一个连接到网络的独立 的控制设备或者其他连接到网络的设备上。因此，通过使用如上的调整机制来动态地调整 网关的传输速率以及显示设备的缓冲大小和/或呈现速度，获得关于媒体同步的可以接受 的体验质量（quality of experience，QoE）。 0019 A.预先准备延迟查询表，该延迟查询表指示了平均意见得分（mean option scores，MOS）、时间延迟和视觉类型之间的关系。应该了解，还可以把其他的因素加入该关 系中，例如，视角类型和关联指数。具体描述如下： 0020 ITU-T中，QoE。
20、表示终端用户主观上对一个应用服务的总体接受度。据我所知，还 不存在在两个屏幕上用于相关内容的媒体同步的QoE估计系统。使用双屏或者两个显示设 备同时显示媒体流给足够多的观看者，用于获得主观上的统计基准值。MOS可以作为合适的 索引，其通过使用可控观看实验和观看者使用评分等级来对观看质量进行打分。Sync-QoE 是在多个屏幕上显示的内容的同步判断。在如下的例子中仅仅是用两个屏幕，一个距离测 试者很近，有10英寸，而另一个是距离有30英寸的电视屏幕（本领域的普通技术人员应该 了解，如下的统计方法可以应用到多于两个屏幕的环境）。内容同步是从心理感觉角度评分 的主要因素，其他视觉效应类型可以不考虑。。
21、如下的分数定义表示出了每一个级别评价的 估计规则。 0021 分数 值 定义 5 很好 非常好的同步 说 明 书CN 102714708 A 4/10页 7 4 好 细微的不同步，无关痛痒 3 一般 一点不同步，但仍可以接受 2 不好 可检测的明显的不同步 1 差 不可以接受 0022 表1:分数定义表 0023 在对一组观看者测试完毕并收集他们的反馈之后，可以确定一组基准值。如下示 出了视角类型是单视角的视频的统计结果表的一个示例： 0024 延迟(ms) 快速 中速 慢速 100 4.46 4.34 4.56 200 3.94 4.32 4.12 300 3.56 4.37 4.14 50。
22、0 2.98 3.68 3.36 700 2.60 3.29 3.20 0025 表2：统计结果表 0026 该表示出了在两个显示设备上呈现的视角类型为单视角的两个视频之间的不同 延迟的平均分数。根据分数定义表，当快速视频之间的延迟超过500ms的时候，观看者会感 觉不同步。 0027 如下描述视角类型的集合和视觉类型的集合。但是，应该了解，本领域的普通技术 人员可以在不违背本发明的原理的前提下根据其具体实现的需要来设计出他自己的视角 类型集合和视觉类型集合。 0028 视角类型指示了在内容创作的过程中摄像机的位置。在本示例中，视角类型包括 单视角类型（one view）、双视角类型(dual。
23、 view)和多视角类型(multiple view)。单视 角类型意味着从相同的摄像点来捕获的内容，或者是相同的内容被用于显示在多个显示设 备上。双视角类型意味着两个摄像机被放置在左右位置、上下位置或者其他不同角度的位 置。多视角类型意味着为内容捕获放置了多个摄像机，并且他们之间没有固定的角度或者 镜头关系。 0029 在本示例中，视觉类型集合包括快速、中速和慢速，其放映了在一定的时间间隔 内内容变化或变换的主观感觉。为了更好的了解本发明的原理，给出了用于确定视觉类 型的一个示例方法，但是，其不应该用于局限本发明。很多参数可以被用来指示视频的视 觉类型，例如连续视频帧之间的像素变化或者宏块变。
24、化。本示例使用YUV格式中视频序 列的运动模式（motion vector，MV）变化。YUV模型使用一个亮度（luma，Y）和两个色度 说 明 书CN 102714708 A 5/10页 8 （chrominance UV）分量来定义色彩空间。YUV模型被用于NTSC、PAL以及SECAM合成颜色 视频标准。因为原始视频文件在网络传输或者存储之前会被编码和压缩，数据包封装格式 可以是MPEG、AVI、RM等等。在文件头中存储帧速率（一秒中显示多少个帧）和帧大小（长和 宽各具有多少个像素）。在如下的计算中，1个宏块（macro block，MB）=16像素16像素。 因此，如果视频的帧大小市3。
25、52288，那么每一个数据帧有396个MB。 0030 /iFrameNum是帧计数，currMbNum是MB计数 0031 Total_FrameNum=frame rate*video duration; 0032 Total_MbNum=Frame size/pixels in one Macroblock; 0033 MvX=pMetaData-frame_arrayiFrameNum.mb_arraycurrMbNum.MV00; 0034 MvY=pMetaData-frame_arrayiFrameNum.mb_arraycurrMbNum.MV01; 0035 /MvX is 。
26、the Mv value in X axis,considering 2D video 0036 /MvY is the Mv value in Y axis,considering 2D video 0037 mv_maq=sqrt(MvX*MvX+MvY*MvY); 0038 0039 Mv_per_frame=Sum_Mv/Total_FrameNum; 0040 Mv_per_Macroblock=Mv_per_frame/Total_MbNum 0041 根据从媒体内容中计算出来的Mv_per_Macroblock，媒体内容的视觉类型可以基 于Mv_per_Macroblock和视觉。
27、类型的对应表来确定。如下是一个用于帧大小市352288 的YUV格式视频的对应表 0042 Mv_per_Macroblock 视觉类型 01 慢速 16 中速 6+ 快速 0043 表3:视觉类型的对应表 0044 但是，本领域的普通技术人员应该了解基于不同的视线（例如使用其他视频格式 等等）可以获得不同的Mv_per_Macroblock和视觉类型的对应表。 0045 如下示出了一个延迟查询表（未完整示出）的示例，在根据本实施例的用于内容分 发的方法的描述中会使用该表。在这里，增加了一个叫做关联指数的因素。关联指数集合 包括紧密类型（tight type）和松散类型（loose type）。
28、。紧密类型意味着显示在两个或多 个显示设备上的视频紧密的关联于一个物体，例如同一个视频或者从不同的角度使用摄像 机拍摄的同一个场景或物体。松散类型表示其余的情况。 0046 说 明 书CN 102714708 A 6/10页 9 0047 表4:延迟查询表 0048 B.如下描述在呈现层级上用于同步内容分发的方法。 0049 图1示出了根据本发明的实施例的用于内容分发的系统。该实施例被设置于家庭 环境。本领域的普通技术人员应该了解本发明不应局限于该实施例。位于家庭环境的该系 统包括家庭网关和两个或多个终端（即显示设备），命名从终端1到终端N。网关被用于把媒 体内容的数据流分发到终端，以及为了尽。
29、可能避免使得观看者感觉不同步基于终端发送的 状态报告来执行调整。终端用于显示接收的媒体内容，发送状态报告到网关，以及执行网关 发送的QoE命令。 0050 图2示出根据本发明的实施例在包括两个终端的系统中的网关一侧用于媒体内 容分发的方法。 0051 在步骤201，网关从两个终端接收状态报告消息。状态报告消息包括关于空闲缓存 长度、内容播放状态（播发、暂停、停止等等）、数据包接收状态等等的信息。本领域的普通技 术人员能够在其实现本发明原理的具体实现中向状态报告消息增加或移除一个或多条消 息。如下给出了状态报告消息的数据结构的一个示例。如上所述，该状态报告消息仅仅是 一个示例，本领域的普通技术人。
30、员还能够设计出其他的数据结构。 0052 说 明 书CN 102714708 A 7/10页 10 0053 表5:状态报告消息 0054 在这里，两个终端可以周期性地同时地发送状态报告消息，例如从同一个时间点 开始并且每10秒发送一次状态报告消息；或者响应于网关发送的请求消息而发送状态报 告消息。状态报告消息中的位置数据域被用于计算具有相同会话ID的媒体内容的延迟差 异。终端能够检测获得当前在其上显示的播放位置，以及把检测的位置填写在状态报告消 息的位置数据域中。 0055 在步骤202，网关基于接收的状态报告消息来确定延迟差异。在该示例中，相关的 视频使用同一个会话ID（Session I。
31、D）。延迟差异是两个状态报告消息中位置数据域中的 值的差值。 0056 在步骤203，网关确定延迟差异是否超过预定的阈值。如果没超过，网关不做任何 额外操作。否则，转向步骤204。该阈值（或者叫做最大可容忍时间延迟）随着视觉类型或 者视觉类型和其他因素的组合（如上所述，该组合包括视觉类型、视角类型和关联指数）的 不同而不同。该阈值可以是一个对应于延迟查询表中可接受MOS（即=3）的时间延迟。此 外，其也可以与对应于延迟查询表中可接受MOS的时间延迟成比例。网关可以通过查询延 迟查询表来自动地为接收的视频确定阈值。 0057 在步骤204，网络为了消除用户的不同步的感觉在终端的显示层级上执行调整。
32、。例 如，可以通过如下的方式来执行调整：网关调整到终端的传输数据速率；发送命令给终端 来改变缓存大小和/或终端的呈现速度。在这里，可以通过控制网关的缓冲来实现视频的 传输数据速率的调整。具体而言，本步骤可以进一步细分为图3所示的如下步骤。 0058 在步骤301，网关确定媒体内容的视觉类型、视角类型和关联指数。如上所述，网关 分发的媒体内容可以时同一个运动赛事的两个或多个视角的视频，或者是电影及其广告。 应该了解，媒体内容可以包括视频、音频、flash、文本等等的其他类型的组合。在视频是两 个或多个视角的视频的情况下，可以基于任一的视频进行确定视觉类型。在视频是电影及 说 明 书CN 1027。
33、14708 A 10 8/10页 11 其广告的情况下，可以基于主要的内容（即电影）进行确定视觉类型。也可以在媒体内容中 加入关于视角类型和关联指数的信息，从而能够被网关获得。还可以由网关向内容服务器 查询获得该信息。 0059 在步骤302，网关使用视觉类型、视角类型和关联指数来查询延迟查询表来获得可 接收QoE的上限值和好的QoE的下限值。 0060 在步骤303，网关通过发送命令给终端来调整传输数据速率和调整终端的缓存大 小。一般而言，如果延迟差异不大我们会调整终端的缓存大小。如果延迟差异大于开发者 定义的阈值，那么他可以使用播放速度命令来使得终端以1.5倍速、2倍速等等进行快进。 此外。
34、，他还可以给一个终端指令，使其跳过一些视频帧。如下提供命令的数据结构和内容同 步的算法，其包括了很多细节信息。 0061 项目 值 备注 Message name QoE Command 消息类型 Source Gateway 源设备 Destination STB 目的设备 Session ID Storybook Media Type MPEG4 Video 媒体流类型 Media ID http:/192.168.1.4/Hello.mp4 媒体流ID Buffer +100 增加缓存长度100KB Speed 1 当前视频的播放速度 Action Play 播放器的播放命令 0062 。
35、表6:QoE命令消息 0063 应该了解，步骤301到303指示本发明实施例的一种可能的实现。本领域的普通 技术人员可以使用具有不同数据域的数据表以及相应地改变步骤。例如延迟查询表把视角 类型和关联指数的数据域给移除，相应地，网关则不需要在步骤301中确定视角类型和关 联指数。 0064 C.算法描述 0065 根据双屏的QoE测试，我们定义 f , n , s ，分别作为快速、中速和慢速变化的视 觉类型内容的阈值。图4示出了Sync-QoE和延迟差异映射的样例。假设 f , n , s 是可 说 明 书CN 102714708 A 11 9/10页 12 接受的QoE的上限值， f , n 。
36、, s 是好的QoE的下限值。的值与的值成比例，我们定 义p*，0p1。在和的间隔之中，为缓和的调整使用轻微的速率控制；在和 的间隔之中，为急剧的调整使用剧烈的速率控制，这是因为延迟差异很接近上限值。t |t i -t j |是在终端i和j之间的当前的延迟差异。我们假设t i t j ，我们使用如下的公 式来获得到i和j的传输数据速率(r i ,r j )以及在i和j之中的缓存调整(b i ,b j )。 0066 0067 0068 b i =r i *T req ,b j =r j *T req (3) 0069 在这里，T req 是“状态请求”查询周期的时间间隔，它的频率也由延迟差异的。
37、值t 决定。如果小于，可以设置频率为每几秒一次；如果t处于和之间，频率可以设 置微一秒一次；如果t大于，应该把频率设置为微妙级别，从而能够快速的监测播放状 态。 0070 由于很多屏幕会分算人的注意力，在如上的描述中我们仅仅考虑两个屏幕，但是 这种调整机制可以延伸到多个屏幕的应用。当在一次查询之后获得所有的状态报告，执行 整理过程来确定和并且如下以伪码的形式示出了具体的算法。 0071 开始 0072 初始化边界值 f , n , s 和 f , n , s 0073 确定阈值 f , n , s 0074 设置T teq 0075 /调整 0076 向所有的终端发送状态请求消息； 0077 。
38、对于每一轮安排/由请求周期确定 0078 等待来自终端的状态报告； 0079 计算每一个延迟值 0080 整理延迟值，确定 0081 计算延迟差异 0082 分析当前的视觉类型vr=fast/normal/slow； 0083 如果(t vr )在几秒为单位的级别上调整T req 说 明 书CN 102714708 A 12 10/10页 13 0084 如果( vr t vr )在一秒为单位的级别上调整 0085 T req 0086 否则，在微妙的级别上调整T req ； 0087 结束 0088 计算r i ,r j ,b i ,b j /基于如上公式计算 0089 根据r i ,r j。
39、 调整网关的传输速率 0090 向终端发送包括b i ,b j 的QoE命令； 0091 向所有的终端发送状态请求消息； 0092 结束 0093 结束 0094 有的时候，因为视频服务器和网关之间的网络连接质量差，显示设备上的视频会 不同步。因此，为了要解决这个问题，可以在网关处增加缓存，从而能够缓存更多的数据，相 应地就有足够的数据发送给终端。 0095 虽然上述实施例描述是在视频之间描述的，本发明的原理还可以应用于其他会引 起观看者感觉不同步的环境，例如视频和音频，视频和字幕等等。 0096 根据本发明的一个变形，可以使用其他的内容分发设备来替代网关，例如带有如 上功能的路由器。 0097 如上描述了一些实施例。但是，应该了解可以做出一些改变。例如，不同实施例的 元素可以组合、增加、修改和移除从而获得新的实现。此外，本领域的普通技术人员应该了 解，本申请披露的或者最终的实现特征可以由其他的结构和过程替代，这些结构和过程至 少具有相同的功能，以至少相同的方式达到了至少相同的实现效果。相应地，这些和其他的 实现应该属于本发明的范围。 说 明 书CN 102714708 A 13 1/2页 14 图1 图2 说 明 书 附 图CN 102714708 A 14 2/2页 15 图3 图4 说 明 书 附 图CN 102714708 A 15 。