《用于同步交互标记与流传输内容的设备和方法.pdf》由会员分享，可在线阅读，更多相关《用于同步交互标记与流传输内容的设备和方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102037728 A (43)申请公布日 2011.04.27 CN 102037728 A *CN102037728A* (21)申请号 200980117934.0 (22)申请日 2009.05.14 08305178.9 2008.05.19 EP H04N 7/24(2006.01) G11B 27/30(2006.01) (71)申请人 汤姆森许可贸易公司 地址 法国伊西莱穆利诺 (72)发明人 伊冯 勒加卢瓦 斯蒂芬妮 古阿什 纪尧姆比绍 安东尼洛朗 (74)专利代理机构 中科专利商标代理有限责任 公司 11021 代理人 杨静 (54)发明名称 用 。
2、于 同 步 交 互 标 记 与 流 传 输 内 容 的 设 备 和 方 法 (57)摘要 本 发 明 涉 及 一 种 用 于 将 交 互 标 记 插 入 流 传 输 内 容 的 设 备 和 方 法， 所 述 方 法 包 括 以 下 步 骤 ： 接 收 (S1) 第 一 格 式 的 流 传 输 内 容 ； 接 收 (S2) 第 二 格 式 的 相 同 流 传 输 内 容 ； 接 收 (S3) 与 第 一 格 式 的 所 述 内 容 的 第 一 帧 相 对 应 的 交 互 标 记 ； 以 及 与 以 第 二 格 式 接 收 到 的 内 容 的 第 二 帧 同 步 地 发 送 (S5) 所述交互标记。
3、。 所述第二帧中的内容与所述 第一帧中的内容相对应。 (30)优先权数据 (85)PCT申请进入国家阶段日2010.11.17 (86)PCT申请的申请数据PCT/EP2009/055880 2009.05.14 (87)PCT申请的公布数据WO2009/141271 EN 2009.11.26 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 6 页 附图 4 页CN 102037731 A 1/1 页 2 1. 一种在标记插入设备(3) 处用于将交互标记插入流传输内容的方法， 所述方法包括 在所述设备处执行的以下步骤 ： - 从。
4、第一源设备(1) 接收(S1) 第一格式的流传输内容 ； - 从第二设备(2) 接收(S2) 第二格式的所述流传输内容 ； - 从第三设备(4) 接收(S3) 与第一格式的所述内容的第一帧相对应的交互标记 ； 以及 - 与以第二格式接收到的内容的第二帧同步地发送(S5) 所述交互标记， 所述第二帧中 的内容与所述第一帧中的内容相对应。 2. 根 据 前 述 权 利 要 求 所 述 的 方 法， 其 特 征 在 于， 所 述 方 法 包 括 步 骤 ： 计 算 接 收 第 一 格 式 的 流 传 输 内 容 的 第 一 帧 与 接 收 第 二 格 式 的 流 传 输 内 容 的 第 二 帧 之 。
5、间 的 延 迟， 所 述 第 二 帧 中的内容与所述第一帧中的内容相对应。 3. 根 据 前 述 权 利 要 求 所 述 的 方 法， 其 特 征 在 于， 计 算 步 骤 在 所 述 第 一 和 第 二 内 容 的 接 收的开始处执行一次， 或者重复执行。 4. 根 据 前 述 权 利 要 求 中 任 一 项 所 述 的 方 法， 其 特 征 在 于， 所 述 交 互 标 记 被 附 加 至 所 述 第二帧。 5. 根 据 前 述 权 利 要 求 中 任 一 项 所 述 的 方 法， 其 特 征 在 于， 在 与 所 述 第 二 帧 不 同 的 分 组 中发送所述交互标记。 6. 根据前述权。
6、利要求中任一项所述的方法， 其特征在于， 所述第一格式是未压缩格式， 所述第二格式是压缩格式。 7. 根据前述权利要求中任一项所述的方法， 其特征在于， 所述内容是视频内容。 8. 根据权利要求6 或7 所述的方法， 其特征在于， 所述压缩内容包括 ： RTP 时间戳， 并且 所述交互标记与所述RTP 时间戳同步。 9. 一种设备(3)， 包括 ： 通信装置(31)， 用于从第一设备(1) 接收第一格式的流传输内 容， 从 第 二 设 备 (2) 接 收 第 二 格 式 的 所 述 流 传 输 内 容， 以 及 发 送 第 三 格 式 的 所 述 流 传 输 内 容 ； 以 及 标 记 装 置。
7、 (34)， 用 于 在 从 第 三 设 备 (4) 接 收 与 第 一 格 式 的 所 述 内 容 的 第 一 帧 相 对 应 的 交 互 标 记 时， 与 以 第 二 格 式 接 收 到 的 内 容 的 第 二 帧 同 步 地 发 送 所 述 交 互 标 记， 所 述 第 二帧中的内容与所述第一帧中的内容相对应。 10. 根 据 前 述 权 利 要 求 所 述 的 设 备， 其 特 征 在 于， 所 述 设 备 包 括 ： 校 准 装 置 (343)， 用 于 计 算 接 收 第 一 格 式 的 流 传 输 内 容 的 第 一 帧 与 接 收 第 二 格 式 的 流 传 输 内 容 的 第。
8、 二 帧 之 间 的 延迟， 所述第二帧中的内容与所述第一帧中的内容相对应。 11. 根据权利要求9 或10 所述的设备， 其特征在于， 所述第一格式是未压缩格式， 所述 第二格式是压缩格式。 12. 一 种 计 算 机 程 序 产 品， 包 括 ： 程 序 代 码 指 令， 当 所 述 程 序 在 计 算 机 上 执 行 时 执 行 根 据权利要求1 至8 所述的方法的步骤。 权 利 要 求 书 CN 102037728 ACN 102037731 A 1/6 页 3 用于同步交互标记与流传输内容的设备和方法 技术领域 0001 本发明总体上涉及流传输内容， 具体涉及与流传输内容同步地传送交。
9、互标记。 背景技术 0002 本 部 分 旨 在 向 读 者 介 绍 所 描 述 的 和 / 或 权 利 要 求 中 要 求 保 护 的 本 发 明 的 各 方 面。 相 信 这 些 讨 论 有 助 于 为 读 者 提 供 背 景 信 息 以 便 于 更 好 地 理 解 本 发 明 的 各 方 面。 因 此， 应 理 解， 这些陈述应在此范围内阅读， 而不是作为对现有技术的认可。 0003 交 互 服 务 机 制 提 供 视 频 节 目 和 可 以 与 用 户 交 互 的 应 用 之 间 的 同 步， 以 便 向 用 户 提 供 附 加 或 交 互 服 务。 交 互 服 务 的 示 例 是 投。
10、 票 应 用、 交 互 游 戏、 获 得 与 产 品 有 关 的 信 息、 产 品 订 购。 视 频 节 目 可 以 是 现 场 直 播， 从 摄 像 机 流 传 输 出 至 广 播 装 置， 并 且 最 终 到 达 终 端， 或 者 是 预 先 记 录 的 并 且 从 服 务 器 流 传 输 至 终 端。 在 终 端 中 视 频 节 目 也 可 以 从 文 件 进 行 本 地 播 放。 交 互 服 务 需 要 与 视 频 节 目 同 步。 对 同 步 信 息 进 行 管 理、 从 网 络 侧 发 送， 以 及 由 终 端 获 取该同 步信息。 这允许获知何时激活关联的交互应用或被称作交互对象。
11、的交互应用的一部 分。 0004 交 互 对 象 是 与 被 称 作 小 应 用 程 序 或 脚 本 的 实 例 有 关 的 软 件 ( 可 由 处 理 器 执 行 或 可 由 虚 拟 机 解 译 )， 该 软 件 使 用 人 机 界 面 向 终 端 的 用 户 提 供 与 该 用 户 当 前 观 看 的 视 频 节 目 交互的能力。 0005 在 视 频 分 发 系 统 中， 通 常 使 用 端 到 端 解 决 方 案， 通 过 广 播 装 置 将 交 互 内 容 从 内 容 供应商直至传输到终端。内容供应商和广播装置有时仅形成一个实体。 0006 来 自 Thomson Licensing。
12、 的 欧 洲 专 利 申 请 07300769.2 描 述 了 使 用 RTP 时 间 戳 同 步标记形式下的交互内容的传输。 0007 不必在视频编码器处执行交互内容的插入。 那么交互内容与视频编码器的输出处 的视频内容不精确同步。 发明内容 0008 本发明尝试修改与现有技术中的同步有关的至少一些方面。 0009 为 此， 本 发 明 涉 及 一 种 用 于 将 交 互 标 记 插 入 流 传 输 内 容 的 方 法， 所 述 方 法 包 括 以 下 步 骤 ： 接 收 第 一 形 式 的 流 传 输 内 容 ； 接 收 第 二 形 式 的 相 同 流 传 输 内 容 ； 接 收 与 第 。
13、一 形 式 的 内 容 的 第 一 帧 相 对 应 的 交 互 标 记 ； 以 及 与 以 第 二 形 式 接 收 到 的 内 容 的 第 二 帧 同 步 地 发 送 交互标记。第二帧中的内容与第一帧中的内容相对应。 0010 根 据 实 施 例， 所 述 方 法 包 括 以 下 步 骤 ： 计 算 接 收 第 一 形 式 的 流 传 输 内 容 的 第 一 帧 与 接 收 第 二 形 式 的 流 传 输 内 容 的 第 二 帧 之 间 的 延 迟， 第 二 帧 中 的 内 容 与 第 一 帧 中 的 内 容 相 对应。 0011 根 据 实 施 例， 计 算 步 骤 在 第 一 和 第 二 。
14、内 容 的 接 收 的 开 始 处 执 行 一 次， 或 者 重 复 执 行。 0012 根据实施例， 交互标记附加至第二帧。 说 明 书 CN 102037728 ACN 102037731 A 2/6 页 4 0013 根据实施例， 在与第二帧不同的分组中发送交互标记。 0014 根据实施例， 第一形式是未压缩形式， 第二形式是压缩形式。 0015 根据实施例， 所述内容是视频内容。 0016 根据实施例， 压缩内容包括 ： RTP 时间戳， 并且交互标记与RTP 时间戳同步。 0017 本 发 明 的 另 一 目 的 是 一 种 设 备， 包 括 ： 通 信 装 置， 用 于 接 收 第。
15、 一 形 式 的 流 传 输 内 容， 接 收 第 二 形 式 的 流 传 输 内 容， 以 及 发 送 第 三 形 式 的 流 传 输 内 容 ； 以 及 标 记 装 置， 用 于 在 接 收 与 第 一 形 式 的 内 容 的 第 一 帧 相 对 应 的 交 互 标 记 时， 与 接 收 到 的 第 二 形 式 的 内 容 的 第 二 帧同步地发送交互标记， 第二帧中的内容与第一帧中的内容相对应。 0018 根 据 实 施 例， 所 述 设 备 包 括 ： 校 准 装 置， 用 于 计 算 接 收 第 一 形 式 的 流 传 输 内 容 的 第 一 帧 与 接 收 第 二 形 式 的 流 。
16、传 输 内 容 的 第 二 帧 之 间 的 延 迟， 第 二 帧 中 的 内 容 与 第 一 帧 中 的 内 容相对应。 0019 根据实施例 ， 第一形式是未压缩形式， 第二形式是压缩形式。 0020 本 发 明 的 另 一 方 面 是 一 种 计 算 机 程 序 产 品， 包 括 ： 程 序 代 码 指 令， 在 该 程 序 在 计 算 机上执行时执行根据本发明的方法的步骤。通过“ 计算机程序产品” ， 这意味着计算机程序 载体， 不仅可以是包含程序的存储空间( 例如， 磁盘或盒式磁带)， 也可以是信号( 例如电或 光信号)。 0021 以 下 阐 述 了 在 范 围 上 与 所 公 开 。
17、的 实 施 例 相 当 的 特 定 方 面。 应 当 理 解， 提 出 这 些 方 面 仅 向 读 者 提 供 本 发 明 可 能 采 用 的 特 定 形 式 的 简 要 概 述， 并 且 这 些 方 面 并 不 意 在 限 制 本 发 明的范围。实际上， 本发明可以涵盖以下没有阐述的各个方面。 附图说明 0022 参 照 附 图， 可 以 通 过 以 下 实 施 例 和 执 行 示 例 但 并 非 限 制 性 的， 更 好 地 理 解 和 示 意 本发明， 在附图中 ： 0023 图 1 是符合实施例的系统的框图 ； 0024 图 2 是符合实施例的对象的框图 ； 0025 图 3 是符合实。
18、施例的模块的框图 ； 以及 0026 图 4 是示出了根据实施 例的标记插入方法的流程图。 0027 在图1 至3 中， 所呈现的模块是纯功能实体， 不必与物理上分离的实体相对应。 即， 这些模块可以以硬件或软件的形式开发， 或者在一个或若干集成电路中实现。 具体实施方式 0028 示 例 实 施 例 在 具 有 RTP 的 压 缩 视 频 的 传 送 的 框 架 的 范 围 内， 但 是 本 发 明 不 限 于 该 特 定 实 施 例， 并 且 可 以 在 其 他 框 架 中 应 用， 在 其 他 框 架 中， 以 未 压 缩 和 压 缩 方 式 连 续 地 传 送 流传输内容。 0029 。
19、在 图 1 中 示 出 了 根 据 实 施 例 的 系 统。 仅 示 出 了 一 个 终 端， 但 显 而 易 见 的 是， 系 统 中 可 以 有 多 于 一 个 终 端。 视 频 源 1 是 服 务 器 或 任 何 其 他 视 频 节 目 源。 视 频 源 1 将 视 频 节 目 广 播 成 未 压 缩 格 式。 视 频 节 目 由 视 频 编 码 器 2 和 标 记 插 入 设 备 3( 在 下 文 中 用 MID 表 示 ) 接 收。 视 频 节 目 包 括 音 频 - 视 频 内 容， 并 且 可 以 包 括 诸 如 电 视 文 本 广 播 或 限 定 标 题 (closedcapt。
20、ion) 之类的交互内容。 说 明 书 CN 102037728 ACN 102037731 A 3/6 页 5 0030 视 频 编 码 器 2 将 未 压 缩 视 频 压 缩 成 压 缩 流， 然 后 使 用 RTP/RTCP 发 送。 例 如， 根 据 UIT-T H.264 标准对视频进行编码。 然后通过IP 网络5 将RTP 流传递至终端6。IP 网络可 以是支持组播传输的任何IP 网络， 例如互联网。 0031 MID 还 从 编 码 器 接 收 压 缩 流 传 输 内 容。MID 适 于 将 标 记 插 入 到 节 目 中。 交 互 控 制 器 4 适 于 向 MID 提 供 交。
21、 互 标 记， 以 在 适 当 的 时 候 插 入 到 内 容 中。 交 互 控 制 器 包 括 允 许 操 作 人员观看所广播的视频节目的监视器。 在交互控制处的创作工具提供预先产生交互序列并 且 将 这 些 交 互 序 列 传 递 至 MID 的 装 置，MID 然 后 将 这 些 交 互 序 列 通 过 专 用 信 道 或 按 照 被 嵌 入 到 关 联 的 媒 体 流 中 的 方 式 转 发 至 终 端。 当 然， 交 互 控 制 器 和 MID 可 以 配 置 在 相 同 的 设 备 中。 0032 例 如， 当 在 足 球 比 赛 期 间 标 记 进 球 时， 通 过 按 压 按 。
22、钮， 操 作 人 员 发 起 标 记 的 产 生， 以 指 示 终 端 执 行 预 加 载 的 应 用。 该 应 用 例 如 可 以 是 对 足 球 比 赛 的 最 佳 球 员 进 行 投 票 的 邀 请。MID 将所涉及的对象视为条目来激活， 例如URI 或终端容易解译的标识符。 然后终端将 该标记用作使能符， 以便在特定时间根据视频呈现发起动作。 0033 可 以 使 用 首 部 扩 展 将 标 记 嵌 入 到 视 频 RTP 分 组 中， 或 者 标 记 可 以 是 自 身 在 专 用 标 记流上发送且与视频流同步的RTP 分组。 视频的呈现时间基于RTP 时间戳。 该RTP 时间戳 指。
23、示在RTP 首部扩展使用的情况下将标记插入在视频流RTP 分组中的何处， 以进行标记。 如 果 在 分 离 的 标 记 流 中 发 送 标 记， 则 将 该 视 频 RTP 时 间 戳 转 译 成 绝 对 时 间， 以 利 用 与 该 绝 对 时间相对应的正确时间戳在正确时间产生对应的标记流RTP 分组。 进行将视频RTP 时间戳 转译成绝对时间是依据从视频编码器接收到的RTCP 发送方报告。 0034 在图2 中示出了MID 3。MID 3 包括处理模块32、 通信模块31、 存储模块33 以及 标记模块34。 内部总线36 适于连接这些模块， 以 实现它们之间控制和数据分组以及信号的 传输。
24、。 通信模块31 包括用于从视频源和视频编码器接收视频数据的装置。 通信模块31 包 括 用 于 利 用 视 频 编 码 器 和 交 互 控 制 器 发 送 和 接 收 数 据 的 装 置。 通 信 模 块 31 还 包 括 用 于 将 数据发送至移动终端的装置。 0035 标 记 模 块 34 意 在 提 供 用 于 插 入 与 视 频 相 对 应 的 交 互 信 息 的 装 置。 定 时 模 块 341 意在当可以将交互标记插入到视频帧中时提供定时。 插入模块342 意在将标记插入到视频 帧中。 插入模块342 可以利用从交互控制器接收到的信息产生标记。 校准模块343 适于执 行输出时间。
25、到输入时间的校准。 0036 MID 然后适于使视频帧的可视化的时间和分组的RTP 时间戳一致， 其中， 该帧在编 码 器 的 输 出 处 传 送。 更 精 确 地， 使 操 作 人 员 产 生 与 在 显 示 器 上 观 看 到 的 视 频 节 目 相 对 应 的 交互标记的时间和MID 输出与该视频节目相对应的编码帧的时间一致。 0037 在 图 3 中 还 示 出 了 校 准 模 块 343。 第 一 通 信 模 块 3.1 和 第 二 通 信 模 块 3.2 是 图 2 的 通 信 模 块 31 的 部 件。 第 一 通 信 模 块 从 视 频 源 1 接 收 未 压 缩 视 频。 第。
26、 二 通 信 模 块 从 视 频 编码器2 接收压缩视频。 校准模块包括视频获取模块3.3， 从第一通信模块31 接收未压缩 视频( 第一视频)。 在MID 时钟的值t 0 同时捕获视频帧。t 0 是在MID 处捕获视频帧的时间 的值， 其中， 该时间与MID 处的时钟的值相对应。 视频获取模块303 将第一视频帧发送至视 频匹配模块3.6。 0038 编 码 视 频 获 取 模 块 3.4 从 第 二 通 信 模 块 3.2 接 收 压 缩 视 频。 编 码 视 频 获 取 模 块 3.4 将压缩视频发送至视频解码模块3.5。 视频解码模块3.5 对视频帧frame_i 进行解码， 说 明 。
27、书 CN 102037728 ACN 102037731 A 4/6 页 6 并且还获得RTP 时间戳的值RTP i 以及相应编码器的时钟值t Vi ， 根据编码器2 所产生的RTCP 发送方报告， 对这两个值进行计算。 0039 解 码 之 后 第 一 视 频 和 第 二 视 频 的 格 式 和 大 小 是 相 同 的。 例 如， 第 一 视 频 的 格 式 是 YUV 420 格式。 然后， 通过视频解码模块3.5 将在第二接口( 从编码器接收RTP 分组的以太 网 接 口 ) 上 捕 获 的 RTP 流 解 码 成 未 处 理 的 YUV 420 视 频 帧。 然 后， 视 频 解 码 。
28、模 块 3.5 将 已 解码视频帧( 也被称作第二视频帧) 发送至视频匹配模块。 视频解码模块3.5 发送具有对 应的RTP Vi 和t Vi 的每个frame_i。 在伴随RTP 视频流的RTCP 发送方报告的帮助下， 使用以 下方程来计算所有的值t Vi ： 0040 0041 其中 ： 0042 -t RTCP 是RTCP 发送方报告中给出的时间值 ； 0043 -RTP RTCP 是与RTCP 发送方报告中给出的t RTCP 相对应的RTP 时间戳 ； 0044 -RTP Vi 是frame_i 的RTP 时间戳 ； 0045 - 视频时间标度(Video Timescale) 与视频。
29、编码器的帧发射频率相对应， 即， 每秒 RTP 时间戳。 0046 视频时间标度允许提供参考时间标度与RTP 时间戳之间的一致性。 视频时间标度 与 视 频 编 码 器 的 帧 发 射 频 率 相 对 应。 这 可 以 由 编 码 器 通 过 SDP 宣 告 (RFC 4566) 提 供 给 接 收机。该RFC 指定通过RTP 广播的媒体( 视频、 音频或其他) 的描述包含被称作 “rtpmap” 的定义“ 时钟速率” 字段的属性。编码器还分发音频时间标度。 0047 然后在视频匹配模块处执行校准。 使用以下公式将第二帧中的每一个的像素与第 一帧的那些像素进行比较， 其中， MSE 是均方差 。
30、： 0048 0049 其中 0050 -M 是已解码帧的宽度， 以像素数目 0051 -N 是已解码帧的高度， 以像素数目 0052 -f(i， j) 是第二帧的像素(i， j) 0053 -F(i， j) 是第一帧的像素(i， j)。 0054 仅在帧的Y( 亮度) 平面上执行计算， 忽略U 和V( 色度) 平面。 备选地， 通过逐平 面计算， 在帧的所有平面上执行计算， 并且例如利用以下加权对结果进行平均 ： 对于Y 为4， 对于U 为1， 对于V 为1。 0055 然后视频匹配模块计算以分贝(dB) 为单位的峰值信噪比(PSNR)。 视频匹配模块 根据以下公式使用均方根误差(RMSE)。
31、， 均方根误差(RMSE) 是MSE 的方根 ： 0056 0057 然 后 选 择 PSNR 的 最 高 值。PSNR 的 最 高 值 对 应 于 与 输 入 帧 匹 配 更 好 的 frame_i。 说 明 书 CN 102037728 ACN 102037731 A 5/6 页 7 视频匹配模块获得该frame_i 的时钟值t Vi 和RTP Vi 值。 该RTP Vi 值是与在t 0 处接收到的第 一帧匹配更好的RTP 帧的值。 这被称作RTP V0 ， 并且与RTP 交互流时间线参考中的时间戳值 RTP 0 相对应。 0058 在 这 一 点， 建 立 编 码 器 输 入 处 的 时。
32、 间 与 RTP 时 间 线 之 间 的 关 系。 进 行 校 准。 然 后 如下所述在标记插入处使用该信息。 0059 当操作人员在接收时间t i 处所接收到的第一帧时执行标记插入时， 将该标记附着 至与RTP 时间戳值RTP i 一同发送的帧， RTP 时间戳值RTP i 对应于以下公式 ： 0060 RTP i RTP 0 +(t i -t 0 - d )交互时间标度 0061 其中 ： 0062 - d 是显示链引入的恒定延迟值。这是在MID 处设置的固定值。 0063 - 交互时间标度(Interactive timescale) 与MID 的交互触发器发射频率( 以每 秒RTP 时。
33、间戳) 相对应。 0064 交互时间标度由MID 分发至接收机。MID 对SDP 文件进行解译， 并且插入交互时间 标度参数。MID 然后将修改后的SDP 文件发送至接收机。 0065 更 一 般 地， 可 以 在 除 了 解 码 器 和 MID 以 外 的 设 备 处 构 建 SDP 文 件。 该 设 备 然 后 根 据从编码器和MID 接收到的信息来构建完整的SDP 文件。 0066 根 据 实 施 例， 标 记 是 被 称 作 标 记 流 的 专 用 RTP 流 的 一 部 分。 如 图 1 所 示， 通 过 IP 网络将标记流发送至终端6。 当然， 可以将标记插入到视频RTP 流本身中。
34、。 在这种情况下， MID 在编码器的输出处， 并起到代理的作用， 以便滤出(filter out) 其中添加了RTP 首部扩 展的输入RTP 分组。 编码器不将RTP 分组直接发送至IP 网络， 而是将RTP 分组发送至MID。 如果将标记插入到视频RTP 流本身中， 则RTP V0 和RTP 0 相同， 并且交互时间标度等于视频时 间标度。 0067 根 据 实 施 例， 编 码 器 的 时 钟 和 MID 的 时 钟 同 步。 网 络 时 间 协 议 (NTP) 用 于 将 时 钟 设 置 为 相 同 值 ； 编 码 器 和 MID 使 用 同 一 NTP 服 务 器。 然 后 只 此 。
35、一 次 计 算 RTP 时 间 戳 之 间 的 一致性。 0068 备选地， MID 计算漂移补偿因子C， 以调整RTP 预测。该因子通过在编码器的输出 处 捕 获 RTP 分 组 来 获 得。 使 用 所 定 义 的 数 据 点 ( 捕 获 时 间 ； RTP 时 间 戳 )， 其 中 b 是 通 过 这 些数据点的线性回归线的斜率， 将C 设置为以下值 ： C b/ 视频时间标度。那么， RTP 预测 公式为 ： 0069 RTP i RTP 0 +(t i -t 0 - d )C视频时间标度 0070 在图4 中示出了如上所述的标记插入方法。 0071 在步骤S1 处， MID 接收未压。
36、缩流传输内容的帧。 0072 在步骤S2 处， MID 接收压缩流传输内容的帧。 这是与以压缩形式接收到的流传输 内容相同的流传输内容。 0073 在 步 骤 S3 处，MID 接 收 与 在 t 0 处 接 收 到 的 未 压 缩 流 传 输 内 容 的 帧 相 对 应 的 交 互 标记。MID 适于将交互标记插入流传输内容。 具体地， MID 在压缩流传输内容中发送交互标 记。 0074 在步骤S4 处， MID 将交互标记与压缩内容的帧同步， 压缩内容的帧与在t 0 处接收 到的未压缩流传输内容的帧相对应。在步骤S5 处， MID 发送交互标记。 说 明 书 CN 102037728 A。
37、CN 102037731 A 6/6 页 8 0075 已 经 针 对 视 频 流 描 述 了 实 施 例。 该 实 施 例 当 然 适 用 于 音 频 流。 在 那 种 情 况 下， 系 统 包 含 音 频 编 码 器 和 解 码 器， 而 不 是 视 频 编 码 器 和 解 码 器。 在 MID 的 输 入 与 输 出 之 间 执 行 校准。 在足够长的时间段期间， 在MID 的输入和输出处捕获未压缩音频和已编码音频 ； 对于 输入信号大约10 秒， 对于输出信号大约为1 秒。 0076 对于未压缩音频和已编码音频而言， 音频采样率并不相同。 通过SDP 信令， 使得采 样 参 数 可 用。
38、。 这 允 许 MID 执 行 本 身 公 知 的 采 样 率 转 换， 并 且 如 果 需 要， 执 行 声 道 数 目 的 修 改， 例如对右声道和左声道进行平均， 以获得单个单声道。 0077 如下估计输出处的转换信号与输出信号之间的相关性， 其中f n 和g n 是离散函数 ： 0078 0079 当 函 数 f 与 g 之 间 的 相 关 性 高 时，f*g 函 数 的 值 为 高。 输 入 信 号 与 输 出 信 号 之 间 的间隙是与最高相关性相对应的n max 值。 0080 那么， RTP 值是 ： 0081 RTP 0 RTP capture +n max 视频时间标度 0。
39、082 RTP 时间戳可以被预测为 ： 0083 RTP i RTP 0 +(t i -t 0 )视频时间标度 0084 说 明 书、 权 利 要 求 和 附 图 中 所 公 开 的 参 考 可 以 单 独 或 以 任 何 适 合 的 组 合 方 式 来 提 供。特征在适当的时候可以以硬件、 软件或二者的组合来实现。 0085 这 里 对“一 个 实 施 例” 或“实 施 例” 的 引 用 意 味 着 结 合 实 施 例 描 述 的 特 定 特 征、 结 构或特性可以包括在本发明的至少一个实现中。说明书中不同位置出现的短语“ 在一个实 施例中” 不必都指代相同实施例， 也不是与其他实施例相互排。
40、除的分离或备选实施例。 0086 权 利 要 求 中 出 现 的 附 图 标 记 仅 是 示 意 性 的， 不 应 对 权 利 要 求 的 范 围 起 到 限 制 作 用。 说 明 书 CN 102037728 ACN 102037731 A 1/4 页 9 图1 说 明 书 附 图 CN 102037728 ACN 102037731 A 2/4 页 10 图2 说 明 书 附 图 CN 102037728 ACN 102037731 A 3/4 页 11 图3 说 明 书 附 图 CN 102037728 ACN 102037731 A 4/4 页 12 图4 说 明 书 附 图 CN 102037728 A。