一种移动多媒体广播字幕同步的方法和系统.pdf

上传人:Y948****062 文档编号:4309486 上传时间:2018-09-13 格式:PDF 页数:13 大小:464.84KB
返回 下载 相关 举报
摘要
申请专利号:

CN201210104688.9

申请日:

2012.04.10

公开号:

CN102630017A

公开日:

2012.08.08

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 7/56申请日:20120410|||公开

IPC分类号:

H04N7/56; H04N7/24

主分类号:

H04N7/56

申请人:

中兴通讯股份有限公司

发明人:

夏智海; 黄泽武; 陈志兵

地址:

518057 广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦法务部

优先权:

专利代理机构:

北京安信方达知识产权代理有限公司 11262

代理人:

李健;龙洪

PDF下载: PDF下载
内容摘要

本发明提供了一种移动多媒体广播字幕同步的方法和系统,其中,该方法包括:接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧;从音频子帧中获取音频开始播放时间;从字幕数据包中获取字幕;确定字幕相对于音频开始播放时间的时间偏移;在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段;将所述数据段发送至移动多媒体广播终端。本发明保证了移动多媒体广播终端能够同步字幕与音频。

权利要求书

1.一种移动多媒体广播字幕同步的方法,其特征在于,所述方法包括:接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧;从所述音频子帧中获取音频开始播放时间;从所述字幕数据包中获取字幕;确定字幕相对于音频开始播放时间的时间偏移;在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段;将所述数据段发送至移动多媒体广播终端。2.如权利要求1所述的方法,其特征在于,确定所述字幕相对于音频开始播放时间的时间偏移进一步包括:从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记;根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。3.如权利要求2所述的方法,其特征在于,所述封装时间根据所述字幕在本地时区的开始时间确定,确定步骤包括:设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)为N,从接收字幕数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒;所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取绝对值;J=floor(R);则,S=I+J。4.如权利要求3所述的方法,其特征在于,根据所述字幕数据包获取的字幕由多个字幕片组成;根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移;在所述封装时间到达时,将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。5.如权利要求4所述的方法,其特征在于,所述根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移包括以下步骤:开启一定时器,设置该定时器的定时长度与同步标记等值;当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。6.一种移动多媒体广播字幕同步的系统,其特征在于,所述系统包括:接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧;获取模块,用于从所述字幕数据包中获取字幕,从所述音频子帧中获取音频开始播放时间;时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间偏移;封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段;发送模块,用于将所述数据段发送至移动多媒体广播终端。7.如权利要求6所述的系统,其特征在于,所述时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间偏移,进一步包括:时间偏移确定模块,用于从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同步标记;根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。8.如权利要求7所述的系统,其特征在于,所述封装模块,用于根据所述字幕在本地时区的开始时间确定所述封装时间,进一步包括:设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)为N,从接收字幕数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒;设所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取绝对值;J=floor(R);则,S=I+J。9.如权利要求8所述的方法,其特征在于,所述获取模块,用于从所述字幕数据包中获取由多个字幕片组成的字幕;所述时间偏移确定模块,用于根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移;所述封装模块,用于在所述封装时间到达时,将字幕片的字符串、音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。10.如权利要求9所述的系统,其特征在于,所述时间偏移确定模块,用于根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移进一步包括:开启一定时器,设置该定时器的定时长度与同步标记等值;当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。

说明书

一种移动多媒体广播字幕同步的方法和系统

技术领域

本发明涉及移动多媒体广播领域,尤其涉及一种移动多媒体广播字幕同
步的方法和系统。

背景技术

随着中国移动多媒体广播(CMMB)的商用和用户数量的增加,用户群
体和用户需求呈现多元化的倾向。提供多样的灵活的业务是提高用户体检,
增加用户忠诚度的手段之一。

现有CMMB中,为纯音频节目提供字幕的方式一般有以下几种:

将字幕内嵌在纯音频数据中,这种方式字幕形式固定单一;

将字幕信息通过移动多媒体广播数据段发送解决了字幕固定单一的问
题,但是这种方式不能保证播出的字幕和音频同步,同时也无法灵活地插入
字幕,如节目A和B顺序播放,仅为节目B提供字幕;

将字幕发送到终端,由使用终端的用户手动调整字幕的播放时间,以实
现字幕与音频同步,这种方式用户体验性差。

将字幕发送到终端后,再将字幕与音频的同步信息发送至终端,由终端
根据该同步信息调整字幕的播放时间,这种方式需要终端预留较大的存储空
间缓存整个字幕文件,且需要字幕提前很长时间发送导致实时性差。

发明内容

本发明提供了一种移动多媒体字幕同步方法和系统,以解决如何实现字
幕与音频同步的技术问题。

为解决上述技术问题,本发明提供了一种移动多媒体广播字幕同步的方
法,所述方法包括:

接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧;

从所述音频子帧中获取音频开始播放时间;

从所述字幕数据包中获取字幕;

确定字幕相对于音频开始播放时间的时间偏移;

在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相
对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据
段;

将所述数据段发送至移动多媒体广播终端。

进一步地,确定所述字幕相对于音频开始播放时间的时间偏移包括:

从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息;

根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;

根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间
戳设置字幕与该音频子帧的同步标记;

根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。

进一步地,所述封装时间根据所述字幕在本地时区的开始时间确定,确
定步骤包括:

设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)
为N,从接收字幕数据包到发送所述数据段的收发时差为R,封装时间为S;
M、N、R和S的单位为秒;

所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取绝
对值;

J=floor(R);

则,S=I+J。

进一步地,根据所述字幕数据包获取的字幕由多个字幕片组成;

根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏
移;

在所述封装时间到达时,将字幕片的字符串、音频的开始播放时间、字
幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧
的数据段。

进一步地,所述根据该同步标记确定所述字幕片相对于音频开始播放时
间的时间偏移包括以下步骤:

开启一定时器,设置该定时器的定时长度与同步标记等值;

当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时
间偏移。

为解决上述技术问题,本发明还提供了一种移动多媒体广播字幕同步的
系统,所述系统包括:

接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的
音频子帧;

获取模块,用于从所述字幕数据包中获取字幕,从所述音频子帧中获取
音频开始播放时间;

时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间
偏移;

封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开
始播放时间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对
应的音频子帧的数据段;

发送模块,用于将所述数据段发送至移动多媒体广播终端。

进一步地,所述时间偏移确定模块,用于确定所述字幕相对于音频开始
播放时间的时间偏移,包括:

时间偏移确定模块,用于从包含所述字幕数据包的数据流中获取字幕与
音频子帧关系的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应
的音频子帧;根据该字幕在本地时区的开始时间及所述与字幕对应的音频子
帧的时间戳设置字幕与该音频子帧的同步标记;根据该同步标记确定字幕相
对于音频开始播放时间的时间偏移。

进一步地,所述封装模块,用于根据所述字幕在本地时区的开始时间确
定所述封装时间,包括:

设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)
为N,从接收字幕数据包到发送所述数据段的收发时差为R,封装时间为S;
M、N、R和S的单位为秒;

设所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取
绝对值;

J=floor(R);

则,S=I+J。

进一步地,所述获取模块,用于从所述字幕数据包中获取由多个字幕片
组成的字幕;

所述时间偏移确定模块,用于根据所述同步标记确定所述字幕片相对于
音频开始播放时间的时间偏移;

所述封装模块,用于在所述封装时间到达时,将字幕片的字符串、音频
的开始播放时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述
字幕对应的音频子帧的数据段。

进一步地,所述时间偏移确定模块,用于根据该同步标记确定所述字幕
片相对于音频开始播放时间的时间偏移包括:

开启一定时器,设置该定时器的定时长度与同步标记等值;

当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时
间偏移。

上述技术方案,封装后的音频子帧的数据段中包含了音频开始播放时间
和字幕相对于音频开始播放时间的时间偏移,使得接收到该音频子帧的移动
多媒体广播终端能够根据字幕相对于音频开始播放时间的时间偏移确定字幕
的播放时间,达到与音频同步的技术效果。

附图说明

图1为本实施例的移动多媒体广播字幕同步方法流程图;

图2为本应用示例字幕服务器向复用器传输数据流的封装示意图;

图3为本应用示例封装了字幕信息的音频子帧的数据段的格式示意图;

图4为本实施例的移动多媒体广播字幕同步系统组成模块图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图
对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申
请中的实施例及实施例中的特征可以相互任意组合。

图1为本实施例的移动多媒体广播字幕同步方法流程图。

S101接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧;

S102从所述音频子帧中获取音频开始播放时间;

S103从所述字幕数据包中获取字幕;

在实际应用中,也允许字幕数据包包含指示字幕数据包采用时间体系的
信息(如UTC时间体系)、指示字幕数据包所处时区的信息以及字幕在其所
处时区的开始时间;当接收到该数据包后,根据指示字幕数据包采用时间体
系的信息、指示字幕数据包所处时区的信息以及接收端本地所处时区将字幕
在其所处时区的开始时间修正为字幕在本地时区的开始时间。如,指示字幕
数据包采用时间体系的信息为UTC,指示字幕数据包所处时区的信息为东5
区,字幕在其所处时区的开始时间为0点整,接收端本地所处时区为东8区,
修正后的字幕在本地时区的开始时间为3点整。

字幕数据包除了包含上述记载的信息外,根据不同的应用需要,所述字
幕数据包还可包含其他信息,如,为了明显地与音频子帧相区分,在所述字
幕数据包中增加表示本数据包为字幕的信息;为了使终端选用正确字符集,
在所述字幕数据包中增加字幕字符串编码方式;为了终端能识别字幕展示持
续时间并在合适的时间结束字幕展示,在所述字幕数据包中增加字幕持续时
间。

S104确定字幕相对于音频开始播放时间的时间偏移;

具体为:

从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息;

根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;

根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间
戳设置字幕与该音频子帧的同步标记;其中,字幕在本地时区的开始时间可
从所述字幕数据包中获取;

根据该同步标记确定字幕相对于音频开始播放时间的时间偏移;

S105在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字
幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的
数据段;

所述封装时间根据所述字幕在本地时区的开始时间确定,确定步骤包括:

设字幕在本地时区的开始时间为M,本地GPS提供的当前时间TOD
(Time of Day)为N,从接收字幕数据包到发送数据段的收发时差为R,封装
时间为S;M、N、R和S的单位为秒;

设所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取
绝对值;

J=floor(R);

则,S=I+J。

S106将所述数据段发送至移动多媒体广播终端。

上述从所述字幕数据包中解析出的字幕字符串还可由多个字幕片组成以
方便较长字幕数据传输或者应用于多种语言字幕,此时,可根据同步标记确
定所述字幕片相对于音频开始播放时间的时间偏移;在所述封装时间到达时,
将音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移、字幕
片的字符串封装到与所述字幕对应的音频子帧的数据段。

移动多媒体广播终端接收到上述音频子帧的数据段后,根据数据段中包
含的音频的开始播放时间、字幕相对于音频开始播放时间的时间偏移,进行
播放字幕的字符串的操作;如果数据段中封装的是字幕片信息,根据数据段
中包含的音频的开始播放时间、字幕片相对于音频开始播放时间的时间偏移
来播放字幕片的字符串。

下面以一个具体的应用示例,对上述实施例的移动多媒体广播字幕同步
方法进行进一步说明。该应用示例涉及字幕服务器、音频编码器以及复用器,
其中字幕服务器和复用器之间传输的数据流采用UDP封装,见图2。

步骤1,字幕服务器向复用器发送UDP封装的数据流,其中每个UDP
的消息体部分用于组成字幕数据包;音频编码器向复用器发送音频子帧;

所述字幕数据包包括指示字幕数据包所处时区的信息、字幕更新序号、
字幕在其所处时区的开始时间、编码方式、字幕片数、字幕片1参数、字幕
片2参数、...、字幕片n参数以及字幕内容,其中,

指示字幕数据包所处时区的信息(4bit);

字幕更新序号(4bit),当字幕更新时该序号加1,复用器可通过比较接
收到的字幕数据包中携带该序号和已接收的字幕数据包中携带的该序号是否
一致,决定是否重新同步字幕在本地时区的开始时间;

字幕在其所处时区的开始时间(32bit);

字幕编码方式(bit);

字幕片数(8bit);

字幕片n参数(80bit),其中又包含3个字段,分别是:字幕片n播放
时间(32bit)、字幕片n结束时间(32bit)和字幕片n长度(16bit);

字幕内容,根据字幕数据包中包含的字幕片数和字幕片n长度可以从字
幕内容中提取相应的字幕片内容。

步骤2,复用器接收到UDP封装的数据流后,从所述UDP中提取消息
体组成上述字幕数据包;复用器接收到音频子帧后,从音频子帧中提取音频
开始播放时间;

步骤3,复用器从UDP封装的数据流中解析出标识字幕与子帧关系的信
息,根据该信息确定与字幕对应的子帧;

步骤4,复用器从所述字幕数据包中获取指示字幕数据包所处时区的信
息以及字幕在其所处时区的开始时间,复用器将所述指示字幕数据包所处时
区的信息与复用器所在的时区(即本地时区)进行比较,如果一致,则字幕
数据包中包含的字幕在其所处时区的开始时间即为字幕在本地时区的开始时
间;如果不一致,则将字幕在其所处时区的开始时间修正为字幕在本地时区
的开始时间;

步骤5,复用器根据该字幕在本地时区的开始时间及所述与字幕对应的
音频子帧的时间戳设置字幕与该音频子帧的同步标记;

步骤6,复用器根据该同步标记确定所述字幕片相对于音频开始播放时
间的时间偏移;

步骤7,复用器从本地GPS获得当前时间TOD为N,复用器根据调试统
计获取其收发数据时差为R,N和R单位为秒;

步骤8,复用器启动一定时器,当定时时间到达S=S=I+J时,将字幕信
息封装到所述与字幕对应的音频子帧的数据段,该数据段的格式如图3所示;
其中,I=floor(|M-N|),J=floor(R),floor(·)表示取整,|·|表示取绝对值,M
表示字幕在本地时区的开始时间,单位为秒;

该数据段由数据段头、数据单元1、数据单元2、...、数据单元n组成;

其中,数据段头又由数据单元数、数据单元1参数、数据单元2参数、...、
数据单元n参数、CRC组成;数据单元n参数包括数据单元类型和数据单元
长度这两个字段;

数据单元n依次由业务ID(16bit)、保留字段(16bit)、编码方式(32bit)、
保留字段、音频开始播放时间(32bit)、字幕片n相对于音频开始播放时间
的时间偏移(16bit)、字幕片n持续播放时间(32bit)、字幕片n长度(16bit)
以及字幕内容组成;

开始封装的第1秒第1片字幕的开始播放时间=音频开始播放时间+
[(|M-N|-I)+(R-J)+字幕片1相对于音频开始播放时间的时间偏移]*22.5;

第1秒第n片字幕的开始播放时间=音频开始播放时间+[(|M-N|-I)+
(R-J)+字幕片n相对于音频开始播放时间的时间偏移*1000]*22.5;

第H秒第n片字幕的开始播放时间=音频开始播放时间+[(|M-N|-I)+
(R-J)+(字幕片n相对于音频开始播放时间的时间偏移-H)*1000]*22.5;

步骤9,复用器将该子帧封装到复帧,并将该复帧转换为PMS流发送给
移动多媒体广播终端。

图4为本实施例的移动多媒体广播字幕同步系统组成模块图。

该系统包括:

接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的
音频子帧;

获取模块,用于根据所述字幕数据包获取字幕,根据所述音频子帧获取
音频开始播放时间;

时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间
偏移;

所述时间偏移确定模块,可用于从包含所述字幕数据包的数据流中获取
字幕与音频子帧关系的信息;根据所述字幕与音频子帧关系的信息确定与字
幕对应的音频子帧;根据该字幕在本地时区的开始时间及所述与字幕对应的
音频子帧的时间戳设置字幕与该音频子帧的同步标记;根据该同步标记确定
字幕相对于音频开始播放时间的时间偏移;

封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开
始播放时间、字幕相对于音频开始播放时间的时间偏移封装到所述与字幕对
应的音频子帧的数据段;

设字幕在本地时区的开始时间为M,本地GPS提供的当前时间TOD为
N,从接收字幕数据包到发送数据段的收发时差为R,封装时间为S;M、N、
R和S的单位为秒;

设所述M与N的时间差为I=floor(|M-N|),floor(·)表示取整,|·|表示取
绝对值;

J=floor(R);

则,S=I+J。

发送模块,用于将所述数据段发送至移动多媒体广播终端。

上述实施例中获取模块根据所述字幕数据包获取的字幕字符串可由多个
字幕片组成;

此时,时间偏移确定模块,用于根据该同步标记确定所述字幕片相对于
音频开始播放时间的时间偏移;

时间偏移确定模块可开启一定时器,设置该定时器的定时长度与同步标
记等值;当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间
的时间偏移。

封装模块,用于在所述封装时间到达时,将音频的开始播放时间、字幕
片相对于音频开始播放时间的时间偏移、字幕片的字符串封装到所述与字幕
对应的音频子帧的数据段。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序
来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读
存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用
一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用
硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任
何特定形式的硬件和软件的结合。

需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及
其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变
和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范
围。

一种移动多媒体广播字幕同步的方法和系统.pdf_第1页
第1页 / 共13页
一种移动多媒体广播字幕同步的方法和系统.pdf_第2页
第2页 / 共13页
一种移动多媒体广播字幕同步的方法和系统.pdf_第3页
第3页 / 共13页
点击查看更多>>
资源描述

《一种移动多媒体广播字幕同步的方法和系统.pdf》由会员分享,可在线阅读,更多相关《一种移动多媒体广播字幕同步的方法和系统.pdf(13页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102630017 A (43)申请公布日 2012.08.08 C N 1 0 2 6 3 0 0 1 7 A *CN102630017A* (21)申请号 201210104688.9 (22)申请日 2012.04.10 H04N 7/56(2006.01) H04N 7/24(2006.01) (71)申请人中兴通讯股份有限公司 地址 518057 广东省深圳市南山区高新技术 产业园科技南路中兴通讯大厦法务部 (72)发明人夏智海 黄泽武 陈志兵 (74)专利代理机构北京安信方达知识产权代理 有限公司 11262 代理人李健 龙洪 (54) 发明名称 一种移动。

2、多媒体广播字幕同步的方法和系统 (57) 摘要 本发明提供了一种移动多媒体广播字幕同步 的方法和系统,其中,该方法包括:接收字幕服务 器发送的字幕数据包和音频编码器发送的音频子 帧;从音频子帧中获取音频开始播放时间;从字 幕数据包中获取字幕;确定字幕相对于音频开始 播放时间的时间偏移;在封装时间到达时,将所 述字幕的字符串、音频开始播放时间、字幕相对于 音频开始播放时间的时间偏移封装到与所述字幕 对应的音频子帧的数据段;将所述数据段发送至 移动多媒体广播终端。本发明保证了移动多媒体 广播终端能够同步字幕与音频。 (51)Int.Cl. 权利要求书2页 说明书7页 附图3页 (19)中华人民共和。

3、国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 7 页 附图 3 页 1/2页 2 1.一种移动多媒体广播字幕同步的方法,其特征在于,所述方法包括: 接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧; 从所述音频子帧中获取音频开始播放时间; 从所述字幕数据包中获取字幕; 确定字幕相对于音频开始播放时间的时间偏移; 在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相对于音频开始播 放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段; 将所述数据段发送至移动多媒体广播终端。 2.如权利要求1所述的方法,其特征在于, 确定所述字幕相对于音频开始播放时间的时。

4、间偏移进一步包括: 从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息; 根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧; 根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕 与该音频子帧的同步标记; 根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。 3.如权利要求2所述的方法,其特征在于, 所述封装时间根据所述字幕在本地时区的开始时间确定,确定步骤包括: 设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)为N,从接收字幕 数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒; 所述M与N的时间差为Iflo。

5、or(|M-N|),floor()表示取整,|表示取绝对值; Jfloor(R); 则,SI+J。 4.如权利要求3所述的方法,其特征在于, 根据所述字幕数据包获取的字幕由多个字幕片组成; 根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移; 在所述封装时间到达时,将字幕片的字符串、音频的开始播放时间、字幕片相对于音频 开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。 5.如权利要求4所述的方法,其特征在于, 所述根据该同步标记确定所述字幕片相对于音频开始播放时间的时间偏移包括以下 步骤: 开启一定时器,设置该定时器的定时长度与同步标记等值; 当达到所述定时长度时,计。

6、算所述字幕片相对于音频开始播放时间的时间偏移。 6.一种移动多媒体广播字幕同步的系统,其特征在于,所述系统包括: 接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧; 获取模块,用于从所述字幕数据包中获取字幕,从所述音频子帧中获取音频开始播放 时间; 时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间偏移; 封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开始播放时间、字 幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段; 权 利 要 求 书CN 102630017 A 2/2页 3 发送模块,用于将所述数据段发送至移动多媒体。

7、广播终端。 7.如权利要求6所述的系统,其特征在于,所述时间偏移确定模块,用于确定所述字幕 相对于音频开始播放时间的时间偏移,进一步包括: 时间偏移确定模块,用于从包含所述字幕数据包的数据流中获取字幕与音频子帧关系 的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;根据该字幕在 本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧的同 步标记;根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。 8.如权利要求7所述的系统,其特征在于, 所述封装模块,用于根据所述字幕在本地时区的开始时间确定所述封装时间,进一步 包括: 设字幕在本地时区的开始时间为M,本。

8、地GPS提供的当前时间(TOD)为N,从接收字幕 数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒; 设所述M与N的时间差为Ifloor(|M-N|),floor()表示取整,|表示取绝对 值; Jfloor(R); 则,SI+J。 9.如权利要求8所述的方法,其特征在于, 所述获取模块,用于从所述字幕数据包中获取由多个字幕片组成的字幕; 所述时间偏移确定模块,用于根据所述同步标记确定所述字幕片相对于音频开始播放 时间的时间偏移; 所述封装模块,用于在所述封装时间到达时,将字幕片的字符串、音频的开始播放时 间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对。

9、应的音频子帧的数据 段。 10.如权利要求9所述的系统,其特征在于, 所述时间偏移确定模块,用于根据该同步标记确定所述字幕片相对于音频开始播放时 间的时间偏移进一步包括: 开启一定时器,设置该定时器的定时长度与同步标记等值; 当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。 权 利 要 求 书CN 102630017 A 1/7页 4 一种移动多媒体广播字幕同步的方法和系统 技术领域 0001 本发明涉及移动多媒体广播领域,尤其涉及一种移动多媒体广播字幕同步的方法 和系统。 背景技术 0002 随着中国移动多媒体广播(CMMB)的商用和用户数量的增加,用户群体和用户需 求。

10、呈现多元化的倾向。提供多样的灵活的业务是提高用户体检,增加用户忠诚度的手段之 一。 0003 现有CMMB中,为纯音频节目提供字幕的方式一般有以下几种: 0004 将字幕内嵌在纯音频数据中,这种方式字幕形式固定单一; 0005 将字幕信息通过移动多媒体广播数据段发送解决了字幕固定单一的问题,但是这 种方式不能保证播出的字幕和音频同步,同时也无法灵活地插入字幕,如节目A和B顺序播 放,仅为节目B提供字幕; 0006 将字幕发送到终端,由使用终端的用户手动调整字幕的播放时间,以实现字幕与 音频同步,这种方式用户体验性差。 0007 将字幕发送到终端后,再将字幕与音频的同步信息发送至终端,由终端根据。

11、该同 步信息调整字幕的播放时间,这种方式需要终端预留较大的存储空间缓存整个字幕文件, 且需要字幕提前很长时间发送导致实时性差。 发明内容 0008 本发明提供了一种移动多媒体字幕同步方法和系统,以解决如何实现字幕与音频 同步的技术问题。 0009 为解决上述技术问题,本发明提供了一种移动多媒体广播字幕同步的方法,所述 方法包括: 0010 接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧; 0011 从所述音频子帧中获取音频开始播放时间; 0012 从所述字幕数据包中获取字幕; 0013 确定字幕相对于音频开始播放时间的时间偏移; 0014 在封装时间到达时,将所述字幕的字符串、音频开。

12、始播放时间、字幕相对于音频开 始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段; 0015 将所述数据段发送至移动多媒体广播终端。 0016 进一步地,确定所述字幕相对于音频开始播放时间的时间偏移包括: 0017 从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息; 0018 根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧; 0019 根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置 字幕与该音频子帧的同步标记; 说 明 书CN 102630017 A 2/7页 5 0020 根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。 0021 进。

13、一步地,所述封装时间根据所述字幕在本地时区的开始时间确定,确定步骤包 括: 0022 设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)为N,从接收 字幕数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒; 0023 所述M与N的时间差为Ifloor(|M-N|),floor()表示取整,|表示取绝 对值; 0024 Jfloor(R); 0025 则,SI+J。 0026 进一步地,根据所述字幕数据包获取的字幕由多个字幕片组成; 0027 根据所述同步标记确定所述字幕片相对于音频开始播放时间的时间偏移; 0028 在所述封装时间到达时,将字幕片的字符。

14、串、音频的开始播放时间、字幕片相对于 音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段。 0029 进一步地,所述根据该同步标记确定所述字幕片相对于音频开始播放时间的时间 偏移包括以下步骤: 0030 开启一定时器,设置该定时器的定时长度与同步标记等值; 0031 当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。 0032 为解决上述技术问题,本发明还提供了一种移动多媒体广播字幕同步的系统,所 述系统包括: 0033 接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子 帧; 0034 获取模块,用于从所述字幕数据包中获取字幕,从所述音频子。

15、帧中获取音频开始 播放时间; 0035 时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间偏移; 0036 封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开始播放时 间、字幕相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据 段; 0037 发送模块,用于将所述数据段发送至移动多媒体广播终端。 0038 进一步地,所述时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间 的时间偏移,包括: 0039 时间偏移确定模块,用于从包含所述字幕数据包的数据流中获取字幕与音频子帧 关系的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;根据该。

16、字 幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音频子帧 的同步标记;根据该同步标记确定字幕相对于音频开始播放时间的时间偏移。 0040 进一步地,所述封装模块,用于根据所述字幕在本地时区的开始时间确定所述封 装时间,包括: 0041 设字幕在本地时区的开始时间为M,本地GPS提供的当前时间(TOD)为N,从接收 字幕数据包到发送所述数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒; 0042 设所述M与N的时间差为Ifloor(|M-N|),floor()表示取整,|表示取 说 明 书CN 102630017 A 3/7页 6 绝对值; 0043 Jflo。

17、or(R); 0044 则,SI+J。 0045 进一步地,所述获取模块,用于从所述字幕数据包中获取由多个字幕片组成的字 幕; 0046 所述时间偏移确定模块,用于根据所述同步标记确定所述字幕片相对于音频开始 播放时间的时间偏移; 0047 所述封装模块,用于在所述封装时间到达时,将字幕片的字符串、音频的开始播放 时间、字幕片相对于音频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数 据段。 0048 进一步地,所述时间偏移确定模块,用于根据该同步标记确定所述字幕片相对于 音频开始播放时间的时间偏移包括: 0049 开启一定时器,设置该定时器的定时长度与同步标记等值; 0050 当达到。

18、所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。 0051 上述技术方案,封装后的音频子帧的数据段中包含了音频开始播放时间和字幕相 对于音频开始播放时间的时间偏移,使得接收到该音频子帧的移动多媒体广播终端能够根 据字幕相对于音频开始播放时间的时间偏移确定字幕的播放时间,达到与音频同步的技术 效果。 附图说明 0052 图1为本实施例的移动多媒体广播字幕同步方法流程图; 0053 图2为本应用示例字幕服务器向复用器传输数据流的封装示意图; 0054 图3为本应用示例封装了字幕信息的音频子帧的数据段的格式示意图; 0055 图4为本实施例的移动多媒体广播字幕同步系统组成模块图。 具。

19、体实施方式 0056 为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明 的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中 的特征可以相互任意组合。 0057 图1为本实施例的移动多媒体广播字幕同步方法流程图。 0058 S101接收字幕服务器发送的字幕数据包和音频编码器发送的音频子帧; 0059 S102从所述音频子帧中获取音频开始播放时间; 0060 S103从所述字幕数据包中获取字幕; 0061 在实际应用中,也允许字幕数据包包含指示字幕数据包采用时间体系的信息(如 UTC时间体系)、指示字幕数据包所处时区的信息以及字幕在其所处时区的开。

20、始时间;当接 收到该数据包后,根据指示字幕数据包采用时间体系的信息、指示字幕数据包所处时区的 信息以及接收端本地所处时区将字幕在其所处时区的开始时间修正为字幕在本地时区的 开始时间。如,指示字幕数据包采用时间体系的信息为UTC,指示字幕数据包所处时区的信 息为东5区,字幕在其所处时区的开始时间为0点整,接收端本地所处时区为东8区,修正 说 明 书CN 102630017 A 4/7页 7 后的字幕在本地时区的开始时间为3点整。 0062 字幕数据包除了包含上述记载的信息外,根据不同的应用需要,所述字幕数据包 还可包含其他信息,如,为了明显地与音频子帧相区分,在所述字幕数据包中增加表示本数 据包。

21、为字幕的信息;为了使终端选用正确字符集,在所述字幕数据包中增加字幕字符串编 码方式;为了终端能识别字幕展示持续时间并在合适的时间结束字幕展示,在所述字幕数 据包中增加字幕持续时间。 0063 S104确定字幕相对于音频开始播放时间的时间偏移; 0064 具体为: 0065 从包含所述字幕数据包的数据流中获取字幕与音频子帧关系的信息; 0066 根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧; 0067 根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置 字幕与该音频子帧的同步标记;其中,字幕在本地时区的开始时间可从所述字幕数据包中 获取; 0068 根据该同步标记确。

22、定字幕相对于音频开始播放时间的时间偏移; 0069 S105在封装时间到达时,将所述字幕的字符串、音频开始播放时间、字幕相对于音 频开始播放时间的时间偏移封装到与所述字幕对应的音频子帧的数据段; 0070 所述封装时间根据所述字幕在本地时区的开始时间确定,确定步骤包括: 0071 设字幕在本地时区的开始时间为M,本地GPS提供的当前时间TOD(Time of Day) 为N,从接收字幕数据包到发送数据段的收发时差为R,封装时间为S;M、N、R和S的单位为 秒; 0072 设所述M与N的时间差为Ifloor(|M-N|),floor()表示取整,|表示取 绝对值; 0073 Jfloor(R);。

23、 0074 则,SI+J。 0075 S106将所述数据段发送至移动多媒体广播终端。 0076 上述从所述字幕数据包中解析出的字幕字符串还可由多个字幕片组成以方便较 长字幕数据传输或者应用于多种语言字幕,此时,可根据同步标记确定所述字幕片相对于 音频开始播放时间的时间偏移;在所述封装时间到达时,将音频的开始播放时间、字幕片相 对于音频开始播放时间的时间偏移、字幕片的字符串封装到与所述字幕对应的音频子帧的 数据段。 0077 移动多媒体广播终端接收到上述音频子帧的数据段后,根据数据段中包含的音频 的开始播放时间、字幕相对于音频开始播放时间的时间偏移,进行播放字幕的字符串的操 作;如果数据段中封装。

24、的是字幕片信息,根据数据段中包含的音频的开始播放时间、字幕片 相对于音频开始播放时间的时间偏移来播放字幕片的字符串。 0078 下面以一个具体的应用示例,对上述实施例的移动多媒体广播字幕同步方法进行 进一步说明。该应用示例涉及字幕服务器、音频编码器以及复用器,其中字幕服务器和复用 器之间传输的数据流采用UDP封装,见图2。 0079 步骤1,字幕服务器向复用器发送UDP封装的数据流,其中每个UDP的消息体部分 用于组成字幕数据包;音频编码器向复用器发送音频子帧; 说 明 书CN 102630017 A 5/7页 8 0080 所述字幕数据包包括指示字幕数据包所处时区的信息、字幕更新序号、字幕在。

25、其 所处时区的开始时间、编码方式、字幕片数、字幕片1参数、字幕片2参数、.、字幕片n参 数以及字幕内容,其中, 0081 指示字幕数据包所处时区的信息(4bit); 0082 字幕更新序号(4bit),当字幕更新时该序号加1,复用器可通过比较接收到的字 幕数据包中携带该序号和已接收的字幕数据包中携带的该序号是否一致,决定是否重新同 步字幕在本地时区的开始时间; 0083 字幕在其所处时区的开始时间(32bit); 0084 字幕编码方式(bit); 0085 字幕片数(8bit); 0086 字幕片n参数(80bit),其中又包含3个字段,分别是:字幕片n播放时间(32bit)、 字幕片n结束。

26、时间(32bit)和字幕片n长度(16bit); 0087 字幕内容,根据字幕数据包中包含的字幕片数和字幕片n长度可以从字幕内容中 提取相应的字幕片内容。 0088 步骤2,复用器接收到UDP封装的数据流后,从所述UDP中提取消息体组成上述字 幕数据包;复用器接收到音频子帧后,从音频子帧中提取音频开始播放时间; 0089 步骤3,复用器从UDP封装的数据流中解析出标识字幕与子帧关系的信息,根据该 信息确定与字幕对应的子帧; 0090 步骤4,复用器从所述字幕数据包中获取指示字幕数据包所处时区的信息以及字 幕在其所处时区的开始时间,复用器将所述指示字幕数据包所处时区的信息与复用器所在 的时区(即。

27、本地时区)进行比较,如果一致,则字幕数据包中包含的字幕在其所处时区的开 始时间即为字幕在本地时区的开始时间;如果不一致,则将字幕在其所处时区的开始时间 修正为字幕在本地时区的开始时间; 0091 步骤5,复用器根据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧 的时间戳设置字幕与该音频子帧的同步标记; 0092 步骤6,复用器根据该同步标记确定所述字幕片相对于音频开始播放时间的时间 偏移; 0093 步骤7,复用器从本地GPS获得当前时间TOD为N,复用器根据调试统计获取其收 发数据时差为R,N和R单位为秒; 0094 步骤8,复用器启动一定时器,当定时时间到达SSI+J时,将字幕信息 。

28、封装到所述与字幕对应的音频子帧的数据段,该数据段的格式如图3所示;其中,I floor(|M-N|),Jfloor(R),floor()表示取整,|表示取绝对值,M表示字幕在本地 时区的开始时间,单位为秒; 0095 该数据段由数据段头、数据单元1、数据单元2、.、数据单元n组成; 0096 其中,数据段头又由数据单元数、数据单元1参数、数据单元2参数、.、数据单元 n参数、CRC组成;数据单元n参数包括数据单元类型和数据单元长度这两个字段; 0097 数据单元n依次由业务ID(16bit)、保留字段(16bit)、编码方式(32bit)、保留字 段、音频开始播放时间(32bit)、字幕片n相。

29、对于音频开始播放时间的时间偏移(16bit)、字 幕片n持续播放时间(32bit)、字幕片n长度(16bit)以及字幕内容组成; 说 明 书CN 102630017 A 6/7页 9 0098 开始封装的第1秒第1片字幕的开始播放时间音频开始播放时间 +(|M-N|-I)+(R-J)+字幕片1相对于音频开始播放时间的时间偏移*22.5; 0099 第1秒第n片字幕的开始播放时间音频开始播放时间+(|M-N|-I)+(R-J)+字 幕片n相对于音频开始播放时间的时间偏移*1000*22.5; 0100 第H秒第n片字幕的开始播放时间音频开始播放时间+(|M-N|-I)+(R-J)+(字 幕片n相。

30、对于音频开始播放时间的时间偏移-H)*1000*22.5; 0101 步骤9,复用器将该子帧封装到复帧,并将该复帧转换为PMS流发送给移动多媒体 广播终端。 0102 图4为本实施例的移动多媒体广播字幕同步系统组成模块图。 0103 该系统包括: 0104 接收模块,用于接收字幕服务器发送的字幕数据包和音频编码器发送的音频子 帧; 0105 获取模块,用于根据所述字幕数据包获取字幕,根据所述音频子帧获取音频开始 播放时间; 0106 时间偏移确定模块,用于确定所述字幕相对于音频开始播放时间的时间偏移; 0107 所述时间偏移确定模块,可用于从包含所述字幕数据包的数据流中获取字幕与音 频子帧关系。

31、的信息;根据所述字幕与音频子帧关系的信息确定与字幕对应的音频子帧;根 据该字幕在本地时区的开始时间及所述与字幕对应的音频子帧的时间戳设置字幕与该音 频子帧的同步标记;根据该同步标记确定字幕相对于音频开始播放时间的时间偏移; 0108 封装模块,用于在所述封装时间到达时,将所述字幕的字符串、音频开始播放时 间、字幕相对于音频开始播放时间的时间偏移封装到所述与字幕对应的音频子帧的数据 段; 0109 设字幕在本地时区的开始时间为M,本地GPS提供的当前时间TOD为N,从接收字 幕数据包到发送数据段的收发时差为R,封装时间为S;M、N、R和S的单位为秒; 0110 设所述M与N的时间差为Ifloor。

32、(|M-N|),floor()表示取整,|表示取 绝对值; 0111 Jfloor(R); 0112 则,SI+J。 0113 发送模块,用于将所述数据段发送至移动多媒体广播终端。 0114 上述实施例中获取模块根据所述字幕数据包获取的字幕字符串可由多个字幕片 组成; 0115 此时,时间偏移确定模块,用于根据该同步标记确定所述字幕片相对于音频开始 播放时间的时间偏移; 0116 时间偏移确定模块可开启一定时器,设置该定时器的定时长度与同步标记等值; 当达到所述定时长度时,计算所述字幕片相对于音频开始播放时间的时间偏移。 0117 封装模块,用于在所述封装时间到达时,将音频的开始播放时间、字幕。

33、片相对于音 频开始播放时间的时间偏移、字幕片的字符串封装到所述与字幕对应的音频子帧的数据 段。 0118 本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令 说 明 书CN 102630017 A 7/7页 10 相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘 等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应 地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的 形式实现。本发明不限制于任何特定形式的硬件和软件的结合。 0119 需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及其实质的 情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的 改变和变形都应属于本发明所附的权利要求的保护范围。 说 明 书CN 102630017 A 10 1/3页 11 图1 说 明 书 附 图CN 102630017 A 11 2/3页 12 图2 图3 说 明 书 附 图CN 102630017 A 12 3/3页 13 图4 说 明 书 附 图CN 102630017 A 13 。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1