《字幕提取方法及装置.pdf》由会员分享，可在线阅读，更多相关《字幕提取方法及装置.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102883213 A (43)申请公布日 2013.01.16 C N 1 0 2 8 8 3 2 1 3 A *CN102883213A* (21)申请号 201210337799.4 (22)申请日 2012.09.13 H04N 21/434(2011.01) H04N 21/435(2011.01) (71)申请人中兴通讯股份有限公司 地址 518057 广东省深圳市南山区科技南路 55号 (72)发明人赵明 (74)专利代理机构北京康信知识产权代理有限 责任公司 11240 代理人余刚 梁丽超 (54) 发明名称 字幕提取方法及装置 (57) 摘要 本发明。
2、公开了一种字幕提取方法及装置，其 中，该方法包括：将输入移动终端的视频流通过 硬解码方式分离为视频数据和字幕数据；发送该 视频数据和字幕数据。通过本发明，解决了相关技 术中的字幕提取方法资源占用率较高且处理效率 低的问题，提升了移动终端的处理速度，提高了用 户体验。 (51)Int.Cl. 权利要求书1页 说明书6页 附图4页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 6 页 附图 4 页 1/1页 2 1.一种字幕提取方法，其特征在于，包括： 将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据； 发送所述视频数据和所述字幕数据。 2.根。
3、据权利要求1所述的方法，其特征在于，将输入的视频流通过硬解码方式分离为 视频数据和字幕数据包括： 将输入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通过硬解码方式 将所述输入的视频流分离为所述视频数据和所述字幕数据，并通过物理接口将分离后的所 述视频数据和所述字幕数据输出。 3.根据权利要求2所述的方法，其特征在于，所述物理接口包括以下至少之一：安全数 字输入/输出SDIO接口、通用串行总线USB接口、双口随机存取存储器RAM、共享内存。 4.根据权利要求1至3中任一项所述的方法，其特征在于，在发送所述视频数据和所述 字幕数据之前，还包括： 将所述视频数据和所述字幕数据分别进行优化处。
4、理。 5.根据权利要求4所述的方法，其特征在于，将所述视频数据进行优化处理包括以下 至少之一： 图像渲染、清晰度增强、视频播放帧率的调整。 6.根据权利要求4所述的方法，其特征在于，将所述字幕数据进行优化处理包括以下 至少之一： 字幕保存、文本还原、格式转换。 7.根据权利要求1至6中任一项所述的方法，其特征在于，发送所述视频数据和所述字 幕数据之后，还包括： 按照用户的控制指令将所述视频数据和所述字幕数据进行显示。 8.一种字幕提取装置，其特征在于，包括： 分离模块，用于将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数 据； 发送模块，用于发送所述视频数据和所述字幕数据。 9.根据。
5、权利要求8所述的装置，其特征在于，所述分离模块包括： 发送单元，用于将输入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通 过硬解码方式将所述输入的视频流分离为所述视频数据和所述字幕数据； 输出单元，用于通过物理接口将分离后的所述视频数据和所述字幕数据输出。 10.根据权利要求8或9所述的装置，其特征在于，所述装置还包括： 优化模块，用于将所述视频数据和所述字幕数据分别进行优化处理。 权 利 要 求 书CN 102883213 A 1/6页 3 字幕提取方法及装置 技术领域 0001 本发明涉及通信领域，具体而言，涉及一种字幕提取方法及装置。 背景技术 0002 目前，随着通信网络（例。
6、如，第3代移动通信（the third generation mobile communications，简称为3G）网络）的迅猛发展，用户不仅对移动网络的传统语音服务提出 了高要求，而且对移动终端的多媒体功能也越来越重视。在高端智能移动终端中，对多种格 式流媒体的播放支持已成为了此类终端的标准配置，在视频播放过程中，对视频中的字幕 提取也就成了用户自然而然的需求。 0003 但是，目前对视频中的字幕提取功能的实现大多基于数字图像处理的纯软件算法 实现，静态解析视频帧画面，提取字幕。这种方法具有以下缺点： 0004 1，纯软件算法实现，运算量过大，无法做到动态实时提取字幕，目前仅能达到对画 质。
7、较低的短视频提取字幕，对高清视频的字幕提取基本无能为力。 0005 2，通过纯软件算法实现，会显著影响移动终端的主处理器运行流畅度，由于算法 运行非常消耗处理器资源，导致移动终端的主处理器运算负载增加，在字幕提取的过程中， 使用户明显感觉到终端运行较慢，严重影响用户体验。 0006 针对相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，目前尚未 提出有效的解决方案。 发明内容 0007 针对相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，本发明提 供了一种字幕提取方法及装置，以至少解决上述问题。 0008 根据本发明的一个方面，提供了一种字幕提取方法，包括：将输入移动终端的视。
8、频 流通过硬解码方式分离为视频数据和字幕数据；发送所述视频数据和所述字幕数据。 0009 优选地，将输入的视频流通过硬解码方式分离为视频数据和字幕数据包括：将输 入的视频流发送至视频处理芯片，其中，所述视频处理芯片用于通过硬解码方式将所述输 入的视频流分离为所述视频数据和所述字幕数据，并通过物理接口将分离后的所述视频数 据和所述字幕数据输出。 0010 优选地，所述物理接口包括以下至少之一：SDIO接口、USB接口、双口RAM、共享内 存。 0011 优选地，在发送所述视频数据和所述字幕数据之前，还包括：将所述视频数据和所 述字幕数据分别进行优化处理。 0012 优选地，将所述视频数据进行优化。
9、处理包括以下至少之一：图像渲染、清晰度增 强、视频播放帧率的调整。 0013 优选地，将所述字幕数据进行优化处理包括以下至少之一：字幕保存、文本还原、 格式转换。 说 明 书CN 102883213 A 2/6页 4 0014 优选地，在发送所述视频数据和所述字幕数据之后，还包括：按照用户的控制指令 将所述视频数据和所述字幕数据进行显示。 0015 根据本发明的另一方面，还提供了一种字幕提取装置，包括：分离模块，用于将输 入移动终端的视频流通过硬解码方式分离为视频数据和字幕数据；发送模块，用于发送所 述视频数据和所述字幕数据。 0016 优选地，所述分离模块包括：发送单元，用于将输入的视频流发。
10、送至视频处理芯 片，其中，所述视频处理芯片用于通过硬解码方式将所述输入的视频流分离为所述视频数 据和所述字幕数据；输出单元，用于通过物理接口将分离后的所述视频数据和所述字幕数 据输出。 0017 优选地，所述装置还包括：优化模块，用于将所述视频数据和所述字幕数据分别进 行优化处理。 0018 通过本发明，采用将输入移动终端的视频流通过硬解码方式分离为视频数据和字 幕数据；发送该视频数据和字幕数据的方式，解决了相关技术中的字幕提取方法资源占用 率较高且处理效率低的问题，提升了移动终端的处理速度，提高了用户体验。 附图说明 0019 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。
11、，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中： 0020 图1是根据本发明实施例的字幕提取方法的流程图； 0021 图2是根据本发明实施例的字幕提取装置的结构框图； 0022 图3是根据本发明实施例的分离模块的优选结构框图； 0023 图4是根据本发明实施例的字幕提取装置的优选结构框图； 0024 图5是根据本发明实施例二的移动终端产品的各个功能模块的协作示意图； 0025 图6是根据本发明实施例二的移动终端视频字幕提取的工作模式流程图。 具体实施方式 0026 下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的 情况下，本申请中的实。
12、施例及实施例中的特征可以相互组合。 0027 在本实施例中提供了一种字幕提取方法，图1是根据本发明实施例的字幕提取方 法的流程图，如图1所示，该方法包括如下步骤： 0028 步骤S102，将输入移动终端的视频流通过硬解码方式分离为视频数据和字幕数 据； 0029 步骤S104，发送该视频数据和字幕数据。 0030 本实施例通过上述步骤，将输入移动终端的视频流通过硬解码方式分离为视频数 据和字幕数据，然后将分离出来的视频数据和字幕数据分别发送，相比相关技术中采用基 于数字图像处理的纯软件算法实现视频和字幕分离的方式，本实施例采用硬解码方式的效 率高，对视频画质没有要求，无论低画质还是高清画质的视。
13、频均能够实现视频和字幕分离， 而且硬解码方式运算量小，降低了视频字幕分离过程中主处理器的负担，解决了相关技术 中的字幕提取方法资源占用率较高且处理效率低的问题，提升了移动终端的处理速度，提 说 明 书CN 102883213 A 3/6页 5 高了用户体验。 0031 作为一种优选实施方式，可以通过单独的视频处理芯片实现步骤S102中的硬解 码方式分离，该视频处理芯片主要完成视频流的分离工作，包括单独的数字信号处理器 （Digital Signal Processor，简称为DSP），属于硬解码类图像处理器。该视频处理芯片可 以用于通过硬解码方式将输入的视频流分离为视频数据和字幕数据，并通过物。
14、理接口将分 离后的视频数据和字幕数据输出。 0032 优选地，上述单独的视频处理芯片可以通过物理接口与主CPU和其他处理单元 相连接，该物理接口可以包括以下类型中以下至少之一：安全数字输入/输出（Secure Digital Input/Output，简称为SDIO）接口、通用串行总线（Universal Serial Bus，简称为 USB）接口、双口随机存取存储器（Random Access Memory，简称为RAM）、共享内存等。 0033 通过这种方式，由于应用了单独的处理芯片进行硬解码方式的视频和字幕分离处 理，无需占用主处理器的运算资源，不会在视频字幕分离过程中影响移动终端中其他。
15、程序 的运行，不会再使用户感觉到终端运行变慢，提升了用户体验。 0034 作为一种优选实施方式，在通过硬解码方式对视频数据和字幕数据进行分离之 后，还可以通过软件将视频数据和字幕数据分别进行优化处理。通过这种软硬件结合的处 理方式，能够大大提高视频数据和字幕数据的处理效果和处理效率。 0035 例如，对于视频数据进行的优化处理，可以包括：图像渲染、清晰度增强、视频播放 帧率的调整等处理方式；而对于将字幕数据进行优化处理，则可以包括：字幕保存、文本还 原、格式转换等处理方式。 0036 优选地，在生成分离好的视频数据和字幕数据之后，还可以按照客户端发来的用 户的控制指令，将视频数据和字幕数据以相。
16、应的形式发送给显示设备（例如，显示器等）进 行显示。 0037 对应于上述方法，在本实施例中还提供了一种字幕提取装置，该装置用于实现上 述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可 以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来 实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。 0038 图2是根据本发明实施例的字幕提取装置的结构框图，如图2所示，该装置包括： 分离模块22和发送模块24，下面对各个模块进行详细说明。 0039 分离模块22，用于将输入移动终端的视频流通过硬解码方式分离为视频数据和字 幕数据；发送。
17、模块24，与分离模块22相连，用于发送该视频数据和字幕数据。 0040 本实施例通过上述模块，分离模块22将输入移动终端的视频流通过硬解码方式 分离为视频数据和字幕数据，然后发送模块24将分离出来的视频数据和字幕数据分别发 送，相比相关技术中采用基于数字图像处理的纯软件算法实现视频和字幕分离的方式，本 实施例采用硬解码方式的效率高，对视频画质没有要求，无论低画质还是高清画质的视频 均能够实现视频和字幕分离，而且硬解码方式运算量小，降低了视频字幕分离过程中主处 理器的负担，解决了相关技术中的字幕提取方法资源占用率较高且处理效率低的问题，提 升了移动终端的处理速度，提高了用户体验。 0041 图3。
18、是根据本发明实施例的分离模块22的优选结构框图，如图3所示，分离模块 22可以包括：发送单元222，用于将输入的视频流发送至视频处理芯片，其中，视频处理芯 说 明 书CN 102883213 A 4/6页 6 片用于通过硬解码方式将输入的视频流分离为视频数据和字幕数据；输出单元224，与发 送单元222相连，用于通过物理接口将分离后的视频数据和字幕数据输出。 0042 图4是根据本发明实施例的字幕提取装置的优选结构框图，如图4所示，该装置还 可以包括：优化模块42，与分离模块22和发送模块24相连，用于将该视频数据和字幕数据 分别进行优化处理。 0043 下面结合优选实施例进行说明，以下优选实。
19、施例结合了上述实施例及其优选实施 方式。 0044 在以下优选实施例中，提供了一种移动终端的视频字幕提取方法，该方法通过在 移动终端侧增加软件功能模块，与移动终端内部的视频处理芯片配合完成视频字幕提取的 功能。 0045 在以下的优选实施例中，以在针对移动终端产品的嵌入式软件开发中应用为例进 行说明，该方案在移动终端产品的内部实现了三个软件功能模块，同时配合移动终端产品 内置的视频处理芯片，实现了视频字幕实时提取及使用的功能，很大程度上提升了移动终 端设备的用户体验，丰富了移动终端设备的功能。 0046 实施例一 0047 本优选实施例为克服视频和字幕分离完全依赖纯软件算法实现而带来的运算量 。
20、过大和用户体验不佳，提供一种增加软件功能模块，与移动终端内部的视频处理芯片配合 完成视频字幕提取的方法，实现了一种移动终端视频字幕提取的新方案。 0048 本方案在移动终端产品的软件部分增加三个软件模块：视频输出模块（实现了上 述发送模块24的功能），视频预处理模块（实现了上述优化模块42的部分功能）和字幕预处 理模块（实现了上述优化模块42的部分功能）。通过上述3个软件模块与移动终端产品硬 件中的视频处理芯片配合，实现移动终端产品视频字幕的提取功能。 0049 本优选实施例中的软件部分包括的3个功能模块的功能与实现方式如下： 0050 1，移动终端产品的视频预处理模块：该模块可以对视频处理芯。
21、片输出的视频进行 预处理，该视频是已被视频处理芯片完成硬解码的原始视频流，视频处理器的发送视频传 输接口包括但不限于：SDIO接口，USB接口，双口RAM，共享内存等。 0051 2，移动终端产品的字幕预处理模块：该模块是视频字幕的处理实现模块，这种处 理包括但不限于字幕的保存，文本还原，格式转换以及将字幕发送输出的功能。 0052 3，移动终端产品的视频传输模块：该模块可以包括3个部分，视频输入部分，视频 输出部分和客户端。 0053 其中，视频输入部分可以是将待提取字幕的视频传输给视频处理芯片；视频输出 部分可以是将预处理后的视频及其字幕输出给移动终端内部的显示设备；客户端可以是呈 现给用。
22、户的应用层程序，用户可以在这个客户端中进行各种字幕处理的指令选择。该客户 端包括但不限于的功能还有视频播放，待处理视频的选择等。 0054 出于效率考虑，视频传输模块内部的实现基本采用视频数据流透明传输以减少软 件负荷，以提高效率。字幕是否输出以及用何种格式输出可以依照用户传来的控制指令而 定。 0055 与上述软件部分配合的硬件部分可以包括以下2个组件： 0056 1，视频处理芯片：接收待处理的输入视频，完成视频流和字幕原码分离的核心组 说 明 书CN 102883213 A 5/6页 7 件，与移动终端的主处理器（Central Processing Unit，简称为CPU）通过总线方式连。
23、接。 0057 2，显示设备：用于接收视频传输模块传来的视频数据流，是最终呈现给用户的显 示设备。 0058 在本优选实施例所定义的功能实现中，各模块间的工作顺序与交互流程包括如下 步骤： 0059 步骤一，视频处理芯片接收视频传输模块传来的待处理原始视频流，此类视频是 字幕和视频流混合在一起的形式。 0060 步骤二，视频处理芯片通过硬解码方式分离原始视频流，分为视频码流和字幕原 始码流。而后，视频处理芯片将处理后的视频码流和字幕原始码流通过某种物理接口发送 给视频预处理模块和字幕处理模块。 0061 步骤三，视频预处理模块接收到分离后的视频码流后，对其进行优化处理。这些优 化处理包括但不限。
24、于图像渲染，清晰度增强或视频播放帧率的增减。最终，将处理后的视频 发送给视频传输模块。 0062 步骤四，字幕预处理模块接收到字幕原始码流后，对其进行优化处理。这种处理包 括但不限于字幕的保存，文本还原，格式转换以及将字幕发送输出的功能。 0063 步骤五，视频传输模块接收到经过视频预处理模块处理的视频数据和经过字幕处 理模块处理的字幕后，按照客户端传来的用户指令将视频和字幕以相应形式传送给显示设 备。 0064 本优选实施例通过上述方案，可以使移动终端的视频字幕提取功能具有以下几方 面的优势，提高用户体验： 0065 1，字幕提取采用软件和硬件配合完成，避免了纯软件实现带来的运算能力有限， 。
25、无法实时处理视频字幕和无法处理高清视频字幕的局限，扩展了字幕提取的应用范围。, 0066 2，由于本优选实施例是通过软硬件结合方式实现，可以极大的减轻移动终端主处 理器的运算负荷，增强移动终端的有效处理能力，极大的改善了用户体验。 0067 实施例二 0068 图5是根据本发明实施例二的移动终端产品的各个功能模块的协作示意图，如图 5所示，本方案主要包括软件部分和硬件部分这两大部分。其中，软件部分可以包括视频传 输模块、视频预处理模块、以及字幕预处理模块；硬件部分可以包括移动终端显示设备，和 视频处理芯片。 0069 待处理的视频数据流通过视频传输模块传送给视频处理芯片进行处理，视频处理 芯片。
26、对传入的视频数据进行硬解码，分离出视频码流和字幕原始数据。分别通过物理接口 将其传送给视频预处理模块和字幕预处理模块。视频预处理模块对视频数据进行一定程度 的优化后将视频发送给视频传输模块；字幕预处理模块对传来的原始字幕数据进行文本还 原，保存等处理后将其发送给视频传输模块。视频传输模块接收到优化后的视频数据和字 幕数据后，根据客户端传来的指令以某种形式将其发送给显示设备。 0070 图6是根据本发明实施例二的移动终端视频字幕提取的工作模式流程图，如图6 所示，在图6中描述了使用本优选实施例的移动终端产品视频字幕提取工作流程和逻辑判 断流程，该流程包括如下步骤： 0071 步骤S602，视频传。
27、输模块中的客户端将待处理视频数据发送给该模块其中的视频 说 明 书CN 102883213 A 6/6页 8 输入部分。此类视频数据包括但不限于，摄像头传送来的视频数据，通过网络传送来的流媒 体视频数据，移动终端本地存储的视频数据。视频传输模块的视频输入部分将待处理的视 频通过物理接口发送给视频处理芯片，这些物理接口包括但不限于：SDIO接口，USB接口， 双口RAM，共享内存等。 0072 步骤S604，视频处理芯片接收到待处理的视频数据后，在其内部通过硬件解码的 方式分离视频数据和字幕原始码流。而后，通过物理接口，将分离后的视频数据和字幕原始 码流分别传输给视频预处理模块（S604a）和字。
28、幕预处理模块（S604b）。这些物理接口包括 但不限于：SDIO接口，USB接口，双口RAM，共享内存等。 0073 步骤S606，视频预处理模块接收到分离后的视频数据后，对其进行优化处理，该处 理包括但不限于图像渲染，清晰度增强或视频播放帧率的增减。具体选择何种优化措施会 根据用户指令进行。最终，将优化后的图像发送给视频传输模块。 0074 步骤S608，字幕预处理模块接收到字幕原始码流后，对其进行优化处理。这种处 理包括但不限于字幕的保存，文本还原，格式转换，处理完毕的结果将会发送给视频传输模 块。 0075 步骤S610，视频传输模块将视频预处理模块传来的视频数据和字幕预处理模块传 来的。
29、字幕数据进行接收，而后，根据视频传输模块中的客户端接收用户的控制指令，根据该 指令将视频和字幕数据以相应形式发送给显示设备。 0076 由于以上优点，可见本方案在具有一定创新性的同时，也具有极高的实用价值，对 于产品的易用性和稳定性，以及用户体验，都有很大程度的改善。 0077 在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实 施例中描述的技术方案。 0078 在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该 存储介质包括但不限于光盘、软盘、硬盘、可擦写存储器等。 0079 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用 的。
30、计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成 的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储 在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示 出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或 步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。 0080 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。 说 明 书CN 102883213 A 1/4页 9 图1 图2 图3 说 明 书 附 图CN 102883213 A 2/4页 10 图4 说 明 书 附 图CN 102883213 A 10 3/4页 11 图5 说 明 书 附 图CN 102883213 A 11 4/4页 12 图6 说 明 书 附 图CN 102883213 A 12 。