流媒体播放方法及流媒体播放器.pdf

本发明公开了一种流媒体播放方法及流媒体播放器，该方法包括：接收媒体流；从所述媒体流中分离出音频流，将所述音频流存入音频解码缓存区，对所述音频解码缓存区存储的音频流进行解码，将解码后的音频数据存入音频播放缓存区；从所述媒体流中分离出视频流，将所述视频流存入视频解码缓存区，对所述视频解码缓存区存储的视频流进行解码，将解码后的视频数据存入视频播放缓存区；应用所述音频播放缓存区存储的音频数据及所述视频播放缓存区存储的视频数据进行播放。这样可以减小移动互联网的带宽制约及网络自身稳定性造成的减少丢帧、卡顿等现象，从而影响用户观看体验。

1.  一种流媒体播放方法，其特征在于，包括：
接收媒体流；
从所述媒体流中分离出音频流，将所述音频流存入音频解码缓存区，对所 述音频解码缓存区存储的音频流进行解码，将解码后的音频数据存入音频播放 缓存区；
从所述媒体流中分离出视频流，将所述视频流存入视频解码缓存区，对所 述视频解码缓存区存储的视频流进行解码，将解码后的视频数据存入视频播放 缓存区；
应用所述音频播放缓存区存储的音频数据及所述视频播放缓存区存储的 视频数据进行播放。

2.  根据权利要求1所述的方法，其特征在于，
如果所述音频缓存区的存储量大于第一值，则对所述音频缓存区中的音频 流进行音频解码；
如果所述音频缓存区的存储量大于第二值，则将所述音频缓存区清空；
其中，所述第一值小于所述第二值。

3.  根据权利要求1所述的方法，其特征在于，还包括：
根据当前正在解码的音频帧的时间戳及首帧的时间戳确定当前帧时差，根 据将当前系统时间及首帧时的系统时间确定当前标准时差；
对所述音频缓存区中的音频流进行音频解码时，如果当前帧时差与当前标 准时差的差值大于第三值，则将所述音频缓存区清空。

4.  根据权利要求1所述的方法，其特征在于，还包括：
根据当前解码速率与当前帧速率的比较结果，对所述视频解码缓存区存储 的视频流进行处理；
或者，根据所述视频解码缓存区存储的数据量与当前帧速率的比较结果， 对所述视频解码缓存区存储的视频流进行处理。

5.  根据权利要求4所述的方法，其特征在于，所述根据当前视频解码速 率与当前帧速率的比较结果，对所述视频解码缓存区存储的视频流进行处理包 括：
根据当前正在解码的音频帧的时间戳及首帧的时间戳确定当前帧时差，根 据将当前系统时间及首帧时的系统时间确定当前标准时差；
确定当前帧时差与当前标准时差的差值；
根据所述差值及当前解码速率，对所述视频解码缓存区存储的视频流进行 处理。

6.  根据权利要求1所述的方法，其特征在于，
根据公式：实际的休眠时间=（帧时间差-上一帧绘制时间）*休眠系数， 确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。

7.  一种流媒体播放器，其特征在于，包括：
网络接收模块，用于接收媒体流；
音频分离模块，用于从所述媒体流中分离出音频流，将所述音频流存入音 频解码缓存区，对所述音频解码缓存区存储的音频流进行解码，将解码后的音 频数据存入音频播放缓存区；
视频分离模块，用于从所述媒体流中分离出视频流，将所述视频流存入视 频解码缓存区，对所述视频解码缓存区存储的视频流进行解码，将解码后的视 频数据存入视频播放缓存区；
播放模块，用于应用所述音频播放缓存区存储的音频数据及所述视频播放 缓存区存储的视频数据进行播放。

8.  根据权利要求7所述的播放器，其特征在于，还包括：
第一控制模块，用于如果所述音频缓存区的存储量大于第一值，则对所述 音频缓存区中的音频流进行音频解码；如果所述音频缓存区的存储量大于第二 值，则将所述音频缓存区清空；其中，所述第一值小于所述第二值；
第二控制模块，用于根据当前正在解码的音频帧的时间戳及首帧的时间戳 确定当前帧时差，根据将当前系统时间及首帧时的系统时间确定当前标准时 差；对所述音频缓存区中的音频流进行音频解码时，如果当前帧时差与当前标 准时差的差值大于第三值，则将所述音频缓存区清空。

9.  根据权利要求7所述的播放器，其特征在于，还包括：
第三控制模块，用于根据当前解码速率与当前帧速率的比较结果，对所述 视频解码缓存区存储的视频流进行处理；
或者，所述第三控制模块，用于根据所述视频解码缓存区存储的数据量与 当前帧速率的比较结果，对所述视频解码缓存区存储的视频流进行处理。

10.  根据权利要求7所述的播放器，其特征在于，
所述播放模块根据公式：实际的休眠时间=（帧时间差-上一帧绘制时间） *休眠系数，确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。

流媒体播放方法及流媒体播放器
技术领域
本发明涉及计算机领域，特别涉及一种流媒体播放方法及流媒体播放器。
背景技术
随着移动互联网技术的发展，越来越多的人开始逐步远离笨重的电视、电 脑，将日常生活中的媒体需求逐步向移动设备迁移。移动终端设备相对于传统 电脑，移动终端有着轻便、便捷等优势。移动流媒体播放技术，广泛使用于移 动终端设备。
但是，受移动互联网的带宽制约及网络自身稳定性影响，移动终端播放流 媒体时常出现丢帧、卡顿等现象，影响用户观看体验。
发明内容
本发明实施例提供一种流媒体播放方法及流媒体播放器，能够增强用户观 看体验。
本发明实施例采用如下技术方案：
一种流媒体播放方法，包括：
接收媒体流；
从所述媒体流中分离出音频流，将所述音频流存入音频解码缓存区，对所 述音频解码缓存区存储的音频流进行解码，将解码后的音频数据存入音频播放 缓存区；
从所述媒体流中分离出视频流，将所述视频流存入视频解码缓存区，对所 述视频解码缓存区存储的视频流进行解码，将解码后的视频数据存入视频播放 缓存区；
应用所述音频播放缓存区存储的音频数据及所述视频播放缓存区存储的 视频数据进行播放。
可选的，如果所述音频缓存区的存储量大于第一值，则对所述音频缓存区 中的音频流进行音频解码；如果所述音频缓存区的存储量大于第二值，则将所 述音频缓存区清空；其中，所述第一值小于所述第二值。
可选的，还包括：
根据当前正在解码的音频帧的时间戳及首帧的时间戳确定当前帧时差，根 据将当前系统时间及首帧时的系统时间确定当前标准时差；
对所述音频缓存区中的音频流进行音频解码时，如果当前帧时差与当前标 准时差的差值大于第三值，则将所述音频缓存区清空。
可选的，还包括：
根据当前解码速率与当前帧速率的比较结果，对所述视频解码缓存区存储 的视频流进行处理；
或者，根据所述视频解码缓存区存储的数据量与当前帧速率的比较结果， 对所述视频解码缓存区存储的视频流进行处理。
可选的，所述根据当前视频解码速率与当前帧速率的比较结果，对所述视 频解码缓存区存储的视频流进行处理包括：
根据当前正在解码的音频帧的时间戳及首帧的时间戳确定当前帧时差，根 据将当前系统时间及首帧时的系统时间确定当前标准时差；
确定当前帧时差与当前标准时差的差值；
根据所述差值及当前解码速率，对所述视频解码缓存区存储的视频流进行 处理。
可选的，根据公式：实际的休眠时间=（帧时间差-上一帧绘制时间）* 休眠系数，确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。
一种流媒体播放器，包括：
网络接收模块，用于接收媒体流；
音频分离模块，用于从所述媒体流中分离出音频流，将所述音频流存入音 频解码缓存区，对所述音频解码缓存区存储的音频流进行解码，将解码后的音 频数据存入音频播放缓存区；
视频分离模块，用于从所述媒体流中分离出视频流，将所述视频流存入视 频解码缓存区，对所述视频解码缓存区存储的视频流进行解码，将解码后的视 频数据存入视频播放缓存区；
播放模块，用于应用所述音频播放缓存区存储的音频数据及所述视频播放 缓存区存储的视频数据进行播放。
可选的，还包括：
第一控制模块，用于如果所述音频缓存区的存储量大于第一值，则对所述 音频缓存区中的音频流进行音频解码；如果所述音频缓存区的存储量大于第二 值，则将所述音频缓存区清空；其中，所述第一值小于所述第二值；
第二控制模块，用于根据当前正在解码的音频帧的时间戳及首帧的时间戳 确定当前帧时差，根据将当前系统时间及首帧时的系统时间确定当前标准时 差；对所述音频缓存区中的音频流进行音频解码时，如果当前帧时差与当前标 准时差的差值大于第三值，则将所述音频缓存区清空。
可选的，还包括：
第三控制模块，用于根据当前解码速率与当前帧速率的比较结果，对所述 视频解码缓存区存储的视频流进行处理；
或者，所述第三控制模块，用于根据所述视频解码缓存区存储的数据量与 当前帧速率的比较结果，对所述视频解码缓存区存储的视频流进行处理。
可选的，所述播放模块根据公式：实际的休眠时间=（帧时间差-上一帧 绘制时间）*休眠系数，确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。
基于上述技术方案，本发明实施例的流媒体播放方法及流媒体播放器，将 音频流存入音频解码缓存区，将视频流存入视频解码缓存区，并将解码后的音 频流存入音频播放缓存区，将解码后的视频流存入视频播放缓存区，应用音频 播放缓存区存储的音频数据及视频播放缓存区存储的视频数据进行播放。这样 可以减小移动互联网的带宽制约及网络自身稳定性造成的减少丢帧、卡顿等现 象，从而影响用户观看体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种流媒体播放方法的流程图；
图2为本发明实施例2提供的一种流媒体播放方法的流程图；
图3为本发明实施例3提供的一种流媒体播放器的结构示意图；
图4为本发明实施例3提供的另一种流媒体播放器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描 述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实 施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例提供一种流媒体播放方法，该方法可以由流媒体播 放器实现，该方法包括：
11、接收媒体流。
具体地，流媒体播放器可以接收头端设备或流媒体服务器发送的媒体流。
12、从所述媒体流中分离出音频流，将所述音频流存入音频解码缓存区， 对所述音频解码缓存区存储的音频流进行解码，将解码后的音频数据存入音频 播放缓存区。
13、从所述媒体流中分离出视频流，将所述视频流存入视频解码缓存区， 对所述视频解码缓存区存储的视频流进行解码，将解码后的视频数据存入视频 播放缓存区。
14、应用所述音频播放缓存区存储的音频数据及所述视频播放缓存区存储 的视频数据进行播放。
本实施例中上述12、13可以变换执行顺序，也可以同时执行。
本实施例的方法，将音频流存入音频解码缓存区，将视频流存入视频解码 缓存区，并将解码后的音频流存入音频播放缓存区，将解码后的视频流存入视 频播放缓存区，应用音频播放缓存区存储的音频数据及视频播放缓存区存储的 视频数据进行播放。这样可以减小移动互联网的带宽制约及网络自身稳定性造 成的减少丢帧、卡顿等现象，从而影响用户观看体验。
实施例2
本实施例在不降低用户体验的情况下，降低对网络带宽的依赖，用户无需 为获得更高质量的媒体服务而提高网络使用成本，通过对播放流程的优化，降 低CPU使用率和内存的占用率。充分考虑到移动应用的效率优化，在保证流 畅性的同时，通过插针算法弥补由于网络带宽和稳定性造成的播放抖动。
本实施例中，建立基于本地系统时间的时间轴，这条时间轴是整个播放器 工作的依据，记录播放第一帧数据（首帧）时的系统时间和媒体流时间戳，对 每一帧数据做处理时进行差值比较，即将当前系统时间减去首帧系统时间得到 标准时差，将当前时间戳减去首帧时间戳得到帧时差，将标准时差与帧时差进 行对比，得到当前播放的帧的误差，通过对误差值的大小进行判断，对媒体流 进行播放控制，从而达到理想的输出效果。
本实施例关注网络接收、视频解码与播放所消耗的时间，通过对这些时间 的统计，动态调整每一次接收、解码及播放的时间间隔，尽可能的利用有限的 CPU、内存等资源，提供相对优质的媒体质量。
如图2所示，本实施例提供一种流媒体播放方法，该方法可以由流媒体播 放器实现，该方法包括：
21、接收媒体流。
具体地，流媒体播放器可以接收头端设备或流媒体服务器发送的媒体流。
本实施例中，当连续两次循环都收到媒体流时，判定当前网络状况良好， 这时仅需要让网络模块不停地工作即可；当本次循环于上次循环都没有收到媒 体流时，判定当前网络存在抖动，此时让网络模块挂起一段时间（一般1-10ms）， 将硬件资源更多的分配到其它功能点上。
22、从所述媒体流中分离出音频流，将所述音频流存入音频解码缓存区， 对所述音频解码缓存区存储的音频流进行解码，将解码后的音频数据存入音频 播放缓存区。
其中，音频播放缓存区的大小可以根据不同的应用场景进行确定，音频播 放缓存区越大，音频播放效果越好，但同时会降级音频播放的实时性。本实施 例中，音频解码缓存区的大小设置为0-2s的音频数据量。
23、从所述媒体流中分离出视频流，将所述视频流存入视频解码缓存区， 对所述视频解码缓存区存储的视频流进行解码，将解码后的视频数据存入视频 播放缓存区。
24、从所述音频播放缓存区获取音频数据，从所述视频播放缓存区获取视 频数据，将获取的音频数据与获取的视频数据进行对应播放。
本实施例中上述22、23可以变换执行顺序，也可以同时执行。
可选的，如果所述音频缓存区的存储量大于第一值，则对所述音频缓存区 中的音频流进行音频解码；如果所述音频缓存区的存储量大于第二值，则将所 述音频缓存区清空；其中，所述第一值小于所述第二值。
例如，第一值为0.5s的音频数据量，第一值为2s的音频数据量。当音频 缓存区的数据达到可以播放0.5s的数据量时，启动音频解码。音频解码缓存区 的数据达到可播放2s的数据量时，启动音频解码缓冲的丢帧逻辑。
为了保证音频播放的实时性，在丢掉未解码的音频帧时，选择将整个音频 音频缓存区清空，这样既能保证音频播放的实时性，又能最大限度的保证音频 的流畅性。
本实施例中，可选的对所述音频缓存区中的音频流进行音频解码时，如果 当前帧时差与当前标准时差的差值大于第三值，则将所述音频缓存区清空。
例如，该第三值设置为3S，如果当前音频的帧时差与标准时差的差值超过 3s，将音频解码缓存区的数据清空，保证音频播放的实时性。
本实施例中，根据当前正在解码的音频帧的时间戳及首帧的时间戳确定当 前帧时差，即当前帧时差=前正在解码的音频帧的时间戳-首帧的时间戳，其中 首帧指播放的第一帧数据。
根据将当前系统时间及首帧时的系统时间确定当前标准时差，当前标准时 差=当前系统时间-首帧时的系统时间，其中首帧指播放的第一帧数据。
本实施例中，可以根据所述视频解码缓存区存储的数据量与当前帧速率的 比较结果，对所述视频解码缓存区存储的视频流进行处理。
例如，如果视频解码缓存区内的数据小于0.5倍的当前帧速率，判断当前 的解码效率优秀，不对所述视频解码缓存区存储的视频流进行处理。
本实施例中，还可以根据当前解码速率与当前帧速率的比较结果，对所述 视频解码缓存区存储的视频流进行处理。具体地，确定当前帧时差与当前标准 时差的差值；根据所述差值及当前解码速率，对所述视频解码缓存区存储的视 频流进行处理。
例如，当视频解码模块每秒钟的解码数量（当前解码速率）大于0.5倍小 于0.8倍的FPS（帧速率）时，判定当前解码效率不足以支撑正常的播放，可 能会带来较大的视频延时，此时需要进行播放控制。将当前解码的帧时差与标 准时差进行比较，如果这个差值小于1s，暂时不需要进行干预；如果这个时差 在1-3s之间，则丢弃当前处于解码缓存区前端的所有非关键帧数据，从下一个 关键帧开始进行解码。如果这个差值大于3s，判定解码效率严重不足，此时进 行大量的丢帧，直到当前一个关键帧的帧时差与标准时差的差值小于0.5s时， 再进行正常的解码。
当视频解码模块每秒钟的解码数量（当前解码速率）小于0.5倍的FPS（帧 速率）时，判定解码效率严重不足，丢弃当前处于解码缓存区前端的所有非关 键帧数据，从下一个关键帧开始进行解码。
本实施例中，可选的，根据公式：实际的休眠时间=（帧时间差-上一帧 绘制时间）*休眠系数，确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。
帧时间差为视频的固有属性，不同的视频文件的帧时间差也不同，例如当 前视频文件每秒钟要求播放25帧，则这个帧时间差就是1000ms/25=40ms。
上一帧绘制时间可以运行过程中运算得到，即在绘制当前画面前纪录一个 系统时间，在画面绘制完成后再纪录一个系统时间，计算这两个系统时间的差 值，得出当次绘制图像实际的时间开销。不同的操作系统，不同的硬件配置， 绘制时间也不同。
经过以上公式计算出来的时间两帧播放间隔时间相对于单纯依靠固定时 间戳来计算播放时间而言，能够提高的播放的准确性，减少丢帧的可能性。
本实施例的方法，将音频流存入音频解码缓存区，将视频流存入视频解码 缓存区，并将解码后的音频流存入音频播放缓存区，将解码后的视频流存入视 频播放缓存区，应用音频播放缓存区存储的音频数据及视频播放缓存区存储的 视频数据进行播放。这样可以减小移动互联网的带宽制约及网络自身稳定性造 成的减少丢帧、卡顿等现象，从而影响用户观看体验。
实施例3
如图3所示，本实施例提供一种流媒体播放器，包括：
网络接收模块31，用于接收媒体流；
音频分离模块32，用于从所述媒体流中分离出音频流，将所述音频流存入 音频解码缓存区，对所述音频解码缓存区存储的音频流进行解码，将解码后的 音频数据存入音频播放缓存区；
视频分离模块33，用于从所述媒体流中分离出视频流，将所述视频流存入 视频解码缓存区，对所述视频解码缓存区存储的视频流进行解码，将解码后的 视频数据存入视频播放缓存区；
播放模块34，用于应用所述音频播放缓存区存储的音频数据及所述视频播 放缓存区存储的视频数据进行播放。
如图4所示，可选的，该播放器还包括：
第一控制模块35，用于如果所述音频缓存区的存储量大于第一值，则对所 述音频缓存区中的音频流进行音频解码；如果所述音频缓存区的存储量大于第 二值，则将所述音频缓存区清空；其中，所述第一值小于所述第二值；
第二控制模块36，用于根据当前正在解码的音频帧的时间戳及首帧的时间 戳确定当前帧时差，根据将当前系统时间及首帧时的系统时间确定当前标准时 差；对所述音频缓存区中的音频流进行音频解码时，如果当前帧时差与当前标 准时差的差值大于第三值，则将所述音频缓存区清空。
如图4所示，可选的，该播放器还包括：
第三控制模块37，用于根据当前解码速率与当前帧速率的比较结果，对所 述视频解码缓存区存储的视频流进行处理；
或者，第三控制模块37，用于根据所述视频解码缓存区存储的数据量与当 前帧速率的比较结果，对所述视频解码缓存区存储的视频流进行处理。
可选的，播放模块34根据公式：实际的休眠时间=（帧时间差-上一帧 绘制时间）*休眠系数，确定所述播放缓存区中相邻两帧播放的间隔时间；
其中，实际的休眠时间为相邻两帧播放的间隔时间，上一帧绘制时间为绘 制上一帧所用时间，休眠系数=（最大容错时间-误差时间）/最大容错系数； 误差时间=标准时差-帧时差，最大容错系数表示音频与视频的最大误差时间。
帧时间差为视频的固有属性，不同的视频文件的帧时间差也不同，例如当 前视频文件每秒钟要求播放25帧，则这个帧时间差就是1000ms/25=40ms。
上一帧绘制时间可以运行过程中运算得到，即在绘制当前画面前纪录一个 系统时间，在画面绘制完成后再纪录一个系统时间，计算这两个系统时间的差 值，得出当次绘制图像实际的时间开销。不同的操作系统，不同的硬件配置， 绘制时间也不同。
本实施例的播放器可以实现上述方法实施例，详细实现过程请参阅上述方 法实施例，此处不赘述。
本实施例的播放器，将音频流存入音频解码缓存区，将视频流存入视频解 码缓存区，并将解码后的音频流存入音频播放缓存区，将解码后的视频流存入 视频播放缓存区，应用音频播放缓存区存储的音频数据及视频播放缓存区存储 的视频数据进行播放。这样可以减小移动互联网的带宽制约及网络自身稳定性 造成的减少丢帧、卡顿等现象，从而影响用户观看体验。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。