使用移动通信终端中的输出缓冲的多媒体再现装置和方法.pdf

一种移动通信终端中的多媒体再现装置，包括：数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；视频数据处理部分，用于解码所分析的视频数据；媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信息对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；视频数据输出部分，用于读取和输出所述视频数据；和同步部分，用于同步和输出所述视频数据。

1.  一种在移动通信终端中使用输出缓冲的多媒体再现装置，所述装置包括：
数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；
视频数据处理部分，用于按照帧对从所述数据分析部分发送的分析视频数据进行解码，并且对预定数量的解码的数据的视频帧进行缓冲；
媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；
音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；
视频数据输出部分，用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据；和
同步部分，用于根据所述媒体延迟输出控制器的同步信号，同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。

2.  如权利要求1所述的多媒体再现装置，其中所述视频数据处理部分包括：
视频控制器，用于按照帧输出从所述数据分析部分接收的已分析的视频数据；
视频解码器；用于对通过所述视频控制器对按照帧接收的视频数据按照帧进行解码；和
缓冲器，用于缓冲预定数量的已解码的视频数据的视频帧，并当已经缓冲了预定数量的视频帧时，向所述视频控制器发送缓冲结束信号，所述视频控制器根据从所述缓冲器接收的缓冲结束信号向所述媒体延迟输出控制器发送缓冲信息。

3.  如权利要求1所述的多媒体再现装置，其中所述媒体延迟输出控制器的同步信号是时间信息。

4.  如权利要求1所述的多媒体再现装置，其中缓冲了预定数量的视频帧，从而按视频帧的预定和缓冲数量的平均解码时间来输出所述视频数据。

5.  如权利要求1所述的多媒体再现装置，其中所述多媒体数据是韩国第三代类型的数据。

6.  如权利要求1所述的多媒体再现装置，其中所述多媒体数据是第三代伙伴计划类型的数据。

7.  如权利要求1所述的多媒体再现装置，其中所述多媒体数据是第三代伙伴计划2类型的数据。

8.  如权利要求1所述的多媒体再现装置，其中所述多媒体数据是实时传输协议类型的数据。

9.  一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法，所述控制方法包括步骤：
(1)在所述移动通信终端中，接收所述多媒体数据，将多媒体数据划分为视频数据和其它数据，并分别分析所述视频数据和其它数据；
(2)存储在步骤(1)分析的视频数据的视频帧起始地址，按照帧解码所述视频数据，并缓冲预定数量的视频帧；
(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的一样多的视频帧之后，输出在步骤(1)分析的其它数据；
(4)按照帧解码和输出音频数据，其中音频数据包含在步骤(3)中输出的数据中，以及根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧；和
(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。

10.  如权利要求9所述的控制方法，还包括步骤(6)：当在步骤(2)已经缓冲了预定数量的视频帧时，产生缓冲结束控制信号，发送所述缓冲结束控制信号，并且控制要被执行的步骤(3)的延迟处理。

11.  如权利要求9所述的控制方法，其中缓冲和输出所述预定数量的视频帧，从而按视频帧的预定和缓冲数量的平均解码时间来输出所述视频帧。

12.  如权利要求9所述的控制方法，其中，在步骤(5)，当在步骤(4)输出的视频帧和音频帧的时间信息不互相对应时，具有先前时间信息的帧等待所述视频帧和音频帧中的其他帧，从而执行同步。

使用移动通信终端中 的输出缓冲的多媒体再现装置和方法
技术领域
本发明涉及一种移动通信终端中的多媒体再现装置。
背景技术
通常，在朝着高度面向信息社会的发展中，信息和通信作为社会基础结构其重要性日益增加，并且通信服务重要性的中心正从传统有线通信移动到无线通信，无线通信将重要性注重在移动。另外，一个将因特网和移动通信联合、被称作无线互联网的新市场正以高速发展。
如上所述，随着用户对信息和通信的依赖的巨大增加，以及无线通信技术的提高，第一代模拟系统已经变成第二代数字系统，现在正在研发一种致力于数据通信的第三代移动通信(IMI-2000)。
那样的第三代移动通信系统不仅提供话音还提供诸如电视会议、因特网服务等的宽带多媒体服务。另外，第三代系统在办公环境中提供最大值达到2Mbps的数据服务，从而提供真正的无线多媒体服务。
为了在第三代移动通信系统中实现多媒体服务，以MPEG-4的类型来执行发送和接收。MPEG-4是一种减小多媒体文件大小的标准技术，以便能够向计算机、移动通信终端、TV机顶盒等以更高速度提供双向视频服务，并且对于2.5代和第三代的移动通信终端，能够应用于诸如普通广播、因特网广播、电影和包括图像的游戏的所有类型的多媒体数据。
在上述的第三代移动通信终端中，多媒体数据的再现功能是必需的。然而，多媒体服务具有数据量巨大并需要大量计算的特点。另外，因为存在各种各样的规范，例如第三代伙伴计划(3GPP)、第三代伙伴计划2(3GPP2)、韩国3代(K3G)、实时传输协议(RTP)，因此需要根据各种规范的不同的解码器。尤其是，视频数据以低速处理并且在帧之间的位数具有较大差异的情况下。因此，为了解码视频数据，多媒体服务需要比指定要求(也就是多个帧的平均处理时间)的处理容量至少两倍或三倍长的处理容量，从而可以处理瞬间增加的帧(例如内部帧)。
图1是图解说明传统移动通信终端的示例的方框图。在图1所示的该移动通信终端中，控制器100处理和控制各种各样的功能，包括简短信息服务(SMS)、电话呼叫和无线因特网连接。移动通信终端包括多媒体再现装置，该多媒体再现装置在本发明中用于执行多媒体再现操作。
存储器102包括：只读存储器(ROM)，其中存储了用于处理和控制控制器100的程序的微代码和各种参考数据；随机存取存储器(RAM)，被提供用作控制器100的工作存储器；以及闪存RAM，提供用于存储包括多媒体数据的各种可更新的存储数据的区。与控制器100连接的话音处理部分104通过麦克风和扬声器处理电话呼叫、话音记录、输入的报警输出等。显示部分106显示所接收的数据和当前显示所需要的信息。
更具体的，在本发明中，话音处理部分104和显示部分106执行话音处理和用于再现多媒体数据的话音处理。键输入部分108包括数字键“0”到“9”以及多个功能键，包括“菜单”、“发送”、“删除”、“结束”、“*”、“#”、和“音量”，并且向控制器100提供对应于由用户所按的键的键输入数据。无线电部分110通过天线向收发器基站(BTS)发送无线电信号和从收发器基站接收无线电信号。
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例。这里，虽然以K3G型多媒体再现装置为例，但是描述也同样适用于对其他格式的多媒体数据进行解码的其他多媒体再现装置，例如3GPP、3GPP2等。
参考图2，移动通信终端的多媒体再现装置包括：K3G型分析器202，用于将多媒体数据201的首标文件分析为K3G格式；媒体控制器203，用于将所分析的信息划分成视频数据和音频数据，向解码器发送具有相应控制信息的划分的数据，并输出同步信号，以便使视频数据与音频数据相互同步；用于解码视频数据的MPEG4(运动图像专家组4)视频解码器204和H.263解码器205；MPEG4 AAC(高级音频编码)解码器206；EVRC(增强可变频率编码)解码器207；用于解码音频数据的MIDI解码器208；视频同步部分210，用于根据媒体控制器203的同步信号而输出解码的视频信号，从而与音频信息同步而输出解码的视频信号；以及音频同步部分211，用于根据媒体控制器203的同步信号而输出解码的音频信息，从而与视频信息同步而输出解码的音频信息。
当使用那样的多媒体再现装置进行移动通信终端的多媒体输出时，因为各个媒体数据需要彼此不同的解码时间，因此用于同步它们的方法和用于提供最佳的输出临界时间的方法正变成重要的问题。尤其是，从不具有许多资源的移动通信终端中的资源的有效使用地观点来看，考虑视频数据与音频数据之间的解码时间差来确定输出临界时间是重要的主题。
首先，参考图3和4来描述对于每一帧的处理时间与输出临界时间之间的关系。通常，因为音频帧的解码时间比视频帧的解码时间短得多，所以仅考虑视频帧的解码处理就足够了。因此，下面的描述将集中于视频帧的处理。
图3图解说明了当输出临界时间被设定为100微秒时对于每帧类别的解码定时，图4图解说明了根据视频帧的视频解码处理所需的时间分布。参考图解说明了每一帧的解码时间的图3，视频数据被分类为内部帧302和中间帧301、303和304，所述内部帧需要将被解码的整个屏幕，所述中间帧需要将被解码的变化部分屏幕。应当注意，音频帧的解码时间比视频帧的解码时间少得多。而且，在100毫秒的输出临界时间中，中间帧和音频帧的占用时间较短，而平均每10帧就产生一次的内部帧的占用时间较长。因此，在具有有限资源的移动通信终端中，必须有效地减少图3中用“a”指定的等待时间。
参考图4，通常，多个帧之间的处理时间的差大约是20毫秒。然而，在用41、42、43和44指定的场景变化部分，此刻相应帧的位数立刻大大地增加，从而它们的解码时间也大大地增加。那样的帧称作内部帧，并且显示帧处理时间之间的差大约是60～100毫秒。因此，为了处理所有帧，必须将输出临界时间设定为大约100毫秒，这是解码时间的最大值。也就是，当在图4中的每个帧的平均解码时间不大于46毫秒时，输出临界时间必须被设定为100毫秒或更多，以便处理具有大约60～100毫秒的处理时间差的内部帧。如图4所示，内部帧不是连续的，并且内部帧的特征是在瞬间峰值之后平坦部分持续一段相当长的期间。在那样的平坦部分中，解码时间是20毫秒左右。使用峰值与平坦部分之间的关系，考虑大约每10个帧出现一个峰值(一个内部帧)。因此，当对于平均每10帧出现一次的内部帧来设定输出临界时间时，在处理其他帧时会增加不必要的资源消耗。因此，需要能够有效利用资源的解决方案。
图5图解说明了在输出临界时间被设定为70毫秒的情况下每帧类别的解码定时。根据图5，可以得知，等待时间“a”与图3相比明显减少，因为输出临界时间被设定为70毫秒。然而，当部分302处理内部帧时，因为输出临界时间较短，在超过由附图标记51表示的临界时间对内部帧解码，从而可能仅有音频输出而没有视频输出。而且，视频和音频之间的同步可能失败，如附图标记52所示。
如上所述，在通过一种减少输出临界时间的方法来减少等待时间从而有效利用移动通信终端的有限资源的情况下，不能满足服务质量(QOS)，服务质量是多媒体再现中最重要的因素之一。因此，在移动通信终端的多媒体数据再现中，要求对能够有效利用资源的方法进行研究。
发明内容
因此，本发明被专门用来解决现有技术中出现的上面和其他问题，并且本发明的一方面是提供一种在移动通信终端中使用输出缓冲的多媒体再现装置和方法，能够通过输出数据的缓冲来有效地利用移动通信终端中的有限资源。
本发明的另一方面是提供一种支持移动通信终端的数据服务中的服务质量的多媒体再现装置和方法。
为了实现上面的和其他方面，提供一种在移动通信终端中使用输出缓冲的多媒体再现装置。所述装置包括：数据分析部分，用于将多媒体数据划分为视频数据和其它数据，并随后对所述视频数据和其它数据进行分析；视频数据处理部分，用于按照帧对从所述数据分析部分发送的分析视频数据进行解码，并且对预定数量的解码的数据的视频帧进行缓冲；媒体延迟输出控制器，用于根据所述视频数据处理部分的缓冲信号对由所述数据分析部分分析和发送的其它数据进行延迟，输出所延迟的数据，并产生同步信号；音频数据处理部分，用于解码和输出从所述媒体延迟输出控制器输出的其它数据中的音频数据；视频数据输出部分，用于通过使用从所述媒体延迟输出控制器输出的其它数据中的控制数据来按照帧读取和输出由所述视频数据处理部分缓冲的视频数据；和同步部分，用于根据所述媒体延迟输出控制器的同步信号，同步和输出从所述视频数据输出部分输出的视频数据和从所述音频数据处理部分输出的音频数据。
根据本发明的另一方面，提供一种在移动通信终端中使用输出缓冲来再现多媒体数据的控制方法。所述控制方法包括步骤：(1)所述移动通信终端接收所述多媒体数据，将多媒体数据划分为视频数据和其它数据，并分别分析所述视频数据和其它数据；(2)存储在步骤(1)分析的视频数据的视频帧起始地址，按照帧解码所述视频数据，并缓冲预定数量的视频帧；(3)在延迟所述其它数据与在步骤(2)缓冲的预定数量的视频帧一样多的其他数据之后，输出在步骤(1)分析的其它数据；(4)按照帧解码和输出其中音频数据包含在步骤(3)中输出的数据中的音频数据，和根据包含在步骤(3)输出的数据中的控制信息输出在步骤(2)中缓冲的视频帧；和(5)根据时间信息同步和输出在步骤(4)输出的视频帧和音频帧。
附图说明
结合附图，通过下列详细的描述，本发明的上面和其它方面、特征、和优点将变得更加明显，其中：
图1是图解说明普通移动通信终端的示例的方框图；
图2图解说明了传统移动通信终端中的多媒体再现装置的实施例；
图3图解说明了在输出临界时间被设定为100ms的情况下对于每种类别的解码定时；
图4图解说明了根据视频帧视频编码处理所需的时间的分布；
图5图解说明了在输出临界时间被设定为70ms的情况下对于每种类别的解码定时；
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置；
图7图解说明了根据对于视频帧的缓冲能力视频解码处理所需的时间的分布；以及
图8图解说明了根据本发明实施例的移动通信终端中的多媒体数据的再现。
具体实施方式
下面将参考附图来详细描述根据本发明优选实施例在移动通信终端中使用输出缓冲进行多媒体再现的装置和方法。注意整个附图中相同的元件使用相同的参考标记。另外，在本发明的下列描述中，当此处并入的已知功能和结构可能使本发明的主题更不清楚时将省略对其的详细描述。
本发明被专门用来解决现有技术中出现的问题，并且本发明有效地利用移动通信终端中的有限资源和对于视频输出使用输出缓冲，从而确保多媒体服务中的服务质量。
图6图解说明了根据本发明实施例的移动通信终端中的多媒体再现装置。这里，虽然以K3G型多媒体再现装置为例，但是该描述对其他多媒体再现装置也同样适用，所述其他多媒体再现装置对诸如3GPP、3GPP2等的其他格式的多媒体数据进行解码。
如图6所示，根据本发明的移动通信终端的多媒体再现装置将多媒体数据601划分为视频部分和剩余的多媒体部分，并且对划分的部分分别进行解码。也就是，根据本发明的移动通信终端的多媒体再现装置包括：视频模块，包括K3G型视频分析器602、视频控制器603、MPEG4视频解码器604、H.263解码器605、源数据缓冲器606、和视频数据输出部分609；剩余的多媒体模块，包括K3G型分析器607、媒体延迟输出控制器608、MPEG4高级音频编码(AAC)解码器610、增强可变速率编码(EVRC)解码器611、和MIDI解码器612；以及输出同步模块，包括视频同步部分613和音频同步部分614。
首先，将多媒体数据601划分为不同的部分，根据数据类型，由用于分析K3G视频型数据的K3G型视频分析器602和用于分析除了视频型数据以外的剩余的多媒体信息(即音频数据)的K3G型分析器607以不同方式对该不同的部分进行编码。
视频控制器603接收所分析的视频数据，并根据帧将所接收的数据输入到MPEG4视频解码器604和H.263解码器605。这时，视频控制器603根据源数据缓冲器606的缓冲信息来确定输入操作。而且，对音频数据的多个帧，而不是音频数据的一个帧进行解码，并且输出视频数据的每一帧，从而视频控制器603向媒体延迟输出控制器608提供视频帧输入信息，因此视频与音频同步。MPEG4视频解码器604和H.263解码器605对视频数据进行解码。
源数据缓冲器606对已经由MPEG4视频解码器604和H.263解码器605解码的预定数量的视频数据帧进行缓冲，并且根据视频数据控制部分609的控制信号按照帧输出视频数据。如上所述，根据本发明的多媒体再现装置对于输出操作之前的预定帧周期执行缓冲操作，而不象传统装置那样在解码数据时输出数据。因此，能够通过使用即使当对于各个帧的解码时间互不相同时平均解码时间也是不变的这一点来减少输出临界时间。即，通过使用每十个帧中仅存在一个需要相对长的解码时间的内部帧并且所述内部帧不连续的特性来输出对于多个帧的平均解码时间，从而因为一个内部帧，能够减少已经被设定为一个大的值的输出临界时间。用根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布视图来描述这个处理，其中在图7中示出了这个分布视图。
图7图解说明了根据对于视频帧的缓冲特性的视频解码处理所需的时间的分布。参考图7，没有缓冲“A”，因为对于各个帧的解码时间之间的差达到最大值97ms，因此对应于那些差，输出临界时间必须被设定为100ms。然而，当有4帧缓冲时，平均解码时间是41ms，并且从缓冲器的输出时间也具有相同的值。因此，能够将输出临界时间减少到50ms。而且，当有6帧缓冲时，平均解码时间是38ms，并且从缓冲器的输出时间具有相同的值。因此，能够将输出临界时间减少到50ms以下。
K3G型分析器607对除了视频数据的控制数据和多媒体数据进行分析，并且媒体延迟输出控制器608输出时间同步信号，以便同步视频数据和音频数据的输出。媒体延迟输出控制器608根据视频控制器603的控制信号按照帧输入除了视频数据的控制数据和多媒体数据。在这种情况下，除了视频数据的控制数据和多媒体数据对于一帧视频数据具有更多的帧，从而一帧视频数据不需要仅一帧不同的多媒体。也就是，在移动通信终端中，视频数据以8fps(帧每秒)的速度发送，而音频数据以25～35fps的速度发送。因此，媒体延迟输出控制器608将缓冲视频数据的时间延迟预定数量的帧，从视频控制器603接收表示源数据缓冲器606已满的信息，并且对应于从缓冲器输出的视频帧的时间信息而输出控制数据和多媒体数据，所述多媒体数据将视频数据从视频源数据中排除在外。
MPEG4 AAC解码器610、EVRC解码器611、和MIDI解码器612对除了视频数据的多媒体数据(即音频数据)进行解码，并将其输出，其中多媒体数据是从媒体延迟输出控制器608提供的。视频数据输出部分609从媒体延迟输出控制器608接收控制信号，从源数据缓冲器606读取视频帧，并输出所读取的视频帧。
根据从媒体延迟输出控制器608输入的时间同步信息，视频同步部分613和音频同步部分614对从视频数据输出部分609输出的视频信息和从MPEG4AAC解码器610、EVRC解码器611、和MIDI解码器612输出的音频信息进行同步，并将其输出。
图8是图解说明在根据本发明实施例的移动通信终端中再现多媒体数据的流程图。参考图8，首先，将多媒体数据输入到根据本发明的移动通信终端的多媒体再现装置(步骤801)。在本发明的实施例中，虽然描述了输入多媒体数据是K3G型的数据情况下，但是本发明同样适用于用于解码诸如3GPP、3GPP2等的其他格式的多媒体数据的其他多媒体再现方法。
接着，分析输入多媒体数据的首标(步骤802)，以便将该数据划分为视频信息和除了视频信息的其他多媒体信息。这里，对于视频信息，存储视频帧的起始地址(步骤803)，并且根据帧对所存储的视频帧进行解码(步骤804)。
接着，缓冲所解码的视频帧(步骤805)。随后，如果缓冲的帧的数量不小于预先定义的缓冲的帧的数量n(步骤806)，则产生缓冲结束信号，并且经历一段预定时间(即输出所缓冲的帧的等待时间)的等待状态(步骤807)，并且在预定时间过后，再次执行步骤806。然而，如果缓冲的帧的数量小于预先定义的缓冲的帧的数量N(步骤806)，则在步骤808确定是否存在另一个缓冲的帧。然后，如果存在任何缓冲的帧，则执行步骤804，如果不存在缓冲的帧，则结束处理。
在分析输入视频流的首标的处理期间，通过使用下列因素来确定缓冲的帧的预先定义的数量N。首先，所编码的帧的大小越大，则确定的数量N就越大，这可以被判断为帧的首标之间的数据的实际大小。数量N可以根据技术的使用而增加，例如直流(DC)和交流(AC)的估计、4运动矢量(4MV)模式、无约束MV等，需要大量的计算，通常增加了图像的压缩比。而且，当考虑在无线环境中使用例如Resync标记器、数据划分等的误差弹性技术时，可能增加数量N，其中在无线环境中大量的误差是在视频CODEC中产生的。根据大量的试验，确定那些因素可能使数量N每个因素增加0.5。
使用除了视频信息以外的其他媒体信息，存储有关各个媒体的控制信息(步骤809)，按照帧将控制信息和数据发送到解码器610到612和视频数据输出部分609(步骤810)。
接着，解码器610到612根据时间信息按照帧对音频数据进行解码(步骤813)并且输出音频帧(步骤814)。而且，视频数据输出部分609根据时间信息从缓冲器读取视频帧(步骤811)，并且根据时间信息输出所读取的视频帧(步骤812)。
随后，根据时间信息确定在步骤812和814中执行的视频帧和音频帧的输出是否彼此同步(步骤815)。如果同步，则将视频信号和音频信息输出到每个输出部分(例如，显示部分106和声音处理部分104)(步骤816)，并且重复这个处理直到最后一帧(步骤817)。
然而，当根据时间信息确定在步骤812和814执行的视频帧和音频帧的输出不互相同步时(步骤815)，视频帧或音频帧必须等待同步(步骤818)，并且随后使视频帧或音频帧彼此同步，并将其输出(步骤816和817)。
根据上面描述的本发明，当再现移动通信终端的多媒体数据时，对输出数据进行缓冲，从而可以有效地使用移动通信终端的有限资源。而且，本发明具有支持服务质量同时使用很少的资源来提供移动通信终端的多媒体数据的效果。
可以将根据本发明的上述方法实现为程序并将其存储在记录介质(CDROM、RAM、软盘、硬盘、磁光盘等)上作为能够由计算机读取的格式。
虽然已经参考本发明的某些优选实施例示出和描述了本发明，但是本领域的技术人员应当理解，在不背离由所附权利要求定义的本发明的精神和范围的情况下，可以对其在形式和细节上做出各种变化。因此，本发明的范围不由上面的实施例所限定，而由权利要求及其等效物限定。