于网络游戏中进行实时影音会谈的方法、系统及储存媒体 (1)技术领域
本发明有关一种影音会谈的方法，特别是有关一种于网络游戏中进行实时影音会谈的方法。
(2)背景技术
一般网络游戏的系统架构是以一网络游戏服务器及多个网络游戏客户端的架构为主，网络游戏服务器用以处理及保存由游戏客户端传来的数据，游戏客户端则用以显示游戏的画面及使用者与网络游戏间的互动。换言之，所有网络游戏客户端的数据均送至网络游戏服务器进行处理及运算。而实时影音会谈是利用游戏客户端计算机上的摄影机及麦克风，通过网络传送实时影音数据，以便与其它网络游戏客户端进行会谈。
现行的网络游戏的系统架构无法支持于网络游戏中同时进行实时影音会谈的功能，其主要技术困难有三。其一，当网络游戏以三度空间动画独占屏幕画面时，便无法再显示实时视讯画面，现行的视讯数据处理技术无法在三度空间动画独占屏幕画面时，同时显示实时视讯画面。其二，视讯与音讯数据的编译码及传输若均以网络游戏服务器进行，则其负担(load)及频宽(band width)均无法负荷，相对地影响网络游戏执行的速度。其三，实时视讯画面与实时音讯若无法达到同步则影响实时影音会谈的效果。因此，目前的网络游戏并不支持于网络游戏中同时进行实时影音会谈的功能。
(3)发明内容
有鉴于此，本发明的目的就在于以网络游戏客户端与网络游戏客户端间建立网络传输信道的方式，将实时影音数据于网络游戏客户端进行压缩编码及封装工作，并传输至其它网络游戏客户端。而接收到实时影音数据的网络游戏客户端，便进行影音数据译码，并配合「同时支持实时视讯流及三度空间动画」模块，使得当网络游戏以三度空间动画独占屏幕画面时，还可同时显示实时视讯画面，另以声卡通过耳机、喇叭支持播放音讯数据。
「同时支持实时视讯流及三度空间动画」模块是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，达到同时显示的目的。
为实现上述目的，本发明提出一种于网络游戏进行实时影音会谈的方法。首先，于网络游戏进行前，于网络游戏客户端之间建立网络传输信道，此网络传输信道并不经过网络游戏服务器，再执行网络游戏并连接至游戏服务器。网络传输信道的建立是由网络游戏客户端，根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端地网络地址，通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端，再由被指定的网络游戏客户端根据接续要求建立网络传输信道。
接着，于网络游戏客户端撷取实时视讯数据以及实时音讯数据。将实时视讯数据压缩编码为视讯数据框架，将实时音讯数据压缩编码为音讯数据框架，封装视讯数据框架以及音讯数据框架为网络传输封包。然后，通过网络传输信道，将网络传输封包传送至其它网络游戏客户端。
当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时，实时音讯数据的优先权高于实时视讯数据，也就是网络传输封包会以实时音讯数据为优先考虑。另外，在网络传输封包中会加入时间卷标，作为实时视讯数据以及实时音讯数据同步的依据。
最后，接收网络传输封包的网络游戏客户端会将网络传输封包译码为视讯数据以及音讯数据，根据时间卷标同步显示视讯数据及播放音讯数据，达成于网络游戏中同时进行实时影音会谈的目的。显示视讯数据是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，达到同时显示的目的。
其次，本发明提出一种于网络游戏进行实时影音会谈的系统，包括网络游戏服务器以及多个网络游戏客户端。网络游戏服务器执行网络游戏主程序。网络游戏客户端，包括欲进行实时影音会谈的网络游戏客户端以及网络传输信道，网络游戏客户端与网络游戏服务器连接以进行网络游戏，网络传输信道连接欲进行实时影音会谈的网络游戏客户端。
影音会谈传送方的网络游戏客户端包括实时数据撷取器、数据编码器、网络传输封装器以及网络传输器。实时数据撷取器，用以于网络游戏客户端撷取实时视讯数据以及实时音讯数据。数据编码器用以将实时视讯数据压缩编码产生视讯数据框架，以及将实时音讯数据压缩编码产生音讯数据框架。网络传输封装器，封装视讯数据框架以及音讯数据框架为网络传输封包。网络传输器，通过网络传输信道，将网络传输封包传送至接收网络游戏客户端。
网络传输信道的建立是由网络游戏客户端，根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端的网络地址，通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端，再由被指定的网络游戏客户端根据接续要求建立网络传输信道。当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时，实时音讯数据的优先权高于实时视讯数据，也就是网络传输封包会以实时音讯数据为优先考虑。另外，在网络传输封包中会加入时间卷标，作为实时视讯数据以及实时音讯数据同步的依据。
影音会谈接收方的网络游戏客户端包括数据译码器以及影音播放器。数据译码器用以将网络传输封包译码为实时视讯数据以及实时音讯数据。影音播放器，会将网络传输封包译码为视讯数据以及音讯数据，根据时间卷标同步显示视讯数据及播放音讯数据。显示视讯数据是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，达到同时显示的目的。
另外，本发明提出一种于网络游戏进行实时影音会谈的方法，其适用于网络游戏客户端。网络游戏客户端联机至网络游戏服务器，以执行网络游戏并显示游戏画面至显示器上。首先，在网络游戏执行前，建立网络传输信道至外部网络游戏客户端，再执行网络游戏并连接至游戏服务器，网络传输信道不经过游戏服务器。
接着，利用实时数据撷取器，撷取实时视讯数据和实时音讯数据。并压缩编码实时视讯数据和实时音讯数据产生网络传输封包。然后，通过网络传输信道，传送网络传输封包至外部网络游戏客户端
网络传输信道的建立是由网络游戏客户端，根据通讯簿指定或直接指定外部网络游戏客户端的网络地址，通讯簿可包括所有外部网络游戏客户端的网络地址。网络游戏客户端发出接续要求至指定的网络游戏客户端，再由被指定的网络游戏客户端根据接续要求建立网络传输信道。当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时，实时音讯数据的优先权高于实时视讯数据，也就是网络传输封包会以实时音讯数据为优先考虑。另外，在网络传输封包中会加入时间卷标，作为实时视讯数据以及实时音讯数据同步的依据。
最后，网络游戏客户端通过所述网络传输信道，接收来自外部网络游戏客户端的网络传输封包。并将网络传输封包解压缩/译码产生实时视讯数据和实时音讯数据。最后，在网络游戏执行中，根据时间卷标同步播放实时音讯数据及显示实时视讯数据于游戏画面中。显示实时视讯数据是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，达到同时显示的目的。
另外，本发明提出一种储存媒体，用以储存一计算机程序，上述计算机程序用以加载至一计算机系统中并且使得上述计算机系统执行如上所述的于网络游戏进行实时影音会谈的方法。
另外，本发明提出一种网络游戏计算机系统，其执行一网络游戏并且具有一储存媒体，上述储存媒体用以储存一计算机程序，上述计算机程序用以加载至上述网络游戏计算机系统中并且使得上述网络游戏计算机系统执行如上所述的于网络游戏进行实时影音会谈的方法。
(4)附图说明
图1是显示本发明所揭示的方法的执行流程图。
图2是显示本发明所揭示的系统的功能方块图。
图3是显示本发明所揭示的系统的细部功能方块图。
图4a、4b是显示本发明所揭示的实施例的示意图。
(5)具体实施方式
请参照图1，图1是显示本发明所揭示的方法的执行流程图。首先，于网络游戏进行前，于网络游戏客户端之间建立网络传输信道(步骤S100)，此网络传输信道可以任何标准网络协议建立，如传输控制协议/因特网协议(TCP/IP)等。此网络传输信道并不经过网络游戏服务器。网络传输信道的建立是由网络游戏客户端，根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端的网络地址，通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端，再由被指定的网络游戏客户端根据接续要求建立网络传输信道。接着，则可执行欲进行的网络游戏程序并连接至游戏服务器。
于网络游戏客户端撷取实时视讯数据以及实时音讯数据(步骤S102)。实时视讯数据可利用摄影机(Camera)等视讯撷取装置(Video Capture Device)传入，而实时音讯数据则可利用麦克风(Microphone)等音讯撷取装置(AudioCapture Device)传入。
接着，将实时视讯数据压缩(compress)编码(encode)产生视讯数据框架(frame)，以及将实时音讯数据压缩编码产生音讯数据框架(步骤S104)。此压缩编码可利用标准的压缩格式，如H.263、MPEG1/2/4、G723等，其作用在于将原本数量庞大的影音数据，经过压缩编码，缩小为适合网络传输的格式。
由于通过网络传输实时影音数据时，音讯顺畅及影音同步为最重要的考虑，因此本发明所提出的方法是以音讯数据框架为优先，封装视讯数据框架以及音讯数据框架为网络传输封包(步骤S106)，以达到音讯顺畅及影音同步的效果。也就是当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时，实时音讯数据的优先权高于实时视讯数据。此外在网络传输封包中会加入时间卷标，作为实时视讯数据以及实时音讯数据同步的依据。
然后，通过网络传输信道，将网络传输封包传送至其它网络游戏客户端(步骤S108)。最后，接收网络传输封包的网络游戏客户端会将网络传输封包译码为实时视讯数据以及实时音讯数据(步骤S110)，并根据时间卷标同步播放实时音讯数据及显示实时视讯数据于游戏画面中(步骤S112)。显示视讯数据是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，达到同时显示的目的。
请参照图2，图2是显示本发明所揭示的系统的功能方块图。本发明提出一种于网络游戏进行实时影音会谈的系统，包括网络游戏服务器20以及多个网络游戏客户端24、26、28、30。网络游戏服务器20执行网络游戏主程序。网络游戏客户端24、26、28、30，包括欲进行实时影音会谈的网络游戏客户端24、26以及网络传输信道32，网络游戏客户端24、26、28、30与网络游戏服务器20连接形成网络游戏服务器网络22以进行网络游戏，网络游戏服务器网络22用以传输网络游戏客户端24、26、28、30的数据至网络游戏服务器20，网络传输信道连32连接欲进行实时影音会谈的网络游戏客户端24、26。
请参照图3，图3是显示本发明所揭示的系统的细部功能方块图。影音会谈传送方的网络游戏客户端300包括实时数据撷取器302、数据编码器304、网络传输封装器306以及网络传输器308。实时数据撷取器302，用以于网络游戏客户端撷取实时视讯数据以及实时音讯数据。实时数据撷取器302可以为分开的装置，分别撷取实时视讯数据以及实时音讯数据。也可设计为同一装置，同时撷取实时视讯数据以及实时音讯数据，再分别进行后续数据处理。实时数据撷取器302可以是摄影机以及麦克风等数据撷取装置。
数据编码器304用以将实时视讯数据压缩编码产生视讯数据框架，以及将实时音讯数据压缩编码产生音讯数据框架。数据编码器304可以设计为分开的装置，分别进行实时视讯数据压缩编码以及实时音讯数据压缩编码，或者也可设计于同一装置中，分别对实时视讯数据及实时音讯数据进行压缩编码。
网络传输封装器306，是以音讯数据框架为优先，封装视讯数据框架以及音讯数据框架为网络传输封包。网络传输器308，通过网络传输信道310，将网络传输封包传送至影音会谈接收方的网络游戏客户端320。举例而言，网络传输封装器306、网络传输器308及网络传输信道310均可以计算机可执行的程序语言撰写成模块，以实现上述功能。
影音会谈接收方的网络游戏客户端320包括数据译码器322以及影音播放器324。数据译码器322，用以将网络传输封包译码为实时视讯数据以及实时音讯数据。数据译码器322可以设计为分开的装置，分别进行实时视讯数据译码以及实时音讯数据译码，或者也可设计于同一装置中，分别对实时视讯数据及实时音讯数据进行译码。前述的数据编码器304及数据译码器322均可以计算机可执行的程序语言撰写成模块，并于计算机中执行以完成所需的编译码功能。
影音播放器324，会将网络传输封包译码过后的视讯数据以及音讯数据，根据时间卷标同步显示视讯数据及播放音讯数据。显示实时视讯数据是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，以声卡通过耳机、喇叭播放实时音讯数据，达到同时显示的目的。而进行实时影音会谈的网络游戏客户端，因影音会谈为双向会谈，会同时具有传送及接收的功能，即同时具有300及320所包含的组件及功能。
举例而言，请参照图4，图4是显示本发明所揭示的实施例的示意图。于网络游戏进行中，当网络游戏客户端欲进行实时影音会谈时，在网络游戏客户端之间建立网络传输信道50。摄影机40于网络游戏客户端撷取实时视讯数据，麦克风42于网络游戏客户端撷取实时音讯数据。
数据编码器44、46将实时视讯数据压缩编码为视讯数据框架440、442、444、446，假设共有P个，将实时音讯数据压缩编码为音讯数据框架460、462、464，假设共有L个。在本实施例中，网络传输封装器，是以音讯数据框架为优先，封装视讯数据框架以及音讯数据框架为网络传输封包48。亦即在一段时间区间内，会优先将音讯框架460纳入封包48中，剩余的频宽或时间再分配给视讯数据框架440至视讯数据框架442，并将音讯框架460与视讯数据框架440至442封装成网络传输封包48，例如仅有N个被纳入封包48中，而有(P-N)未纳入封包48中。
通过网络传输信道50，例如因特网，将网络传输封包48传送至另一网络游戏客户端。数据译码器52、54将网络传输封包48译码为实时视讯数据520至实时视讯数据522，以及实时音讯数据540。由于此封包是藉由网络传输，所以可能并非全部的视讯数据框架都会被接收，例如仅接收到M个(M小于或等于N)，亦即视讯数据框架440至视讯数据框架442的数量会大于或等于实时视讯数据520至实时视讯数据522的数量等，再加上视讯解压缩的方式例如IPB模式，所以有些实时视讯数据会被丢弃不用，例如仅有K个(K小于或等于M)会被解压缩出来，但是实时音讯数据540会全部被解压缩出来。由于采用以音讯数据框架为优先封装的机制，故可达到音讯顺畅及影音同步的预定效果。
影音播放器56、58，以「同时支持实时视讯流及三度空间动画」模块显示实时视讯数据，「同时支持实时视讯流及三度空间动画」模块是将实时视讯数据作为材质贴图，混入网络游戏的游戏画面上，而以声卡通过耳机、喇叭58播放实时音讯数据，达到于网络游戏中同时进行影音会谈的功能。
总之，本发明所提出的方法，可以独立于网络游戏的架构，由网络游戏客户端之间建立网络传输信道，以完成于网络游戏中进行实时影音会谈的目的。本发明更采用以音讯数据优先考虑的影音同步封装机制，达到影音同步及音讯流畅的效果。不仅增加虚拟游戏世界的实时性与真实感，同时无需增加网络游戏服务器额外的负担，解决现行技术无法解决的问题，达到本发明所欲达到的目的。
虽然本发明已以较佳实施例揭示如上，然而其并非用以限定本发明，任何熟习本技术的人员在不脱离本发明的精神和范围内，当可作出种种的等效改变或替换，因此本发明的保护范围当视后附的权利要求所界定的为准。