一种模拟现实的网络游戏实现方法.pdf

一种模拟现实的网络游戏实现方法，包括真实场景或物件的获取步骤、视频流的生成步骤、客户端的视频流获取步骤和虚拟现实网络游戏互动的步骤；本发明采用服务端模拟现实场景生成、视频流化处理、视频分享等方式，将仅支持单人的模拟现实游戏外延到网络游戏模式，提升了游戏趣味性，增添了新的玩法。

权利要求书
1.  一种模拟现实的网络游戏实现方法，其特征是它包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，将游戏虚拟场景生成视频流；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动步骤：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战。

2.  根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是步骤（2）中，各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种。

3.  根据权利要求1所述的模拟现实的网络游戏实现方法，其特征是步骤（2）中，采用标准的H.265编码协议将虚拟游戏场景生成视频流。

4.  根据权利要求1或3所述的模拟现实的网络游戏实现方法，其特征是步骤（2）中，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流。

5.  根据权利要求4所述的模拟现实的网络游戏实现方法，其特征是场景画面动态变量选取的视频流压缩编码方法具体为：将游戏虚拟场景的画面分成若干块，选取其中元素或各元素之间的关系发生变化的部分进行采集编码，之后通过客户端本地解码，使之变化部分更新到原有视频画面中。

6.  根据权利要求5所述的模拟现实的网络游戏实现方法，其特征是元素或各元素之间的关系发生变化是指前后帧画面中元素的位置属性、视野角度、击打属性、穿越属性和光影效果的变化。

7.  根据权利要求4所述的模拟现实的网络游戏实现方法，其特征是剔除特效的视频流压缩编码方法具体为：游戏虚拟场景的画面是由不同的三角形面组成，选出其中具有特效属性的三角形将其剔除掉，之后将剩余三角形即基本游戏画面进行采集编码，通过客户端本地解码，使基本游戏画面部分更新到原有视频画面中。

8.  根据权利要求7所述的模拟现实的网络游戏实现方法，其特征是特效包括游戏光影或粒子。

说明书一种模拟现实的网络游戏实现方法
技术领域
 本发明涉及虚拟现实技术、网络游戏技术领域，是一种实现虚拟现实游戏网络化的实现方法，尤其是满足覆盖各种终端，由具备条件用户端发起，通过服务端处理的虚拟现实游戏联网互动机制，具体地说是一种采用发起者用户端拍照真实场景、服务端生产游戏虚拟场景、通过视频流下发和分享模式形成虚拟现实网络游戏互动的方法。

背景技术
目前，AR技术是近年来国外众多知名大学和研究机构的研究热点之一，增强现实技术是数字化技术的发展和延伸，它通过对实时的视频图像进行信息传输和处理，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，形成交互式的三维图像画面，生成一种逼真的视、听、力、触和动等感觉的虚拟环境。曾被美国权威科学家评为21世纪最具开发潜力技术之一，其近两年在各大领域正充分发挥着巨大的作用。但作为该种技术核心增值服务——游戏而言，受限于当前的实现机制，目前的AR游戏仅能提供基于单体用户周围场景或实体物件的场景虚拟，仅能提供单用户的游戏方式。
网络游戏一般采用C/S的架构体系，其特点是用户端（游戏客户端）与服务端分离，是一种由服务器端运行游戏逻辑，由用户终端运行个人游戏场景的游戏方式。游戏服务器与客户端实时交互游戏操控和游戏场景位置信息。在这种方式下，游戏场景信息（地图、音乐等）需要预先安装或分发到客户端。
当前主流的AR游戏均为单机模式，即用户根据所处环境或AR地图等物品，本地生产虚拟场景进行游戏。AR联网游戏，则必须联网用户同处一定范围的特殊环境或共享对应的AR地图等物品，方能实现联网对战，简而言之其实是一种近似局域网或蓝牙对战模式，并非广义上的互联网对战方式。

发明内容
本发明的目的是针对目前解决虚拟现实（AR）游戏仅能提供基于用户周围场景或实体物件的场景虚拟单人或局域网式对战模式，缺乏基于互联网对战乐趣的局限的问题，提供一种模拟现实的网络游戏实现方法，由服务端共享和分发给其他联网用户，实现多人基于一个虚拟现实场景的联网游戏对战。
本发明的技术方案是：
一种模拟现实的网络游戏实现方法，包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，将游戏虚拟场景生成视频流；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动步骤：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战。
本发明的步骤（2）中，各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种。
本发明的步骤（2）中，采用标准的H.265编码协议将虚拟游戏场景生成视频流。
本发明的步骤（2）中，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流。
本发明的场景画面动态变量选取的视频流压缩编码方法具体为：将游戏虚拟场景的画面分成若干块，选取其中元素或各元素之间的关系发生变化的部分进行采集编码，之后通过客户端本地解码，使之变化部分更新到原有视频画面中。
本发明的元素或各元素之间的关系发生变化是指前后帧画面中元素的位置属性、视野角度、击打属性、穿越属性和光影效果的变化。
本发明的剔除特效的视频流压缩编码方法具体为：游戏虚拟场景的画面是由不同的三角形面组成，选出其中具有特效属性的三角形将其剔除掉，之后将剩余三角形即基本游戏画面进行采集编码，通过客户端本地解码，使基本游戏画面部分更新到原有视频画面中。
本发明的特效包括游戏光影或粒子。
本发明的有益效果：
本发明采用服务端模拟现实场景生成、视频流化处理、视频分享等方式，将仅支持单人的模拟现实游戏外延到网络游戏模式，提升了游戏趣味性，增添了新的玩法。
本发明采用服务端流化处理机制，能够实现面向弱终端，以瘦客户端模式的，提供大型游戏互动机制，并能够实现多屏实时互动机制。
本发明立足于游戏场景特性，采用动态变量选取和剔除特效等游戏场景视频优化压缩技术，提升压缩比和传输数量规模，降低网络时延和提升传输效率。

具体实施方式
下面结合实施例对本发明作进一步的说明。
本发明不同于当前实现机制，在虚拟现实单机游戏的网络化迁移时，通过发起者拍照并上传到服务端，基于服务端图像分析处理、场景逻辑处理/生成，流化处理和传输下发到发起者客户端，并通过发起者向其他用户分享模式，形成多人基于同一虚拟现实游戏场景互动。实现虚拟现实服务扩展到不具备虚拟现实机制的其他联网终端，由服务端图形引擎动态组合游戏场景形成游戏流化互动，解决现有机制单机模式缺乏互动乐趣的局限。
本发明包括客户端和服务端两大组成部分，客户端部分主要包括：实际场景采集、图片上传、视频解码、视频播放、视频分享和操控互动等功能；服务端部分包括：图像解析、游戏场景生成、视频编码、视频压缩、视频下发/转发、操控响应等功能。
一种模拟现实的网络游戏实现方法，包括以下步骤：
（1）真实场景或物件的获取步骤：客户端用户利用自身终端的摄像头，拍摄周边真实场景或物件的图片，上传至服务端；
（2）、视频流的生成步骤：服务端采用虚拟现实技术中的图像处理方法对客户端拍摄的周边真实场景或物件的图片进行处理，得到图片中的元素以及各元素之间的关系，采用游戏图形引擎处理技术按照元素之间的相互逻辑关系调度和组装，将图片中的元素以及各元素之间的关系转化成游戏虚拟场景，采用标准的H.265编码协议将虚拟游戏场景生成视频流；各元素之间的关系包括位置属性、视野角度、击打属性、穿越属性和光影效果中的一种或多种；
为了减少对网络带宽压力及提升视频品质，服务端在生成的视频流过程中，采用场景画面动态变量选取或剔除特效的方式对视频流进行压缩编码，之后在客户端进行本地解码，得到压缩的视频流，达到压缩比达到十倍以上，达到标准3G网络可正常低时延传输；
（3）、客户端的视频流获取步骤：服务端将视频流发送给上传图片的客户端用户，该用户通过触屏或外接手柄的操控模式，实现游戏互动，并通过视频流分享，向其他用户发起游戏邀请；
（4）虚拟现实网络游戏互动：其他用户接收发起者游戏邀请，从服务端下载视频流，进行联网对战。
具体实施时：
1、客户端：
（1）实际场景采集：模拟现实网络游戏发起者，利用其自身终端摄像头，拍摄周边真实场景或物件，实时获取实际场景图片；
（2）图片上传：发起者将其拍摄完成的实景图片，上传到服务端；
（3）视频解码：发起者客户端接收服务端下发的游戏视频流，采用自身芯片硬件或软件机制，按照服务端编码机制进行解码；
（4）视频播放：发起者客户端，本地播放通过解码的视频流；
（5）视频分享：发起者客户端，将游戏视频流分享给其他用户；
（6）操控互动：其他用户接受分享的视频流，获取服务端下发的同步视频，并采用触屏或手柄等外设进行操控，完成虚拟现实游戏的网游化互动。
2、服务端：
（1）图像解析：服务端针对客户端上传的实景图片进行解析，将道路、天空、建筑物、移动元素及其他背景等进行分拆，并获取其彼此位置、相互关系等实景逻辑；
（2）游戏场景生成：服务端按照图像解析的结果，将图片中各实物与存储的虚拟物件对应，按照原实景图片逻辑，通过游戏图形引擎调度游戏图素、NPC、建筑物、道路等组装成为虚拟的游戏场景；
（3）视频编码：服务端将实时虚拟生产的游戏场景，按照H.265协议进行视频流化处理。
（4）视频压缩：采用动态变量选取、剔除特效等方法，对视频进行压缩，满足各种带宽传输。
（5）视频下发/转发：服务端将完成编码、压缩的视频流下发到客户端，并按照客户端分享请求，将其转发给其他共享客户端；
（6）操控响应：按照客户端操控指令，游戏中对应走、跑、跳和攻击等操作动作，并实施进行游戏场景更新。
本发明中在视频优化压缩过程中，使用到动态变量选取技术，其在服务端视频优化压缩过程中使用，并需要客户端继续对应逻辑同步处理。
（1）游戏场景划分：按照游戏场景大小，将游戏场景等分为若干份；
（2）分块解析：解析各分块游戏场景变化情况，重点跟踪变化几率最大的中间部分；
（3）动态筛选：按照各块分析，将其中动态变化部分筛选出来；
（4）动态部分采编：将动态部分进行采编，转化为视频流；
（5）视频下发：将动态部分完成流化视频下发到客户端；
（6）适配解码：客户端将对应视频进行解码分析；
（7）静态画面同步：客户端将解码出来动态部分与本地缓存的静态画面叠加；
（8）视频整合：将完成叠加的视频流整合在一起，并进行播放。
本发明的剔除特效的视频优化处理办法，其在服务端游戏场景生成和视频优化压缩过程中使用，无需客户端配合。仅在网络条件有限情况下使用，并以降低游戏清晰度为代价，正常情况下不建议使用。
（1）关闭光影效果：在游戏场景生成过程前，关闭游戏相关的光影效果，减少游戏画面复杂性；
（2）图层解析：将游戏场景按照不同图层进行解析，将其中场景基本元素外的，特效添加图层解析出来；
（3）剔除特效：将特效层从游戏场景中剔除；
（4）视频采编：将完成特效剔除的场景进行采编，转化为视频流。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。