《一种基于视觉与语音识别技术的游戏控制系统及方法.pdf》由会员分享，可在线阅读，更多相关《一种基于视觉与语音识别技术的游戏控制系统及方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201610652747.4 (22)申请日 2016.08.10 (71)申请人 合肥泰壤信息科技有限公司 地址 230031 安徽省合肥市高新区天智路 19号北楼1016、 1026室 (72)发明人 卞连春 (74)专利代理机构 北京和信华成知识产权代理 事务所(普通合伙) 11390 代理人 胡剑辉 (51)Int.Cl. A63F 13/42(2014.01) A63F 13/424(2014.01) A63F 13/213(2014.01) A63F 13/215(2。
2、014.01) A63F 13/822(2014.01) A63F 13/92(2014.01) (54)发明名称 一种基于视觉与语音识别技术的游戏控制 系统及方法 (57)摘要 本发明公开了一种基于视觉与语音识别技 术的游戏控制系统， 包括视觉捕捉模块、 视觉识 别模块、 语音采集模块、 语音识别模块、 逻辑处理 模块、 多媒体展示模块； 本发明还提供一种基于 视觉与语音识别技术的游戏控制方法， 所述方法 包括以下步骤： 运行游戏、 视觉与语音识别、 文本 处理、 多媒体展示。 本发明中用户可以通过面部 表情、 动作及语音命令互相结合控制游戏的方 法， 让用户随时随地玩手机游戏， 随时随地享。
3、受 到了游戏的快乐； 用户也可以使用面部表情来操 作、 控制游戏， 也增加了游戏的趣味性， 使得不识 字的老人、 小孩等等， 都可以享受游戏的娱乐性， 可用于教育、 互动娱乐等领域， 减少了视力损伤， 操作方便。 权利要求书2页 说明书4页 附图1页 CN 106178502 A 2016.12.07 CN 106178502 A 1.一种基于视觉与语音识别技术的游戏控制系统， 其特征在于： 包括视觉捕捉模块、 视 觉识别模块、 语音采集模块、 语音识别模块、 逻辑处理模块、 多媒体展示模块； 其中， 所述视觉捕捉模块用于采集游戏玩家的表情， 并将捕捉后的表情转化为视频数 字信号发送至视觉识别。
4、模块； 所述视觉识别模块用于接收视觉捕捉模块的视觉数字信号， 并转换成计算机能够识别 的表情文本信息； 所述语音采集模块用于采集游戏玩家的语音命令， 并将采集后的语音命令转换成语音 数字信号发送至语音识别模块； 所述语音识别模块用于接收语音采集模块的语音数字信号， 并转换成计算机能够识别 的语音文本信息； 所述逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文 本信息并进行处理， 然后形成指令信号发送至多媒体展示模块； 所述多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理， 所述多媒体展示 模块包括视频显示单元和音频播放单元， 所述视频显示单元用于对外视频显示， 所述音。
5、频 播放单元用于对外音频播放。 2.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统， 其特征在于： 所述视觉捕捉模块包括手机摄像头， 且所述手机摄像头与手机CPU相互连接。 3.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统， 其特征在于： 所述语音采集模块包括手机麦克风， 且所述手机麦克风与 手机CPU相互连接。 4.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制系统， 其特征在于： 所述视频显示单元采用手机屏幕进行对外显示， 所述音频播放单元采用手机喇叭进行对外 音频播放。 5.根据权利要求1所述的一种基于视觉与语音识别技术的游戏控制方法， 其特征在于。
6、： 所述方法包括以下步骤： 步骤S1： 游戏玩家运行游戏， 开启摄像功能与麦克风功能， 发出语音命令并做出表情动 作； 步骤S2： 所述视觉识别模块识别表情动作并形成表情文本信息， 然后发送至逻辑处理 模块， 所述语音识别模块识别语音命令并形成语音文本信息， 然后发送至逻辑处理模块； 步骤S3： 所述逻辑处理模块分别对表情文本信息、 语音文本信息进行比对处理， 并分别 形成相应的指令信号发送至多媒体展示模块； 步骤S4： 所述多媒体展示模块接收接收到指令信号后： 若所述表情文本信息、 语音文本信息所形成的指令信号相同， 则多媒体展示模块根据 指令信号分别进行对外视频显示和对外音频播放； 若所述。
7、表情文本信息、 语音文本信息所形成的指令信号不同， 则多媒体展示模块优先 根据表情文本信息所形成的指令信号进行对外视频显示和对外音频播放， 然后根据语音文 本信息所形成的指令信号进行对外视频显示和对外音频播放。 6.根据权利要求5所述的一种基于视觉与语音识别技术的游戏控制方法， 其特征在于： 所述表情动作包括高兴、 悲伤、 恐惧、 厌恶。 7.根据权利要求5所述的一种基于视觉与语音识别技术的游戏控制方法， 其特征在于： 权 利 要 求 书 1/2 页 2 CN 106178502 A 2 所述逻辑处理模块包括游戏业务逻辑， 所述游戏业务逻辑采用C+或Lua应用编程语言编 写。 8.根据权利要求。
8、5所述的一种基于视觉与语音识别技术的游戏控制方法， 其特征在于： 所述逻辑处理模块中内置设置好的预置脚本， 并根据预置脚本分类判断和处理。 权 利 要 求 书 2/2 页 3 CN 106178502 A 3 一种基于视觉与语音识别技术的游戏控制系统及方法 技术领域 0001 本发明属于网络游戏开发领域， 尤其涉及一种基于视觉与语音识别技术的游戏控 制系统及方法。 背景技术 0002 在最近几年里， 移动互联网正逐渐渗透到人们生活、 工作的各个领域， 移动互联网 成为当今世界发展最快、 市场潜力最大、 前景最诱人的业务。 智能手机的革命性发展大大提 升了用户使用手机上网的体验， 手机上网逐渐成。
9、为生活必不可缺的一部分。 0003 随着智能手机的普及和移动互联网的发展， 手机游戏用户规模增长较快， 为互联 网产业注入新的活力。 手机游戏快速发展， 逐渐成为网民的一种娱乐生活方式， 越来越多的 用户习惯在碎片化时间玩游戏， 公交车、 地铁、 排队和就餐等各种场景下均随处可见在手机 上玩游戏的人。 手机游戏在吸引大量用户的同时也面临较多问题， 对其进一步的发展产生 挑战。 首先， 手机屏幕较小， 触摸方式操作不便， 在内容、 按钮较多的情况下， 用户往往很难 正确地点击到正确的按钮； 其次， 点击时需要努力盯手机屏幕， 对用户的眼睛、 视力造成一 定的损伤， 特别是在公交、 火车、 地铁等。
10、场所， 随着车厢的摇晃， 用户玩游戏时， 视力会受到 一定的损伤。 发明内容 0004 本发明的目的在于克服现有技术存在的以上问题， 提供一种基于视觉与语音识别 技术的游戏控制系统及方法， 用户可以通过面部表情、 动作及语音命令互相结合控制游戏 的方法， 让用户随时随地玩手机游戏， 随时随地享受到了游戏的快乐， 减少视力损伤， 操作 方便。 0005 为实现上述技术目的， 达到上述技术效果， 本发明通过以下技术方案实现： 0006 一种基于视觉与语音识别技术的游戏控制系统， 包括视觉捕捉模块、 视觉识别模 块、 语音采集模块、 语音识别模块、 逻辑处理模块、 多媒体展示模块； 0007 其中，。
11、 所述视觉捕捉模块用于采集游戏玩家的表情， 并将捕捉后的表情转化为视 频数字信号发送至视觉识别模块； 0008 所述视觉识别模块用于接收视觉捕捉模块的视觉数字信号， 并转换成计算机能够 识别的表情文本信息； 0009 所述语音采集模块用于采集游戏玩家的语音命令， 并将采集后的语音命令转换成 语音数字信号发送至语音识别模块； 0010 所述语音识别模块用于接收语音采集模块的语音数字信号， 并转换成计算机能够 识别的语音文本信息； 0011 所述逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语 音文本信息并进行处理， 然后形成指令信号发送至多媒体展示模块； 0012 所述多媒体展示。
12、模块用于接收逻辑处理模块的指令信号并进行处理， 所述多媒体 说 明 书 1/4 页 4 CN 106178502 A 4 展示模块包括视频显示单元和音频播放单元， 所述视频显示单元用于对外视频显示， 所述 音频播放单元用于对外音频播放。 0013 进一步地， 所述视觉捕捉模块包括手机摄像头， 且所述手机摄像头与手机CPU相互 连接。 0014 进一步地， 所述语音采集模块包括手机麦克风， 且所述手机麦克风与手机CPU相互 连接。 0015 进一步地， 所述视频显示单元采用手机屏幕进行对外显示， 所述音频播放单元采 用手机喇叭进行对外音频播放。 0016 本发明还提供一种基于视觉与语音识别技术的。
13、游戏控制方法， 所述方法包括以下 步骤： 0017 步骤S1： 游戏玩家运行游戏， 开启摄像功能与麦克风功能， 发出语音命令并做出表 情动作； 0018 步骤S2： 所述视觉识别模块识别表情动作并形成表情文本信息， 然后发送至逻辑 处理模块， 所述语音识别模块识别语音命令并形成语音文本信息， 然后发送至逻辑处理模 块； 0019 步骤S3： 所述逻辑处理模块分别对表情文本信息、 语音文本信息进行比对处理， 并 分别形成相应的指令信号发送至多媒体展示模块； 0020 步骤S4： 所述多媒体展示模块接收接收到指令信号后： 0021 若所述表情文本信息、 语音文本信息所形成的指令信号相同， 则多媒体。
14、展示模块 根据指令信号分别进行对外视频显示和对外音频播放； 0022 若所述表情文本信息、 语音文本信息所形成的指令信号不同， 则多媒体展示模块 优先根据表情文本信息所形成的指令信号进行对外视频显示和对外音频播放， 然后根据语 音文本信息所形成的指令信号进行对外视频显示和对外音频播放； 0023 进一步地， 所述表情动作包括高兴、 悲伤、 恐惧、 厌恶。 0024 进一步地， 所述逻辑处理模块包括游戏业务逻辑， 所述游戏业务逻辑采用C+或 Lua应用编程语言编写。 0025 进一步地， 所述逻辑处理模块中内置设置好的预置脚本， 并根据预置脚本分类判 断和处理。 0026 本发明的有益效果是： 。
15、0027 本发明中用户可以通过面部表情、 动作及语音命令互相结合控制游戏的方法， 让 用户随时随地玩手机游戏， 随时随地享受到了游戏的快乐； 用户也可以使用面部表情来操 作、 控制游戏， 也增加了游戏的趣味性， 使得不识字的老人、 小孩等等， 都可以享受游戏的娱 乐性， 可用于教育、 互动娱乐等领域， 减少了视力损伤， 操作方便。 附图说明 0028 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部分， 本发 明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定。 在附图中： 0029 图1是本发明的系统结构框图。 说 明 书 2/4 页 5 CN 106178。
16、502 A 5 具体实施方式 0030 下面将参考附图并结合实施例， 来详细说明本发明。 0031 如图1所示的一种基于视觉与语音识别技术的游戏控制系统， 包括视觉捕捉模块、 视觉识别模块、 语音采集模块、 语音识别模块、 逻辑处理模块、 多媒体展示模块； 0032 其中， 视觉捕捉模块用于采集游戏玩家的表情， 并将捕捉后的表情转化为视频数 字信号发送至视觉识别模块； 0033 视觉识别模块用于接收视觉捕捉模块的视觉数字信号， 并转换成计算机能够识别 的表情文本信息； 0034 语音采集模块用于采集游戏玩家的语音命令， 并将采集后的语音命令转换成语音 数字信号发送至语音识别模块； 0035 语。
17、音识别模块用于接收语音采集模块的语音数字信号， 并转换成计算机能够识别 的语音文本信息； 0036 逻辑处理模块用于接收视觉识别模块的表情文本信息和语音识别模块的语音文 本信息并进行处理， 然后形成指令信号发送至多媒体展示模块； 0037 多媒体展示模块用于接收逻辑处理模块的指令信号并进行处理， 多媒体展示模块 包括视频显示单元和音频播放单元， 视频显示单元用于对外视频显示， 音频播放单元用于 对外音频播放。 0038 当游戏同时收到语音和表情识别命令时， 逻辑处理模块将根据两者的关系， 进行 并行处理。 如接受到来自语音识别模块的 “大笑” 命令， 并同时接受到来自视觉识别模块的 “大哭” 。
18、命令时， 游戏业务逻辑将命令虚拟人物同时先大哭后大笑， 两者并不违背。 0039 其中， 视觉捕捉模块包括手机摄像头， 且手机摄像头与手机CPU相互连接。 0040 其中， 语音采集模块包括手机麦克风， 且手机麦克风与手机CPU相互连接。 0041 其中， 视频显示单元采用手机屏幕进行对外显示， 音频播放单元采用手机喇叭进 行对外音频播放。 0042 本发明还提供一种基于视觉与语音识别技术的游戏控制方法， 方法包括以下步 骤： 0043 步骤S1： 游戏玩家运行游戏， 开启摄像功能与麦克风功能， 发出语音命令并做出表 情动作； 0044 步骤S2： 视觉识别模块识别表情动作并形成表情文本信息，。
19、 然后发送至逻辑处理 模块， 语音识别模块识别语音命令并形成语音文本信息， 然后发送至逻辑处理模块； 0045 步骤S3： 逻辑处理模块分别对表情文本信息、 语音文本信息进行比对处理， 并分别 形成相应的指令信号发送至多媒体展示模块； 0046 步骤S4： 多媒体展示模块接收接收到指令信号后： 0047 若表情文本信息、 语音文本信息所形成的指令信号相同， 则多媒体展示模块根据 指令信号分别进行对外视频显示和对外音频播放； 0048 若表情文本信息、 语音文本信息所形成的指令信号不同， 则多媒体展示模块优先 根据表情文本信息所形成的指令信号进行对外视频显示和对外音频播放， 然后根据语音文 本信。
20、息所形成的指令信号进行对外视频显示和对外音频播放； 说 明 书 3/4 页 6 CN 106178502 A 6 0049 其中， 表情动作包括高兴、 悲伤、 恐惧、 厌恶。 0050 其中， 逻辑处理模块包括游戏业务逻辑， 游戏业务逻辑采用C+或Lua应用编程语 言编写。 0051 其中， 逻辑处理模块中内置设置好的预置脚本， 并根据预置脚本分类判断和处理。 0052 游戏玩家发出的语音命令 “吃饭” ， 转换为计算机可以识别的文本字符 “吃饭” ， 游 戏玩家的表情转换成悲伤、 皱眉、 微笑、 大笑、 吐舌头、 张大嘴、 瞪眼睛等计算机可以识别的 表情文本字符信息。 0053 在本发明中，。
21、 游戏中显示一个虚拟人物形象， 虚拟人物能够进行各种动作， 如跳 舞、 鞠躬、 磕头、 拥抱、 蹦跳、 蹲下等， 并拥有各种表情， 如大笑、 微笑、 哭泣、 皱眉等， 相应的动 作和表情， 均配有对应的音效， 如跳舞时的伴奏乐曲、 蹦跳的砰砰声， 哭泣时候的哭声， 大笑 时候的笑声等等。 当视频显示单元， 进行播放相应的动作和表情时， 音频播放单元， 同时播 出相对应的音效， 给玩家一种身临其境的交互体验。 0054 本发明依托通用的普通智能手机， 其具备CPU、 内存、 闪存、 屏幕、 电池、 摄像头、 麦 克风、 喇叭、 操作系统等单元， 依托于智能手机环境， 对于硬件配置要求不高， 普通。
22、的基于 Andorid、 iOS的智能手机即可流畅运行。 0055 本发明中用户可以通过面部表情、 动作及语音命令互相结合控制游戏的方法， 让 用户随时随地玩手机游戏， 随时随地享受到了游戏的快乐； 用户也可以使用面部表情来操 作、 控制游戏， 也增加了游戏的趣味性， 使得不识字的老人、 小孩等等， 都可以享受游戏的娱 乐性， 可用于教育、 互动娱乐等领域， 减少了视力损伤， 操作方便。 0056 以上显示和描述了本发明的基本原理、 主要特征和本发明的优点。 本行业的技术 人员应该了解， 本发明不受上述实施例的限制， 上述实施例和说明书中描述的只是说明本 发明的原理， 在不脱离本发明精神和范围的前提下， 本发明还会有各种变化和改进， 这些变 化和改进都落入要求保护的本发明范围内。 说 明 书 4/4 页 7 CN 106178502 A 7 图1 说 明 书 附 图 1/1 页 8 CN 106178502 A 8 。