《一种基于人机协同的推理演练方法和系统.pdf》由会员分享，可在线阅读，更多相关《一种基于人机协同的推理演练方法和系统.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103971311 A (43)申请公布日 2014.08.06 CN 103971311 A (21)申请号 201410194355.9 (22)申请日 2014.05.09 G06Q 50/26(2012.01) G09B 9/00(2006.01) (71)申请人 北京化工大学 地址 100029 北京市朝阳区北三环东路 15 号北京化工大学 (72)发明人 朱群雄 吴华池 都文涛 姚冰 王瑜 张琪 冯磊 徐圆 黄红益 向长风 (74)专利代理机构 北京同恒源知识产权代理有 限公司 11275 代理人 张水俤 (54) 发明名称 一种基于人机协同的推理演练方法。
2、和系统 (57) 摘要 本发明公开了一种基于人机协同的推理演练 方法和系统。 本发明将脚本解释执行技术、 预案推 理可视化技术、 虚拟现实技术和网络通信技术相 结合， 设计了一种以 “预案推理为内核驱动， 服务 端管理数据， 客户端显示数据” 的独立架构模式， 各部分之间以消息形式进行数据传递， 根据不同 的预案脚本本发明能够应用于不同种类突发事件 应急演练的模拟训练。本发明具有演练场景逼真 重现、 演练成本低、 演练危险和风险小、 演练效率 高等特点。 (51)Int.Cl. 权利要求书 3 页 说明书 7 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要。
3、求书3页 说明书7页 附图3页 (10)申请公布号 CN 103971311 A CN 103971311 A 1/3 页 2 1. 一种基于人机协同的推理演练方法， 其步骤为 ： 1) 初始化客户端场景状态， 建立与服务端的通信连接 ； 客户端包括用户交互系统和虚 拟场景绘制系统 ； 服务端包括脚本推理系统、 协同控制系统和考核评价系统 ； 2) 服务端加载脚本预案并对连接的客户端进行实体状态同步 ； 3) 客户端通过所述用户交互系统接收用户的输入， 并将该输入解析为协同控制系统或 脚本推理系统能够识别的指令消息 ； 4) 客户端将解析得到的指令消息进行数据打包， 并发送给服务端 ； 5) 。
4、服务端接收并解析客户端发送的指令消息， 通过协同控制系统对所有实体状态进行 一致性维护， 其中所述实体包括真人实体和机器实体 ； 6) 脚本推理系统以预案脚本为基础， 根据所述实体状态对演练流程进行推理控制， 并 将推理控制的结果封装为指令消息发送给客户端 ； 7) 客户端解析服务端发送的指令消息， 通过虚拟场景绘制系统相应地更新演练场景， 并通过用户交互系统将演练流程中需要反馈的内容呈现给用户， 作为真人实体的用户须在 规定时间内对所述内容进行反馈， 否则机器实体代替真人实体进行反馈， 以保证演练流程 继续 ； 8) 服务端接收客户端打包发送的内容反馈， 通过考核评价系统对所述内容反馈进行评。
5、 判， 并对评判结果进行保存 ； 9) 脚本推理系统判断演练流程的脚本状态图是否到达终止状态， 如果到达则结束演练 流程， 否则执行步骤 3) ； 10) 演练流程结束后， 客户端从服务端获取考核评价系统的评判结果， 并通过用户交互 系统进行结果显示。 2. 如权利要求 1 所述的方法， 其特征在于所述客户端的用户交互系统包括 ： 场景漫游、 版本选择、 流程控制和视角切换功能 ； 所述虚拟场景绘制系统用于场景模型的实时渲染， 其 中所述更新演练场景的过程包括 ： 客户端读取场景配置文件， 在指定目录下查找并加载相 关模型文件， 利用虚拟现实三维渲染技术对场景模型状态进行展示。 3. 如权利要。
6、求 1 所述的方法， 其特征在于构建所述脚本状态图时， 将文字预案转换成 脚本预案， 具体包括 ： 首先， 抽取文字预案中的关键信息构建状态集合 ； 然后， 结合网络拓 扑图和扩展有限自动机思想， 利用节点代表状态信息， 边代表状态间的迁移信息， 构建完整 的演练流程的脚本状态图 ； 最后， 结合现实逻辑性和相关数学知识最简化状态图 ； 其中， 所 述演练流程的脚本状态图的节点和边都以 XML 文件形式存储， 利用自主开发的半自动脚本 状态生成工具生成该配置文件， 分析文字预案在虚拟现实演练中的元操作的表现形式， 并 将相关元操作封装成脚本库， 利用脚本库完成文字预案到脚本预案的最终转换。 4。
7、. 根据权利要求 1 所述的方法， 其特征在于 ： 服务端和客户端之间通信的指令消息格 式包括消息头和消息体两部分， 通过读取消息头中的长度信息将消息流解析为不同的消息 体。 5. 根据权利要求 1 所述的方法， 其特征在于 ： 协同控制系统进行一致性维护时涉及到 的实体状态包括实体的位置、 朝向、 速度以及动作， 还包括灾害粒子的速度、 方向和颜色 ； 所 述实体状态的一部分由机器实体控制， 另一部分由真人实体控制， 协同控制系统要保证这 些状态在所有客户终具有一致性。 权 利 要 求 书 CN 103971311 A 2 2/3 页 3 6. 如权利要求 3 所述的方法， 其特征在于， 所。
8、述 XML 文件为状态推导配置文件， 所述脚 本推理系统通过读取所述 XML 文件来构建计算机能够识别的所述状态图， 以状态信息为节 点进行正向推理， 支持节点状态的一对一、 一对多、 以及多对一的推导形式， 只有当前节点 的所有前件节点均标记为完成终止状态， 同时当前节点的状态满足迁移条件时， 脚本推理 系统才允许当前节点进行状态迁移 ； 所述 XML 文件包括实体信息、 状态信息、 状态迁移信息 和表达式信息 ； 实体信息和状态信息中包含唯一辨识码， 状态迁移信息表明了状态间的不 同推导形式， 表达式信息表明了执行当前节点迁移所必须满足的条件。 7. 如权利要求 1 所述的方法， 其特征在。
9、于所述脚本推理系统支持真人实体和机器实体 的混合同理模式 ； 脚本推理系统以重要事件点划分状态， 每个状态包含若干不指定真人实 体或机器实体的元操作 ； 所述脚本推理系统设计要求只判断状态是否完成， 不考虑由真人 实体或机器实体完成， 当真人实体演练操作超出规定时间时， 自动将其替换为机器实体， 从 而保证演练流程的正确执行。 8. 根据权利要求 3 所述的方法， 其特征在于 ： 所述考核评价系统的评判包括客观问题 考核和主观操作评价， 所述评判的内容均保存在专门的数据库中， 其中客观问题包括题干、 题目内容以及答案， 操作包括操作内容、 操作参数以及时间限定 ； 脚本推理系统根据所述脚 本预。
10、案设定的条件向客户端发送答题或操作要求 ； 当客户端接收到答题要求时， 将问题的 内容在用户交互系统中显示， 接收真人实体的的作答结果并发送至服务端 ； 当客户端接收 到操作要求时， 在时间限定内接收真人实体的操作内容， 并将操作内容发送至服务端 ； 若客 户端的真人实体超过限定时间未能完成操作， 则该客户端上的机器实体代替真人实体完成 后续演练流程 ； 其中， 考核评价系统根据从数据库中读取的相应的评判内容， 对客户端发送 的作答结果和操作内容进行评判， 并将保存相应的评判结果 ； 并且演练过程结束后， 考核评 价系统将评判结果发送至客户端， 客户端解析之后在用户交互系统显示。 9. 一种基。
11、于人机协同的推理演练系统， 其特征在于包括虚拟现实演练客户端和服务 端 ； 所述虚拟现实客户端和服务端通过通信网络连接 ； 所述客户端包括用户图形界面、 实 体控制模块、 粒子特效模块、 语音提示与实时通话模块、 视角管理模块、 以及消息接收解析 与发送模块 ； 服务端包括脚本推理模块、 协同控制模块、 考核评价模块、 以及消息接收解析 与发送模块 ； 所述用户图形界面， 用于接收交互操作请求命令 ； 所述实体控制模块， 用于将从服务端接收的指令消息转换为相应的实体运动状态， 该 模块支持添加人物、 设置人物姓名和动作、 设置人物移动速度和旋转角度、 以及设置人物携 带物体的位置和角度属性 ；。
12、 所述粒子特效模块， 用于加载粒子从而显示粒子特效， 支持控制粒子方向、 速度和生存 周期属性 ； 所述语音提示与实时通话模块， 其语音提示功能用于在演练过程中将提示文本以声音 方式表现， 从而提示用户进行关键操作 ； 其实时通话功能用于在多真人联机演练时， 供真人 用户选择局域网内任意参演用户进行语音通话聊天， 支持一对一和一对多通话模式 ； 所述视角管理模块， 用于管理虚拟空间各个实体和场景的视角， 客户端利用该模块在 上述各个视角间切换， 显示相应的视角空间 ； 所述客户端的消息接收解析与发送模块， 用于接收服务端发送的消息包并对其解析， 权 利 要 求 书 CN 103971311 A。
13、 3 3/3 页 4 将解析出的交互、 控制和维护命令发送给相应模块处理 ； 同时将其他模块生成的命令封装 为消息包发送给所述服务端 ； 所述脚本推理模块， 用于加载预案脚本， 根据客户端发送的演练数据进行推理， 并将推 理结果以命令的形式返回给客户端消息接收解析与发送模块 ； 所述协同控制模块， 用于维护所有客户端实体状态以及粒子状态的一致性， 其中所述 实体包括机器实体与真人实体， 所述实体状态包括位置、 朝向、 速度和动作， 粒子状态包括 速度、 方向和颜色 ； 所述考核评价模块， 用于对客户端提交的作答结果和操作内容进行评判并保存相应的 评判结果 ； 考核评价模块收到客户端查看结果请求。
14、后， 将评判结果发送给该客户端 ； 所述服务端的消息接收解析与发送模块， 用于消息的发送、 接收与解析工作， 该模块根 据消息类型将不同消息分发到服务端的其他各模块。 10. 如权利要求 9 所述的系统， 其特征在于所述客户端运行方式可以分为三种 ： 演示模 式、 学习模式以及演练模式 ； 演示模式可以不需要真人实体参与， 仅有机器实体按照脚本预 案推进演练流程 ； 学习模式属于单机联网模式， 单个真人和机器实体协同参与演练 ； 演练 模式属于多机联网模式， 多名真人操作员控制多台客户端与服务端连接， 多名真人和机器 实体协同参与演练 ； 同时， 在三种模式下， 均有不同种类的应急救援脚本预案。
15、可供选择。 权 利 要 求 书 CN 103971311 A 4 1/7 页 5 一种基于人机协同的推理演练方法和系统 技术领域 0001 本发明涉及一种基于人机协同的推理演练方法和系统， 属于预案可视化技术和虚 拟现实技术领域。本发明主要涉及将文字预案转换成 3D 可视化模拟演练过程， 具体包含模 型渲染和实体控制技术、 网络消息传输技术、 脚本推理技术和对真人的考核评价技术。 本发 明的方法和系统可以用于突发灾害事故的模拟演练和应急救援预案的编制与修改。 背景技术 0002 安全生产是企业永恒的主题， 关系到国家财产和人民生命的安全， 关系到社会的 稳定与健康发展， 没有安全就没有效益。 。
16、现在各行各业都十分重视安全工作， 提高对突发事 故的应急处理能力能够有效地降低突发事故所造成的伤亡和损失， 而应急救援预案被广泛 认可为应对灾害发生的有效手段。 0003 生产企业会根据企业特性开展相关应急救援实战演练， 常规的培训形式主要以观 看演练培训教程， 当中辅以图文和声音解释来增强企业员工的应急救援意识和素养。再者 便是， 根据预埋的灾害和预先制定的预案进行实战演练， 从而提高参演人员的突出事件处 理能力以及指挥官的指挥能力和指挥艺术。 0004 传统的应急救援演练培训形式已经无法满足现代化安全生产的需求， 由于灾害的 种类不同、 应对的执行者各异以及设备、 场地和环境等条件的限制，。
17、 相关的应急预案从制定 到学习再到演练， 耗费大量人力、 物力和财力， 是一个巨大的负担和工作量， 实际演练存在 着训练机会不多、 训练效果不明显、 训练效果无法重现、 训练效果评价不真实， 还不能随时 随地进行演练， 甚至出现程序化、 形式化， 演练效果并不理想。 0005 当今世界已经发生了巨大的变化， 大规模的人海战术已经不再适应工业的发展， 特别是虚拟现实技术的应用对工业进行着一场前所未有的革命。 虚拟现实对企业提高开发 效率， 加强数据采集、 分析、 处理能力起到重要作用。 虚拟现实是多种技术的综合， 其通过人 机界面对复杂数据进行可视化操作与交互。 0006 可视化技术作为解释大量。
18、数据最有效的手段， 已发展为当前热门的研究领域。可 视化把数据转换成图形， 使很多技术领域发生了根本变化。科学可视化的主要过程是建模 和渲染， 建模是把数据映射成物体的几何图元， 渲染是把几何图元描绘成图形和图像。 0007 本发明提出了一种人机交互方法和系统， 该方法和基于虚拟现实技术和可视化技 术， 该方法和系统可以应用于应急救援的推理演练， 利用图文并茂的多媒体资料和严密的 企业考核机制来规范企业安全管理、 强化职工安全意识， 从实战的角度出发， 提高日常应急 演练效率， 检验应急响应人员对应急预案、 执行程序的了解程度和实际操作技能 ； 同时通过 调整演练难度， 进一步培训和提高应急响。
19、应人员的业务素质和能力， 不断提高应急防范水 平， 避免和减少事故情况下公司和职工受到伤害， 确保企业安稳运行。 发明内容 0008 本发明提供了一种基于人机协同的推理演练方法， 其步骤为 ： 说 明 书 CN 103971311 A 5 2/7 页 6 0009 1) 初始化客户端场景状态， 建立与服务端的通信连接 ； 客户端包括用户交互系统 和虚拟场景绘制系统 ； 服务端包括脚本推理系统、 协同控制系统和考核评价系统 ； 0010 2) 服务端加载脚本预案并对连接的客户端进行实体状态同步 ； 0011 3) 客户端通过所述用户交互系统接收用户的输入， 并将该输入解析为协同控制系 统或脚本推。
20、理系统能够识别的指令消息 ； 0012 4) 客户端将解析得到的指令消息进行数据打包， 并发送给服务端 ； 0013 5) 服务端接收并解析客户端发送的指令消息， 通过协同控制系统对所有实体状态 进行一致性维护， 其中所述实体包括真人实体和机器实体 ； 0014 6) 脚本推理系统以预案脚本为基础， 根据所述实体状态对演练流程进行推理控 制， 并将推理控制的结果封装为指令消息发送给客户端 ； 0015 7) 客户端解析服务端发送的指令消息， 通过虚拟场景绘制系统相应地更新演练场 景， 并通过用户交互系统将演练流程中需要反馈的内容呈现给用户， 作为真人实体的用户 须在规定时间内对所述内容进行反馈。
21、， 否则机器实体代替真人实体进行反馈， 以保证演练 流程继续 ； 0016 8) 服务端接收客户端打包发送的内容反馈， 通过考核评价系统对所述内容反馈进 行评判， 并对评判结果进行保存 ； 0017 9) 脚本推理系统判断演练流程的脚本状态图是否到达终止状态， 如果到达则结束 演练流程， 否则执行步骤 3) ； 0018 10) 演练流程结束后， 客户端从服务端获取考核评价系统的评判结果， 并通过用户 交互系统进行结果显示。 0019 进一步的， 所述更新演练场景的过程包括 ： 客户端读取场景配置文件， 在指定目录 下查找并加载相关模型文件， 利用虚拟现实三维渲染技术对场景模型状态进行展示。 。
22、0020 进一步的， 所述客户端的用户交互系统包括 ： 场景漫游、 版本选择、 流程控制和视 角切换等功能， 所述虚拟场景绘制系统用于场景模型的实时渲染 ； 0021 进一步的， 构建所述脚本状态图时， 将文字预案转换成脚本预案， 具体包括 ： 首先， 抽取文字预案中的关键信息构建状态集合 ； 然后， 结合网络拓扑图和扩展有限自动机思想， 利用节点代表状态信息， 边代表状态间的迁移信息， 构建完整的演练流程的脚本状态图 ； 最 后， 结合现实逻辑性和相关数学知识最简化状态图 ； 其中， 所述演练流程的脚本状态图的 节点和边都以 XML 文件形式存储， 利用自主开发的半自动脚本状态生成工具生成该。
23、配置文 件， 分析文字预案在虚拟现实演练中的元操作的表现形式， 并将相关元操作封装成脚本库， 利用脚本库完成文字预案到脚本预案的最终转换。 0022 进一步的， 服务端和客户端之间通信的指令消息格式包括消息头和消息体两部 分， 通过读取消息头中的长度信息将消息流解析为不同的消息体。 0023 进一步的， 协同控制系统进行一致性维护时涉及到的实体状态包括实体的位置、 朝向、 速度以及动作， 还包括灾害粒子的速度、 方向和颜色 ； 所述实体状态的一部分由机器 实体控制， 另一部分由真人实体控制， 协同控制系统要保证这些状态在所有客户终具有一 致性。 0024 进一步的， 所述 XML 文件为状态推。
24、导配置文件， 所述脚本推理系统通过读取所述 XML 文件来构建计算机能够识别的所述状态图， 以状态信息为节点进行正向推理， 支持节点 说 明 书 CN 103971311 A 6 3/7 页 7 状态的一对一、 一对多、 以及多对一的推导形式， 只有当前节点的所有前件节点均标记为完 成终止状态， 同时当前节点的状态满足迁移条件时， 脚本推理系统才允许当前节点进行状 态迁移 ； 所述 XML 文件包括实体信息、 状态信息、 状态迁移信息和表达式信息 ； 实体信息和 状态信息中包含唯一辨识码， 状态迁移信息表明了状态间的不同推导形式， 表达式信息表 明了执行当前节点迁移所必须满足的条件。 0025。
25、 进一步的， 所述脚本推理系统支持真人实体和机器实体的混合同理模式 ； 脚本推 理系统以重要事件点划分状态， 每个状态包含若干不指定真人实体或机器实体的元操作 ； 所述脚本推理系统设计要求只判断状态是否完成， 不考虑由真人实体或机器实体完成， 当 真人实体演练操作超出规定时间时， 自动将其替换为机器实体， 从而保证演练流程的正确 执行。 0026 进一步的， 所述考核评价系统的评判包括客观问题考核和主观操作评价， 所述评 判的内容均保存在专门的数据库中， 其中客观问题包括题干、 题目内容以及答案， 操作包括 操作内容、 操作参数以及时间限定 ； 脚本推理系统根据所述脚本预案设定的条件向客户端 。
26、发送答题或操作要求 ； 当客户端接收到答题要求时， 将问题的内容在用户交互系统中显示， 接收真人实体的的作答结果并发送至服务端 ； 当客户端接收到操作要求时， 在时间限定内 接收真人实体的操作内容， 并将操作内容发送至服务端 ； 若客户端的真人实体超过限定时 间未能完成操作， 则该客户端上的机器实体代替真人实体完成后续演练流程。 0027 进一步的， 考核评价系统根据从数据库中读取的相应的评判内容， 对客户端发送 的作答结果和操作内容进行评判， 并将保存相应的评判结果 ； 演练过程结束后， 考核评价系 统将评判结果发送至客户端， 客户端解析之后在用户交互系统显示。 0028 本发明还提供了一种。
27、基于人机协同的推理演练系统， 其特征在于包括虚拟现实演 练客户端和服务端 ； 所述虚拟现实客户端和服务端通过通信网络连接 ； 所述客户端包括用 户图形界面、 实体控制模块、 粒子特效模块、 语音提示与实时通话模块、 视角管理模块、 以及 消息接收解析与发送模块 ； 服务端包括脚本推理模块、 协同控制模块、 考核评价模块、 以及 消息接收解析与发送模块 ； 0029 所述用户图形界面， 用于接收交互操作请求命令 ； 0030 所述实体控制模块， 用于将从服务端接收的指令消息转换为相应的实体运动状 态， 该模块支持添加人物、 设置人物姓名和动作、 设置人物移动速度和旋转角度、 以及设置 人物携带物。
28、体的位置和角度属性 ； 0031 所述粒子特效模块， 用于加载粒子从而显示粒子特效， 支持控制粒子方向、 速度和 生存周期属性 ； 0032 所述语音提示与实时通话模块， 其语音提示功能用于在演练过程中将提示文本以 声音方式表现， 从而提示用户进行关键操作 ； 其实时通话功能用于在多真人联机演练时， 供 真人用户选择局域网内任意参演用户进行语音通话聊天， 支持一对一和一对多通话模式 ； 0033 所述视角管理模块， 用于管理虚拟空间各个实体和场景的视角， 客户端利用该模 块在上述各个视角间切换， 显示相应的视角空间 ； 0034 所述客户端的消息接收解析与发送模块， 用于接收服务端发送的消息包。
29、并对其解 析， 将解析出的交互、 控制和维护命令发送给相应模块处理 ； 同时将其他模块生成的命令封 装为消息包发送给所述服务端 ； 说 明 书 CN 103971311 A 7 4/7 页 8 0035 所述脚本推理模块， 用于加载预案脚本， 根据客户端发送的演练数据进行推理， 并 将推理结果以命令的形式返回给客户端消息接收解析与发送模块 ； 0036 所述协同控制模块， 用于维护所有客户端实体状态以及粒子状态的一致性， 其中 所述实体包括机器实体与真人实体， 所述实体状态包括位置、 朝向、 速度和动作， 粒子状态 包括速度、 方向和颜色 ； 0037 所述考核评价模块， 用于对客户端提交的作。
30、答结果和操作内容进行评判并保存相 应的评判结果 ； 考核评价模块收到客户端查看结果请求后， 将评判结果发送给该客户端 ； 0038 所述服务端的消息接收解析与发送模块， 用于消息的发送、 接收与解析工作， 该模 块根据消息类型将不同消息分发到服务端的其他各模块。 0039 进一步的， 所述客户端运行方式可以分为三种 ： 演示模式、 学习模式以及演练模 式 ； 演示模式可以不需要真人实体参与， 仅有机器实体按照脚本预案推进演练流程 ； 学习 模式属于单机联网模式， 单个真人和机器实体协同参与演练 ； 演练模式属于多机联网模式， 多名真人操作员控制多台客户端与服务端连接， 多名真人和机器实体协同参。
31、与演练 ； 同时， 在三种模式下， 均有不同种类的应急救援脚本预案可供选择。 0040 本发明将脚本解释执行技术、 预案推理可视化技术、 虚拟现实技术和网络通信技 术相结合， 设计了一种以 “预案推理为内核驱动， 服务端管理数据， 客户端显示数据” 的独立 架构模式， 各部分之间以消息形式进行数据传递， 根据不同的预案脚本能够使本发明用于 不同种类突发事件应急演练的模拟训练。 本发明不仅支持预案脚本的自动推演以实现预案 可视化， 同时支持真人用户参与应急救援演练， 在人机交互的基础上实现真人和预案机器 实体的协同演练。本发明设计了一种演练过程信息实时采集， 演练后对用户操作行为进行 考核评价的。
32、方法， 可以有效地对演练过程进行事后统计分析， 找出演练流程的不合理性和 参演用户的错误操作。本发明具有演练场景逼真重现、 演练成本低、 演练危险和风险小、 演 练效率高等特点， 在预案推理可视化、 评价考核的基础上， 本发明辅以屏幕文字显示、 任务 提示音合成以及多真人实时通讯功能， 能够高效地完成对应急救援参演人员训练的目的， 提高应急人员的对不同种类救援预案的熟练程度和对突发事件的应急处理能力。 附图说明 0041 图 1、 本发明一种基于人机协同的应急救援推理演练方法的流程图 ； 0042 图 2、 本发明一种基于人机协同的应急救援推理演练的服务端脚本推理流程图 ； 0043 图 3、。
33、 本发明一种基于人机协同的应急救援推理演练的系统结构图。 具体实施方式 0044 下面结合附图， 对本发明进行进一步的详细阐述 ： 0045 本发明的基于人机协同的应急救援推理演练的方法， 如图 1 所示， 总体流程如下 ： 虚拟现实交互客户端与推理协同服务端连接， 所有参与演练的客户端全部连接到服务端之 后， 服务端下达开始演练指令， 没有真人实体控制的客户端会由机器实体代替。演练期间， 各个客户端按照预案内容分别执行各自的任务(包括回答题目、 完成救援操作)。 服务端上 的协同控制系统负责维护各个客户端场景状态的一致性， 服务端上的脚本推理系统对演练 流程进行实时控制， 通过消息发送接收与。
34、解析向客户端发送消息指令， 客户端根据消息指 说 明 书 CN 103971311 A 8 5/7 页 9 令完成场景与演练流程更新。脚本推理系统判断演练流程已到达结束状态， 向客户端发送 演练结束指令。客户端从服务端上的考核评价系统获取演练评价结果， 通过用户交互系统 进行显示。 0046 虚拟现实交互客户端通过虚拟场景绘制系统绘制三维虚拟演练场景， 并接受用户 操作输入与虚拟场景进行交互。 0047 1) 客户端加载本地三维场景资源并将其显示在用户交互系统中， 用户可以通过鼠 标、 键盘等交互方式控制整个虚拟现实交互客户端的各项功能。用户交互系统的界面可以 分为两个部分 ： 窗口主框架和三。
35、维视景窗口。 主窗口框架包括了菜单、 按钮、 列表等控件， 提 供了系统设置、 显示等系统性功能。三维视景窗口对三维虚拟场景进行显示， 。用户交互系 统还可以控制虚拟场景漫游， 可以控制演练实体进行移动、 转向， 完成救援相关任务动作， 可以进行演练流程相关信息的文字显示和声音播放等一系列与演练相关的功能和操作。 0048 2)用户交互操作输入需要转换为推理协同服务端能够识别的指令消息。 不同的交 互内容转换为不同的消息类型， 每种消息类型的格式和参数不相同。消息发送接收与解析 系统负责消息指令的发送、 接收与解析工作。 网络中无法直接传输消息实体， 待发送的消息 实体被序列化为字节流并加入一。
36、些控制字节后进入网络传输。 从网络中收到的字节流都是 普通的二进制位， 无法直接读取消息指令信息， 消息解析时要先将二进制位分割成消息实 体对应的若干字节， 然后对这些字节实施反序列化操作才能得到原始的消息实体。三维场 景绘制模块再根据消息内容对演练场景做出相应的更新并显示在图形用户界面。 0049 推理协同服务端主要工作是对所有连接的客户端中的虚拟场景实体状态的进行 一致性维护以确保所有客户端的场景和实体状态相同。 服务端根据预案内容对演练状态进 行推理控制并协调真人实体与机器实体之间的状态关系， 并对对所有真人实体的演练行为 进行考核评价。 0050 1)脚本解释与推理系统的工作流程如图2。
37、所示。 首先根据脚本配置文件构建实体 状态集合、 状态转移集合以及表达式分支集合， 随后根据所有集合信息构建推理所需的实 体状态转移树 ； 脚本推理系统收到演练开始消息后便从初始状态开始遍历状态树， 执行满 足条件且无前件约束的状态即调用服务端系统控制系统以及考核评价系统所提供的 API 接口， 由后两者完成具体的方法执行 ； 同时， 方法执行时会向客户端发送演练相关的指令消 息， 客户端解析并执行消息后返回执行结果， 脚本推理系统根据反馈结果判断状态是否执 行完毕， 如果状态已经执行完毕并且没有剩余脚本可供执行， 就结束推理过程， 否则继续执 行当前未完状态或寻找下一个状态。 0051 2)。
38、 服务端另外一项重要工作是完成所有真人实体与机器实体的同步协调。一方 面， 虚拟演练场景有任何状态发生变化， 要保证这些变化在所有真人实体客户端上的表现 一致。 因为真人实体共享同一个虚拟场景， 如果没有很好的同步机制， 就会导致不同客户端 的虚拟场景不一致， 真人实体就无法顺利协作完成应急救援演练。客户端实时监测用户输 入， 如果输入造成当前演练场景发生改变， 则将变化信息封装为消息发送到服务端的协同 控制系统。 该系统对消息解析， 并修改用于场景维护的内部数据结构， 随后生成场景更新指 令发往除变化来源客户端之外的所有的客户端， 客户端收到指令后立即更新虚拟场景， 以 保证所有客户端场景一。
39、致。 在网络延迟较小的情况下， 整个同步过程非常迅速， 所有客户端 够实现瞬间同步。 另一方面， 如果虚拟演练所需的某些客户端没有真人实体控制， 就需要由 说 明 书 CN 103971311 A 9 6/7 页 10 机器实体代替参与演练， 机器实体与真人实体相互协作共同完成应急救援任务。服务端协 作控制系统获得各个客户端发送的状态变化信息后， 综合之后形成整个演练流程的全局状 态， 交由脚本推理系统进行演练状态的推演并返回结果， 协同控制系统根据结果对所有客 户端的机器实体状态进行统一更新。 0052 3) 考核评价系统针对用户的答题和操作行为作出评价， 以反映其对于演练任务的 掌握情况。。
40、根据脚本预先设定的内容， 脚本推理系统推理过程中调用考核评价系统接口， 向客户端发送答题或者操作指令， 用户完成答题或操作后客户端会自动将提交结果。服务 端考核评价系统对答题与操作结果进行评判， 题目考核方式是根据标准答案对提交答案打 分， 操作评价方式是以标准操作为依据， 对用户操作所耗时间、 操作参数等指标做出综合评 价。 0053 4) 服务端消息发送接收与解析系统与客户端消息发送接收与解析系统类似， 都是 负责消息的发送、 接收与解析工作， 不同的是在服务端上该系统还需要根据消息类型将不 同消息分发到不同的服务端其它子系统去处理。 0054 网络是连接虚拟现实交互客户端和推理协同服务端。
41、的载体， 客户端与服务端之间 所有的消息通信都是通过网络进行的。对底层的网络操作进行封装， 建立一个完善的网络 通信框架， 使得无论是通过无线连接还是有线连接， 都能保证在满足演练要求的客户端数 量下， 服务端与客户端之间都能进行快速有效地网络通信。 0055 本发明基于人机协同的应急救援推理演练系统的模块结构如图 3 所示。整个系统 由两部分构成， 分别是推理协同服务端和虚拟现实交互客户端。虚拟现实交互客户端包括 用户图形界面、 实体控制模块、 粒子特效模块、 语音提示与实时通话模块、 视角管理模块和 消息接收解析与发送模块， 其功能是负责接收并执行用户操作， 从而完成应急演练流程推 进所需。
42、完成的状态。 0056 1) 用户图形界面 ： 提供了在虚拟现实交互客户端进行交互操作的各种界面， 用户 可以通过菜单栏向服务端请求演示模式、 学习模式或联机演练模式， 可以通过右边栏来控 制演练流程速度 ( 如 ： 加速、 减速、 暂停 )、 切换用户视角、 查看当前演练所用时间， 可以通过 按钮向服务端请求评价考核结果的数据， 也可以通过点击虚拟现实渲染显示界面内的人物 或设备来完成信息交互。 0057 2) 实体控制模块 ： 该模块用于将从服务端接收的指令消息转换为相应的实体运 动状态， 支持添加人物、 设置人物姓名和动作、 设置人物移动速度和旋转角度、 设置人物携 带物体的位置和角度等。
43、属性 ； 相关操作也可作用于应急救援车和消防车。 0058 3) 粒子特效模块 ： 该模块在接收并解析服务端发送的粒子加载指令后， 会在资源 库中查找与粒子名相匹配的模型进行渲染。粒子效果由粒子脚本所包含属性初始化， 渲染 后也可以通过系统提供的接口来控制粒子发射方向、 速度、 生存周期等属性。 0059 4) 语音提示与实时通话模块 ： 语音提示功能通过解析服务端消息指令， 调用系统 声音合成模块将消息中提示文本以声音方式表现， 从而提示用户进行关键操作， 该模块不 仅支持多重声音混合播放， 还支持因距离远近而产生不同声音大小的多普勒效应 ； 实时通 话功能以网络地址作为用户唯一标识码， 通。
44、过网络将本地打包的语音数据发送给指定客户 端， 客户端接收解压语音数据并调用 windows 底层 API 进行语音播放。该模块用于多真人 联机演练时， 真人用户可以选择局域网内任意参演用户进行语音通话聊天， 支持一对一和 说 明 书 CN 103971311 A 10 7/7 页 11 一对多通话模式。 0060 5) 视角管理模块 ： 应急救援场景中只配备一台摄像机， 模拟观察者对场景中的任 意位置进行不同细节度的查看。 该模块支持固定地点的视角切换和跟随任意参演人员实时 移动视角的功能， 可以用于管理虚拟空间各个实体和场景的视角， 客户端利用该模块在上 述视角间切换， 显示相应的视角空间。
45、。 0061 6) 消息接收解析与发送模块 ： 用于接收服务端发送的消息包并对其解析， 将解析 出的交互、 控制和维护命令发送给相应模块处理 ； 同时将其他模块生成的命令封装为消息 包发送给所述服务端。 0062 推理协同服务端包括脚本推理模块、 协同控制模块、 考核评价模块和消息接收解 析与发送模块， 其功能是负责应急演练流程控制、 实体一致性维护以及演练流程的考核评 价。 0063 1) 脚本推理模块 ： 该模块是脚本系统和推理系统的结合， 脚本系统具有解释执行 功能， 能够很好地将脚本语言转换成平台所识别的指令形式。推理系统首先根据配置文件 生成的应急预案实体状态转移关系， 辨识对应脚本。
46、系统中的文本内容并按顺序逐条发送演 练流程控制指令给客户端， 同时接收客户端反馈的演练数据判断当前状态是否执行完毕以 及后续是否有状态可以执行， 最后将推理结果以命令的形式返回给命令接收解析与发送模 块。 0064 2) 协同控制模块 ： 本发明采取服务端 - 客户端架构， 服务端通过网络发送消息的 形式来维护所有客户端实体状态以及粒子状态的一致性， 其中实体包括机器实体与真人实 体， 所述实体状态包括位置、 朝向、 速度以及动作， 粒子状态包括速度、 方向、 颜色 ； 0065 3) 考核评价模块 ： 服务端实时接收客户端真人提交的题目作答数据和操作内容 数据， 演练结束后对提交操作的真人进行打分评价并将结果保存。当考核评价模块接收到 客户端查看评价结果请求消息后， 该模块通过网络将评价结果发送给该请求客户端。 0066 4) 消息接收解析与发送模块， 用于消息的发送、 接收与解析工作， 该模块根据消息 类型将不同消息分发到服务端的其他各模块。 说 明 书 CN 103971311 A 11 1/3 页 12 图 1 说 明 书 附 图 CN 103971311 A 12 2/3 页 13 图 2 说 明 书 附 图 CN 103971311 A 13 3/3 页 14 图 3 说 明 书 附 图 CN 103971311 A 14 。