一种用于模拟矿井灾害逃生训练的交互方法技术领域
本发明涉及一种用于模拟矿井灾害逃生训练的交互方法。
背景技术
安全问题长期以来困扰着煤炭行业的发展，为了使井下作业人员熟悉井下环境、
掌握自救方法，虚拟矿井逃生训练显得尤为重要。目前的虚拟矿井逃生训练系统过分依赖
键盘鼠标等传统交互设备，受训者无法通过肢体操作控制虚拟巷道中的自由跑动、不能实
现与巷道内虚拟设施的互动，因此体验效果不佳，缺乏在逃生过程中的紧张感和沉浸感。
发明内容
本发明的目的在于提出一种用于模拟矿井灾害逃生训练的交互方法，以便使受训
者完成全方位模拟仿真现实情况的虚拟现实矿井逃生训练。
为了实现上述目的，本发明采用如下技术方案：
一种用于模拟矿井灾害逃生训练的交互方法，其采用的逃生训练系统包括虚拟现
实眼镜、全方位型VR跑步机、体感交互设备和计算机；
其中，虚拟现实眼镜、全方位型VR跑步机、体感交互设备分别与计算机相连；所述
实现方法包括：
通过计算机生成等比例三维全景仿真虚拟现实矿井系统的步骤；
通过虚拟现实眼镜呈现立体感的虚拟现实矿井场景的步骤；
通过全方位型VR跑步机将人体的移动状态转换为对虚拟现实矿井场景中人物模
型的移动操作控制的步骤；以及
通过体感交互设备获取人体骨骼的实时追踪，并对人体手部骨骼节点进行识别，
从而完成对虚拟现实矿井场景中人物模型相关交互操作控制的步骤。
优选地，所述人体的移动状态包括行走、跳跃和跑动。
优选地，所述交互操作包括触碰式交互操作或抓取式交互操作。
优选地，利用虚拟现实眼镜中包括陀螺仪和加速计在内的惯性传感器实时感知人
体头部的位置，并对应调整显示画面的视角，使人体融入到虚拟现实矿井场景中。
优选地，所述虚拟现实眼镜通过虚幻引擎底层插件的支持，从虚拟现实矿井系统
构建的矿井地图中获取场景相机捕捉到的画面，并以每帧不高于13ms的速度刷新画面。
优选地，所述全方位型VR跑步机上的运动轨迹和速度数据通过全方位型VR跑步机
底部的八块轨迹追踪板获取并传输至计算机，实时转化为人物模型的相应方向向量和运动
速度，控制人物模型和场景相机按人体运动方向与速度在虚拟现实矿井场景中移动。
优选地，所述体感交互设备获取人体骨骼的实时追踪的步骤如下：
1)体感交互设备选用Kinect，根据Kinect获取到人体的25个骨骼节点，在三维建
模软件中建立与Kinect骨骼节点一致的人物模型；
2在虚幻引擎中建立Avatar系统，获取骨架网格物体动画的实例，将3DMax中建立
的三维人物模型与Kinect骨骼关节点相对应，并通过Microsoft Kinect SDK开发包和
OpaqueMultimedia开发的第三方插件，逐帧获取人物骨骼节点空间位置和方向信息；
其中，Kinect Interface接口获取人体骨骼对应的关节点，Get Centered Body函
数和GetJoint Absolute Position函数获取当前操作骨骼和对应关节点追踪的位置信息；
3)最后，将追踪到的人体骨骼与虚幻引擎里的人物模型的骨骼节点一一对应，使
人物模型的运动轨迹与人体做出的动作反应相一致。
优选地，所述触碰式交互操作的过程具体如下：
1)在虚幻引擎导入的人体骨骼手部绑定碰撞体，通过Attach To函数将两碰撞体
与人体骨骼的手部节点参数hand_l或hand_r依次根据父子关系使用Snap to Target方式
进行绑定，此时经体感交互设备控制人体骨骼的手部即存在碰撞；
2)在虚拟现实矿井场景中需要控制操作的位置设置相应的触发器；
3)通过体感交互设备控制人体骨骼移动至所需控制操作位置后，手部碰撞体通过
触碰方式开启触发器操作事件。
优选地，所述抓取式交互操作的过程具体如下：
1)在虚拟现实矿井场景中创建静态网格物体，并对应加入碰撞准备人物骨骼关节
点与静态网格物体的绑定；
2)通过Get Hand State as Exceution函数，添加左右手枚举值和Kinect
Interface接口参数，从而在每帧图像中获取Kinect识别的手势状态；
3)当识别手部状态为Open状态时，使用Attach To函数将碰撞体和人体骨骼的手
部关节点绑定，使用Move Component to函数添加待操作的静态网格物体引用，并将待操作
目标物体位置设置为关节点参数hand_l/hand_r所在位置；
4)当识别手部状态为Close状态时，则使用虚幻引擎自带的Set Visibility函数
和Detach函数将人体骨骼绑定的碰撞体隐藏，从而不与其他物体发生碰撞进行操作。
本发明具有如下优点：
本发明方法采用虚拟现实眼镜、全方位型VR跑步机、体感交互设备和计算机相结
合的形式，全方位型VR跑步机根据人体的移动状态控制虚拟现实矿井场景中人物模型的动
作，并通过体感交互设备进行人体骨骼跟踪和手势识别，完成虚拟现实矿井场景中人物模
型的交互操作等，最终将三维虚拟矿井的实时信息，通过虚拟现实眼镜输出，使受训者完成
全方位模拟仿真现实情况的虚拟现实矿井逃生训练。本发明能够节省搭建真实逃生系统的
人力物力，并使训练者在原地进行高度还原真实火灾情况的操作，获得较好的培训体验。
附图说明
图1为本发明方法所采用的逃生训练系统的结构示意图；
其中，1-计算机，2-体感交互设备，3-虚拟现实眼镜，4-人体，5-全方位型VR跑步
机。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种模拟矿井灾害逃生训练系统，包括计算机1、体感交互设备2、虚
拟现实眼镜3和全方位型VR跑步机5。其中：
体感交互设备2、虚拟现实眼镜 3和全方位型VR跑步机5分别与计算机1相连。
本发明中的体感交互设备2例如可以采用Kinect等。
本发明中的虚拟现实眼镜3例如可以采用Oculus Rift，当然，该虚拟现实眼镜 3
还可以是PlayStation VR、Vive Pre、Oculus rift DK2等。
本发明中的全方位型VR跑步机5例如可以采用Virtuix Omni等。
一种用于模拟矿井灾害逃生训练的交互方法，采用上述逃生训练系统，该方法包
括：
a通过计算机1生成等比例三维全景仿真虚拟现实矿井系统的步骤；
b通过虚拟现实眼镜3呈现立体感的虚拟现实矿井场景的步骤；
c通过全方位型VR跑步机5将人体的移动状态转换为对虚拟现实矿井场景中人物
模型的移动操作控制的步骤；以及
d通过体感交互设备2获取人体骨骼的实时追踪，并对人体手部骨骼节点进行识
别，从而完成对虚拟现实矿井场景中人物模型相关交互操作控制的步骤。
在步骤a中建立的等比例三维全景仿真虚拟现实矿井系统具有如下特点：
1.结合矿井地形生成适配具体矿井的相关虚拟现实矿井场景；
2.结合受训者的具体交互操作对虚拟现实矿井系统进行实时更新；
3.规划最佳路径、逃生时进行逃生路线培训。
在步骤b中，利用虚拟现实眼镜3作为逃生训练系统的视觉输出设备，分别为受训
者的双眼提供不同的画面，通过双眼视差产生较强立体感。
利用虚拟现实眼镜3中包括陀螺仪和加速计在内的惯性传感器实时感知受训者头
部的位置，并对应调整显示画面的视角，使受训者融入到虚拟现实矿井场景中。
在步骤c中，人体的移动状态包括行走、跳跃和跑动。通过全方位型VR跑步机5可以
将上述移动状态转化为虚拟现实矿井场景中人物模型对应的移动状态。
受训者使用特制低摩擦鞋，借助腰部辅助圆环支撑，通过全方位型VR跑步机5的碗
状构造底座，在全方位型VR跑步机5上前后左右走动，全方位型VR跑步机5的碗装构造底座
保证受训者走动后仍保持在原位置，受训者在全方位型VR跑步机5上的运动轨迹和速度数
据通过全方位型VR跑步机5底部的八块轨迹追踪板获取并传输至计算机，实时转化为人物
模型的相应方向向量和运动速度，控制人物模型和场景相机按人体运动方向与速度在虚拟
现实矿井场景中移动，从而增强沉浸感和可操控性。
在步骤d中，体感交互设备2获取人体骨骼的实时追踪的步骤如下：
1)选取Kinect作为本发明中的体感交互设备2，根据体感交互设备获取到人体的
25个骨骼节点，在三维建模软件中建立与Kinect骨骼节点一致的人物模型；
2)在虚幻引擎中建立Avatar系统，获取骨架网格物体动画的实例，将3DMax中建立
的三维人物模型与Kinect骨骼关节点相对应，并通过Microsoft Kinect SDK开发包和
OpaqueMultimedia开发的第三方插件，逐帧获取人物骨骼节点空间位置和方向信息；
其中，Kinect Interface接口获取人体骨骼对应的关节点，Get Centered Body函
数和GetJoint Absolute Position函数获取当前操作骨骼和对应关节点追踪的位置信息；
3)最后，将追踪到的人体骨骼与虚幻引擎里的人物模型的骨骼节点一一对应，使
人物模型的运动轨迹与人体做出的动作反应相一致。
在步骤d中，体感交互设备2体感交互的方式，使得人机交互操作更加简单自然，所
有的交互操作都可由肢体动作完成。除了使用者与 3D人物模型的动作一致外，用自然交互
方式在场景中与物体的交互也是一项重要功能。
本发明中相关交互操作包括触碰式交互操作或抓取式交互操作。
具体的，触碰式交互操作的过程具体如下：
1)在虚幻引擎导入的人体骨骼手部绑定碰撞体，通过Attach To函数将两碰撞体
与人体骨骼的手部节点参数hand_l或hand_r依次根据父子关系使用Snap to Target方式
进行绑定，此时经体感交互设备控制人体骨骼的手部即存在碰撞；
2)在虚拟现实矿井场景中需要控制操作的位置，诸如巷道闸门、报警装置、升降机
等地点，设置相应的触发器；
3)通过体感交互设备2控制人体骨骼移动至所需控制操作位置后，手部碰撞体通
过触碰方式开启触发器操作事件，播放预设闸门关闭动画、报警灯报警广播、启动升降器升
起等动画、声音及特效，从而实现对场景中进入区域、触发按钮等简单交互。
而抓取式交互操作则是通过体感交互设备2追踪获取到四个手部骨骼关节点的相
对位置，从而判定手部动作识别手势状态进行相应操作。
抓取式交互操作的过程具体如下：
1)在虚拟现实矿井场景中创建灭火器、逃生面具、救生舱、井下作业设备等静态网
格物体，并对应加入碰撞准备人物骨骼关节点与静态网格物体的绑定；
2)通过Get Hand State as Exceution函数，添加左右手枚举值和Kinect
Interface接口参数，从而在每帧图像中获取Kinect识别的手势状态；
3)当识别手部状态为Open状态时，结合上述过程使用Attach To函数将碰撞体和
人体骨骼的手部关节点绑定，使用Move Component to函数添加待操作的静态网格物体引
用，并将待操作目标物体位置设置为关节点参数hand_l/hand_r所在位置；
4)当识别手部状态为Close状态时，则使用虚幻引擎自带的Set Visibility函数
和Detach函数将人体骨骼绑定的碰撞体隐藏，从而不与其他物体发生碰撞进行操作。
本发明中逃生训练系统的具体使用过程如下：
受训者进入全方位型VR跑步机5，面向体感交互设备2站立，佩戴虚拟现实眼镜3。
受训者进入仿真虚拟现实矿井系统，准备工作就绪，开启各交互设备。
虚拟现实眼镜3呈现培训系统界面，界面采用卡片式UI设计，受训者抬起左手水平
挥动，由Kinect识别手势操作进行菜单切换；通过界面中心的准星选中菜单选项；视觉悬停
3秒即为确认选中，进入受训者所选灾害模式及相应矿井地图开始训练。
逃生训练分为教程训练和自主训练两种模式：
教程训练通过对矿井救生通道的总体介绍和标注救生设施所处位置，帮助受训者
了解矿井内部情况并掌握逃生方法和路线；自主训练则完全由受训者自主选择逃生方式。
训练开始，虚拟现实眼镜3通过虚幻引擎底层插件的支持，从虚拟现实矿井系统构
建的矿井地图中获取场景相机捕捉到的画面，并以每帧不高于13ms的速度刷新画面，从而
保持虚拟现实眼镜3呈现画面的流畅，达到实时传输的效果。上述画面刷新速度同时可以降
低受训者的眩晕感，增强其沉浸于矿井地形的感受。
教程训练模式下，根据系统提示，受训者穿戴低摩擦鞋在全方位型VR跑步机5上前
后左右走动，全方位型VR跑步机5的碗装构造底座保证受训者走动后仍保持在原位置，受训
者在全方位型VR跑步机上的运动轨迹和速度传输至培训系统，实时转化为虚拟现实矿井场
景中人物模型的相应方向向量和运动速度，控制培训系统中的人物模型和场景相机按受训
者运动方向与速度在场景中移动，从而增强沉浸感和可操控性。
当受训者通过全方位型VR跑步机5控制虚拟现实矿井场景中人物模型走动至可交
互物体前，伸出右手利用手势控制物体的抓取和放置，实现关闭巷道闸门、启动报警装置、
开启升降机，使用灭火器、逃生面具、救生舱等其他井下救生设备。
受训者完成训练后，系统界面显示继续训练和退出系统选项卡，受训者通过射线
检测和视觉悬停进行选择，继续逃生训练或退出系统。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应
当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明
显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。