一种运用虚拟现实技术的康复训练系统及方法.pdf

本发明公开了一种运用虚拟现实技术的康复训练系统及方法，包括如下三个阶段：第一阶段：通过体感设备Kinect采集人体骨骼节点，生成骨架系统。第二阶段：准备模型并绑定骨骼，搭建数据库环境，通过深度信息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应。第三阶段：将Kinect的数据通过接口函数传入Unity3D当中，驱动场景模型进行运动。第四阶段：导入角色，调试环境。第五阶段：数据的写入以及读出，并控制数据可视化。本发明摆脱传感器束缚，实现自然肢体运动监测成为可能；采用体感交互设备Kinect，降低了系统的成本，消除了训练过程中穿戴输入设备的繁琐性。

权利要求书
1.  一种运用虚拟现实技术的康复训练系统及方法，其特征在于， 包括如下三个阶段：
第一阶段：通过体感设备Kinect采集人体骨骼节点，生成骨架 系统，具体包括：
1)通过红外传感器获取景深图像；
2)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；
3)通过Kinect的机器学习系统辨别人体部位；
4)通过人体部位的辨识确定人体20个关节点，并生成骨架系统；
第二阶段：准备模型并绑定骨骼，搭建数据库环境，通过深度信 息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工 具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新 控制当个模型的节点位置，实现模型的同步运动；
第三阶段：将Kinect的数据通过接口函数传入Unity3D当中， 驱动场景模型进行运动；
第四阶段：导入角色，建立Unity3D场景以及GUI界面，调试环 境；
第五阶段：功能模块的实现部分，这部分主要负责数据的写入以 及读出，通过一个管理器脚本调控数据，并控制数据可视化。

说明书一种运用虚拟现实技术的康复训练系统及方法
技术领域
本发明涉及一种康复训练系统及方法，尤其是一种设计巧妙、 智能化程度高的一种运用虚拟现实技术的康复训练系统及方法。
背景技术
目前在国内的康复治疗中，主要的康复治疗手段是以治疗师的手 法操作为主，或辅助一些简单的训练器械，即通过被动运动、辅助运 动、主动运动和抗阻运动等来达到恢复肌肉运动功能的目的。这种方 法取得了很好的康复治疗效果，但同时由于治疗手段的局限性，导致 患者处于被动地位。而且在训练过程中，动作反复、单调、枯燥，患 者很容易产生厌烦情绪，不利于治疗的继续和深入。
为了解决以上问题，人们开始将虚拟现实技术利用到运动障碍恢 复训练中。利用虚拟现实系统进行运动障碍康复训练，是让患者在虚 拟环境中扮演一个角色，成为虚拟环境中的一部分，通过训练动作与 虚拟环境进行交互，虚拟环境即时给予患者反馈。这种训练方法可以 降低康复治疗过程对治疗师及治疗场地的依赖程度，为患者提供精 确、稳定、个性化的训练模式和定量化的训练效果评估指标，同时增 加治疗过程的趣味性，激发患者参与治疗过程的积极性，是被动治疗 变为主动治疗。
在虚拟现实系统中，一般的数据手套可以将手部的运动转变为触 摸物体的计算机指令，但仅仅具有伸手触摸物体的能力，并没有触摸 物体的触觉反馈，这在真实感上是远远不够的。近年来研究人员在数 据手套中加入了触觉和力反馈装置，增强患者对虚拟环境的真实体 验，增加患者的沉浸感。渥太华大小的Ruba使用具有触觉反馈的数 据手套进行康复训练，并为患者设计了不同难度等级的康复训练虚拟 场景。罗格斯大学和斯坦福大学开发了基于虚拟现实的骨骼远程康复 系统。患者在家庭进行虚拟现实康复训练，该系统的控制端直接读取 患者数据库的康复数据，专业治疗师通过分析数据了解病人康复训练 的进展。张立勋等开发了基于matlab的下肢康复机器人虚拟现实仿 真系统。该系统可以通过网络远程监控康复机器人的运动状态并在线 调整康复机器人的控制参数，并在控制端进行虚拟仿真，使专业治疗 师可以在控制端直观的了解到患者的训练状态，为专业治疗师远程指 导患者进行康复训练提供了平台。
体感技术的出现，使人们可以很直接地使用肢体动作，与周边的 装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历 其境地与内容做互动。
利用虚拟显示系统进行运动障碍康复训练，让患者在虚拟环境中 扮演一个角色，成为虚拟环境中的一部分，通过训练动作与虚拟环境 进行交互，虚拟环境即时给予患者反馈。这种训练方法可以降低康复 治疗过程对治疗师及治疗场地的依赖程度，为患者提供精确、稳定、 个性化的训练模式和定量化的训练效果评估指标，同时增加治疗过程 的趣味性，激发患者参与治疗过程的积极性，使被动治疗变为主动治 疗。目前，虚拟现实技术在运动障碍康复训练领域已经得到广泛应用。 然而在目前的虚拟现实系统中，存在许多的缺陷：
(1)在训练系统的使用过程中，患者需要穿戴感知输入设备，如 数据手套、数据衣、数据头盔等，并从输出反馈设备中得到 视觉、听觉及触觉等多种感官的反馈。穿戴过程繁琐，影响 用户的积极性。
(2)患者在使用系统前需要进行动作校正，使用过程繁琐，降低 了用户的训练兴趣。
(3)穿戴设备通常价格昂贵，大大增加了训练系统的成本，不利 于患者引入家庭的购买使用。
(4)输入接口单一，不利于系统的扩展。
发明内容
为解决上述问题，本发明提供了一种运用虚拟现实技术的康复训 练系统及方法，包括如下三个阶段：
第一阶段：通过体感设备Kinect采集人体骨骼节点，生成骨架 系统，具体包括：
1)通过红外传感器获取景深图像；
2)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；
3)通过Kinect的机器学习系统辨别人体部位；
4)通过人体部位的辨识确定人体20个关节点，并生成骨架系统。
第二阶段：准备模型并绑定骨骼，搭建数据库环境，通过深度信 息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工 具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新 控制当个模型的节点位置，实现模型的同步运动。
第三阶段：将Kinect的数据通过接口函数传入Unity3D当中， 驱动场景模型进行运动。
第四阶段：导入角色，建立Unity3D场景以及GUI界面，调试环 境。
第五阶段：功能模块的实现部分，这部分主要负责数据的写入以 及读出，通过一个管理器脚本调控数据，并控制数据可视化。
本专利与现有技术相比，患者只需要站在屏幕前，选择相应难度 等级的场景，根据场景画面上的指示完成各种肢体动作，屏幕上即可 实时监控患者的动作情况；患者的动作还可以与画面中的内容进行互 动，使康复训练就像做游戏一样，增加患者的积极性；体感设备的 3D影像侦测与人体骨骼追踪技术，让摆脱传感器束缚，实现自然肢 体运动监测成为可能；采用体感交互设备Kinect，降低了系统的成 本，操作简便，交互性强，消除了训练过程中穿戴输入设备的繁琐性。 在不久的未来，康复和保健走入家庭的情景也可以预期，并将成为在 线医疗的一个重要组成部分。
本系统使用体感技术进行实时动作捕捉，捕捉患者手臂的三维运 动轨迹，通过计算机图形和图像技术，开发一些用于康复的游戏式训 练场景来进行人机互动，增加了治疗过程的趣味性和患者的积极性， 使康复训练成为患者的主动行为。可以使患者以自然方式与具有多种 感官刺激的虚拟环境中的对象进行交互。并且减少了患者在真实环境 中由错误操作导致的危险，从而更好的完成康复训练，通过不断的手 臂运动，达到逐渐恢复机能的作用。
本系统的关键点：
纯三维模式
选择3D Max作为三维建模工具，模型采用纯三维模式，并为人体 模型添加了骨骼，可以检测虚拟人的多个关节部位的动作。
不同难度等级的游戏式康复训练场景
系统为康复训练患者设计了不同难度等级的游戏式康复训练虚拟 场景，训练过程由易到难，循序渐进，场景中并配有音乐效果，增加 训练的趣味性，达到更好的训练效果。
多种输入设备接口
系统以体感交互设备kinect为主要输入设备，并且提供了其它可 穿戴输入设备接口，如数据手套、数据衣、数据头盔等。
操作简便，成本低，交互性强
采用体感交互设备kinect作为输入设备，患者无需穿戴任何感知 设备即可进行训练。本系统成本低廉，易于患者购买，家庭式使用。
实现了训练任务的动作数据记录
系统通过与远端服务器的数据传递，将患者每一次的训练数据都 保存起来，并显示于web页面或者本地，可以使专业治疗师更加直观 清晰的了解患者当前的恢复状况，也为以后的康复计划作出指导。
具体实施方式
下面结合实施例对本专利进行进一步描述：
一种运用虚拟现实技术的康复训练系统及方法，一种运用虚拟现 实技术的康复训练系统及方法，包括如下三个阶段：
第一阶段：通过体感设备Kinect采集人体骨骼节点，生成骨架 系统，具体包括：
1)通过红外传感器获取景深图像；
2)寻找移动物体，进行像素级评估，进行背景的剔除遮罩；
3)通过Kinect的机器学习系统辨别人体部位；
4)通过人体部位的辨识确定人体20个关节点，并生成骨架系统。
第二阶段：准备模型并绑定骨骼，搭建数据库环境，通过深度信 息以及彩色信息的机器学习获得各个骨骼节点位置，由3Dmax软件工 具建模，建立人体骨骼IK/FK，绑定模型的节点一一对应，通过更新 控制当个模型的节点位置，实现模型的同步运动。
第三阶段：将Kinect的数据通过接口函数传入Unity3D当中， 驱动场景模型进行运动。
第四阶段：导入角色，建立Unity3D场景以及GUI界面，调试环 境。
第五阶段：功能模块的实现部分，这部分主要负责数据的写入以 及读出，通过一个管理器脚本调控数据，并控制数据可视化。
本专利与现有技术相比，患者只需要站在屏幕前，选择相应难度 等级的场景，根据场景画面上的指示完成各种肢体动作，屏幕上即可 实时监控患者的动作情况；患者的动作还可以与画面中的内容进行互 动，使康复训练就像做游戏一样，增加患者的积极性；体感设备的 3D影像侦测与人体骨骼追踪技术，让摆脱传感器束缚，实现自然肢 体运动监测成为可能；采用体感交互设备Kinect，降低了系统的成 本，操作简便，交互性强，消除了训练过程中穿戴输入设备的繁琐性。 在不久的未来，康复和保健走入家庭的情景也可以预期，并将成为在 线医疗的一个重要组成部分。
上面所述的实施例仅仅是对本发明的优选实施方式进行描述，并 非对本发明的保护范围进行限定，在不脱离本发明设计精神前提下， 本领域普通工程技术人员对本发明技术方案做出的各种变形和改进， 均应落入本发明的权利要求书确定的保护范围内。