一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf

上传人:罗明 文档编号:5211807 上传时间:2018-12-26 格式:PDF 页数:17 大小:1.09MB
返回 下载 相关 举报
摘要
申请专利号:

CN201510001948.3

申请日:

2015.01.05

公开号:

CN104524742A

公开日:

2015.04.22

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):A63B 22/00申请日:20150105|||公开

IPC分类号:

A63B22/00; A63B23/035; A63B71/06; A61B5/11

主分类号:

A63B22/00

申请人:

河海大学常州校区

发明人:

周小芹; 刘策; 倪剑帆; 周旭; 刘小峰

地址:

213022江苏省常州市新北区晋陵北路200号

优先权:

专利代理机构:

南京纵横知识产权代理有限公司32224

代理人:

董建林

PDF下载: PDF下载
内容摘要

本发明公开了一种基于Kinect传感器的脑瘫儿童康复训练方法,包括以下步骤:S1、获取儿童的骨骼点数据;S2,肢体运动训练,对儿童的骨骼点进行倾斜、抬起角度判断:儿童摆出动作后,捕捉儿童动作,对头部、上肢和下肢各关节点进行倾斜、抬起角度判断;S3, 儿童动作稳健交互处理;S4,连接游戏引擎,将步骤S3稳健交互处理后的儿童骨骼数据发送给游戏引擎;S5,语音反馈儿童动作进行不规范动作提醒以及完成动作的鼓励;S6,评估儿童的康复训练进展。本发明基于微软Kinect获取儿童训练过程中的运动行为特征,全面锻炼了儿童的心血管耐力,肌肉的耐力,肌力,平衡和灵活性。

权利要求书

权利要求书
1.  一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征在于,包括以下步骤:
S1、获取儿童的骨骼点数据:Kinect传感器与计算机相连接,计算机接入网络,Kinect 传感器获取儿童图像,通过Kinect的骨骼捕捉函数获取儿童的骨骼点数据,骨骼点数据为 以Kinect深度相机为原点的坐标值,骨骼点包括头部节点H,肩关节中心节点S0,脊柱中 心节点S,左肩关节节点S1,右肩关节节点S2,左肘关节节点E1,右肘关节节点E2,左腕 关节节点W1,右腕关节节点W2,左髋关节节点H1,右髋关节节点H2,左膝关节节点K1, 右膝关节节点K2,左踝关节节点A1,右踝关节节点A2;
S2,肢体运动训练,对儿童的骨骼点进行倾斜、抬起角度判断:儿童摆出动作后,捕 捉儿童动作,在三维平面直角坐标系中,取YOZ平面为α面,取XOY平面为β面,对头 部、上肢和下肢各关节点进行倾斜、抬起角度判断;
S3,儿童动作稳健交互处理;
S4,连接游戏引擎,将步骤S3稳健交互处理后的儿童骨骼数据发送给游戏引擎,骨骼 数据形成的动作转换为游戏引擎定义的事件,将游戏纳入儿童康复训练中;
S5,语音反馈儿童动作:将步骤S3所述自动配准的结果通过语音反馈给儿童,进行不 规范动作提醒以及完成动作的鼓励;
S6,评估儿童的康复训练进展:实时记录儿童的骨骼点与虚拟形象的配准度,并将所 述配准度发送至远程评估终端,评估康复训练性能。

2.  根据权利要求1所述的一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征 在于,步骤S2还包括步行训练,计算左右脚步幅、速度指标,判别儿童的步态是否为正常 步态。

3.  根据权利要求1所述的一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征 在于,步骤S2对儿童的骨骼点进行倾斜、抬起角度判断,具体包括以下步骤:
(1)判断躯体是否左右倾斜:以α面为参考面,肩关节中心节点S0、脊柱中心节点S 两点连接所成直线为a,基于线面夹角计算方法计算直线a与α面所成夹角=<a,α>, 所述直线a与α面所成夹角为躯体的左右倾斜角;
(2)判断躯体是否前后倾斜:以β面为参考面,肩关节中心节点S0、脊柱中心节点S, 两点连接所成直线为a,基于线面夹角计算方法计算直线a与β面所成夹角=<a,β>, 所述直线a与β面所成夹角为躯体的前后倾斜角;
(3)判断手臂左右抬起角度:以α面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与α面所成夹角=<b1,α>,直线b2与α面所成夹角=<b2,α>, 所述直线b1与α面所成夹角为左手臂抬起角度,所述直线b2与α面所成夹角为右手臂抬起 角度;
(4)判断手臂前后抬起角度:以β面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与β面所成夹角=<b1,β>,直线b2与β面所成夹角=<b2,β>, 所述直线b1与β面所成夹角为左手臂前后抬起角度,所述直线b2与β面所成夹角为右手臂 前后抬起角度;
(5)判断腿部左右抬起角度:以α面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2, 基于线面夹角计算方法计算直线c1与α面所成夹角即=<c1,α>,直线c2与α面所成夹角 即=<c2,α>,所述直线c1与α面所成夹角为左腿抬起角度,直线c2与α面所成夹角为右腿 抬起角度;
(6)判断腿部前后抬起角度:以β面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2,基 于线面夹角计算方法计算直线c1与β面所成夹角即=<c1,β>,直线c2与β面所成夹角即 =<c2,β>,直线c1与β面所成夹角为左腿前后抬起角度,直线c2与β面所成夹角为右腿 前后抬起角度;
(7)判断头部是否左右倾斜:以α面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与α面所成夹角=<d,α>,直线d 与α面所成夹角为头部左右倾斜角;
(8)判断头部是否前后倾斜:以β面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与β面所成夹角=<d,β>,直线d 与β面所成夹角为头部前后倾斜角;
(9)判断大臂与小臂夹角:左/右肩关节节点S1/S2,左/右肘关节节点E1/E2,左/右 腕关节节点W1/W2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,E1、 W1两点连接所成直线为e1,E2、W2两点连接所成直线为e2,基于线线夹角计算方法计算 b1、e1两直线所成夹角θi=<b1,e1>,b2、e2两直线所成夹角θ2=<b2,e2>,所述b1、e1两直 线所成夹角θi为左大臂与左小臂夹角,所述b2、e2两直线所成夹角θ2为右大臂与右小臂夹 角;
(10)判断大腿与小腿夹角:左/右髋关节节点H1/H2,左/右膝关节节点K1/K2, 左/右踝关节节点A1/A2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为 c2,K1、A1两点连接所成直线为f1,K2、A2两点连接所成直线为f2,基于线线夹角计算 方法计算c1、f1两直线所成夹角c2、f2两直线所成夹角所 述c1、f1两直线所成夹角为左大腿与左小腿夹角,所述c2、f2两直线所成夹角为右大 腿与右小腿夹角。

4.  根据权利要求1所述的一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征 在于,
步骤S3所述儿童动作稳健交互处理包括:
通过小波降噪、移动平均滤波器降噪对运动的骨骼抖动进行处理;通过中值滤波对图 像空洞进行处理,剔除异常深度值,对深度缺失值进行估计;采用磁石方法将阈值范围内 的动作与虚拟形象进行配准。

5.  根据权利要求3所述的一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征 在于,所述线面夹角计算方法具体包括以下步骤:
假设直线AB、平面δ,计算直线AB与平面δ夹角即计算直线AB与平面δ法向量之间 夹角,取向量为平面δ的法向量,假设向量表示为直线AB用向量表 示为 j &RightArrow; = ( j 1 , j 2 , j 3 ) ; ]]>
则直线AB与平面δ法向量的夹角为:
&epsiv; = arccos ( ( i 1 * j 1 + i 2 * j 2 + i 3 * j 3 ) ( i 1 2 + i 2 2 + i 3 2 ) * ( j 1 2 + j 2 2 + j 3 2 ) ) , ]]>
则直线AB与平面δ夹角的弧度制表示为γ=PI-ε。

6.  根据权利要求3所述的一种基于Kinect传感器的脑瘫儿童康复训练方法,其特征 在于,所述线线夹角计算方法具体包括以下步骤:
假设直线BC、直线CD,计算直线BC与直线CD夹角即计算直线BC与直线CD两 向量之间夹角;
假设直线BC用向量表示为直线CD用向量表示为 y3);
则直线BC与直线CD的夹角为:
&epsiv; = arccos ( ( x 1 * y 1 + x 2 * y 2 + x 3 * y 3 ) ( x 1 2 + x 2 2 + x 3 2 ) * ( y 1 2 + y 2 2 + y 3 2 ) ) . ]]>

说明书

说明书一种基于Kinect传感器的脑瘫儿童康复训练方法
技术领域
本发明涉及一种脑瘫儿童康复训练系统与技术,尤其涉及一种基于Kinect传感器的脑 瘫儿童康复训练方法。
背景技术
脑性瘫痪是一种儿童时期最常见的神经系统伤残疾患,中国现有600万脑瘫患者,其 中0-6岁的脑瘫儿童约120万,而70%的脑瘫儿童生活在贫困地区,这使得他们的家庭遭受 了极大的身心痛苦。在儿童发育期进行运动功能康复训练是脑瘫儿童恢复正常运动功能, 改善身心健康的重要复健措施。但由于脑性瘫痪的康复在我国起步较晚,且脑瘫防治体系 尚不够健全,脑瘫的康复机构也相对较少,而社区、家庭康复,就地就便,经济有效,利 于坚持,所以社区康复是最切合实际的康复途径。
主动运动是运动康复中重要的康复手段,但脑瘫儿童对于枯燥乏味的主动运动缺乏坚 持训练的热情,同时儿童在家训练过程也无法供专家评价以便进行及时的科学指导。
现有技术仅借助人机交互技术,通过Kinect传感器进行康复训练,如专利CN103230664A 提供一种基于Kinect传感器的上肢运动康复训练系统及训练方法,能够进行上肢的单关节 训练和肩、肘、腕的综合训练,但是仅提供上肢的康复训练,且训练效果不完整,例如伸 出手臂,利用现有线面夹角技术无法判断手臂是否伸直,同时,现有技术不能够训练下肢, 且趣味性不强,不能够提高儿童的康复训练兴趣,也不能将训练进度反馈。
发明内容
针对现有技术中存在的问题,本发明提供一种基于Kinect传感器的脑瘫儿童康复训练 方法,侧重于对于儿童身体协调性的训练以及下肢训练,本发明增加语音反馈技术,通过 语音反馈对儿童进行不规范动作提醒以及完成动作的鼓励,与游戏引擎相连接,增加训练 趣味性。
本发明其技术方案为:
一种基于Kinect传感器的脑瘫儿童康复训练方法,包括以下步骤:
S1、获取儿童的骨骼点数据:Kinect传感器与计算机相连接,计算机接入网络,Kinect 传感器获取儿童图像,通过Kinect的骨骼捕捉函数获取儿童的骨骼点数据,骨骼点数据为 以Kinect深度相机为原点的坐标值,骨骼点包括头部节点H,肩关节中心节点S0,脊柱中 心节点S,左肩关节节点S1,右肩关节节点S2,左肘关节节点E1,右肘关节节点E2,左腕 关节节点W1,右腕关节节点W2,左髋关节节点H1,右髋关节节点H2,左膝关节节点K1, 右膝关节节点K2,左踝关节节点A1,右踝关节节点A2;
S2,肢体运动训练,对儿童的骨骼点进行倾斜、抬起角度判断:儿童摆出动作后,捕 捉儿童动作,在三维平面直角坐标系中,取YOZ平面为α面,取XOY平面为β面,对头部、 上肢和下肢各关节点进行倾斜、抬起角度判断;
S3,儿童动作稳健交互处理:通过小波降噪、移动平均滤波器降噪对运动的骨骼抖动 进行处理,通过中值滤波对图像空洞进行处理,剔除异常深度值,对深度缺失值进行估计; 采用磁石方法将阈值范围内的动作与虚拟形象进行自动配准;虚拟形象为将骨骼点数据同 步映射到计算机屏幕上的虚拟人物上,实时跟踪儿童的姿势行为。步骤S3针对脑瘫患儿的 特殊性,有可能动作不稳定出现抖动,使用一系列预测和降噪平滑技术对运动的骨骼抖动 进行处理,实现脑瘫儿童与计算机的稳健交互。
S4,连接游戏引擎,将步骤S3稳健交互处理后的儿童骨骼数据发送给游戏引擎,骨骼 数据形成的动作转换为游戏引擎定义的事件,将游戏纳入儿童康复训练中;
步骤S4把儿童的动作转换成游戏引擎定义好的事件,在游戏中为这些事件添加处理的 方法就可以实现人体追踪设备的接入,这与具体的游戏设计有关,比如扔球的游戏,如果 儿童模仿扔球动作手从后往前挥动,计算机场景中的虚拟人物也将完成扔球动作,球的运 动是事先定义好的事件(包括球的起始位置,球的运动速度,球的运动方向,球的停止位 置整个运动过程),当系统识别到儿童从后往前挥动的手势以后,会立即触发球的运动这个 事先定义好的事件。如,儿童如果在空中画个圆,游戏就暂停。画圆是儿童的动作,系统 识别到画圆手势以后,触发游戏暂停这个事件,在游戏程序中为游戏暂停添加处理方法, 这一部分的核心是在游戏引擎中编写Kinect插件,完成Kinect的接入,这样儿童的手势 才能被系统识别。
S5,语音反馈儿童动作,将步骤S3所述自动配准的结果通过语音反馈给儿童,进行不 规范动作提醒以及完成动作的鼓励;
S6,评估儿童的康复训练进展:实时记录儿童的骨骼点与虚拟形象的配准度,并将所 述配准度发送至远程评估终端,评估康复训练性能。
较优地,步骤S2还包括步行训练,计算左右脚步幅、速度指标,判别儿童的步态是否 为正常步态。
较优地,步骤S2对儿童的骨骼点进行倾斜、抬起角度判断,具体包括以下步骤:
(1)判断躯体是否左右倾斜:以α面为参考面,肩关节中心节点S0、脊柱中心节点S 两点连接所成直线为a,基于线面夹角计算方法计算直线a与α面所成夹角=<a,α>, 所述直线a与α面所成夹角为躯体的左右倾斜角;正常情况下,人体躯干(即直线a)与α 面的夹角为0。当躯体左右倾斜时,直线a与α面所成夹角=<a,α>不为0;
(2)判断躯体是否前后倾斜:以β面为参考面,肩关节中心节点S0、脊柱中心节点S, 两点连接所成直线为a,基于线面夹角计算方法计算直线a与β面所成夹角=<a,β>, 所述直线a与β面所成夹角为躯体的前后倾斜角;
(3)判断手臂左右抬起角度:以α面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与α面所成夹角=<b1,α>,直线b2与α面所成夹角=<b2,α>, 所述直线b1与α面所成夹角为左手臂抬起角度,所述直线b2与α面所成夹角为右手臂抬起 角度;
(4)判断手臂前后抬起角度:以β面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与β面所成夹角=<b1,β>,直线b2与β面所成夹角=<b2,β>, 所述直线b1与β面所成夹角为左手臂前后抬起角度,所述直线b2与β面所成夹角为右手臂 前后抬起角度;
(5)判断腿部左右抬起角度:以α面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2, 基于线面夹角计算方法计算直线c1与α面所成夹角即=<c1,α>,直线c2与α面所成夹角 即=<c2,α>,所述直线c1与α面所成夹角为左腿抬起角度,直线c2与α面所成夹角为右腿 抬起角度;
(6)判断腿部前后抬起角度:以β面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2,基 于线面夹角计算方法计算直线c1与β面所成夹角即=<c1,β>,直线c2与β面所成夹角即 =<c2,β>,直线c1与β面所成夹角为左腿前后抬起角度,直线c2与β面所成夹角为右腿 前后抬起角度;
(7)判断头部是否左右倾斜:以α面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与α面所成夹角=<d,α>,直线d 与α面所成夹角为头部左右倾斜角;
(8)判断头部是否前后倾斜:以β面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与β面所成夹角=<d,β>,直线d 与β面所成夹角为头部前后倾斜角。
(9)判断大臂与小臂夹角:左/右肩关节节点S1/S2,左/右肘关节节点E1/E2,左/右 腕关节节点W1/W2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,E1、 W1两点连接所成直线为e1,E2、W2两点连接所成直线为e2,基于线线夹角计算方法计算 b1、e1两直线所成夹角θ1=<b1,e1>,b2、e2两直线所成夹角θ2=<b2,e2>,所述b1、e1两直 线所成夹角θ1为左大臂与左小臂夹角,所述b2、e2两直线所成夹角θ2为右大臂与右小臂夹 角;
(10)判断大腿与小腿夹角:左/右髋关节节点H1/H2,左/右膝关节节点K1/K2, 左/右踝关节节点A1/A2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为 c2,K1、A1两点连接所成直线为f1,K2、A2两点连接所成直线为f2,基于线线夹角计算 方法计算c1、f1两直线所成夹角c2、f2两直线所成夹角所 述c1、f1两直线所成夹角为左大腿与左小腿夹角,所述c2、f2两直线所成夹角为右大 腿与右小腿夹角。
线面夹角计算方法具体包括以下步骤:
假设直线AB、平面δ,计算直线AB与平面δ夹角即计算直线AB与平面δ法向量之间 夹角,取向量为平面δ的法向量,假设向量表示为直线AB用向量表 示为 j &RightArrow; = ( j 1 , j 2 , j 3 ) ; ]]>
则直线AB与平面δ法向量的夹角为:
&epsiv; = arccos ( ( i 1 * j 1 + i 2 * j 2 + i 3 * j 3 ) ( ( i 1 2 + i 2 2 + i 3 2 ) * ( j 1 2 + j 2 2 + j 3 2 ) ) ) , ]]>
则直线AB与平面δ夹角的弧度制表示为γ=PI-ε。
由于使用的是坐标轴所在平面,所以YOZ平面的法向量可选(1,0,0);XOY平面的法 向量可选(0,0,1)。
线线夹角计算方法具体包括以下步骤:
假设直线BC、直线CD,计算直线BC与直线CD夹角即计算直线BC与直线CD两 向量之间夹角;
假设直线BC用向量表示为直线CD用向量表示为 y &RightArrow; = ( y 1 , y 2 , ]]> y 3 ) ; ]]>
则直线BC与直线CD的夹角为:
θ = arccos ( ( x 1 * y 1 + x 2 * y 2 + x 3 * y 3 ) ( ( x 1 2 + x 2 2 + x 3 2 ) * ( y 1 2 + y 2 2 + y 3 2 ) ) ) . ]]>
相比与现有技术,本发明具有以下优点:
(1)本发明侧重于对于儿童身体协调性的训练,以及下肢训练,能够准确获取儿童头 部、上肢、下肢动作,实时准确检测儿童的身体整体协调动作,训练协调完整度高,有利 于儿童动作协调训练和智力的提高,能够准确获得儿童头部、上肢、下肢动作等肢体运动 参数,协助复健;
(2)本发明增加语音反馈技术,通过语音反馈对儿童进行不规范动作提醒以及完成动 作的鼓励,增强系统的亲切感,使儿童更喜欢学习和锻炼,通过语音反馈对儿童进行不规范 动作提醒以及完成动作的鼓励;
(3)与游戏引擎相连接,增加训练趣味性;通过一个有趣游戏过程,完成康复训练, 不仅有助于肢体功能康复,而且有助于智力发育;游戏纳入儿童康复训练中,能够增强人 脑生物电信号及连接大脑稳定的回路。以游戏活动形式调动脑瘫儿童的直接兴趣,使脑瘫 儿童更主动地参与治疗性活动,更重要的是脑瘫儿童应该而且只有通过游戏才能实现其身 体的发育和心理的成长;
(4)本发明利用线线夹角评估上肢或下肢是否伸直以及是否能做出指定动作,计算简 单,响应快;
(5)实时并动态地记录患者的运动数据,供医生和治疗师远程评价,指导制定、调整 和优化康复方案;解放了治疗师的劳动力,又使训练避免了盲目性,医师和治疗师针对儿 童的康复情况,优化训练方案。
(6)下肢训练,可训练走路的姿态以及站立的姿态;
(7)低成本与个性化服务:Kinect与其他训练医疗器械相比,优势在于成本。利用 一般家庭现有条件,即可实现具有反馈功能的训练系统。相比于长年奔波的交通费用与人 力成本,整体系统造价很低,一般中低收入家庭也基本可以接受;而且通过互联网,利用 该系统,偏远地区的患者也能得到个性化的医疗服务。
附图说明
图1为本发明的基于Kinect传感器的脑瘫儿童康复训练系统工作示意图;
图2为本发明的基于Kinect传感器的脑瘫儿童康复训练系统结构示意图图;
图3为本发明的印章游戏示意图;
图4为躯体关节点位置图;
图5为躯体正常站立示意图;
图6为躯体左右倾斜示意图;
图7为躯体左右倾斜判断图;
图8为躯体前后倾斜判断图;
图9为本发明一种基于Kinect传感器的脑瘫儿童康复训练方法流程示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
为了加深对本发明的理解,下面将结合实施例和附图对本发明作进一步详述,该实施 例仅用于解释本发明,并不构成对本发明保护范围的限定。
如图1和图2所示,基于Kinect传感器的脑瘫儿童康复训练系统包括Kinect深度相 机、计算机,另外,由于需要进行远程评估,所以计算机需要连接网络。儿童进行训练时, 打开计算机上的训练系统,将Kinect深度相机与计算机进行连接;儿童站在Kinect深度 相机前,根据计算机上显示的人机交互界面上的引导,做出相应的动作;Kinect深度相机 捕捉到儿童的肢体动作,将数据传递给计算机;计算机处理数据,得出结果,将结果显示 在人机交互界面上,如果所做动作符合要求,则进行下一项,否则继续进行本项。本系统 可将所得数据实时传送给医师,医师可根据数据,对训练效果进行指导,进而完善训练计 划。
针对体型矫正训练,本发明设计人体印章游戏。人体印章游戏分为两种模式:平面印 章模式和立体印章模式。平面印章模式即做平面动作时使用,如图3所示,使用前视图印 章;立体印章模式即做立体动作时使用,使用前视图印章和左视图印章。儿童只有摆出与 印章相同的动作,才能进入下一环节并获得相应奖励;若摆出动作与印章不同,则根据判 断情况,使用图像或语音对儿童进行引导,使其摆出相同的动作。系统可将游戏所得数据 反馈给医师,医师可根据数据对儿童的康复情况进行评估,优化训练方案。
如图9所示,一种基于Kinect传感器的脑瘫儿童康复训练方法,包括以下步骤:
S1、获取儿童的骨骼点数据:Kinect传感器(Kinect深度相机)与计算机相连接,计 算机接入网络(连接Internet网络),本实施例通过Kinect for Windows中的API函数获 得骨骼点数据,骨骼点数据为以Kinect深度相机为原点的(x,y,z)坐标值;如图4所 示,为Kinect深度相机能够捕捉到的骨骼点数据,本系统所需的骨骼点为头部节点H,肩 关节中心节点S0,脊柱中心节点S,左肩关节节点S1,右肩关节节点S2,左肘关节节点E1, 右肘关节节点E2,左腕关节节点W1,右腕关节节点W2,左髋关节节点H1,右髋关节节 点H2,左膝关节节点K1,右膝关节节点K2,左踝关节节点A1,右踝关节节点A2。
S2,肢体运动训练,对儿童的骨骼点进行倾斜、抬起角度判断:儿童摆出动作后,捕 捉儿童动作,在三维平面直角坐标系中,取YOZ平面为α面,取XOY平面为β面,对头部、 上肢和下肢各关节点进行倾斜、抬起角度判断。
S3,儿童动作稳健交互处理:通过小波降噪、移动平均滤波器降噪对运动的骨骼抖动 进行处理,通过中值滤波对图像空洞进行处理,剔除异常深度值,对深度缺失值进行估计; 采用磁石方法将阈值范围内的动作与虚拟形象进行自动配准(磁石方法为一种自动吸附方 法,儿童可能在训练时动作有小幅抖动,只要与标准动作在一定阈值范围内,自动吸附为 标准动作);虚拟形象是儿童喜欢的用计算机生成的Avatar卡通人物形象,根据Kinect for  Windows中的API函数获得儿童骨骼点数据,将骨骼点数据同步映射到计算机屏幕上的虚拟 人物上,实时跟踪儿童的姿势行为。
S4,连接游戏引擎,将步骤S3稳健交互处理后的儿童骨骼数据发送给游戏引擎,骨骼 数据形成的动作转换为游戏引擎定义的事件,将游戏纳入儿童康复训练中;
步骤S4把儿童的动作转换成游戏引擎定义好的事件,在游戏中为这些事件添加处理的 方法就可以实现人体追踪设备的接入,这与具体的游戏设计有关,比如扔球的游戏,如果 儿童模仿扔球动作手从后往前挥动,计算机场景中的虚拟人物也将完成扔球动作,球的运 动是事先定义好的事件(包括球的起始位置,球的运动速度,球的运动方向,球的停止位 置整个运动过程),当系统识别到儿童从后往前挥动的手势以后,会立即触发球的运动这个 事先定义好的事件。如,儿童如果在空中画个圆,游戏就暂停。画圆是儿童的动作,系统 识别到画圆手势以后,触发游戏暂停这个事件,在游戏程序中为游戏暂停添加处理方法, 这一部分的核心是在游戏引擎中编写Kinect插件,完成Kinect的接入,这样儿童的手势 才能被系统识别。
S5,语音反馈儿童动作,将步骤S3所述自动配准的结果通过语音反馈给儿童,进行不 规范动作提醒以及完成动作的鼓励。
S6,评估儿童的康复训练进展:实时记录儿童的骨骼点与虚拟形象的配准度,并将所 述配准度发送至远程评估终端,评估康复训练性能。
步骤S2还包括步行训练,计算左右脚步幅、速度指标,判别儿童的步态是否为正常步 态。
步骤S2对儿童的骨骼点进行倾斜、抬起角度判断,能够追踪儿童躯体的倾斜、平衡状 态,跟踪头、躯干、肩、骨盆、膝、脚踝等关节点的位置及倾斜角度,判断儿童的姿势是 否异常,实现儿童的协调动作获取,具体包括以下步骤:
(1)判断躯体是否左右倾斜:以α面为参考面,肩关节中心节点S0、脊柱中心节点S 两点连接所成直线为a,基于线面夹角计算方法计算直线a与α面所成夹角=<a,α>, 所述直线a与α面所成夹角为躯体的左右倾斜角;如图5所示,正常情况下,人体躯干(即 直线a)与α面的夹角为0。当躯体左右倾斜时,如图6和图7所示,直线a与α面所成夹 角=<a,α>;
(2)判断躯体是否前后倾斜:以β面为参考面,肩关节中心节点S0、脊柱中心节点S, 两点连接所成直线为a,基于线面夹角计算方法计算直线a与β面所成夹角=<a,β>, 所述直线a与β面所成夹角为躯体的前后倾斜角;如图8所示,则直线a与β面所成夹角 =<a,β>;
(3)判断手臂左右抬起角度:以α面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与α面所成夹角=<b1,α>,直线b2与α面所成夹角=<b2,α>, 所述直线b1与α面所成夹角为左手臂抬起角度,所述直线b2与α面所成夹角为右手臂抬起 角度;
(4)判断手臂前后抬起角度:以β面为参考面,左/右肩关节节点S1/S2,左/右肘关 节节点E1/E2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,基于线面 夹角计算方法计算直线b1与β面所成夹角=<b1,β>,直线b2与β面所成夹角=<b2,β>, 所述直线b1与β面所成夹角为左手臂前后抬起角度,所述直线b2与β面所成夹角为右手臂 前后抬起角度;
(5)判断腿部左右抬起角度:以α面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2, 基于线面夹角计算方法计算直线c1与α面所成夹角即=<c1,α>,直线c2与α面所成夹角 即=<c2,α>,所述直线c1与α面所成夹角为左腿抬起角度,直线c2与α面所成夹角为右腿 抬起角度;
(6)判断腿部前后抬起角度:以β面为参考面,左/右髋关节节点H1/H2,左/右膝 关节节点K1/K2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为c2,基 于线面夹角计算方法计算直线c1与β面所成夹角即=<c1,β>,直线c2与β面所成夹角即 =<c2,β>,直线c1与β面所成夹角为左腿前后抬起角度,直线c2与β面所成夹角为右腿 前后抬起角度;
(7)判断头部是否左右倾斜:以α面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与α面所成夹角=<d,α>,直线d 与α面所成夹角为头部左右倾斜角;
(8)判断头部是否前后倾斜:以β面为参考面,头部节点H、肩关节中心节点S0两点 连接所成直线为d,基于线面夹角计算方法计算直线d与β面所成夹角=<d,β>,直线d 与β面所成夹角为头部前后倾斜角。
(9)判断大臂与小臂夹角:左/右肩关节节点S1/S2,左/右肘关节节点E1/E2,左/右 腕关节节点W1/W2,S1、E1两点连接所成直线为b1,S2、E2两点连接所成直线为b2,E1、 W1两点连接所成直线为e1,E2、W2两点连接所成直线为e2,基于线线夹角计算方法计算 b1、e1两直线所成夹角θ1=<b1,e1>,b2、e2两直线所成夹角θ2=<b2,e2>,所述b1、e1两直 线所成夹角θ1为左大臂与左小臂夹角,所述b2、e2两直线所成夹角θ2为右大臂与右小臂夹 角;
(10)判断大腿与小腿夹角:左/右髋关节节点H1/H2,左/右膝关节节点K1/K2, 左/右踝关节节点A1/A2,H1、K1两点连接所成直线为c1,H2、K2两点连接所成直线为 c2,K1、A1两点连接所成直线为f1,K2、A2两点连接所成直线为f2,基于线线夹角计算 方法计算c1、f1两直线所成夹角c2、f2两直线所成夹角所 述c1、f1两直线所成夹角为左大腿与左小腿夹角,所述c2、f2两直线所成夹角为右大 腿与右小腿夹角。
线面夹角计算方法具体包括以下步骤:
假设直线AB、平面δ,计算直线AB与平面δ夹角即计算直线AB与平面δ法向量之 间夹角,取向量为平面δ的法向量,假设向量表示为直线AB用向 量表示为 j &RightArrow; = ( j 1 , j 2 , j 3 ) = ( AX - BX , AY - BY , AZ - BZ ) ; ]]>
则直线AB与平面δ法向量的夹角为:
&epsiv; = arccos ( ( i 1 * j 1 + i 2 * j 2 + i 3 * j 3 ) ( ( i 1 2 + i 2 2 + i 3 2 ) * ( j 1 2 + j 2 2 + j 3 2 ) ) ) , ]]>
则直线AB与平面δ夹角的弧度制表示为γ=PI-ε。
由于使用的是坐标轴所在平面,所以YOZ平面的法向量可选(1,0,0);XOY平面的法 向量可选(0,0,1)。
线线夹角计算方法具体包括以下步骤:
假设直线BC、直线CD,计算直线BC与直线CD夹角即计算直线BC与直线CD两 向量之间夹角;
假设直线BC用向量表示为 x &RightArrow; = ( x 1 , x 2 , x 3 ) = ( BX - CX , BY - CY , BZ - CZ ) ; ]]>直 线CD用向量表示为 y &RightArrow; = ( y 1 , y 2 , y 3 ) = ( CX - DX , CY - DY , CZ - DZ ) ; ]]>(AX,AY,AZ)、(BX,BY,BZ)、(CX,CY,CZ)、(DX,DY,DZ)分别为直线AB、 直线BC、直线CD的上线段端点坐标;
则直线BC与直线CD的夹角为:
θ = arccos ( ( x 1 * y 1 + x 2 * y 2 + x 3 * y 3 ) ( ( x 1 2 + x 2 2 + x 3 2 ) * ( y 1 2 + y 2 2 + y 3 2 ) ) ) . ]]>
根据以上计算方法,将儿童动作与交互界面显示的印章动作(本实施例的印章游戏)进 行比对。为了能够使本系统能够适用患病程度不同的儿童,可将印章动作的范围进行调整, 即可以产生难易程度不同的游戏,可以更好地激发儿童学习的兴趣。
以上仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说, 在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本 发明的保护范围。

一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf_第1页
第1页 / 共17页
一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf_第2页
第2页 / 共17页
一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf_第3页
第3页 / 共17页
点击查看更多>>
资源描述

《一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf》由会员分享,可在线阅读,更多相关《一种基于KINECT传感器的脑瘫儿童康复训练方法.pdf(17页珍藏版)》请在专利查询网上搜索。

本发明公开了一种基于Kinect传感器的脑瘫儿童康复训练方法,包括以下步骤:S1、获取儿童的骨骼点数据;S2,肢体运动训练,对儿童的骨骼点进行倾斜、抬起角度判断:儿童摆出动作后,捕捉儿童动作,对头部、上肢和下肢各关节点进行倾斜、抬起角度判断;S3, 儿童动作稳健交互处理;S4,连接游戏引擎,将步骤S3稳健交互处理后的儿童骨骼数据发送给游戏引擎;S5,语音反馈儿童动作进行不规范动作提醒以及完成动作的。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 人类生活必需 > 运动;游戏;娱乐活动


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1