基于人体肌肉运动知觉的人机交互界面菜单选择方法.pdf

本发明公开了一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，包括初始化参数设置、通过kinect传感器进行用户面前空间的确定、用户面前空间划分及显示、用户运动信息捕捉、用户人机交互界面菜单选择结果的判断五部。本方法结合3D体感技术，利用kinect传感器检测人体面前空间，并对人体面前的空间进行一系列划分，既有垂直平面划分同时也有纵向水平划分，利用空间坐标系标定被划分的每部分空间，通过人体手部对空间的选择来完成人机交互界面菜单选择，向机器发送相应的命令和操作，避免用户对动作、手势的繁琐记忆。

1.  一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其特征在于，包括以下步骤：
步骤一、初始化参数设置：根据用户需要，分别设置人体面前空间在水平方向和垂直面方向上的空间划分数；
步骤二、通过kinect传感器进行用户面前空间的确定：kinect传感器面对用户，捕捉人体的位置及人体周边空间信息，并计算人体手臂长度，根据捕捉的位置和空间信息及计算出的人体手臂长度确定用户面前可用空间，将捕捉到的人体信息实时显示在显示屏上；
步骤三、用户面前空间划分及显示：根据所述步骤一初始化参数设置的空间划分数，对所述步骤二确定的用户面前可用空间进行空间划分，分别在水平方向上和垂直面方向上进行空间划分，建立划分空间坐标系；将空间划分结果显示在显示屏上；
步骤四、用户运动信息捕捉：kinect传感器实时捕捉人体手部在用户面前可用空间中的位置信息，并将捕捉到的位置信息实时显示在显示屏上；
步骤五、用户人机交互界面菜单选择结果的判断：kinect传感器检测出用户手部在用户面前空间中任一空间位置停留一定时长，则判定用户要作出相应的人机交互界面菜单选择；获取此时用户手部位置的空间坐标，并结合所述步骤三建立的划分空间坐标系判断用户手部所处的划分空间。

2.  按照权利要求1所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其特征在于，所述步骤一初始化参数设置中，用户可根据需要进行自定义参数设置或选择默认设置；
1)自定义参数设置：用户根据需要，分别设置人体面前空间在水平方向和垂直面方向上的空间划分数，并选择控制方式为单手操作或双手同时操作，选择双手同时操作时，左手和右手的水平方向空间划分数可以不相同；
2)默认设置：系统使用默认的水平方向和垂直面方向的空间划分数，且采用左右手同时操作的控制方式。

3.  按照权利要求1所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其特征在于，所述步骤二通过kinect传感器进行用户面前空间的确定包括以下具体步骤：
1)用户面向Kinect传感器，人体在水平方向伸直双臂至最大距离，传感器检测人体胸中部、左手掌心、右手掌心三处的关节点并记录为Joint类型数据：ShoulderCenture，LeftHand，RightHang；同时在屏幕上实时显示左右手部、胸部中心处的捕捉画面；
2)根据上述步骤1)检测到的人体数据，调用C#系统库函数，通过公式
System.Math.Abs(ShoulderCenter.Position.Z-RightHand.Position.Z)；及
System.Math.Abs(ShoulderCenter.Position.Z-LeftHand.Position.Z)；
分别计算得出左右臂的臂长，根据计算出的手臂长度并结合人体周边空间大小，确定用户面前可用空间，使得可用空间的边界处于人体手可触及的位置。

4.  按照权利要求1所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其特征在于，所述步骤五中获取此时用户手部位置的空间坐标，并结合所述步骤三建立的划分空间坐标系判断用户手部所处的划分空间，具体指：
利用Kienct传感器检测手部的位置，获取其在所述步骤三空间划分后的划分空间中的三维坐标信息，然后将手部的三维坐标信息与划分空间坐标系中的坐标信息比较，判断其所处的划分空间，具体为：划分空间中每一划分出的小区域均为一立方体，将手部坐标与某一四方体四个顶点坐标比较即可判断是否在该划分空间范围内。

基于人体肌肉运动知觉的人机交互界面菜单选择方法
技术领域
本发明属于人机交互领域，具体涉及一种利用人体肌肉运动知觉通过人体对空间位置的感知来进行人机交互界面菜单选择的方法。
背景技术
现在在计算机的人机交互领域中多是应用肢体动作和手势来进行人机交互已达到更加快捷和方便的与机器交流，然而过于重视人体肢体动作、手势等方式与机器交互却忽视了人类天生的肌肉运动知觉。
肌肉运动知觉为两种：自身中心和外部中心两类。自我中心的空间感知，例如：人类在黑暗中可以准确地用手摸到自己鼻子、额头。人们这种对空间位置的感知与其所在的绝对空间坐标系中所处的绝对位置无关，仅仅是与人体自身的状态和姿势有关，这种肌肉运动知觉是人体对自身关节位置有意识和在一定程度上的潜意识下的感知，在一定程度下具有很高的准确率，并且可以通过训练提高。外部中心的空间感知，形象的说，人很难在漆黑的环境下流畅的运动和行走。这种现象显然和人所在绝对空间坐标系里面所处的位置是有重要关系的。因此，在人体的大脑里存在两种坐标系统：一个是以自身为坐标的：前后左右上下，指示人体自身肢体的运动获悉其位置；另一个是以绝对空间为坐标的：具体可以一些标志性的建筑为中心等等。
一般情况下，人主要是依靠视觉听觉来定义外中心空间。闭着眼睛可以运动、唱歌，但是走路就容易不稳定，摇晃甚至跌倒。
目前在人机交互领域有许多的依靠手势、肢体动作、眼动等传统方式方法来进行人机交互的例子，但是这些方法多数需要用户有一个学习过程。这个过程有的简单，有的则需要一个复杂繁琐的过程，甚至需要复杂的记忆；另一方面动作、手势的设计也是一个有局限性的问题：很多手势、动作表意模糊，甚至设计之初仅仅是为了区别其它手势、动作来向机器去传达命令操作，执行的命令及相应的操作跟用户的手势、肢体动作等没有足够的契合度，不够人性化，有学习难度。
我们希望通过研究将人体这种与生俱来的空间感知觉(以自身为中心)进行拓展利用：通过人体对自身空间的掌控来实现人类对机器的一种控制和操作(如，一种基于人体肌肉运动知觉的人机交互界面菜单选择方法)。
发明内容
为了克服现有技术存在的以上不足，本发明提供一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，结合3D体感技术，利用Kinect传感器检测人体面前空间，并对人体面前的空间进行一系列划分，既有垂直平面划分同时也有纵向深度划分，利用空间坐标系标定被划分的每部分空间，通过人体手部对空间的选择(将手置于相应的空间区域内即为选择相应的空间)来完成人机交互界面菜单选择，向机器发送相应的命令和操作。
本发明的目的是通过以下技术方案实现的：
一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，包括以下步骤：
步骤一、初始化参数设置：根据用户需要，分别设置人体面前空间在水平方向和垂直面方向上的空间划分数；
步骤二、通过Kinect传感器进行用户面前空间的确定：Kinect传感器面对用户，捕捉人体的位置及人体周边空间信息，并计算人体手臂长度，根据捕捉的位置和空间信息及计算出的人体手臂长度确定用户面前可用空间，将捕捉到的人体信息实时显示在显示屏上；
步骤三、用户面前空间划分及显示：根据所述步骤一初始化参数设置的空间划分数，对所述步骤二确定的用户面前可用空间进行空间划分，分别在水平方向上和垂直面方向上进行空间划分，建立划分空间坐标系；将空间划分结果显示在显示屏上；
步骤四、用户运动信息捕捉：Kinect传感器实时捕捉人体手部在用户面前可用空间中的位置信息，并将捕捉到的位置信息实时显示在显示屏上；
步骤五、用户人机交互界面菜单选择结果的判断：Kinect传感器检测出用户手部在用户面前空间中任一空间位置停留一定时长，则判定用户要作出相应的人机交互界面菜单选择；获取此时用户手部位置的空间坐标，并结合所述步骤三建立的划分空间坐标系判断用户手部所处的划分空间。
本发明所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其中，步骤一初始化参数设置中，用户可根据需要进行自定义参数设置或选择默认设置；
1)自定义参数设置：用户根据需要，分别设置人体面前空间在水平方向和垂直面方向上的空间划分数，并选择控制方式为单手操作或双手同时操作，选择双手同时操作时，左手和右手的水平方向空间划分数可以不相同；
2)默认设置：系统使用默认的水平方向和垂直面方向的空间划分数，且采用左右手同时操作的控制方式。
本发明所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其中，所述步骤二通过Kinect传感器进行用户面前空间的确定包括以下具体步骤：
1)用户面向Kinect传感器，人体在水平方向伸直双臂至最大距离，传感器检测人体胸中部、左手掌心、右手掌心三处的关节点并记录为Joint类型数据：ShoulderCenture，LeftHand，RightHang；同时在屏幕上实时显示左右手部、胸部中心处的捕捉画面；
2)根据上述步骤1)检测到的人体数据，调用C#系统库函数，通过公式System.Math.Abs(ShoulderCenter.Position.Z-RightHand.Position.Z)；及System.Math.Abs(ShoulderCenter.Position.Z-LeftHand.Position.Z)；
分别计算得出左右臂的臂长，根据计算出的手臂长度并结合人体周边空间大小，确定用户面前可用空间，使得可用空间的边界处于人体手可触及的位置。
本发明1所述的一种基于人体肌肉运动知觉的人机交互界面菜单选择方法，其中，所述步骤五中获取此时用户手部位置的空间坐标，并结合所述步骤三建立的划分空间坐标系判断用户手部所处的划分空间，具体指：
利用Kienct传感器检测手部的位置，获取其在所述步骤三空间划分后的划分空间中的三维坐标信息，然后将手部的三维坐标信息与划分空间坐标系中的坐标信息比较，判断其所处的划分空间，具体为：划分空间中每一划分出的小区域均为一立方体，将手部坐标与某一四方体四个顶点坐标比较即可判断是否在该划分空间范围内。
本发明具有以下优点：
1)本方法通过判断人体手部在空间坐标系中的坐标位置来进行相应的程序菜单操作，与传统的人机交互的利用手势、动作等方式具有本质不同，人体肌肉运动知觉与生俱来，用户的学习过程简化，避免用户对动作、手势的繁琐记忆。
2)空间对称划分符合人体操作习惯，N宫格的对称划分使人体左右手各控制一部分区域，水平方向商的层次划分为不同用户提供可以去进行更多操作的选择，操作人性化，控制方便。
3)利用这种方式进行并行菜单操作所用时间十分短，手部触及相应的空间位置并短暂停留既可以触发相应的操作，适合对实时性要求高的菜单操作。
附图说明
图1为本发明所述的基于人体肌肉运动知觉的人机交互界面菜单选择方法的流程图；
图2为用户前方水平方向上空间划分示意图；
图3为用户前方垂直面方向上空间划分示意图；
图4为Kinect传感器对其前方空间的坐标系建立示意图；
图5为用户前方空间划分整体划分示意图。
具体实施方式
下面结合附图和实施方式对本发明的技术方案进行详细介绍：
基于人体肌肉运动知觉的人机交互界面菜单选择方法，其需要的硬件系统至少包括Kinect传感器、与Kinect传感器连接的上位机(计算机)及与上位机连接的显示屏，该方法整体流程如图1所示，包括以下步骤：
步骤一、初始化参数设置：根据用户需要，分别设置人体面前空间在水平方向和垂直面方向上的空间划分数。
连接Kinect传感器，运用Kinect传感器可以获取人体各个关节位置的信息，在这里我们主要获取了使用者的胸中部(人体颈部与腰部的中点)、左手掌、右手掌三处关节点，开启本人机交互界面菜单选择方法，在显示屏上提示用户进行自定义参数设置或选择默认设置：
1)自定义参数设置：用户根据自身肌肉运动知觉能力强弱选择空间上两个正交方向(水平方向和垂直面方向)上进行空间划分的程度，即选取相应的M值和N值(M决定水平方向的划分数，N决定垂直面方向的划分数)，允许用户选择控制方式为单手操作或双手同时操作，选择双手同时操作时，对于M值的选择，根据使用习惯和操作的复杂程度，左手和右手的M值选择可以不相同，且使用后发现不合适可以进行调节，以满足用户舒适度。
2)默认设置：系统使用默认的M＝4，N＝4值，且采用左右手同时操作的控制方式。
步骤二、通过Kinect传感器进行用户面前空间的确定：用户面向Kinect传感器，传感器捕捉人体的位置(尤其是手部位置)及人体周边空间信息，并将空间划分、标示和实时显示。用户伸直双臂，传感器捕捉人体重要关节点并计算用户双臂长度，根据捕捉到的人体位置信息和空间信息及计算出的人体手臂长度确定用户面前可用空间。
1)用户面向Kinect传感器，人体在垂直面方向向前伸直双臂至最大距离，传感器检测人体胸中部(人体颈部与腰部的中点)、左手掌心、右手掌心三处重要的关节点并记录为Joint类型数据：ShoulderCenture，LeftHand，RightHang。用户此时可以在屏幕上看到自己左右手部、胸部中心处以蓝色圆点标示出来并随着人体实时移动，如图3所示，为N＝4时用户前方垂直面方向上空间划分示意图。
2)根据上述步骤1)检测到的人体胸中部、左手掌心、右手掌心关节点数据，分别计算得出左右臂的臂长，根据计算出的手臂长度并结合人体周边空间大小，确定用户面前可用空间，使得可用空间的边界处于人体手可触及的位置。此步骤的具体过程为：
根据传感器检测到的人体胸中部、左手掌心、右手掌心的关节点数据，调 用C#系统库函数“System.Math.Abs()”：
System.Math.Abs(ShoulderCenter.Position.Z-RightHand.Position.Z)；及
System.Math.Abs(ShoulderCenter.Position.Z-LeftHand.Position.Z)；
由此计算出人体双臂臂长，根据计算出的手臂长度确定相应的空间划分区间(用户面前可用空间)，使得所控制的空间的边界处于手可触及的位置。
其中，库函数“System.Math.Abs()”用于求解括号中数值的绝对值；ShoulderCenter，RightHand为Joint类型数据，Joint类型为一种Kinect for windows SDK中的用于定义身体关节点的数据类型，Kinect传感器通过将收集到的数据处理后返回给Joint类型，其Position属性包含了人体关节点的空间位置信息，即以Kinect传感器为空间坐标系原点的关节位置所处的X，Y，Z坐标信息，单位为米。坐标的取值范围与人体特征有关，如臂展，身高等等。通过赋值操作，系统可以隐式将Joint类型转换为Point类型，Point类型类似Joint类型，但是为C#框架提供，主要使用其X，Y坐标属性，用于比较在屏幕上各个控件与人体重要关节点之间的位置关系。
步骤三、用户面前空间划分及显示：根据所述步骤一初始化参数设置的空间划分数，对所述步骤二确定的用户面前可用空间进行空间划分，分别在水平方向上和垂直面方向上进行空间划分，建立划分空间坐标系；将空间划分结果显示在显示屏上。
1)用户向左右两侧伸张双臂，可以看到在显示屏上出现相应的以人体胸部中心为中心的黄色边框N宫格(N即为用户设置的垂直面上划分数值)，屏幕左右边侧出现类似温度计的黄色刻度条，刻度条根据左右手M值选择的不同具有不同的刻度划分，系统屏幕上出现的N宫格边框和刻度条均由WPF内部插件绘制而成，分别使用了Line和Rectangle插件进行绘制，在使用Line插件(用于绘制直线的插件)绘制N宫格的时候，根据人体臂长和胸中部坐标点绘制每一段线段的两个端点，最后绘制出整体的N宫格，刻度条使用Rectangle插件(用于绘制矩形的插件)绘制，根据用户在程序伊始所选择的左右手M值不同，屏幕左右两侧绘制的矩形数量不同，因而左右两侧刻度条的刻度范围也不同，此刻度条用于实时显示当前左右手部的深度信息。
步骤四、用户运动信息捕捉：Kinect传感器实时捕捉人体手部在用户面前可用空间中的位置信息，用户控制左右手移动到相应的空间位置可以看到显示屏上的反馈：N宫格相应的区域其N宫格边框由黄色变为红色，手部所处的深度相应的边侧刻度条填充色由黄色变为红色，这些反馈用于实时提示用户其手部在划分空间中的准确位置。
步骤五、用户人机交互界面菜单选择结果的判断：Kinect传感器检测出用户手部在用户面前空间中任一空间位置短暂停留(用户手部停止运动时长超过 预设时长)，则判定为用户要作出相应的人机交互界面菜单选择，此时检测人体左右手部位置获得其空间坐标，并结合所述步骤三建立的划分空间坐标系判断此时用户手部空间坐标在划分空间坐标系中所处的划分空间。
划分空间判断方法为：利用Kienct传感器检测手部的位置，获取其在所述步骤三空间划分后得划分空间中的三维坐标信息，然后将手部的三维坐标信息与划分空间坐标系中的坐标信息比较，判断其所处的划分空间，具体为：划分空间中每一划分出的小区域均为一立方体，将手部坐标与某一四方体四个顶点坐标比较即可判断是否在该划分空间范围内。如图5所示，图中，用户所选的区域形状用黑色阴影表示。
以区域空间划分时垂直面划分为4宫格，且用户使用右手单手为例，人体手部位置的判断公式为：
1)当前手部所处深度位置判断公式:
righthand.Position.Z<centure.Position.Z-P
其中，P用于控制深度的选择，深度划分程度(既M值)不同，用于判断的所处层的不同，P取值不同。
2)当前手部所处垂直平面区域判断公式：
(RightHand.X<ShoulderCenter.X)&&(RightHand.Y<ShoulderCenter.Y)；左上方宫格；
(RightHand.X<ShoulderCenter.X)&&(RightHand.Y>.ShoulderCenter.Y)；左下方宫格；
(RightHand.X>ShoulderCenter.X)&&(RightHand.Y<ShoulderCenter.Y)；右上方宫格；
(RightHand.X>ShoulderCenter.X)&&(RightHand.Y>ShoulderCenter.Y)；右下方宫格；
&&表示逻辑“与”，若满足条件则相应宫格颜色变化。
根据垂直面方向上区域划分(即N值)的不同，公式有多种变化。