《一种手势控制的人机交互方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种手势控制的人机交互方法及装置.pdf（7页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104331158 A(43)申请公布日 2015.02.04CN104331158A(21)申请号 201410597981.2(22)申请日 2014.10.29G06F 3/01(2006.01)G06K 9/00(2006.01)(71)申请人山东大学地址 250199 山东省济南市历城区山大南路27号(72)发明人刘治 尚蕾 张海霞 孙彬刘虹彤(74)专利代理机构济南金迪知识产权代理有限公司 37219代理人吕利敏(54) 发明名称一种手势控制的人机交互方法及装置(57) 摘要本发明涉及一种手势控制的人机交互方法及装置，人机交互装置获取人手区域信息，根据人手。
2、区域信息计算并设置开启人机交互手势的人手中心点，根据人手中心点在三维空间内的运动轨迹，以此确定人手动作为静态变化手势或动态变化手势，同时识别并获得与手势动作对应的控制指令，该控制指令用于控制终端设备，以使机器设备执行与控制指令对应的操作。该人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的手势识别度不高而带来的误操作、反复操作等问题。相比于传统的人机交互方法，该方法步骤设计更为合理有效，其作用更为明显，效果更为显著，具有更高的实用价值。(51)Int.Cl.权利要求书1页 说明书4页 附图1页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书1页。
3、 说明书4页 附图1页(10)申请公布号 CN 104331158 ACN 104331158 A1/1页21.一种手势控制的人机交互方法，该方法包括，通过人手动作实现与人机交互装置的操作，所述人手动作包括静态变化手势和动态变化手势；人机交互装置获取人手区域信息，所述人手区域位于人体与所述人机交互装置之间；所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点；通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；所述人机交互装置识别并获得与人手动作相对应的控制指令，所述控制指令用于控制终端设备。
4、完成相应操作。2.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人机交互装置获取人手区域信息的过程包括：首先，所述人机交互装置获取人脸区域信息，然后根据获取的人脸区域信息计算并得到肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。3.如权利要求2所述的手势控制的人机交互方法，其特征在于，所述优化算法为Blob labeling算法。4.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心。5.如权利要求1所述的手势控制的人机交互方法，其特征在。
5、于，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势：人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。6.如权利要求5所述的手势控制的人机交互方法，其特征在于，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像。
6、的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。7.如权利要求1所述的手势控制的人机交互方法，其特征在于，所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。8.一种用于实现如权利要求1至7任一项所述的手势控制的人机交互方法的装置，其特征在于，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输。
7、给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。9.如权利要求8所述的一种用于实现如权利要求1至7任一项所述的手势控制的人机交互方法的装置，其特征在于，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。权 利 要 求 书CN 104331158 A1/4页3一种手势控制的人机交互方法及装置技术领域0001 本发明涉及一种手势控制的人机交互方法及装置，属于人工智能与图像处理技术领域。背景技术0002 随着科技的发展，各种智能设备的应用越来越广泛。人与智能设备之间的人机交互也越来越多，人机交互方式。
8、有接触式和非接触式两种，接触式的人机交互方式较为成熟和完善，而非接触式的人机交互操作方式则处于研究起步阶段。近年来，非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题，研究好非接触式的人机交互方式具有很高使用价值，尤其是应用到一些特殊要求的场合下则意义更为重大。0003 手势是一种直观的、自然地交互方式，表达方式快捷，表达意义丰富，是人类互相交流信息的重要工具。手势识别是按照某种规则识别出手势表达的内容，具有很强的一致性和扩展性。在应用方面，手势识别系统可以实现聋哑人与正常人交流，也可以在应用软件中直接操作软件或虚拟对象。从手的结构来看，手势包含手指和手掌；从手在三维空间的移动来分。
9、，可以在水平，垂直，深度三个方向移动。不同数量的手指结合不同方向的移动再加上手掌的变化可以组合成不同的手势，可以实现控制，移动，等不同的运用。近年来，如何更有效对手势识别，达到更好的人与人或人机交互，是研究的热点和难点问题。发明内容0004 为解决上述问题，本发明提供一种手势控制的人机交互方法，该方法能够更为精准得获取手势控制信息，实现更为有效的人机交互操作。0005 本发明还提供一种用于实现上述手势控制的人机交互方法的装置。0006 术语说明：0007 1、深度信息，是指深度图像具有的物体三维特征信息，深度图像不同与通常所处理的二维图像，深度图像中的像素代表了一个相对的深度信息，因此每个像素。
10、都包含了三维坐标系下各个坐标值的信息，深度图像数据反映了景物表面的三维信息。0008 2、图像形态学处理，是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等。0009 本发明的技术方案如下：0010 一种手势控制的人机交互方法，该方法包括，通过人手动作实现与人机交互装置的操作，所述人手动作包括静态变化手势和动态变化手势；0011 人机交互装置获取人手区域信息，所述人手区域位于人体与所述人机交互装置之间；0012 所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心。
11、点作为人手区域在三维空间运动的参考基点；通过判断人手中心点在三说 明 书CN 104331158 A2/4页4维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；0013 所述人机交互装置识别并获得与人手动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。0014 优选的，所述人机交互装置获取人手区域信息的过程包括：0015 首先，所述人机交互装置获取人脸区域信息，然后根据获取的人脸区域信息计算并得到肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。0016 进一步优选的，所述优化算法为Blob l。
12、abeling算法。0017 优选的，所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心。0018 优选的，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势：人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。0019 进一步优选的，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外。
13、接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。此设计的好处在于，动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，减少了手势识别的时间，增加了人机交互过程中人机交互装置操作的多样性。0020 优选的，所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。此设计的目的在于，在进行人机交互的过程中，人机交互装置的光照变化难。
14、免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。0021 一种用于实现手势控制的人机交互方法的装置，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。0022 优选的，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获。
15、取的人脸区域信息定时获取并更新肤色特征。0023 本发明的有益效果在于：0024 1.本人机交互方法改变了传统单纯获取手势图像进行机器设备操作的方式，通过在人机交互过程中加入肤色特征这一因素，人机交互装置通过获取肤色能够进行更为精确地定位人手区域，解决了传统人机交互过程中手势识别度不高而带来的误操作、反复操作说 明 书CN 104331158 A3/4页5等问题。0025 2.本人机交互方法区别于传统人机交互装置对人手动作不进行区分识别的单一做法，在人机交互装置进行手势动作识别前，先对人手动作进行划分识别为静态变化手势还是动态变化手势，提高了人手动作识别的有效性；同时，静态变化手势或动态变化手。
16、势能够更容易分类定义不同手势下的操作动作，提高了人机交互装置的实用性和控制性。0026 3.本人机交互方法通过增加定时获取并更新肤色特征的设计，其目的是为了减少人机交互装置光照对肤色的影响，进而获得更为准确的人手区域，对手势动作的识别会更为准确无误。0027 4.本人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的问题；相比于传统的人机交互方法，该方法步骤设计更为合理有效，其作用更为明显，效果更为显著，具有更高的实用价值。附图说明0028 图1为人机交互过程中人机交互装置各部分的结构框图；0029 图2为人机交互过程中交互方法的流程示意图。具体实施方式0030 。
17、下面通过实施例并结合附图对本发明做进一步说明，但不限于此。0031 实施例1：0032 一种手势控制的人机交互方法，该方法包括：0033 首先根据人机交互装置的图像获取装置获取的图像中锁定人脸区域，这一过程可根据生理学知识，比如人脸的长宽比范围(0.9，2.0)结合Adaboost算法，来获取较为可靠的人脸区域，然后根据获取的人脸区域得到肤色特征，此过程由图像获取装置后期处理来获得肤色特征。0034 其次，在实际操作过程中，人手区域位于人体与所述人机交互装置之间；根据深度信息结合肤色特征来获取人手区域信息，接着根据Blob labeling优化算法并结合图像形态学处理的操作,进行去噪处理，进一。
18、步得到更为精确的人手区域信息。0035 人机交互装置根据人手区域信息计算并设置开启人机交互手势的人手中心点，该人手中心点为手掌的最大内切圆圆心，以此人手中心点作为人手区域在三维空间运动的参考基点；0036 判断人手中心点在三维空间内的运动轨迹，通过判断人手中心点在三维坐标内位移与阈值M的大小关系，具体过程是：该人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值M，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值M，则人手动作为动态变化手势。0037 静态变化手势包括以手指伸缩个数的。
19、结合确定的手势，如伸出三个手指；或以手的轮廓与外接圆面积比参数确定的手势，如握拳；或以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势；或以本征图像的一维特征向量确定的手势；动态变化手势包括人手中心点的位移确定的动态变化手势，如人手左右移动或前后移动或上下移动；人手中心点说 明 书CN 104331158 A4/4页6的位移结合手势变化确定的动态变化手势，如人手左右移动的同时又伸出三根手指或人手前后移动的同时握拳。0038 动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，增加了人机交互过程中人机交互。
20、装置操作的多样性。0039 最终，人机交互装置识别并获得与人手动作相对应的控制指令，控制指令用于控制终端机器设备完成相对应的操作，如抓取、拿放、开关、启动、暂停等动作。人机交互装置将相应指令预先存储于数据库中，当展现某一人手动作时，人机交互装置识别并从数据库中调取与该动作相对应的控制指令，该控制指令控制机器设备实现特定的操作动作，其整个方法过程如图2所示。0040 实施例2：0041 一种手势控制的人机交互方法，其方法步骤如实施例1所述，其不同之处在于根据整个人手的最小外接圆圆心，以此圆心为人机交互手势的人手中心点。0042 实施例3：0043 一种手势控制的人机交互方法，其方法步骤如实施例1。
21、所述，其不同之处在于，该人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。在进行人机交互的过程中，人机交互装置的光照变化难免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。0044 实施例4：0045 一种用于实现手势控制的人机交互方法的装置，包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点，手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块，功能实现模块加载有与该人手动作信息相对应的控制指令，该控制指令进行终端设备的操作。0046 该装置还包括定时提取模块，定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。通过定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。说 明 书CN 104331158 A1/1页7图1图2说 明 书 附 图CN 104331158 A。