《一种基于手势识别的人机交互方法.pdf》由会员分享，可在线阅读，更多相关《一种基于手势识别的人机交互方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102854983 A (43)申请公布日 2013.01.02 C N 1 0 2 8 5 4 9 8 3 A *CN102854983A* (21)申请号 201210331153.5 (22)申请日 2012.09.10 G06F 3/01(2006.01) G06K 9/00(2006.01) (71)申请人中国电子科技集团公司第二十八研 究所 地址 210007 江苏省南京市白下区苜蓿园东 街1号 (72)发明人陈超 金晶 鱼江海 孟剑萍 廖永东 (74)专利代理机构南京苏高专利商标事务所 (普通合伙) 32204 代理人柏尚春 (54) 发明名称 一种基于。
2、手势识别的人机交互方法 (57) 摘要 本发明公开了一种基于手势识别的人机交互 方法，首先通过摄像头拍摄手势图像视频流，将视 频流转化为图像帧；接着从图像中根据特定的算 法提取出手势的形状和特征，以及位置信息，建立 分类准则对手势进行识别；再根据手势形状和位 置进行坐标或者动作命令映射得到一定的系统命 令，然后根据需求驱动特定的系统动作模拟系统 鼠标事件，进行人机交互。本发明提供的基于手势 识别的人机交互方式可替代传统的鼠标操作，可 以广泛应用在餐饮购物、娱乐活动、或者是会议大 屏演示等场景下，增强人机之间互动性。 (51)Int.Cl. 权利要求书1页 说明书4页 附图6页 (19)中华人民。
3、共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 4 页 附图 6 页 1/1页 2 1.一种基于手势识别的人机交互方法，其特征在于，包括以下步骤： （1）拍摄图像视频流过程：启动摄像头，拍摄手势图像视频流； （2）对图像视频流的处理过程：此过程包括两部分：手势分割和手势跟踪；通过对手势 图像视频流进行手势分割，将手势图像视频转化为相应的图像帧，再根据相应的图像帧建 立手势模板，再利用HSV直方图的粒子滤波算法得到手势的运动轨迹和预测方向； （3）手势识别过程：从图像视频流中图像帧，根据相应的算法软件提取出手势的形状、 特征以及位置信息，通过预先建立相应的手势模板对手势进。
4、行识别，然后再设置对应的鼠 标位置和动作，同时转换为相应的系统鼠标事件； （4）手势交互过程：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应 关系，转换成相应的系统指令，然后根据需求驱动特定的系统动作模拟相应的系统鼠标事 件，进行人机交互。 2.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述步骤 （2）中的手势分割是通过背景建模、运动目标检测建模以及结合HSV肤色检测模型来快速 定位检测。 3.根据权利要求2所述的一种基于手势识别的人机交互方法，其特征在于：所述的HSV 肤色检测模型和光线补偿模型结合使用。 4.根据权利要求1所述的一种基于手势识别的人机交互方。
5、法，其特征在于：所述步骤 （3）中的手势识别包括人脸识别和手势识别，所述手势识别包括手掌模板和握拳模板两种。 5.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述的手 势识别过程是采用动态的手势序列识别的方法。 6.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述步骤 （2）中的手势跟踪和步骤（3）中手势识别均还包括错误识别程序。 7.根据权利要求1所述的一种基于手势识别的人机交互方法，其特征在于：所述步骤 （3）中的手势交互中的模拟系统鼠标事件是通过下列方式实现的： （1）程序保存历史手势，与当前手势进行比较； （2）在手势移动的情况下，若手掌摊开则为。
6、普通移动，握拳则是拖动选中的目标；（3） 在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊开则产生鼠标 释放事件，握拳超过时间限制则产生鼠标长按事件。 权 利 要 求 书CN 102854983 A 1/4页 3 一种基于手势识别的人机交互方法 技术领域 0001 本发明公开了一种人机交互的方法，具体涉及一种基于人体手势的变化的识别而 产生的人机交互方法。 背景技术 0002 随着虚拟现实技术的发展和计算机性能的提高，人机界面的操作方向必然是向高 计算机性能、高通信带宽下新的控制方式发展，让用户拥有更便捷的人机交互方式。近年 来，手势交互技术已经进行了一些研究，但是由于人手涉。
7、及到多处变形复杂的关节体，以及 手势本身具有的多样性、复杂性、多义性等特点，手势识别技术还有很大的研究空间。很多 现有的人机交互系统都利用了数据手套设备，虽然利用数据手套能够提高识别的准确率， 但是也失去了手势交互自然性，并且数据手套设备也比较昂贵。本发明提出的手势操作方 式是利用摄像头采集的手势局部图像特征来进行描述、识别和控制的过程，以及如何基于 手势控制替代传统的鼠标操作的问题。 0003 在中华人民共和国国家知识产权局专利检索系统中检索“手势”、“人机”、“交 互”等关键词，检索到三篇题名与本发明相近：一种基于语音和手势的多通道人机交互 方法(申请号：201110278390.5) ，。
8、该发明通过识别语音和手势可以完成复杂场景下的 精确目标指点，与本发明的应用场景不同，本发明立足于通过识别基础的手势用以替代鼠 标操作，并确保其可靠性。一种移动终端压力触控手势识别的人机交互方式(申请号： 201010152888.2)，该发明的技术实现基于压力触摸板，与本发明基于摄像头捕捉手势不 同。基于视线跟踪和手势识别的人机交互方法及装置(申请号：200810030194.4)，该发明 通过摄像头同时捕捉人眼与手的动作进行鼠标定位，并将所有功能封装于一硬件模块中； 而本发明则是仅通过捕捉人手进行鼠标定位，除了配置一普通摄像头外，其它工作都由相 应的模块来完成。 发明内容 0004 发明目的。
9、：为了克服现有技术中存在的不足，本发明提供一种人机交互的方法，具 体涉及一种基于人体手势的变化的识别而产生的人机交互方法。 0005 技术方案：为解决上述技术问题，本发明提供的一种基于手势识别的人机交互方 法，包括以下步骤：（1）拍摄图像视频流过程：启动摄像头，拍摄手势图像视频流；（2）对图 像视频流的处理过程：此过程包括两部分：手势分割和手势跟踪；通过对手势图像视频流 进行手势分割，将手势图像视频转化为相应的图像帧，再根据相应的图像帧建立手势模板， 再利用HSV直方图的粒子滤波算法得到手势的运动轨迹和预测方向；（3）手势识别过程：从 图像视频流中得出的图像帧，根据相应的算法软件提取出手势的形。
10、状、特征以及位置信息， 通过预先建立相应的手势模板对手势进行识别，然后再设置对应的鼠标位置和动作，同时 转换为相应的系统鼠标事件；（4）手势交互过程：预先定义手势映射模型，根据手势识别的 结果建立手势交互的对应关系，转换成相应的系统指令，例如，鼠标单击、鼠标移动等，然后 说 明 书CN 102854983 A 2/4页 4 根据需求驱动特定的系统动作模拟相应的系统鼠标事件，进行人机交互。用户手势在计算 机屏幕或者投影屏上指点的位置，通过一个放大的鼠标指针来指示，因此无须对计算机系 统做出修改。另外，软件还预留了接口可以根据用户的定义进行功能的扩展。 0006 所述步骤（2）中的手势分割是通过背。
11、景建模、运动目标检测建模以及结合HSV肤 色检测模型来快速定位检测。 0007 所述的HSV肤色检测模型和光线补偿模型结合使用；在某些特定的环境下，采用 自适应的光线补偿技术以弥补肤色检测的不足，保持手势分割的准确性，得到手势的位置 和手势区域的直方图等特征。实验结果表明，本发明所采用的方法对复杂的背景有一定的 适应能力。 0008 所述步骤（3）中的手势识别包括人脸识别和手势识别，所述手势识别包括手掌 模板和握拳模板两种；所述的手势识别过程是采用动态的手势序列识别的方法；所述步骤 （2）中的手势跟踪和步骤（3）中手势识别均还包括错误识别程序。本发明通过预先定义 手势模板，提取模板的特征，建立。
12、当前输入的手势特征的判决函数，通过机器学习方法进行 训练，预测的匹配结果作为最后的识别结果，分析出当前手势的含义。手势模板为单色位 图，目前只需手掌和握拳两种即可满足需求。在跟踪和识别的过程中还需进行错误识别的 判读，如在跟踪手掌手势时，偶然出现数帧非连续性的握拳或其它手势，则需要进行自动排 除，避免对后面的交互工作产生干扰。 0009 所述步骤（3）中的手势交互中的模拟系统鼠标事件是通过下列方式实现的： 0010 （1）程序保存历史手势，与当前手势进行比较； 0011 （2）在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖动选中的目标； （3）在手势静止的情况下，手掌由摊开转为握拳产生。
13、鼠标按下事件，握拳转为摊开则产生鼠 标释放事件，握拳超过时间限制则产生鼠标长按事件。 0012 有益效果：本发明相对于现有技术有以下优点： 0013 （1）基于手势识别的人机交互方式可替代传统的鼠标操作，可以广泛应用在餐饮 购物、娱乐活动、或者是会议大屏演示等场景下，增强人机之间互动性； 0014 （2）相对于现有技术中的人机交互方式，本发明仅通过捕捉人的手势来完成人机 交换过程，操作过程简单，易于实现。 附图说明 0015 图1是本文明的工作流程示意图。 0016 图2是本发明的层次架构示意图。 0017 图3是本发明的计算机软件处理流程示意图。 0018 图4是人脸检测流程示意图。 001。
14、9 图5是手势检测流程示意图。 0020 图6是系统鼠标设置流程示意图。 0021 图7是系统鼠标动作检测流程示意图。 具体实施方式 0022 下面结合附图对本发明作更进一步的说明。 说 明 书CN 102854983 A 3/4页 5 0023 如图1和图3所示，运行本发明时，首先启动摄像头并设置视频来源，同时加载HSV 肤色检测模型，并装载和处理需要使用的手势和人脸模板，之后软件进入检测运行循环，直 到接到退出命令为止。 0024 在检测运行循环中，软件每40毫秒取一帧图像进行处理，保证每秒24帧左右的处 理频率，其余时间让出CPU处理，避免进程阻塞CPU导致软件效率低下影响系统操作。取 。
15、得的图片帧首先需要进行手势分割和手势跟踪，进行手势识别后映射为特定的系统鼠标动 作。 0025 如图2 所示的本发明的层次架构图，含有摄像头的计算机平台摄入视频流，在 WIN平台上对摄像头驱动，形成在计算机视觉库里，最后通过手势识别模块来实现手势转化 为相应的鼠标动作。 0026 本发明的实施过程中的几个主要环节如下： 0027 （1）手势分割：本发明的运行环境是普通的PC机，因此无法采用大容量的手型数 据库，而限制背景的做法无法满足现实中的实际操作。因而本发明采用的方法是通过背景 建模、动目标检测技术，结合HSV肤色检测模型，快速的定位人手。在某些特定的环境下，采 用自适应的光线补偿技术以弥。
16、补肤色检测的不足，保持手势分割的准确性，得到手势的位 置和手势区域的直方图等特征。实验结果表明，本发明所采用的方法对复杂的背景有一定 的适应能力。 0028 （2）手势跟踪：本发明采取的方式是通过手势分割得到的手势特征，建立手势模 板，利用基于HSV直方图的粒子滤波算法，解决手势的跟踪问题，得到手势的历史运动轨迹 和预测方向。 0029 从图片帧中提取出手势信息后需要进行人脸和手势识别，具体过程见图4和图5。 0030 （3）手势识别：本发明通过预先定义手势模板，提取模板的特征，建立当前输入的 手势特征的判决函数，通过机器学习方法进行训练，预测的匹配结果作为最后的识别结果， 分析出当前手势的含。
17、义。手势模板为单色位图，目前只需手掌和握拳两种即可满足需求。在 跟踪和识别的过程中还需进行错误识别的判读，如在跟踪手掌手势时，偶然出现数帧非连 续性的握拳或其它手势，则需要进行自动排除，避免对后面的交互工作产生干扰。 0031 识别出图片帧中的手势后，需要设置对应的鼠标位置和动作，同时转换为相应的 系统鼠标事件，具体过程见图6和图7。 0032 （4）手势交互：预先定义手势映射模型，根据手势识别的结果建立手势交互的对应 关系，转换成相应的系统指令，例如，鼠标单击、鼠标移动等。如图7中所示，程序保存历史 手势，与当前手势进行比较。在手势移动的情况下，若手掌摊开则为普通移动，握拳则是拖 动选中的目。
18、标。在手势静止的情况下，手掌由摊开转为握拳产生鼠标按下事件，握拳转为摊 开则产生鼠标释放事件，握拳超过一定时间门限则产生鼠标长按事件。由这五种事件产生 出的操作可以满足绝大多数人机交互的要求。按照摄像头捕捉到的手势的中心点在整个视 场的位置，可以映射出计算机屏幕上或者投影屏上放大的鼠标指针的位置。另外，软件还预 留了接口可以根据用户的定义进行功能的扩展，如手掌画圆、画方、画三角都可以规定为特 定的交互动作。 0033 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 说 明 书CN 102854983 A 4/4页 6 视为本发明的保护范围。 说 明 书CN 102854983 A 1/6页 7 图1 图2 说 明 书 附 图CN 102854983 A 2/6页 8 图3 说 明 书 附 图CN 102854983 A 3/6页 9 图4 说 明 书 附 图CN 102854983 A 4/6页 10 图5 说 明 书 附 图CN 102854983 A 10 5/6页 11 图6 说 明 书 附 图CN 102854983 A 11 6/6页 12 图7 说 明 书 附 图CN 102854983 A 12 。