一种智能设备的手势控制方法和系统技术领域
本发明涉及人机交互技术领域，特别是涉及一种智能设备的手势控制方法和系统。
背景技术
随着计算机技术以及移动网络的迅速发展，人们需要操作的智能设备将不再局限于个人
电脑、桌面设备、智能手机，而且还将包括智能电视、智能穿戴、智能家居。人们期望在家
里、路上或办公室里都能更加便捷的使用这些智能设备。
然而，这些智能设备的操作并不便捷。通常，用户想要操作智能设备都需要通过手的直
接接触才能完成。用户在使用这些智能设备时，均是通过用手来操作某一外设(如鼠标、键
盘、按钮、遥控器)或某一平面(如触摸屏、触摸板)来实现点击、滑动、拖拽等指令。这
在完成人机交互的同时占用了用户的双手，无形中是一种束缚。
这些智能设备的操作界面通常是2D的，无法实现3D纵深的操作。
站在更宏观的层面来讲，智能设备正在经历着由手持设备向穿戴设备的演化过程。并且，
随着移动数据通信速度的飞快提升，更多的应用场景将有室内转向室外、由静态转向动态。
专利号200910093890.4公开了一种基于计算机视觉的实时手势交互方法。在该篇专利文
献中，手势交互存在两个主要缺点：1.操作手势需要预先学习，该学习周期较长，另外由于
每个人的动作习惯不同，实质上当操作者更换后，需要让计算机重新学习手势方能更加有效
的使用；2.该专利的手势主要指的的手型的轮廓，比较粗糙，仅适用于比较粗糙的操作方式，
对现代的智能设备而言，操作不仅仅是滑动那么简单，现代智能设备的复杂性使得手势操作
的精度的需求大大增强，最直观的是手指活动的捕捉，譬如当代智能手机的操作大多依靠手
指的滑动和点击来完成，而甚少依靠手臂来完成。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种智能设备的手势控制方法和
系统，用于解决现有技术中通过手势进行控制时，对手势的识别不够精确的问题。
为实现上述目的及其他相关目的，本发明提供一种智能设备的手势控制方法，包括：步
骤一，捕捉手势图像；步骤二，处理所述手势图像，生成平面二维手势模型或空间三维手势
模型；步骤三，将所述平面二维手势模型或所述空间三维手势模型与智能手势模型进行对比，
以获取所述手势图像所代表的动作：如果对比成功，则跳转至步骤四，如果对比失败，则显
示无法识别的信息，并重新跳转至步骤一；步骤四，选取所述平面二维手势模型或所述空间
三维手势模型在智能手势模型里设定的手指关节节点，与光标相关联的，并执行所述手势图
像所代表的动作，之后跳转回步骤一。
可选地，所述步骤一中，所述手势图像由所述智能设备的摄像头或深度传感器进行捕捉。
可选地，所述步骤二中，所述平面二维手势模型是通过对所述摄像头捕捉的所述手势图
像的每一帧画面进行二值化处理，区分手与背景，再通过手指轮廓与手掌的相对位置建立手
指与手指关节节点而形成的；其中，所述手指为一个或多个。
可选地，所述二值化处理包括：首先对所述手势图像的每一帧画面通过inRange函数滤
波，通过形态学操作去除噪声干扰，使得手的边界更加清晰平滑；然后转换到HSV空间；再
根据皮肤在HSV空间的分布做出阈值判断，得到二值图像；最后对所述二值图像用
findContour函数找出手的轮廓，去除伪轮廓，使用convexHull函数得到凸包络。
可选地，所述步骤二中，所述空间三维手势模型是通过对所述深度传感器捕捉的所述手
势图像的三维数据而生成的。
可选地，所述智能手势模型是预先导入安装在所述智能设备的智能系统中的。
可选地，所述智能系统包括安卓操作系统。
可选地，所述智能设备包括智能眼镜、智能手机、智能机顶盒、智能手表和智能电视。
可选地，所述手指关节节点包括指尖、第一指节、第二指节、指根、虎口和掌心。
一种智能设备的手势控制系统，所述智能设备包括深度传感器和摄像头，所述智能设备
的手势控制系统包括分析模块、对比模块、关联执行模块和数据库；所述分析模块用于处理
所述摄像头或所述深度传感器捕捉到的手势图像，生成平面二维手势模型或空间三维手势模
型；所述比对模块用于根据所述平面二维手势模型或所述空间三维手势模型，对比智能手势
模型获取所述手势图像所代表的动作；所述关联执行模块用于选取手指关节节点，与光标相
关联，并执行所述手势图像所代表的动作；所述数据库用于存储所述智能手势模型。
如上所述，本发明的一种智能设备的手势控制方法和系统，其通过智能设备自带的摄像
头或深度传感器进行手势图像的捕捉，并对其进行处理，生成平面二维手势模型或空间三维
手势模型；将其与智能手势模型进行对比，以判断手势图像所代表的动作；最后选取相应的
手指关节节点，与智能系统的光标进行关联，并执行手势图像所代表的动作。本发明的智能
设备手势控制方法，可以直接对智能设备进行控制，不许对控制手势进行预先学习，减少了
学习周期；本发明还可以通过深度传感器来建立三维手势模型，使得智能设备的手势判断更
加精确。
附图说明
图1显示为本发明实施例公开的一种智能设备的手势控制示意图。
图2显示为本发明实施例公开的一种智能设备的手势控制方法。
图3显示为本发明实施例公开的一种智能设备的不同手势的示意图。
图4显示为本发明实施例公开的一种智能设备的手势控制系统的结构示意图。
元件标号说明
100智能设备
110摄像头
120深度传感器
200手势
201手势
202手势
203手势
S21～S24步骤
400智能设备的手势控制系统
410分析模块
420比对模块
430关联执行模块
440数据库
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭
露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图4。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以
配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施
的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，
在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容
得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等
的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或
调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1
本实施例一种智能设备的手势控制方法，其主要是对智能设备通过手势来进行控制，如
图1所示，智能设备100智能设备主要包括智能眼镜、智能手机、智能机顶盒、智能手表和
智能电视，其可通过手势200来控制智能设备100的智能系统。其中，智能设备100上包括
摄像头110和深度传感器120；其中，摄像头110和深度传感器120都是用于捕捉手势200
的数据，但是，摄像头110所捕捉的数据是二维的，深度传感器120所捕捉的数据是三维的。
如图2所示，本实施例的一种智能设备的手势控制方法，包括：
步骤一S21，捕捉手势图像：通过智能设备100的摄像头110，可以捕捉位于摄像头视频
范围内的手势图像；并且，手势图像还可以通过智能设备100的深度传感器120进行捕捉，
当然，手势图必须是在深度传感器120的感应范围内。相较于摄像头110采集的手势图像的
平面数据，深度传感器120可以采用很多类型的传感器，例如温度传感器或红外传感器，当
然本实施例并不仅限于此，通过深度传感器进行手势图像捕捉的灵敏度和精确度更加高，且
捕捉的也直接是手势图像的三维数据。
其中，手势既可以通过单手进行比划，也可以使用双手进行比划，并且手的姿势不限，
可以任意手指或者握拳等等。图3是展示的若干个不同的手势图像，手势图像201表示通过
一个手指的滑动对智能系统进行控制：手势图像202表示通过一个手的五个手指和手掌来对
智能系统进行控制；手势图像203表示通过双手来同时对智能系统进行控制。
步骤二S22，处理手势图像，生成平面二维手势模型或空间三维手势模型。
其中，平面二维手势模型是通过对摄像头110捕捉的手势图像的每一帧画面进行二值化
处理，以区分手与背景，再通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，从
而生成平面二维手势模型。其中手指关节节点包括指尖、第一指节、第二指节、指根、虎口
和掌心等等。
智能系统具有交互界面和后台处理系统。在后台处理系统中，处理程序使用摄像头110
将手势200的每一帧画面进行二值化处理，以区分手与背景，再通过对手指轮廓与手掌的相
对位置建立手指及手指关节节点，手指关节节点都包括数据p(x，y)。
其中，二值化处理时按照如下过程进行：滤波去噪-->转换到HSV(Hue，Saturation，
Value)空间-->根据皮肤在HSV空间的分布做出阈值判断，这里用到了inRange函数，然后
进行一下形态学的操作，去除噪声干扰，使得手的边界更加清晰平滑-->得到二值图像-->用
findContours函数找出手的轮廓，去除伪轮廓后，再用convexHull函数得到凸包络。
空间三维手势模型是通过深度传感器120捕捉手势图像的三维数据而直接建立的，其中，
空间三维手势模型中的每个手指关节节点都包括数据p(x，y，z)。
空间三维手势模型还可先通过摄像头110捕捉手势图像的的每一帧画面进行二值化处理
生成平面二维手势模型；再在该平面二维手势模型的基础上，利用深度传感器捕捉平面二维
手势模型中的多个手指关节节点的深度数据，从而建立空间三维手势模型，每个手指关节节
点都包括数据。
步骤三S23，将平面二维手势模型或空间三维手势模型与智能手势模型进行对比，以获
取手势图像所代表的动作：如果对比成功，则跳转至步骤四，如果对比失败，则显示无法识
别的信息，并重新跳转至步骤一。
智能手势模型是预先导入安装在智能设备的智能系统中的，主要包括移动、点击、翻页、
拖拽、单一选取、区域选取和裁剪等等。在本实施例中，智能系统主要为安卓操作系统。
通过将平面二维手势模型或空间三维手势模型与智能手势模型进行比对，判断出平面二
维手势模型或空间三维手势模型是否在智能手势模型中存在与之相匹配的动作，如果存在，
则认为对比成功，手势图像所代表的动作即为平面二维手势模型或空间三维手势模型在智能
手势模型中与之相匹配的动作；反之，如果不存在，则认为对比失败，该手势图像不被识别。
步骤四S24，选取平面二维手势模型或空间三维手势模型在智能手势模型里设定的手指
关节节点，并与光标相关联的，执行手势图像所代表的动作，之后跳转回步骤一。
使用图3所示的手势201可以进行对智能系统中的光标进行移动的操作：通过智能设备
捕捉转化而来的智能手势模型，当模型为单手食指在空间中移动的时候，智能系统将手势模
型中的食指顶点与光标进行关联，在食指顶点在映射平面107中发生位置变化时，光标201
的x,y坐标也相应变化。
使用如图3所示的多个手指的手势202进行操作，手势202使用了5个手指在空间中进
行移动操作，该操作将被定义为智能系统中的内容滑动操作，当屏幕大小不足以展示当前视
窗里的全部内容时，通过滑动操作可以看到视窗边界之外的内容。
使用如图3所示的两个手的手势203进行操作，手势203使用了两个手，智能系统将根
据每个手的中心点作为一个矩形的两个对角点，从而生成一个矩形框，在需要用到矩形框的
子系统中(如裁剪，选择等)显示该矩形的位置和大小。
本实施例的智能设备的手势控制方法，通过捕捉手势图像，建立平面二维手势模型或空
间三维手势模型；对比智能手势模型可以简单快捷精确地实现智能设备的手势控制。
实施例2
本实施例的智能设备的手势控制方法，其智能设备100为智能眼镜，手势200包括移动、
点击、翻页、拖拽、单一选取和区域选取，智能系统为安卓，摄像头被集成在智能眼镜上的
摄像头，智能手势模型被存储在智能眼镜上应用软件数据库中。
针对不同的手势：
移动：单手单指在摄像头可捕捉的范围内进行移动，智能系统将摄像头所捕捉的每一帧
画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及
手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包括数据p(x，y)。智能
系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y)中发生位置
变化时，光标的p1(x1，y1)坐标也相应变化。
点击：单手单指在摄像头可捕捉的范围内移动后静止不低于3秒，智能系统将摄像头所
捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置
建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包括数据p(x，
y)。智能手势模型将智能系统捕捉的手机动作数据p(x，y)与智能手势模型相对比，判断
属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p
(x，y)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点击的操作。
翻页：单手单指在摄像头可捕捉的范围内向着同一方向执行加速运动或单手单指在运动
方向不变的情况下从摄像头的可视范围外滑入可视范围内并继续滑出可视范围外。智能系统
将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌
的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，包含
数据p(x，y)。智能手势模型将智能系统捕捉的手势动作数据p(x，y)与智能手势模型相
对比，判断属于滑动翻页操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，
在单指顶点的p(x，y)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并执行
等同于触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在摄像头可捕捉的范围内移动，单手相邻手指弹出，智能系统将摄像头
所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位
置建立手指及手指关节节点，并计算出最先伸出的单指第一指节的中心点(或单指尖端)，包
含数据p(x，y)，稍后伸出的邻指第一指节的中心点(或单指尖端)，包括数据q(a，b)。
智能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手势模型相对比，
判断属于拖拽选取功能，并以先伸出的单指p(x，y)为光标对应点。智能系统将手势中的
先伸出的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标
进行拖拽选取工作。
拖拽平移：单手双指在摄像头可捕捉的范围内移动，系统形成数据p(x，y)和q(a，b)
两个数据集。智能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手
势模型相对比，判断属于拖拽平移操作，并以p(x，y)为光标对应点。智能系统将手势中
的先伸出的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图
标进行拖拽平移工作。
释放：单手双指在摄像头可捕捉的范围内移动，当在之前拖拽选取中先伸出的手指移动
到所需的位置后，后伸出的手指收回。系统形成数据p(x，y)和q(a，b)两个数据集。智
能手势模型将智能系统捕捉的手势动作数据p(x，y)和q(a，b)与智能手势模型相对比，
判断属于释放操作，并以p(x，y)为光标对应点。手势系统将手势中的先伸出的单指顶点
与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽释放工作，
解除光标所在位置图标的选定状态。
单一选取：与本实施例中的选取操作相同。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个
封闭的图形，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再
通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心
点(或单指尖端)，包括数据p(x，y)。智能手势模型将智能系统捕捉的手势动作数据p(x，
y)与智能手势模型相对比，判断属于区域选取操作。智能系统将手势中的单指顶点与智能系
统的光标进行关联，在单指顶点的p(x，y)中发生位置变化时，光标的p1(x1，y1)坐标
也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内的图标全部选取。
实施例3：
本实施例的智能设备的手势控制方法，其智能设备100为智能手机，手势200包括移动、
点击、翻页、拖拽、单一选取和区域选取，智能系统为安卓操作系统，摄像头110被集成在
智能眼镜上的摄像头，智能手势模型被存储在智能眼镜上应用软件数据库中，并且，相较于
实施例2，本实施例的智能设备100还包括一个深度传感器120，用于捕捉相关的深度数据。
针对不同的手势：
移动：单手单指在摄像头可捕捉的范围内进行移动，智能系统将摄像头所捕捉每一帧画
面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手
指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几
个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。
智能系统将手势中的单指顶点与智能系统的光标进行关联，在操作二维界面时，在单指顶点
的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化；在操作三维界面
时，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1，z1)坐标也相应变
化。
点击：单手单指在摄像头可捕捉的范围内静止后向与摄像头相背方向移动，智能系统将
摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的
相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深
度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包
括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手
势模型相对比，判断属于点击操作。智能系统将手势中的单指顶点与智能系统的光标进行关
联，在单指顶点的p(x，y，z)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点
击的操作。
翻页：单手单指在摄像头可捕捉的范围内向着同一方向执行加速运动或单手单指在运动
方向不变的情况下从摄像头的可视范围外滑入可视范围内并继续滑出可视范围外。智能系统
将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌
的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过
深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都
包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能
手势模型相对比，判断属于滑动翻页操作。智能系统将手势模型中的单指顶点与智能系统的
光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也
相应变化，并执行等同于触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在摄像头可捕捉的范围内静止后向与摄像头相向方向移动，智能系统将
摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的
相对位置建立手指及手指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深
度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包
括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手
势模型相对比，判断属于拖拽选取功能，并以单指p(x，y，z)为光标对应点。智能系统将
手势模型中的单指顶点与智能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的
图标进行拖拽选取工作。
拖拽平移：单手单指在摄像头可捕捉的范围内移动，智能系统将摄像头所捕捉每一帧画
面进行二值化处理，以区分手指和背景，再通过对手指轮廓与手掌的相对位置建立手指及手
指关节节点，并计算出单指第一指节的中心点(或单指尖端)，通过深度传感器，捕捉到这几
个关节点的深度数据，从而建立空间三维手势模型，每个关节点都包括数据p(x，y，z)。
智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属
于拖拽平移操作，并以p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智
能系统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽平移工作。
释放：操作方式同本实施例中的点击，点击处即为释放位置。
单一选取：操作方式同本实施例中的选取。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个
封闭的图形，智能系统将摄像头所捕捉每一帧画面进行二值化处理，以区分手指和背景，再
通过对手指轮廓与手掌的相对位置建立手指及手指关节节点，并计算出单指第一指节的中心
点(或单指尖端)，通过深度传感器，捕捉到这几个关节点的深度数据，从而建立空间三维手
势模型，每个关节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的手势动作数
据p(x，y，z)与智能手势模型相对比，判断属于区域选取操作。智能系统将手势中的单指
顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置变化时，光标的p1
(x1,y1)坐标也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内的图标全部选取。
实施例4
本实施例的智能设备的手势控制方法，其实施环境与实施例3类似，智能设备100为智
能手机；手势200包括移动、点击、翻页、拖拽、单一选取和区域选取；智能系统为安卓操
作系统；智能手势模型被存储在智能眼镜上应用软件数据库中。但是智能手机仅包括深度传
感器120，不包括摄像头110。
针对不同的手势：
移动：单手单指在深度传感器可捕捉的范围内进行移动，深度传感器可以直接捕捉到手
势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三
维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能系统将手势中的单指顶点与
智能系统的光标进行关联，在操作时，在单指顶点的p(x，y，z)中发生位置变化时，光标
的p1(x1,y1，z1)坐标也相应变化。
点击：单手单指在深度传感器可捕捉的范围内静止后向与深度传感器相背方向移动，深
度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间
三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能
手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于点
击操作。智能系统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，
z)所对应的光标的p1(x1，y1)坐标位置处执行等同于触屏点击的操作。
翻页：单手单指深度传感器可捕捉的范围内向着同一方向执行加速运动或单手单指在运
动方向不变的情况下从深度传感器的可感知范围外滑入可感知范围内并继续滑出可感知范围
外。深度传感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生
成空间三维手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。
智能手势模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属
于滑动翻页操作。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，在单指顶
点的p(x，y，z)中发生位置变化时，光标的p1(x1，y1)坐标也相应变化，并执行等同于
触屏手机中的滑动翻页操作。
拖拽动作由选取、拖拽移动和释放组成：
选取：单手单指在深度传感器可捕捉的范围内静止后向与摄像头相向方向移动，深度传
感器可以直接捕捉到手势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维
手势模型，其中空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势
模型将智能系统捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽选
取功能，并以单指p(x，y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系
统的光标进行关联，光标p1对其所在的p1(x，y)位置的图标进行拖拽选取工作。
拖拽平移：单手单指在深度传感器可捕捉的范围内移动，深度传感器可以直接捕捉到手
势图像的三维数据，得到手势图像的三维数据就可直接生成空间三维手势模型，其中空间三
维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统捕捉的
手势动作数据p(x，y，z)与智能手势模型相对比，判断属于拖拽平移操作，并以单指p(x，
y，z)为光标对应点。智能系统将手势模型中的单指顶点与智能系统的光标进行关联，光标
p1对其所在的p1(x，y)位置的图标进行拖拽平移工作。
释放：操作方式同本实施例中的点击，点击处即为释放位置。
单一选取：操作方式同本实施例中的选取。
区域选取：单手单指在摄像头可捕捉的范围内进行移动，其移动轨迹在3秒内形成一个
封闭的图形，深度传感器直接捕捉手势图像的三维数据，直接生成空间三维手势模型，其中
空间三维手势模型中每个手指关节节点都包括数据p(x，y，z)。智能手势模型将智能系统
捕捉的手势动作数据p(x，y，z)与智能手势模型相对比，判断属于区域选取操作。智能系
统将手势中的单指顶点与智能系统的光标进行关联，在单指顶点的p(x，y，z)中发生位置
变化时，光标的p1(x1，y1)坐标也相应变化，并将光标p1(x1，y1)在3秒内围成闭环内
的图标全部选取。
实施例5
本实施例提供了一种智能设备的手势控制系统400，如图4所示，智能设备100包括摄
像头110和深度传感器120；智能设备的手势控制系统400包括分析模块410、对比模块420、
关联执行模块430和数据库440。
分析模块410与摄像头110、深度传感器120和对比模块420相连接，用于使用如实施
例1所述的二值化处理方式处理摄像头110捕捉的手势图像，生成平面二维手势模型；或通
过对深度传感器120捕获的手势图像的三维数据，以生成空间三维手势模型。
比对模块420与分析模块410和关联执行模块430相连，用于将平面二维手势模型或空
间三维手势模型与智能手势模型进行对比，以获取手势图像所代表的动作。具体的对比过程
和实施例1中步骤三S23的方式一样。
关联执行模块430选取平面二维手势模型或空间三维手势模型在智能手势模型里设定的
手指关节节点，将其与光标相关联，并执行手势图像所代表的动作。
数据库440用于存储智能手势模型，智能手势模型是预先导入安装在智能设备100的智
能系统中。
综上所述，本发明的一种智能设备的手势控制方法和系统，其通过智能设备自带的摄像
头或深度传感器进行手势图像的捕捉，并对其进行处理，生成平面二维手势模型或空间三维
手势模型；将其与智能手势模型进行对比，以判断手势图像所代表的动作；最后选取相应的
手指关节节点，与智能系统的光标进行关联，并执行手势图像所代表的动作。本发明的智能
设备手势控制方法，可以直接对智能设备进行控制，不许对控制手势进行预先学习，减少了
学习周期；本发明还可以通过深度传感器来建立三维手势模型，使得智能设备的手势判断更
加精确，使用起来也更加方便。所以，本发明有效克服了现有技术中的种种缺点而具高度产
业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技
术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡
所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等
效修饰或改变，仍应由本发明的权利要求所涵盖。