一种低功耗手势交互系统.pdf

本发明公开了一种低功耗手势交互系统，包括处理器、图像传感器、运动传感器、存储器、无线蓝牙射频模块和移动终端。图像传感器采集手势图像数据，处理器对手势数据进行识别后，实时传输至手机、Pad等移动终端，实现人机交互。另一方面，运动传感器穿戴在手腕上实时采集运动情况，根据加速度来调节图像采样帧率降低功耗，同时根据角速度使系统进入不同的工作模式以最大化降低系统功耗。本发明的低功耗控制器是一种无线智能化的非接触式人机交互装置，适用于室内外场景，携带方便。

1.一种低功耗手势交互系统，其特征在于：包括处理器、图像传感器、加速度计、存储
器、无线蓝牙射频模块和移动终端；所述加速度计和图像传感器分别与处理器相连，处理器
与存储器、无线蓝牙射频模块相连。图像传感器获取手势图像数据，处理器通过图像传感器
获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模块发
送到移动终端，实现交互。同时，加速度计获取手势运动数据中的加速度，处理器根据加速
度信息调节图像采集帧率，由此实现功耗控制。
2.根据权利要求1所述的系统，其特征在于，所述处理器通过以下方法调节图像传感器
的采集帧率：
(1)分离重力加速度，得到手部由于运动引起的加速度合成
g_x＝g·sinρ (1)
g_y＝g·sinγ·cosρ (2)
$g_z=\sqrt{g^2-g_x^2-g_y^2}---\left(3\right)$
$\stackrel{\‾}{a_x}=a_x-g_x---\left(4\right)$
$\stackrel{\‾}{a_y}=a_y-g_y---\left(5\right)$
$\stackrel{\‾}{a_z}=a_z-g_z---\left(6\right)$
$\stackrel{\‾}{a}=\sqrt{{\stackrel{\‾}{a_x}}^2+{\stackrel{\‾}{a_y}}^2+{\stackrel{\‾}{a_z}}^2}---\left(7\right)$
式中a_x、a_y、a_z是加速度计输出的三轴加速度，g_x、g_y、g_z分别为静态重力加速度在加速度
计三轴方向的分量，ρ、γ分别是手部俯仰角和横滚角，是手部运动引起的三轴
加速度分量，是手部运动引起的加速度合成值。
(2)获得运动加速度后，可通过下式得到手部的运动速度：
$V_t=V_{t_0}+{\∫}_{t_0}^t\stackrel{\‾}{a}{d}_t---\left(8\right)$
其中，V_t为t时刻装置运动方向速度，V_t0为t₀时刻装置手部运动方向速度。
(3)图像传感器系统采样帧率f＝15+σ·V_t，σ为常量系数，取σ为50。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括陀螺仪，陀螺仪获取手势
运动数据中的角速度，处理器根据角速度信息调节系统的工作模式(包括运行、空闲和休
眠)，具体为：通过运动传感器中三轴陀螺仪获取三轴角速度，任意一轴角速度都小于0.05
度/秒超过3秒时，使得系统进入空闲模式；保持空闲模式30s后，控制系统进入休眠模式；否
则系统处于运行模式。
所述的工作模式的智能切换，其特征在于：
(1)所述运行模式为：处理器处于全速运行状态，工作频率为最高频率，处理器所需外
围接口皆处于工作状态，图像传感器以30帧每秒进行采集，无线蓝牙将识别结果实时传输
至移动终端、存储器实时存储识别数据。
(2)所述空闲模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度计和
陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器继续采集
运动数据并发送给处理器进行识别，以识别后续的工作模式。
(3)所述休眠模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度计和
陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器每隔3s采
集运动数据。

一种低功耗手势交互系统

技术领域

本发明涉及虚拟现实领域，特别涉及一种低功耗手势交互系统。

背景技术

机器人、虚拟现实产业的迅速发展，促进了自然人机交互技术的快速发展。人机交
互技术，其目的是使人与机的交互，具备人与人、人与现实世界之间的交流融洽性。人机交
互技术从鼠标、键盘这类接触性交互方式，发展到基于手势、语言、姿态、生理等方式的非接
触性交互方式。交互方式的衍化使得人机交互更加自然、方便。

在手势感知交互方面，主要有两种通道感知：视觉和运动感知。通过视觉图像采集
识别出手势语义主要基于深度相机和光学相机；通过手指关节弯曲获取手势信息主要依赖
数据手套。相机易受环境光影响，数据手套不易于穿戴且有传感器漂移。结合两种通道的信
息可以弥补一定的缺陷。

可穿戴设备是物联网时代下的产物，其采用独立操作系统，由人体佩戴、实现智能
的持续交互。可穿戴设备与人体的结合，广泛应用于医疗、健康、娱乐、运动中；通过这些设
备，人可以更好的感知外部与自身的信息。

随着半导体制造类工艺的快速发展，嵌入式智能系统功能越来越复杂，用户体验
不断提升，处理器功耗也大幅提升。对于移动嵌入式系统，续航特性尤其重要，低功耗特性
是嵌入式的发展趋势。目前而言，应用最广泛的降低功耗的方法主要是动态电源管理(DPM)
技术和动态调频(DFS)技术。动态电源管理技术是一种电源管理机制，它允许在系统运行时
动态管理电源，根据实际情况将不需要的或者部分使用的组件电源关闭。嵌入式设备中的
处理器和存储器等部件是由CMOS电路构成，所需要的功耗同CMOS开关频率、供电电压成正
比。在CPU运行过程中，CPU负载是不断变化的，在负载小时适当降低CPU工作频率，负载大时
相应提高工作频率，可以动态调节功耗。结合两种功耗管理技术，根据系统的运行状况调整
硬件工作状态，可以合理降低功耗。

如果系统一直以很高的帧率进行图像采集，会导致移动设备的功耗大大增加，减
少移动设备的续航时间。在手势运动较慢时，手势的移动相对范围小，相似度较高，此时可
以降低采样帧率，不仅可以降低采样消耗功率，而且可以减少计算量从而降低功率。通常而
言，根据图像之间的计算判断手势移动的快慢会带来较大的计算量，从而带来较大的功耗。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提出一种低功耗手势交互
系统，是一种同时获取视觉信号与运动信号的双通道采集装置，为充分延长设备续航性，通
过运动传感器获取的加速度来调节图像采样帧率降低功耗，同时根据加速度判定设备运动
状态。这种方法相比通过图像之间的计算来判定运动状态来说计算量要少很多，功耗更低。

本发明为实现上述应用，采用以下技术方案：一种低功耗手势交互系统，包括处理
器、图像传感器、加速度计、存储器、无线蓝牙射频模块和移动终端；所述两个传感器(加速
度计和图像传感器)分别与处理器相连，处理器分别与存储器、无线蓝牙射频模块相连。图
像传感器获取手势图像数据，处理器通过图像传感器获取手势图像数据，对手势进行识别，
识别结果存储于存储器，并通过无线蓝牙射频模块发送到移动终端，实现交互。同时，加速
度计获取手势运动数据中的加速度，处理器根据加速度信息调节图像采集帧率，由此实现
功耗控制。

进一步地，所述处理器通过以下方法调节图像传感器的采集帧率：

(1)分离重力加速度，得到手部由于运动引起的加速度合成

g_x＝g·sinρ (1)

g_y＝g·sinγ·cosρ (2)

式中a_x、a_y、a_z是加速度计输出的由重力加速度分量和由于运动引起的线性加速度
分量合成，g_x、g_y、g_z分别为静态重力加速度在加速度计三轴方向的分量，ρ、γ分别是手部俯
仰角和横滚角，是手部运动引起的三轴加速度分量，是手部运动引起的加速
度合成值。

(2)获得运动加速度后，可通过下式得到手部的运动速度：

其中，V_t为t时刻装置运动方向速度，V_t0为t₀时刻装置手部运动方向速度。

(3)图像传感器系统采样帧率f＝15+σ·V_t，σ为常量系数，取σ为50。

进一步地，所述系统还包括陀螺仪，陀螺仪获取手势运动数据中的角速度，处理器
根据角速度信息调节系统的工作模式(包括运行、空闲和休眠)，所述运行模式为正常模式，
其功耗不进行额外节制；所述空闲模式为低功耗模式，其功耗有部分降低；所述休眠模式为
超低功耗模式，其功耗远低于前两者，此时系统等待唤醒，具体为：通过运动传感器中三轴
陀螺仪获取三轴角速度，任意一轴角速度都小于0.05度/秒超过3秒时，使得系统进入空闲
模式；保持空闲模式30s后，控制系统进入休眠模式；否则系统处于运行模式。

所述的工作模式的智能切换，其特征在于：

(1)所述运行模式为：处理器处于全速运行状态，工作频率为最高频率，处理器所
需外围接口皆处于工作状态，图像传感器以30帧每秒进行采集，无线蓝牙将识别结果实时
传输至移动终端、存储器实时存储识别数据。

(2)所述空闲模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度
计和陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器继续
采集运动数据并发送给处理器进行识别，以识别后续的工作模式。

(3)所述休眠模式为：处理器降低工作频率，仅用于满足运动传感器需求(加速度
计和陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器每隔
3s采集运动数据。

采用以上技术方案实现的应用具有以下特点：

1、利于穿戴：采集视觉信号和运动信号的可穿戴式设备穿戴方便，辅助LED可获取
光质较好的视觉信号，同时运动信号可辅助手势识别以及低功耗模式识别。

2、低功耗：功耗优化为系统集成优化，所用组件都是低功耗器件，传输方式采用低
功耗蓝牙传输，通过运动信号进行图像采集帧率调节和节能模式识别，这种方法比直接利
用图像之间的计算来判别，具有更小的计算量，从而降低功耗。

3、独立单元：系统性能强大，在本地节点进行识别计算，移植性强，可兼容任何平
台。

附图说明

图1系统应用框图；

图2控制器架构框图；

图3低功耗状态转移图。

具体实施方式

下面结合附图和具体实例对本发明的实施做具体描述：

本发明公开了一种低功耗手势交互系统，其应用场景说明如图1所示，所述系统适
用于面向手势语义的人机交互领域中，如教育、体育、娱乐等，具体应用场景如智能终端PPT
演示、远程遥控、沉浸式体感游戏等，都可将本发明装置融入其中。本发明装置所无线连接
的终端可以是PC、Pad、手机等智能终端设备。

本发明装置的组成框图如图2所示。当使用者将运动传感器(加速度计和陀螺仪)
穿戴在手腕上后，开启设备。设备自动进入初始化状态，通过无线蓝牙与智能终端建立稳定
的连接。初始化成功后，进入运行状态。图像传感器获取手势图像数据，处理器通过图像传
感器获取手势图像数据，对手势进行识别，识别结果存储于存储器，并通过无线蓝牙射频模
块发送到移动终端，移动终端根据手势语义进行结果呈现。

低功耗智能调节方法是本发明的核心。所述的低功耗智能调节方法基于运动信
号，加速度计获取手势运动数据中的加速度，通过无线、蓝牙等方式发送给处理器，处理器
根据加速度信息调节图像采集帧率，由此实现功耗控制，具体如下：

(1)分离重力加速度，得到手部由于运动引起的加速度合成

g_x＝g·sinρ (1)

g_y＝g·sinγ·cosρ (2)

式中a_x、a_y、a_z是加速度计输出的由重力加速度分量和由于运动引起的线性加速度
分量合成，g_x、g_y、g_z分别为静态重力加速度在加速度计三轴方向的分量，ρ、γ分别是手部俯
仰角和横滚角，是手部运动引起的三轴加速度分量，是手部运动引起的加速
度合成值。

(2)获得运动加速度后，可通过下式得到手部的运动速度：

其中，V_t为t时刻装置运动方向速度，V_t0为t₀时刻装置手部运动方向速度。

(3)图像传感器系统采样帧率f＝15+σ·V_t，σ为常量系数，取σ为50。

例如，假设图像采集器的最低采样帧率15Hz，最高帧率60Hz，采当V_t为0.1m/s时，
采样频率为20Hz；当V_t为0.9m/s时，采样频率为60Hz；当V_t>0.9m/s时，采样频率已到最高频
率，不再增加。

此外，陀螺仪获取手势运动数据中的角速度，通过无线、蓝牙等方式发送给处理
器，处理器根据角速度信息调节系统的工作模式(包括运行、空闲和休眠)，所述运行模式为
正常模式，其功耗不进行额外节制；所述空闲模式为低功耗模式，其功耗有部分降低；所述
休眠模式为超低功耗模式，其功耗远低于前两者，此时系统等待唤醒，其中，空闲模式和休
眠模式分别是低功耗状态和超低功耗状态。系统运行状态转移图如图3所示。调节方法具体
为：通过运动传感器中三轴陀螺仪获取三轴角速度，任意一轴角速度都小于0.05度/秒超过
3秒时，使得系统进入空闲模式；保持空闲模式30s后，控制系统进入休眠模式；否则系统处
于运行模式。

手势交互时，处理器处于全速运行状态，处理器处于全速运行状态，工作频率为最
高频率，处理器所需外围接口皆处于工作状态，图像传感器以30帧每秒进行采集，无线蓝牙
将识别结果实时传输至移动终端、存储器实时存储识别数据。

当使用者不进行手势交互或将控制器取下闲置时，通过运动数据初步判定系统为
静止状态，系统自动切换至空闲模式。此时处理器降低工作频率，仅用于满足运动传感器需
求(加速度计和陀螺仪)；图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动
传感器继续采集运动数据并发送给处理器进行识别，以识别后续的工作模式。

在进入空闲模式后30s之内，如果使用者重新进行手势交互，系统会检测到运动状
态并快速唤醒回到运行状态，几乎没有滞后性；如果30s后仍然处于静止，则系统自动切换
至休眠模式。此时处理器降低工作频率，仅用于满足运动传感器需求(加速度计和陀螺仪)；
图像传感器停止采集，无线蓝牙停止传输，存储器停止存储。运动传感器每隔3s采集运动数
据，装置一旦运动就唤醒整个系统所有组件。由于无线蓝牙只是处于休眠状态，唤醒无需重
新与移动终端建立新的连接；其他组件的唤醒需比空闲模式下花耗更多的时间。唤醒后，系
统自动切换到了运行模式全速运行。整个唤醒过程大约需80ms，几乎不影响交互实时性。

本发明所涉及的采样帧率调节和模式切换全为智能自动，无需人为干预，由系统
软件控制系统硬件。以上描述了本发明的具体实施方式，但是本发明并不限于上述实施方
式，对于本领域的技术人员来说，本发明可以有各种更改和变化以适应不同的应用场景和
需求。