《仿人形义肢的脑电语音控制系统及工作方法.pdf》由会员分享，可在线阅读，更多相关《仿人形义肢的脑电语音控制系统及工作方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 101947152 A (43)申请公布日 2011.01.19 CN 101947152 A *CN101947152A* (21)申请号 201010280510.0 (22)申请日 2010.09.11 A61F 2/72(2006.01) (71)申请人 山东科技大学 地址 266510 山东省青岛市经济技术开发区 前湾港路 579 号山东科技大学 (72)发明人 王传江 樊炳辉 孙爱芹 李可永 贾朝川 杨婷 江浩 张志献 徐文尚 (54) 发明名称 仿人形义肢的脑电 - 语音控制系统及工作方 法 (57) 摘要 本发明公开了一种仿人形义肢的脑电 - 语音 控。
2、制系统及工作方法， 它由脑电信号采集与识别 装置、 语音信号采集与识别装置、 随机目标实时定 位装置和控制装置四部分组成。由脑电信号采集 与识别装置来实现脑电信号的采集与处理 ； 由语 音信号采集与识别装置来实现对语音信号的采集 与处理 ； 由随机目标实时定位装置来实现对随机 目标的实时定位 ； 由控制装置负责接收到脑电信 号采集与识别装置、 语音信号采集与识别装置或 手动按键的任务指令并执行之。本发明在仿人形 义肢上引入了机器人控制原理， 通过脑电信号、 语 音信号或手动按键多种方式来控制多自由度仿人 形义肢。这样， 佩戴者就可通过脑电、 语言或按键 方式发出任务指令， 方便地使义肢执行不同。
3、的工 作任务。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 2 页 CN 101947152 A1/2 页 2 1. 一种仿人形义肢脑电 - 语音控制系统， 其特征在于， 它由脑电信号采集与识别装置、 语音信号采集与识别装置、 随机目标实时定位装置和控制装置四部分组成 ； 其中 ： 所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成 ； 该装 置由多个传感器探头构成的电极帽、 放大滤波电路、 模数转换电路、 存储单元、 通信接口和 信息分析模块组成 ； 电极帽佩戴在使用者头部， 采集大脑皮层脑电。
4、信号， 信息分析模块接受 通信接口传来的脑电信号经过分析与处理， 输出义肢系统执行不同任务的脑电操作指令 ； 所述的语音信号采集与识别装置由拾音器、 滤波放大电路、 模数转换电路、 存储单元、 通信接口、 信息分析模块及单片机组成， 用于采集、 处理人的语音信号， 输出义肢系统执行 不同任务的语音操作指令 ； 所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传感器、 激光测距传感器和规划机组成 ； 在规划机中包含目标定位计算程序模块、 义肢关节空间参 数求解程序模块和一个轨迹规划程序模块， 用于对佩戴者头部的空间姿态相对于义肢基础 姿态的变化情况进行检测， 对随机目标进行距离。
5、检测， 给控制装置指定目标位置， 求解义肢 关节空间参数并提供义肢空间路径规划信息 ； 所述的控制装置由 MCU 系统单元、 数据存储单元、 控制信号放大输出驱动单元和关节 反馈信号采集单元构成， 用于采集按键信号、 脑电信号、 语音信号， 并根据不同的控制指令 模式， 确定是否与随机目标实时定位装置进行通讯， 实现相应的控制任务。 2.如权利要求1所述的仿人形义肢脑电-语音控制系统的工作方法， 其特征在于， 它包 括以下工作步骤 ： 第一、 脑电信号的采集与处理 脑电信号的采集与处理工作主要由脑电信号采集与识别装置来实现 ； 脑电信号采集时， 电极帽上的多个传感器探头分别从大脑的不同区域获得。
6、大脑皮层的 脑电信号， 经过放大滤波处理后输入到单片机的模数转换口， 经过模数转换后存储到存储 单元中， 并通过通信接口发送到脑电信号处理部分 ； 脑电信号的参考电位可选择头顶、 耳垂或额头处的信号， 同时， 为了消除眨眼动作造成 的眼部周围肌电信号的影响， 使用双极导联法采集水平眼电与垂直眼电信号 ； 脑电信号处理时， 采集脑电信号的单片机基于计算机的软件平台， 通过对脑电信号采 集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析， 对窗口内数据 首先进行拉普拉斯滤波和 8-30Hz 带通滤波， 再利用小波分解和共同空间模式相结合的时 空特征提取方法和径向基神经网络分别进行模式。
7、识别， 得到各中间分类结果， 将各中间分 类结果进行加权平均， 得到佩戴者所发出指令的最终识别模式， 对仿人形义肢执行不同任 务的控制模式编号， 和脑电信号指令的输出 ； 第二、 语音信号的采集与处理 对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现 ； 采集分两个阶段， 在训练阶段， 拾音器采集人的语音信号并传送到语音处理芯片， 语音 信号经反混叠滤波和预加重处理及 AD 转换后送到 MPU， MPU 将语音信号加窗分帧后通过双 门限端点检测方法计算出语音信号的端点， 并从端点处开始通过提取梅尔倒谱系数， 从而 获得其特征参数矢量并保存为样本模板 ； 按照此方法， 对一条指令进行。
8、多次训练， 获得一个 样本集合 ； 通过对多自由度义肢上肢的多条不同语音指令信号的特征参数矢量进行提取构 权 利 要 求 书 CN 101947152 A2/2 页 3 成一个样本模板库 ； 在工作阶段， 同样通过上述语音指令信号特征提取方法计算得到待识 别语音的特征参数矢量 ； 在处理阶段， MPU 处理器将语音采集部分计算得到的待识别语音的特征参数矢量， 通过 动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较， 并计 算出待识别语音特征参数矢量与模板库中各特征参数矢量之间的欧式距离， 其中欧式距离 较小者即为识别出的指令模式， 对仿人形义肢执行不同任务的控制模式编号。
9、， 输出该指令 模式 ； 第三、 随机目标的实时定位 对随机目标的实时定位功能主要由随机目标实时定位装置来实现 ； 安装在佩戴者头部和义肢上的两个三维姿态传感器， 对佩戴者头部的空间姿态相对于 义肢基础姿态的变化情况进行检测， 并利用激光测距传感器对随机目标进行距离检测， 再 通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演， 并计算出随机 操作目标相对于多自由度义肢上肢操作空间的三维定位值 ； 多自由度义肢关节空间参数求解模型， 利用人工神经网络对不完整信息独特的参数映 射能力、 快速并行信息处理能力和多输入多输出的非线性特性， 经过有监督训练法训练而 得到的一种人工神经网络。
10、模型 ； 每当获得随机工作目标在操作空间的三维定位值时， 将三 维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入， 得到网络输出的 各关节的求解值 ； 轨迹规划模块， 根据任务的不同， 对不同的示教再现任务或随机目标操作任务进行轨 迹规划， 并将完成的轨迹规划信息通过通讯接口发送给控制装置， 在控制装置的输出控制 作用下， 义肢手部按所规划好的空间路径与时间， 达到指定的目标位置 ； 第四、 对义肢动作的控制 控制装置负责接收到脑电信号采集与识别装置、 语音信号采集与识别装置或手动按键 的任务指令并执行之。 这些任务包括工停止运动、 对义肢进行单关节控制、 示教再现控制以 及对随。
11、机目标操作控制等 ； 其中 ： 在单关节控制模式下， 控制装置根据语音命令或手动按键方式来实现对义肢相应关节 的单独控制 ； 在示教再现控制模式下， 控制装置根据脑电命令、 语音命令或手动按键方式控制义肢 以要求的速度与姿态到达指定的各目标点， 在这个过程中， 控制装置根据已经保存的目标 点信息， 通过与随机目标实时定位装置通讯， 采用轨迹规划算法获得示教轨迹的路径规划 信息， 控制各关节实现合成运动， 在设计的时间内稳定可靠地移动义肢， 再现示教结果 ； 在对随机目标操作控制模式下， 控制装置根据脑电命令、 语音命令或手动按键方式来 实现对义肢的操作控制， 首先通过随机目标实时定位装置获得随。
12、机目标相对义肢基础坐标 系的三维空间位置， 求解义肢关节空间参数， 并对其作出轨迹规划 ； 控制装置接收到来自随 机目标实时定位装置的控制信息来执行输出控制， 同时将实时采集到的各关节位置、 速度 等反馈信号发送给随机目标实时定位装置， 以达到随时检测并控制义肢手部运动位置与速 度的目的。 权 利 要 求 书 CN 101947152 A1/5 页 4 仿人形义肢的脑电 - 语音控制系统及工作方法 技术领域 0001 本发明涉及仿生机器人的控制技术领域， 尤其是一种仿人形多自由度义肢 ( 上 肢 ) 的控制系统及控制方法。 背景技术 0002 目前， 仿人形义肢 ( 上肢 ) 在市场上已有产品。
13、出售， 纵观这些国内外产品， 对用于 “肩离断” 肢体残疾人的义肢来说， 多数只是起到弥补肢体残缺的装饰作用， 没有肢体动作 的功能。虽然现在有很少的可操控的少自由度义肢， 但是对它们的控制大都是通过人体某 部位的肌电信号进行控制。在采用肌电控制义肢的场合， 往往不可避免地要采用串行作业 控制方式， 即 ： 一个关节动过以后， 另外一个关节才能动作。这样的控制方式完全不符合人 们正常的操作习惯， 这样控制的自由度数量越多， 串行作业花费的时间越冗长， 控制困难也 越大。 串行作业方法对多自由度义肢的控制显得力不从心， 最终被佩戴试用者所摈弃， 无推 广应用价值。 0003 目前尚没有用脑电 -。
14、 语音混合控制方式、 借助机器人控制的原理来进行仿人形义 肢 ( 上肢 ) 控制方法的先例。 发明内容 0004 本发明的目的是克服仿人形义肢 ( 上肢 ) 用肌电信号控制的不足， 发明一种仿人 形义肢脑电 - 语音控制系统及工作方法。 0005 一、 一种仿人形义肢脑电 - 语音控制系统， 它由脑电信号采集与识别装置、 语音信 号采集与识别装置、 随机目标实时定位装置和控制装置四部分组成 ； 0006 所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成 ； 该装置由多个传感器探头构成的电极帽、 放大滤波电路、 模数转换电路、 存储单元、 通信接 口、 信息分析模块等组成。电。
15、极帽佩戴在使用者头部， 采集大脑皮层脑电信号， 信息分析模 块接受通信接口传来的脑电信号经过分析与处理， 输出义肢系统执行不同任务的脑电操作 指令 ； 0007 所述的语音信号采集与识别装置由拾音器、 滤波放大电路、 模数转换电路、 存储单 元、 通信接口、 信息分析模块及单片机等组成。 用于采集、 处理人的语音信号， 输出义肢系统 执行不同任务的语音操作指令 ； 0008 所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传 感器、 激光测距传感器和规划机组成。 在规划机中包含目标定位计算程序模块、 义肢关节空 间参数求解程序模块和一个轨迹规划程序模块， 用于对佩戴者头部的空。
16、间姿态相对于义肢 基础姿态的变化情况进行检测， 对随机目标进行距离检测， 给控制装置指定目标位置， 求解 义肢关节空间参数并提供义肢空间路径规划信息。 0009 所述的控制装置由 MCU 系统单元、 数据存储单元、 控制信号放大输出驱动单元和 关节反馈信号采集单元构成， 用于采集按键信号、 脑电信号、 语音信号， 并根据不同的控制 说 明 书 CN 101947152 A2/5 页 5 指令模式， 确定是否与随机目标实时定位装置进行通讯， 实现相应的控制任务。 0010 二、 上述仿人形义肢脑电 - 语音控制系统的工作方法是 ： 0011 第一、 脑电信号的采集与处理 0012 脑电信号的采集。
17、与处理工作主要由脑电信号采集与识别装置来实现。 0013 脑电信号采集时， 电极帽上的多个传感器探头分别从大脑的不同区域获得大脑皮 层的脑电信号， 经过放大滤波处理后输入到单片机的模数转换口， 经过模数转换后存储到 存储单元中， 并通过通信接口发送到脑电信号处理部分 ； 0014 脑电信号的参考电位可选择头顶、 耳垂或额头等处的信号， 同时， 为了消除眨眼动 作造成的眼部周围肌电信号的影响， 使用双极导联法采集水平眼电与垂直眼电信号。 0015 脑电信号处理时， 采集脑电信号的单片机基于计算机的软件平台， 通过对脑电信 号采集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析， 对。
18、窗口内 数据首先进行拉普拉斯滤波和 8-30Hz 带通滤波， 再利用小波分解和共同空间模式相结合 的时空特征提取方法和径向基神经网络分别进行模式识别， 得到各中间分类结果， 将各中 间分类结果进行加权平均， 得到佩戴者所发出指令的最终识别模式， 对仿人形义肢执行不 同任务的控制模式编号， 和脑电信号指令的输出。 0016 第二、 语音信号的采集与处理 0017 对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现。 0018 采集分两个阶段， 在训练阶段， 拾音器采集人的语音信号并传送到语音处理芯片， 语音信号经反混叠滤波和预加重处理及 AD 转换后送到 MPU， MPU 将语音信号加。
19、窗分帧后通 过双门限端点检测方法计算出语音信号的端点， 并从端点处开始通过提取梅尔倒谱系数， 从而获得其特征参数矢量并保存为样本模板 ； 按照此方法， 对一条指令进行多次训练， 获得 一个样本集合 ； 通过对多自由度义肢 ( 上肢 ) 的多条不同语音指令信号的特征参数矢量进 行提取构成一个样本模板库 ； 在工作阶段， 同样通过上述语音指令信号特征提取方法计算 得到待识别语音的特征参数矢量 ； 0019 在处理阶段， MPU 处理器将语音采集部分计算得到的待识别语音的特征参数矢量， 通过动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较， 并计算出待识别语音特征参数矢量与模。
20、板库中各特征参数矢量之间的欧式距离， 其中欧式 距离较小者即为识别出的指令模式， 对仿人形义肢执行不同任务的控制模式编号， 输出该 指令模式。 0020 第三、 随机目标的实时定位 0021 对随机目标的实时定位功能主要由随机目标实时定位装置来实现。 0022 安装在佩戴者头部和义肢上的两个三维姿态传感器， 对佩戴者头部的空间姿态相 对于义肢基础姿态的变化情况进行检测， 并利用激光测距传感器对随机目标进行距离检 测， 再通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演， 并计算 出随机操作目标相对于多自由度义肢 ( 上肢 ) 操作空间的三维定位值 ； 0023 多自由度义肢关节。
21、空间参数求解模型， 利用人工神经网络对不完整信息独特的参 数映射能力、 快速并行信息处理能力和多输入多输出的非线性特性， 经过 “有监督训练法” 训练而得到的一种人工神经网络模型 ； 每当获得随机工作目标在操作空间的三维定位值 时， 将三维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入， 得到网 说 明 书 CN 101947152 A3/5 页 6 络输出的各关节的求解值 ； 0024 轨迹规划模块， 根据任务的不同， 对不同的 “示敎再现” 任务或 “随机目标” 操作任 务进行轨迹规划， 并将完成的轨迹规划信息通过通讯接口发送给控制装置， 在控制装置的 输出控制作用下， 义肢。
22、手部按所规划好的空间路径与时间， 达到指定的目标位置。 0025 第四、 对义肢动作的控制 0026 控制装置负责接收到脑电信号采集与识别装置、 语音信号采集与识别装置或手动 按键的任务指令并执行之。 这些任务包括工停止运动、 对义肢进行单关节控制、 示教再现控 制以及对随机目标操作控制等。其中 ： 0027 在单关节控制模式下，“控制装置” 可以根据 “语音命令” 或手动按键方式来实现对 义肢相应关节的单独控制 ； 0028 在示教再现控制模式下，“控制装置” 可以根据 “脑电命令” 、“语音命令” 或手动按 键方式控制义肢以要求的速度与姿态到达指定的各目标点， 在这个过程中， 控制装置根据。
23、 已经保存的目标点信息， 通过与 “随机目标实时定位装置” 通讯， 采用轨迹规划算法获得示 教轨迹的路径规划信息， 控制各关节实现合成运动， 在设计的时间内稳定可靠地移动义肢， 再现示教结果 ； 0029 在对随机目标操作控制模式下， 控制装置根据脑电命令、 语音命令或手动按键方 式来实现对义肢的操作控制， 首先通过随机目标实时定位装置获得随机目标相对义肢基础 坐标系的三维空间位置， 求解义肢关节空间参数， 并对其作出轨迹规划 ； 控制装置接收到来 自随机目标实时定位装置的控制信息来执行输出控制， 同时将实时采集到的各关节位置、 速度等反馈信号发送给随机目标实时定位装置， 以达到随时检测并控制。
24、义肢手部运动位置 与速度的目的。 0030 本发明的积极效果是， 在多自由度义肢(上肢)控制上引入了机器人控制的原理， 通过脑电信号、 语音信号或手动按键多种方式来控制多自由度仿人形义肢 ( 上肢 )。这样， 佩戴者就可以通过脑电、 语言或按键方式发出任务指令， 方便地使义肢执行不同的工作任 务。 附图说明 0031 图 1 为本发明的一种整体结构工作原理图 ； 0032 图 2 为 “脑电信号采集与识别装置” 的工作流程图 ； 0033 图 3 为 “语音信号采集与识别装置” 的工作流程图 ； 0034 图 4 为 “随机目标实时定位装置” 的工作流程图。 具体实施方式 0035 一种仿人形。
25、义肢脑电 - 语音控制系统， 如图 1 中虚线框中的框图所示。它由脑电 信号采集与识别装置、 语音信号采集与识别装置、 随机目标实时定位装置、 控制装置四部分 组成。 0036 本控制系统的工作有以下内容 ： 0037 (1) 控制系统可任意选择采用脑电、 语音或按键工作模式实现对义肢发出 “指令” 。 0038 (2) 对义肢的任务指令划分四类， 第一类是停止运动指令， 第二类为目标位置确定 说 明 书 CN 101947152 A4/5 页 7 的示教再现动作指令， 第三类为单关节动作指令， 第四类为对随机目标的操作指令。 0039 (3) 对四类各种指令， 我们可分别以不同的 “控制模式。
26、编号” 与之对应。 0040 一种情况可如表 1 所示 ： 0041 表 1 ： 指令与编号 0042 0043 0044 这样， 无论是采用脑电信号、 语音信号或按键方式发出任务指令， 其相应的信号识 别部分都会将其识别出的 “指令” 按照表 1 中的对应关系转变为 “控制模式编号” ， 并将该 说 明 书 CN 101947152 A5/5 页 8 “控制模式编号” 传送给 “控制装置” 。 0045 当 “控制模式编号” 对应的是 “示教再现” 任务中的某一个时， 如 ： 示教位置 1，“控 制装置” 将由 “随机目标实时定位装置” 中的轨迹规划程序模块获得该任务的轨迹规划信 息， 再由。
27、 “控制装置” 按照该任务的轨迹规划信息控制义肢系统执行要求的任务。 0046 当 “控制模式编号” 对应的是 “随机目标操作” 以外的其它任务时，“控制装置” 将 直接控制义肢系统执行相应的任务， 如， 停止运动、 驱动义肢各关节电机转动等。 0047 (4) 对第四类任务指令 “随机目标操作” 的执行过程是 ： 当用脑电信号、 语音信号 或按键方式发出表 1 所列的 “随机目标操作” 指令时，“随机目标实时定位装置” 中各工作元 件与程序模块， 如激光测距传感器、 两个姿态传感器、 目标定位计算程序、 义肢关节空间求 解程序、 轨迹规划程序等便进入工作状态。义肢佩戴者调整头部姿态将激光传感。
28、器光束投 射到目标上。由激光测距传感器检测出目标的距离值， 由两个姿态传感器检测出头部姿态 相对义肢基础坐标系的姿态变化。将所检测值代入 “目标定位” 程序模块， 计算出目标在义 肢基础坐标系中的三维空间位置。再进入义肢关节空间求解程序， 反求出义肢各关节应该 移动的量。然后由轨迹规划程序， 完成对义肢运动轨迹的计算。最后将义肢轨迹规划信息 传送给 “控制装置” ， 由 “控制装置” 按照轨迹规划信息控制义肢系统执行要求的任务。 “随 机目标实时定位装置” 的工作流程如图 4 所示。 0048 (5) 实际运动与想象运动都会产生脑电波同步活动的升高或降低 (ERS/ERD)， 特 定运动产生的。
29、 ERS/ERD 在感觉运动皮层具有特定的空间分布。本发明的 “脑电信号采集与 识别装置” 在 “脑电” 工作模式下根据这一现象来实现对不同任务 “指令” 的识别。 0049 在此， 我们将 “左臂运动” 、“右臂运动” 、“左手开合” 、“右手开合” 、“左脚运动” 、“右 脚运动” 等 6 个 “想象动作” 分别对应表 1 中的 “停止运动” 、“示教位置 1” 、“示教位置 2” 、 “示教位置 3” 、“示教位置 4” 、“随机目标操作” 等 6 种 “指令” 模式。每当需要义肢执行其 中某种 “指令” 任务时， 佩戴者脑中就自主呈现相应的 “想象动作” ，“脑电信号采集与识别装 置”。
30、 进行工作， 将 “想象动作” 识别成相应的 “控制模式编号” ， 输出给 “控制装置” 。 “脑电信 号采集与识别装置” 的工作流程如图 2 所示。 0050 通过实验证明， 采用以 6 个 “想象动作” 与 6 种任务 “指令” 模式相匹配的方式， 对 任务 “指令” 模式进行识别， 其识别正确率可达 80 92。 0051 (6) 在 “语音” 工作模式下， 佩戴者直接用语言发出任务指令， 该语言 “指令” 与表 1 中的每个任务 “指令” 词句完全一致。当佩戴者需要执行某种任务时， 可以口述任务 “指 令” ，“语音信号采集与识别装置” 进行工作， 将该任务识别成相应的 “控制模式编号。
31、” ， 输出 给 “控制装置” 。 “语言信号采集与识别装置” 的工作流程如图 3 所示。 0052 (7)“控制装置” 接收来自 “脑电信号采集与识别装置” 、“语音信号采集与识别装 置” 或手动按键的 “控制模式编号” 信息，“控制装置” 根据接收到的 “控制模式编号” 来区别 四类不同的任务指令， 执行相应的任务 ： 或执行停止运动， 或进行单关节单独控制， 或进行 示教再现控制， 或对随机目标实现操作控制。 0053 本发明说明书中未详细描述的内容属于本领域专业技术人员公知的现有技术或 理论。 说 明 书 CN 101947152 A1/2 页 9 图 1 图 2 图 3 说 明 书 附 图 CN 101947152 A2/2 页 10 图 4 说 明 书 附 图 。