《智能认知机器人及其认知系统.pdf》由会员分享，可在线阅读，更多相关《智能认知机器人及其认知系统.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201410660457.5 (22)申请日 2014.11.17 B25J 11/00(2006.01) (71)申请人 福建省泉州市第七中学 地址 362000 福建省泉州市鲤城区天后路 40 号 (72)发明人 杨利 陈思鑫 王思一 (74)专利代理机构 泉州市文华专利代理有限公 司 35205 代理人 车世伟 (54) 发明名称 智能认知机器人及其认知系统 (57) 摘要 本发明公开一种智能认知机器人的认知系 统， 包括 ： 理解模块和情感模块， 理解模块包括声 音理解模块， 视觉理解模块， 触觉理解模块 ； 情感 模块包括声音情。
2、感认知模块、 表情情感认知模块 和触觉情感认知模块， 以确定外界发令的情感权 值， 情感模块根据情感权值对应调取声音数据库、 表情数据库和 / 或行为模式数据库中的信息并控 制对应的执行件作出带有情感的应答反应。本发 明还公开一种采用上述认知系统的智能认知机器 人。本发明通过声音、 图像和触觉， 对外界发令做 出相应的反应， 不仅可以与外界发令产生一问一 答式的互动， 机器人的头颈部、 四肢和 / 或躯干还 能根据外界发令的情感权值回应带有感情色彩的 动作、 发声。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书5页 附图1页 (10。
3、)申请公布号 CN 104493827 A (43)申请公布日 2015.04.08 CN 104493827 A 1/1 页 2 1.一种智能认知机器人的认知系统， 其特征在于， 包括 ： 理解模块和情感模块， 理解模 块包括 ： 声音理解模块 ： 根据发令的声音， 通过分取词、 断句和声调， 理解发令的意图 ； 视觉理解模块 ： 根据发令的图像， 通过坐标定位、 灰度变换、 二值化、 轮廓描绘、 数据比 较和概率分析处理图像， 实现跟踪并理解发令的意图 ； 触觉理解模块 ： 根据发令外界施加于机器人的碰触的位置、 力度和方向， 实现跟踪并理 解发令的意图 ； 情感模块包括声音情感认知模块、。
4、 表情情感认知模块和触觉情感认知模块 ； 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对， 确定情感权 值， 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对， 确定情感权 值， 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对， 确定情 感权值， 根据情感权值对应调取声音数据库、 表情数据库和 / 或行为模式数据库中的信息并控 制对应的执行件作出带有情感的应答反应。 2.一种智能认知机器人， 其特征在于， 该机器人包括仿人形活动连接在一起的头部、 躯 干和四肢， 还包括认知系统， 认知系统包括理解模块和情感模块 ； 理解模块包括 ： 声音理解模。
5、块 ： 根据发令的声音， 通过分取词、 断句和声调， 理解发令的意图 ； 视觉理解模块 ： 根据发令的图像， 通过坐标定位、 灰度变换、 二值化、 轮廓描绘、 数据比 较和概率分析处理图像， 实现跟踪并理解发令的意图 ； 触觉理解模块 ： 根据发令外界施加于机器人的碰触的位置、 力度和方向， 实现跟踪并理 解发令的意图 ； 情感模块包括声音情感认知模块、 表情情感认知模块和触觉情感认知模块 ； 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对， 确定情感权 值， 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对， 确定情感权 值， 触觉情感认知模块将触觉理解模块的输。
6、出与行为模式数据库中存储信息比对， 确定情 感权值， 根据情感权值对应调取声音数据库、 表情数据库和 / 或行为模式数据库中的信息并控 制对应的语音播放单元、 机器人的头颈部、 四肢和 / 或躯干作出带有情感的应答反应。 权 利 要 求 书 CN 104493827 A 2 1/5 页 3 智能认知机器人及其认知系统 技术领域 0001 本发明涉及一种智能认知机器人， 特别是涉及一种能与外部环境互动的认知系 统。 背景技术 0002 随着科学技术的发展， 机器人已经走出实验室， 进入人们的生活当中。 虽然机器人 多种多样， 功能强大， 可以应用于各行各业， 如制造业， 服务业或其他特种行业。但。
7、是， 人机 交互中缺乏情感认知的互动模式。 发明内容 0003 有鉴于此， 本发明的目的在于提供一种智能认知机器人的认知系统， 能与外界发 令产生带有情感的应答反应。 0004 本发明的目的在于还提供一种智能认知机器人， 能与外界发令产生带有情感的应 答反应。 0005 为了达成上述目的， 本发明的解决方案是 ： 0006 一种智能认知机器人的认知系统， 包括 ： 理解模块和情感模块， 理解模块包括 ： 0007 声音理解模块 ： 根据发令的声音， 通过分取词、 断句和声调， 理解发令的意图 ； 0008 视觉理解模块 ： 根据发令的图像， 通过坐标定位、 灰度变换、 二值化、 轮廓描绘、 数。
8、 据比较和概率分析处理图像， 实现跟踪并理解发令的意图 ； 0009 触觉理解模块 ： 根据发令外界施加于机器人的碰触的位置、 力度和方向， 实现跟踪 并理解发令的意图 ； 0010 情感模块包括声音情感认知模块、 表情情感认知模块和触觉情感认知模块 ； 0011 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对， 确定情 感权值， 0012 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对， 确定情 感权值， 0013 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对， 确 定情感权值， 0014 根据情感权值对应调取声音数据库、 表情数据库和 。
9、/ 或行为模式数据库中的信息 并控制对应的执行件作出带有情感的应答反应。 0015 一种智能认知机器人， 该机器人包括仿人形活动连接在一起的头部、 躯干和四肢， 还包括认知系统， 认知系统包括理解模块和情感模块 ； 0016 理解模块包括 ： 0017 声音理解模块 ： 根据发令的声音， 通过分取词、 断句和声调， 理解发令的意图 ； 0018 视觉理解模块 ： 根据发令的图像， 通过坐标定位、 灰度变换、 二值化、 轮廓描绘、 数 据比较和概率分析处理图像， 实现跟踪并理解发令的意图 ； 说 明 书 CN 104493827 A 3 2/5 页 4 0019 触觉理解模块 ： 根据发令外界施。
10、加于机器人的碰触的位置、 力度和方向， 实现跟踪 并理解发令的意图 ； 0020 情感模块包括声音情感认知模块、 表情情感认知模块和触觉情感认知模块 ； 0021 声音情感认知模块将声音理解模块的输出与声音数据库中存储信息比对， 确定情 感权值， 0022 表情情感认知模块将视觉理解模块的输出与表情数据库中存储信息比对， 确定情 感权值， 0023 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对， 确 定情感权值， 0024 根据情感权值对应调取声音数据库、 表情数据库和 / 或行为模式数据库中的信息 并控制对应的语音播放单元、 机器人的头颈部、 四肢和 / 或躯干作出带有。
11、情感的应答反应。 0025 采用上述方案后， 本发明的智能认知机器人的认知系统具有以下有益效果 ： 通过 声音、 图像和触觉， 认知系统能对外界发令做出相应的反应， 与人产生互动式交流， 不仅可 以与外界发令产生一问一答式的互动， 还能控制机器人的执行件根据外界发令的情感权值 回应带有感情色彩的动作、 发声。 0026 采用上述方案后， 本发明的智能认知机器人具有以下有益效果 ： 机器人通过声音、 图像和触觉， 认知系统能对外界发令做出相应的反应， 与人产生互动式交流， 不仅可以与外 界发令产生一问一答式的互动， 机器人的头颈部、 四肢和 / 或躯干还能根据外界发令的情 感权值回应带有感情色彩。
12、的动作、 发声。 仿人形活动连接在一起的头部、 躯干和四肢构成机 器人， 其活动自由， 扩大了机器人的活动范围， 能更好地开发和扩展其它功能。 附图说明 0027 图 1 为本发明的结构示意图。 0028 图中 ： 0029 头部 1 眼睛 11 0030 鼻子 12 耳朵 13 0031 嘴吧 14 眉毛 15 0032 躯干 2 四肢 3 具体实施方式 0033 为了进一步解释本发明的技术方案， 下面通过具体实施例来对本发明进行详细阐 述。 0034 如图 1 所示， 本发明的智能认知机器人包括仿人形活动连接在一起的头部 1、 躯干 2 和四肢 3， 这些构成执行件。头部 1 通过颈部连接。
13、躯干 2， 颈部通过轴承等能自由旋转任 意角度的旋转件装配在躯干 2 上。头部也可通过具有阻尼功能的上述旋转件， 以能上下摆 动设定角度的方式装配在颈部上。这样， 头部 1 可以上下摆动、 左右旋转。头部上装配有拟 人的五官， 如眼睛 11、 鼻子 12、 耳朵 13 和嘴吧 14、 眉毛 15。头部 1、 头部 1 上的五官、 躯干 2 和四肢 3 分别通过对应的舵机驱动， 实现点头、 摇头、 动眉、 转眼睛、 张闭嘴、 支楞耳朵、 耷拉 耳朵、 行走、 伸屈臂、 摆臂等带情感的拟人动作。 说 明 书 CN 104493827 A 4 3/5 页 5 0035 本发明还包括认知系统， 认知系。
14、统控制上述执行件根据外界发令作出相应反应， 这里的发令即指令。认知系统包括理解模块和情感模块。外界发令可以是由发令人， 也可 以是设定好的音像播放器发出的声音、 图像、 动作等发令。 0036 理解模块包括声音理解模块、 视觉理解模块、 触觉理解模块和学习模块。 0037 声音理解模块通过麦克等录音终端接收外界发令人的语音、 语句、 音乐、 录音播放 等发令， 通过对发令进行分词、 取词、 断句和判断声调的升降变化， 理解上述发令的意图。 0038 中文分词的算法是基于词典与规则的方法， 将发令的汉字串与声音数据库中存储 的词条等信息进行一一匹配， 若在声音数据库中找到某个字符串， 则匹配成功。
15、。 取词是从左 向右取发令的汉语句的 m 个字符作为匹配字段， m 为声音数据库中最长词条个数。 0039 查找声音数据库并进行匹配， 若匹配成功， 则将这个匹配字段作为一个词切分出 来。若匹配不成功， 则将这个匹配字段的最后一个字去掉， 剩下的字符串作为新的匹配字 段， 进行再次匹配， 重复以上过程， 直到切分出所有词为止。 0040 发令中的关键词的取得是先在声音数据库中设立常用词汇的权重值， 经过权重比 较， 获得大概率的语意表达倾向。将关键词分配到声音数据库中预设的语境库里， 如吃饭、 休息、 外出、 回家、 娱乐、 问候、 旅游、 查询、 百科知识等的语境库， 语境库中的关键词匹配有。
16、 应答词句作为回答。当机器人根据关键词所对应的语境库， 查找与关键词相匹配的词语作 为回答， 从而与发令人产生互动。 0041 英文的分词、 取词、 断句和判断声调的升降变化， 理解语音的语意等与中文模式类 似， 在此不再赘述。 0042 另外， 可用微软中文语音SDK采集发令人的声音发令， 应用vb编程， 由串口数据指 令对应的单片机分析执行对应的发令。 0043 视觉理解模块通过头部装配的图像采集单元捕捉外界图像， 例如发令人的表情、 发令人出示的物品、 发令人手绘的图案、 外界音像终端播放的图像等。 视觉理解模块通过坐 标定位、 灰度变换、 二值化、 轮廓描绘、 数据比较和概率分析处理图。
17、像， 实现跟踪和理解发令 人的意图。另外， 图像采集单元可采用普通摄像头， 或者变焦摄像头， 这样可以适应不同远 近的识别需要。 0044 图像采集单元通过 ezVidC60.ocx 控件， 将采集的图像利用 VB 图像采集并储存图 像程序。 0045 图像处理如下 ： 首先， 对采集的图像首先坐标定位， 找到图像中数字位置所在。还 可在机器人上装配的或者外接的显示屏上手动调节， 有利于提高识别准确率。 其次， 根据公 式 Gray r0.39+g0.5+b0.11 对采集到的彩色图像的 RGB 值进行转换， 实现图像灰 度化。其中， Gray 为灰度值， r、 g、 b 分别为红色、 绿色和。
18、蓝色分量值。最后根据图像采集时 的环境光度， 调节阈值， 图像二值化。较佳地， 阈值设定在 145 左右， 能够适应大部分环境。 阈值的调节直接关系图像的识别。二值化之后的图像进行轮廓描绘。例如， 在数学算式识 别计算时， 视觉理解模块将采集到的手写数字图像自动分割成数块与声音数据库中存储的 数字、 逻辑运算符等进行对比， 通过概率分析识别出数字及逻辑运算符并进行计算。 0046 脸部表情图像处理如下 ： 通过人脸对光线的反光差异， 将捕捉到的脸部表情图像 进行二值化分析， 并指令机器人头部跟随该脸部转动。 0047 触觉理解模块通过机器人头部、 头部五官的传感器或者电信号的变化感受发令人 说。
19、 明 书 CN 104493827 A 5 4/5 页 6 的碰触动作， 通过该碰触的位置、 力度和方向理解发令人的意图。 0048 情感模块 ： 包括声音情感认知模块、 表情情感认知模块和触觉情感认知模块。 0049 声音情感认知模块将声音理解模块的输出与声音数据库中存储的语言信息比对， 确定情感权值。声音数据库中的词的情感权值设定为三类 ： 友好、 中性的不友好。如 “你好 啊” ，“我们来交朋友吧” 这类话的情感权值属友好。如 “我要走了” 、“请你让一下路” 这类话 的情感权值属中性。如 “你的脾气真坏” 、“不知所云” 这类情感权值属不友好。 0050 表情情感认知模块将视觉理解模块。
20、的输出与表情数据库中存储信息比对， 确定情 感权值。表情数据库中也将多种表面设定为三类 ： 友好、 中性的不友好。例如， 微笑、 大笑、 点头等的情感权值属友好， 皱眉、 嘴角下拉、 瞪眼等的情感权值属不友好， 正视、 没有笑容等 的情感权值属中性。 0051 触觉情感认知模块将触觉理解模块的输出与行为模式数据库中存储信息比对， 确 定情感权值。行为模式数据库中也将多种行为分为三类 ： 友好、 中性的不友好。例如拍肩 膀、 点鼻子、 拍巴掌、 摸头、 拉手、 招手等的情感权值属友好。 握拳头、 推搡等的情感权值属不 友好。背手、 立正、 稍息、 路过等的情感权值属中性。 0052 根据情感权值。
21、调取声音数据库、 表情数据库、 行为模式数据库中对应的信息， 向对 应的单片机发出指令， 指令包括角度和时间等信息 ； 该单片机根据指令控制对应的舵机， 该 舵机驱动对应的语音播放单元、 机器人的头颈部、 四肢和躯干等执行件分别动作， 即有选择 性地产生相应的动作来表达机器人的愉快、 沮丧、 活跃、 发呆等情绪， 使机器人产生对应的 主观动作。这样当机器人接收到友好的情感权值的信息时， 则发声问候、 扬起眉毛、 转动眼 睛、 张开嘴巴、 闭合嘴巴、 转动脑袋、 挥舞手臂等。 当机器人接收到不友好的情感权值的信息 时， 则转动脑袋、 耷拉耳朵、 或者说 “烦人、 不理你了” 等等。 0053 舵。
22、机是一种位置伺服的驱动器， 适用于那些需要角度不断变化并可以保持的控制 系统。其工作原理是 ： 控制信号由接收机的通道进入信号调制芯片， 获得直流偏置电压。它 内部有一个基准电路， 产生周期为 20ms， 宽度为 1.5ms 的基准信号， 将获得的直流偏置电压 与电位器的电压比较， 获得电压差输出。 最后， 电压差的正负输出到电机驱动芯片决定对应 的电机正反转。 当该电机转速一定时， 通过级联减速齿轮带动电位器旋转， 使得电压差为0， 该电机停止转动。 0054 单片机系统实现对舵机输出转角的控制， 先需完成两个任务 ： 首先是产生基本的 PWM 周期信号， 本发明产生 20ms 的周期信号 。
23、； 其次是脉宽的调整， 即单片机模拟 PWM 信号的 输出， 并且调整占空比。 本发明可采用金属齿轮舵机， 力矩达到13Kg/cm， 速度60度/秒， 控 制的精度 0.1 度， 控制范围 0-180 度。本发明利用单片机定时器 T0 和 T1 分别控制 16 路舵 机， 16 路舵机分别对应控制上述执行件的动作。 0055 当机器人接收到语音、 文字或者图像， 不能通过对应的声音数据库、 表情数据库、 行为模式数据库识别时， 可以通过学习模块将该语音、 文字或者图像存储到对应的声音数 据库、 表情数据库、 行为模式数据库中， 以备该语音、 文字或者图像重现时， 如前所述进行对 比分析。学习模。
24、块还可使机器人根据外界发令， 例如教学软件、 教学网络、 教师的授课来自 学， 机器人通过这种自学方式可丰富完善声音数据库、 表情数据库、 行为模式数据库。由于 机器人具备一定的学习能力， 可以在闲暇时余和机器人玩耍， 放松身心。 0056 另外， 本发明的机器人还可设定情景会话、 休闲、 计算等模式。 在情景会话模式下， 说 明 书 CN 104493827 A 6 5/5 页 7 机器人能够与发令人产生互动， 主要是根据情感模块确定的情感权值调取声音数据库、 表 情数据库和 / 或行为模式数据库中对应的信息并控制对应的语音播放单元、 机器人的头颈 部、 四肢和 / 或躯干动作。 0057 。
25、在休闲模式下， 机器人自主地行走、 自行播放音乐、 自主地活动头颈部、 四肢和 / 或躯干， 像宠物一样营造出一种温馨的家居气氛。 0058 在计算模式下， 机器人将外界运算式与声音数据库中的运算数据库中存储的数 字、 逻辑运算符等进行对比， 通过概率分析识别出数字及逻辑运算符并进行计算。 0059 本发明的机器人不仅可以与外界发令产生一问一答式的互动， 还能根据外界发令 的情感权值回应带有感情色彩的动作、 语言。例如愉快、 烦恼、 转动脑袋、 耷拉耳朵、 或者说 “烦人、 不理你了” ， 或者为发令人或者为自己加油 “太好了、 太棒了” ， 或者观察到外界环境 变化而发出提醒 “小心、 注意” 等等。 0060 本发明的机器人结构简单， 功能强大， 独特的学习模块可模拟婴儿的看图识字过 程， 为生活增添了许多乐趣， 进入千家万户， 为广大人民群众服务， 其应用前景更加广阔。 0061 上述实施例和附图并非限定本发明的产品形态和式样， 任何所属技术领域的普通 技术人员对其所做的适当变化或修饰， 皆应视为不脱离本发明的专利范畴。 说 明 书 CN 104493827 A 7 1/1 页 8 图 1 说 明 书 附 图 CN 104493827 A 8 。