控制方法、控制装置、穿戴式电子设备及电子设备.pdf

上传人:GAME****980 文档编号:1739145 上传时间:2018-07-08 格式:PDF 页数:20 大小:1.33MB
返回 下载 相关 举报
摘要
申请专利号:

CN201510083677.0

申请日:

2015.02.16

公开号:

CN104615252A

公开日:

2015.05.13

当前法律状态:

实审

有效性:

审中

法律详情:

实质审查的生效IPC(主分类):G06F 3/01申请日:20150216|||公开

IPC分类号:

G06F3/01; G06F3/16

主分类号:

G06F3/01

申请人:

联想(北京)有限公司

发明人:

武永贵

地址:

100085北京市海淀区上地信息产业基地创业路6号

优先权:

专利代理机构:

北京集佳知识产权代理有限公司11227

代理人:

王宝筠

PDF下载: PDF下载
内容摘要

本发明公开一种电子设备的控制方法,包括:检测到数据输出单元输出多媒体数据的情况下,获取图像采集单元采集到的电子设备使用者的面部图像;判断是否满足预设条件,该预设条件包括电子设备使用者的面部图像满足第一预设条件;基于判断结果,调整数据输出单元的输出参数或者调整多媒体数据的输出状态。本发明公开了一种新的控制电子设备运行过程的方式,并且相较于现有的按键控制方法,具备操作控制更加便捷的优势。本发明还公开了相应的控制装置,以及具有该控制装置的穿戴式电子设备和电子设备。

权利要求书

权利要求书
1.  一种控制方法,应用于电子设备,所述电子设备包括数据输出单元和 图像采集单元,其特征在于,所述控制方法包括:
检测到所述数据输出单元输出多媒体数据的情况下,获取所述图像采集 单元采集到的电子设备使用者的面部图像;
判断是否满足预设条件,所述预设条件包括所述电子设备使用者的面部 图像满足第一预设条件;
基于判断结果,调整所述数据输出单元的输出参数或者调整所述多媒体 数据的输出状态。

2.  根据权利要求1所述的控制方法,其特征在于,所述电子设备还包括 音频采集单元,在检测到所述数据输出单元输出多媒体数据的情况下,还包 括:获取所述音频采集单元采集到的音频信息;
所述判断是否满足预设条件,包括:判断所述电子设备使用者的面部图 像是否满足第一预设条件,及判断所述音频信息是否满足第二预设条件。

3.  根据权利要求1所述的控制方法,其特征在于,判断所述电子设备使 用者的面部图像是否满足第一预设条件,包括:
提取相差预设时间间隔的两帧面部图像的表情特征;
当所述两帧面部图像的表情特征之间的差值大于阈值时,确定所述电子 设备使用者的面部图像满足第一预设条件。

4.  根据权利要求1所述的控制方法,其特征在于,判断所述电子设备使 用者的面部图像是否满足第一预设条件,包括:
提取所述面部图像的表情特征;
将提取出的表情特征与预存的第一类表情样本模型进行匹配,获得置信 度;
在获得的置信度高于预设阈值的情况下,确定所述电子设备使用者的面 部图像满足第一预设条件。

5.  根据权利要求2、3或4所述的控制方法,其特征在于,判断所述音 频信息是否满足第二预设条件,包括:
对所述音频信息进行检测,提取所述音频信息中的语音信息;
分析所述语音信息,获取所述语音信息包含的词汇;
在所述词汇包含特定词汇的情况下,确定所述音频信息满足第二预设条 件。

6.  根据权利要求2、3或4所述的控制方法,其特征在于,判断所述音 频信息是否满足第二预设条件,包括:
对所述音频信息进行检测,提取所述音频信息中的语音信息;
提取所述语音信息的声纹特征;
比对所述语音信息的声纹特征和所述电子设备使用者的声纹特征;
在比对结果表明所述语音信息的声纹特征与所述电子设备使用者的声纹 特征匹配的情况下,确定所述音频信息满足第二预设条件。

7.  根据权利要求1或2所述的控制方法,其特征在于,所述数据输出单 元包括音频输出单元和显示单元;
所述调整所述数据输出单元的输出参数包括:在所述音频输出单元输出 音频数据的情况下,降低所述音频输出单元的输出音量。

8.  根据权利要求1或2所述的控制方法,其特征在于,所述数据输出单 元包括音频输出单元和显示单元;
所述调整所述多媒体数据的输出状态包括:暂停播放所述多媒体数据。

9.  根据权利要求1或2所述的控制方法,其特征在于,
在调整所述数据输出单元的输出参数之后,还包括:在预设时刻,如果 不满足所述预设条件,则恢复所述数据输出单元的输出参数;
在调整所述多媒体数据的输出状态之后,还包括:在预设时刻,如果不 满足所述预设条件,则恢复所述多媒体数据的输出状态。

10.  一种控制装置,应用于电子设备,所述电子设备包括数据输出单元 和图像采集单元,其特征在于,所述控制装置包括:
图像获取单元,用于在检测到所述数据输出单元输出多媒体数据的情况 下,获取所述图像采集单元采集到的电子设备使用者的面部图像;
判断单元,用于判断是否满足预设条件,所述预设条件包括所述电子设 备使用者的面部图像满足第一预设条件;
第一控制单元,用于基于判断结果,调整所述数据输出单元的输出参数 或者调整所述多媒体数据的输出状态。

11.  根据权利要求10所述的控制装置,其特征在于,所述电子设备还包 括音频采集单元,
所述控制装置还包括音频获取单元,所述音频获取单元用于在检测到所 述数据输出单元输出多媒体数据的情况下,获取所述音频采集单元采集到的 音频信息;
所述判断单元包括第一判断子单元和第二判断子单元,所述第一判断子 单元用于判断所述电子设备使用者的面部图像是否满足第一预设条件,所述 第二判断子单元用于判断所述音频信息是否满足第二预设条件。

12.  根据权利要求11所述的控制装置,其特征在于,所述第一判断子单 元包括:
第一表情特征提取模块,用于提取相差预设时间间隔的两帧面部图像的 表情特征;
第一处理模块,用于当所述两帧面部图像的表情特征之间的差值大于阈 值时,确定所述电子设备使用者的面部图像满足第一预设条件。

13.  根据权利要求11所述的控制装置,其特征在于,所述第一判断子单 元包括:
第二表情特征提取模块,用于提取所述面部图像的表情特征;
表情特征匹配模块,用于将提取出的表情特征与预存的第一类表情样本 模型进行匹配,获得置信度;
第二处理模块,用于在获得的置信度高于预设阈值的情况下,确定所述 电子设备使用者的面部图像满足第二预设条件。

14.  根据权利要求11、12或13所述的控制装置,其特征在于,所述第 二判断子单元包括:
语音信息提取模块,用于对所述音频信息进行检测,提取所述音频信息 中的语音信息;
语音分析模块,用于分析所述语音信息,获取所述语音信息包含的词汇;
第三处理模块,用于在所述词汇包含特定词汇的情况下,确定所述音频 信息满足第二预设条件。

15.  根据权利要求11、12或13所述的控制装置,其特征在于,所述第 二判断子单元包括:
语音信息提取模块,用于对所述音频信息进行检测,提取所述音频信息 中的语音信息;
声纹特征提取模块,用于提取所述语音信息的声纹特征;
比对模块,用于比对所述语音信息的声纹特征和所述电子设备使用者的 声纹特征;
第四处理模块,用于在比对结果表明所述语音信息的声纹特征与所述电 子设备使用者的声纹特征匹配的情况下,确定所述音频信息满足第二预设条 件。

16.  根据权利要求10或11所述的控制装置,其特征在于,所述数据输 出单元包括音频输出单元和显示单元;
所述第一控制单元包括第一控制模块,所述第一控制模块用于在所述音 频输出单元输出音频数据的情况下,降低所述音频输出单元的输出音量。

17.  根据权利要求10或11所述的控制装置,其特征在于,所述数据输 出单元包括音频输出单元和显示单元;
所述第一控制单元包括第二控制模块,所述第二控制模块用于暂停播放 所述多媒体数据。

18.  根据权利要求10或11所述的控制装置,其特征在于,还包括第二 控制单元;
在调整所述数据输出单元的输出参数后的预设时刻,如果不满足所述预 设条件,则恢复所述数据输出单元的输出参数;
在调整所述多媒体数据的输出状态之后的预设时刻,如果不满足所述预 设条件,则恢复所述多媒体数据的输出状态。

19.  一种穿戴式电子设备,包括一支架,所述支架用于维持所述穿戴式 电子设备与电子设备使用者头部的相对位置关系,所述穿戴式电子设备还包 括镜片模块、音频输出单元、音频采集单元和图像采集单元,其特征在于, 所述穿戴式电子设备还包括如权利要求10至18中任一项所述的控制装置。

20.  一种电子设备,所述电子设备包括音频输出单元、显示单元、音频 采集单元和图像采集单元,其特征在于,所述电子设备还包括如权利要求10 至18中任一项所述的控制装置。

说明书

说明书控制方法、控制装置、穿戴式电子设备及电子设备
技术领域
本发明属于电子设备控制技术领域,尤其涉及一种控制方法、控制装置、 穿戴式电子设备及电子设备。
背景技术
目前的电子设备能够提供丰富的功能,如播放多媒体信息(音频信息和 视频信息)。用户可以通过电子设备上的按键(物理按键或者是触控单元显 示的虚拟按键)控制电子设备的运行。对于一些具有语音控制功能的电子设 备,用户也可以通过语音进行控制。
但是,目前针对电子设备的控制方式仍然较为单一,如何进一步丰富电 子设备的控制方式,是本领域技术人员亟待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种应用于电子设备的控制方法及控 制装置,提供新的控制电子设备的方式。同时,本发明还公开了穿戴式电子 设备及电子设备。
为实现上述目的,本发明提供如下技术方案:
本发明公开一种控制方法,应用于电子设备,所述电子设备包括数据输 出单元和图像采集单元,所述控制方法包括:
检测到所述数据输出单元输出多媒体数据的情况下,获取所述图像采集 单元采集到的电子设备使用者的面部图像;
判断是否满足预设条件,所述预设条件包括所述电子设备使用者的面部 图像满足第一预设条件;
基于判断结果,调整所述数据输出单元的输出参数或者调整所述多媒体 数据的输出状态。
优选的,所述电子设备还包括音频采集单元,在检测到所述数据输出单 元输出多媒体数据的情况下,还包括:获取所述音频采集单元采集到的音频 信息;所述判断是否满足预设条件,包括:判断所述电子设备使用者的面部 图像是否满足第一预设条件,及判断所述音频信息是否满足第二预设条件。
优选的,判断所述电子设备使用者的面部图像是否满足第一预设条件, 包括:提取相差预设时间间隔的两帧面部图像的表情特征;当所述两帧面部 图像的表情特征之间的差值大于阈值时,确定所述电子设备使用者的面部图 像满足第一预设条件。
优选的,判断所述电子设备使用者的面部图像是否满足第一预设条件, 包括:提取所述面部图像的表情特征;将提取出的表情特征与预存的第一类 表情样本模型进行匹配,获得置信度;在获得的置信度高于预设阈值的情况 下,确定所述电子设备使用者的面部图像满足第一预设条件。
优选的,判断所述音频信息是否满足第二预设条件,包括:对所述音频 信息进行检测,提取所述音频信息中的语音信息;分析所述语音信息,获取 所述语音信息包含的词汇;在所述词汇包含特定词汇的情况下,确定所述音 频信息满足第二预设条件。
优选的,判断所述音频信息是否满足第二预设条件,包括:对所述音频 信息进行检测,提取所述音频信息中的语音信息;提取所述语音信息的声纹 特征;比对所述语音信息的声纹特征和所述电子设备使用者的声纹特征;在 比对结果表明所述语音信息的声纹特征与所述电子设备使用者的声纹特征匹 配的情况下,确定所述音频信息满足第二预设条件。
优选的,所述数据输出单元包括音频输出单元和显示单元;所述调整所 述数据输出单元的输出参数包括:在所述音频输出单元输出音频数据的情况 下,降低所述音频输出单元的输出音量。
优选的,所述数据输出单元包括音频输出单元和显示单元;所述调整所 述多媒体数据的输出状态包括:暂停播放所述多媒体数据。
优选的,在调整所述数据输出单元的输出参数之后,还包括:在预设时 刻,如果不满足所述预设条件,则恢复所述数据输出单元的输出参数;
在调整所述多媒体数据的输出状态之后,还包括:在预设时刻,如果不 满足所述预设条件,则恢复所述多媒体数据的输出状态。
本发明还公开一种控制装置,应用于电子设备,所述电子设备包括数据 输出单元和图像采集单元,所述控制装置包括:
图像获取单元,用于在检测到所述数据输出单元输出多媒体数据的情况 下,获取所述图像采集单元采集到的电子设备使用者的面部图像;
判断单元,用于判断是否满足预设条件,所述预设条件包括所述电子设 备使用者的面部图像满足第一预设条件;
第一控制单元,用于基于判断结果,调整所述数据输出单元的输出参数 或者调整所述多媒体数据的输出状态。
优选的,所述电子设备还包括音频采集单元,所述控制装置还包括音频 获取单元,所述音频获取单元用于在检测到所述数据输出单元输出多媒体数 据的情况下,获取所述音频采集单元采集到的音频信息;所述判断单元包括 第一判断子单元和第二判断子单元,所述第一判断子单元用于判断所述电子 设备使用者的面部图像是否满足第一预设条件,所述第二判断子单元用于判 断所述音频信息是否满足第二预设条件。
优选的,所述第一判断子单元包括:第一表情特征提取模块,用于提取 相差预设时间间隔的两帧面部图像的表情特征;第一处理模块,用于当所述 两帧面部图像的表情特征之间的差值大于阈值时,确定所述电子设备使用者 的面部图像满足第一预设条件。
优选的,所述第一判断子单元包括:第二表情特征提取模块,用于提取 所述面部图像的表情特征;表情特征匹配模块,用于将提取出的表情特征与 预存的第一类表情样本模型进行匹配,获得置信度;第二处理模块,用于在 获得的置信度高于预设阈值的情况下,确定所述电子设备使用者的面部图像 满足第二预设条件。
优选的,所述第二判断子单元包括:语音信息提取模块,用于对所述音 频信息进行检测,提取所述音频信息中的语音信息;语音分析模块,用于分 析所述语音信息,获取所述语音信息包含的词汇;第三处理模块,用于在所 述词汇包含特定词汇的情况下,确定所述音频信息满足第二预设条件。
优选的,所述第二判断子单元包括:语音信息提取模块,用于对所述音 频信息进行检测,提取所述音频信息中的语音信息;声纹特征提取模块,用 于提取所述语音信息的声纹特征;比对模块,用于比对所述语音信息的声纹 特征和所述电子设备使用者的声纹特征;第四处理模块,用于在比对结果表 明所述语音信息的声纹特征与所述电子设备使用者的声纹特征匹配的情况 下,确定所述音频信息满足第二预设条件。
优选的,所述数据输出单元包括音频输出单元和显示单元;所述第一控 制单元包括第一控制模块,所述第一控制模块用于在所述音频输出单元输出 音频数据的情况下,降低所述音频输出单元的输出音量。
优选的,所述数据输出单元包括音频输出单元和显示单元;所述第一控 制单元包括第二控制模块,所述第二控制模块用于暂停播放所述多媒体数据。
优选的,还包括第二控制单元;在调整所述数据输出单元的输出参数后 的预设时刻,如果不满足所述预设条件,则恢复所述数据输出单元的输出参 数;在调整所述多媒体数据的输出状态之后的预设时刻,如果不满足所述预 设条件,则恢复所述多媒体数据的输出状态。
本发明还公开一种穿戴式电子设备,包括一支架,所述支架用于维持所 述穿戴式电子设备与电子设备使用者头部的相对位置关系,所述穿戴式电子 设备还包括镜片模块、音频输出单元、音频采集单元、图像采集单元,以及 上述任意一种控制装置。
本发明还公开一种电子设备,所述电子设备包括音频输出单元、显示单 元、音频采集单元、图像采集单元,以及上述任意一种控制装置。
由此可见,本发明的有益效果为:本发明公开的电子设备的控制方法, 在电子设备的数据输出单元输出多媒体数据的情况下,获取电子设备使用者 的面部图像作为控制电子设备运行过程的一个依据,当确定满足预设条件时, 调整电子设备中的数据输出单元的输出参数或者是调整多媒体数据的输出状 态,提供了一种新的控制电子设备运行过程的方式。并且,本发明公开的电 子设备的控制方法,相较于现有的按键控制方式,具有操作控制更加便捷的 优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明公开的电子设备的一种控制方法的流程图;
图2为本发明公开的一种判断电子设备使用者的面部图像是否满足第一 预设条件的流程图;
图3为本发明公开的另一种判断电子设备使用者的面部图像是否满足第 一预设条件的流程图;
图4为本发明公开的一种判断音频信息是否满足第二预设条件的流程图;
图5为本发明公开的另一种判断音频信息是否满足第二预设条件的流程 图;
图6为本发明公开的一种智能眼镜的结构示意图;
图7为本发明公开的电子设备的一种控制装置的结构示意图;
图8为本发明公开的电子设备的另一种控制装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明公开一种应用于电子设备的控制方法,相较于现有技术提供新的 控制电子设备的方式。
参见图1,图1为本发明公开的电子设备的一种控制方法的流程图。该电 子设备包括数据输出单元和图像采集单元,并且该电子设备能够播放多媒体 数据,可以为手机、平板电脑、穿戴式电子设备。该控制方法包括:
步骤S11:检测到数据输出单元输出多媒体数据的情况下,获取图像采集 单元采集到的电子设备使用者的面部图像。
电子设备中设置有图像采集单元,该图像采集单元被配置为能够检测电 子设备的使用者的面部图像。例如:图像采集单元设置于电子设备的主体上, 通过调整电子设备的放置位置,使得电子设备中的图像采集单元处于电子设 备使用者的前方,从而能够对电子设备使用者的面部进行图像采集;或者, 图像采集单元设置于远离电子设备主体的位置,并且该位置使得用户在使用 电子设备过程中,图像采集单元处于电子设备使用者的前方,从而能够对电 子设备使用者的面部进行图像采集。比如,在智能眼镜的镜架上设置安装支 架,该安装支架向用户面部的前方延伸设置,智能眼镜的图像采集单元安装 在安装支架的端部,当用户佩戴智能眼镜时,图像采集单元即位于用户面部 的前方,能够对智能眼镜使用者的面部进行图像采集,如图6所示。
电子设备的数据输出单元可以为音频输出单元,可以为显示单元,当然 也可以为音频输出单元和显示单元。另外,多媒体数据可以为音频数据或者 视频数据(包括被绑定的图像数据和音频数据)。在电子设备开启状态,当 检测到数据输出单元输出多媒体数据后,即开始获取图像采集单元采集到的 面部图像。
步骤S12:判断是否满足预设条件。
该预设条件至少包括该电子设备使用者的面部图像满足第一预设条件。 在确定电子设备的数据输出单元输出多媒体数据的情况下,获取电子设备使 用者的面部图像,并将电子设备的使用者的面部图像作为控制电子设备运行 过程的依据。
步骤S13:基于判断结果,调整数据输出单元的输出参数或者调整多媒体 数据的输出状态。
当确定满足预设条件时,就调整电子设备中数据输出单元的输出参数, 或者调整多媒体数据的输出状态,也就是调整电子设备的运行状态。
本发明公开的电子设备的控制方法,在电子设备的数据输出单元输出多 媒体数据的情况下,获取电子设备使用者的面部图像作为控制电子设备运行 过程的一个依据,当确定满足预设条件时,调整电子设备中的数据输出单元 的输出参数或者是调整多媒体数据的输出状态,提供了一种新的控制电子设 备运行过程的方式。并且,本发明公开的电子设备的控制方法,相较于现有 的按键控制方式,具有操作控制更加便捷的优势。
实施中,判断是否满足预设条件,可以配置为:判断电子设备使用者的 面部图像是否满足第一预设条件。相应的,在确定电子设备使用者的面部图 像满足第一条件的情况下,就可以调整数据输出单元的输出参数或者调整多 媒体数据的输出状态。
其中,判断电子设备使用者的面部图像是否满足第一预设条件,可以采 用多种方式。下面分别结合图2和图3进行说明。
参见图2,图2为本发明公开的一种判断电子设备使用者的面部图像是否 满足第一预设条件的流程图。包括:
步骤S21:提取相差预设时间间隔的两帧面部图像的表情特征。
人的面部表情主要体现在眉毛、眼镜、鼻子和嘴巴的变化以及这些变化 之间的相互联系。面部图像的表情特征能够表征人的面部表情。当人的面部 表情发生变化时,面部图像包含的表情特征也会发生较大的变化。
实施中,在图像采集单元采集的面部图像中提取两帧面部图像,这两帧 面部图像可以为连续的两帧面部图像,也可以为相差若干帧的两帧面部图像。 之后,提取这两帧面部图像的表情特征。这里需要说明的是,人脸表情识别 已经是较为成熟的技术,本申请中提取面部图像的表情特征可以采用现有的 表情特征提取算法。
步骤S22:当两帧面部图像的表情特征之间的差值大于阈值时,确定电子 设备使用者的面部图像满足第一预设条件。
如果两帧面部图像的表情特征出现较大变化,表明用户的表情出现较大 变化,此时确定电子设备使用者的面部表情满足第一预设条件。
本发明图2所示的方法,将第一预设条件配置为:电子设备使用者的两帧 面部图像的表情特征之间的差值大于阈值,也就是将第一预设条件配置为: 电子设备使用者的表情出现较大变化。具体实施中,在电子设备的图像采集 单元采集的面部图像中,获取相差预设时间间隔的两帧面部图像,之后提取 这两帧面部图像的表情特征,如果这两帧面部图像的表情特征之间的差值大 于阈值,就确定电子设备使用者的面部图像满足第一预设条件。
参见图3,图3为本发明公开的另一种判断电子设备使用者的面部图像是 否满足第一预设条件的流程图。包括:
步骤S31:提取面部图像的表情特征。
在确定电子设备的数据输出单元输出多媒体数据的情况下,获取图像采 集单元采集到的电子设备使用者的面部图像,并提取面部图像的表情特征。
步骤S32:将提取出的表情特征与预存的第一类表情样本模型进行匹配, 获得置信度。
电子设备预存有第一类表情样本模型。实施中,采集电子设备使用者的 大量面部图像,在这些面部图像中选取出特定的表情图像(如惊讶表情图像、 大笑表情图像、生气表情图像),将选取出的表情图像作为正样本、将其他 表情图像作为负样本进行训练,获得第一类表情样本模型。第一类表情样本 模型的实质也是表情特征。
步骤S33:在获得的置信度高于预设阈值的情况下,确定电子设备使用者 的面部图像满足第一预设条件。
将从电子设备使用者的面部图像中提取出的表情特征与第一类表情样本 模型进行匹配,如果两者之间的置信度高于预设阈值,则确定电子设备使用 者的面部表情满足第一预设条件。这里需要说明的,表情特征与第一类表情 样本模型之间的置信度越高,说明两者的相似度越高。
本发明图3所示的方法,将第一预设条件配置为:电子设备使用者的面部 图像的表情特征与第一类表情样本模型的置信度高于预设阈值,也就是将第 一预设条件配置为:电子设备使用者的面部呈现出特定的表情。具体实施中, 在电子设备的图像采集单元采集的面部图像中,获取一帧面部图像,之后提 取该帧面部图像的表情特征,并将提取出的表情特征与第一类表情样本模型 进行匹配,如果两者之间的置信度高于预设阈值,就确定电子设备使用者的 面部图像满足第一预设条件。
本发明公开的控制方法,在判断是否满足预设条件被配置为判断电子设 备使用者的面部图像是否满足第一预设条件的情况下,可以基于图2或图3所 示的方式确定电子设备使用者的面部图像是否满足第一预设条件。在用户使 用电子设备的过程中,如果电子设备的数据输出单元正在输出多媒体数据, 则用户可以通过自己的表情控制电子设备执行调整数据输出单元的输出参数 的操作,或者是控制电子设备执行调整多媒体数据的数据输出单元的操作。
需要说明的是,用户可以通过有意调整自己的面部表情来控制电子设备 的运行过程。另外,电子设备还可以基于用户在发生某些事件时无意识的面 部表情来调整自身的运行过程。
在电子设备的数据输出单元输出多媒体数据的过程中,用户的表情通常 处于较为平静的状态,如果发生了其他需要用户处理的事件,用户的表情会 发生变化,基于本发明公开的方法,电子设备可以自动调整数据输出单元的 输出参数或者调整多媒体数据的输出状态。
例如:电子设备通过耳机播放音乐,用户在听音乐过程中的面部表情一 直处于较为平静的状态。当有人要跟用户对话,用户做出应答时其面部表情 会发生变化,电子设备检测到用户的表情变化后,降低音量或者暂停播放音 乐,从而方便用户与他人对话,而不需要用户摘下耳机,或者是手动调整音 量。
实施中,如果电子设备还设置有音频采集单元,则在检测到数据输出单 元输出多媒体数据的情况下,还可以进一步设置控制装置获取音频采集单元 采集到的音频信息的操作。
相应的,判断是否满足预设条件,可以配置为:判断电子设备使用者的 面部图像是否满足第一预设条件,及判断音频采集单元采集到的音频信息是 否满足第二预设条件。只有在电子设备使用者的面部图像满足第一预设条件, 且音频采集单元采集到的音频信息满足第二预设条件的情况下,才确定当前 满足预设条件,执行后续调整数据输出单元的输出参数或者调整多媒体数据 的输出状态的操作。在这种情况下,可以降低电子设备进行误操作的概率。
这里需要说明的是,在具体实施中,不限定两个判断操作的执行顺序。
例如:首先判断电子设备使用者的面部图像是否满足第一预设条件,在 确定满足第一预设条件的情况下,再执行判断音频采集单元采集到的音频信 息是否满足第二预设条件的操作。例如:首先判断音频采集单元采集到的音 频信息是否满足第二预设条件,在确定满足第二预设条件的情况下,再执行 判断电子设备使用者的面部图像是否满足第一预设条件的操作。例如:采用 多线程技术,由一个线程执行判断电子设备使用者的面部图像是否满足第一 预设条件的操作,由另一线程执行判断音频采集单元采集到的音频信息是否 满足第二预设条件的操作,之后结合两个线程的处理结果确定是否执行后续 调整数据输出单元的输出参数或者调整多媒体数据的输出状态的操作。
关于判断电子设备使用者的面部图像是否满足第一预设条件的具体处理 过程,在前文已经论述,这里不再进行赘述。下面结合图4和图5对判断音频 信息是否满足第二预设条件的过程进行说明。
参见图4,图4为本发明公开的一种判断音频信息是否满足第二预设条件 的流程图。包括:
步骤S41:对音频信息进行检测,提取音频信息中的语音信息。
电子设备的音频采集单元采集到的音频信息包含了背景噪音信息和语音 信息。由于背景噪音信息为无用信息,因此要对音频采集单元采集到的音频 信息进行检测,提取出音频信息中的语音信息,以便减小后续提取词汇的数 据处理量。
步骤S42:分析语音信息,获取语音信息包含的词汇。
步骤S43:在词汇包含特定词汇的情况下,确定音频信息满足第二预设条 件。
利用现有的语音分析算法对步骤S41中提取出的语音信息进行分析,以获 取语音信息中包含的词汇。之后将获取到的词汇与预存的特定词汇进行比对, 如果步骤S42中获取到的词汇包含了特定词汇,就确定音频信息满足第二预设 条件。
实施中,电子设备预存的特定词汇可以根据用户的语言习惯进行配置。 例如可以将特定词汇配置为;“啊”、“嗯”、“什么”等。
本发明图4所示的方法,将第二预设条件配置为:音频采集单元采集到的 音频信息包含特定词汇。具体实施中,在电子设备的音频采集单元采集到的 音频信息中,提取出语音信息并进行分析,获取语音信息中包含的词汇,如 果获取到的词汇包含特定词汇,就确定电子设备的音频采集单元采集到的音 频信息满足第二预设条件。
参见图5,图5为本发明公开的另一种判断音频信息是否满足第二预设条 件的流程图。包括:
步骤S51:对音频信息进行检测,提取音频信息中的语音信息。
步骤S52:提取语音信息的声纹特征。
人类语言的产生是人体语言中枢与发音器官之间一个复杂的生理物理过 程。人在讲话时使用的发声器官(舌、牙齿、喉头、鼻腔)在尺寸和形态方 面存在差异,这些器官的微小差异会导致发声气流的改变,造成音质、因素 的差别。而且,人发声的习惯也有快有慢,用力有大有小,造成音强和音长 的差别。因此,任意两个人的声纹都有差异,声纹具有身份识别的作用。
步骤S53:比对语音信息的声纹特征和电子设备使用者的声纹特征。
步骤S54:在比对结果表明语音信息的声纹特征与电子设备使用者的声纹 特征匹配的情况下,确定音频信息满足第二预设条件。
在提取出音频信息中的语音信息后,提取该语音信息的声纹特征,通过 比较该声纹特征与电子设备使用者的声纹特征,就可以确定电子设备使用者 是否在说话,当两者匹配的情况下,确定音频信息满足第二预设条件。
本发明图5所示的方法,将第二预设条件配置为:音频采集单元采集到的 音频信息中语音信息的声纹特征与电子设备使用者的声纹特征匹配,也就是 将第二预设条件配置为:音频采集单元采集到的音频信息包含了电子设备使 用者发出的语音信息。
本发明公开的控制方法,在判断是否满足预设条件被配置为判断电子设 备使用者的面部图像是否满足第一预设条件,及判断音频采集单元采集到的 音频信息是否满足第二预设条件的情况下,可以基于图2或图3所示的方式确 定电子设备使用者的面部图像是否第一预设条件,基于图4或图5所示的方式 确定音频采集单元采集到的音频信息是否满足第二预设条件。在用户使用电 子设备的过程中,如果电子设备的数据输出单元正在输出多媒体数据,则用 户可以通过自己的表情与语音控制电子设备执行调整数据输出单元的输出参 数的操作,或者是控制电子设备执行调整多媒体数据的数据输出单元的操作。
需要说明的是,用户可以通过有意调整自己的面部表情和语音来控制电 子设备的运行过程。另外,电子设备还可以基于用户在发生某些事件时无意 识的面部表情和发声来调整自身的运行过程。
在电子设备的数据输出单元输出多媒体数据的过程中,用户的表情通常 处于较为平静的状态,并且用户通常保持安静,如果发生了其他需要用户处 理的事件,用户的表情会发生变化,并且用户也会发出声音。基于本发明公 开的方法,电子设备可以自动调整数据输出单元的输出参数或者调整多媒体 数据的输出状态。
例如:电子设备通过耳机播放音乐,用户在听音乐过程中的面部表情一 直处于较为平静的状态,也不会发出声音。当有人要跟用户对话,用户做出 应答时其面部表情会发生变化,电子设备检测到用户的表情变化和语音后, 降低音量或者暂停播放音乐,从而方便用户与他人对话,而不需要用户摘下 耳机,或者是手动调整音量。
需要说明的,本发明公开的控制方法,在确定电子设备的数据输出单元 输出多媒体数据的情况下,判断是否满足预设条件的操作是按照预设时间间 隔多次执行的。
另外,在电子设备的数据输出单元包括音频输出单元和显示单元的情况 下,如果音频输出单元在输出音频数据,则调整数据输出单元的输出参数可 以为:降低音频输出单元的输出音量。
在电子设备的数据输出单元包括音频输出单元和显示单元的情况下,调 整多媒体数据的输出状态可以为:暂停播放多媒体数据。
这里结合实例进行说明。
电子设备仅仅播放音频文件时,出于降低电子设备耗电量的考虑,通常 只有音频输出单元在输出音频信息,如果确定需要调整数据输出单元的输出 参数,则可降低音频输出单元的音量。
电子设备在播放视频文件时,电子设备的音频输出单元在输出音频信息, 同时显示单元在显示图像,如果确定需要调整数据输出单元的输出参数,则 降低音频输出单元的音量。
当然,无论电子设备在播放视频文件,还是仅在播放音频文件,在确定 满足预设条件之后,还可以调整多媒体数据的输出状态,具体的,暂停播放 多媒体数据。
另外,调整数据输出单元的输出参数,以及调整多媒体数据的输出状态 的具体方案不限于上述方式。调整数据输出单元的输出参数还可以配置为: 控制显示单元黑屏。当用户不想其他人看到显示单元显示的内容时,可以通 过自己的表情或者通过自己的表情和语音控制电子设备快速黑屏。
作为一种优选方案,在调整数据输出单元的输出参数之后,还包括:在 预设时刻,如果不满足预设条件,则恢复数据输出单元的输出参数。
以在满足预设条件的情况下降低音频输出单元的音量为例,在执行降低 音频输出单元的音量的操作后,如果在预设时间之后,不再满足预设条件, 则恢复音频输出单元的音量。
作为一种优选方案,在调整多媒体数据的输出状态之后,还包括:在预 设时刻,如果不满足预设条件,则恢复多媒体数据的输出状态。
以在满足预设条件的情况下暂停播放多媒体数据为例,在执行暂停播放 多媒体数据的操作后,如果在预设时间之后,不再满足预设条件,则继续播 放多媒体数据。
本发明上述公开了应用于电子设备的控制方法,相应的,本发明还公开 应用于电子设备的控制装置。
参见图7,图7为本发明公开的电子设备的一种控制装置的结构示意图。 该电子设备包括数据输出单元和图像采集单元,并且该电子设备能够播放多 媒体数据,可以为手机、平板电脑、穿戴式电子设备。该控制装置包括:图 像获取单元100、判断单元200和第一控制单元300。
其中:
图像获取单元10,用于在检测到数据输出单元输出多媒体数据的情况下, 获取图像采集单元采集到的电子设备使用者的面部图像。电子设备中设置有 图像采集单元,该图像采集单元被配置为能够检测电子设备的使用者的面部 图像。图像采集单元的具体安装形式请参见前文描述。
判断单元20,用于判断是否满足预设条件,该预设条件包括电子设备使 用者的面部图像满足第一预设条件。在确定电子设备的数据输出单元输出多 媒体数据的情况下,获取电子设备使用者的面部图像,并将电子设备的使用 者的面部图像作为控制电子设备运行过程的依据。
第一控制单元30,用于基于判断结果,调整数据输出单元的输出参数或 者调整多媒体数据的输出状态。当确定判断单元20满足预设条件时,第一控 制单元30就调整电子设备中数据输出单元的输出参数,或者调整多媒体数据 的输出状态,也就是调整电子设备的运行状态。
本发明公开的电子设备的控制装置,在电子设备的数据输出单元输出多 媒体数据的情况下,获取电子设备使用者的面部图像作为控制电子设备运行 过程的一个依据,当确定满足预设条件时,调整电子设备中的数据输出单元 的输出参数或者是调整多媒体数据的输出状态,提供了一种新的控制电子设 备运行过程的方式。并且,本发明公开的电子设备的控制装置,相较于现有 的按键控制方式,具有操作控制更加便捷的优势。
实施中,判断是否满足预设条件,可以配置为:判断电子设备使用者的 面部图像是否满足第一预设条件。相应的,判断单元20仅包括第一判断子单 元,该第一判断子单元用于判断电子设备使用者的面部图像是否满足第一预 设条件,在第一判断子单元确定电子设备使用者的面部图像满足第一条件的 情况下,就确定满足预设条件,可以调整数据输出单元的输出参数或者调整 多媒体数据的输出状态。
在电子设备还设置有音频采集单元的情况下,控制装置进一步设置音频 获取单元40,并且判断是否满足预设条件配置为:判断电子设备使用者的面 部图像是否满足第一预设条件,及判断音频采集单元采集到的音频信息是否 满足第二预设条件。相应的,判断单元20包括第一判断子单元21和第二判断 子单元22,控制装置的结构可以参见图8所示。
其中:
图像获取单元10,用于在检测到数据输出单元输出多媒体数据的情况下, 获取图像采集单元采集到的电子设备使用者的面部图像。
音频获取单元40,用于在检测到数据输出单元输出多媒体数据的情况下, 获取音频采集单元采集到的音频信息。
判断单元20包括第一判断子单元21和第二判断子单元22。第一判断子单 元21用于判断图像获取单元10获取到的电子设备使用者的面部图像是否满足 第一预设条件,第二判断子单元22用于判断音频获取单元40获取到的音频信 息是否满足第二预设条件。当第一判断子单元21和第二判断子单元22的判断 结果均为是时,判断单元20确定满足预设条件。
第一控制单元30,用于基于判断单元20的判断结果,调整数据输出单元 的输出参数或者调整多媒体数据的输出状态。当判断单元20确定满足预设条 件时,第一控制单元30就调整电子设备中数据输出单元的输出参数,或者调 整多媒体数据的输出状态,也就是调整电子设备的运行状态。
本发明图8所示的控制装置,只有在电子设备使用者的面部图像是否满足 第一预设条件,且音频信息是否满足第二预设条件时,第一控制单元才执行 调整数据输出单元的输出参数或者调整多媒体数据的输出状态的操作,可以 降低电子设备误操作的概率。
作为一种实施方式,第一判断子单元包括第一表情特征提取模块和第一 处理模块。
其中:
第一表情特征提取模块与图像获取单元连接,用于提取相差预设时间间 隔的两帧面部图像的表情特征。第一处理模块与第一表情特征提取模块连接, 用于当两帧面部图像的表情特征之间的差值大于阈值时,确定电子设备使用 者的面部图像满足第一预设条件。
作为另一种实施方式,第一判断子单元包括第二表情特征提取模块、表 情特征匹配模块和第二处理模块。
其中:
第二表情特征提取模块与图像获取单元连接,用于提取面部图像的表情 特征。表情特征匹配模块与第二表情特征提取模块连接,用于将第二表情特 征提取模块提取出的表情特征与预存的第一类表情样本模型进行匹配,获得 置信度。第二处理模块与表情特征匹配模块连接,用于在表情特征匹配模块 获得的置信度高于预设阈值的情况下,确定电子设备使用者的面部图像满足 第二预设条件。
在实施中,第二判断子单元可以采用如下结构。第二判断子单元包括语 音信息提取模块、语音分析模块和第三处理模块。
其中:
语音信息提取模块与音频获取单元连接,用于对音频信息进行检测,提 取音频信息中的语音信息。语音分析模块与语音提取模块连接,用于分析语 音提取模块提取出的语音信息,获取语音信息包含的词汇。第三处理模块与 语音分析模块连接,用于在语音分析模块获取的词汇包含特定词汇的情况下, 确定音频信息满足第二预设条件。
另外,第二判断子单元还可以采用如下结构。第二判断子单元包括语音 信息提取模块、声纹特征提取模块、比对模块和第四处理模块。
其中:
语音信息提取模块与音频获取单元连接,用于对音频信息进行检测,提 取音频信息中的语音信息。声纹特征提取模块与语音提取模块连接,用于提 取前述语音信息的声纹特征。比对模块与声纹特征提取模块连接,用于比对 语音信息的声纹特征和电子设备使用者的声纹特征。第四处理模块与比对模 块连接,用于在比对结果表明语音信息的声纹特征与电子设备使用者的声纹 特征匹配的情况下,确定音频信息满足第二预设条件。
在电子设备的数据输出单元包括音频输出单元和显示单元的情况下,作 为一种优选实施方式,第一控制单元包括第一控制模块,第一控制模块用于 在音频输出单元输出音频数据的情况下,降低音频输出单元的输出音量。
在电子设备的数据输出单元包括音频输出单元和显示单元的情况下,作 为一种优选实施方式,第一控制单元包括第二控制模块,第二控制模块用于 暂停播放多媒体数据。
在图7和图8所示控制装置的基础上,还可以进一步设置第二控制单元。 在第一控制单元调整数据输出单元的输出参数后的预设时刻,如果不满足预 设条件,则第二控制单元恢复数据输出单元的输出参数;在第一控制单元调 整多媒体数据的输出状态之后的预设时刻,如果不满足预设条件,则第二控 制单元恢复多媒体数据的输出状态。
本发明还公开一种穿戴式电子设备,包括一支架,该支架用于维持穿戴 式电子设备与电子设备使用者头部的相对位置关系,该穿戴式电子设备还包 括镜片模块、音频输出单元、音频采集单元、图像采集单元,以及本发明上 述公开的任意一种控制装置。图6示出了穿戴式电子设备的一种结构。本发 明公开的穿戴式电子设备将使用者的面部图像作为一个控制依据,提供了新 的控制方式。
另外,本发明还公开一种电子设备,该电子设备包括音频输出单元、显 示单元、音频采集单元、图像采集单元,以及本发明上述公开的任意一种控 制装置。本发明公开的电子设备将使用者的面部图像作为一个控制依据,提 供了新的控制方式。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求 或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术 语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而 使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且 还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或 者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……” 限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存 在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都 是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述 的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下, 在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例, 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

控制方法、控制装置、穿戴式电子设备及电子设备.pdf_第1页
第1页 / 共20页
控制方法、控制装置、穿戴式电子设备及电子设备.pdf_第2页
第2页 / 共20页
控制方法、控制装置、穿戴式电子设备及电子设备.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《控制方法、控制装置、穿戴式电子设备及电子设备.pdf》由会员分享,可在线阅读,更多相关《控制方法、控制装置、穿戴式电子设备及电子设备.pdf(20页珍藏版)》请在专利查询网上搜索。

本发明公开一种电子设备的控制方法,包括:检测到数据输出单元输出多媒体数据的情况下,获取图像采集单元采集到的电子设备使用者的面部图像;判断是否满足预设条件,该预设条件包括电子设备使用者的面部图像满足第一预设条件;基于判断结果,调整数据输出单元的输出参数或者调整多媒体数据的输出状态。本发明公开了一种新的控制电子设备运行过程的方式,并且相较于现有的按键控制方法,具备操作控制更加便捷的优势。本发明还公开了。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1