《一种基于改进的局部二值模式特征的舌头动作识别方法.pdf》由会员分享，可在线阅读，更多相关《一种基于改进的局部二值模式特征的舌头动作识别方法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104112117A43申请公布日20141022CN104112117A21申请号201410284449522申请日20140623G06K9/00200601G06K9/62200601G06F3/0120060171申请人大连民族学院地址116600辽宁省大连市开发区辽河西路18号72发明人王巍辛慧杰刘勇奎74专利代理机构大连一通专利代理事务所普通合伙21233代理人秦少林54发明名称一种基于改进的局部二值模式特征的舌头动作识别方法57摘要本发明公开了一种基于改进的局部二值模式特征的舌头动作识别方法，包括如下步骤提取嘴部区域图像从人脸图像中检测出嘴部区域，并将嘴部区域。
2、图像灰度化和归一化，将尺寸设定为3216像素；使用改进的局部二值模式算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；利用支持向量机分类器进行舌头动作分类。本发明具有的有益效果是实现舌头动作的检测和识别，方法鲁棒性强；舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。51INTCL权利要求书2页说明书4页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书4页附图1页10申请公布号CN104112117ACN104112117A1/2页21一种基于改进的局部二值模式特征。
3、的舌头动作识别方法，其特征在于该方法包括以下步骤1提取嘴部区域图像从人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为3216像素；2使用改进的局部二值模式算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；3利用支持向量机分类器进行舌头动作分类利用支持向量机分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。2根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于在步骤2中，所述的改进的局部二值模式算法，其特征是嘴唇和舌头灰度信息差值很小，水平。
4、方向信息量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作。3根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于所述的改进的局部二值模式算法的计算过程公式为其中P表示八邻域，I按照下面的元素位置表取值位置；F0F1F2F7FCF3F6F5F4计算过程为如下具体步骤1首先将一幅嘴部区域图像划分为22子区域；2对每个子区域内的像素点提取改进的局部二值模式特征，并用这个值来反映该区域的纹理信息；3在每个子区域内建立改进的局部二值模式特征的统计直方图，每个子区域用一个统计直方图来进行描述；4整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记。
5、为FEATURE。4根据权利要求1所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其权利要求书CN104112117A2/2页3特征在于在步骤3中，所述的支持向量机分类器进行舌头动作分类包括支持向量机分类器训练和支持向量机分类器识别。5根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于所述的支持向量机分类器训练包括如下步骤1对采集得到的嘴部区域图像进行步骤1和步骤2中操作，获取每幅图像相应的FEATURE值；2三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用A,B和C作为类别标签标记；3随机选用采集图片的一半作为训练集，采集图片的另一半作。
6、为测试集，对SVM分类器进行训练。6根据权利要求3所述的一种基于改进的局部二值模式特征的舌头动作识别方法，其特征在于所述的SVM分类器识别包括如下步骤1对采集得到的嘴部区域图像进行步骤1和步骤2中操作，获取每副图像相应的FEATURE值；2将获取的FEATURE值送入训练好的SVM分类器进行分类，获取类别标签；3根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。权利要求书CN104112117A1/4页4一种基于改进的局部二值模式特征的舌头动作识别方法技术领域0001本发明属于模式识别领域，具体涉及一种基于改进的局部二值模式特征的舌头动作识别方法。背景技术0002本申请提出的关于舌头动。
7、作的识别技术，主要应用于基于视觉的鼠标系统，由舌头动作来激活鼠标的左键和右键单击。前期已设计的提取舌头行为特征向量的方法是采用嘴唇形状及位置图像中的不同区域中像素数目作为特征值向量；并且利用学习向量量化LVQ神经网络进行舌头的分类。现有的这种方法识别率不够稳定，鲁棒性不高。发明内容0003本发明根据现有技术的不足，提出一种基于改进的局部二值模式特征的舌头动作识别方法，以更好地实现动作识别和人机交互。0004为了解决上述存在的技术问题，本发明采用以下的技术方案0005一种基于改进的局部二值模式特征的舌头动作识别方法，其内容包括以下步骤00061提取嘴部区域图像0007从人脸图像中检测出嘴部区域，。
8、并将嘴部区域图像灰度化和归一化，将尺寸设定为3216像素；00082使用改进的局部二值模式算法ADVANCEDLOCALBINARYPATTERN，简称ALBP算法，将局部二值模式简称为LBP计算区域内的像素差值进行处理，更多地保留垂直方向信息；00093利用支持向量机SVM分类器进行舌头动作分类0010利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。0011在本发明方法步骤2中，所述的ALBP算法的计算，对于嘴部动作识别而言，通过观察嘴部区域图像得知其特征是嘴唇和舌头灰度信息差值很小，水平方向信息。
9、量变化幅度较小，垂直方向信息更能体现纹理变化和嘴唇动作。0012所述的ALBP算法的计算过程公式为00130014说明书CN104112117A2/4页500150016其中P表示八邻域，I按照下面的元素位置表取值位置；0017F0F1F2F7FCF3F6F5F40018计算过程为如下具体步骤00191首先将一幅嘴部区域图像划分为22子区域；00202对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；00213在每个子区域内建立ALBP特征的统计直方图，每个子区域用一个统计直方图来进行描述；00224整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来。
10、组成，记为FEATURE。0023由于采用上述技术方案，本发明提供的一种基于改进的局部二值模式特征的舌头动作识别方法，与现有技术相比具有以下有益效果00241实现舌头动作的检测和识别，方法鲁棒性强；00252舌头动作激活鼠标行为，替代物理鼠标的操作，对实现人机交互方式的鼠标软件和无手残疾人使用鼠标操作电脑的社会公益事业发展有重要意义。附图说明0026图1是嘴部区域图像示例。具体实施方式0027下面结合附图及具体实施例对本发明进行进一步地描述。0028本发明中舌头行为识别方法的具体流程如下。0029一种基于改进的局部二值模式特征的舌头动作识别方法，包括以下步骤00301提取嘴部区域图像0031从。
11、人脸图像中检测出嘴部区域，并将嘴部区域图像灰度化和归一化，将尺寸设定为3216像素；00322使用ALBP算法，将局部二值模式计算区域内的像素差值进行处理，更多地保留垂直方向信息；0033所述的ALBP算法的计算过程公式为0034说明书CN104112117A3/4页6003500360037其中P表示八邻域，I按照下面的元素位置表取值位置；0038F0F1F2F7FCF3F6F5F40039计算过程为如下具体步骤00401首先将一幅嘴部区域图像划分为22子区域；00412对每个子区域内的像素点提取ALBP特征，并用这个值来反映该区域的纹理信息；00423在每个子区域内建立ALBP特征的统计直。
12、方图，每个子区域用一个统计直方图来进行描述；00434整个嘴部区域图像特征由上述4个子区域的统计直方图按照一定的顺序串联起来组成，记为FEATURE。00443利用支持向量机分类器进行舌头动作分类0045利用SVM分类器实现嘴部三种动作的分类，分别为嘴巴闭合，舌头左伸和舌头右伸；三种动作分别激发鼠标的位置移动，鼠标的左键单击和鼠标的右键单击操作。0046首先检测到嘴部区域图像，本实施例中嘴部图像，如图1所示，对其进行灰度变化和归一化，尺寸为3216像素；0047根据步骤2对其进行22分块，并利用改进的局部二值模式算子计算其特征值，获取特征值FEATURE。0048然后根据步骤3实现支持向量机分。
13、类器的训练。训练后，利用步骤3中分类器识别步骤可以实现舌头动作的识别和分类。0049在步骤3中，所述的SVM分类器进行舌头动作分类包括SVM分类器训练和SVM分类器识别。0050所述的SVM分类器训练包括如下步骤00511对采集得到的嘴部区域图像进行步骤1和步骤2中操作，获取每幅图像相应的FEATURE值；00522三种不同的动作图像，即嘴巴闭合，向右伸舌头及向左伸舌头，分别将其用A,B和C作为类别标签标记；00533实验中，共采集图片2700幅，如图中所示的三种情况各有900幅，随机选用采集图片的一半作为训练集，采集图片的另一半作为测试集，对SVM分类器进行训练。说明书CN104112117A4/4页70054所述的SVM分类器识别包括如下步骤00551对采集得到的嘴部区域图像进行步骤1和步骤2中操作，获取每副图像相应的FEATURE值；00562将获取的FEATURE值送入训练好的SVM分类器进行分类，获取类别标签；00573根据类别标签，识别出具体的舌头动作，并激活相应的鼠标操作。0058本方法采用检测精度PRECISION，PR和查全率RECALL，RE作为评价指标来评价算法的鲁棒性，在正常的光线情况下，平均检测精度能达到86，查全率达到90。说明书CN104112117A1/1页8图1说明书附图CN104112117A。