一种基于银行服务机器人的人眼球方向识别方法技术领域
本发明具体涉及一种基于银行服务机器人的人眼球方向识别方法，属于图像处理
技术领域。
背景技术
当前，人工智能技术的发展带动了机器人领域，而机器人的发展促进了人工智能
技术的发展，迫切的需要将人工智能技术植入到机器人本体上，让机器人的智商变的更高，
更好的具有职业技能。
在银行里，使用了很多的机器服务人，一方面为客户提供业务办理的服务，另一方
面，也具有为客户推荐业务的功能，受限于首页的界面的信息量，目前只能是笼统的为客户
提供一些简介性的业务信息，针对特定的客户，无法提供某个栏目的详细信息，虽然客户可
以通过手触屏点击浏览具体的项目的内容，但是这样无疑会降低客户的关注兴趣，达不到
期待的推荐业务的效果。
发明内容
因此，针对现有技术的上述不足，本发明皆在提供一种基于银行服务机器人的人
眼球方向识别的方法，嵌入到银行服务器机器人本体内，可以检测人脸和人眼球，通过识别
人眼球的方向，可以判别出客户在屏幕上所盯的部位，可以通过大数据分析出客户所感兴
趣的专栏，能够更好的给客户推荐业务。
本发明提供的基于银行服务机器人的人眼球方向识别方法，包括以下步骤，
步骤1人脸检测
采用传统的人脸检测算法，提取haar特征，采用adaboost分类算法进行分类，确定
人脸的位置；
步骤2人脸预处理
包括人脸特征点定位，人脸矫正，和人眼位置割取；
步骤3人眼球识别
包括特征提取，LDA降维，SVM分类识别。
进一步的，步骤2具体为，
人脸特征点定位为采用ASM人脸特征点定位算法，定位到人脸的68个特征点，包括
眼睛，嘴巴，鼻子和脸的轮廓；
人脸矫正为找到人的两个眼珠的中心位置和人的嘴巴的中心位置，然后基于这三
个点，计算仿射变矩阵，做人脸倾斜矫正；
人眼图片割取为找到人眼的6个特征点的位置，基于这6个特征点的位置扩展出一
个人眼的矩形区域，上下左右扩充一定的比例，然后将人眼图片割取下来。
进一步的，步骤3具体为，
特征提取包括提取眼球的特征，首先将人眼图片归一化，归一化到64*64大小的尺
度，采用cnn(卷积神经网络)特征提取、hog(histogram of oriented gradient)特征提取
和LBP(Local Binary Patterns)特征提取方法，将三种方法提取的特征进行串联，然后采
用LDA进行降维处理，将结果采用SVM分类算法与训练模型对比进行分类识别并输出结果，
训练模型的获取方法为，针对眼球的上、下、左、右和中间五个类别的眼球方向进行样本搜
集，然后进行归一化处理，特征提取处理，对每类样本最终经过LDA降维处理，得到特征后，
采用LIBSVM进行训练，获取一个训练好的模型。
本发明的有益效果在于：本发明专利提供的基于银行服务机器人的人眼球方向识
别方法，识别率高，并且可以快速植入银行服务型机器人本体内，有效的识别客户眼睛所看
的方向，可以给用户准确的推荐相关业务介绍。本发明专利所提供的方法，同样适用于人脸
识别，车型识别等其他的物体识别应用。
附图说明
图1为本发明一种基于银行服务机器人的人眼球方向识别方法的原理图。
具体实施方式
下面结合附图对本发明的具体实施方式进行说明：
本发明为解决现有技术银行服务机器人不能为客户提供更好的业务推荐的问题
而设计，其基本原理如图1所示，本发明基于银行服务机器人的人眼球方向识别方法的步骤
包括，
步骤1人脸检测
采用传统的人脸检测算法，提取haar特征，采用adaboost分类算法进行分类，确定
人脸的位置；
步骤2人脸预处理
包括人脸特征点定位，人脸矫正，和人眼位置割取；
步骤3人眼球识别
包括特征提取，LDA降维，SVM分类识别。
在本实施例中，步骤2具体为，
人脸特征点定位为采用ASM人脸特征点定位算法，定位到人脸的68个特征点，包括
眼睛，嘴巴，鼻子和脸的轮廓；
人脸矫正为找到人的两个眼珠的中心位置和人的嘴巴的中心位置，然后基于这三
个点，计算仿射变矩阵，做人脸倾斜矫正；
人眼图片割取为找到人眼的6个特征点的位置，基于这6个特征点的位置扩展出一
个人眼的矩形区域，上下左右扩充一定的比例，然后将人眼图片割取下来。
在本实施例中，步骤3具体为，
特征提取包括提取眼球的特征，首先将人眼图片归一化，归一化到64*64大小的尺
度，采用cnn特征提取、hog特征提取和LBP特征提取方法，将三种方法提取的特征进行串联，
然后采用LDA进行降维处理，将结果采用SVM分类算法与训练模型对比进行分类识别并输出
结果，训练模型的获取方法为，针对眼球的上、下、左、右和中间五个类别的眼球方向进行样
本搜集，然后进行归一化处理，特征提取处理，对每类样本最终经过LDA降维处理，得到特征
后，采用LIBSVM进行训练，获取一个训练好的模型。
银行服务机器人利用得到的输出结果，为客户推荐其关注的业务。目前可以识别
眼球的五个方向，包括上、下、左、右和中间五个方向。
作为公知的技术，LIBSVM是台湾大学林智仁(Lin Chih-Jen)教授等开发设计的一
个简单、易于使用和快速有效的SVM模式识别与回归的软件包。
本发明专利提供的基于银行服务机器人的人眼球方向识别方法，识别率高，并且
可以快速植入银行服务型机器人本体内，有效的识别客户眼睛所看的方向，可以给用户准
确的推荐相关业务介绍。本发明专利所提供的方法，同样适用于人脸识别，车型识别等其他
的物体识别应用。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员
来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也
应视为本发明的保护范围。