一种人机交互方法及装置 技术领域
本发明涉及显示内容的操作，具体涉及一种人机交互方法及装置。
背景技术
随着电子技术的发展和用户要求的提高，目前判断电子产品优劣的条件已经远远不是停留在硬件指标和技术指标上，注重用户体验和感受才是厂商赢得市场的关键。现有的很多电子产品如手机、平板电脑、MP3、MP4、游戏机等都能根据用户的相应动作做出相应的操作，如当用户翻转机身时自动翻转屏幕，甩动机身时切换界面、歌曲、视频，倾斜机身时屏幕中图像随之移动，赛车游戏中根据用户对机身左右摇摆控制屏幕中赛车方向等等。这些相比起以前只能通过键盘或者触屏操作的电子产品来说，用户体验大大的提高了。
现有技术实现上述功能的方法多是基于重力感应原理，即利用压电效应，通过测量内部一片重物（目前电子产品内部多是采用重力感应芯片，重物和压电片做成一体）重力正交两个方向的分力大小来判断方向，从而判断用户的动作。重力感应的缺陷在于产品要在重力范围内使用，脱离重力范围后这些功能就会丧失。
发明内容
本发明所述解决的技术问题是提供一种人机交互的方法及装置，能够不依赖于重力感应判断出用户的动作并对屏幕显示内容进行相应操作。
本申请第一方面提供一种人机交互方法，包括：
捕捉视线方向；
根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化；
根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。
在第一种可能的实现方式中，所述捕捉视线方向包括：
根据瞳孔-角膜反射方法提取视线特征参数，所述视线特征参数包括瞳孔中 心到角膜反射的向量；
根据所述瞳孔中心到角膜反射的向量计算所述视线方向在所述屏幕上的坐标位置。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述视线特征参数还包括视线特征向量，根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化包括：
根据所述视线特征向量计算用户和所述屏幕之间距离；
根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。
结合第一方面及第一方面的第一种、第二种可能的实现方式，在第三种可能的实现方式中，所述根据所述夹角的变化对屏幕显示内容进行相应操作包括：
根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。
结合第一方面及第一方面的第一种、第二种可能的实现方式，在第四种可能的实现方式中，所述根据所述夹角的变化对屏幕显示内容进行相应操作包括：
根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。
结合第一方面及第一方面的第一种、第二种可能的实现方式，在第五种可能的实现方式中，所述根据所述距离的变化对屏幕显示内容进行相应操作包括：
根据所述距离的变化调节屏幕显示内容的大小。
本申请第二方面提供一种人机交互装置，包括：
视线追踪单元，用于捕捉视线方向；
处理单元，用于根据所述视线方向判断视线与屏幕之间夹角的变化和/或用户与所述屏幕之间距离的变化；
执行单元，用于根据所述夹角的变化和/或所述距离的变化对屏幕显示内容进行相应操作。
在第一种可能的实现方式中，所述视线追踪单元包括视线特征参数提取模块和坐标位置计算模块，其中：
所述视线特征参数提取模块用于根据瞳孔-角膜反射方法提取视线特征参数，所述视线特征参数包括瞳孔中心到角膜反射的向量；
所述坐标位置计算模块用于根据所述瞳孔中心到角膜反射的向量计算所述 视线方向在所述屏幕上的坐标位置。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述视线特征参数还包括视线特征向量，所述处理单元包括距离计算模块和夹角计算模块，其中：
所述距离计算模块用于根据所述视线特征向量计算用户和所述屏幕之间距离；
所述夹角计算模块用于根据所述用户和所述屏幕之间距离和所述坐标位置计算所述视线与屏幕之间夹角。
结合第二方面及第二方面的第一种、第二种可能的实现方式，在第三种可能的实现方式中，所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为：
所述执行单元用于根据所述夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。
结合第二方面及第二方面的第一种、第二种可能的实现方式，在第四种可能的实现方式中，，所述执行单元根据所述夹角的变化对屏幕显示内容进行相应操作的具体方式为：
所述执行单元用于根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。
结合第二方面及第二方面的第一种、第二种可能的实现方式，在第五种可能的实现方式中，所述执行单元根据所述距离的变化对屏幕显示内容进行相应操作的具体方式为：
所述执行单元用于根据所述距离的变化调节屏幕显示内容的大小。
本申请提供的人机交互方法及装置根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作，不依赖于重力感应，在脱离重力范围后用户仍能方便的操作屏幕，而且操作不需要用手控制，人机交互方式新颖，尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种人机交互方法的流程图；
图2是视线追踪的示意图；
图3为屏幕划分25个点示意图；
图4是视线与视线法向线重合时视线与屏幕之间夹角的示意图；
图5~图8是不同类型的视线与屏幕之间夹角的示意图；
图9是本申请实施例提供的一种人机交互装置的结构图；
图10是本申请实施例提供的另一种人机交互装置的结构图；
图11是本申请实施例提供的另一种人机交互装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本申请实施例提供的一种人机交互方法的流程图，包括：
S101、捕捉视线方向。
其中，捕捉用户眼睛的视线方向可以采用视线追踪技术，如图2所示，通过安装在显示器或者机身上的一个摄像头203和一个红外光源发射器202捕捉视线方向。视线追踪技术的方案可以采用基于眼睛视频分析(Video OculoGraphic，VOG)的非侵入式视线追踪技术，其基本原理是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照,在位置变化特征和这些不变特征之间提取视线(Line of sight/point ofregard，LOS/POR)变化参数,然后通过几何模型或映射模型获取视线方向。基于VOG的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。
视线特征参数是视线追踪的必要过程和前提，根据视线追踪方法的不同，提取的特征可以包括瞳孔中心与角膜反射的向量，角膜反射矩阵，虹膜的椭圆边界等。基于VOG的视线追踪技术普遍使用瞳孔-角膜反射方法。当红外光源与摄像头同轴时，瞳孔将比虹膜更亮（亮瞳）；当红外光源与摄像头分离时，瞳 孔比虹膜更暗（暗瞳）。基于瞳孔-角膜反射方法的视线追踪方法通过控制红外光源的红外线发射方向进行视线特征检测，使其产生亮瞳和暗瞳现象，并利用亮暗瞳图像进行图像差分技术提取瞳孔特征，可以在整幅脸部图像中快速捕捉眼部位置和在眼部图像中精细准确地分割瞳孔。
捕捉视线方向的方法可以为：控制红外光源的红外线发射方向或控制红外光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列，利用相邻亮瞳和暗瞳图像做差分消除背景的影响，在阈值化后的差分图像中检测瞳孔，具体步骤为：
亮瞳与暗瞳图像相减得到差分图像，对差分图像做滤波，得到瞳孔区域；
检测瞳孔区域的边缘并在眼睛区域附近基于灰度搜索角膜反射；
通过求质心的方法可以定位角膜反射中心，并对瞳孔边缘做滤波,消除角膜反射对瞳孔边缘轮廓的影响；
采用椭圆拟合定位瞳孔中心，得到中心坐标，提取的视线特征向量L。
其中，
L = ( Δx , Δy , α major α min or , θ , i c , j c ) ]]>
其中，（Δx,Δy）为瞳孔中心到角膜反射的向量，其中 （ip，jp）为瞳孔中心在图像中的位置，(ic，jc)为角膜反射在图像中的位置，αmajor和αminor之比为瞳孔椭圆长短轴之比，θ为瞳孔椭圆长轴与垂直方向的角度。
用户视线方向关注的屏幕位置即视线方向在所述屏幕上的坐标位置（Gx，Gy）和瞳孔中心到角膜反射的向量（Δx,Δy）的关系可以通过一个复杂的非线性映射函数来表示。例如，假设用户头部位置固定情况下的非线性映射函数可以表示为：
Gx=fx(Δx,Δy)≈a1(Δy)+a2(Δy)Δx
a1(Δy)≈a3+a4Δy
a2(Δy)≈a5+a6Δy
Gy=fy(Δx,Δy)≈b1(Δx)+b2Δy+b3Δy2
b1(Δx)≈b4+b5Δx
(Gx，Gy）=f（Δx,Δy）中有8个未知数，通过4个以上的标定点就可以确定其关系。这个回归过程只在建立模型的时候进行一次，一旦8个未知数已经 确定，以后不同使用者使用系统时，因为已经经过上个步骤的个体差异补偿，所以可以直接使用这个视线映射函数,无需重新进行回归过程。例如采用5×5=25点进行未知数求解，25个点依屏幕呈长方形分布，如图3所示，校正的方法为，让被试者依次注视屏幕上的这25个点，系统记下注视每个点时的视线向量（Δxi,Δyi），相应的视线所在位置坐标为（Gxi，Gyi），根据25个校正目标点的已知坐标，分别建立（Gx，Gy）与（Δx,Δy）映射函数方程组，这样其他用户关注的位置可以通过映射函数关系求解出来。
视线追踪技术工作原理如图2所示：红外光源发射器202和摄像头203安装在显示器201上，红外光源发射器202发射出不可见的红外线204，该红外线照射到用户的眼睛206，反射回红外信号205，摄像头采集该红外信号205然后由处理器结合“亮瞳”和“暗瞳”现象以及根据亮暗瞳图像差分和滤波等算法精确跟踪瞳孔的位置，得出视线的方向208，视线方向208在所述屏幕上的坐标位置为（Gx，Gy）。
S102、根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
其中，根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化包括：
根据视线特征向量计算用户和屏幕之间距离；
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。
计算用户和屏幕之间距离Z可以通过视线特征向量L估算得到，可以预先在不同位置测得一组视线特征向量Li和距离Zi，建立Li和Zi的关系模型，之后根据输入的L就可以推算出Z的值。
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角的方法可以为,从图2中三角几何关系可以得出Z/Gy=tanα，α=arctan(Z/Gy)。
S103、根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。
其中，根据夹角的变化对屏幕显示内容进行相应操作的方式可以为：根据 夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动。
其中，视线与屏幕之间夹角为第一类夹角、第二类夹角、第三类夹角或第四类夹角，第一类夹角是指在屏幕上当视线在屏幕法向线上方时视线与所述屏幕的竖直方向所成的锐角，如图5所示；第二类夹角是指在屏幕上当视线在屏幕法向线下方时视线与屏幕的竖直方向所成的锐角，如图6所示；第三类夹角是指在屏幕上当视线在屏幕法向线右方时视线与屏幕的水平方向所成的锐角，如图7所示；第四类夹角是指在屏幕上当视线在屏幕法向线左方时视线与所述屏幕的水平方向所成的锐角，如图8所示。
其中，附图2中视线208与屏幕的竖直方向所成的锐角209在屏幕上在视线法向线207的上方，属于第一类夹角，屏幕法向线207垂直于屏幕所在的平面并经过用户眼睛的直线。
图4是当用户正视屏幕时用户视线与视线法向线重合时的夹角的示意图，其中301为屏幕，304为视线法向线，305为视线，304与305重合，与屏幕成90°角，302为眼睛，303为瞳孔，瞳孔所指向的方向就是视线的方向。图4~图7中306~309分别是第一类夹角到第四类夹角的示意图。
其中，根据夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动包括：当第一类夹角变小时屏幕显示内容沿屏幕的竖直方向向上移动，例如当屏幕向上倾斜或者用户视线向上移动时屏幕内的图片或者文本的页面向上移动。当第二类夹角变小时屏幕显示内容沿屏幕的竖直方向向下移动或者沿屏幕的竖直方向切换页面，例如当屏幕向下倾斜或者用户视线向下移动时屏幕内的图片或者文本的页面向下移动。当第三类夹角变小时屏幕显示内容沿屏幕的水平方向向右移动或者沿屏幕的水平方向切换页面，例如当屏幕向右倾斜或者用户视线向右移动时屏幕内的图片或者文本的页面向右移动。当第四类夹角变小时屏幕显示内容沿屏幕的水平方向向左移动或者沿屏幕的水平方向切换页面，例如当屏幕向左倾斜或者用户视线向左移动时屏幕内的图片或者文本的页面向左移动。
其中，本实施例的夹角类型还可以包括视线与屏幕对角线方向所成的锐角，当视线屏幕对角线方向所成的锐角变化时，屏幕显示内容沿屏幕的对角线方向移动或者切换页面，即当屏幕对角倾斜或者用户视线沿对角线方向移动时屏幕显示内容沿对角线方向做相应的变化，具体方法可以参考第一类到第四类夹角 变化时的操作思想，这里不再赘述。
其中，根据夹角的变化对屏幕显示内容进行相应操作的方式还可以为：根据所述夹角的变化控制屏幕显示内容向上一页或者下一页切换。具体为在根据夹角的变化控制屏幕显示内容沿屏幕竖直方向、水平方向或者对角线方向移动的基础上，当屏幕内的显示内容，如图片或者文本页面等已经移动到预先设定的阈值位置，则相应的切换到下一张或者上一张图像，或者上一页或者下一页文本。
为了使设计更加人性化，本实施例中屏幕显示内容移动的速度或者切换页面的速度可与视线与屏幕之间夹角的大小相关联，如当夹角越小时屏幕显示内容移动的速度越快，或者切换页面的速度越快。
其中，根据距离的变化对屏幕显示内容进行相应操作可以为根据距离的变化调节屏幕显示图像或者屏幕显示文字大小。例如当用户朝屏幕方向走进时屏幕内显示的图像歌者文字变小，当用户相对屏幕后退时屏幕内显示的图像歌者文字变大，以提升用户的感观感受。
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作对屏幕显示内容进行相应的操作，不依赖于重力感应，在脱离重力范围后用户仍能方便的操作屏幕，而且操作不需要用手控制，用户可以用视线的移动来操控屏幕，尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。
请参考图9，图9是本申请实施例提供的一种人机交互的装置，至少包括：401视线追踪单元，402处理单元，403执行单元，其中：
视线追踪单元401，用于捕捉视线方向。
其中，视线追踪单元401的实现视线方向捕捉的方式参考图1实施例，这里不再赘述。
处理单元402，用于根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化。
其中，根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化的具体实现方式参考图1实施例，这里不再赘述。
其中，视线与屏幕之间夹角可以为第一类夹角、第二类夹角、第三类夹角或第四类夹角或视线与屏幕对角线方向所成的锐角，各种夹角的定义参考图1 实施例这里不再赘述。
执行单元403，用于根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。
具体操作方法参考图1实施例这里不再赘述。
为了使设计更加人性化，本实施例中屏幕显示内容移动的速度或者切换页面的速度可与视线与屏幕之间夹角的大小相关联，如当夹角越小时屏幕显示内容移动的速度越快，或者切换页面的速度越快。
请参考图10，图10是本申请实施例提供的另一种人机交互的装置，至少包括：401视线追踪单元，402处理单元，403执行单元，401视线追踪单元，402处理单元和403执行单元的功能参考图9实施例。其中，
401视线追踪单元包括4011视线特征参数提取模块和4012坐标位置计算模块，其中：
4011视线特征参数提取模块用于根据瞳孔-角膜反射方法提取视线特征参数，视线特征参数包括瞳孔中心到角膜反射的向量；
4012坐标位置计算模块用于根据瞳孔中心到角膜反射的向量计算视线方向在所述屏幕上的坐标位置。
上述视线特征参数还包括视线特征向量，402处理单元包括4021距离计算模块和4022夹角计算模块，其中：
4021距离计算模块用于根据视线特征向量计算用户和屏幕之间距离；
4022夹角计算模块用于根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作对屏幕显示内容进行相应的操作，不依赖于重力感应，在脱离重力范围后用户仍能方便的操作屏幕，而且操作不需要用手控制，用户可以用视线的移动来操控屏幕，尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。
请参考图11，图11是本申请实施例提供的另一种人机交互的装置，至少包括：501视线追踪设备，502系统设备，其中，501视线追踪设备包括5011红外线光源发射器，5012摄像头，502系统设备包括5021CPU，5022RAM，5023ROM，5024磁盘。
其中，5021CPU用于执行以下步骤：
控制视线追踪设备捕捉视线方向；
根据视线方向判断视线与屏幕之间夹角的变化和/或用户与屏幕之间距离的变化；
根据夹角的变化和/或距离的变化对屏幕显示内容进行相应操作。
其中，5021CPU还用于执行以下步骤：
根据瞳孔-角膜反射方法提取视线特征参数，视线特征参数包括瞳孔中心到角膜反射的向量和视线特征向量；
根据瞳孔中心到角膜反射的向量计算视线方向在屏幕上的坐标位置。
5021CPU还用于执行以下步骤：
根据视线特征向量计算用户和屏幕之间距离；
根据用户和屏幕之间距离和坐标位置计算视线与屏幕之间夹角。
本实施例根据用户视线与屏幕夹角和用户与屏幕之间的距离的变化来对屏幕显示内容进行相应的操作，不依赖于重力感应，在脱离重力范围后用户仍能方便的操作屏幕，而且操作不需要用手控制，用户可以用视线的移动来操控屏幕，尤其适合残障人士阅读电子文档、查看图片、欣赏视频等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（RandomAccess Memory，简称RAM）等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。