《用于高分辨率视线跟踪的系统和方法.pdf》由会员分享，可在线阅读，更多相关《用于高分辨率视线跟踪的系统和方法.pdf（25页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104094280A43申请公布日20141008CN104094280A21申请号201280065734722申请日2012110713/290,94820111107USG06K9/20200601G02B27/02200601G06T7/2020060171申请人爱福露恩斯公司地址美国内华达72发明人NG普布卡福尔WC陶池CN斯皮塔勒74专利代理机构北京纪凯知识产权代理有限公司11245代理人赵蓉民54发明名称用于高分辨率视线跟踪的系统和方法57摘要本发明提供一种安装在眼镜或头戴装置内的系统，其不易察觉地产生并跟踪观察者的一只眼睛或两只眼睛表面上的参考位置，从而改善视。
2、线跟踪的精度。该系统利用多个照明源和/或多个摄像机生成并观察自多个方向的闪光。多个照明源和摄像机的使用能够补偿头部的复杂三维几何形状以及个人之中出现的头部和眼睛区域的显著解剖变异。该系统连续跟踪眼镜或头戴装置的初始位置和任何滑动。此外，多个照明源和摄像机的使用能够在眼睛运动通过其整个生理范围时，保持高精度、动态眼睛跟踪。而且，设置在装置佩戴者的正常视线中的照明源通过产生接近于装置佩戴者的视轴线的参考向量，提高视线跟踪的精度。30优先权数据85PCT国际申请进入国家阶段日2014070186PCT国际申请的申请数据PCT/US2012/0639732012110787PCT国际申请的公布数据WO。
3、2013/070788EN2013051651INTCL权利要求书4页说明书14页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书4页说明书14页附图6页10申请公布号CN104094280ACN104094280A1/4页21一种用于确定视线跟踪位置的系统，其包括经配置以佩戴在佩戴者头部的装置；一个或更多个照明源，其安装在所述装置上并在佩戴所述装置的佩戴者的眼睛的视场内，并被定向以照亮所述眼睛，所述一个或更多个照明源经配置以最小化所述视场内对所述佩戴者的视觉的干扰；安装在所述装置上并被安置用于观看所述眼睛的眼睛跟踪摄像机；和耦接到所述眼睛跟踪摄像机的处理器，其分析所述眼睛跟。
4、踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。2根据权利要求1所述的系统，其中所述一个或更多个照明源包括LED和OLED发射器中的一种。3根据权利要求1所述的系统，其中所述装置包括安装到所述装置的镜片，其在所述佩戴者的视线内，并且其中所述一个或更多个照明源包括设置在所述镜片上以照亮所述眼睛的多个光源。4根据权利要求3所述的系统，其中所述光源的宽度小于02MM。5根据权利要求3所述的系统，其进一步包括在所述镜片上的电气引线，其将所述光源耦接到电源，所述电气引线。
5、经配置以最小化所述视场内对所述佩戴者的视觉的干扰。6根据权利要求5所述的系统，其中所述电气引线是基本透明的。7根据权利要求5所述的系统，其中所述电气引线的宽度小于02MM。8根据权利要求3所述的系统，其中所述多个光源被设置为彼此充分间隔开，以确保在所述眼睛运动通过其整个正常运动范围时来自光源的至少一个闪光在所述眼睛跟踪摄像机的图像中出现在所述眼睛的角膜区域的表面上。9根据权利要求8所述的系统，其中所述光源被设置为所述镜片上的二维阵列。10根据权利要求9所述的系统，进一步包括所述镜片上的电气引线，所述电气引线耦接到所述光源，以选择性激活所述阵列的一个或更多个光源。11根据权利要求1所述的系统，其。
6、中所述照明源包括在所述佩戴者的眼睛前面嵌入在安装到所述装置的镜片中的多个反射面，并且一个或更多个光源经配置以将光引入所述镜片中，从而所述光从所述多个反射面朝向所述眼睛反射。12根据权利要求1所述的系统，其进一步包括耦接到所述照明源的一个或更多个光源的控制器，其调制所述一个或更多个光源的亮度水平，从而在所述眼睛跟踪摄像机的视场内提供期望的亮度水平。13根据权利要求12所述的系统，其中所述控制器经配置以照亮单个光源，从而产生单个闪光，并且其中所述处理器被配置为隔离所述视线跟踪摄像机图像中的所述单个闪光。14根据权利要求1所述的系统，其中所述场景和眼睛跟踪摄像机中的至少一种包括CCD和CMOS探测器。
7、中的一种。15根据权利要求1所述的系统，其中所述眼睛跟踪摄像机包括用于生成眼睛跟踪摄像机图像的有效面积，并且其中所述有效面积的表面是弯曲的。权利要求书CN104094280A2/4页316根据权利要求1所述的系统，其进一步包括安装在所述装置上并被安置用于观看所述眼睛的一个或更多个附加眼睛跟踪摄像机，所述处理器耦接到所述一个或更多个附加眼睛跟踪摄像机，从而从不同观看角度跟踪所述眼睛的位置。17根据权利要求16所述的系统，其中所述眼睛跟踪摄像机彼此充分间隔开，从而在所述眼睛运动通过其整个正常运动范围内时，所述眼睛的瞳孔出现在至少一个所述眼睛跟踪摄像机上的眼睛跟踪摄像机图像中。18根据权利要求1所述。
8、的系统，其进一步包括场景摄像机，其安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置，所述处理器耦接到所述场景摄像机，用于采集所述视场的场景图像并相对于所述一个或更多个闪光关联所述眼睛的特征的位置，从而在所述场景图像内确定所述佩戴者正在观看的位置。19一种用于确定视线跟踪位置的系统，其包括经配置以佩戴在佩戴者头部的装置；安装在所述装置上并被定向以照亮所述佩戴者的眼睛的一个或更多个照明源；安装在所述装置上并被安置用于观看所述眼睛的多个眼睛跟踪摄像机；和耦接到所述眼睛跟踪摄像机的处理器，其分析所述眼睛跟踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或。
9、更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置，其中所述眼睛跟踪摄像机彼此充分间隔开，从而在所述眼睛运动通过其整个正常运动范围时，所述眼睛的瞳孔出现在至少一个所述眼睛跟踪摄像机上的眼睛跟踪摄像机图像中。20根据权利要求19所述的系统，进一步包括场景摄像机，其安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置，所述处理器耦接到所述场景摄像机，用于采集所述视场的场景图像并相对于所述一个或更多个闪光关联所述眼睛的特征的位置，从而在所述场景图像内确定所述佩戴者正在观看的位置。21一种用于确定视线跟踪位置的系统，其包括经配置以佩戴在佩戴者头部的。
10、装置，所述装置包括在所述装置被佩戴时，被安置在所述佩戴者眼睛的眼睛前面的镜片；安装在所述装置上并被安置用于观看所述佩戴者的环境中的参考位置的场景摄像机；安装在所述镜片上用于照亮所述佩戴者的眼睛的多个照明源；安装在所述装置上并被安置用于观看所述眼睛的多个眼睛跟踪摄像机；和耦接到所述场景摄像机和眼睛跟踪摄像机的处理器，其分析来自所述场景摄像机和眼睛跟踪摄像机的图像，所述处理器使用场景摄像机图像的场景参考位置和眼睛跟踪摄像机图像的眼睛跟踪位置确定所述佩戴者正在观看的位置。22根据权利要求21所述的系统，其中所述照明源包括嵌入在所述镜片中的多个反射面，并且所述一个或更多个光源经配置以将光引入所述镜片中。
11、，以使所述光从所述多个反射面朝向所述眼睛反射。23根据权利要求21所述的系统，其中所述照明源对于佩戴所述装置的所述佩戴者而权利要求书CN104094280A3/4页4言是基本不可见的。24根据权利要求21所述的系统，其中所述照明源包括在所述镜片上的多个光源和耦接到所述光源、在所述镜片上的多个导电通路，所述系统进一步包括耦接到所述通路的控制器，用于选择性激活所述光源。25根据权利要求24所述的系统，其中所述多个光源彼此充分间隔开，以确保在所述眼睛运动通过其整个正常运动范围内时，来自光源的至少一个闪光在所述眼睛跟踪摄像机的图像中出现在所述眼睛的角膜区域的表面上。26根据权利要求24所述的系统，其中。
12、所述控制器经配置以照亮单个光源，从而产生单个闪光，并且其中所述处理器经配置以隔离所述视线跟踪摄像机图像中的所述单个闪光。27一种用于视线跟踪的方法，其包括将装置安置在佩戴者的头部，所述装置包括朝向所述佩戴者的眼睛定向的一个或更多个照明源和多个眼睛跟踪摄像机，所述眼睛跟踪摄像机被安置在所述装置上的不同位置，以提供所述眼睛的视场的重叠；以及分析所述眼睛跟踪摄像机采集的所述眼睛的图像，以识别所述眼睛反射的、来自所述一个或更多个照明源的一个或更多个闪光并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。28根据权利要求27所述的方法，其中所述眼睛的特征的位置根据所述。
13、眼睛跟踪摄像机的图像监测，以识别所述眼睛的特征在哪个眼睛跟踪摄像机中相对于其他眼睛跟踪摄像机最接近所述视场的中心，并且其中分析所述眼睛的图像包括分析来自所识别的眼睛跟踪摄像机的图像，从而确定所述佩戴者正在观看的位置。29根据权利要求28所述的方法，其进一步包括周期性识别在哪个眼睛跟踪摄像机中所述眼睛的特征相对于其他眼睛跟踪摄像机最接近所述视场的中心，并包括分析来自所识别的眼睛跟踪摄像机的图像，从而确定所述佩戴者正在观看的位置。30根据权利要求27所述的方法，其中所述眼睛的特征的位置根据所述眼睛跟踪摄像机的图像监测，并且其中分析所述眼睛的图像包括对所述图像中的所述眼睛的特征的位置求平均，以确定所。
14、述佩戴者正在观看的位置。31根据权利要求30所述的方法，其进一步包括对所述图像应用矫正空间映射函数，从而适应所述眼睛的球面像差和曲率中的至少一个。32根据权利要求30所述的方法，其中来自所述眼睛跟踪摄像机的图像的眼睛的特征的位置在求平均之前被加权，从而适应所述眼睛的球面像差和曲率中的至少一个。33一种用于视线跟踪的方法，其包括将装置安置在佩戴者头部，所述装置包括朝向所述佩戴者的眼睛定向的多个照明源和眼睛跟踪摄像机，所述照明源被布置在所述佩戴者的视场内并经配置以最小化所述视场内对所述佩戴者的视觉的干扰；以及分析所述眼睛跟踪摄像机采集的眼睛的图像，以识别所述眼睛反射的、来自一个或更多个照明源的一个。
15、或更多个闪光，并识别所述眼睛的特征相对于所述一个或更多个闪光的位置，从而确定所述佩戴者正在观看的位置。34根据权利要求33所述的方法，其中每次仅有一个所述照明源被激活，从而在所述权利要求书CN104094280A4/4页5眼睛的图像中产生单个闪光，并且其中所述眼睛的特征相对于所述单个闪光的位置被识别，从而确定所述佩戴者正在观看的位置。35根据权利要求33所述的方法，其中每次激活多个所述照明源，从而在所述眼睛的图像中同时产生多个闪光，并且其中所述眼睛的特征相对于所述多个闪光的位置被识别，从而确定所述佩戴者正在观看的位置。权利要求书CN104094280A1/14页6用于高分辨率视线跟踪的系统和方。
16、法0001关于联邦政府资助的研究和开发的声明0002在本发明中，美国政府可能具有付费许可，并可能具有在有限情况下，以合理条款要求专利权人许可他人的权利，如关于美国国防部美国陆军合同号W81XWH05C0045、美国国防部国会研究倡议号W81XWH0620037、W81XWH0920141和W81XWH1120156以及美国运输部国会研究计划倡议协议奖NODTNH2205H01424所提供的条款。技术领域0003本发明涉及用于产生精确视线跟踪的设备、系统和方法，其使用不易察觉的眼镜或头戴装置以用于眼睛监测和/或控制应用。背景技术0004本文的系统和方法利用机器视觉技术跟踪正被观察者观看的位置和/。
17、或物体。传统地，视线跟踪算法已经被认为需要两个连续的数据流，以产生跟踪结果1在我们三维世界内定位头部的位置和方向的头部跟踪方法，以及2眼睛跟踪方法，其沿着瞳孔的边缘以及眼睛表面上的其他可识别参考点检测照明源产生的闪光GLINT，以计算眼睛相对于这些闪光的摆角和观看方向。为进行精确视线跟踪，使用不易察觉的眼镜或头戴装置，连续监测该装置的位置相对于眼睛表面所述装置自身包括固定到该装置的所有摄像机和照明源，是解释头部解剖的个体变异以及使用期间眼镜或头戴装置的少量运动的额外输入。0005涉及机器视觉的应用正变得越来越普遍。在某种程度上，这是由于电子和软件开发产业技术进步以及摄像机、信息处理单元和其他电。
18、子组件成本降低的结果。尤其是，视线跟踪正越来越多地用于若干诊断、人类行为和控制应用中。少量的示例包括监测个人疲劳程度、评估驾驶员或飞行员意识、评估药物或酒精的影响、诊断创伤后的应激障碍、跟踪人类不同年龄的行为、确定性能训练或锻炼的效果、通过测量眼部停留时间而评估电视广告或网页设计的效果、放大或改变被观察具体对象或图像包括词语和句子的亮度、控制游戏的各个方面、获得基本临床数据以评估神经或认知障碍、诊断和监测退化性眼疾以及允许颈部以下受限或不可动的个人通过使用一只或更多只眼睛和眼睑控制计算机图标来通信。利用视线跟踪的部门和行业包括军、医药、安保、人力绩效、游戏、运动医学、康复工程、公安、科研实验室。
19、和玩具业。0006在几乎所有情况下，视线跟踪精度的提高使得大多数应用的性能和易于使用性增强。例如，利用提高的精度，能够更加精确地测量量化更小物体或物体组件的位置和固定时间的眼部停留时间。视线跟踪能够更有效地与便携式装置连用，所述便携式装置利用更小的屏幕，其包括移动电话和手持式显示器。当视线跟踪用于控制计算机图标包括屏幕内若干虚拟物体或图标的选择时，可选择物体的数量的增加能够同时显示，这是由于选择较小虚拟物体或图标的能力。选择过程的每个阶段内增加数量的物体可以增加虚拟物体和相关动作能够被选择的效率即，选择阶段的数量减少和/或时间减少。说明书CN104094280A2/14页70007随着现代微电。
20、子技术和微光学的出现，将用于视线跟踪的组件不易察觉地安装在包括装置如美国专利NO6163281、6542081或7488294、7515054中公开的那些装置的眼镜例如，眼镜框或头戴装置例如，头盔，口罩，护目镜，虚拟现实显示器上是可能的。与头部跟踪相关的方法在2011年5月20日提交的申请号13/113003中公开，其中，在所述方法中，一个或更多个安装有装置的场景摄像机用于跟踪我们环境内的参考位置。基于摄像机图像的照明控制相关的方法在2010年3月1日提交的申请号12/715177中公开，该申请的美国公开号为2011/0211056。与测量装置佩戴者的响应和反应时间相关的方法在2011年5月2。
21、0日提交的申请号13/113006中公开；其中如在本申请中描述的空间精度的改善可有助于改进反应时间测量的时间精度。0008眼睛表面上的结构和映象以及装置佩戴者观看的场景可以通过使用固定到眼镜或头戴系统内的摄像机的高精密微光学进行成像。低功耗、微型摄像机和电子装置的使用通过使用栓系到其他装置或非栓系并可选地由电池供电的头戴式系统，而允许全方位的运动。而且，无线通信的最新进步允许视线跟踪结果被实时传送到其他计算、数据存储和/或控制装置。作为这些技术在许多领域中进步的结果，基于戴在眼睛或戴在头上的视线跟踪系统可以是不易察觉的、重量轻的、便携式的以及便于使用且具有不受限的移动性。发明内容0009本发明。
22、涉及用于产生精确视线跟踪的装置、系统和方法，其使用不易察觉的眼镜或头戴装置用于眼睛监测和/或控制应用，例如，使用多个眼睛跟踪摄像机。0010与固定到头戴装置的单个摄像机或位于距离头部一定距离的多个摄像机相比，本申请的系统和方法使用安装在眼镜或头戴装置上的多个眼睛跟踪摄像机、组件可以具有若干优点。第一，从不同角度指向眼睛的摄像机可以以“测距仪”模式用于跟踪照明源产生的闪光的位置。从多角度观看闪光位置可用于确定摄像机相对于眼睛表面的位置。这对于解释使用期间眼镜或头戴装置的初始位置和移动会是特别有用的。第二，指向眼睛的各个摄像机产生二维图像，而眼球和其他结构例如，眼睑，面部肌肉的运动发生在整个三维空。
23、间。从不同方向观看眼睛的多个摄像机的图像测量可用于基于解剖模型的方案中，以虚拟地重建全维度上的眼睛运动和其他参考位置例如，闪光，眼睑。第三，眼睛的极端运动即，向上或向下，向左或向右会导致精确跟踪瞳孔或其他参考位置的能力畸变，或者，由于眼球的曲率半径和/或其他结构的干扰，甚至导致单个近场摄像机观察瞳孔的能力完全丧失。多摄像机的使用可以允许在眼睛位置的整个生理范围上更精确跟踪瞳孔和其他参考位置。0011与固定到头戴装置的单个照明源或位于距离头部一定距离的一个或更多个照明源相比，安装在眼镜或头戴装置上并指向眼睛的多个照明源的使用可以具有若干进一步的优点。例如，多个照明源的使用可以确保在眼睛的三维结构。
24、周围的全部区域被充分照亮而不产生阴影，或产生混淆机器图像处理算法的其他产物。此外，使用安装在眼镜或头戴装置上的足够大的照明源阵列可以确保在眼睛在整个生理范围内运动期间，至少一个闪光投射到眼睛的角膜区，其具有相对更简单的几何形状和已知的反射特性与眼睛的其他部分相比，从而计算摄像机图像内从角膜投射的闪光角度。进一步地，类似于上述“测距仪模式”中的多个摄像机的使用，多个照明源可以用于连续测量眼镜或头戴装置相对于眼睛表面的说明书CN104094280A3/14页8位置。将至少一些照明源直接安置在装置佩戴者的正常视距内也可以允许装置佩戴者的视线向量即，视轴线靠近已知参考向量其通过使用闪光而生成，从而改进。
25、视线跟踪的精度。0012此外，固定到眼镜或头戴装置的照明源围绕装置佩戴者运动。这确保眼睛区域的照明，甚至在头部的宽范围运动期间。在这种头部运动期间，安装在距离头部一定距离的照明源会丧失闪光甚至所有照明。0013摄像机处理单元和照明控制电子装置也可以安装在包括照明源的眼镜或头戴装置上。这允许照明源的直接开/关和/或强度控制以及摄像机控制，而不需要使用外部控制装置、通信协议和/或外部连线。0014本申请的系统和方法可以在宽条件范围下保持精确视线跟踪，所述宽条件范围包括存在下列项的明显运动的时候1头部，2包括摄像机和照明源的眼镜或头戴装置，和/或3装置佩戴者的眼睛。0015视线跟踪是连续识别观察者观。
26、看的位置和/或物体的能力。视线跟踪可以从相对于我们三维世界内已识别的参考位置进行的眼睛跟踪和头部跟踪的组合计算。本申请的系统和方法可以利用安装在眼镜或头戴装置上的多个照明源和/或多个摄像机精确跟踪瞳孔和眼睛的其他结构相对于安装在眼镜或头戴装置上的照明源产生的闪光位置的位置。虽然闪光和相关的照明源可以在观察者的直线视线中，本文所述方法的视线跟踪过程可以被执行，并且在很大程度上不会被装置佩戴者注意。0016更具体地，本发明涉及用于眼睛监测、控制和其他应用的设备、系统和方法，用于不易察觉地识别闪光的位置和装置佩戴者的眼睛表面上的解剖结构。该装置可以被配置为用于稳健性眼睛跟踪的平台，其可以由具有各种解。
27、剖结构的头部、鼻子和眼睛区域的宽范围个体使用。从不同角度投射多个闪光和/或从多个角度观看的各个闪光可用于估算照明源和摄像机相对于眼睛表面的位置。本文所述系统和方法可以基本上连续监测包括照明源和眼睛跟踪摄像机的眼镜或头戴装置的位置。0017视线跟踪装置的分辨率和/或指示精度的增加可以在宽范围应用中具有若干有益结果，例如医疗诊断、广告、人员因素、计算机游戏、安保、康复工程和/或计算机图标控制即，替换或增强计算机鼠标的操作。0018因此，本文所述设置、系统和方法可以提供用于各种应用的改进即，高分辨率和鲁棒性的的视线跟踪方法和系统。0019在一个示例性实施例中，其提供一种包括使用固定到眼镜或头戴装置的。
28、多个照明源的方法，所述多个照明源基本上完全照亮眼睛周围的所有区域。由于眼睛区域中的多个弯曲表面和能够阻止照明的解剖结构例如，眼睑，睫毛，单个或少量的照明源不可以提供用于精确眼睛跟踪的充足照明。具有照明源阵列的眼睛区域的照明可以允许在整个眼睛表面产生多个参考闪光和/或弯曲表面的更均匀照明，例如，避免生成阴影和/或避免会恶化机器视觉技术的其他照明效果。0020类似地，固定到眼镜或头戴装置的多个摄像机的使用也可以补偿眼睛区域的复杂几何形状。从不止一个摄像机采集的图像可以用于克服在眼睛跟踪期间会阻止摄像机视场的结构例如，眼睑，睫毛。此外，当由仅采集二维图像的摄像机成像时，围绕三维世界运动的物体例如，瞳。
29、孔，虹膜产生的几何畸变会导致解读模糊。当摄像机靠近即，3厘说明书CN104094280A4/14页9米3CM内运动并且所述运动涉及眼球小半径即，小于15CM15CM上的转动时，这个问题尤其重要。当不易察觉的摄像机安装在眼镜或头戴装置上时，这两种情况均可以存在。从安装在眼镜或头戴装置并从不同角度指向眼睛的多个摄像机的图像的使用可以用于大致连续跟踪和/或重建复杂的三维眼睛运动。0021根据一个实施例，照明源阵列内的每个照明源可以在眼睛表面上产生闪光，其可用作生成向量的起始位置，该向量从该闪光穿过照明源位置。照明源的位置相对于其他照明源和眼镜或头戴装置上的摄像机是已知的。通过使用阵列中的每个照明元件。
30、执行类似计算，已知向量的阵列可以利用眼睛表面上的已知起始位置即，闪光计算。接着，使用从眼睛表面投射的瞳孔位置信息的视线跟踪向量可以相对于这些附近的已知向量表示，从而提高视线跟踪的精度。0022根据另一个实施例，多个照明源和/或多个照相机可用于计算装置与眼睛表面上的闪光之间的距离。这些距离可以作为视线跟踪过程中的不同计算操作进行计算，或测量可以体现在视线跟踪向量的整个计算内。在这两种情况的任一种中，照明源和眼睛跟踪摄像机相对于眼睛表面的准确位置影响视线跟踪精度，尤其是在与眼镜或头戴装置上安装的结构关联的短距离即，少于三厘米3CM上。在视线跟踪计算中大量连续包含这些距离测量可以消除用户到用户的这种。
31、变化的影响，以及在眼镜或头戴装置可以运动的持续使用期间的影响。0023根据另一个实施例，照明源可以安置在通常用于观看装置佩戴者的环境中的物体的方向上。这包括在通常由典型眼镜或头戴装置中的镜片占据的区域中嵌入照明源。这些照明源在装置佩戴者的正常观察动作期间，可以高度有效地照亮瞳孔、角膜和/或周围区域。此外，嵌入镜片或者，如果不需要矫正镜片功能，仅是简单透明材料中的照明源生成的闪光可用于生成接近视线跟踪向量的已知向量，从而提高视线跟踪的精度。0024根据另一个实施例，在所提供的系统和方法中，照明源利用装置佩戴者不可见的光。通常，在电磁波谱的近红外区的波长对装置佩戴者来说是不可见的；而由这些照明源产。
32、生的整个照明和闪光可以由固定到眼镜或头戴装置的固态摄像机探测。再者，眼睛不可见的照明的使用可以支持眼镜或头戴装置整体的不易察觉特性。0025根据又一个实施例，在所提供的系统和方法中，位于眼镜或头戴装置的镜片区域中的照明源对于装置佩戴者来说基本是不可见的。这可以通过使用若干策略实现。发光二极管以及其他固态装置的基本组件是微小的。这个原理可以用在由LED和OLED供电的显示装置中，其中，小于02MM的像素尺寸商业可用于便携式计算机内。每面具有001MM尺寸的LED源可用于专业应用。因此，组成照明LED的半导体材料可以被制成最多作为微小的斑点出现。此外，用于照亮眼睛的光是不可见的，例如，在近红外范围。
33、内，波长从约800到2500纳米。因此，装置佩戴者不会感觉到照明源发出的电磁辐射。另一方面，CMOS摄像机，具体地，能够探测人眼不可见的近红外光谱的电磁辐射。CMOS摄像机也特别适合需要低功耗和微型化的应用。0026添加这些因素，用于给照明源供电的导电通路可以被制成基本透明的。透明导电膜在装置的制造中是众所周知的，例如太阳能电池和可切换玻璃也被称为用于构造窗户的智能玻璃。用于透明导电通路的最常见材料是铟锡氧化物ITO。更便宜的替代品例如掺杂铝的氧化锌和掺杂铟的氧化镉代表可以用于透明导电通路的材料的附加示例。说明书CN104094280A5/14页100027综上所述，照明源对于装置佩戴者来说大。
34、部分不可见是因为1照明源可以生成人眼不可见的波长的光，2固态照明源的尺寸可以是微小的趋近光的分辨率极限，3导电通路可以被制成为基本透明的，和/或4照明源可以在小于大多数个体的焦距的距离处接近眼睛通过使用一组典型眼镜框，离大约两厘米2CM远。因此，任意可能由这些微小结构反射的光可被感知为失焦的背景并且不会使装置佩戴者分心。这可以产生基本无阻碍的视野，支持眼镜或头戴装置的整体不易察觉特性。0028根据又一个实施例，在所提供的系统和方法中，源自眼镜或头戴装置的镜片区域中的照明可以由嵌入在每个镜片内的小反射面产生。光可以由安置在镜片边缘周围并指向反射面的照明源生成。而反射面可以将这个光引向眼睛。这种构。
35、造可以从观察者的视觉通路中消除照明装置和向这些装置供电的导电通路的安置，从而支持装置的不易察觉性。0029根据又一个实施例，提供控制照明源的强度的系统和方法，该照明源产生整个照明和眼睛表面上的闪光参考点。通过控制相对于视频图像采集的时序的照明时序，采集具有和不具有参考闪光照明的图像是可能的。从断开照明采集的图像减去接通照明采集的图像，提供一种几个示例性将图像内的闪光与眼睛跟踪摄像机一个或更多隔离的策略。而且，如果多个照明源系统内的单个照明源接通，那么，可以更容易确定闪光的准确中心位置即，与包括多个闪光的图像相比并且将具体闪光位置与具体照明源关联。0030可选地，处理单元可以耦接到一个或更多个场。
36、景摄像机和用于接收眼睛区域的图像例如，为了监测闪光位置和瞳孔边缘的摄像机，其中，场景摄像机在装置佩戴者的环境中偏离眼睛指向。处理单元和场景跟踪处理单元可以是一个或更多个单独的处理器，或可以是单个处理器和/或包括照明控制器。0031指向单个眼睛的多个眼睛跟踪摄像机的使用可以在眼睛区域中产生多个参考位置例如，闪光，瞳孔边缘，眼睑或产生参考位置的冗余测量。当这种情况发生时，处理单元一个或更多会考虑影响跟踪精度的其他因素。例如，如果参考位置的图像最接近一个摄像机的视场中心，那么，可以假设基于来自那个摄像机的测量值的眼睛跟踪和随后的视线跟踪计算比基于来自其他摄像机在其中，所识别的位置较接近摄像机图像的边。
37、缘的测量值的计算更精确。可供选择地，当参考位置的测量值接近所有摄像机图像的边缘时，那么，参考位置的最终确定可以被计算为通过使用不同摄像机的图像而计算的平均位置。这种方案可以考虑来自相邻摄像机的重叠视场，其中靠近一个摄像机的图像边缘的空间畸变可以与相邻摄像机测量的那些相反。求平均处理可以消除这种畸变。可供选择或附加地，如果存在已知畸变，例如，摄像机图像的具体区域中的球面像差大多数镜片产生某种程度的或眼球的曲率，那么，可以应用矫正空间映射函数和/或在求平均之前，可以对测量值加权。本领域中的普通技术人员将理解这类方案或方案的组合。0032在另一个实施例中，照明控制器可以经配置以对光源的电流和电压中的。
38、至少一个进行幅度调制，以便在眼睛跟踪摄像机图像的相应区域提供期望的亮度水平。这通常被称为“幅度调制”。在另一个实施例中，控制电压或电流的持续时间或“停留时间”可以被修改以控制光强度。这通常被称为“脉宽调制”。可选地，同时使用这两种方案也是可能的。0033在任何这些示例中，照明、参考位置跟踪、眼睛跟踪和视线跟踪可以基本连续或间断进行。例如，当眼睛跟踪摄像机不工作时，照明源可以被无效。这可以包括采集摄像机图像之间的时间。当不使用处理器、摄像机和/或照明时，也可以使其无效从而节省电力。为说明书CN104094280A106/14页11了增加安全，也可以降低照明源和/或其他电子装置的电力，或将其断开。。
39、0034在一个示例性实施例中，系统可以包括眼镜或头戴装置框、大致偏离观察者指向以识别参考位置的场景摄像机、耦接到场景摄像机的场景处理单元、指向眼睛的至少一个眼睛跟踪摄像机、指向眼睛的一个或更多个照明源以及耦接到眼睛跟踪摄像机的处理单元与场景处理单元相同或不同。机器视觉技术可以在眼睛跟踪处理单元内使用，以确定闪光位置和眼睛参考位置。接着，闪光位置和相关的照明源产生的向量以及在眼睛跟踪处理单元内识别的眼睛参考位置可以用于视线跟踪计算。0035根据另一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置；安装在所述装置上、在佩戴所述装置的佩戴者的眼睛视场内并被定向以。
40、照亮眼睛的一个或更多个照明源，该一个或更多个照明源经配置以最小化视场内对佩戴者视力的干扰；安装在该装置上并被安置用于观看眼睛的眼睛跟踪摄像机；和耦接到眼睛跟踪摄像机的处理器，其分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置。0036根据又一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置；安装在该装置上并被定向以照亮佩戴者的眼睛的一个或更多个照明源；和安装在该装置上并被安置用于观看眼睛的多个眼睛跟踪摄像机。处理器耦接到眼睛跟踪摄像机，用于分析。
41、眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置，其中所述眼睛跟踪摄像机彼此之间充分间隔开，以使在眼睛运动通过其完整个正常运动范围时，眼睛瞳孔出现在至少一个眼睛跟踪摄像机的眼睛跟踪摄像机图像中。0037根据又一个实施例，提供一种用于确定视线跟踪位置的系统，该系统包括经配置以佩戴在佩戴者头部的装置，当该装置被佩戴时，该装置包括布置在佩戴者眼睛的眼睛前面的镜片；安装在该装置上并被安置以观看佩戴者的环境中的参考位置的场景摄像机；和安装在镜片上以照亮佩戴者的眼睛的多个照明源；安装在该装置上并。
42、被安置用于观看眼睛的多个眼睛跟踪摄像机。耦接到场景摄像机和眼睛跟踪摄像机的处理器用于分析来自场景摄像机和眼睛跟踪摄像机的图像，所述处理器使用来自场景摄像机图像的场景参考位置和来自眼睛跟踪摄像机图像的眼睛跟踪位置确定观察者正在观看的位置。0038根据又一个实施例，提供一种视线跟踪的方法，该方法包括，将装置安置在佩戴者的头部，该装置包括朝向佩戴者的眼睛定向的一个或更多个照明源和多个眼睛跟踪摄像机，该眼睛跟踪摄像机被安置在装置的不同位置处，以提供重叠的眼睛视场；以及分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，。
43、从而确定佩戴者正在观看的位置。0039根据又一个实施例，提供一种视线跟踪的方法，该方法包括，将装置安置在佩戴者的头部，该装置包括朝着佩戴者的眼睛定向的多个照明源和眼睛跟踪摄像机，照明源被布置在佩戴者的视场内并经配置以将所述视场内对佩戴者的视力的干扰最小化；以及分析眼睛跟踪摄像机采集的眼睛图像，以识别眼睛反射的来自一个或更多个照明源的一个或更多说明书CN104094280A117/14页12个闪光并识别眼睛的特征相对于一个或更多个闪光的位置，从而确定佩戴者正在观看的位置。0040通过参考下列具体实施方式并结合附图，本发明的其他方面和特征会变得明显。附图说明0041所述附图示出本发明的示例性实施例。
44、，其中0042图1示出包括一对眼镜的系统的示例性实施例的剖视图，该对眼镜包括安装在眼镜框上的多个摄像机和多个照明源。0043图2示出图1的近视特写图，其中，照明源安装在框架上以及镜片区域内，装置佩戴者通过镜片区域观看环境。0044图3示出眼镜系统的另一个实施例的前视图，其中，该眼镜系统包括安装在眼镜框上的多个摄像机和安装在眼镜框的镜片区域内的多个照明源。图3还示出向安装在眼镜的镜片区域内的照明源供电的接线配置的不同示例。0045图4示出示例性系统的镜片区域的近视特写图，其中照明在远端产生并且眼睛的照亮作为镜片内的小反射面反射的结果发生。0046图5示出示例性几何组件计算的示意图，其中眼球表面与。
45、摄像机之间的距离可以通过使用三角测量法而被大致连续计算。0047图6A和6B示出用于计算到眼球表面的距离的示例性组件的示意图，其中，到眼球表面的距离利用多个摄像机图6A和/或多个照明源图6B测量。0048图7A和7B的示意图示出眼球转动如何可以模糊单个摄像机的视图，限制进行精确视线跟踪测量的能力，而多个摄像机可以在眼睛运动的整个范围上进行精确眼睛跟踪测量。具体实施方式0049转向附图，图1示出包括眼镜框11的系统10的一个示例性实施例，其中眼镜框11具有三个眼睛跟踪摄像机12A、12B、12C，它们指向装置佩戴者的左眼未示出。也指向装置佩戴者的左眼的是三个照明源13A、13B、13C，在此情况。
46、下，照明源安装在眼镜框11上。眼睛跟踪摄像机12A、12B、12C收集到的图像被发送到处理单元14。在这个示例性实施例中，处理单元安装在框架11的左杆15内并耦接到摄像机12A、12B、12C。可选地，为了将重量均匀分配在眼镜框11内，电源例如，电池，未示出和/或其他电子装置可以包裹在与包含处理单元14未示出相对的眼镜框11的杆中。0050处理单元14还可以包括用于储存来自摄像机12A、12B、12C的图像信号的存储器；用于编辑和/或处理图像信号的数字滤波器等。可选地，眼镜框11和/或处理单元14可以包括用于发射数据、接收指令等的一个或更多个收发器、发射器和/或接收器未示出。附加或可选地，处理。
47、可以包括远离框架11和/或处理单元14的组件，类似于在本文其他地方标识的参考文献中公开的实施例。例如，系统10可以包括在处理单元14和/或框架11的一个或更多远端位置处例如在相同的房间中，监测站附近或更远位置的一个或更多个发射器、接收器、处理器和/或显示器未示出。这类显示可以包括框架11上的眼睛跟踪摄像机12A、12B、12C和/或一个或更多个场景摄像机未示出生成的视图。说明书CN104094280A128/14页130051眼睛跟踪摄像机12A、12B、12C可以指向头部，以跟踪瞳孔、眼睑、虹膜、闪光的位置和/或眼睛一只或两只成像区域中的其他参考点。在一个示例性实施例中，眼睛跟踪摄像机12A。
48、、12B、12C可以包括电荷耦合器件CCD、互补金属氧化物半导体CMOS或包括有效面积ACTIVEAREA的其他探测器，例如包括用于捕捉图像和/或生成表示图像的视频信号的矩形或其他像素阵列。摄像机12A、12B、12C中的每个的有效面积可以具有任何期望的形状，例如正方形或矩形形状，圆形等。如果需要，例如，一个或更多个摄像机的有效面积的表面也可以弯曲，以在图像采集期间补偿眼睛附近的三维曲率和周围成像的结构。0052此外，如果需要，摄像机12A、12B、12C可以包括一个或更多个滤光器、镜片等例如，在图5中示出的滤光器57和镜片56，例如，以过滤不希望的光强度和/或光波长、有效面积上的聚焦图像等。。
49、可选地，镜片还可以经配置以拉伸或压缩视场区域，以便补偿至少在一定程度上眼睛附近的三维曲率和周围的结构。0053多个摄像机可以安置在框架11上的不同位置，以便大致连续监测眼睛的三维结构在所有方向上的运动。例如，在图1的实施例中，摄像机12B和12C很好地定位以跟踪在水平轴线上即，假设正常的，直立头部位置发生的眼睛运动。类似地，在眼睛向上运动期间例如，相对于“笔直向前”方向，使用摄像机12A可以采集精确的眼睛跟踪数据，而摄像机12B和12C被很好定位以监测眼睛向下看时的眼睛表面上的参考位置。0054在图1所示实施例中，单个处理单元14用于采集来自系统10内的各种摄像机的图像。处理和/或其他控制电子。
50、装置可以包括单个装置或多个装置，例如微控制器，单核或多核中央处理单元CPU，现场可编程门阵列FPGA或专用集成电路ASIC。0055容纳电子处理和控制元件的其他位置包括眼镜框11的鼻子区域16上方的位置、框架11的右杆未示出内、电气连接到眼镜或头戴装置和/或与眼镜或头戴装置无线通信的外部隔间内例如，紧固到装置佩戴者的腰带或头带或在系统10的框架内的其他位置。可供选择地，电子处理和控制元件可以分布在系统10内的不同位置，例如，为了更均匀分布重量、散热、缩短电缆长度和/或降低功耗。0056在图1所示的实施例中，三个照明源13A、13B、13C固定在眼镜或头戴装置的坚固框架上。在一个示例性实施例中，。