交互式头戴目镜上的本地广告内容.pdf

上传人:zhu****69 文档编号:1882238 上传时间:2018-07-19 格式:PDF 页数:163 大小:4.96MB
返回 下载 相关 举报
摘要
申请专利号:

CN201180021560.X

申请日:

2011.02.28

公开号:

CN102906623A

公开日:

2013.01.30

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):G02B 27/01申请公布日:20130130|||公开

IPC分类号:

G02B27/01; G06F1/16; G06Q30/02(2012.01)I

主分类号:

G02B27/01

申请人:

奥斯特豪特集团有限公司

发明人:

R.F.奥斯特霍特; J.D.哈迪克; R.M.罗泽; K.A.威尔德; N.R.波林科; R.W.金三世

地址:

美国加利福尼亚州

优先权:

2010.02.28 US 61/308,973; 2010.08.13 US 61/373,791; 2010.09.14 US 61/382,578; 2010.11.08 US 61/410,983; 2011.01.03 US 61/429,447; 2011.01.03 US 61/429,445

专利代理机构:

中国专利代理(香港)有限公司 72001

代理人:

马红梅;李浩

PDF下载: PDF下载
内容摘要

本发明涉及一种交互式头戴目镜,其包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。所显示的内容包括本地广告,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告与目镜的位置具有相关性。该头戴目镜还可以包括音频设备且所显示的内容可以包括本地广告和音频。

权利要求书

权利要求书一种由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及
其中,所显示的内容包括本地广告,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告与目镜的位置具有相关性。
权利要求1的目镜,其中,目镜包含能够感测目镜是否与人皮肤接触的电容传感器;并且其中,本地广告基于所述电容传感器是否感测到目镜与人皮肤接触而被发送给用户。
权利要求1的目镜,其中,所述本地广告是响应于目镜被通电而被发送的。
权利要求1的目镜,其中,本地广告被作为横幅广告、二维图形或文本显示给用户。
权利要求1的目镜,其中,所述本地广告与用户的周围环境的视野中的物理方面相关联。
权利要求1的目镜,其中,所述本地广告被显示为增强现实广告,其中,所述本地广告与周围环境的物理方面相关联。
权利要求6的目镜,其中,所述本地广告被显示为三维对象。
权利要求1的目镜,其中,本地广告被显示为与用户的周围环境的视野中的特定对象相关联的动画广告。
权利要求1的目镜,其中,所述本地广告被基于由所述用户执行的网络搜索显示给用户,其中,所述本地广告被显示在网络搜索结果的内容中。
权利要求1的目镜,其中,本地广告的内容是基于所述用户的个人信息确定的,其中,使得所述个人信息可用于网络应用和广告设施中的至少一个;以及
其中,所述网络应用、广告设施和目镜中的至少一个基于所述用户的个人信息来过滤所述广告。
权利要求1的目镜,其中,所述本地广告被高速缓存在服务器上,其中,所述广告被广告设施、网络应用和所述目镜中的至少一个访问并被显示给用户。
权利要求1的目镜,其中,所述用户通过进行眼移动、身体移动及其它姿势中的至少一个动作来请求与本地广告有关的附加信息。
权利要求1的目镜,其中,所述用户通过眼移动、身体移动、其他姿势中的至少一个以及不在一段经过的时间内选择用于进一步交互的所述广告来忽视本地广告。
权利要求1的目镜,其中,所述用户可以选择不允许显示本地广告,由此,所述用户在图形用户界面上或通过经由所述目镜上的控制设施关掉该特征来选择该选项。
权利要求1的目镜,其中,所述本地广告包括到所述用户的音频传输。
一种由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源、以及音频设备;以及
其中,所显示的内容包括本地广告和音频,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告和音频与目镜的位置具有相关性。

说明书

说明书交互式头戴目镜上的本地广告内容
相关申请的交叉引用
本申请要求以下临时申请的权益:其中的每一个被整体地通过引用结合到本文中:2010年2月28日提交的美国临时专利申请61/308,973;2010年8月13日提交的美国临时专利申请61/373,791;2010年9月14日提交的美国临时专利申请61/382,578;2010年11月8日提交的美国临时专利申请61/410,983;2011年1月3日提交的美国临时专利申请61/429,445;以及2011年1月3日提交的美国临时专利申请61/429,447。
技术领域
本公开涉及增强现实目镜、关联的控制技术以及供使用的应用。本公开还涉及用于采集生物统计数据并且使用高度便携式设备使得所采集的数据可通过网络获得的设备。
发明内容
在一个实施例中,目镜可以包括包含光源和LCoS显示器的毫微投影仪(nano‑projector)(或微型投影仪)、使得能够实现TIR反弹(bounce)的(双表面)自由形式波导透镜、设置在LCoS显示器与自由形式波导之间的耦合透镜、以及被附着于波导透镜的使得能够通过透镜适当地查看投影仪是开还是关的楔形光学器件(半透明校正透镜)。投影仪可以包括RGB LED模块。RGB LED模块可以发出场序彩色(field sequential color),其中不同色彩的LED被快速连续地开启以形成被反射离开LCoS显示器的彩色图像。投影仪可以具有偏振射束分离器或投影准直仪。
在一个实施例中,目镜可以包括自由形式波导透镜、自由形式半透明校正透镜、显示器耦合透镜和微型投影仪。
在另一实施例中,目镜可以包括自由形式波导透镜、自由形式校正透镜、显示器耦合透镜和微型投影仪,提供至少80度的FOV和~25 ‑ 30°的虚拟显示器FOV(对角线)。
在实施例中,目镜可以包括被优化以与人头部的人机工程学因素匹配、允许其环绕人脸的光楔波导。
在另一实施例中,目镜可以包括两个自由形式光学表面和波导以使得能够在非常薄的棱镜形状因子内折叠复杂的光路。
本公开提供了一种从个体采集生物统计信息的方法。该方法包括将个体的身体部分定位在传感器前面。该传感器可以是用于采集指纹和掌纹的平板传感器,或者可以是用于采集虹膜纹的光学设备。可以使用视频和音频来采集面部、步态和语音信息。然后当生物统计数据经受视觉捕获时,通常使用从该身体部分反射的光来处理所采集的信息以形成图像。由平板传感器(其还可以是马赛克传感器(mosaic sensor))使用朝着位于传感器内部的照相机反射的光来形成所捕获的图像。可以将所采集的图像存储在采集设备上或上传到生物统计数据的数据库。
实施例提供了一种用于采集生物统计数据的设备。该设备包括包含马赛克传感器的平板,其中,该马赛克传感器具有围绕着该平板的周界定位的多个光源以及垂直于该平板设置的照相机。该设备还包括键盘和用于将该装置安装到用户的前臂的带子。在内部,该装置包括用于确定和记录位置信息的地理位置模块和提供与其他通信设备的无线接口的通信模块。还包括内部时钟且其提供所采集生物统计信息的时间戳。
该设备的另一实施例提供了用于生物统计信息采集的系统。该系统包括用于采集手指和手掌信息的平板传感器、可以是增强现实目镜的一部分的目镜、用于采集面部和步态信息的摄像机以及用于分析所采集的生物统计数据的计算机。然后将所采集的数据与先前采集的信息的数据库相比较并将比较的结果报告给用户。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源,其中所显示的内容包括交互式控制元件;以及集成照相机设施,其对周围环境进行成像,并将用户手部姿势识别为交互式控制元件位置命令,其中响应于该交互式控制元件位置命令,交互式控制元件的位置相对于周围环境中的对象保持固定,无论用户的观看方向如何变化。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源;其中所显示的内容包括交互式控制元件;以及集成照相机设施,其随着其与交互式控制元件相交互而对用户的身体部分进行成像,其中所述处理器通过基于用户的视野减去被确定为与被成像的用户身体部分处于同一地点(co‑locate)的交互式控制元件的一部分来去除该交互式控制元件的该部分。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源。所显示的内容可以包括交互式键盘控制元件,并且其中所述键盘控制元件与输入路径分析仪、单词匹配搜索设施以及键盘输入接口相关联。用户可以通过使定点设备(例如手指、触控笔等)以通过用户想要作为文本输入的单词的近似序列的滑动运动跨越键盘输入接口的字符键滑动来输入文本,其中输入路径分析器确定该输入路径中所接触的字符,单词匹配设施找到与所接触的字符序列的最佳单词匹配并将该最佳单词匹配作为输入文本来输入。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至该光学组件的集成图像源;以及集成照相机设施,其对外部视觉线索(external visual cue)进行成像,其中所述集成处理器识别外部视觉线索并将其解释为用以显示与该视觉线索相关联的内容的命令。视觉线索可以是周围环境中的标志,并且其中所投影的内容与广告相关联。该标志可以是广告牌,并且广告可以是基于用户的偏好简档的个性化广告。视觉线索可以是手部姿势,并且所投影的内容可以是所投影的虚拟键盘。该手部姿势可以是来自第一用户手的拇指和食指姿势,并且虚拟键盘被投影在第一用户手的手掌上,并且其中用户能够用第二用户手在虚拟键盘上键入。手部姿势可以是两只用户手的拇指和食指姿势组合,并且虚拟键盘被投影在如以手部姿势配置的用户手之间,其中用户能够使用用户的手的拇指在虚拟键盘上键入。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源;以及集成照相机设施,其对姿势进行成像,其中所述集成处理器识别该姿势并将其解释为命令指令。控制指令可以提供用于显示的内容的操纵、被传送到外部设备的命令等。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件来观看周围环境和所显示的内容,其中所述光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及安装在目镜上的触觉控制接口,其通过用户触摸该接口和用户正接近该接口中的至少一个来从该用户接受控制输入。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及与目镜集成的多个头部运动感测控制设备中的至少一个,其基于感测到预定义的头部运动特性而向处理器提供控制命令作为命令指令。
所述头部运动特性可以是用户的头部的点头,从而使得该点头是与普通头部运动不同的明显运动。该明显运动可以是头部的摇晃运动。该控制指令可以提供用于显示的内容的操纵,可以被传送以控制外部设备,等。
在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源,其中该光学组件包括电致变色层,其提供取决于所显示的内容要求和周围环境条件的显示特性调整。在实施例中,该显示特性可以是亮度、对比度等。周围环境条件可以是在没有显示特性调整的情况下将使得所显示的内容难以由目镜的佩戴者可视的亮度水平,其中,可以将显示特性调整应用于其中内容正被投影的光学组件的区域。
在实施例中,该目镜可以是由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件可以观看周围环境和所显示的内容。光学组件可以包括校正用户的周围环境的视野的校正元件、以及用于将该内容引入到光学组件的集成图像源。此外,目镜可以包括可调整的环绕(wrap round)可延伸臂,其包括用于将目镜的位置固定在用户的头部上的任何形状记忆材料。该可延伸臂可以从目镜臂的末端延伸。环绕可延伸臂的末端可以用硅树脂覆盖。此外,该可延伸臂可以与彼此相遇并固定,或者其可以独立地抓住头的一部分。在其他实施例中,可延伸臂可以附接于头戴目镜的一部分以将目镜固定于用户的头部。在实施例中,可延伸臂可以从目镜臂的末端伸缩地延伸。在其他实施例中,环绕可延伸臂中的至少一个可以是可从头戴目镜拆卸的。此外,可延伸臂可以是头戴目镜的附加特征。
在实施例中,目镜可以是由用户佩戴的交互式头戴目镜,其中所述目镜包括光学组件,用户通过该光学组件可以观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、以及用于将该内容引入至光学组件的集成图像源。此外,所显示的内容可以包括本地广告,其中目镜的位置是由集成位置传感器确定的。并且,本地广告可以具有与目镜位置的相关性。在其他实施例中,目镜可以包含能够感测目镜是否与人类皮肤接触的电容传感器。可以基于电容传感器是否感测到目镜与人类皮肤接触来向用户发送本地广告。还可以响应于目镜正被通电来发送本地广告。
在其他实施例中,可以作为横幅广告、二维图形或文本来向用户显示本地广告。此外,可以使广告与周围环境的物理方面相关联。在其他实施例中,可以将广告显示为与周围环境的物理方面相关联的增强现实。增强现实广告可以是二维或三维的。此外,广告可以是动画的,并且可以使其与用户的周围环境的视野相关联。还可以基于由用户执行的网络搜索来向用户显示本地广告,并且该本地广告被显示在搜索结果的内容中。此外,可以基于用户的个人信息来确定本地广告的内容。用户的个人信息对于网络应用或广告设施而言可以是可获得的。用户的信息可以被网络应用、广告设施或目镜用来基于用户的个人信息过滤本地广告。可以将本地广告高速缓存在服务器上,在那里其可以被广告设施、网络应用和目镜中的至少一个访问并被显示给用户。
在另一实施例中,用户可以通过进行眼移动、身体移动及其他姿势的任何动作来请求与本地广告有关的附加信息。此外,用户可以通过进行任何眼移动、身体移动及其他姿势或通过不在从显示广告时起的给定时间段内选择用于进一步交互的广告来忽视本地广告。在另外的其他实施例中,用户可以通过在图形用户界面上选择该选项来选择不允许显示本地广告。替换地,用户可以通过经由所述目镜上的控制设施关掉此类特征来不允许此类广告。
在一个实施例中,目镜可以包括音频设备。此外,所显示的内容可以包括本地广告和音频。可以由集成位置传感器来确定目镜的位置,且本地广告和音频可以与目镜位置具有相关性。同样地,用户可以听到对应于所显示的内容和本地广告的音频。
在一方面,交互式头戴目镜可以包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件和具有使得能够实现全内反射的第一和第二表面的光学波导。目镜还可以包括用于处理用于向用户显示的内容的集成处理器,以及用于将该内容引入至光学组件的集成图像源。在此方面,可以以不导致全内反射的内部入射角将所显示的内容引入到光学波导中。然而,目镜还在光学波导的第一表面上包括镜面化的表面以朝着光学波导的第二表面反射所显示的内容。因此,该镜面化的表面使得能够实现进入光学波导的光的全反射或进入光学波导的光的至少一部分的反射。在实施例中,表面可以被100%镜面化或被镜面化至较低百分比。在某些实施例中,作为镜面化的表面的替代,波导与校正元件之间的空气间隙可以引起以将不会导致TIR的入射角进入波导的光的反射。
在一方面,所述交互式头戴目镜可以包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件和用于处理用于向用户显示的内容的集成处理器。目镜还包括集成图像源,其从邻近于目镜的臂的光学波导的一侧将内容引入至光学组件,其中,所显示的内容纵横比在近似正方形到具有近似水平的长轴的近似矩形之间。
在一方面,所述交互式头戴目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、使得能够实现内反射的自由形式光学波导、以及被定位为将来自LCoS显示器的图像指引到光学波导的耦合透镜。该目镜还包括用于处理用于向用户显示的内容的集成处理器和用于将内容投影到光学组件的集成投影仪设施,其中,该投影仪设施包括光源和LCoS显示器,其中,来自光源的光是在处理器的控制下发射的且穿过偏振射束分离器,在那里,其在被反射离开LCoS显示器并进入光学波导中之前被偏振。在另一方面,所述交互式头戴目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、使得能够实现内反射的光学波导、以及被定位为将来自光学显示器的图像指引到光学波导的耦合透镜。该目镜还包括用于处理用于向用户显示的内容的集成处理器,以及用于将内容引入至光学组件的集成图像源,其中所述图像源包括光源和光学显示器。校正元件可以是被附接于光学波导的透明校正透镜,其使得能够实现周围环境的适当观看,无论图像源或投影仪设施是开还是关。自由形式光学波导可以包括双自由形式表面,其使得能够实现波导的曲率和尺寸确定,其中该曲率和尺寸确定使得能够将波导放置在交互式头戴目镜的框架中。光源可以是RGB LED模块,其连续地发射光以形成被反射离开光学或LCoS显示器的彩色图像。目镜还可以包括匀化器,来自光源的光被传播通过该匀化器以保证光束是均匀的。偏振射束分离器的表面将来自光学或LCoS显示器的彩色图像反射到光学波导中。该目镜还可以包括改善进入光学波导的光的分辨率的准直仪。来自光源的光可以是在处理器的控制下发射的并穿过偏振射束分离器,在那里其在被反射离开光学显示器并进入光学波导中之前被偏振。光学显示器可以是LCoS和LCD显示器中的至少一个。图像源可以是投影仪,并且其中所述投影仪是微型投影仪、毫微投影仪(nanoprojector)以及微微投影仪(picoprojector)中的至少一个。该目镜还包括偏振射束分离器,其在来自光源的光被反射离开LCoS显示器并进入光学波导中之前使其偏振,其中偏振射束分离器的表面将来自LCoS显示器的彩色图像反射到光学波导中。
在实施例中,提供了一种用于生物统计数据捕获的设备。生物统计数据可以是视觉生物统计数据,诸如面部生物统计数据或虹膜生物统计数据,或者可以是音频生物统计数据。该设备包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件还包括校正用户的周围环境的视野的校正元件。集成处理器处理内容以便在目镜上向用户显示。该目镜还结合了用于将内容引入到光学组件的集成图像源。生物统计数据捕获是用集成光学传感器组件实现的。音频数据捕获是用集成端射扩音器阵列实现的。所捕获的生物统计数据的处理远程地发生,且使用集成通信设施来传送数据。远程计算设施解释并分析所捕获的生物统计数据,基于所捕获的生物统计数据来生成显示内容,并将显示内容输送到目镜。
另一实施例提供了安装在目镜上以便获得接近目镜的个体的生物统计图像的照相机。
再一实施例提供了一种用于生物统计数据捕获的方法。在该方法中,个体位于接近目镜的位置。这可以通过目镜的佩戴者移动到允许捕获期望的生物统计数据的位置中来实现。一旦被定位,则目镜捕获生物统计数据并将所捕获的生物统计数据传送到将所捕获的生物统计数据存储在生物统计数据数据库中的设施。生物统计数据数据库结合了解释接收到的数据并基于所捕获的生物统计数据的解释来生成显示内容的远程计算设施。此显示内容然后被传送回用户以便在目镜上显示。
再一实施例提供了一种用于音频生物统计数据捕获的方法。在该方法中,个体位于接近目镜的位置。这可以通过目镜的佩戴者移动到允许捕获期望的音频生物统计数据的位置中来实现。一旦被定位,扩音器阵列捕获音频生物统计数据并将所捕获的音频生物统计数据传送到将所捕获的音频生物统计数据存储在生物统计数据数据库中的设施。音频生物统计数据数据库结合了解释接收到的数据并基于所捕获的音频生物统计数据的解释来生成显示内容的远程计算设施。此显示内容然后被传送回用户以便在目镜上显示。
在实施例中,目镜包括被附接于光学波导的外表面的透明校正透镜,其使得能够适当地观看周围环境,无论是否存在所显示的内容。透明校正透镜可以是针对用户的校正镜片处方而定制的处方透镜(prescription lens)。透明校正透镜可以被偏振且可以附接于光学波导和目镜框架中的至少一个,其中,经偏振的校正透镜阻挡从用户的眼睛反射的相反偏振的光。透明校正透镜可以附接于光学波导和目镜框架中的至少一个,其中校正透镜保护光学波导,并且可以包括弹道材料(ballistic material)和ANSI认证的聚碳酸酯材料中的至少一个。
在一个实施例中,交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、用于将内容引入到光学组件的集成图像源、以及与光学组件集成的调整针对用户的所显示的内容的焦点的电可调整透镜。
一个实施例涉及交互式头戴目镜。此交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、以及用于处理内容以向用户显示的交互式头戴目镜的集成处理器。交互式头戴目镜还包括与光学组件集成的电可调整液体透镜、用于将内容引入到光学组件的交互式头戴目镜的集成图像源、以及与集成处理器可操作地连接的存储器,该存储器包括用于通过调整电可调整液体透镜来提供用于所显示内容的校正的至少一个软件程序。
另一实施例是用于由用户佩戴的交互式头戴目镜。该交互式头戴目镜包括安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的所显示内容的视野的校正元件、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的集成图像源、与光学组件集成的调整针对用户的所显示内容的焦点的电可调整液体透镜、以及安装在交互式头戴目镜上的至少一个传感器,其中来自该至少一个传感器的输出被用来使用光学稳定化和图像稳定化中的至少一个使交互式头戴目镜的光学组件的所显示内容稳定。
一个实施例是用于使图像稳定的方法。该方法包括步骤:提供包括照相机和光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容,以及用照相机对周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:通过光学组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,以及经由至少一种数字技术使所显示的内容相对于用户的周围环境的视野稳定。
另一实施例是用于使图像稳定的方法。该方法包括步骤:提供包括照相机和光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容,该组件还包括用于处理内容以向用户显示的处理器和用于将内容投影到光学组件的集成投影仪,以及用照相机对周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:通过光学组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,以及经由至少一种数字技术使所显示的内容相对于用户的周围环境的视野稳定。
一个实施例是用于使图像稳定的方法。该方法包括步骤:提供由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器和用于将内容引入到光学组件的集成图像源;以及用照相机对周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:通过光学组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,将指示目镜的振动和移动的信号发送到交互式头戴设备的集成处理器,以及经由至少一种数字技术来使所显示的内容相对于用户的环境视野稳定。
另一实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及安装在目镜上的校正用户的周围环境的视野的校正元件。该交互式头戴目镜还包括用于处理用于向用户显示的内容的集成处理器、用于将内容引入到光学组件的集成图像源、以及安装在照相机或目镜上的至少一个传感器,其中,来自所述至少一个传感器的输出被用来使用至少一种数字技术使交互式头戴目镜的光学组件的所显示的内容稳定。
一个实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的交互式头戴目镜、安装在该目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的目镜的集成图像源、以及安装在该交互式头戴目镜上的至少一个传感器,其中,来自所述至少一个传感器的输出被用来使用光学稳定化和图像稳定化中的至少一个使交互式头戴目镜的光学组件的所显示的内容稳定。
另一实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的目镜、安装在该目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的集成图像源、串联在集成图像源与光学组件之间的用于使用于向用户显示的内容稳定的电光透镜、以及安装在目镜或用于目镜的底座上的至少一个传感器,其中,来自所述至少一个传感器的输出被用来使交互式头戴目镜的电光透镜稳定。
本文公开的方面包括由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源。
该目镜可以进一步包括佩戴在用户的手上的控制设备,其包括由用户的手的手指致动的至少一个控制部件,并根据所述至少一个控制部件的致动向处理器提供控制命令作为命令指令。该命令指令可以是针对用于向用户显示的内容的操纵。
该目镜可以进一步包括手运动感测设备,其被佩戴在用户的手上,并从运动感测设备向处理器提供控制命令作为命令指令。
该目镜可以进一步包括双向光学组件,用户通过该双向光学组件与如通过该光学组件从集成图像源传送的所显示的内容同时地观看周围环境;以及处理器,其用于处理用于向用户显示的内容和来自传感器的传感器信息,其中处理器使所显示的内容与来自传感器的信息相关以指示眼睛的相对于投影图像的视线,并使用相对于投影图像的视线信息加上用户命令指示来调用动作。
在该目镜中,针对用户的眼睛的视线信息被作为命令指令传送到处理器。
该目镜可以进一步包括用于在目镜的视场内跟踪手部姿势以向目镜提供控制指令的手部运动感测设备。
在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请求关于社交联网网站的成员的信息、以及使用交互式头戴目镜来搜索社交联网网站的附近成员。
在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请求关于社交联网网站的其他成员的信息、发送指示交互式头戴目镜的用户的位置的信号、以及允许访问关于交互式头戴目镜的用户的信息。
在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请求关于社交联网网站的成员的信息、发送指示交互式头戴目镜的用户的位置和至少一个偏好的信号、允许在社交联网站点上访问关于交互式头戴目镜的用户的偏好的信息、以及使用交互式头戴目镜来搜索社交联网网站的附近成员。
在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、使用交互式头戴目镜发起或加入在线游戏站点的游戏、通过交互式头戴目镜的光学组件来观看游戏、以及通过使用交互式头戴目镜来操纵至少一个身体安装的控制设备而玩游戏。
在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、发起或加入与在线游戏站点的多个成员的在线游戏站点的游戏,每个成员使用交互式头戴目镜系统、用光学组件来观看游戏内容、以及通过操纵用于检测运动的至少一个传感器来玩游戏。
在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、使用交互式头戴目镜来联系用于该在线游戏站点的游戏的至少一个附加玩家、使用交互式头戴目镜来发起在线游戏站点的游戏、用交互式头戴目镜的光学组件来观看在线游戏站点的游戏、以及通过使用交互式头戴目镜无接触地操纵至少一个控制设施来玩游戏。
在一方面,一种使用增强视觉的方法包括提供包括光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容、用黑硅短波红外(SWIR)图像传感器来扫描周围环境、通过用户的移动、姿势或命令来控制SWIR图像传感器、将来自传感器的至少一个视觉图像发送到交互式头戴目镜的处理器、以及使用光学组件来观看该至少一个视觉图像,其中,黑硅短波红外(SWIR)传感器提供夜视能力。
在一方面,一种使用增强视觉的方法包括提供包括照相机和光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容、用照相机和黑硅短波红外(SWIR)图像传感器来观看周围环境、通过用户的移动、姿势或命令来控制照相机、将来自照相机的信息发送到交互式头戴目镜的处理器、以及使用光学组件来观看视觉图像,其中,该黑硅短波红外(SWIR)传感器提供夜视能力。
在一方面,一种使用增强视觉的方法包括提供包括光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源、用黑硅短波红外(SWIR)图像传感器来观看周围环境、通过用户的移动和姿势来控制图像传感器的扫描、将来自图像传感器的信息发送到交互式头戴目镜的处理器以及使用光学组件来观看视觉图像,其中,该黑硅短波红外(SWIR)传感器提供夜视能力。
在一方面,一种接收信息的方法包括使用包括光学组件的交互式头戴目镜来联系可访问数据库,用户通过该光学组件观看周围环境和所显示的内容、使用交互式头戴目镜从可访问数据库请求信息、以及使用交互式头戴目镜观看来自可访问数据库的信息,其中,请求和观看信息的步骤是在用户不接触交互式头戴设备的控制设施的情况下实现的。
在一方面,一种接收信息的方法包括使用目镜来联系可访问数据库、使用交互式头戴目镜从可访问数据库请求信息、使用光学设施来显示该信息、以及使用处理器来操纵该信息,其中请求、显示和操纵的步骤是在不触摸交互式头戴目镜的控制设施的情况下实现的。
在一方面,一种接收信息的方法包括使用目镜来联系可访问数据库、在用户的手指不触摸交互式头戴目镜的情况下使用交互式头戴目镜从可访问网站请求信息、允许在不触摸交互式头戴目镜的控制设施的情况下访问可访问网站上的信息、使用光学设施来显示该信息、以及在不触摸交互式头戴目镜的控制设施的情况下使用处理器来操纵该信息。
在一方面,一种社交联网的方法包括提供目镜,用头戴目镜的光学传感器来扫描附近人的面部特征,提取那个人的面部轮廓,使用交互式头戴目镜的通信设施来联系社交联网网站,以及搜索社交联网站点的数据库以获得面部轮廓的匹配。
在一方面,一种社交联网的方法包括提供目镜,用头戴目镜的光学传感器来扫描附近人的面部特征,提取那个人的面部轮廓,使用头戴目镜的通信设施来联系数据库,以及搜索数据库以获得与该面部轮廓匹配的人。
在一方面,一种社交联网的方法包括使用目镜来联系社交联网网站,使用交互式头戴目镜来请求关于社交联网网站的附近成员的信息,用头戴目镜的光学传感器来扫描被识别为社交联网站点的成员的附近人的面部特征,提取那个人的面部轮廓,以及搜索至少一个附加数据库以获得关于那个人的信息。
在一方面,一种使用增强视觉的方法包括提供目镜,通过用户的移动、姿势或命令来控制照相机,将来自照相机的信息发送到交互式头戴目镜的处理器,以及使用光学组件来观看视觉图像,其中,来自照相机和光学组件的视觉图像对于用户而言是焦点、亮度、清晰度和放大倍率中的至少一个方面的改善。
在一方面,一种使用增强视觉的方法包括提供目镜,在不触摸交互式头戴目镜的控制设施的情况下通过用户的移动来控制照相机,将来自照相机的信息发送到交互式头戴目镜的处理器,以及使用交互式头戴目镜的光学组件来观看视觉图像,其中,来自照相机和光学组件的视觉图像对于用户而言是焦点、亮度、清晰度和放大倍率中的至少一个方面的改善。
在另一方面,一种使用增强视觉的方法包括提供目镜,通过交互式头戴目镜的用户的移动来控制照相机,将来自照相机的信息发送到交互式头戴目镜的集成处理器,使用计算机软件和交互式头戴目镜的集成处理器来应用图像增强技术,以及使用交互式头戴目镜的光学组件来观看视觉图像,其中,来自照相机和光学组件的视觉图像对于用户而言是焦点、亮度、清晰度和放大倍率中的至少一个方面的改善。
在一方面,一种用于面部识别的方法包括用目镜来捕获对象的图像,将该图像转换成生物统计数据,将生物统计数据与先前采集的生物统计数据的数据库比较,识别与先前采集的生物统计数据匹配的生物统计数据,以及报告所识别的匹配的生物统计数据作为所显示的内容。
在另一方面,一种系统包括:目镜;与集成处理器设施相关联的人脸检测设施,其中,人脸检测设施捕获周围环境中的人脸的图像,将所捕获的图像与人脸识别数据库中的存储图像相比较,以及提供视觉指示以指示匹配,其中,该视觉指示对应于作为投影内容的一部分的周围环境中的被成像的人脸的当前位置;以及所述目镜中的集成振动致动器,其中,该振动致动器提供振动输出以针对该匹配警告用户。
在本发明的一方面,一种用于增强视觉的方法包括用安装在目镜上的短波红外传感器来采集光子,将所采集的短波红外光谱中的光子转换成电信号,将该电信号中继到目镜以进行显示,使用传感器来采集生物统计数据,使用音频传感器来采集音频数据,以及将所采集的生物统计数据和音频数据传输到数据库。
在一方面,一种用于对象识别的方法包括用目镜来捕获对象的图像,分析对象以确定该对象是否先前已被捕获,增加先前未被捕获和分析的所捕获图像的区域的分辨率,以及降低先前已被捕获和分析的所捕获图像的区域的分辨率。
在另一方面,一种系统包括目镜,以及位置确定系统,该位置确定系统在目镜外部且与处理器设施通信,从而使得传感器的位置信息处理器设施能够确定武器的指向,并且其中处理器设施通过显示器向用户提供内容以指示武器的当前指向。
在一方面,一种系统包括具有通信接口的目镜以及佩戴在用户的手上的控制设备,该控制设备包括至少一个由用户的手的手指致动的控制部件,并根据所述至少一个控制部件的致动向处理器提供控制命令作为命令指令,其中,所述命令指令与识别目标以潜在地用手持式武器射击相关联。
在另一方面,一种系统包括目镜和用于接受用户输入并生成用于目镜的控制指令的武器安装接口。
在再另一,一种系统包括目镜,和用于接受用户输入并生成用于目镜的控制指令的武器安装接口,并且其中所显示的内容涉及关于通过目镜观看的对象的信息。
在一方面,一种系统包括目镜,其中,光学组件被附接于目镜且能够被移动到用户的视场之外。
在一方面,一种采集生物统计信息的方法包括将身体部分定位于传感器的前面,当传感器被从垂直于身体部分的一侧照亮时使用从身体部分反射的光来记录关于该身体部分的生物统计信息,使用从身体部分反射的光来形成图像,以及将图像存储在类似地采集的生物统计信息的数据库中。
在另一方面,一种用于采集生物统计信息的设备包括:包含马赛克传感器的平板,其中该马赛克传感器具有围绕平板的周界定位的多个光源和垂直于平板设置的照相机;键盘;用于安装到用户的前臂的带子;用于确定位置定位的地理位置模块;用于与其他通信设备无线对接的通信模块;以及用于对所采集的生物统计信息加时间戳的时钟。
在再一方面,一种用于采集生物统计信息的系统包括用于采集手指和手掌信息的平板传感器,用于采集虹膜和面部信息的目镜,用于采集面部和步态信息的摄像机,以及用于分析所采集的生物统计数据、与先前采集的信息的数据库相比较并确定所采集的生物统计信息是否先前被存储在数据库中、且呈现分析结果的计算机。
在一方面,一种将数据流式传输至目镜的方法包括提供目镜,将通信接口连接至设备的光学组中,以及将数据从所述设备流式传输至所述目镜。
在另一方面,瞄准器包括用以将目标放大的光学透镜,用于捕获目标的图像的照相机,用于从目标采集生物统计信息的传感器,以及用于将所捕获的图像和生物统计信息传输至目镜的无线数据发射机。
根据实施例和附图的以下详细描述,本公开的这些及其他系统、方法、目的、特征和优点对于本领域的技术人员来说将是显而易见的。
本文中提到的所有文献被借此整体地通过引用结合。应将以单数形式对项目的提及理解为包括以复数形式的项目,并且反之亦然,除非以其他方式明确地指明或从正文清楚可见。语法连接词意图表示被连接的子句、句子、单词等的任何和所有的转折和连接的组合,除非以其他方式指明或从上下文清楚可见。
附图说明
可通过参考以下附图来理解本公开及其某些实施例的以下详细描述。
图1描绘了光学装置的说明性实施例。
图2描绘了RGB LED投影仪。
图3描绘了使用中的投影仪。
图4描绘了设置在框架中的波导和校正透镜的实施例。
图5描绘了用于波导目镜的设计。
图6描绘了具有透明透镜的目镜的实施例。
图7描绘了具有透明透镜的目镜的实施例。
图8a ‑ c描绘了布置在向上翻/向下翻单元中的目镜的实施例。
图8D & 8E描绘了辅助光学器件的搭扣配合元件。
图9描绘了向上翻/向下翻电光模块的实施例。
图10描绘了实时图像增强、梯形失真校正以及虚拟透视校正方面的目镜的优点。
图11描绘了用于三个基板的响应性对波长的图。
图12示出了黑硅传感器的性能。
图13a描绘了现有夜视系统,图13b描绘了本公开的夜视系统,并且图13c示出了两者之间的响应性的差异。
图14描绘了目镜的触觉接口。
图14A描绘了以点头控制为特征的目镜的实施例中的运动。
图15描绘了控制目镜的环。
图15A描绘了虚拟鼠标的实施例中的手部安装的传感器。
图15B描绘了如安装在目镜上的面部致动传感器。
图15C描绘了目镜的手指向控制设施。
图15D描绘了目镜的手指向控制设施。
图15E描绘了眼睛跟踪控制设施的示例。
图15F描绘了目镜的手定位控制设施。
图16描绘了目镜的基于位置的应用模式。
图17示出了在A)能够进行VIS/NIR/SWIR成像的未冷却CMOS图像传感器的柔性平台与B)图像加强的夜视系统之间的图像质量的差别。
图18描绘了启用增强现实的定制广告牌。
图19描绘了启用增强现实的定制广告。
图20是启用增强现实的定制插图。
图20A描绘了用于在观看者到达某个位置时张贴要传送的消息的方法。
图21描绘了目镜光学器件和电子器件的替换布置。
图22描绘了目镜光学器件和电子器件的替换布置。
图23描绘了目镜光学器件和电子器件的替换布置。
图24描绘了虚拟键盘的锁定位置。
图25描绘了投影仪的详图。
图26描绘了RGB LED模块的详图。
图27描绘了游戏网络。
图28描绘了用于使用增强现实眼镜来玩游戏的方法。
图29描绘了用于增强现实目镜的示例性电子电路图。
图30描绘了用于外部设备的眼睛跟踪控制的控制电路。
图31描绘了增强现实目镜的用户之间的通信网络。
图32描绘了基于如由增强现实设备的扩音器捕获的人的语音来识别人的方法的流程图。
图33示出了根据实施例的马赛克手指和手掌登记系统。
图34图示了其他指纹和掌纹系统所使用的传统光学方法。
图35示出了根据实施例的马赛克传感器所使用的方法。
图36描绘了根据实施例的马赛克传感器的设备布局。
图37图示了根据另一实施例的照相机视场和在马赛克传感器中使用的照相机的数目。
图38示出了根据实施例的生物电话(bio‑phone)和战术计算机。
图39示出了根据实施例的捕获潜在指纹和掌纹中的生物电话和战术计算机的使用。
图40图示了典型的DOMEX采集。
图41示出了根据实施例的使用生物电话和战术计算机捕获的生物统计图像与生物统计监视列表之间的关系。
图42图示了根据实施例的袋式生物套装(pocket bio‑kit)。
图43示出了根据实施例的袋式生物套装的部件。
图44描绘了根据实施例的指纹、掌纹、地理位置和POI登记设备。
图45示出了根据实施例的用于多模式生物统计采集、识别、地理位置以及POI登记的系统。
图46图示了根据实施例的指纹、掌纹、地理位置和POI登记前臂可佩戴的设备。
图47示出了根据实施例的移动折叠生物统计登记套装。
图48是根据实施例的生物统计登记套装的高级系统图。
图49是根据实施例的折叠生物统计登记设备的系统图。
图50示出了根据实施例的薄膜指纹和掌纹传感器。
图51示出了根据实施例的用于手指、手掌以及登记数据采集的生物统计采集设备。
图52图示了根据实施例的两级掌纹的捕获。
图53图示了根据实施例的指尖轻敲的捕获。
图54图示了根据实施例的拍击和滚动印记的捕获。
图55描绘了用于获取无接触指纹、掌纹或其他生物统计印记的系统。
图56描绘了用于获取无接触指纹、掌纹或其他生物统计印记的处理。
图57描绘了用于光学或数字稳定化的目镜的实施例。
图58描绘了供在视频呼叫或会议中使用的典型照相机。
图59图示了视频呼叫照相机的方框图的实施例。
图60描绘了经典卡塞格伦配置的实施例。
图61描绘了微型卡塞格伦伸缩式折叠光学照相机的配置。
图62描绘了由目镜实现的部分图像去除。
图63描绘了采用虚拟键盘的挥击(swipe)过程。
图64描绘了用于虚拟键盘的目标标记过程。
图65描绘了目镜的电致变色层。
图66图示了根据实施例的用于生物统计数据捕获的眼镜。
图67图示了根据实施例的使用生物统计数据捕获眼镜的虹膜识别。
图68描绘了根据实施例的人脸和虹膜识别。
图69图示了根据实施例的双全方位扩音器(dual omni‑microphone)的使用。
图70描绘了采用多个扩音器的方向性改善。
图71示出了根据实施例的用以操控音频捕获设施的自适应阵列的使用。
图72描绘了包括目镜的系统的方框图。
具体实施方式
本公开涉及目镜电光器件。该目镜可以包括适合于将图像投影到透明或半透明透镜上、使得目镜的佩戴者能够观看周围环境以及所显示的图像的投影光学器件。也称为投影仪的投影光学器件可以包括使用场序彩色的RGB LED模块。采用场序彩色,可以基于红色、绿色和蓝色的原色将单个全色图像分解成数个色场,并由LCoS(硅上液晶)光学显示器210对该单个全色图像单独地成像。随着每个色场被光学显示器210成像,相应的LED色彩被开启。当以快速序列显示这些色场时,可以看到全色图像。采用场序彩色照明,能够通过使红色图像相对于蓝色和/或绿色图像等移动来针对任何色差调整结果得到的目镜中的投影图像。该图像其后可以被反射到双表面自由形式波导中,在那里,图像光参与全内反射(TIR)直至到达透镜的活动观看区域(active viewing area),在该透镜的活动观看区域处,用户看到图像。可以包括存储器和操作系统的处理器可以控制LED光源和光学显示器。投影仪还可以包括或被光学地耦合到显示器耦合透镜、聚光透镜、偏振射束分离器以及场透镜。
参考图1,可以描绘增强现实目镜100的说明性实施例。将理解的是,目镜100的实施例可以不包括图1中所描绘的所有元件,而其他实施例可以包括附加的或不同的元件。在实施例中,可以将光学元件嵌入目镜的框架102的臂部分122中。可以用投影仪108将图像投影到设置在框架102的开口中的至少一个透镜104上。可以将诸如毫微投影仪、微微投影仪、微型投影仪、毫微微投影仪、基于LASER(激光)的投影仪、全息投影仪等一个或多个投影仪108设置在目镜框102的臂部分中。在实施例中,两个透镜104是透明或半透明的,而在其他实施例中,只有一个透镜104是半透明的,而另一个是不透明的或不存在。在实施例中,可以在目镜100中包括不止一个投影仪108。
在诸如图1中所描绘的那个的实施例中,目镜100还可以包括至少一个连接耳塞(articulating ear bud)120、无线电收发机118和用以从LED光引擎吸收热量、保持其冷却并允许其以全亮度操作的散热器114。还存在TI OMAP4(开放式多媒体应用处理器)112以及具有RF天线110的柔性电缆,所有的这些将在本文中进一步描述。
在实施例中且参考图2,投影仪200可以是RGB投影仪。投影仪200可以包括外壳202、散热器204和RGB LED引擎或模块206。RGB LED引擎206可以包括LED、二向色镜、聚光器等。数字信号处理器(DSP)(未示出)可以将图像或视频流转换成控制信号,诸如电压降/电流修改、脉宽调制(PWM)信号等,以控制LED光的强度、持续时间和混频。例如,DSP可以控制每个PWM信号的占空比以控制流过产生多个色彩的每个LED的平均电流。目镜的静止图像协处理器可以采用噪声过滤、图像/视频稳定化和人脸检测,并且能够实现图像增强。目镜的音频后端处理器可以采用缓冲、SRC、均衡等。
投影仪200可以包括诸如LCoS显示器的光学显示器210以及如所示的许多部件。在实施例中,投影仪200可以被设计具有单面板LCoS显示器210;然而,三面板显示器也可以是可能的。在单面板实施例中,连续地用红色、蓝色和绿色(也称为场序彩色)来照亮显示器210。在其他实施例中,投影仪200可以利用替换的光学显示技术,诸如背光液晶显示器(LCD)、前光LCD、透反LCD、有机发光二极管(OLED)、场发射显示器(FED)、铁电LCoS(FLCOS)等。
可以由任何电源来对目镜供电,诸如电池供电、太阳能供电、线路供电等。可以将电源集成在框架102中或设置于目镜100外部并与目镜100的被供电元件进行电连通。例如,可以将太阳能采集器放置在框架102上、带夹上等。电池充电可以使用壁式充电器、汽车充电器、在带夹上、在目镜壳体中等发生。
投影仪200可以包括:LED光引擎206,其可以被安装在散热器204和保持器208上,以便保证用于LED光引擎的无振动安装;空心锥形光隧道220、扩散器212和聚光透镜214。空心隧道220帮助使来自RGB LED光引擎的快速变化的光匀化。在一个实施例中,空心光隧道220包括镀银涂层。扩散器透镜212在光被引导至聚光透镜214之前进一步对光进行匀化和混频。光离开聚光透镜214并随后进入偏振射束分离器(PBS)218。在PBS中,LED光在其被折射到场透镜216和LCoS显示器210之前被传播并分离成偏振分量。LCoS显示器为微型投影仪提供图像。该图像随后被从LCoS显示器反射并通过偏振射束分离器返回,并且随后被反射九十度。因此,图像在微型投影仪的大约中间处离开微型投影仪200。该光随后被引导至下述耦合透镜504。
在实施例中,可以将数字信号处理器(DSP)编程和/或配置成接收视频馈送信息并对视频馈送进行配置以驱动与光学显示器210一起使用的任何类型的图像源。DSP可以包括用于传送信息的总线或其他通信机构,以及与总线耦合以便处理信息的内部处理器。DSP可以包括存储器,诸如随机存取存储器(RAM)或其他动态存储设备(例如动态RAM(DRAM)、静态RAM(SRAM)以及同步DRAM(SDRAM)),其被耦合到总线以便存储信息和待执行的指令。DSP可以包括非易失性存储器,诸如例如只读存储器(ROM)或其他静态存储设备(例如可编程ROM(PROM)、可擦除PROM(EPROM)以及电可擦PROM(EEPROM)),其被耦合到总线以便存储用于内部处理器的静态信息和指令。DSP可以包括专用逻辑器件(例如专用集成电路(ASIC))或可配置逻辑器件(例如简单可编程逻辑器件(SPLD)、复杂可编程逻辑器件(CPLD)、以及现场可编程门阵列(FPGA))。
DSP可以包括至少一个计算机可读介质或存储器以便保持已编程的指令且以便包含用以驱动光学显示器所需的数据结构、表格、记录或其他数据。适合于本公开的应用的计算机可读介质的示例可以是致密盘、硬盘、软盘、带、磁光盘、PROM(EPROM、EEPROM、闪速EPROM)、DRAM、SRAM、SDRAM或任何其他磁介质、致密盘(例如CD‑ROM)或任何其他光学介质、穿孔卡、纸带或具有孔的图案的其他物理介质、载波(下文描述)或计算机能够从其进行读取的任何其他介质。在执行到光学显示器210以便运行的一个或多个指令的一个或多个序列的过程中可以涉及各种形式的计算机可读介质。DSP还可以包括通信接口以提供到网络链路的数据通信耦合,该网络链路可以连接至例如局域网(LAN)或连接至诸如因特网的另一通信网络。还可以实现无线链路。在任何此类实施方式中,适当的通信接口可以发送和接收电、电磁或光学信号,其向光学显示器210载送表示各种类型的信息(诸如视频信息)的数字数据流。
在另一实施例中,图21和22以分解图描绘了波导和投影仪的替换布置。在此布置中,投影仪被刚好放置在目镜的臂的铰链后面,并且其被垂直地定向,从而使得RGB LED信号的初始行进是垂直的直至方向被反射棱镜改变为止,以便进入波导透镜。垂直布置的投影引擎可以具有在中心处的PBS 218、在底部处的RGB LED阵列、具有薄膜扩散器以使色彩混合以用于光学器件中的采集的空心锥形隧道、以及聚光透镜。PBS可以在入射面上具有预偏器。可以使该预偏器对准以透射某个偏振的光,诸如p偏振光,并反射(或吸收)相反偏振的光,诸如s偏振光。偏振光然后可以通过PBS至场透镜216。场透镜216的目的可以是产生LCoS面板的近焦阑照明。LCoS显示器可以是真正反射性的,以正确的定时连续地反射色彩,因此适当地显示图像。光可以从LCoS面板反射,并且针对图像的亮区域,可以被旋转至s偏振。光然后可以通过场透镜216折射且可以在PBS的内部界面处反射,并离开投影仪,朝着耦合透镜前进。空心锥形隧道220可以替换来自其他实施例的匀化小透镜。通过使投影仪垂直地定向并将PBS放置在中心中,节省了空间且能够以从波导悬挂着的小力矩臂将投影仪放置在铰接空间中。
可以使进入波导的光偏振,诸如s偏振。当此光从用户的眼睛反射时,其可以表现为来自用户的眼睛的“夜辉”。可以通过将透镜附接于波导或框架来去除此夜辉,诸如本文所述的搭扣配合光学器件,其被由从用户的眼睛反射的光相反地偏振,在这种情况下诸如p偏振。
在图21 ‑ 22中,增强现实目镜2100包括框架2102及左和右耳机或镜腿件2104。诸如弹道透镜的防护透镜2106被安装在框架2102的正面上以便保护用户的眼睛或以便在其为处方透镜的情况下校正用户的周围环境的视野。框架的正面部分还可以用来安装照相机或图像传感器2130和一个或多个扩音器2132。在图21中看不到的波导被安装在防护透镜2106后面的框架2102中,中心或可调整鼻梁2138的每侧上一个。前盖2106可以是可互换的,从而使得可以针对增强现实设备的特定用户容易地改变色彩或处方。在一个实施例中,每个透镜是可快速互换的,允许用于每个眼睛的不同处方。在一个实施例中,透镜是用如在本文中的别处所讨论的搭扣配合可快速互换的。某些实施例可以仅在目镜的一侧具有投影仪和波导组合,而另一侧可以用正规透镜、读透镜、处方透镜等来填充。左和右耳机2104中的每个在加载了弹簧的铰链2128的顶上垂直地安装投影仪或微型投影仪2114或其他图像源以用于更容易的组装和振动/冲击保护。每个镜腿件件还包括用于安装用于目镜的关联电子器件的镜腿外壳2116,并且每个还可以包括弹性体头夹垫2120以用于在用户上的更好的保持。每个镜腿件还包括延伸的环绕耳塞2112和用于安装头带2142的孔口2126。
如所述,镜腿外壳2116包含与增强现实目镜相关联的电子器件。该电子器件可以包括如所示出的诸如用于微处理器和无线电2122的若干电路板,芯片上通信系统(SOC)2124以及开放式多媒体应用处理器(OMAP)处理器板2140。芯片上通信系统(SOC)可以包括用于一个或多个通信能力的电子器件,包括广域网(WLAN)、BlueTooth™通信、调频(FM)无线电、全球定位系统(GPS)、3轴加速度计、一个或多个陀螺仪等。另外,右镜腿件可以在镜腿件的外面包括光学触控板(未示出)以用于目镜的用户控制和一个或多个应用。
框架2102具有一对环绕太阳镜的大致性状。眼镜的侧边包括形状记忆合金带2134,诸如镍钛诺带。镍钛诺或其他形状记忆合金带适合于增强现实目镜的用户。该带被修整,从而使得其在被用户佩戴并且升温至接近于体温时呈现它们的经训练或优选的形状。
本实施例的其他特征包括可拆卸噪声消除耳塞。如在图中看到的,耳塞旨在用于连接到增强现实目镜的控制设施以便向用户的耳朵输送声音。该声音可以包括来自增强现实目镜的无线因特网或电信能力的输入。耳塞还包括软的可变形塑料或泡沫材料部分,从而使得用户的内耳以类似于耳塞的方式受到保护。在一个实施例中,耳塞使到用户的耳朵的输入局限于约85 dB。这允许由佩戴者正常听,同时提供针对射击噪声或其他爆破噪声的保护。在一个实施例中,噪声消除耳塞的控制设施具有用于保护佩戴者的耳朵过程中的噪声消除特征的非常快速调整的自动增益控制设施。
图23描绘了垂直布置的投影仪2114的布局,其中,照明光在其到可以是硅背的成像器板和显示器的路上自上而下通过PBS的一侧,并且作为图像光被折射,在那里,其撞击构成偏振射束分离器的三棱镜的内部界面,并被从投影仪反射出来且进入波导透镜中。在本示例中,示出了投影仪的尺寸,其中成像器板的宽度是11 mm,从成像器板的末端至图像中心线的距离是10.6 mm,并且从图像中心线至LED板的末端的距离为约11.8 mm。
在图25中可以看到上文所讨论的投影仪的部件的详细组装图。此图描绘了微型投影仪2500在被组装在例如增强现实目镜的铰链附近时是多么紧凑。微型投影仪2500包括外壳和用于安装某些光学件的保持器208。随着每个色场被光学显示器210成像,相应的LED色彩被开启。RGB LED光引擎202被描绘为接近底部安装在散热器204上。保持器208被安装在LED光引擎202的顶上,该保持器安装光隧道220、扩散器透镜212(以消除热点)和聚光透镜214。光从聚光透镜通过而进入偏振射束分离器218中并随后至场透镜216。光然后折射到LCoS(硅上液晶)芯片210上,在那里形成图像。用于图像的光然后通过场透镜216反射回来并通过偏振射束分离器218被偏振且90°反射。光然后离开微型投影仪以便透射到眼镜的光学显示器。
图26描绘了示例性RGB LED模块。在本示例中,LED是具有1个红色、1个蓝色和2个绿色管芯的2×2阵列,且LED阵列具有4个阴极和一个公共阳极。最大电流可以是每个管芯0.5A,且对于绿色和蓝色管芯而言可能需要最大电压(≈4V)。
图3描绘了使用中的水平设置的投影仪的实施例。可以将投影仪300设置在目镜框架的臂部分中。在处理器控制设施304下,LED模块302可以以快速序列每次发射单个色彩。所发射的光可以沿着光隧道308往下行进并在遭遇偏振射束分离器312且被朝着LCoS显示器314偏转之前通过至少一个匀化小透镜310,在LCoS显示器314处显示全色图像。LCoS显示器可以具有1280×720p的分辨率。图像然后可以通过偏振射束分离器被向上反射回来,在其从投影仪出来的路上被反射离开折叠式反射镜318并行进通过准直仪且进入波导。投影仪可以包括衍射元件以消除像差。
在实施例中,一种交互式头戴目镜包括光学组件,用户通过该光学组件观察周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、使得能够实现内反射的自由形式光学波导、以及被定位为将来自诸如LCoS显示器的光学显示器的图像指引到光学波导的耦合透镜。目镜进一步包括用于处理用于向用户显示的内容的集成处理器和用于将内容引入到光学组件的集成图像源,诸如投影仪设施。在其中图像源是投影仪的实施例中,投影仪设施包括光源和光学显示器。来自诸如RGB模块的光源的光是在处理器的控制下发射的并穿过偏振射束分离器,在那里,其在被反射离开某些其他实施例中的诸如LCoS显示器或LCD显示器的光学显示器并进入光学波导之前被偏振。偏振射束分离器的表面可以将来自光学显示器的彩色图像反射到光学波导中。RGB LED模块可以连续地发射光以形成被反射离开光学显示器的彩色图像。所述校正元件可以是透明校正透镜,其被附接于光学波导以使得能够实现周围环境的适当观看,无论图像源是开还是关。此校正元件可以是楔形校正透镜,并且可以是处方、被着色、被涂覆等。可以用高阶多项式描述的自由形式光学波导可以包括使得能够实现波导的曲率和尺寸确定的双自由形式表面。波导的曲率和尺寸确定使得能够实现其在交互式头戴目镜的框架中的放置。可以将此框架尺寸确定为以类似于太阳镜或眼镜的方式适合用户的头部。目镜的光学组件的其他元件包括匀化器和准直仪,来自光源的光传播通过该匀化器以保证光束是均匀的,并且所述准直仪提高进入光学波导的光的分辨率。
参考图4,可以被偏振和准直的图像光可以可选地穿过显示器耦合透镜412并进入波导414,显示器耦合透镜412可以是也可以不是准直仪本身,或者是除准直仪之外的。在实施例中,波导414可以是自由形式波导,其中,由多项式方程来描述波导的表面。波导可以是直线的。波导414可以包括两个反射表面。当图像光进入波导414时,其可以以大于临界角的入射角撞击第一表面,在所述临界角之上发生全内反射(TIR)。图像光可以参与第一表面与第二面对的表面之间的TIR反弹,最后到达复合透镜的活动观看区域418。在实施例中,光可以参与至少三次TIR反弹。由于波导414呈锥形以使得TIR反弹能够最后离开波导,所以复合透镜420的厚度可以不是均匀的。通过沿着一段自由形式波导414放置楔形校正透镜410,以便跨越透镜420的至少观看区域提供均匀的厚度,可以使通过复合透镜420的观看区域的失真最小化。校正透镜410可以是处方透镜、着色透镜、偏振透镜、弹道透镜等。
在某些实施例中,虽然光学波导可以具有使得能够实现进入波导的光的全内反射的第一表面和第二表面,但光实际上可能不以将导致全内反射的内部入射角进入波导。目镜可以在光学波导的第一表面上包括镜面化的表面以使所显示的内容朝着光学波导的第二表面反射。因此,该镜面化的表面使得能够实现进入光学波导的光的全反射或进入光学波导的光的至少一部分的反射。在实施例中,表面可以被100%镜面化或被镜面化至较低百分比。在某些实施例中,作为镜面化的表面的替代,波导与校正元件之间的空气间隙可以引起以将不会导致TIR的入射角进入波导的光的反射。
在实施例中,目镜包括集成图像源,诸如投影仪,其从邻近于目镜的臂的光学波导的一侧将用于显示的内容引入到光学组件。与其中图像注入从光学波导的顶侧发生的现有技术光学组件相反,本公开提供从波导的一侧到波导的图像注入。所显示的内容纵横比在近似正方形至具有近似水平的长轴的近似矩形之间。在实施例中,所显示的内容纵横比是16:9。在实施例中,可以经由所注入的图像的旋转来完成实现所显示的内容的矩形纵横比,其中,长轴是近似水平的。在其他实施例中,这可以通过使图像拉伸直至其达到期望的纵横比来完成。
图5描绘了示出样本尺寸的波导目镜的设计。例如,在此设计中,耦合透镜504的宽度可以是13~15 mm,其中光学显示器502被串联地光学耦合。可以将这些元件设置在目镜的臂中。来自光学显示器502的图像光通过耦合透镜504被投影到自由形式波导508中。包括波导508和校正透镜510的复合透镜520的厚度可以是9mm。在此设计中,波导502使得能够实现8mm的出瞳直径,具有20mm的眼睛间隙。结果得到的透明视图512可以约为60~70 mm。在其进入波导502时从瞳孔至图像光路的距离(尺寸a)可以约为50 ‑ 60 mm,其能够适应人百分比的人头宽度。在实施例中,视场可以大于瞳孔。在实施例中,视场可以不充满透镜。应理解的是,这些尺寸是用于特定说明性实施例且不应将其理解为限制性的。在实施例中,波导、搭锁光学器件和/或校正透镜可以包括光学塑料。在其他实施例中,波导搭锁光学器件和/或校正透镜可以包括玻璃、边际玻璃、块状玻璃、金属玻璃、富含钯的玻璃或其他适当玻璃。在实施例中,波导508和校正透镜510可以由被选择为导致很小至没有色差的不同材料制成。该材料可以包括衍射光栅、全息光栅等。
在诸如图1中所示的那个的实施例中,当将两个投影仪108用于左和右图像时,投影图像可以是立体图像。为了使得能够实现立体观看,可以将投影仪108放置在离彼此可调整的距离处,其使得能够实现基于目镜的个体佩戴者的瞳孔间距离的调整。
已描述了目镜的某些实施例,我们转为描述各种附加特征、供使用的应用4512、控制技术和外部控制设备4508、关联的外部设备4504、软件、联网能力、集成传感器4502、外部处理设施4510、关联的第三方设施4514等。供与目镜一起使用的外部设备4504包括在娱乐、导航、计算、通信、武器等中有用的设备。外部控制设备4508包括环/手或其他触觉控制器、使得能够实现姿势控制的外部设备(例如非整体照相机、具有嵌入式加速度计的设备)、到外部设备的I/F等。外部处理设施4510包括本地处理设施、远程处理设施、到外部应用的I/F等。供使用的应用4512包括用于商业、消费者、军队、教育、政府、增强现实、广告、媒体等的那些。各种第三方设施4514可以被目镜访问或与目镜相结合地工作。目镜100可以通过无线通信、近场通信、有线通信等与其他目镜100相交互。
图6描绘了具有透明或半透明透镜602的目镜600的实施例。在透镜602上可以看到投影图像618。在本实施例中,正被投影到透镜602上的图像618碰巧是佩戴者正在看的场景的增强现实型式,其中,向佩戴者显示视场中的经标记的感兴趣点(POI)。可以由嵌入到目镜中的前向照相机(图6中未示出)来启用该增强现实型式,其对佩戴者正在看的东西进行成像并识别位置/POI。在一个实施例中,可以将照相机或光学发射机的输出发送到目镜控制器或存储器以用于存储、以用于传送到远程位置或者以用于由佩戴目镜或眼镜的人观看。例如,可以将视频输出流式传输至用户所看到的虚拟屏幕。因此可以使用视频输出来帮助确定用户的位置,或者可以将视频输出远程地发送给其他人以辅助帮助对佩戴者的位置进行定位或用于任何其他目的。可以使用诸如GPS、RFID、手动输入等其他检测技术来确定佩戴者的位置。使用位置或识别数据,可以由目镜针对可以与正在被看到的东西一起被覆盖、投影或以其他方式显示的信息来访问数据库。在本文中将进一步描述增强现实应用和技术。
在图7中,描绘了目镜700的实施例,其具有在其上面正在显示流式传输的媒体(e‑mail应用)和输入呼叫通知的半透明透镜702。在本实施例中,该媒体使观看区域的一部分模糊,然而,应理解的是,可以将所显示的图像定位于视场中的任何地方。在实施例中,可以使得媒体或多或少透明。
在实施例中,目镜可以从诸如外部转换器盒的任何外部源接收输入。该源可以被描绘在目镜的透镜中。在实施例中,当外部源是电话时,目镜可以使用电话的定位能力来显示基于位置的增强现实,包括来自基于标记的AR应用的标记覆盖。在实施例中,可以使用在目镜的处理器或关联设备上运行的VNC客户端来连接至并控制计算机,其中,佩戴者在目镜中看到计算机的显示器。在实施例中,可以将来自任何源的内容流式传输至目镜,诸如来自骑在车辆的顶上的全景照相机的显示、用于设备的用户界面、来自无人驾驶飞机或直升飞机的图像等。例如,安装于枪的照相机可以使得当照相机馈送被指引到目镜时能够射击不在直接视线中的目标。
透镜可以是变色的,诸如对光反应变色或电致变色。电致变色透镜可以包括整体变色材料或变色涂层,其响应于由处理器跨变色材料施加的电荷突发而改变透镜的至少一部分的不透明度。例如,并且参考图65,透镜6504的变色部分6502被示出为变暗,诸如以便在该部分正向佩戴者示出所显示的内容时提供目镜的佩戴者的更大的可观看性。在实施例中,在透镜上可以存在可以被独立地控制的多个变色区域,诸如透镜的大部分、投影区域的子部分、被控制至像素水平的透镜和/或投影区域的可编程区域等。可以经由在本文中进一步描述的控制技术来控制变色材料的激活,或者采用某些应用(例如流式传输视频应用、太阳跟踪应用)或者是响应于框架嵌入式UV传感器来自动地启用变色材料的激活。该透镜可以具有角度敏感的涂层,其使得能够以低入射角透射光波并以高入射角反射光,诸如s偏振光。可以诸如由本文所述的控制技术来部分地或整体地控制变色涂层。透镜可以是可变对比度。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。该光学组件可以包括电致变色层,其提供取决于所显示的内容要求和周围环境条件的显示特性调整。在实施例中,显示特性可以是亮度、对比度等。周围环境条件可以是在没有显示特性调整的情况下将使得所显示的内容难以被目镜的佩戴者可见的亮度水平,其中,可以对其中正在显示内容的光学组件的区域施加显示特性调整。
在实施例中,目镜可以具有在目镜投影区域上的亮度、对比度、空间的、分辨率等控制,以致于相对于亮或暗周围环境改变和改善用户的投影内容的视野。例如,用户可以在亮日光条件下使用目镜,并且为了使用户清楚地看到所显示的内容,可能需要在亮度和/或对比度方面改变显示区域。替换地,可以改变显示区域周围的观看区域。另外,经改变的区域无论是否在显示区域内均可以被根据正被实现的应用来空间地定向或控制。例如,可能仅需要改变显示区域的一小部分,诸如当显示区域的该部分偏离显示区域的显示部分与周围环境之间的某个确定的或预定的对比率时。在实施例中,可以在亮度、对比度、空间范围、分辨率等方面改变透镜的部分,诸如可以将透镜的部分固定至包括整个显示区域,调整至透镜的仅一部分,透镜的部分可以是针对周围环境的照明条件和/或所显示的内容的亮度‑对比度方面的变化是可自适应的且动态的,等等。空间范围(例如受所述改变影响的区域)和分辨率(例如显示光学分辨率)在透镜的不同部分上可以不同,包括高分辨率段、低分辨率段、单像素段等等,其中,可以将不同的段组合以实现正在执行的(一个或多个)应用的观看目标。在实施例中,用于实现亮度、对比度、空间范围、分辨率等的改变的技术可以包括电致变色材料、LCD技术、光学器件中的嵌入式小珠、柔性显示器、悬浮颗粒器件(SPD)技术、胶体技术等。
在实施例中,可以存在电致变色层的各种激活模式。例如,用户可以在复合透镜看起来仅稍微变暗的情况下进入太阳镜模式,或者用户可以在复合透镜看起来完全变黑的情况下进入“黑视”模式。
在可以在实现亮度、对比度、空间范围、分辨率等的改变时采用的技术的示例中,可以是电致变色材料、膜、墨等。电致变色是当施加电荷时由某些材料所显示的可逆地改变外观的现象。根据特定应用,可以使用各种类型的材料和结构来构造电致变色设备。例如,电致变色材料包括氧化钨(WO3),其是在电致变色窗户或智能玻璃的生产中使用的主要化学制品。在实施例中,可以在实现改变时在目镜的透镜上使用电致变色涂层。在另一示例中,在实现‘电子纸’时可以使用电致变色显示器,其被设计成模拟普通纸的外观,其中,电子纸像普通纸一样显示反射光。在实施例中,可以在多种应用和材料中实现电致变色,包括旋转球(gyricon)(包含嵌入到透明硅树脂片材中的聚乙烯球体,其中每个球体悬浮在油的气泡中,从而使得其能够自由地旋转)、电泳显示显示器(通过使用所施加的电场重新布置带电颜料颗粒来形成图像)、电子墨技术、电润湿(electro‑wetting)、电射流(electro‑fluidic)、干涉测量调制器、被嵌入到柔性衬底中的有机晶体管、毫微变色显示器(NCD)等。
在实现亮度、对比度、空间范围、分辨率等的改变时可以采用的技术的另一示例中,可以是悬浮颗粒器件(SPD)。当向SPD膜施加小电压时,其微观颗粒(其处于其稳定状态)被随机地分散,变得对齐并允许光通过。响应可以是即时的、均匀的,并且遍及整个膜具有稳定的色彩。电压的调整可以允许用户控制通过的光、闪光和热的量。系统的响应可以在从深蓝外观、直至其关断状态下的光的完全阻挡、到其接通状态下的清晰的范围内。在实施例中,SPD技术可以是施加在塑料衬底上的、产生活性膜的乳剂。可以将此塑料膜层压(作为单个玻璃板)、悬浮在两片玻璃、塑料或其他透明材料之间等。
参考图8,在某些实施例中,可以按两个部分:1)电光器件;以及2)校正透镜以单筒或双筒向上翻/向下翻布置来安装电光器件。图8a描绘了两部分目镜,其中电光器件被包含在模块802内,其可以被经由诸如插头、插销、插座、布线等电连接器810电连接至目镜804。在此布置中,框架814中的透镜818可以完全是校正透镜。可以在鼻梁808处调整电光模块802的两半之间的瞳孔间距离(IPD)以适应各种IPD。类似地,可以经由鼻梁808来调整显示器812的放置。图8b描绘了双筒电光模块802,其中一半向上翻且另一半向下翻。鼻梁可以是完全可调整的且是弹性体的。在实施例中,透镜818可以是服从ANSI的硬涂层防刮聚碳酸酯弹道透镜,可以是变色的,可以具有角度敏感涂层,可以包括UV敏感材料等。
如针对图8的讨论中所述,增强现实眼镜可以包括用于佩戴者的每个眼睛的透镜818。透镜818可以被制成为容易地配合到框架814中,从而使得可以针对该眼镜意图用于的那个人来修整每个透镜。因此,透镜可以是校正透镜,并且还可以被着色以便用作太阳镜,或者具有适合于预定环境的其他质量。因此,可以使透镜着黄色、暗色或其他适当色彩,或者其可以是光致变色的,使得当暴露于较亮的光时透镜的透明度减小。在一个实施例中,还可以将透镜设计成用于搭扣配合到框架中或上,即透镜上的搭扣是一个实施例。
当然,透镜不需要是校正透镜;其可以简单地充当太阳镜或者作为用于框架内的光学系统的保护。在非向上翻/向下翻布置中,毋庸置疑,外透镜对于帮助保护增强现实眼镜内的相当昂贵的波导、观看系统和电子器件而言是重要的。最少,外透镜提供保护以免受用户的环境造成的刮擦,无论是一种环境中的沙、荆棘、刺等,以及另一环境中的飞行的碎片、子弹和榴霰弹。另外,外透镜可以是装饰性的,用于改变复合透镜的外表,可能对用户的个性化或时尚感产生吸引力。外透镜还可以帮助一个单独用户将他或她的眼镜与其他的区别开,例如当许多用户聚集在一起时。
理想的是,透镜适合于诸如弹道冲击的冲击。因此,在一个实施例中,透镜和框架符合针对抗弹性能的ANSI标准Z87.1‑2010。在一个实施例中,透镜还符合弹道标准CE EN166B。在另一实施例中,针对军事用途,透镜和框架可以符合MIL‑PRF‑31013的标准,标准3.5.1.1或4.4.1.1。这些标准中的每一个对抗弹性能具有略微不同的要求,并且每个意图保护用户的眼睛免于遭受高速抛射体或碎片的冲击。虽然未指定特定的材料,但诸如某些Lexan®级的聚碳酸酯常常足以通过在适当标准中指定的测试。
在一个实施例中,如图8d中所示,透镜从框架的外面、不是在内部咬合(snap in),以获得更好的冲击阻力,因为任何冲击被预期是来自增强现实目镜的外面。在本实施例中,可替换的透镜819具有配合到框架820的凹槽820a中的多个搭扣配合臂819a。臂的啮合角819b大于90°,而凹槽的啮合角820b也大于90°。使该角度大于直角具有允许将透镜819从框架820去除的实践效果。如果人的视力已改变或者如果出于任何原因期望不同的透镜,则可能需要去除透镜819。搭扣配合的设计是使得在透镜与框架之间存在轻微的压缩或承载负荷。也就是说,可以诸如通过透镜在框架内的轻微过盈配合而将透镜牢固地保持在框架内。
图8d的悬臂搭扣配合不是用以使透镜和框架可去除地搭扣配合的唯一可能方式。例如,可以使用环形搭扣配合,其中,框架的连续密封突缘啮合透镜的扩展边缘,其然后搭扣配合到突缘中,或者可能在突缘之上。该搭扣配合通常用来将帽结合到墨水笔。此配置可以具有更坚固关节的优点,其具有较少机会以允许非常小的尘垢颗粒进入。可能的缺点包括围绕着透镜和框架二者的整个周界要求相当紧的容限以及用于随时间推移在所有三个维度上的维度完整性的要求。
还可以使用甚至更简单的接口,其仍可以被视为搭扣配合。可以将凹槽成型到框架的外表面中,其中透镜具有突出表面,可以将其视为配合到凹槽中的舌状物。如果凹槽是半圆柱形的,诸如从约270°至约300°,则舌状物将扣到凹槽中并被牢固地保持,其中通过保持在凹槽中的间隙,去除仍是可能的。在图8E中所示的本实施例中,可以将具有舌状物828的透镜或替换透镜或盖826插入框架825中的凹槽827中,即使透镜或盖未搭扣配合到框架中。由于配合是紧密的配合,所以其将充当搭扣配合并将透镜牢靠地保持在框架中。
在另一实施例中,可以用常规的舌状物和凹槽配合以两块(诸如下部和上部)来制造框架。在另一实施例中,此设计还可以使用标准紧固件来保证由框架实现的透镜的紧密夹持。该设计不应要求框架的内部的任何东西的拆卸。因此,应将搭锁或其他透镜或盖组装到框架上,或者从框架去除,而不必进入框架内部。如在本公开的其他部分中所述,增强现实眼镜具有许多组成部分。组件和子组件中的某些可能要求仔细的对准。移动和震动这些组件对于其功能而言可能是有害的,如将移动和震动框架及外部或搭锁透镜或盖那样。
在实施例中,向上翻/向下翻布置使得能够实现用于目镜的模块化设计。例如,不仅能够为目镜装配单筒或双筒模块802,而且还可以将透镜818交换。在实施例中,模块802中可以包括附加的特征,该附加的特征与一个或者两个显示器812相关联。例如,模块802的单筒或双筒型式可以仅仅是显示器902(单筒)、904(双筒)或者可以装配有向前看照相机908(单筒)以及910 & 912(双筒)。在某些实施例中,模块可以具有附加的集成电子器件,诸如GPS、激光测距仪等。在实施例912中,双筒电光模块912装配有立体向前看照相机920和激光测距仪918。
在实施例中,电光器件特性可以是但不限于如下:

在实施例中,投影仪特性可以是如下:

在另一实施例中,增强现实目镜可以包括电控透镜作为微型投影仪的一部分或者作为微型投影仪与波导之间的光学器件的一部分。图21描绘了具有该液体透镜2152的实施例。
眼镜还包括至少一个照相机或光学传感器2130,其可以提供用于供用户观看的一个或多个图像。该图像由在眼镜的每一侧上的微型投影仪2114形成以便输送到在该侧上的波导2108。在一个实施例中,还提供了附加的光学元件,变焦透镜2152。该透镜可被用户电调整,使得在波导2108中看到的图像对于用户而言是聚焦的。
可变透镜可以包括由法国里昂S.A.的Varioptic或由美国加利福尼亚州Mountain View的LensVector公司提供的所谓液体透镜。此类透镜可以包括具有两种不互溶液体的中心部分。通常,在这些透镜中,通过在浸没在液体中的电极之间施加电势来改变或聚焦通过透镜的光的路径,即透镜的焦距。液体中的至少一个受到结果得到的电或磁场势的影响。因此,可能发生电润湿,如在转让给Lens Vector公司的美国专利申请公开2010/0007807中所述的那样。在LensVector专利申请公开2009/021331和2009/0316097中描述了其他技术。全部的这三个公开被通过引用结合到本文中,如同在本文中逐字地阐述每页和附图一样。
来自S.A.的Varioptic的其他专利文献描述了用于变焦透镜的其他设备和技术,其也可以通过电润湿现象进行工作。这些文献包括美国专利号7,245,440和7,894,440及美国专利申请公开2010/0177386和2010/0295987,其中的每一个也被通过引用结合到本文中,如同在本文中逐字地阐述每页和附图一样。在这些文献中,所述两种液体通常具有不同的折射率和不同的导电性,例如一种液体是导电的,诸如水成液,而另一液体是绝缘的,诸如油状液。施加电势可以改变透镜的厚度且改变通过透镜的光的路径,因此改变透镜的焦距。
可以由眼镜的控制设施来控制电可调整透镜。在一个实施例中,通过从控制设施调用菜单并调整透镜的焦点来进行焦点调整。可以分别地控制透镜或者可以一起控制。通过物理地转动控制旋钮、通过用姿势来指示或通过语音命令来进行调整。在另一实施例中,增强现实眼镜还可以包括测距仪,并且可以通过使诸如激光测距仪的测距仪指向与用户相距期望距离的目标或对象来自动地控制电可调整透镜的焦点。
如上文所讨论的美国专利号7,894,440中所示,还可以将可变透镜应用于增强现实眼镜或目镜的外透镜。在一个实施例中,透镜可以简单地代替校正透镜。替代安装图像源或投影仪的透镜或者除此之外,可以使用具有其电可调整控制设施的可变透镜。校正透镜插入件提供用于用户的环境、外面世界的校正光学器件,无论波导显示器是否是活动的。
使呈现给增强现实眼镜或(一个或多个)目镜的佩戴者的图像、也即波导中看到的图像稳定是重要的。所呈现的该视图或图像从安装在目镜上的一个或两个数字照相机或传感器行进到数字电路,在那里,图像被处理,并且如果期望的话在其出现在眼镜的显示器中之前被存储为数字数据。在任何情况下,并且如上文所讨论的,然后使用该数字数据来诸如通过使用LCOS显示器和一系列的RGB 发光二极管来形成图像。使用一系列透镜、偏振射束分离器、电动液体校正透镜和从投影仪至波导的至少一个过渡透镜来处理光图像。
采集和呈现图像的过程包括增强现实眼镜的部件之间的多个机械和光学联接。因此,很明显将要求某种形式的稳定化。这可以包括最直接的原因、照相机本身的光学稳定化,因为其被安装在移动平台、眼镜上,其本身被可移动地安装在移动用户上。因此,可以要求照相机稳定化或校正。另外,应将至少某稳定化或校正用于液体可变透镜。理想地,该点处的稳定化电路不仅可以针对液体透镜进行校正,而且可以针对来自在液体透镜上游的电路的许多部分(包括图像源)的任何像差和振动进行校正。本系统的一个优点是许多商业化成品照相机是非常高级的且通常具有至少一个图像稳定化特征或选项。因此,可以存在本公开的许多实施例,每个具有使图像或非常快速的图像流稳定的相同或不同方法,如下文所讨论的那样。术语光学稳定化在本文中通常与物理地使照相机、照相机平台或其他物理对象稳定的意义一起使用,而图像稳定化指的是数据操纵和处理。
在数字图像被形成时对数字图像执行图像稳定化的一个技术。此技术可以使用在可见帧的边界外面的像素作为用于不期望运动的缓冲。替换地,该技术可以使用在随后的帧中的另一相对稳定的区域或基础。此技术可应用于摄像机,以足以抵消运动的方式将电子图像从视频的帧到帧移动。此技术并不取决于传感器且直接通过减小来自移动照相机的振动及其他造成混乱的运动来使图像稳定。在某些技术中,可以减慢图像的速度以便向数字处理的其余部分增加稳定化处理,并且每个图像要求更多的时间。这些技术可以使用根据帧间运动差计算的全局运动矢量来确定稳定化的方向。
用于图像的光学稳定化使用重力或电子驱动的机构来移动或调整光学元件或成像传感器,从而使得其抵消环境振动。使所显示的内容光学稳定的另一方式是提供容纳增强现实眼镜的平台例如用户的陀螺校正和感测。如上所述,在增强现实眼镜或目镜上可用和使用的传感器包括MEMS陀螺传感器。这些传感器以非常小的增量在三个维度上捕获移动和运动,且可以用作反馈以实时地校正从照相机发送的图像。很明显,不期望和不需要的移动的至少一大部分可能是由用户和照相机本身的移动引起的。这些较大移动可以包括用户的大幅度移动,例如走步或跑步、驾驶车辆。在增强现实目镜内也可能引起较小的振动,亦即形成从照相机(输入端)至波导(输出端)中的图像的路径的电和机械联接中的部件中的振动。这些大幅度移动对于校正或解决(account for)而不是例如在投影仪的下游的部件的联接中的独立且小的移动而言可能是更加重要的。
运动感测因此可以用来感测运动并对其进行校正,如在光学稳定化中,或者用来感测运动并随后校正正在被获取和处理的图像,如在图像稳定化中。在图57A中描绘了用于感测运动并校正图像或数据的设备。在本设备中,可以使用一种或多种运动传感器,包括加速度计、角位置传感器或陀螺仪,诸如MEMS陀螺仪。来自传感器的数据被反馈到适当的传感器接口,诸如模数转换器(ADC)或其他适当接口,诸如数字信号处理器(DSP)。微处理器然后处理此信息,如上文所讨论的,并且将图像稳定的帧发送到显示驱动器且然后至上文所讨论的透明显示器或波导。在一个实施例中,显示从增强现实目镜中的微型投影仪中的RGB显示开始。
在另一实施例中,可以将视频传感器或增强现实眼镜或具有视频传感器的其他设备安装在车辆上。在本实施例中,可以通过电信能力或因特网能力将视频流传送给车辆中的人员。一个应用可以是一个区域的游览或旅行。另一实施例可以是一个区域的探测或侦查,或者甚至是巡逻。在这些实施例中,图像传感器的陀螺稳定化将是有帮助的,而不是将陀螺校正应用于图像或表示图像的数字数据。在图57B中描绘了此技术的实施例。在此技术中,照相机或图像传感器3407安装在车辆3401上。诸如陀螺仪的一个或多个运动传感器3406被安装在照相机组件3405中。稳定化平台3403从运动传感器接收信息并使照相机组件3405稳定,使得在照相机操作的同时抖动和摆动被最小化。这是真正的光学稳定化。替换地,可以将运动传感器或陀螺仪安装在稳定化平台本身上或内部。此技术实际上将提供光学稳定化,其使照相机或图像传感器稳定,这与数字稳定化相反,数字稳定化之后通过对由照相机获取的数据的计算机处理来校正图像。
在一个技术中,光学稳定化的关键是在图像传感器将图像转换成数字信息之前应用稳定化或校正。在一个技术中,对来自诸如陀螺仪或角速度传感器的传感器的反馈进行编码并将其发送到致动器,该致动器移动图像传感器,如同自动调焦机构调整透镜的焦点一样。图像传感器以使得保持图像到图像平面上的投影的这样的方式被移动,该投影是所使用的透镜的焦距的函数。可以通过透镜本身来获取自动测距和焦距信息,其可能来自交互式头戴目镜的测距仪。在另一技术中,可以使用有时也称为陀螺传感器的角速度传感器来分别地检测水平和垂直移动。然后可以将所检测的运动反馈到电磁体以移动照相机的浮动透镜。然而,此光学稳定化技术将必须被应用于所预期的每个透镜,使得结果相当昂贵。
在转让给法国里昂S.A.的Varioptic的美国专利申请公开2010/0295987中讨论了液体透镜的稳定化。在理论上,液体透镜的控制是相对简单的,因为仅存在一个要控制的变量:在透镜的导电和非导电液体中施加于电极的电压电平,例如使用透镜外壳和帽作为电极。施加电压经由电润湿效应引起液体‑液体界面中的变化或倾斜。此变化或倾斜调整透镜的焦点或输出。在其最基本的术语方面而言,具有反馈的控制方案然后将施加电压并确定所施加的电压对结果、即图像的焦点或散光的影响。可以以例如相等且相反的+和‑电压、不同幅度的两个正电压、不同幅度的两个负电压等的模式来施加电压。此类透镜称为电可变光学透镜或电光透镜。
可以以各模式在短时间段内向电极施加电压并进行对焦点或散光的检查。可以例如由图像传感器来进行该检查。另外,在照相机上或者在这种情况下在透镜上的传感器可以检测照相机或透镜的运动。运动传感器将包括安装在液体透镜或非常接近于液体透镜的光学组的一部分上的加速度计、陀螺仪、角速度传感器或压电传感器。在一个实施例中,然后由所施加的电压和给定移动水平所需的电压或校正程度来构造诸如校准表之类的表格。还可以例如通过在液体的不同部分中使用分段电极从而使得可以施加四个电压而不是两个来增加更多的改进。当然,如果使用四个电极,则可以以比仅用两个电极的情况多许多的模式来施加四个电压。这些模式可以包括至相反各段的相等且相反的正和负电压等。在图57C中描绘了示例。四个电极3409被安装在液体透镜外壳(未示出)内。两个电极被安装在非导电液体中或附近,并且两个被安装在导电液体中或附近。每个电极在可以被施加的可能电压的方面是独立的。
可以构造查找表或校准表并将其放置在增强现实眼镜的存储器中。在使用中,加速度计或其他运动传感器将感测眼镜、即眼镜上的照相机或透镜本身的运动。诸如加速度计的运动传感器将特别地感测小振动类型运动,其干扰图像到波导的顺利输送。在一个实施例中,可以将这里所描述的图像稳定化技术应用于电可控液体透镜,从而使得来自投影仪的图像被立即校正。这将使投影仪的输出稳定,至少部分地校正增强现实目镜的振动和移动以及用户的至少某些移动。还可以存在用于调整校正的增益或其他参数的手动控制。请注意,除了已经由图像传感器控制设施提供且作为可调整焦点投影仪的一部分讨论的焦点调整之外,此技术还可以用来校正单个用户的近视眼或远视眼。
另一变焦元件使用可调谐液晶单元以使图像聚焦。例如在美国专利申请公开号2009/0213321、2009/0316097和2010/0007807中公开了这些,其被整体地通过引用结合与此并被依赖。在这种方法中,液晶材料被包含在透明单元内,优选地具有匹配的折射率。该单元包括透明电极,诸如由氧化铟锡(ITO)制成的那些。使用一个螺旋状电极以及第二螺旋状电极或平面电极,施加空间不均匀的磁场。可以使用其他形状的电极。磁场的形状确定液晶单元中的分子的旋转以实现折射率和因此的透镜焦点的变化。因此可以对液晶进行电磁操纵以改变其折射率,使可调谐液晶单元充当透镜。
在第一实施例中,在图57D中描绘了可调谐液晶单元3420。该单元包括液晶3421的内层和诸如聚酰亚胺的定向材料的薄层3423。此材料帮助使液晶沿着优选方向定向。透明电极3425在定向材料的每侧上。电极可以是平面的,或者可以是螺旋形状的,如图57D中的右侧所示。透明玻璃3427基板包括单元内的材料。电极被形成为使得其将使形状适合于磁场。如所述,在一个实施例中使用在一侧或两侧上的螺旋形状电极,从而使得这两个不是对称的。在图57E中描绘了第二实施例。可调谐液晶单元3430包括中心液晶材料3431、透明玻璃基板壁3433以及透明电极。底部电极3425是平面的,而顶部电极3437具有螺旋的形状。透明电极可以由氧化铟锡(ITO)制成。
可以将附加电极用于液晶到非定形或自然状态的快速反转。因此使用小的控制电压来动态地改变光通过的材料的折射率。该电压产生期望形状的空间不均匀磁场,允许液晶充当透镜。
在一个实施例中,照相机包括在本专利中的其他地方描述的黑硅短波红外(SWIR)CMOS传感器。在另一实施例中,照相机是5兆像素(MP)光学稳定的视频传感器。在一个实施例中,控制设施包括3 GHz微处理器或微控制器,并且还可以包括633 MHz数字信号处理器,其具有用于来自照相机或视频传感器的图像的实时图像处理的30 M多边形/第二图形加速器。在一个实施例中,增强现实眼镜可以包括无线因特网、用于宽带、个域网(PAN)、局域网(LAN)、广域网、WLAN、服从IEEE 802.11的无线电或电信能力、或者回传通信。在一个实施例中提供的设备包括服从IEEE 802.15的蓝牙能力。在一个实施例中,增强现实眼镜包括加密系统,诸如256位高级加密系统(AES)加密系统或其他适当的加密程序,以用于安全通信。
在一个实施例中,无线电信可以包括用于3G或4G网络的能力,并且还可以包括无线因特网能力。为了获得延长的寿命,增强现实目镜或眼镜还可以包括至少一个锂离子电池以及如上文所讨论的再充电能力。再充电插头可以包括AC/DC功率转换器,并且可以能够使用多个输入电压,诸如120或240VAC。在一个实施例中的用于调整可调整焦点透镜的焦点的控制设施包括2D或3D无线空中鼠标或可对用户的姿势或移动进行响应的其他非接触控制设施。2D鼠标可从美国加利福尼亚州弗里蒙特的Logitech获得。在本文中描述了3D鼠标,或者可以使用诸如从R.O.C.台湾的Cideko获得的Cideko AVK05之类的其他。
在一个实施例中,目镜可以包括适合于控制光学器件和关联系统的电子器件,包括中央处理单元、非易失性存储器、数字信号处理器、3D图形加速器等。目镜可以提供附加的电子元件或特征,包括惯性导航系统、照相机、扩音器、音频输出、电源、通信系统、传感器、计时表或精密计时计功能、温度计、振动镜腿电机、运动传感器、用以使得能够实现系统的音频控制的扩音器、用以使得能够用光致变色材料来实现对比度和变暗的UV传感器等。
在实施例中,目镜的中央处理单元(CPU)可以是OMAP 4,具有双1 GHz处理器核。CPU可以包括633 MHz DSP,其给出用于30兆多边形/秒的CPU的能力。
该系统还可以提供用于提供附加的可移动非易失性存储器的双微SD(安全数字)插槽。
车载照相机可以提供1.3 MP色彩和达到60分钟的视频连续镜头的记录。可以无线地或使用微型USB传输设备传输所记录的视频以卸载连续镜头。
芯片上通信系统(SOC)可以能够用广域网(WLAN)、蓝牙版本3.0、GPS接收机、FM无线电等进行操作。
目镜可以在具有长的电池寿命且容易使用的3.6 VDC锂离子可再充电电池上进行操作。可以在系统框架的外部通过太阳电池来提供附加电源。这些太阳电池可以供应功率且还可以能够对锂离子电池进行再充电。
目镜的总功耗可以约为400 mW,但是根据所使用的特征和应用而可变。例如,具有相当数量的视频图形的处理器密集型应用需要更多功率,并且将更接近于400 mW。更简单的,较小视频密集的应用将使用较少的功率。关于充电的操作时间也可以随应用和特征使用而变。
在本文中也称为投影仪的微型投影仪照明引擎可以包括多个发光二极管(LED)。为了提供逼真的色彩,使用Osram红色、Cree绿色以及Cree蓝色LED。这些是基于管芯的LED。RGB引擎可以提供可调整色彩输出,允许用户使针对各种程序和应用的观看最优化。
在实施例中,可以向眼镜添加照明或者通过各种手段来控制照明。例如,可以在目镜的框架中、诸如在鼻梁中、在复合透镜周围或在镜腿处嵌入LEG灯或其他灯。
可以对照明的强度和或照明的色彩进行调制。可以通过本文所述的各种控制技术、通过各种应用、滤波和放大来实现调制。
通过示例,可以通过本文所述的各种控制技术,诸如通过控制旋钮的调整、姿势、眼睛移动或语音命令来对照明进行调制。如果用户期望增加照明强度,则用户可以调整眼镜上的控制旋钮,或者他可以调整在透镜上显示的用户界面中的控制旋钮或者用其他手段。用户可以使用眼睛移动来控制在透镜上显示的旋钮,或者他可以用其他手段来控制该旋钮。用户可以通过手的移动或其他身体移动来调整照明,从而使得照明的强度或色彩基于用户进行的移动而改变。并且,用户可以通过语音命令,诸如通过说出请求增加或减少的照明或请求显示其他色彩的短语来调整照明。另外,可以通过本文所述的任何控制技术或用其他手段来实现照明调制。
此外,可以按照正执行的特定应用来对照明进行调制。作为示例,应用可以基于用于该应用的最佳设置来自动地调整照明的强度或照明的色彩。如果当前的照明水平未处于针对正在执行的应用的最佳水平,则可以发送消息或命令以提供照明调整。
在实施例中,可以通过滤波和或通过放大来实现照明调制。例如,可以采用允许改变光的强度和或色彩从而使得实现最佳或期望的照明的滤波技术。此外,在实施例中,可以通过应用较多或较少的放大来调制照明的强度以达到期望的照明强度。
可以将投影仪连接至显示器以向用户输出视频及其他显示元素。所使用的显示器可以是SVGA 800 ×600点/英寸SYNDIANT硅上液晶(LCoS)显示器。
用于系统的目标MPE尺寸可以是24 mm×12 mm×6 mm。
焦点可以是可调整的,允许用户改进投影仪输出以适应其需要。
可以将光学系统包含在由6061‑T6铝和填充玻璃的ABS/PC制造的外壳内。
在实施例中,估计系统的重量为3.75盎司或95克。
在实施例中,目镜和关联电子器件提供夜视能力。可以用黑硅SWIR传感器来启用此夜视能力。黑硅是增强硅的光响应超过100倍的互补金属氧化物硅(CMOS)处理技术。光谱范围被扩展为深至短波红外(SWIR)波长范围内。在此技术中,向眼镜添加300 nm深的吸收和抗反射层。如图11中所示,此层提供改善的响应性,其中,黑硅的响应性在可见和NIR范围上比硅的响应性大得多,并且很好地延伸至SWIR范围内。此技术相比于当前技术而言是个进步,当前技术遭受极其高的成本、性能问题以及高容量可制造性问题。将此技术结合到夜视光学器件中给设计带来CMOS技术的经济优点。
这些优点包括只有在需要时才使用有源照明。在某些情况下,在晚上可能存在足够的自然照明,诸如在满月期间。当情况如此时,使用有源照明的人工夜视可能不是必须的。用基于黑硅CMOS的SWIR传感器,在这些条件期间可以不需要有源照明,并且未提供有源照明,因此增加了电池寿命。
另外,黑硅图像传感器在夜晚天空条件下可以具有在昂贵的砷化铟镓图像传感器中发现的信噪比的八倍以上。此技术还提供了更好的分辨率,提供比使用用于夜视的当前技术可获得的分辨率高得多的分辨率。通常,由基于CMOS的SWIR产生的长波长图像已经难以解释,具有良好的热检测,但是具有不良的分辨率。用依赖于短得多的波长的黑色图像硅SWIR传感器解决了此问题。由于这些原因,SWIR对于战场夜视眼镜而言是高度理想的。图12图示了黑硅夜视技术的有效性,提供了在通过a)灰尘,b)雾和c)烟看的前图像和后图像两者。图12中的图像说明新的VIS/NIR/SWIR黑硅传感器的性能。
先前的夜视系统遭受来自亮光源(诸如街灯)的“刺眼的闪光”。这些“刺眼的闪光”在图像增强技术中特别强且还与分辨率损失相关联。在某些情况下,在图像增强技术系统中需要冷却系统,增加了重量并缩短电池电源寿命周期。图17示出了A)能够进行VIS/NIR/SWIR成像的未冷却CMOS图像传感器的柔性平台与B)图像被强化的夜视系统之间的图像质量的差别。
图13描绘了当前或现有视觉增强技术和未冷却的CMOS图像传感器之间的结构差异。现有平台(图13A)由于成本、重量、功耗、光谱范围以及可靠性问题而限制部署。现有系统通常包括前透镜1301、光阴极1302、微通道板1303、高压电源1304、磷屏幕1305以及目镜1306。这与能够以成本、功耗和重量的一小部分进行VIS/NIR/SWIR成像的未冷却的CMOS图像传感器1307的柔性平台(图13B)相反。这些简单得多的传感器包括前透镜1308和具有数字图像输出的图像传感器1309。
这些优点源自于CMOS兼容的处理技术,其增强硅的光响应超过100倍并将光谱范围延伸为深至短波红外区内。在图13C中图示了响应性差异。虽然典型的夜视护目镜局限于UV、可见光和近红外(NIR)范围,局限于约1100 nm(1.1微米),但较新的CMOS图像传感器范围还包括短波红外(SWIR)光谱,达到2000 nm(2微米)那么多。
黑硅核心技术相比于当前夜视眼镜而言可以提供显著的改善。飞秒激光掺杂可以增强跨广谱的硅的光检测性质。另外,可以将光学响应提高到100至10,000倍。与当前夜视系统相比,黑硅技术是非常低的成本下的快速、可缩放且CMOS兼容的技术。黑硅技术还可以提供典型地具有3.3V的低工作偏压。另外,未冷却性能可以是可能达到50℃。当前技术的冷却要求增加了重量和功耗二者,并且还产生用户的不适。如上所述,黑硅核心技术提供了用于当前图像增强器技术的高分辨率替换。黑硅核心技术可以在具有最小串扰的情况下在达到1000帧/秒的速度下提供高速电子开闭。在夜视目镜的某些实施例中,OLED显示器相比于其他光学显示器(诸如LCoS显示器)而言可以是优选的。
目镜的其他优点可以包括稳健的连接性。此连接性使得能够使用蓝牙、Wi‑Fi /因特网、蜂窝、卫星、3G、FM/AM、TV、和UVB收发机来实现下载和传输。
目镜可以诸如通过与蜂窝式系统的个人无线连接提供其自己的蜂窝连接性。个人无线连接可以仅对于目镜的佩戴者而言是可用的,或者其可以可用于诸如在Wi‑Fi热点(例如MiFi)中的多个附近用户,在那里,目镜提供局部热点供其他人利用。这些附近用户可以是其他目镜佩戴者,或者是诸如移动通信设施(例如移动电话)的某些其他无线计算设备的用户。通过此个人无线连接,佩戴者可以不需要其他蜂窝式或因特网无线连接以连接至无线服务。例如,在没有被集成到目镜中的个人无线连接的情况下,佩戴者可能必须找到到其移动通信设施的WiFi连接点或范围以便建立无线连接。在实施例中,目镜可以能够通过将这些功能和用户接口集成到目镜中来替换针对具有诸如移动电话、移动计算机等的单独移动通信设备的需要。例如,目镜可以具有集成WiFi连接或热点、真实或虚拟键盘接口、USB集线器、扬声器(例如以将音乐流式传输至)或扬声器输入连接、集成照相机、外部照相机等。在实施例中,与目镜相连的外部设备可以提供具有个人网络连接(例如WiFi、蜂窝式连接)、键盘、控制板(例如触摸板)等的单个单元。
目镜可以包括基于MEMS的惯性导航系统,诸如GPS处理器、加速度计(例如以便使得能够实现系统的头部控制及其他功能)、陀螺仪、高度计、倾斜计、速度计/里程计、激光测距仪以及磁力计,其也使得能够实现图像稳定化。
目镜可以包括集成头戴式受话器,诸如连接耳塞120,其向用户或佩戴者提供音频输出。
在实施例中,与目镜集成的面朝前照相机(参见图21)可以使得能够实现基本的增强现实。在增强现实中,观看者可以对正在观看的东西进行成像并且然后在基本视图的顶部上将增强的、编辑的、标记的或分析的版本分层。在替换方案中,可以与基本图像一起或在基本图像之上显示关联数据。如果提供了两个照相机并将两个照相机安装在用于用户的正确瞳孔间距离处,则可以产生立体视频图像。此能力可以对要求视觉帮助的人有用。许多人遭受其视觉方面的缺陷,诸如近视眼、远视眼等。如本文所述的照相机和非常接近的虚拟屏幕为此类人提供了“视频”,该视频在焦点、更近或更远方面是可调整的,并且完全处于由人经由语音或其他命令的控制下。此能力还可以对遭受眼睛疾病(诸如白内障、色素性视网膜炎等)的人有用。只要仍有某些组织视觉能力,增强现实目镜就能够帮助人看得更清楚。目镜的实施例可以以放大、增加的亮度以及将内容映射到仍然健康的眼睛区域的能力中的一个或多个为特征。目镜的实施例可以用作双焦点或放大眼镜。佩戴者可以能够在视场中增加变焦或者在部分视场内增加变焦。在实施例中,关联照相机可以产生对象的图像并随后为用户呈现变焦图片。用户界面可以允许佩戴者诸如用本文所述的控制技术指向他想要变焦的区域,因此,图像处理能够继续工作,与只是在照相机的视场中的所有东西上放大相反。
在另一实施例中,还可以将面朝后照相机(未示出)结合到目镜中。在本实施例中,面朝后照相机可以使得能够实现目镜的目视控制,其中用户通过将他或她的眼睛指向在目镜上显示的特定项目来进行应用或特征的选择。
用于捕获关于个体的生物统计数据的设备的另一实施例可以将微型卡塞格伦伸缩式折叠光学照相机结合到设备中。可以将微型卡塞格伦伸缩式折叠光学照相机安装在手持式设备(诸如生物印记设备、生物电话)上,并且还可以将其安装在被用作生物套装的一部分的眼镜上以采集生物统计数据。
卡塞格伦反射器是主凹镜与辅助凸镜的组合。这些反射器常常在光学望远镜和无线电天线中使用,因为其在较短、较小的封装中递送良好的光(或声)采集能力。
在对称的卡塞格伦中,两个镜关于光轴对齐,并且主镜通常在中心处具有孔,允许光到达目镜或照相机芯片或光检测设备,诸如CCD芯片。在无线电望远镜中常常使用的替换设计将最终焦点放置在主反射器前面。另一替换设计可以使镜子倾斜以避免阻碍主或辅助镜,并且可以消除对于主镜或辅助镜中的孔的需要。微型卡塞格伦伸缩式折叠光学照相机可以使用上述变体中的任何一个,其中最后的选择由光学设备的期望尺寸来确定。
典型的卡塞格伦配置使用抛物面反射器作为主镜以及双曲面镜作为辅助镜。微型卡塞格伦伸缩式折叠光学照相机的其他实施例可以使用双曲面主镜和/或球形或椭圆形辅助镜。在操作中,如图60中所示,具有抛物面主镜和双曲面辅助镜的典型卡塞格伦通过主6000中的孔将光向下反射回来。使光路折叠使得设计更加紧凑,并且采取“微型”尺寸,适合于与本文所述的生物印记传感器和生物印记套装一起使用。在折叠式光学系统中,射束被弯折以使得光路比系统的物理长度长得多。折叠式光学器件的一个常见示例是棱镜双筒镜。在照相机透镜中,可以将辅助镜安装在光学平面、光学透明的玻璃板上,其关闭透镜管。此支撑体消除了由直叶片支撑三脚架引起的“星形”衍射效应。这虑及密封关闭的管并保护主镜,虽然光采集能力有一定损失。
卡塞格伦设计还利用抛物面和双曲面反射器的特殊性质。凹抛物面反射器将把所有进入的光线与其对称轴平行地反射至单个焦点。凸双曲面反射器具有两个焦点并将指向一个焦点的所有光线朝着另一焦点反射。此类透镜中的镜被设计和定位为共享一个焦点,将双曲面镜的第二焦点放置在与观察图像的地方相同的点处,通常刚好在目镜外面。抛物面镜将进入透镜的平行光线反射至其焦点,该焦点与双曲面镜的焦点一致。双曲面镜然后将那些光线反射到另一焦点,在那里照相机记录图像。
图61示出了微型卡塞格伦伸缩式折叠光学照相机6100的配置。可以将照相机安装在增强现实眼镜、生物电话或其他生物统计采集设备上。组件6100具有允许照相机随着卡塞格伦光学器件一起延伸、提供更长的光路的多个伸缩段。螺纹3602允许将照相机安装在诸如增强现实眼镜或其他生物统计采集设备的设备上。虽然图61中描绘的实施例使用螺纹,但还可以使用其他安装方案,诸如卡口座、旋钮或压配合。当透镜处于完全缩进位置中时,第一伸缩段3604还充当外壳。照相机还可以结合电机以驱动照相机的伸展和缩进。还可以包括第二伸缩段3606。根据要采集的数据或所选任务所需的光路的长度,其他实施例可以结合变化数目的伸缩段。第三伸缩段3608包括透镜和反射镜。如果遵循典型的卡塞格伦设计来设计照相机,则反射镜可以是主反射器。可以在第一伸缩段3604中包含辅助镜。
其他实施例可以利用显微镜(microscopic mirror)来形成照相机,同时仍通过使用折叠式光学器件来提供较长的光路。使用卡塞格伦设计的相同原理。
透镜3610提供用于与卡塞格伦设计的折叠式光学器件相结合地使用的光学器件。可以从多种类型中选择透镜3610,并且透镜3610可以根据应用而变。螺纹3602允许根据用户的需要来将多种照相机互换。
可以由在系统处理器上加载的对象识别软件来控制和激活特征和选项选择的目视控制。对象识别软件可以使得能够实现增强现实,将识别输出与查询数据库相组合,将识别输出与计算工具相组合以确定依赖关系/可能性等。
在结合了3D投影仪的附加实施例中也可以进行三维观看。可以使用两个堆叠的微微投影仪(未示出)来产生三维图像输出。
参考图10,具有用于每个传感器阵列和投影仪的冗余微指令和DSP的多个数字CMOS传感器检测可见光、近红外光和短波红外光以使得能够实现无源日夜操作,诸如实时图像增强1002、实时梯形失真校正1004以及实时虚拟透视校正1008。
可以由任何储能系统对增强现实目镜或眼镜进行供电,诸如电池供电、太阳能供电、线路供电等。可以将太阳能采集器放置在框架上、带夹上等。电池充电可以使用壁式充电器、汽车充电器、在带夹上、在眼镜壳体中等发生。在一个实施例中,目镜可以是可再充电的且被装配有用于再充电的微型USB连接器。在另一实施例中,可以通过一个或多个远程感应功率转换技术来为目镜配备远程感应再充电,所述远程感应功率转换技术诸如由美国巴拿马州Ligonier的Powercast提供的那些;以及美国密歇根州Ada的Fulton Int'l公司,其还拥有另一提供商,英国剑桥的Splashpower公司。
增强现实目镜还包括照相机和将照相机连接至电路所必要的任何接口。可以将照相机的输出存储在存储器中,并且还可以在可用于眼镜的佩戴者的显示器上显示照相机的输出。还可以使用显示驱动器来控制显示。增强现实设备还包括电源(诸如电池,如所示)、功率管理电路和用于对电源再充电的电路。如在其他地方所述,再充电可以经由例如微型USB连接器之类的硬连接或借助于感应器、太阳板输入等进行。
用于目镜或眼镜的控制系统可以包括用于在诸如电池的电源指示低功率时节约功率的控制算法。此节约算法可以包括关断到能量密集型的应用的功率,能量密集型的应用诸如照明、照相机或要求高水平的能量的传感器,例如诸如要求加热器的任何传感器。其他节约步骤可以包括减慢用于传感器或用于照相机的功率,例如减慢采样或帧速率,当功率低时达到较慢的采样或帧速率;或者在甚至更低的水平下关断传感器或照相机。因此,根据可用功率可以存在至少三个操作模式:正常模式;节约功率模式;以及紧急或关断模式。
可以通过佩戴者的移动和直接动作(诸如他或她的手、手指、脚、头、眼睛等的移动)来控制本公开的应用,通过目镜的设施(例如加速度计、陀螺仪、照相机、光学传感器、GPS传感器等)和/或通过佩戴或安装在佩戴者上的设施(例如安装于身体的传感器控制设施)来启用本公开的应用。以这种方式,佩戴者可以在不使用传统手持式远程控制器的情况下通过其身体的移动和/或动作来直接控制目镜。例如,佩戴者可以具有安装在一只或两只手上(诸如在至少一个手指上、在手掌上、在手背上等)的感测设备(诸如位置感测设备),其中,位置感测设备提供手的位置数据,并且将位置数据的无线通信作为命令信息提供给目镜。在实施例中,在位置信息的提供中,本公开的感测设备可以包括陀螺仪设备(例如电子陀螺仪、MEMS陀螺仪、机械陀螺仪、量子陀螺仪、环状激光陀螺仪、光纤陀螺仪)、加速度计、MEMS加速度计、速度传感器、力传感器、光学传感器、接近传感器、RFID等。例如,佩戴者可以具有安装在其右手食指上的位置感测设备,其中,该设备能够感测手指的运动。在本示例中,用户可以通过目镜上的某切换机构或通过手指的某预定运动序列来激活目镜,所述手指的某预定运动序列诸如快速地移动手指,对着硬表面轻敲手指等。请注意,对着硬表面轻敲可以通过由加速度计、力传感器等感测来加以解释。位置感测设备然后可以将手指的运动作为命令信息来传送,诸如在空中移动手指以跨越所显示或投影的图像来移动光标、以快速的运动来移动以指示选择等。在实施例中,位置感测设备可以将所感测的命令信息直接发送到目镜以用于命令处理,或者该命令处理电路可以与位置感测设备处于同一地点,诸如在本示例中,作为包括位置感测设备的传感器的组件的一部分而被安装在手指上。
在实施例中,佩戴者可以具有安装在其身体上的多个位置感测设备。例如,并且继续先前的示例,佩戴者可以具有安装在手上的多个点上的位置感测设备,诸如在不同的手指上具有单独的传感器,或者作为设备的集合,诸如在手套中。这样,可以使用来自手上的不同位置处的传感器的集合的聚合感测命令信息来提供更复杂的命令信息。例如,在模拟游戏的模拟和播放中的本公开的使用中,佩戴者可以使用传感器设备手套来玩游戏,其中,该手套感测用户的手在球、球棒、球拍等上的抓握和运动。在实施例中,可以将所述多个位置感测设备安装在身体的不同部分上,允许佩戴者将身体的复杂运动传送到目镜以供应用使用。
在实施例中,感测设备可以具有力传感器,诸如用于在感测设备与对象进行接触时进行检测。例如,感测设备可以在佩戴者的手指的尖端处包括力传感器。在这种情况下,佩戴者可以轻敲、多次轻敲、连续轻敲、挥击、触摸等以向目镜生成命令。还可以使用力传感器来指示触摸、夹紧、推动等的程度,其中,预定的或学习的阈值确定不同的命令信息。这样,可以将命令作为一系列连续命令来传送,其通过目镜不断地更新正在应用中使用的命令信息。在示例中,佩戴者可以运行模拟,诸如游戏应用、军事应用、商业应用等,其中,移动和诸如通过多个感测设备中的至少一个与对象的接触被作为命令馈送到目镜,其影响通过目镜显示的模拟。
在实施例中,感测设备可以包括光学传感器或光学发射机作为用于将移动解释为命令的方式。例如,感测设备可以包括安装在佩戴者的手上的光学传感器,并且目镜外壳可以包括光学发射机,从而使得当用户移动他的手经过目镜上的光学发射机时,可以将该运动解释为命令。通过光学传感器所检测的运动可以包括以不同的速度经过的挥击、具有重复的运动、停留和移动的组合等。在实施例中,可以将光学传感器和/或发射机定位于目镜上,安装在佩戴者上(例如在手、脚上、在手套、一件衣服中),或者以组合方式在佩戴者上的不同区域与目镜之间使用等。
在一个实施例中,将对于监视佩戴者或接近于佩戴者的人的条件有用的许多传感器安装在增强现实眼镜中。由于电子技术的发展,传感器已变得小得多。信号变送和信号处理技术也已经在尺寸减小和数字化的方向上取得了重大进展。因此,可能的是:不仅在AR眼镜中具有温度传感器,而且具有整个传感器阵列。如所述,这些传感器可以包括温度传感器、以及还有用于检测以下各项的传感器:脉搏率;心率变异性;EKG或ECG;呼吸率;核心体温;来自身体的热流;皮肤电反应或GSR;EMG;EEG;EOG;血压;体脂肪;水合作用水平;活动水平;耗氧量;葡萄糖或血糖水平;身体位置;以及UV辐射暴露或吸收。另外,除了其他之外还可以存在视网膜传感器和血氧传感器(诸如Sp02传感器)。此类传感器可从多种制造商获得,包括美国VT的Bellows Falls的Vermed;芬兰Ventaa的VTI;以及美国MA的Lexington的ServoFlow。
在某些实施例中,使传感器安装在人身上或人的设备上而不是在眼镜本身上可能更有用。例如,可以有用地将加速度计、运动传感器和振动传感器安装在人身上、人的衣服上或人佩戴的设备上。这些传感器可以通过Bluetooth®无线电发射机或遵守IEEE 802.11规范的其他无线电设备来保持与AR眼镜的控制器的连续或周期性接触。例如,如果医生希望监视病人在竞走期间所经历的运动或冲击,则如果传感器被直接安装在人的皮肤上或者甚至人所穿的T恤衫上而不是安装在眼镜上,该传感器可能是更有用的。在这些情况下,可以由放置在人身上或衣服上而不是在眼镜上的传感器来获得更准确的读数。此类传感器不需要与将适于安装在眼镜本身上的传感器那样小,并且更加有用,如所看到的那样。
AR眼镜或护目镜还可以包括环境传感器或传感器阵列。这传感器被安装在眼镜上并对佩戴者附近的大气或空气进行采样。这些传感器或传感器阵列可以对某些物质或物质的浓度敏感。例如,传感器和阵列可用来测量一氧化碳的浓度、氮氧化物(“NOx”)、温度、相对湿度、噪声水平、挥发性有机化合物(VOC)、臭氧、颗粒、硫化氢、大气压和紫外光及其强度。供应商和制造商包括:FR的Crolles的Sensares;FR的Ales的Cairpol;加拿大B.C.、Delta的Critical Environmental Technologies of Canada;中国深圳的Apollo Electronics 公司;以及英国Cheshire的Stockport的AV技术有限公司。许多其他传感器是众所周知的。如果将此类传感器安装在人身上或人的衣服或设备上,它们也可以是有用的。这些环境传感器可以包括辐射传感器、化学传感器、毒气传感器等。
在一个实施例中,将环境传感器、健康监视传感器或两者安装在增强现实眼镜的框架上。在另一实施例中,可以将传感器安装在人身上或人的衣服或设备上。例如,可以植入用于测量佩戴者的心脏的电活动的传感器,具有用于变送和传送指示人的心脏活动的信号的适当附件。可以经由Bluetooth®无线电发射机或遵守IEEE 802.15.1规范的其他无线电设备来非常短距离地传送信号。可以替代地使用其他频率或协议。然后可以由增强现实眼镜的信号监视和处理设备来处理该信号,并且将该信号记录并显示在可用于佩戴者的虚拟屏幕上。在另一实施例中,还可以经由AR眼镜将信号发送给佩戴者的朋友或班长。因此,可以由这个人和由其他人来监视这个人的健康和安宁,并且还可以随着时间的推移跟踪这个人的健康和安宁。
在另一实施例中,可以将环境传感器安装在人身上或人的设备上。例如,如果佩戴在人的外衣或腰带上而不是直接安装在眼镜上,则辐射或化学传感器可能更有用。如上所述,可以由人通过AR眼镜来本地地监视来自传感器的信号。还可以应要求或自动地、可能以设定间隔(诸如每四分之一小时或半小时)来将传感器读数传送到别的地方。因此,可以出于跟踪或趋势确定的目的而产生传感器读数的历史,无论是人体的读数还是环境的读数。
在实施例中,可以使RF/微功率脉冲无线电(MIR)传感器与目镜相关联并充当近程医学雷达。传感器可以在超宽带上操作。传感器可以包括RF/脉冲发生器、接收机以及信号处理器,并且可以用于通过测量皮肤的3mm内的心脏细胞中的离子流来检测和测量心脏信号。接收机可以是相控阵列天线以使得能够确定空间区域中的信号的位置。可以使用传感器来检测并识别通过障碍的心脏信号,所述障碍诸如墙壁、水、混凝土、灰尘、金属、木材等。例如,用户可以能够使用传感器来通过检测到多少心率来确定多少人位于混凝土结构中。在另一实施例中,所检测的心率可以充当人的唯一标识符,从而使得其可以在将来被识别。在实施例中,可以将RF/脉冲发生器嵌入一个设备中,诸如目镜或某个其他设备,同时将接收机嵌入不同的设备中,诸如另一目镜或设备。这样,当在发射机与接收机之间检测到心率时,可以产生虚拟“拉发线”。在实施例中,可以使用传感器作为现场诊断或自诊断工具。可以分析EKG并将其存储以便将来用作生物统计标识符。用户可以接收所感测的心率信号的警报和存在多少心率作为目镜中的所显示的内容。
图29描绘了具有多种传感器和通信设备的增强现实目镜或眼镜的实施例。如所示,一个或多于一个环境或健康传感器被通过近程无线电电路和天线本地地或远程地连接至传感器接口。该传感器接口电路包括用于检测、放大、处理和转送或传送由(一个或多个)传感器所检测的信号的所有设备。远程传感器可以包括例如植入的心率监视器或其他人体传感器(未示出)。其他传感器可以包括加速度计、倾斜计、温度传感器、适合于检测一个或多个化学品或气体的传感器、或在本公开中讨论的其他健康或环境传感器中的任何一个。该传感器接口被连接至增强现实设备的微处理器或微控制器,可以从该点将所收集的信息记录在存储器中,诸如随机存取存储器(RAM)或永久存储器、只读存储器(ROM),如所示出的那样。
在实施例中,感测设备使得能够通过目镜来实现同时的电场感测。电场(EF)感测是允许计算机检测、评估其附近的对象并与其附近的对象一起工作的接近感测的一种方法。与皮肤的物理接触,诸如与另一个人的握手或与导电或非导电设备或对象的某种其他物理接触可以被感测为电场的变化,并且使得能够进行向或从目镜的数据传输或终止数据传输。例如,可以将由目镜捕获的视频存储在目镜上,直至具有嵌入的电场感测收发机的目镜的佩戴者触摸对象并发起从目镜到接收机的数据传输为止。该收发机可以包括发射机,其包括朝着人体感生电场的发射机电路和数据感测电路,该数据感测电路通过检测传送和接收数据二者并输出对应于两个模式的控制信号以启用双向通信来辨别发送和接收模式。可以用诸如握手之类的接触来生成两个人之间的瞬时专用网络。可以在用户的目镜与第二用户的数据接收机或目镜之间传输数据。可以使用附加的安全措施来增强专用网络,诸如面部或音频识别、眼接触的检测、指纹检测、生物统计输入等。
在实施例中,可以存在与访问目镜的功能相关联的认证设施,所述访问目镜的功能诸如对所显示或所投影内容的访问、对受限的所投影内容的访问、总体上或部分地启用目镜本身的功能(例如当通过登录来访问目镜的功能时)等。可以通过佩戴者的语音、虹膜、视网膜、指纹等或其他生物统计标识符的识别来提供认证。认证系统可以提供用于多个用户的生物统计输入的数据库,从而使得可以基于用于被输入到数据库中的每个用户的策略和关联的访问特权来针对目镜的使用提供访问控制。目镜可以提供认证处理。例如,认证设施可以感测用户何时已摘掉目镜,并且在用户戴回目镜时要求重新认证。这更好地保证了目镜仅提供对被授权的那些用户的访问,并且仅提供佩戴者被授权的那些特权。在示例中,认证设施可以能够在目镜被戴上时检测用户的眼镜或头的存在。在第一访问水平中,用户可以只能访问低敏感度项目直至认证完成。在认证期间,认证设施可以识别用户,并查找其访问特权。一旦这些特权已被确定,认证设施然后可以提供对用户的适当访问。在检测到未授权用户的情况下,目镜可以保持对低敏感度项目的访问,进一步限制访问,完全拒绝访问等。
在实施例中,可以使接收机与对象相关联以使得能够经由目镜佩戴者所进行的触摸来实现该对象的控制,其中,触摸使得能够实现对象中的命令信号的传输或执行。例如,可以使接收机与汽车门锁相关联。当目镜的佩戴者触摸汽车时,车门可以开锁。在另一示例中,可以将接收机嵌入医用瓶中。当目镜的佩戴者触摸医用瓶时,可以发起报警信号。在另一示例中,可以使接收机与沿着人行道的墙壁相关联。随着目镜的佩戴者经过该墙壁或触摸墙壁,可以在目镜中或在墙壁的视频面板上启动广告。
在实施例中,当目镜的佩戴者发起物理接触时,与接收机的信息的WiFi交换可以提供佩戴者被连接至诸如游戏的在线活动的指示,或者可以提供联机环境中的身份的验证。在实施例中,人的表示可以响应于接触而改变色彩或经历某种其他视觉指示。在实施例中,目镜可以包括如图14中的触觉接口,从而使得能够实现目镜的触觉控制,诸如用挥击、轻敲、触摸、按压、点击、滚动球的滚动等。例如,可以将触觉接口1402安装在目镜的框架上,诸如在一个手臂、两个手臂、鼻梁架、框架的顶部、框架的底部上等。佩戴者然后可以以将被目镜解释为命令的多个方式,诸如通过在接口上轻敲一次或多次,通过跨越接口轻拂手指,通过按下并保持,通过每次按下不止一个接口等来触摸所述触觉接口。在实施例中,可以将触觉接口附接于佩戴者的身体、其衣服,作为其衣服的附件、作为圆环1500、作为手镯、作为项链等。例如,可以将该接口附接在身体上,诸如在手腕的背面上,其中,触摸接口的不同部分提供不同的命令信息(例如触摸前面部分、背面部分、中心、保持一段时间、轻敲、挥击等)。在另一示例中,佩戴者可以使接口安装在如图15中所示的圆环、手机等中,其中接口可以具有多个命令接口类型中的至少一个,诸如触觉接口、位置传感器设备等,其具有到目镜的无线命令连接。在实施例中,圆环1500可以具有反映计算机鼠标的控制设施,诸如按钮1504(例如充当单按钮、多按钮及类似鼠标功能)、2D位置控制设施1502、滚轮等。按钮1504和2D位置控制设施1502可以如图15中所示,其中,按钮在面对拇指的一侧上且2D位置控制器在顶部上。替换地,按钮和2D位置控制设施可以采取其他配置,诸如全部面对拇指侧、全部在顶面上或任何其他组合。2D位置控制设施1502可以是2D按钮位置控制器(例如,诸如嵌入某些膝上型键盘中以控制鼠标的位置的指点杆定点设备)、定点棒、操纵杆、光学轨迹板、光电触摸轮、触摸屏、触摸板、轨迹板、滚动轨迹板、轨迹球、任何其他位置或定点控制器等。在实施例中,可以用有线或无线接口将来自触觉接口(诸如圆环触觉接口1500)的控制信号提供给目镜,其中用户能够方便地诸如用他们的手、拇指、手指等供应控制输入。例如,用户可以能够用其拇指接合控制设施,其中圆环被佩戴在用户的食指上。在实施例中,一种方法或系统可以提供由用户佩戴的交互式头戴目镜,其中,目镜包括:光学组件,用户通过该光学组件观看周围环境和所显示的信息;用于处理用于向用户显示的内容的处理器;以及用于将内容投影到光学组件的集成投影仪设施;以及佩戴在用户的手上的控制设备,其包括由用户的手的手指致动的至少一个控制部件,并将来自所述至少一个控制部件的致动的控制命令作为命令指令提供给处理器。该命令指令可以是针对用于向用户显示的内容的操纵。该控制设备可以被佩戴在用户的手的第一手指上,并且可以由用户的手的第二手指来对所述至少一个控制部件进行致动。第一手指可以是食指,第二手指可以是拇指,并且第一和第二手指在用户的同一只手上。控制设备可以使至少一个控制部件被安装在面对拇指的食指侧上。所述至少一个控制部件可以是按钮。所述至少一个控制部件可以是2D位置控制器。所述控制设备可以具有安装在面对拇指的食指侧上的至少一个按钮致动的控制部件,以及安装在食指的面朝上的一侧的2D位置控制器致动的控制部件。可以将该控制部件安装在用户的手的至少两个手指上。可以将控制设备作为手套佩戴在用户的手上。可以将控制设备佩戴在用户的手腕上。可以将所述至少一个控制部件佩戴在手的至少一个手指上,并且可以将传输设施单独地佩戴在手上。可以将传输设施佩戴在手腕上。可以将传输设施佩戴在手背上。所述控制部件可以是多个按钮中的至少一个。所述至少一个按钮可以提供基本上类似于常规计算机鼠标按钮的功能。所述多个按钮中的两个可以与常规双按钮计算机鼠标的主按钮基本上类似地运行。控制部件可以是滚轮。控制部件可以是2D位置控制部件。该2D位置控制部件可以是按钮位置控制器、定点棒、操纵杆、光学轨迹板、光电触摸轮、触摸屏、触摸板、轨迹板、滚动轨迹板、轨迹球、电容性触摸屏等。可以用用户的拇指来控制2D位置控制部件。控制部件可以是能够实现包括类似于按钮的功能和2D操纵功能的触摸控制的触摸屏。当用户戴上投影处理器内容定点和控制设备时,控制部件可以被致动。还可以提供用于检测跨表面的运动的控制设备中的表面感测部件。可以将表面感测部件设置在用户的手的手掌侧。该表面可以是硬表面、软表面、用户的皮肤的表面、用户的衣服的表面等中的至少一个。可以无线地、通过有线连接等传送提供控制命令。控制设备可以控制与所显示的处理器内容相关联的定点功能。定点功能可以是光标位置的控制;所显示内容的选择、选择和移动所显示内容;所显示内容的变焦、遥摄、视场、尺寸、位置的控制等。控制设备可以控制与所观看的周围环境相关联的定点功能。定点功能可以将光标放置在周围环境中的被观看的对象上。被观看的对象的定位位置可以由和与目镜集成的照相机相关联的处理器确定。被观看的对象的识别可以由和与目镜集成的照相机相关联的处理器来确定。控制设备可以控制目镜的功能。该功能可以与所显示内容相关联。该功能可以是目镜的模式控制。该控制设备可以是可折叠的,以便在用户不佩戴时易于储存。在实施例中,可以将控制设备与外部设备一起使用,从而与目镜相关联地控制外部设备。外部设备可以是娱乐设备、音频设备、便携式电子设备、导航设备、武器、汽车控制设施等。
在实施例中,一种系统可以包括由用户佩戴的交互式头戴目镜,其中,该目镜包括:光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,所述光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及安装在目镜上的触觉控制接口,其通过用户触摸该接口和用户接近于该接口中的至少一个从用户接受控制输入。
在实施例中,可以诸如用如图15中的所佩戴的设备1500、诸如如图15A中的虚拟计算机鼠标1500A等通过手控制来启用目镜的控制,且尤其是与向用户显示的内容相关联的光标的控制。例如,所佩戴的设备1500可以通过物理接口(例如按钮1502、滚轮1504)来传送命令,并且虚拟计算机鼠标1500A可以能够通过检测用户的拇指、拳头、手等的运动和动作来解释命令。在计算中,物理鼠标是通过检测相对于其支撑表面的二维运动来运行的定点设备。物理鼠标传统上由被保持在用户的手之一下的对象组成,具有一个或多个按钮。其有时以其他元件为特征,诸如“轮”,其允许用户执行各种系统相关操作,或者额外的按钮或特征,其能够添加更多的控制或维度输入。鼠标的运动转换成显示器上的光标的运动,其允许图形用户界面的精细控制。在目镜的情况下,用户可以能够利用物理鼠标、虚拟鼠标或两者的组合。在实施例中,虚拟鼠标可以涉及被附接于用户的手(诸如在拇指1502A、手指1504A、手掌1508A、手腕1510A等上)的一个或多个传感器,其中,目镜从传感器接收信号并将所接收的信号转换成向用户的目镜显示上的光标的运动。在实施例中,可以通过外部接口(诸如触觉接口1402)、通过目镜内部上的接收机、在辅助通信接口处、在关联的物理鼠标上或佩戴接口上等来接收信号。虚拟鼠标还可以包括致动器或被附接于用户的手的其他输入类型元件,诸如用于通过振动、力、电脉冲、温度等给用户的触觉反馈。可以借助于包裹物、圆环、垫、手套等将传感器和致动器附接于用户的手。同样地,目镜虚拟鼠标可以允许用户将手的运动转换成光标在目镜显示器上的运动,其中,“运动”可以包括缓慢移动、快速运动、急动运动、位置、位置变化等,并且可以允许用户在三维中工作,而不需要物理接口,并且包括六个自由度中的某些或全部。请注意,由于可以使‘虚拟鼠标’与手的多个部分相关联,所以可以将虚拟鼠标实现为多个‘虚拟鼠标’控制器,或者作为跨越手的多个控制构件的分布式控制器。在实施例中,目镜可以提供多个虚拟鼠标的使用,诸如用于用户的手的每一个、用户的脚的一个或多个等上的一个。
在实施例中,目镜虚拟鼠标可以不需要物理接口以进行操作,并且诸如通过传感器来检测运动,所述传感器诸如是多个加速度计类型中的一个(例如音叉、压电、剪切模式、应变模式、电容性、热、电阻性、机电、谐振、磁、光、声、激光、三维等),并且通过(一个或多个)传感器的输出信号来确定手或手的某个部分的平移和角位移。例如,加速度计可以产生与三个方向上的手的平移加速度成比例的幅度的输出信号。可以将成对的加速度计配置成检测手或手的各部分的旋转加速度。可以通过对加速度计输出信号求积分来确定手或手的各部分的平移速度和位移,并且可以通过对加速度计对的输出信号之间的差求积分来确定手的旋转速度和位移。替换地,可以利用其他传感器,诸如超声波传感器、成像器、IR/RF、磁力计、陀螺仪磁力计等。由于可以在手的各部分上安装加速度计或其他传感器,所以目镜可以能够检测手的多个移动,其范围从正常地与计算机鼠标运动相关联的简单运动到更加高度复杂的运动,诸如模拟应用中的复杂手运动的解释。在实施例中,用户可以仅要求小的平移或旋转动作以使得这些动作被转换成与在给用户的目镜投影上的用户预期动作相关联的运动。
在实施例中,虚拟鼠标可以具有与之相关联的物理开关以控制设备,诸如安装在手、目镜或身体的其他部分上的开/关开关。虚拟鼠标还可以通过手的预定义运动或动作进行开/关控制等。例如,可以通过手的快速前后运动来启用虚拟鼠标的操作。在另一示例中,可以通过手经过目镜的运动(诸如在目镜前面)来禁用虚拟鼠标。在实施例中,用于目镜的虚拟鼠标可以提供多个运动到正常地与物理鼠标控制相关联的操作的解释,并且同样地,为没有培训的用户所熟悉,诸如用手指单击、双击、点击三次、右击、左击、点击并拖曳、组合点击、滚轮运动等。在实施例中,目镜诸如在经由数学算法来解释手姿势时可以提供姿势识别。
在实施例中,可以通过利用由用户的手离作为目镜的控制系统的一部分的导体元件的距离的变化导致的电容性变化的技术来提供姿势控制识别,并且因此将不要求安装在用户的手上的设备。在实施例中,导体可以被作为目镜的一部分安装诸如在手臂或框架的其他部分上,或者被作为安装在用户的身体或衣服上的某个外部接口来安装。例如,该导体可以是天线,其中,控制系统以与称为铁耳明式电子乐器的无触摸乐器类似的方式工作。铁耳明式电子乐器使用外差原理来生成音频信号,并且在目镜的情况下,该信号可以用来生成控制输入信号。控制电路可以包括许多射频振荡器,诸如其中,一个振荡器在固定频率下工作且另一个由用户的手来控制,其中,与手的距离改变控制天线处的输入。在此技术中,用户的手充当L‑C(电感‑电容)电路中的可变电容器的接地板(用户的身体是到地面的连接),其是振荡器的一部分且确定其频率。在另一示例中,该电路可以使用单个振荡器、两对外差振荡器等。在实施例中,可以存在被用作控制输入的多个不同导体。在实施例中,此类控制接口对于跨一定范围改变的控制输入而言可能是理想的,所述控制输入诸如音量控制、缩放控制等。然而,此类控制接口还可以用于更离散的控制信号(例如开/关控制),其中,预定阈值确定控制输入的状态变化。
在实施例中,目镜可以与物理远程控制设备(诸如无线轨迹板鼠标、手持式遥控器、安装于身体的遥控器、安装在目镜上的遥控器等)对接。可以将遥控设备安装在设备的外部件上,诸如用于个人使用、游戏、专业用途、军事用途等。例如,可以将遥控器安装在士兵的武器上,诸如安装在手枪柄上、在枪口遮蔽物上、在前柄上等,在不需要使士兵的手从武器移走的情况下向士兵提供远程控制。可以将该遥控器可去除地安装于目镜。
在实施例中,可以通过接近传感器来激活和/或控制用于目镜的遥控器。接近传感器可以是能够在没有任何物理接触的情况下检测附近对象的存在的传感器。例如,接近传感器可以发射电磁场或静电场或者一束电磁辐射(例如红外线),并寻找场的变化或回波信号。正被感测的对象常常称为接近传感器的靶。不同的接近传感器靶可能需要不同的传感器。例如,电容性或光电传感器可能适合于塑料靶;电感性接近传感器要求金属靶。接近传感器技术的其他示例包括电容式位移传感器、涡流、磁、光电池(反射型)、激光、无源热红外、无源光学、CCD、电离辐射的反射等。在实施例中,接近传感器可以被集成到本文所述的控制实施例中的任何实施例,包括物理遥控器、虚拟鼠标、安装在目镜上的接口、安装在设备(例如游戏控制器、武器)的外部件上的控制设施等。
在实施例中,可以通过面部致动传感器1502B,通过佩戴目镜的用户的面部特征的运动、面部肌肉的收紧、牙齿的叩击、颌的运动等的感测来启用目镜的控制,且尤其是与向用户显示的内容相关联的光标的控制。例如,如图15B中所示,目镜可以具有面部致动传感器作为从目镜听筒组件1504B、从目镜的臂1508B等的延伸,其中,面部致动传感器可以感测与面部特征的运动相关联的力、振动等。还可以与目镜组件分开地安装面部致动传感器,所述目镜组件诸如独立耳机的一部分,其中可以用有线或无线通信(例如本领域中已知的蓝牙或其他通信协议)将耳机和面部致动传感器的传感器输出传输到目镜。还可以将面部致动传感器附接于耳朵周围、口中、脸上、颈部上等。面部致动传感器还可以包括多个传感器,从而使不同面部或内部运动或动作的所感测的运动最优化。在实施例中,面部致动传感器可以检测运动并将其解释为命令,或者可以将原始信号发送到目镜以用于解释。命令可以是用于目镜功能的控制、与如作为给用户的内容显示的一部分提供的光标或指针相关联的控制等的命令。例如,用户可以叩击其牙齿一次或两次以指示诸如正常地与计算机鼠标的点击相关联的单击或双击。在另一示例中,用户可以收紧面部肌肉以指示命令,诸如与投影图像相关联的选择。在实施例中,面部致动传感器可以利用降噪处理来诸如通过自适应信号处理技术使人脸、头等的背景运动最小化。还可以利用语音活动传感器来减少诸如来自用户、来自附近的其他个体、来自周围环境噪声等的干扰。在示例中,面部致动传感器还可以通过检测说话期间的用户的脸颊中的振动来改善通信和消除噪声,诸如用多个扩音器以识别背景噪声并通过噪声去除、音量增加等将其消除。
在实施例中,目镜的用户可以能够通过将他们的手抬起至目镜的视场中并指向对象或位置来获得关于通过目镜观看的某些环境特征、位置、对象等的信息。例如,用户的指示手指可以指示环境特征,其中,该手指不仅在目镜的视野中,而且在嵌入式照相机的视野中。该系统现在可以能够使指示手指的位置与如照相机所看到的环境特征的位置相关。另外,目镜可以具有位置和定向传感器,诸如GPS和磁力计,以允许系统知道用户的位置和视线。由此,系统可以能够对环境特征的位置信息进行外推,从而向用户提供位置信息,将环境信息的位置覆盖到2D或3D图上,进一步使建立的位置信息相关联以使该位置信息与关于该位置的辅助信息(例如地址、该地址处的个体的姓名、该位置处的企业的名称、该位置的坐标)相关等。参考图15C,在示例中,用户正在通过目镜1502C看并用他们的手1504C指向在其视场中的房屋1508C,其中,嵌入式照相机1510C使指向的手1504C和房屋1508C二者都在其视场中。在这种情况下,系统能够确定房屋1508C的位置并提供位置信息1514C和被叠加到用户的环境视野上的3D图。在实施例中,与环境特征相关联的信息可以由外部设施来加以提供,诸如通过无线通信连接来加以传送、被存储于目镜内部,诸如被下载到用于当前位置的目镜等。
在实施例中,用户可以能够相对于3D投影图像(诸如与外部环境相关联的3D投影图像、已被存储和检索的3D投影图像、3D显示的电影(诸如被下载以便观看)等)来控制其视野全景(view perspective)。例如,并且再次参考图15C,用户可以能够诸如通过转动他们的头改变3D显示的图像1512C的视野全景,并且其中,实况的外部环境和3D显示的图像甚至随着用户转动他们的头、移动其位置等保持在一起。这样,目镜可以能够通过将信息覆盖到用户的所观看的外部环境上(诸如被覆盖的3D显示图1512C、位置信息1514C等)来提供增强现实,其中,所显示的图、信息等可以随着用户的视野的变化而变化。在另一情况下,采用3D电影或3D转换的电影,可以改变观看者的全景以采用观看全景的某控制来将观看者“放入”电影环境中,其中,用户可以能够来回移动他们的头并使视野变化与所改变的头位置相对应,其中,用户可以能够在其物理地向前走时‘走进’图像中,随着用户移动他们的眼睛的注视视野而使全景改变等。另外,可以诸如在可以通过转动头来访问的用户的视野的侧面处提供附加图像信息。
参考图15D,在实施例中,目镜1502D的用户可以能够使用来自他们的手1504D的多个手/手指点来定义照相机1510D相对于透明视野的视场(FOV)1508D,诸如以用于增强现实应用。例如,在所示的示例中,用户正在利用他们的第一手指和拇指来调整目镜1502D的照相机1510D的FOV 1508D。用户可以利用其他组合来调整FOV 1508D,诸如用手指的组合、手指和拇指、来自两只手的手指和拇指的组合、(一个或多个)手掌的使用、(一个或多个)杯形的手等。多个手/手指点的使用可以使得用户能够以与触摸屏的用户大致相同的方式来改变照相机1510D的FOV 1508,其中,手/手指的不同点建立FOV的点以建立期望的视野。然而,在这种情况下,在用户的(一只或两只)手与目镜之间不进行物理接触。在这里,可以命令照相机以使用户的(一只或两只)手的各部分与照相机的FOV的建立或变化相关联。该命令可以是本文所述的任何命令类型,包括但不限于照相机的FOV中的手运动、与目镜上的物理接口相关联的命令、与目镜附近的所感测运动相关联的命令、从用户的某个部分上的命令接口接收到的命令等。该目镜可以能够将手指/手运动识别为诸如在某重复运动中的命令。在实施例中,用户还可以利用此技术来调整投影图像的某个部分,其中,该目镜使照相机所观看的图像与投影图像的某方面相关,诸如使视野中的手/手指点与用户的投影图像相关。例如,用户可以同时地观看外部环境和投影图像,并且用户利用此技术来改变投影观看面积、区域、放大倍率等。在实施例中,用户可以出于多个原因执行FOV的改变,包括从实况环境中的所观看场景放大或缩小、从投影图像的被观看部分放大或缩小,以改变分配给投影图像的观看面积,以改变环境或投影图像的透视图等。
在实施例中,通过经由离开用户的眼睛的反射光来跟踪眼睛,目镜可以能够确定用户正在注视哪里,或者用户的眼睛的运动。此信息然后可以被用来帮助使用户的视线相对于投影图像、照相机视野、外部环境等相关,并且在如本文所述的控制技术中使用。例如,用户可以注视投影图像上的一位置并且诸如用外部遥控器或用某检测到的眼睛移动(例如眨眼)来进行选择。在此技术的示例中,并且参考图15E,诸如红外光的透射光1508E可以被从眼睛1504E反射1510E并在光学显示器502处被感测(例如用照相机或其他光学传感器)。然后可以分析该信息以从反射变化提取眼睛旋转。在实施例中,眼睛跟踪设施可以使用角膜反射和瞳孔的中心作为特征以随着时间的推移跟踪;使用来自角膜前面和透镜背面的反射作为特征来跟踪;对来自眼睛内部的特征(诸如视网膜血管)进行成像,并且随着眼睛旋转追随这些特征等。替换地,目镜可以使用其他技术来跟踪眼睛的运动,诸如用围绕眼睛、安装在眼睛上的接触透镜中等的部件。例如,可以向用户提供特殊接触透镜,其具有嵌入式光学部件,诸如镜、磁场传感器等,以便测量眼睛的运动。在另一情况下,可以用放置在眼睛周围的电极来测量和监视电位,利用来自眼睛的稳态电位场作为偶极,诸如具有角膜处的其正极和视网膜处的其负极。在这种情况下,可以使用放置在眼睛周围的皮肤上、目镜的框架上等的接触电极来导出电信号。如果眼睛从中心位置朝着周界移动,则视网膜接近一个电极,而角膜接近相对的一个。该偶极的定向和因此电位场方面的该变化导致测量信号的变化。通过分析这些变化,能够跟踪眼睛移动。
在实施例中,目镜可以具有多个操作模式,其中,至少部分地由手的位置、形状、运动等来控制目镜的控制。为了提供此控制,目镜可以利用手识别算法来检测手/手指的形状,并且然后可能地与手的运动相组合地将那些手配置相关联,作为命令。实际上,由于可能仅存在可用来命令目镜的有限数目的手配置和运动,所以根据目镜的操作模式,可能需要重复使用这些手配置。在实施例中,可以将某些手配置或运动分配为用于使目镜从一个模式转换至下一个,从而允许手运动的重复使用。例如,并且参考图15F,用户的手1504F可以在目镜上的照相机的视野中移动,并且然后可以根据模式将该移动解释为不同的命令,诸如圆形运动1508F、跨视场的运动1510F、往复运动1512F等。在简化示例中,假设存在两个操作模式,模式一用于从投影图像遥摄一个视图,且模式二用于对投影图像进行变焦。在本示例中,用户可能想要使用左至右手指指向的手运动来命令向右的遥摄运动。然而,用户还可能想要使用左至右手指指向的手运动来命令图像到更大的放大倍率的变焦。为了允许用于两个命令类型的此手运动的双重使用,可以将目镜配置成根据目镜当前所处的模式不同地解释手运动,并且其中,特定的手运动已被分配为用于模式转换。例如,顺时针方向旋转运动可以指示从遥摄至变焦模式的转换,并且逆时针方向旋转运动可以指示从变焦至遥摄模式的转换。本示例意图是说明性的而不以任何方式是限制性的,其中,本领域的技术人员将认识到这种一般技术如何可以用来使用(一只或两只)手和(一个或多个)手指实现多种命令/模式结构,诸如手‑手指配置运动、双手配置运动等。
在实施例中,一种系统可以包括由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示内容,其中,光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及集成照相机设施,其对姿势进行成像,其中,集成处理器识别姿势并将其解释为命令指令。控制指令可以提供用于显示的内容、被传送给外部设备的命令等的操纵。
在实施例中,可以通过眼睛移动、眼睛的动作等来启用目镜的控制。例如,在目镜上可以存在回视佩戴者的(一只或两只)眼睛的照相机,其中,诸如通过眨眼,重复眨眼,眨眼计数,眨眼速率,眼睛开闭,目光跟踪,向侧面、上和下、左右、通过一系列位置至特定位置的眼睛移动,在一个位置上的停留时间,朝向固定对象(例如目镜的透镜的拐角)的注视,通过透镜的某个部分,在真实世界对象处等,可以将眼睛移动或动作解释为命令信息。另外,目视控制可以使得观看者能够从目镜集中于所显示图像上的某个点上,并且由于照相机可以能够使眼睛的观看方向与显示器上的点相关,所以目镜可以能够通过佩戴者正在看哪里和佩戴者所进行的动作(例如,眨眼、触摸接口设备、位置感测设备的移动等)的组合来解释命令。例如,观看者可以能够看显示器上的对象,并且通过经由位置感测设备启用的手指的运动来选择该对象。
在某些实施例中,可以为眼镜装配用于跟踪用户的眼睛或者优选地两只眼睛的运动的眼睛跟踪设备;替换地,可以为眼镜装配用于移动跟踪、即头运动跟踪的六个自由度的传感器。这些设备或传感器可从例如德国柏林的Chronos Vision有限公司和MA的Woburn的ISCAN获得。视网膜扫描仪也可用于跟踪眼睛移动。还可以将视网膜扫描仪安装在增强现实眼镜中且可从多种公司获得,所述公司诸如瑞典斯德哥尔摩的Tobii和德国Teltow的SMI以及ISCAN。
增强现实目镜还包括如所示的用户输入接口以允许用户控制设备。用来控制设备的输入可以包括上文所讨论的传感器中的任何一个,并且还可以包括轨迹板、一个或多个功能键和任何其他适当的本地或远程设备。例如,可以使用眼睛跟踪设备来控制另一设备,诸如视频游戏或外部跟踪设备。作为示例,图30描绘了采用装配有在本文中的其他地方所讨论的眼睛跟踪设备的增强现实目镜的用户。眼睛跟踪设备允许目镜跟踪用户的眼睛或者优选地两只眼睛的方向,并将该移动发送到目镜的控制器。控制系统3000包括增强现实目镜和用于武器的控制设备。然后可以将该移动传送到由控制设备控制的武器的控制设备,其可以在用户的视线内。该武器可以是大口径的,诸如榴弹炮或迫击炮,或者可以是小口径的,诸如机枪。
用户的眼睛的移动然后被适当的软件转换成用于控制武器的移动(诸如武器的象限(范围)和方位角(方向))的信号。可以将附加控制设施用于武器的单次或连续发射,诸如采用用户的轨迹板或功能键。替换地,武器可以是固定且非定向的,诸如植入的地雷或线型装药(shape charge),并且可以由安全设备诸如通过要求指定的编码命令来保护。增强现实设备的用户可以通过在不使用眼睛跟踪特征的情况下传送适当的代码和命令来激活武器。
在实施例中,可以通过佩戴者的姿势来启用目镜的控制。例如,目镜可以具有向外(例如向前、向侧面、向下)看并将佩戴者的手的姿势或移动解释为控制信号的照相机。手信号可以包括使手经过照相机通过,在照相机前面的手位置或手语,指向真实世界对象(从而激活对象的增强)等。手运动还可以用来操纵在半透明透镜的内侧上显示的对象,诸如使对象移动,使对象旋转,删除对象、打开‑关闭图像中的屏幕或窗口等。虽然在先前的示例中已使用了手运动,但还可以利用由佩戴者保持或佩戴的对象或身体的任何部分以用于由目镜进行的姿势识别。
在实施例中,可以使用头部运动控制来向目镜发送命令,其中,可以将诸如加速度计、陀螺仪或本文所述的任何其他传感器之类的运动传感器安装在佩戴者的头上、目镜上、帽子中、头盔中等。参考图14A,头部运动可以包括头的快速运动,诸如在向前和/或向后运动1412中、在向上和/或向下运动1410中、在作为点头的左右运动中摇晃头,停留在一定位置中,诸如向侧面、移动并保持在一定位置中等。可以通过到目镜的有线或无线连接等将运动传感器集成到目镜中、安装在用户的头上或头覆盖物(例如帽子、头盔)中。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。可以将多个头部运动感测控制设备中的至少一个与目镜集成或相关联,其基于感测到预定义的头部运动特性而向处理器提供控制命令作为命令指令。头部运动特性可以是用户的头的点头,从而使得该点头是不同于普通头部运动的明显运动。该明显运动可以是头的摇晃运动。控制指令可以提供用于显示的内容的操纵,被传送以控制外部设备等。可以与其他控制机构相组合地使用头部运动控制,诸如使用如本文所讨论的另一控制机构来激活命令并且用于头部运动以便执行它。例如,佩戴者可能希望使对象向右移动,并且如本文所讨论的,通过目视控制来选择对象和激活头部运动控制。然后,通过将他们的头向右倾斜,可以命令对象向右移动,并且通过目视控制来终止该命令。
在实施例中,可以通过音频、诸如通过扩音器来控制目镜。音频信号可以包括语言识别、语音识别、声音识别、声音检测等。可以通过目镜上的扩音器、喉式扩音器、颌骨扩音器、悬挂式扩音器、头戴式受话器、具有扩音器的耳塞等来检测音频。
在实施例中,命令输入可以提供多个控制功能,诸如开启/关断目镜投影仪、开启/关断音频、开启/关断照相机、开启/关断增强现实投影、开启/关断GPS、与显示器的交互(例如选择/接受所显示的功能、所捕获图像或视频的重放等)、与真实世界的交互(例如捕获图像或视频、将所显示的书籍翻页等)、用嵌入式或外部移动设备(例如移动电话、导航设备、音乐设备、VoIP等)来执行动作、用于因特网的浏览器控制(例如提交、下一结果等)、电子邮件控制(例如阅读电子邮件、显示文本、文本至语音、编写、选择等)、GPS和导航控制(例如保存位置、取回保存的位置、示出方向、观看地图上的位置)等。
在实施例中,目镜可以向用户提供3D显示成像,诸如通过传送立体的、自由立体、计算机生成全息照相、立体显示图像、立体照片/立体镜、视图连续显示、电子全息显示、视差“双视图”显示和视差全景图、重新成像系统等,向观看者产生3D深度的感觉。给用户的3D图像的显示可以采用呈现给用户的左眼和右眼的不同图像,诸如其中左和右光路具有区分图像的某光学部件,其中,投影仪设施将不同的图像投影到用户的左眼和右眼等。包括从投影仪设施通过光路至用户的眼睛的光路可以包括图形显示设备,其在三个物理维度上形成对象的视觉表示。诸如目镜中的集成处理器或外部设施中的处理器之类的处理器可以提供3D图像处理作为向用户生成3D图像时的至少一个步骤。
在实施例中,可以在向用户呈现3D成像效果时采用全息投影技术,诸如计算机生成的全息照相术(CGH),一种以数字方式生成全息干涉图案的方法。例如,可以由全息3D显示器来投影全息图像,所述全息3D显示器诸如基于相干光的干涉进行操作的显示器。计算机生成的全息图具有下述优点:想要示出的对象根本不必拥有任何物理实物,也即,其完全可以作为‘合成全息图’来加以生成。存在用于计算用于CGH的干涉图案的多个不同方法,包括根据全息信息的字段和计算削减以及用计算和量化技术。例如,傅立叶变换方法和点源全息图是计算技术的两个示例。傅立叶变换方法可以用来模拟对象深度的每个平面到全息图平面的传播,其中,图像的重构可以在远场中发生。在示例过程中,可以存在两个步骤,其中,首先,计算远观察者平面中的光场(light field),并且然后将该场傅立叶变换回到透镜平面,其中,将由全息图重构的波前(wavefront)是深度上的每个对象平面的傅立叶变换的叠加。在另一示例中,可以将目标图像乘以被应用逆傅立叶变换的相位图。然后可以通过使此图像乘积移位来生成中间全息图,并且将中间全息图组合以产生最终集合。然后可以对全息图的最终集合进行近似以形成用于向用户连续显示的相息图,其中,该相息图是其中将对象波前的相位调制记录为表面起伏分布的相位全息图。在该点源全息图方法中,在自发光的点中对对象进行分解,其中,针对每个点源计算基元全息图,并且通过将所有基元全息图叠加来合成最终全息图。
在实施例中,可以由双投影仪系统来启用3D或全息图像,其中,两个投影仪被堆叠在彼此的顶上以获得3D图像输出。可以由本文所述的控制机构或由图像或信号的捕获来进入全息投影模式,所述图像或信号诸如手掌向上情况下的伸出的手、SKU、RFID读数等。例如,目镜的佩戴者可以在一块纸板上观看字母‘X’,其促使目镜进入全息模式并开启第二堆叠的投影仪。可以用控制技术来完成选择什么全息图来显示。该投影仪可以在字母‘X’之上将全息图投影到纸板上。关联软件可以跟踪字母‘X’的位置,并使投影图像连同字母‘X’的移动一起移动。在另一示例中,目镜可以扫描SKU,诸如玩具构造套装上的SKU,并且可以从在线源或非易失性存储器访问完成的玩具构造的3D图像。与全息图的交互、诸如使其旋转、放大/缩小等可以使用本文所述的控制机构来完成。可以由关联的条形码/SKU扫描软件来启用扫描。在另一示例中,可以将键盘投影在空间中或表面上。全息键盘可以在关联的应用/功能中的任何应用/功能中使用或用于对其进行控制。
在实施例中,目镜设施可以提供将虚拟键盘的位置相对于真实环境对象(例如桌子、墙壁、车辆仪表板等)向下锁定,其中,虚拟键盘然后不随着佩戴者移动他们的头而移动。在示例中,并且参考图24,用户可以坐在桌子处并佩戴目镜2402,并且希望向应用中输入文本,所述应用诸如文字处理应用、网页浏览器、通信应用等。用户可以能够启动虚拟键盘2408或其他交互式控制元件(例如虚拟鼠标、计算器、触摸屏等)以用于输入。用户可以提供用于启动虚拟键盘2408的命令,并且使用手姿势2404以用于指示虚拟键盘2408的固定位置。虚拟键盘2408然后可以相对于外面环境保持在空间中固定,诸如固定于桌子2410上的位置,其中,即使当用户转动他们的头时,目镜设施也保持虚拟键盘2408在桌子2410上的位置。也就是说,目镜2402可以补偿用户的头运动以便保持用户的位于桌子2410上的虚拟键盘2408的视野。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。可以提供集成照相机设施,其对周围环境进行成像,并将用户手姿势识别为交互式控制元件位置命令,诸如以某个方式移动、以某个方式定位等的手‑手指配置。响应于交互式控制元件位置命令,无论用户的观看方向如何变化,交互式控制元件的位置然后可以相对于周围环境中的对象保持固定在位置中。这样,用户可以能够以其将利用物理键盘的大致相同的方式来利用虚拟键盘,其中,虚拟键盘保持在相同位置上。然而,在虚拟键盘的情况下,不存在诸如重力的‘物理限制’来限制用户可以将键盘定位于哪里。例如,用户可以紧挨着墙壁站着,并且将键盘位置放置在墙壁上等。
在实施例中,目镜设施可以提供去除其中出现介入障碍物的那部分虚拟键盘投影(例如,用户的手阻碍,其中不希望将键盘投影到用户的手上)。在示例中,并且参考图62,目镜6202可以向佩戴者提供诸如到桌面上的投影的虚拟键盘6208。佩戴者然后可以到达虚拟键盘6208“之上”以进行键入。由于键盘仅仅是投影的虚拟键盘,而不是物理键盘,所以在没有对投影图像的某种补偿的情况下,投影的虚拟计算机将被投影到用户的手背上。然而,如在本示例中,目镜可以对投影图像提供补偿,从而使得正在阻碍虚拟键盘到桌子上的预期投影的佩戴者的手6204的那部分可以被从投影中去除。也就是说,可能不希望将键盘投影6208的部分可视化到用户的手上,并且因此目镜减去与佩戴者的手6204处于同一地点的虚拟键盘投影的那部分。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。所显示的内容可以包括交互式控制元件(例如虚拟键盘、虚拟鼠标、计算器、触摸屏等)。集成照相机设施可以随着其与交互式控制元件相交互而对用户的身体部分进行成像,其中,处理器通过减去基于用户的视野被确定为与被成像的用户身体部分处于同一地点的交互式控制元件的一部分来去除交互式控制元件的那部分。在实施例中,可以将部分投影的图像去除的此技术应用于其他投影图像和障碍物,并且并不意图局限于移交虚拟键盘的此示例。
在实施例中,目镜设施可以提供用以诸如用手指、触控笔等根据跨越虚拟键盘挥击的字符接触序列确定预期文本输入的能力。例如,并且参考图63,目镜可以投影虚拟键盘6302,其中,用户希望输入单词‘wind(风)’。正常地,用户将离散地按下用于‘w’、然后‘i’、然后‘n’且最后是‘d’的键位置,且与目镜相关联的设施(诸如本文所述的照相机、加速度计等)将把每个位置解释为是用于该位置的字母。然而,系统还可以能够监视用户的手指或其他定点设备跨虚拟键盘的移动或挥击,并确定用于指示器移动的最佳拟合匹配。在图中,指示器在字符‘w’处开始并通过字符e、r、t、y、u、i、k、n、b、v、f和d扫过路径6304,在d处其停止。目镜可以观察此序列并通过输入路径分析器来确定该序列,将所感测的序列馈送到单词匹配搜索设施中,并将最佳拟合单词、在这种情况下为‘wind’作为文本6308输出。在实施例中,目镜可以提供最佳拟合单词、最佳拟合单词列表等。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。所显示的内容可以包括交互式键盘控制元件(例如虚拟键盘、计算器、触摸屏等),并且其中,键盘控制元件与输入路径分析器、单词匹配搜索设施以及键盘输入接口相关联。用户可以通过以滑动运动使定点设备(例如手指、触控笔等)跨键盘输入接口的字符键滑动通过用户想要作为文本输入的单词的近似序列来输入文本,其中,输入路径分析器确定在输入路径中接触的字符,单词匹配设施找到与所接触的字符序列的最佳单词匹配并将该最佳单词匹配作为输入文本输入。
在实施例中,目镜设施可以提供呈现与指示显示内容的意图的所标识标记相对应的所显示内容。也就是说,可以命令目镜基于感测到预定外部视觉线索来显示某内容。该视觉线索可以是图像、图标、图片、人脸识别、手配置、身体配置等。所显示的内容可以是被提出以供使用的接口设备、用以帮助用户一旦其到达某个旅行位置则找到位置的导航辅助装置、目镜观看目标图像时的广告、信息性简档等。在实施例中,可以将用于显示的视觉标记提示及其关联内容存储在目镜上的存储器中,在外部计算机存储设施中并根据需要导入(诸如通过地理位置、到触发目标的接近、用户的命令等),由第三方生成等。在实施例中,用户可以佩戴交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件可以包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源。可以提供集成照相机设施,其对外部视觉线索进行成像,其中,集成处理器识别外部视觉线索并将其解释为用以显示与该视觉线索相关联的内容的命令。参考图64,在实施例中,可以在周围环境中的标志6414中包括视觉线索6412,其中,所投影内容与广告相关联。该标志可以是广告牌、以及基于用户的偏好简档的用于个性化广告的广告。视觉线索6402、6410可以是手姿势,并且所述投影内容可以是投影的虚拟键盘6404、6408。例如,手姿势可以是来自第一用户手的拇指和食指姿势6402,并且虚拟键盘6404被投影在第一用户手的手掌上,并且其中,用户能够用第二用户手在虚拟键盘上键入。手姿势6410可以是两个用户手的拇指和食指姿势组合,并且虚拟键盘6408被如手姿势中配置的那样投影在用户手之间,其中,用户能够使用用户的手的拇指在虚拟键盘上键入。视觉线索可以为目镜的佩戴者提供用于使预定外部视觉线索与关于所投影内容的方面的期望的结果相关联、因此使佩戴者免于自己搜索该线索的自动化资源。
该目镜可以对各种应用和市场有用。应理解的是,本文所述的控制机构可以用来控制本文所述的应用的功能。该目镜可以每次运行单个应用程序或者每次可以运行多个应用程序。在应用程序之间切换可以用本文所述的控制机构来完成。该目镜可以在军事应用、游戏、图像识别应用中用来观看/订购电子书、GPS导航(位置、方向、速度和ETA)、移动TV、体育运动(观看步测、排序和竞赛时间;接受训练)、电视医疗、工业检查、航空、购物、库存管理跟踪、消防(由透视雾、阴霾、黑暗的VIS/NIRSWIR传感器启用)、户外/探险、定制广告等。在实施例中,可以将目镜与电子邮件,诸如图7中的GMAIL、因特网、网页浏览、观看体育得分、视频聊天等一起使用。在实施例中,可以诸如通过显示逐步指导,诸如免提的、无线维护和修理指令将目镜用于教育/培训目的。例如,可以在视场中显示视频手动和/或指令。在实施例中,可以在Fashion(时尚)、Health(健康)和Beauty(美容)中使用目镜。例如,可以将潜在的全套服装、发型或化妆品投影到用户的镜像上。在实施例中,可以在Business Intelligence(商务智能)、Meetings(集会)和Conferences(会议)中使用目镜。例如,可以扫描用户的名签,他们的脸穿过面部识别系统,或者在数据库中搜索他们的所说的姓名以获得传记信息。可以记录所扫描的名签、人脸和会话以供后续观看或编成文件。
在实施例中,可以通过目镜来进入“模式”。在该模式下,某些应用可能是可用的。例如,目镜的消费者版本可以具有旅游者模式、教育模式、因特网模式、TV模式、游戏模式、锻炼模式、设计师模式、私人助理模式等。
增强现实眼镜的用户可能希望在佩戴眼镜的同时参与视频呼叫或视频会议。许多台式和膝上型两者的计算机具有集成照相机以促进使用视频呼叫和会议。通常,使用软件应用程序来将照相机的使用与呼叫或会议特征集成。在增强现实眼镜提供膝上型计算机及其他计算设备的大部分功能的情况下,许多用户可能希望当在活动中佩戴增强显示眼镜的同时利用视频呼叫和视频会议。
在实施例中,视频呼叫或视频会议应用可以用WiFi连接进行工作,或者可以是与用户的蜂窝电话相关联的3G或4G呼叫网络的一部分。用于视频呼叫或会议的照相机被放置在设备控制器(诸如手表或其他单独的电子计算设备)上。将视频呼叫或会议照相机放置在增强现实眼镜上是不可行的,因为该放置将仅为用户提供他们自己的视图,并且将不会显示会议或呼叫中的其他参与者。然而,用户可以选择使用面朝前照相机来显示其周围环境或视频呼叫中的另一个体。
图58描绘了供在视频呼叫或会议中使用的典型照相机5800。此类照相机通常是小的,并且可以安装在手表5802(如图58中所示)、蜂窝电话或其他便携式计算设备(包括膝上型计算机)上。视频呼叫通过将设备控制器与蜂窝电话或其他通信设备相连来工作。设备利用与眼镜和通信设备或计算设备的操作系统兼容的软件。在实施例中,增强现实眼镜的屏幕可以显示用于进行呼叫的选项列表,并且用户可以使用定点控制设备来做手势或使用本文所述的任何其他控制技术来选择增强现实眼镜的屏幕上的视频呼叫选项。
图59图示了视频呼叫照相机5900的方框图的实施例。该照相机结合了透镜3302、CCD/CMOS传感器3304、用于视频信号的模数转换器3306以及用于音频信号的模数转换器3314。扩音器3312采集音频输入。模数转换器3306和3314两者将其输出信号发送到信号增强模块3308。信号增强模块3308将作为视频和音频信号两者的合成的增强信号转送到接口3310。接口3310被连同控制模块3316一起连接至IEEE 1394标准总线接口。
在操作中,视频呼叫照相机取决于将入射光以及入射声变换成电子的信号捕获。针对光而言,由CCD或CMOS芯片3304来执行此过程。扩音器将声变换成电脉冲。
生成用于视频呼叫的图像的过程中的第一步骤是使图像数字化。CCD或CMOS芯片3304将图像分割并将其转换成像素。如果像素已采集许多光子,则电压将是高的。如果像素已采集很少的光子,则电压将是低的。此电压是模拟值。在数字化的第二步骤期间,电压被处理图像处理的模数转换器3306变换成数字值。在该点处,原始数字图像是可用的。
由扩音器3312捕获的音频也被变换成电压。此电压被发送到模数转换器3314,在那里,模拟值被变换成数字值。
下一步骤将是增强信号,从而使得其可以被发送给视频呼叫或会议的观看者。信号增强包括使用位于CCD或CMOS芯片3304前面的滤色器来在图像中产生彩色。此滤色器是红色、绿色或蓝色的,并且逐像素地改变其色彩,并且在实施例中,可以是滤色器阵列或Bayer滤色器。然后由滤色器来增强这些原始数字图像以满足审美要求。还可以增强音频数据以获得更好的呼叫体验。
在传输之前的最后步骤中,在实施例中使用数字摄像机将图像和音频数据压缩并且作为数字视频流输出。如果使用普通照相机,则可以输出单个图像,并且在另一实施例中,可以向文件附加语音评论。原始数字数据的增强远离照相机进行,并且在实施例中其可以在增强现实眼镜在视频呼叫或会议期间与之通信的设备控制器或计算设备中发生。
其他实施例可以提供供在要求专业化照相机使用的工业、医药、天文学、显微镜学以及其他领域中使用的便携式照相机。这些照相机常常放弃信号增强并输出原始数字图像。可以将这些照相机安装在其他电子设备或用户的手上以便于使用。
照相机使用IEEE 1394接口总线对接至增强现实眼镜和设备控制器或计算设备。此接口总线传送时间关键数据,诸如其完整性是关键性地重要的视频和数据,包括用以操纵数据或传输图像的参数或文件。
除接口总线之外,协议定义与视频呼叫或会议相关联的设备的性能。在实施例中,供与增强现实眼镜一起使用的照相机可以采用以下协议中的一个:AV/C、DCAM或SBP‑2。
AV/C是用于音频视频控制的协议且定义数字视频设备的性能,包括摄像机和录像机。
DCAM指的是基于1394的数字式照相机规范并定义输出没有音频的未压缩图像数据的照相机的性能。
SBP‑2指的是串行总线协议并定义诸如硬盘驱动器或硬盘的海量存储设备的性能。
使用相同协议的设备能够相互通信。因此,对于使用增强现实眼镜的视频呼叫而言,可以由增强现实眼镜和设备控制器上的摄像机使用相同的协议。由于增强现实眼镜、设备控制器以及照相机使用相同的协议,所以可以在这些设备之间交换数据。可以在设备之间传输的文件包括:图像和音频文件、图像和音频数据流、用以控制照相机的参数等。
在实施例中,期望发起视频呼叫的用户可以从在呼叫过程被发起时呈现的屏幕选择视频呼叫选项。用户通过使用定点设备作出姿势或用以用信号通知视频呼叫选项的选择的姿势来进行选择。用户然后对位于设备控制器、腕表或其他可分离电子设备上的照相机进行定位,从而使得用户的图像被照相机捕获。通过上述过程来处理图像,并且然后将该图像流式传输至增强现实眼镜及其他参与者以便显示给用户。
在实施例中,可以将照相机安装在蜂窝电话、个人数字助理、腕表、垂饰或能够被携带、佩戴或安装的其他小便携式设备上。可以将由照相机捕获的图像或视频流式传输至目镜。例如,当照相机被安装在步枪上时,佩戴者可以能够对不在视线中的目标进行成像并无线地接收作为向目镜显示的内容的流的图像。
在实施例中,本公开可以为佩带者提供基于GPS的内容接收,如在图6中那样。如所述,本公开的增强现实眼镜可以包括存储器、全球定位系统、指南针或其他定向设备以及照相机。可用于佩戴者的基于GPS的计算机程序可以包括通常可从苹果公司供iPhone使用的App Store获得的多个应用程序。这些程序的类似版本可用于其他品牌的智能电话,并且可以应用于本公开的实施例。这些程序包括例如SREngine(场景识别引擎)、NearestTube、TAT增强的ID、Yelp、Layar和TwittARound以及其他更专业化的应用程序,诸如RealSki。
SREngine是能够识别用户的照相机所观看的对象的场景识别引擎。其为能够识别静态场景的软件引擎,所述静态场景诸如架构、结构、图片、对象、房间等的场景。其然后能够根据其所识别的东西自动地将虚拟“标签”应用于该结构或对象。例如,可以由本公开的用户在观看街道场景时调用该程序,诸如图6。使用增强现实眼镜的照相机,该引擎将识别巴黎中的Fontaines de la Concorde。该程序然后将唤起图6中所示的虚拟标签作为被投影到透镜602上的虚拟图像618的一部分。该标签可以仅仅是文本,如在图像618的底部处看到的那样。可应用于此场景的其他标签可以在后面包括“喷泉”、“博物馆”、“旅馆”或圆柱状建筑物的名称。这种类型的其他程序可以包括Wikitude AR旅行指南、Yelp和许多其他东西。
例如,NearestTube使用相同的技术来将用户指引到伦敦中最近的地铁站,并且其他程序可以在其他城市中执行相同功能或类似的。Layar是使用照相机、指南针或方向以及GPS数据来识别用户的位置和视场的另一应用程序。用此信息,覆盖物或标签可以虚拟地出现以帮助对用户进行定向和指导。Yelp和Monocle执行类似功能,但是其数据库多少更加专业化,以类似的方式帮助将用户引导至餐馆或引导至其他服务提供商。
用户可以控制眼镜,并且使用在本专利中描述的任何控制设施来调用这些功能。例如,眼镜可以配备有扩音器以拾取来自用户的语音命令并使用包含在眼镜的存储器内的软件对其进行处理。用户然后可以对来自也包含在眼镜框架内的小扬声器或耳塞的提示进行响应。眼镜还可以配备有微小轨迹板,类似于在智能电话上找到的那些。轨迹板可以允许用户在AR眼镜内的虚拟屏幕上移动指针或指示器,类似于触摸屏。当用户到达屏幕上的期望点时,用户按压轨迹板以指示他或她的选择。因此,用户可以调用程序,例如旅行指南,并且然后通过多个菜单找到他或她的路线,可能选择国家、城市且然后是种类。该种类选择可以包括例如旅馆、商店、博物馆、餐馆等。用户进行他或她的选择并然后受到AR程序指导。在一个实施例中,该眼镜还包括GPS定位器,并且本国家和城市提供可以被替换的默认位置。
在实施例中,目镜的对象识别软件可以处理正在由目镜的面朝前照相机接收的图像,以便确定在视场中的是什么。在其他实施例中,如由目镜的GPS确定的位置的GPS坐标可以足以确定在视场中的是什么。在其他实施例中,该环境中的RFID或其他信标可以正在广播位置。上述中的任何一个或组合可以被目镜用来识别在视场中的东西的位置和身份。
当对象被识别时,可以增加用于对该对象进行成像的分辨率,或者可以以低压缩来捕获图像或视频。另外,可以降低用于用户的视野中的其他对象的分辨率,或者以较高的压缩率来捕获,以便减少所需带宽。
一旦被确定,可以将与视场中的感兴趣点有关的内容覆盖在真实世界图像(诸如社交联网内容、交互式旅行、本地信息等)上。与电影、本地信息、天气、餐馆、餐馆可用性、本地事件、本地出租车、音乐等有关的信息和内容可以被目镜访问并被投影到目镜的透镜上以供用户观看和与之相交互。例如,随着用户注视埃菲尔铁塔,面朝前的照相机可以拍摄图像并将其发送到目镜的关联处理器以供处理。对象识别软件可以确定佩戴者的视场中的结构是埃菲尔铁塔。替换地,可以在数据库中搜索由目镜的GPS确定的GPS坐标以确定该坐标与埃菲尔铁塔的那些匹配。在任何情况下,然后可以搜索关于埃菲尔铁塔参观者的信息、附近和塔本身中的餐馆、当地天气、当地地下铁信息、当地旅馆信息、其他附近旅游点等的内容。可以由本文所述的控制机构来启用与内容相交互。在实施例中,当进入目镜的旅游者模式时,可以启用基于GPS的内容接收。
在实施例中,可以使用目镜来观看流式传输的视频。例如,可以经由通过GPS位置的搜索、通过视场中的对象的对象识别的搜索、语音搜索、全息键盘搜索等来识别视频。继续埃菲尔铁塔的示例,一旦已经确定其为视场中的结构,则可以经由塔的GPS坐标或者通过术语‘埃菲尔铁塔’来搜索视频数据库。搜索结果可以包括地理标记的视频或与埃菲尔铁塔相关联的视频。可以使用本文所述的控制技术来滚动或浏览该视频。可以使用本文所述的控制技术来播放感兴趣的视频。可以将该视频覆盖在真实世界场景上,或者可以在视场之外的透镜上显示该视频。在实施例中,可以经由本文所述的机制使目镜变暗以使得能够实现更高对比度的观看。在另一示例中,目镜可以能够利用诸如本文所述的照相机和网络连接来为佩戴者提供流式传输视频会议能力。
如所述,增强现实的用户可以从丰富的源接收内容。参观者或旅游者可能希望使选择局限于本地企业或机构;另一方面,寻求参观者或旅游者的企业可能希望使其提供物(offer)或请求局限于在其区域或位置中但正在参观的人而不是当地居民。因此,在一个实施例中,参观者或旅游者可以使他或她的搜索仅限于当地企业,比方说在某个地理界限内的那些。这些界限可以经由GPS标准或通过手动地指示地理限制来设定。例如,一个人可以要求流式传输的内容或广告的源局限于在那个人的某个半径(设定数字或km或英里)内的那些。替换地,该标准可以要求该源局限于在某个城市或省份内的那些。这些界限可以由增强现实用户来设定,正如在家中或办公室处的计算机的用户将使用键盘或鼠标来限制他或她的搜索一样;用于增强现实用户的输入简单地通过语音、通过手运动、或在讨论控制设施的本公开的部分中的其他地方所描述的其他方式来实现。
另外,可以由提供商的类型来约束或限制由用户选择的可用内容。例如,用户可以使选择局限于具有由政府机构(.gov)或由非赢利机构或组织(.org)操作的网站的那些。这样,可能对参观政府机关、博物馆、历史名胜等更感兴趣的旅游者或参观者可能发现他或她的选择不那么杂乱。那个人可以更容易地能够在可用选择已被削减至更合理的数目时作出判定。快速地删减可用选择的能力在更多的市区中是期望的,诸如巴黎或华盛顿D.C.,在那里,存在许多选择。
用户以在本专利中的其他地方所述的任何方式或模式来控制眼镜。例如,用户可以通过语音或通过在增强现实眼镜的虚拟屏幕上指示选择来调用期望的程序或应用程序。增强眼镜可以对安装在眼镜的框架上的轨迹板进行响应,如上所述。替换地,眼镜可以对安装在框架上的一个或多个运动或位置传感器进行响应。来自传感器的信号然后被发送到眼镜内的微处理器或微控制器,眼镜还提供任何所需信号变送或处理。一旦选择的程序已经开始,则用户进行选择并通过本文所讨论的任何方法来输入响应,诸如用头部移动、手姿势、轨迹板按压或语音命令来用信号通知“是”或“否”。
同时,内容提供商亦即登广告者也可能希望使其提供物局限于在某个地理区域内、例如他们的城市界限内的人。同时,登广告者、可能是博物馆可能不希望向本地人提供内容,而是可能希望联系到参观者或非本市人。本文所讨论的增强现实设备被理想地配备GPS能力和电信能力二者。对于博物馆而言,通过限制其广播能力来在有限区域内提供流式传输内容将是简单的事。然而,博物馆可以通过因特网来提供内容且其内容可以是全世界可用的。在这种情况下,用户可以通过增强现实设备来接收内容,告知博物馆在当天开业且可用于旅游。
用户可以通过点击用于博物馆的链接的增强现实等价物来对内容进行响应。增强现实等价物可以是语音指示、手或眼睛移动、或用户的选择的其他感官指示,或者通过使用关联的安装于身体的控制器。博物馆然后接收指示用户的身份或至少用户的因特网服务提供商(ISP)的cookie。如果该cookie指示或建议除本地提供商之外的因特网服务提供商,则博物馆服务器然后可以用适合于参观者的广告或提供物进行响应。cookie还可以包括电信链路的指示,例如电话号码。如果电话号码不是本地号码,则这是作出响应的人是参观者的附加线索。博物馆或其他机构然后可以追踪由其销售部门所期望或建议的内容。
增强现实目镜的另一应用利用用户的控制目镜的能力及其具有用户的手的最少使用、替代地使用语音命令、姿势或运动的工具。如上所述,用户可以访问增强现实目镜来检索信息。可能已经将此信息存储在目镜的存储器中,但是其可以替代地位于远处,诸如通过因特网或可能经由只有特定公司或组织的雇员可访问的内部网可访问的数据库。因此可以将目镜与计算机或能够在极其近的范围内看到和听到并一般地用一个人的手的最少使用来控制的显示屏相比较。
应用程序因此可以包括向机械师或电子技术人员提供现场信息。技术人员可以在寻找关于特定结构的信息或遇到的问题时,例如当修理引擎或电源时,戴上眼镜。使用语音命令,他或她然后可以访问数据库并在数据库内搜索特定信息,诸如手册或其他修理和维护文档。因此可以立即访问期望的信息并以最少的努力来应用该期望的信息,允许技术人员更快速地执行所需的修理或维护并使设备返回服务。对于关键任务的设备而言,除节省修理或维护成本之外,此类节约时间也可能是挽救生命的。
所给予的信息可以包括修理手册等,但是还可以包括全套的视听信息,即目镜屏幕可以向技术人员或机械师显示如何在一个人正尝试执行任务的同时执行特定任务的视频。增强现实设备还包括电信能力,因此技术人员还具有用以在任务存在某些复杂或未预期的困难的情况下请求其他人帮助的能力。本公开的此教育方面不限于维护和修理,而是可以应用于任何教育企图,诸如中专或大专班、继续教育课程或主题、研究班等。
在实施例中,Wi‑Fi使能目镜可以运行用于选入(opted‑in)用户的地理位置的基于位置的应用程序。用户可以通过在其电话上登录到应用程序中并使得能够实现其位置的广播或者通过启用其自己的目镜上的地理位置来选入。当目镜的佩戴者扫描人们和因此他们的选入设备时,该应用程序可以识别选入用户并向投影仪发送指令以在用户的视场中将增强现实指示器投影到选入用户上。例如,可以将绿环围绕已经选入的人放置以使其位置被看到。在另一示例中,黄色环可以指示已经选入但未满足某些标准的人,诸如其不具有FACEBOOK帐户,或者如果其确实具有FACEBOOK帐户,则不存在共同的朋友。
某些社交联网、职业联网以及约会应用可以与基于位置的应用程序协同地工作。存在于目镜上的软件可以协调来自联网和约会站点及基于位置的应用程序的数据。例如,TwittARound是利用安装的照相机来检测和标记来自附近的其他tweeter的标记位置的吱吱声(location‑stamped tweet)的一个此类程序。这将使得使用本公开的人能够对其附近的 Twitter用户进行定位。替换地,用户可能必须设置其设备以协调来自各种联网和约会站点的信息。例如,目镜的佩戴者可能想要看到正在广播其位置的所有E‑HARMONY用户。如果选入用户被目镜识别到,则可以将增强现实指示器覆盖在选入用户上。如果用户具有与佩戴者一样的某些东西、与用户一样的许多东西等,该指示器可以采取不同的外观。例如,并且参考图16,佩戴者正在观看两个人。那两个人都被由围绕其放置的环识别为E‑HARMONY用户。然而,用实线环示出的女人具有与佩戴者一样的不止一个项目,而用虚线环示出的女人不具有与佩戴者一样的项目。可以使任何可用简档信息被访问并被显示给用户。
在实施例中,当佩戴者沿着具有联网帐户(诸如FACEBOOK、TWITTER、BLIPPY、LINKEDIN、GOOGLE、WIKIPEDIA等)的用户的方向指引目镜时,可以向佩戴者显示用户的最新帖子或简档信息。例如,可以使得最新状态更新“tweets”、“blips”等被显示,如上文针对TwittARound所述的那样。在实施例中,当佩戴者使目镜沿目标用户的方向指向时,如果目镜被指向达到一定的持续时间和/或姿势、头、眼睛或音频控制被激活,则其可以指示对用户的兴趣。目标用户可以在其电话上或在其眼镜中接收感兴趣的指示。如果目标用户已经将佩戴者标记为感兴趣,但是正在等待佩戴者首先表现出兴趣,则可以立即在目镜中弹出目标用户的兴趣的指示。可以使用控制机构来捕获图像并将目标用户的信息存储在关联的非易失性存储器上或在线帐户中。
在用于社交联网的其他应用中,可以使用面部识别程序,诸如来自瑞典马尔摩的TAT‑ The Astonishing Tribe的TAT增强的ID。该程序可以用来通过他或她的面部特性来识别这个人。此软件使用面部识别软件来识别一个人。使用其他应用程序,诸如来自Flickr的照片识别软件,一个人然后能够识别特定的附近人,并且一个人然后可以与关于那个人的信息一起从社交联网站点下载信息。此信息可以包括那个人的姓名和那个人已使得在诸如Facebook、Twitter等的站点上可获得的简档。此应用可以用来刷新一个人的用户存储器或识别附近的人以及采集关于那个人的信息。
在用于社交联网的其他应用中,佩戴者可以能够利用目镜的基于位置的设施来在各位置处留下与人、地点、产品等相关联的注释、评论、评估等。例如,一个人可以能够在其参观的地方张贴评论,其中,然后可以使得该张贴通过社交网络而可被其他人获得。在另一示例中,一个人可以能够将该评论张贴在该地方的位置处,从而使得当另一人来到那个位置时评论是可用的。这样,佩戴者可以能够访问在其他人来到那个位置时由他们留下的评论。例如,佩戴者可以来到餐馆的入口,并且能够访问针对餐馆的评估,诸如按照某标准(例如最新评估、评估者的年龄等)分类的评估。
用户可以通过语音、通过从虚拟触摸屏中选择选项(如上所述)、通过使用轨迹板来选择和选定期望的程序、或者通过本文所述的任何控制技术来发起期望的程序。然后可以以类似或补充的方式进行菜单选择。还可以使用安装在用户的身体上的方便位置中的传感器或输入设备,例如安装在手腕垫上、手套上的传感器和轨迹板,或者甚至可能具有智能电话或个人数字助理的尺寸的智能设备(discreet device)。
本公开的应用可以为佩戴者提供因特网访问,诸如用于浏览、搜索、购物、娱乐等,诸如通过到目镜的无线通信接口。例如,佩戴者可以诸如通过佩戴在佩戴者的身体的某个部分上(例如在手、头、脚上)、在佩戴者正在使用的某个部件(例如个人计算机、智能电话、音乐播放器)上、在佩戴者附近的一件家具(例如椅子、书桌、桌子、灯)上等的控制设施来用控制姿势发起网页搜索,其中,网页搜索的图像被投影以便由佩戴者通过目镜观看。该佩戴者然后可以通过目镜来观看该搜索并通过控制设施来控制网页交互。
在示例中,用户可以正在佩戴被配置为一对眼镜的实施例,其中在保持同时观看周围真实环境的至少数个部分的能力的同时通过眼镜来提供因特网网页浏览器的投影图像。在这种情况下,用户可能正在其手上佩戴运动敏感控制设施,其中,该控制设施可以将用户的手的相对运动作为控制运动传送到目镜以用于网页控制,诸如与常规个人计算机配置中的鼠标的控制类似。应理解的是,将使得用户能够以与常规个人计算机配置的网页动作类似的方式来执行网页动作。在这种情况下,在通过手的运动来提供用于选择动作以执行搜索的控制的同时,通过目镜来提供网页搜索的图像。例如,手的总体运动可以使光标在网页搜索的投影图像内移动,(一个或多个)手指的轻弹可以提供选择动作等等。这样,通过连接到因特网的实施例,可以使得佩戴者能够执行期望的网页搜索,或者任何其他因特网浏览器使能功能。在一个示例中,用户可能已下载可从App Store获得的计算机程序Yelp或Monocle或类似产品,诸如NRU(“在你附近”)、来自Zagat的用以对附近餐馆或其他商店进行定位的应用程序、Google Earth、Wikipedia等。那个人可以发起例如针对餐馆或者诸如旅馆、修理工等的货物或服务的其他提供商或信息的搜索。当找到期望的信息时,显示位置或显示到期望位置的距离和方向。该显示可以采取与用户的视野中的真实世界对象处于同一地点的虚拟标签的形式。
来自Layar(荷兰阿姆斯特丹)的其他应用程序包括适合于用户期望的特定信息的多种“层”。层可以包括餐馆信息、关于特定公司的信息、不动产列表、加油站等。使用在诸如移动应用程序和用户的全球定位系统(GPS)的软件应用程序中提供的信息,可以在眼镜的屏幕上用具有期望信息的标签呈现信息。使用在本公开中的其他地方所讨论的触觉控制或其他控制,用户可以使他或她的身体枢转或以其他方式旋转并观看用包含信息的虚拟标签标记的建筑物。如果用户寻找餐馆,则屏幕将显示餐馆信息,诸如名称和位置。如果用户寻找特定地址,则虚拟标签将出现在佩戴者的视场中的建筑物上。用户然后可以通过语音、通过轨迹板、通过虚拟触摸屏等来进行选择或选定。
本公开的应用可以提供用于向佩戴者递送广告的方式。例如,在观看者开始他或她的一天时可以通过目镜向观看者显示广告,同时浏览因特网、执行网页搜索、走过商店等。例如,用户可能正在执行网页搜索,并且通过网页搜索,用户被定为广告的目标。在本示例中,广告可以在与投影的网页搜索相同的空间中被投影,漂浮到佩戴者的视角的侧面、上面或下面。在另一示例中,可以在某广告提供设施、可能是接近于佩戴者的一个感测到目镜的存在(例如通过无线连接、RFID等)并将广告指引到目镜时触发广告以便递送到目镜。
例如,佩戴者可能正在曼哈顿中逛街购物,在那里商店配备有此类广告提供设施。随着佩戴者走过商店,广告提供设施可以基于由目镜的集成位置传感器(诸如GPS)确定的用户的已知位置来触发广告到佩戴者的递送。在实施例中,还可以经由其他集成传感器(诸如磁力计)来提炼用户的位置,以使得能够实现超本地化增强现实广告。例如,如果磁力计和GPS读数将用户置于特定商店前面,则在购物商场的底层上的用户可以接收某些广告。当用户在购物商场中上一楼时,GPS位置可以保持相同,但是磁力计读数可以指示用户的高度变化和用户在不同商店前面的新位置。在实施例中,一个人可以存储个人简档信息,从而使得广告提供设施能够使广告与佩戴者的需要更好地匹配,佩戴者可以提供对广告的偏好,佩戴者可以阻止广告中的至少某些等。佩戴者还可以能够将广告和关联的折扣传递给朋友。佩戴者可以将其直接传送给非常接近并用其自己的目镜来启用的朋友;他们还可以通过无线因特网连接来将其传送诸如至朋友的社交网络,通过电子邮件、SMS等。可以将佩戴者连接至设施和/或基础设施,其使得能够实现广告从赞助商到佩戴者的传送;从佩戴者到广告设施、广告的赞助商等的反馈;到其他用户,诸如朋友和家人、或接近于佩戴者的某个人;以诸如本地地存储在目镜上或在远程站点中,诸如在因特网上或用户的家用计算机上等。这些互连性设施可以包括到目镜的集成设施以诸如通过使用GPS、3轴传感器、磁力计、陀螺仪、加速度计等提供用户的位置和注视方向,以便确定佩戴者的方向、速度、姿态(例如注视方向)。互连性设施可以提供电信设施,诸如蜂窝链路、WiFi/MiFi桥接器等。例如,佩戴者可以能够通过可用WiFi链路、通过到蜂窝系统的集成MiFi(或任何其他个人或群组蜂窝链路)等进行通信。可以存在用于佩戴者存储广告以供稍后使用的设施。可以存在与佩戴者的目镜集成且位于本地计算机设施中的设施,其使得能够实现诸如在本地区域内的广告的高速缓存,其中,高速缓存的广告可以使得能够实现广告的递送,因为佩戴者在与广告相关联的位置附近。例如,可以将包含地理定位的本地广告和特刊的本地广告存储在服务器上,并且可以随着佩戴者接近特定位置而将这些广告单独地递送给佩戴者,或者可以当佩戴者进入与广告相关联的地理区域时整体地将一组广告递送给佩戴者,从而使得当用户接近特定位置时,广告是可用的。地理位置可以是城市、城市的一部分、许多街区、单个街区、街道、街道的一部分、人行道等,其表示区域性、本地化、超本地化区域。请注意,先前的讨论使用术语广告,但本领域的技术人员将认识到的是这还可以意指通告、广播、通报、商业广告、赞助通信、背书、通知、促销、公告、消息等。
图18 ‑ 20A描绘了用以将定制消息递送给在机构的短距离内的希望发送消息的人(诸如零售店)的方式。现在参考图18,实施例可以提供诸如当目镜的佩戴者正在行走或开车时,通过如上所述的用于搜索货物和服务的提供商的应用来观看定制广告牌的方式。如图18中所描绘的,广告牌1800示出了由卖方或服务提供商显示的示例性基于增强现实的广告。如所描绘的,该示例性广告可以涉及关于酒吧的饮品的提供。例如,可以针对仅一个饮品的成本提供两个饮品。用此类基于增强现实的广告和提供物,佩戴者的注意可以容易地指向广告牌。该广告牌还可以提供关于酒吧的位置的细节,诸如街道地址、楼层号、电话号码等。依照其他实施例,可以利用除目镜之外的多个设备来观看广告牌。这些设备可以在没有限制的情况下包括智能电话、IPHONE、IPAD、汽车挡风玻璃、用户眼镜、头盔、腕表、头戴式受话器、车载支架等。依照实施例,当用户经过或开车经过道路时,用户(在增强现实技术被嵌入目镜中的情况下为佩戴者)可以自动地接收提供物或观看广告牌的场景。依照另一实施例,用户可以基于其请求接收提供物或观看广告牌的场景。
图19图示了包含来自卖方或服务提供商的可以以增强现实方式来观看的提供物和广告的两个示例性路旁广告牌1900。增强广告可以向用户或佩戴者提供实况的且接近现实的感觉。
如图20中所示,可以利用诸如在目镜中提供的照相机透镜之类的增强现实使能设备来接收和/或观看可以在路旁或建筑物和商店的顶上、侧面、前面显示的涂鸦2000、标语、图画等。路旁广告牌和涂鸦可以具有可以将广告或广告数据库链接至广告牌的视觉(例如代码、形状)或无线指示器。当佩戴者接近并观看广告牌时,则可以将广告牌广告的投影提供给佩戴者。在实施例中,一个人还可以存储个人简档信息,从而使得广告可以更好地匹配佩戴者的需要,佩戴者可以提供对广告的偏好,佩戴者可以阻止广告中的至少某些等。在实施例中,目镜可以具有在广告牌的目镜投影区域上的亮度和对比度控制,从而改善诸如在亮的外部环境中的广告的可读性。
在其他实施例中,用户可以基于其GPS位置或其他位置指示符(诸如磁力计读数)将信息或消息张贴在特定位置上。预期的观看者能够在观看者在该位置的某个距离内时看到消息,如用图20A所解释的那样。在方法图20A的第一步骤2001中,用户判定其中消息将被由消息被发送到的人接收的位置。该消息然后被张贴2003,以在接收者接近于预期的“观看区域”时被发送到适当的一个人或多个人。增强现实目镜的佩戴者的位置被形成目镜的一部分的GPS系统连续地更新2005。当GPS系统确定佩戴者在期望的观看区域的某个距离内(例如10米)时,消息然后被发送2007至观看者。在一个实施例中,消息然后作为电子邮件或文本消息呈现给接收者,或者如果接收者正在佩戴目镜,则消息可以在目镜中出现。由于消息是基于人的位置被发送给那个人的,所以在某种意义上,可以将该消息作为“涂鸦”显示在指定位置处或附近的建筑物或特征上。可以使用特定设置来确定是否到“观看区域”的所有过路人都能看到该消息,或者是否只有具有指定标识符的特定人或人群或设备。例如,肃清村庄的士兵可以通过使消息或标识符与房屋相关联(诸如大X标记房屋的位置)来虚拟地将房屋标记为被肃清。士兵可以指示只有其他美国士兵可以能够接收基于位置的内容。当其他美国士兵经过该房屋时,其可以诸如在其具有目镜或某个其他增强现实使能设备的情况下通过在房屋的一侧看到虚拟‘X’或者通过接收指示房屋已被肃清的消息来自动地接收指示。在另一示例中,可以将与安全应用有关的内容流式传输至目镜,诸如警报、目标识别、通信等。
实施例可以提供用于观看与诸如商店中的产品相关联的信息的方式。信息可以包括用于食物产品的营养信息、用于衣服产品的护理指令、用于消费者电子产品的技术说明书、电子赠券、促销产品、与其他类似产品的价格比较、与其他商店的价格比较等。可以在与产品相关的位置中、与商店布局相关地将该信息投影到佩戴者的视线的周界等。可以通过SKU、品牌标签等来在视觉上识别该产品;该产品可以通过产品包装(诸如通过产品上的RFID标签)来传送;由商店诸如基于佩戴者在商店中的位置,在与产品相关的位置中来传送,等。例如,观看者可能正在走过服装商店,并且随着其行走而为其提供关于货架上的衣服的信息,其中该信息是通过产品的RFID标签提供的。在实施例中,可以将该信息作为信息列表、作为图形表示、作为音频和/或视频呈现等来递送。在另一示例中,佩戴者可能正在购买食物,并且广告提供设施可能正在向佩戴者提供与佩戴者的附近的产品相关联的信息,当佩戴者拿起产品并观看品牌、产品名、SKU等时,可以为其提供信息。这样,可以为佩戴者提供将在其中更有效地购物的更具信息性的环境。
一个实施例可以允许用户通过使用诸如装配在示例性太阳镜的目镜中的照相机透镜之类的增强现实使能设备来接收或共享关于购物或市区的信息。这些实施例将使用增强现实(AR)软件应用,诸如上文结合对货物和服务的提供商进行搜索所述的那些。在一个情境中,目镜的佩戴者可以出于购物的目的沿着街道或市场行走。此外,用户可以激活各种模式,其可以帮助定义针对特定情境或环境的用户偏好。例如,用户可以进入导航模式,通过该导航模式可以引导佩戴者穿过街道和市场以便购买优选的附件和产品。该模式可以被选择并且可以由佩戴者通过各种方法(诸如通过文本命令、语音命令等)给出各种指示。在实施例中,佩戴者可以给出语音命令以选择导航模式,其可以导致在佩戴者前面的增强显示。该增强信息可以描绘关于市场中的各种商店和供应商的位置、各种商店中以及由各种供应商的提供物、当前娱乐时间、当前日期和时间等的信息。还可以向佩戴者显示各种选项种类。佩戴者可以滚动选项并沿着通过导航模式引导的街道行走。基于所提供的选项,佩戴者可以基于诸如提供物和折扣等来选择最适合他购物的地方。佩戴者可以给出语音命令以朝着该地方导航,并且然后可以将佩带者朝着那里引导。佩戴者还可以自动地或基于关于诸如附近购物商店之类的感兴趣位置中的当前交易、促销和事件的请求来接收广告和提供物。广告、交易和提供物可以出现在佩戴者的附近,并且可以显示选项以便基于广告、交易和提供物来购买期望的产品。佩戴者可以例如选择产品并通过Google付款台来购买该产品。消息或电子邮件可以与用于产品购买的交易已经完成的信息一起出现在目镜上,类似于图7中所描绘的那个。还可以显示产品递送状态/信息。佩戴者还可以通过社交联网平台来向朋友和亲戚传达或警告关于该提供物和事件,并且还可以让他们参加。
在实施例中,用户可以佩戴头戴式目镜,其中,该目镜包括光学组件,用户可以通过该光学组件观看周围环境和所显示的内容。所显示的内容可以包括一个或多个本地广告。可以由集成位置传感器来确定目镜的位置,且本地广告可以具有与目镜位置的相关性。举例来说,可以经由GPS、RFID、手动输入等来确定用户的位置。此外,用户可能正在走过咖啡店,并且基于用户对该店的接近,在用户的视场中可以出现广告,其类似于图19中所描绘的那个,示出该店的咖啡品牌。该用户可以随着他或她在周围环境走来走去而体验相似类型的本地广告。
在其他实施例中,目镜可以包含能够感测目镜是否与人类皮肤接触的电容传感器。可以以允许当用户正在佩戴眼镜时的检测的方式将该传感器或传感器组放置在目镜上和/或目镜臂上。在其他实施例中,可以使用传感器来确定例如当耳机处于非折叠位置时目镜是否处于使得其可以被用户佩戴的位置。此外,可以只在目镜与人类皮肤接触、处于可佩戴位置中、两者的组合、实际上被用户佩戴等时发送本地广告。在其他实施例中,可以响应于目镜被上电或响应于目镜被上电并被用户佩戴等发送本地广告。举例来说,登广告者可以选择只有当用户接近于特定机构时且当用户实际上正在佩戴眼镜且其被通电、允许登广告者在适当的时间使广告以用户为目标时才发送本地广告。
依照其他实施例,可以将本地广告作为横幅广告、二维图形、文本等显示给用户。此外,可以使本地广告与用户的周围环境的视野的物理方面相关联。还可以将本地广告显示为增强现实广告,其中,该广告与周围环境的物理方面相关联。该广告可以是二维或三维的。举例来说,可以使本地广告与如在图18中进一步描述的物理广告牌相关联,其中,可以将用户的注意力吸引到所显示内容,其示出了饮料正在从广告牌1800被倒到周围环境中的实际建筑物上。本地环境还可以包含通过耳机、音频设备或其他手段被显示给用户的声音。此外,在实施例中,可以将本地广告做成动画。例如,用户可以观看饮料从广告牌到相邻建筑物上且可选地到周围环境中的流动。类似地,广告可以在广告中根据期望显示任何其他类型的运动。另外,可以将本地广告显示为可以与周围环境相关联或相交互的三维对象。在其中广告与用户的周围环境的视野中的对象相关联的实施例中,广告可以甚至随着用户转动他的头而保持与对象相关联或接近于对象。例如,如果使广告(诸如图19中所述的咖啡杯)与特定建筑物相关联,则咖啡杯广告可以甚至随着用户转动他的头以注视他的环境中的另一对象来保持与建筑物相关联且在建筑物上保持在合适的位置。
在其他实施例中,可以基于由用户执行的网页搜索来向用户显示本地广告,其中,在网页搜索结果的内容中显示广告。例如,用户可以随着他正沿着街道行走而搜索“娱乐时间”,并且在搜索结果的内容中,本地广告可以被显示以为本地酒吧的啤酒价格打广告。
此外,可以基于用户的个人信息来确定本地广告的内容。可以使得用户的信息可用于网络应用、广告设施等。此外,网络应用、广告设施或用户的目镜可以基于用户的个人信息对广告进行过滤。一般地,例如,用户可以存储关于他的好和恶的个人信息,并且该信息可以用来直接登广告至用户的目镜。通过特定示例的方式,用户可以存储关于其对本地体育队的喜好的数据,并且随着使得广告可用,可以对具有其喜欢的体育队的那些广告给予偏好并将其推荐给用户。类似地,可以使用用户的厌恶来将某些广告从视野中排除。在各种实施例中,可以将广告高速缓存在服务器上,在那里,广告可以被广告设施、网络应用和目镜中的至少一个访问并被显示给用户。
在各种实施例中,用户可以以许多方式与任何类型的本地广告相交互。用户可以通过进行眼睛移动、身体运动及其他姿势中的至少一个动作来请求与本地广告有关的附加信息。例如,如果将广告显示给用户,则他可以在其视场中的广告上挥动他的手,或者在广告上移动他的眼睛,以便选择特定广告以接收关于该广告的更多信息。此外,用户可以通过本文所述的任何移动或控制技术,诸如通过眼睛移动、身体运动、其他姿势等来选择忽视该广告。此外,用户可以通过允许通过在给定时间段内不选择用于进一步交互的广告而作为默认将广告忽视来选择忽视该广告。例如,如果用户选择在广告被显示的五秒内不作出姿势以获得来自广告的更多信息,则广告可以作为默认被忽视并从用户视野消失。此外,用户可以选择不允许显示本地广告,由此,所述用户在图形用户界面上或者通过经由所述目镜上的控制设施来将该特征关断来选择该选项。
在其他实施例中,目镜可以包括音频设备。因此,所显示的内容可以包括本地广告和音频,从而使得用户还能够听到消息或其他声音效果,因为其与本地广告有关。举例来说,并且再次参考图18,在用户看到正在倒啤酒的同时,他实际上将能够听到对应于该广告中的动作的音频传输。在这种情况下,用户可以听到瓶子打开且然后是液体倒出瓶子且到屋顶上的声音。在其他实施例中,可以播放描述性消息和/或可以作为广告的一部分给出一般信息。在实施例中,可以根据期望播放用于广告的任何音频。
依照另一实施例,可以通过使用增强现实使能设备(诸如装配在目镜中的照相机透镜)来促进社交联网。这可以用来将可能不具有增强现实使能设备的若干用户或其他人连接在一起,其可以与彼此共享想法和思想。例如,目镜的佩戴者可能正与其他学生一起坐在学校校园中。佩戴者可以与可能出现在咖啡店中的第一个学生相连并向其发送消息。例如,佩戴者可以问第一个学生关于对诸如环境经济学的特定科目感兴趣的人。随着其他学生经过佩戴者的视场,装配在目镜内的照相机透镜可以跟踪该学生并将其与联网数据库(诸如可以包含公共简档的‘Google me’)匹配。来自公共数据库的感兴趣且相关的人的简档可以在目镜上出现且在佩戴者前面弹出。可能不相关的简档中的某些可以被阻止或在用户看起来被阻止。可以突出显示相关简档以用于佩戴者的快速参考。佩戴者所选的相关简档可能是对科目环境经济学感兴趣且佩戴者还可以与他们相连。此外,他们还可以与第一个学生相连。以这种方式,可以由佩戴者通过使用采用增强现实的特征使能的目镜来建立社交网络。可以保存由该佩戴者管理的社交网络和其中的会话以供未来参考。
通过使用诸如装配在目镜中的照相机透镜之类的增强现实使能设备,可以在不动产情境中应用本公开。依照本实施例,佩戴者可能想要获得关于其中用户可能在特定时间(诸如在驾驶、行走、漫步等期间)出现的地方的信息。佩戴者可能例如想要理解那个地方的居住益处和损失。他还可能想要获得关于那个地方的设施的详细信息。因此,佩戴者可以利用诸如Google在线地图之类的地图并识别在那里可用于租赁或购买的不动产。如上所述,用户可以使用诸如Layar的移动因特网应用来接收关于用于销售或出租的不动产的信息。在一个此类应用中,将关于用户的视场内的建筑物的信息投影到眼镜的内部上以供用户考虑。可以在目镜透镜上向佩戴者显示选项以便诸如用安装在眼镜的框架上的轨迹板来滚动。佩戴者可以选择和接收关于所选选项的信息。可以向佩戴者显示所选选项的增强现实使能场景,并且佩戴者可以能够观看图片并在虚拟环境中进行设施旅游。佩戴者还可以接收关于房地产经纪人的信息并与那些经纪人中的一个确定一个约定。还可以在目镜上接收电子邮件通知或呼叫通知以进行该约定的确认。如果佩戴者发现了有价值的所选不动产,则可以进行交易,并且可以由佩戴者来购买。
依照另一实施例,可以通过使用增强现实使能设备(诸如装配在目镜中的照相机透镜)来增强定制和赞助的旅游和旅行。例如,佩戴者(作为旅游者)可以到达诸如巴黎之类的城市并想要接收关于那个地方的旅游和游览相关信息以相应地在其停留期间制定用于其连续几天的参观的计划。佩戴者可以戴上他的目镜或者操作任何其他增强现实使能设备,并给出关于他的请求的语音或文本命令。增强现实使能目镜可以通过地理感测技术对佩戴者位置进行定位并判定佩戴者的旅游偏好。目镜可以基于屏幕上的佩戴者的请求来接收并显示定制信息。在没有限制的情况下,该定制旅游信息可以包括关于艺术画廊和博物馆、纪念碑和历史古迹、购物综合区、娱乐和夜生活场所、餐馆和酒吧、最流行旅游者目的地和旅游的中心/吸引人的地方、最流行的本地/文化/区域性目的地和吸引人的地方等的信息。基于这些种类中的一个或多个的用户选择,目镜可以用其他问题来提示用户,诸如停留的时间、旅游方面的投资等。佩戴者可以通过语言命令进行响应,并且作为回复按照如由佩戴者选择的顺序接收定制旅游信息。例如,佩戴者可以相比于纪念碑对艺术画廊给予优先级。因此,可以使得信息可用于佩戴者。此外,地图还可以采用不同组的旅游选项并采用不同的优先级排序出现在佩戴者的前面,诸如:
优先级排序1:第一旅游选项(香榭丽舍大街、卢浮宫、罗丹、博物馆、有名的咖啡厅)
优先级排序2:第二选项
优先级排序3:第三选项。
佩戴者例如可以选择第一选项, 因为其被基于佩戴者指示的偏好在优先级方面排列为最高。关于赞助商的广告可以刚好在选择之后弹出。随后,虚拟旅游可以以增强现实方式开始,其可以非常接近于真实环境。佩戴者可以例如进行30秒旅游到专用于巴哈马中的Atlantis渡假胜地度假。虚拟3D旅游可以包括快速地看房间、海滩、公共空间、停车场、设施等。佩戴者还可以体验该区域中的购物设施并接收那些地方和商店中的提供物和折扣。在一天结束时,佩戴者可能已坐在他的房间或旅馆中体验到一整天的旅游。最后,佩戴者可以决定并相应地制订他的计划。
另一实施例可以允许通过使用诸如装配在目镜中的照相机透镜的增强现实使能设备来拥有关于汽车修理和维护服务的信息。佩戴者可以通过发送用于请求的语音命令来接收与汽车修理店和经销商有关的广告。该请求可以例如包括车辆/汽车中的换油的要求。目镜可以从修理店接收信息并显示给佩戴者。目镜可以拉起佩戴者的车辆的3D模型并通过增强现实使能场景/视图来示出汽车中剩余的油量。目镜可以示出还关于佩戴者的车辆的其他相关信息,诸如类似于刹车片的其他部分方面的维护要求。佩戴者可以看佩戴者刹车片的3D视图且可能对使其被修理或更换感兴趣。因此,佩戴者可以与供应商安排约定以经由使用目镜的集成无线通信能力来修复该问题。可以通过目镜照相机透镜上的电子邮件或呼入呼叫警报来接收确认。
依照另一实施例,礼品购买可以通过使用诸如装配在目镜中的照相机透镜之类的增强现实使能设备而受益。佩戴者可以通过文本或语音命令来发布对用于某个场合的礼物的请求。目镜可以提示佩戴者回答他的偏好,诸如礼物类型、要接收礼物的人的年龄组、礼物的成本范围等。可以基于接收到的偏好将各种选项呈现给用户。例如,呈现给佩戴者的选项可以是:饼干篮、酒和奶酪篮、各种各样的巧克力、高尔夫球手的礼物篮等。
可以由佩戴者滚动可用选项,并且可以经由语音命令或文本命令来选择最佳拟合选项。例如,佩戴者可以选择高尔夫球手的礼物篮。高尔夫球手的礼物篮的3D视图连同高尔夫球场可以一起出现在佩戴者的前面。通过增强现实使能的高尔夫球手的礼物篮和高尔夫球场的虚拟3D视图可以被感觉非常接近于真实世界环境。佩戴者最后可以对通过目镜提示的地址、位置及其他类似查询进行响应。然后可以通过目镜照相机透镜上的电子邮件或呼入呼叫警报来接收确认。
可能让用户感兴趣的另一应用是使用增强现实眼镜的移动在线游戏。这些游戏可以是计算机视频游戏,诸如由Electronic Arts Mobile、UbiSoft和Activision Blizzard提供的那些,例如World of Warcraft®(WoW)。正如在家中的计算机(而不是工作时的计算机)上播放游戏和娱乐应用一样,增强现实眼镜还可以使用游戏应用。屏幕可以出现在眼镜的内部上,从而使得用户可以观察游戏并参与游戏。另外,可以通过虚拟游戏控制器来提供用于玩游戏的控制,所述虚拟游戏控制器诸如在本文中的其他地方所述的操纵杆、控制模块或鼠标。游戏控制器可以包括被附接于用户的手的传感器或其他输出类型元件,诸如用于通过加速度、振动、力、电脉冲、温度、电场感测等从用户反馈。可以借助于外套、圆环、垫、手套、手镯等将传感器和致动器附接于用户的手。同样地,目镜虚拟鼠标可以允许用户将手、手腕和/或手指的运动转换成目镜显示器上的光标的运动,其中,“运动”可以包括缓慢移动、快速运动、急动运动、位置、位置变化等,并且可以允许用户在三个维度上工作,而不需要物理表面,并且包括六个自由度中的某些或全部。
如在图27中看到的,游戏应用可以使用因特网和GPS两者。在一个实施例中,将游戏从客户数据库经由游戏提供商、可能使用其网络服务和如所示的因特网下载到用户计算机或增强现实眼镜。同时,还具有电信能力的眼镜经由蜂窝塔和卫星来接收和发送电信和遥测信号。因此,在线游戏系统可访问关于用户的位置以及用户的期望的游戏活动的信息。
游戏可以利用每个玩家的位置的此知识。例如,游戏可以经由GPS定位器或磁力计定位器来插入使用玩家的位置的特征以判定用于到达该位置的点。当玩家到达特定位置时,游戏还可以发送消息,例如显示线索或场景或图像。例如,消息可以是到达下一个目的地,其然后被提供给玩家。可以将场景或图像作为必须被克服的搏斗或障碍的一部分或者作为赚得游戏点的机会来提供。因此,在一个实施例中,增强现实目镜或眼镜可以使用佩戴者的位置来加快基于计算机的视频游戏并使其生动。
在图28中描绘了玩增强现实游戏的一个方法。在这种方法中,用户登录到网站,由此允许访问游戏。选择该游戏。在一个示例中,如果多个玩家游戏是可获得且期望的,则用户可以加入游戏;替换地,用户可以可能使用用户期望的特殊角色来创建定制游戏。可以对该游戏制订计划,并且在某些情况下,玩家可以选择用于游戏的特定时间和地点,将指示分发到将在那里玩游戏的站点等。稍后,玩家会面并登入游戏,其中一个或多个玩家使用增强现实眼镜。参与者然后玩游戏,并且如果适用的话,可以存储游戏结果和任何统计信息(玩家的分数、游戏时间等)。一旦游戏已经开始,则可以针对游戏中的不同玩家改变位置,将一个玩家发送到一个位置并将另一个或几个玩家发送到不同的位置。该游戏然后可以基于其GPS或提供磁力计的位置而具有用于每个玩家或玩家群组的不同情境。还可以基于他或她的角色、他或她的位置或两者向每个玩家发送不同的消息或图像。当然,每个情境然后可以通向其他情况、其他交互、到其他位置的方向等。在某种意义上,该游戏将玩家的位置的现实与玩家正在参与其中的游戏混合。
游戏的范围可以从将在玩家的手的手掌中玩的类型的简单游戏(诸如小的单人游戏)开始。替换地,还可以玩更复杂的多人游戏。在前一种中的是诸如SkySiege、AR Drone和Fire Fighter 360的游戏。另外,多人游戏也很容易想象。由于所有玩家必须登录到游戏中,所以特定的游戏可以由登录并指定另一个或几个人的朋友来玩。玩家的位置也可经由GPS或其他方法获得。还可以将如上所述的增强现实眼镜中或游戏控制器中的传感器(诸如加速度计、陀螺仪或者甚至磁罗盘)用于定向和玩游戏。示例是可用于来自App Store的iPhone应用的AR Invaders。其他游戏可以从其他供应商获得,并且用于非iPhone类型系统,诸如阿姆斯特丹的Layar和法国巴黎的Paris SA、AR Drone、AR Flying Ace和AR Pursuit的提供商。
在实施例中,游戏还可以采取3D形式,从而使得用户能够体验3D游戏。例如,当玩3D游戏时,用户可以观看虚拟、增强现实或其他环境,其中用户能够控制他的视野全景。用户可以转动他的头以观看虚拟环境或其他环境的各种方面。同样地,当用户转动他的头或进行其他移动时,其可以观看游戏环境,如同他实际上在此环境中一样。例如,用户的全景可以使得用户被采用对观看全景的至少某控制放“入”3D游戏环境中,其中,用户可以能够移动他的头并具有与变化的头位置相对应的游戏环境变化的视图。此外,用户可以能够在他物理地向前走时“走入”游戏中,并且随着用户移动而具有全景改变。此外,该全景还可以随着用户移动他的眼睛的注视视野等而变。可以诸如在可以通过转动头来访问的用户的视野的侧面处提供附加图像信息。
在实施例中,可以将3D游戏环境投影到眼镜的透镜上或通过其他手段来观看。此外,透镜可以是不透明或透明的。在实施例中,可以使3D游戏图像与用户的外部环境相关联并结合该外部环境,从而使得用户可以能够转动他的头且3D图像和外部环境保持在一起。此外,此3D游戏图像和外部环境关联可以改变,从而使得3D图像在各种情况下与外部环境中的不止一个对象或对象的不止一个部分相关联,从而使得在用户看起来3D图像正在与实际环境的各种方面或对象相交互。举例来说,用户可以观看3D游戏怪兽爬上建筑物或到汽车上,其中,此建筑物或汽车是用户的环境中的实际对象。在此游戏中,用户可以与怪兽相交互作为3D游戏体验的一部分。用户周围的实际环境可以是3D游戏体验的一部分。在其中透镜为透明的实施例中,用户可以在在他或她的实际环境中走来走去的同时在3D游戏环境中相交互。3D游戏可以将用户的环境的元素结合到游戏中,其可以由游戏整体地产生,或者其可以是两者的混合物。
在实施例中,可以使3D图像与增强现实程序、3D游戏软件等相关联或由增强现实程序、3D游戏软件等或由其他手段生成。在其中出于3D游戏的目的采用增强现实的实施例中,3D图像可以基于用户的位置或其他数据出现或被用户察觉。此增强现实应用可以为用户做准备以与此3D图像或多个3D图像相交互以在使用眼镜时提供3D游戏环境。随着用户改变其位置,例如,游戏中的比赛可以前进,并且游戏的各种3D元素可以变得对于观看者而言可访问或不可访问。举例来说,用户的游戏人物的各种3D敌人可以基于用户的实际位置出现在游戏中。用户可以与玩游戏的其他用户和或与玩游戏的其他用户相关联的3D元素相交互或导致来自玩游戏的其他用户和或与玩游戏的其他用户相关联的3D元素的反应。与用户相关联的此类元素可以包括用户的武器、消息、货币、3D图像等。基于用户的位置或其他数据,他或她可以通过任何手段邂逅、观看或雇佣其他用户以及与其他用户相关联的3D元素。在实施例中,还可以由被安装在或下载到眼镜中的软件来提供3D游戏,其中,用户的位置被或不被使用。
在实施例中,透镜可以是不透明的以便为用户提供虚拟现实或其他虚拟3D游戏体验,其中用户被“放入”游戏中,其中用户的移动可以改变用于用户的3D游戏环境的观看全景。用户可以通过各种身体、头和或眼睛移动、使用游戏控制器、一个或多个触摸屏或本文所述的任何控制技术来移动通过或探索虚拟环境,所述本文所述的任何控制技术可以允许用户导航、操纵3D环境并与之相交互,并且从而玩3D游戏。
在各种实施例中,用户可以经由身体、手、手指、眼睛或其他移动、通过使用一个或多个有线或无线控制器、一个或多个触摸屏、本文所述的任何控制技术等来导航3D游戏环境、与之相交互并操纵该3D游戏环境并且体验3D游戏。
在实施例中,可用于目镜的内部和外部设施可以为学习目镜的用户的行为,并且将学习的行为存储在行为数据库中以启用位置感知控制、活动感知控制、预测控制等做好准备。例如,用户可以使事件和/或动作的跟踪被目镜记录,诸如来自用户的命令、通过照相机感测的图像、用户的GPS位置、随时间推移的传感器输入、由用户进行的触发动作、到和来自用户的通信、用户请求、网络活动、收听到的音乐、请求的方向、使用或提供的推荐等。可以将此行为数据存储在行为数据库中,诸如用用户标识符标记或自发地。目镜可以在学习模式、采集模式等下采集此数据。目镜可以利用由用户获取的过去数据来通知或提醒用户他们之前做了什么,或者替换地,目镜可以利用该数据以基于过去采集的经验来预测用户可能需要什么目镜功能和应用。这样,目镜可以充当用户的自动化助手,例如在用户启动它们的平常时间启动应用,在接近位置或进入建筑物时关断增强现实和GPS,当用户进入体育馆时用音乐进行流式传输等。替换地,可以将多个目镜用户的经学习的行为和/或动作自发地存储在集体行为数据库中,其中,在所述多个用户之间的经学习的行为基于相似的条件可用于单独用户。例如,用户可能正在参观一个城市,并且在站台上等火车,并且用户的目镜访问该集体行为数据库以确定其他用户在等火车的同时做了什么,诸如获得方向、搜索感兴趣点、收听某音乐、查询火车时刻表、联系城市网站以获得旅行信息、连接到用于该区域中的娱乐的社交联网站点等。这样,目镜可以能够为用户提供自动化辅助,其具有许多不同的用户体验的益处。在实施例中,可以使用经学习的行为来为/向用户开发偏好简档、推荐、广告目标确定、社交网络联系、用于用户或用户群组的行为简档等。
在实施例中,增强现实目镜或眼镜可以包括用于检测声音的一个或多个声传感器。上面在图29中描绘了示例。在某种意义上,声传感器类似于扩音器,因为其检测声音。声传感器通常具有一个或多个频率带宽,在该频率带宽下其更加敏感,并且因此能够针对预期的应用来选择传感器。声传感器可从多种制造商获得,并且可与适当的换能器及其他要求的电路一起使用。制造商包括美国犹他州盐湖城的ITT Electronic Systems;美国加利福尼亚州圣胡安‑卡皮斯特拉诺的Meggitt Sensing Systems;以及美国德克萨斯州奥斯汀的National Instruments。适当的扩音器包括包含单个扩音器的那些以及包含扩音器阵列的那些或扩音器阵列。
声传感器可以包括使用微机电系统(MEMS)技术的那些。由于MEMS传感器中的非常精细的结构,传感器是极其灵敏的,并且通常具有宽范围的灵敏度。MEMS传感器通常是使用半导体制造技术制造的。典型的MEMS加速度计的元件是由两组指状物组成的移动梁结构(moving beam structure)。一组被固定于基板上的固体地面;另一组被附接于安装在能够响应于施加的加速度移动的弹簧上的已知块。此施加的加速度改变固定和移动梁指状物之间的电容。结果是非常灵敏的传感器。此类传感器是例如由德克萨斯州奥斯汀的STMicroelectronics和美国新泽西州莫里森市的Honeywell International制造的。
除识别之外,还可以将增强现实设备的声音能力应用于对声音的起源进行定位。如众所周知的,需要至少两个声音或声传感器对声音进行定位。声传感器将被配备有适当的换能器和信号处理电路,诸如数字信号处理器,以便解释信号并实现期望目标。用于声音定位传感器的一个应用可以从紧急位置内确定声音的起源,该紧急位置诸如燃烧的建筑物、车祸等。配备有本文所述实施例的急救工人中的每个可以具有嵌入在框架内的一个或不止一个声传感器或扩音器。当然,还可以将传感器佩戴在人的衣服上或者甚至附接于那个人。在任何情况下,信号被传送到增强现实目镜的控制器。目镜或眼镜配备有GPS技术,并且还可以配备有方向测定能力;替换地,其中每个人两个传感器,微控制器可以确定噪声源自的方向。
如果存在两个或更多消防队员或其他急救响应者,则从其GPS能力知道其位置。两个中的任一个或消防队长或控制总部然后知道两个响应者的位置和从每个响应者至所检测噪声的方向。然后可以使用已知技术和算法来确定噪声的精确起源点。参见例如M. Hawkes和A. Nehorai在IEEE Transactions on Signal Processing, vol. 46, no. 9, 1998年9月, 2291~2304处的Acoustic Vector ‑ Sensor Beamforming and Capon Direction Estimation;还参见P.K. Tam和K.T. Wong在IEEE Sensors Journal, vol. 9. No. 8, 2009年8月, 969~982处的Cramér‑Rao Bounds for Direction Finding by an Acoustic Vector Sensor Under Nonideal Gain‑Phase Responses, Noncollocation or Nonorthogonal Orientation。所使用的技术可以包括定时差(所感测的参数的到达时间差)、声速差以及声压差。当然,声传感器通常测量声压的水平(例如以分贝为单位),并且这些其他参数可以在适当类型的声传感器中使用,包括声发射传感器和超声波传感器或换能器。
可以将适当的算法和所有其他必要的编程存储在目镜的微控制器中或目镜可访问的存储器中。使用不止一个响应者或多个响应者,然后可以确定可能的位置,并且响应者可以尝试对要救的人进行定位。在其他应用中,响应者可以使用这些声能力来确定对法律实施有意义的人的位置。仍旧在其他应用中,演习中的许多人可能遭遇敌方开火,包括直接开火(视线)或间接开火(在视线外,包括高角度开火)。这里所述的相同技术可以用来估计敌方开火的位置。如果在该区域中存在多个人,则估计可能是更加准确的,尤其是在人在较宽的区域内至少在某种程度上分离的情况下更是如此。这可以是用以把反排炮或反迫击炮开火对准地方的有效工具。如果目标足够接近,还可以使用直接开火。
在图31中描绘了使用增强现实目镜的实施例的示例。在本示例中,许多士兵在巡逻,每个配备有增强现实目镜,并且警戒敌方开火。可以将由其声传感器或扩音器所检测的声音中继至如所示的小队车辆、至其排长或者至远程战术作战中心(TOC)或指挥所(CP)。替换地,或者除这些之外,还可以将信号发送到移动设备,诸如机载平台,如所示出的那样。可以使用局域网或其他网络来促进士兵和附加位置之间的通信。另外,可以通过加密或其他保护措施来保护所有传送的信号。小队车辆、排长、移动平台、TOC或CP中的一个或多个将具有用于将来自多个士兵的输入组合并确定敌方开火的可能位置的综合能力。来自每个士兵的信号将包括来自增强现实眼镜或目镜中所固有的GPS能力的士兵位置。每个士兵上的声传感器可以指示噪声的可能方向。使用来自多个士兵的信号,可以确定敌方开火的方向和可能位置。该士兵然后可以压制该位置。
除扩音器之外,增强现实目镜可以配备有耳塞,其可以是连接耳塞,如在本文中的其他地方所述,并且可以被可去除地附接1403,或者可以被配备有音频输出插孔1401。目镜和耳塞可以被配备为递送噪声消除干扰,允许用户更好地听到从增强现实目镜或眼镜的音频‑视频通信能力递送的声音,并且可以以自动增益控制为特征。增强现实目镜的扬声器或耳塞还可以与设备的全音频和视觉能力相连,具有从所包括的电信设备递送高质量且清楚的声音的能力。如在本文中的其他地方所述,这包括无线电或蜂窝式电话(智能电话)音频能力,并且还可以包括用于无线个域网(WPAN)的补充技术,诸如BluetoothTM能力或相关技术,诸如IEEE 802.11。
增强音频能力的另一方面包括语音辨别和识别能力。语音辨别涉及理解说的是什么,而语音识别涉及理解说话的人是谁。语音识别可以与这些设备的面部识别能力联合起来工作以更肯定地识别感兴趣的人。如在本文中其他地方所述,作为增强现实目镜的一部分连接的照相机可以不引人注目地聚焦于期望的人,诸如人群中的单个人或人群中的多个脸。使用照相机和适当的面部识别软件,可以拍摄人或人群的图像。然后将图像的特征分解成任何数目的测量结果和统计信息,并且将结果与已知的人的数据库相比较。然后可以进行识别。以相同方式,可以获取来自感兴趣的人的语音或语音采样。样本可以被例如以特定的时间间隔标记或标志,并且加标签,例如人的物理特性的描述或数字。可以将语音样本与已知的人的数据库相比较,并且如果那个人的语音匹配,则可以进行识别。
在其中将照相机用于人群中的多个人的生物统计识别的实施例中,可以使用本文所述的控制技术来选择用于成像的人脸或虹膜。例如,可以使用使用手戴式控制设备的光标选择来选择用户的周围环境的视野中的多个人脸。在另一示例中,可以使用目光追踪来选择哪些人脸将选用于生物统计识别。在另一示例中,手戴式控制设备可以感测用来选择个体的姿势,诸如指向每个个体。
在一个实施例中,可以根据人的语音的一个样本或根据人的语音的许多样本理解特定人的语音的重要特性。样本通常被分成段、帧和子帧。通常,重要特性包括那个人的语音的基频、能量、共振峰、说话速率等。这些特性被根据某些公式或算法来分析语音的软件分析。此领域正在不断地改变和改善。然而,除了其他之外,当前此类分类器还可以包括诸如神经网络分类器、k分类器、隐式马尔可夫模型、高斯混合模型和模式匹配算法之类的算法。
在图32中描绘了用于语音辨别和说话者识别的一般模板3200。第一步骤3201是提供语音信号。理想地,一个人具有来自与其比较信号的在先遭遇的已知样本。然后在步骤3202中将信号数字化,并且在步骤3203中分割成片段,诸如段、帧和子帧。然后在步骤3204中生成和提取语音样本的特征和统计信息。然后在步骤3205中应用分类器或不止一个分类器以确定样本的一般分类。然后在步骤3206中可以应用样本的后处理,例如以将样本与已知样本相比较以获得可能的匹配和识别。然后可以在步骤3207中输出结果。可以将输出指引到请求匹配的人,并且还可以记录输出并将其发送给其他人和一个或多个数据库。
在实施例中,目镜的音频能力包括用关联的耳塞进行听力保护。诸如如果在佩戴者的头附近检测到大的噪声,则目镜的音频处理器可以使得能够实现自动噪声抑制。可以将本文所述的任何控制技术与自动噪声抑制一起使用。
在实施例中,目镜可以包括镍钛诺头带。头带可以是弯曲金属的薄带,其可以从目镜的臂拉出,或者旋转出以及延伸出到头的后面以将目镜固定于头。在一个实施例中,镍钛诺带的尖端可以具有硅树脂覆盖物,从而使得硅树脂覆盖物被抓住以从臂的末端拉出。在实施例中,只有一个臂具有镍钛诺带,并且其被固定于另一臂以形成带。在其他实施例中,两个臂都具有镍钛诺带且两侧被拉出以接合而形成带,或者独立地抓住头的一部分以将目镜固定在佩戴者的头上。
参考图21,目镜可以包括一个或多个可调整的环绕可延伸臂2134。该可调整的环绕可延伸臂2134可以将目镜的位置固定于用户的头。可延伸臂2134中的一个或多个可以由形状记忆材料制成。在实施例中,臂中的一者或两者可以由镍钛诺和/或任何形状记忆材料制成。在其他情况下,可以用硅树脂覆盖环绕可延伸臂2134中的至少一个的末端。此外,可调整的环绕可延伸臂2134可以从目镜臂2116的末端延伸。其可以伸缩式地延伸和/或其可以从目镜臂的末端滑出。其可以从目镜臂2116的内部滑出,或者其可以沿着目镜臂2116的外表面滑动。此外,可延伸臂2134可以相遇并固定于彼此。可延伸臂还可以附接于头戴式目镜的另一部分以产生用于将目镜固定于用户的头的装置。该环绕可延伸臂2134可以相遇以固定于彼此、互锁、连接、磁耦合或通过其他手段固定,从而提供到用户的头的安全附着。在实施例中,还可以独立地调整可调整的环绕可延伸臂2134以附着于或抓住用户的头的部分。同样地,独立可调整的臂可以允许用户具有用于个性化配合以将目镜固定于用户的头的增加的可定制性。此外,在实施例中,环绕可延伸臂2134中的至少一个可以是可从头戴式目镜拆卸的。在仍旧其他实施例中,环绕可延伸臂2134可以是头戴式目镜的附加特征。在这种情况下,用户可以选择将可延伸、不可延伸或其他臂放到头戴式目镜上。例如,可以将臂作为套装或套装的一部分出售,其允许用户针对他或她的特定偏好对目镜进行定制。因此,用户可以通过选择具有适合于他的偏好的特定可延伸臂的不同套装来对用来制成可调整环绕可延伸臂2134的材料的类型进行定制。因此,用户可以针对他的特定需要和偏好对其目镜进行定制。
在仍旧其他实施例中,可以将可调整带2142附接于目镜臂,从而使得其在用户的头的后面周围延伸,以便将目镜固定在合适的位置。可以将该带调整至适当的配合。其可以由任何适当的材料制成,包括但不限于橡胶、硅树脂、塑料、棉布等。
在实施例中,目镜可以包括安全特征,诸如M屏蔽安全、安全内容、DSM、安全运行时间、IPSec等。其他软件特征可以包括:用户接口、Apps、体系(Framework)、BSP、编解码器、集成、测试、系统确认等。
在实施例中,可以选择目镜材料以使得能够耐用。
在实施例中,目镜可以能够接入3G接入点,其包括3G无线电、802.11b连接和蓝牙连接以使得能够实现使数据从设备跳跃至目镜的3G使能实施例。
本公开还涉及用于捕获关于个体的生物统计数据的方法和设备。该方法和设备提供个体的指纹、虹膜图案、面部结构及其他唯一生物统计特征的无线捕获,并且然后将数据发送到网络或直接至目镜。还可以将从个体采集的数据与先前采集的数据相比较并用来识别特定个体。
目镜的另一实施例可以用来提供生物统计数据采集和结果报告。生物统计数据可以是视觉生物统计数据,诸如面部生物统计数据或虹膜生物统计数据,或者可以是音频生物统计数据。图66描绘了提供生物统计数据捕获的实施例。组件6600结合了上文结合图1所讨论的目镜100。目镜100提供了包括光学组件的交互式头戴目镜。还可以使用提供类似功能的其他目镜。目镜还可以结合全球定位系统能力以允许位置信息显示和报告。
光学组件允许用户观看周围环境,包括在佩戴者附近的个体。目镜的实施例允许用户使用面部图像和虹膜图像或面部和虹膜图像两者或音频样本来在生物统计学上识别附近个体。目镜结合了校正用户的周围环境的视野的校正元件并且还显示通过在集成处理器和图像源中提供给用户的内容。集成图像源将要显示给用户的内容引入到光学组件。
目镜还包括用于捕获生物统计数据的光学传感器。在实施例中,集成光学传感器可以结合安装在目镜上的照相机。此照相机用来捕获在目镜的用户附近的个体的生物统计图像。用户通过使目镜沿着适当的方向定位来使光学传感器或照相机指向附近的个体,这可以仅仅通过注视该个体来完成。用户可以选择是否捕获面部图像、虹膜图像或音频样本中的一个或多个。
可以由图66中所示的目镜捕获的生物统计数据包括用于面部识别的面部图像、用于虹膜识别的虹膜图像以及用于语音识别的音频样本。目镜100在沿着目镜100的左和右镜腿二者设置的端射阵列中结合了多个扩音器6602。扩音器阵列6602具体地被调谐至使得能够捕获具有高级别的环境噪声的环境中的人语音。扩音器6602提供了用于改善的音频捕获的可选选项,包括全向操作或定向射束操作。定向射束操作允许用户通过沿着主题个体的方向操纵扩音器阵列来记录来自特定个体的音频样本。
通过结合用于音频和视频捕获的相控阵列音频和视频跟踪,增强了音频生物统计捕获。音频跟踪允许当目标个体在具有其他噪声源的环境中移动时继续捕获音频样本。
为了提供用于显示光学器件和生物统计数据采集的功率,目镜100还结合了能够基于单次充电操作超过十二小时的锂离子电池6604。另外,目镜100还结合了用于处理所捕获的生物统计数据的处理器和固态存储器6606。处理器和存储器可配置成采用被用作生物统计捕获协议或格式、诸如.wav格式的一部分的任何软件或算法来运行。
目镜组件6600的另一实施例提供了集成通信机构,其将所捕获的生物统计数据传送至将生物统计数据存储在生物统计数据数据库中的远程设施。生物统计数据数据库解释所捕获的生物统计数据,解释该数据,并准备用于在目镜上显示的内容。
在操作中,期望从附近观察到的个体捕获生物统计数据的目镜的佩戴者对他自己或她自己进行定位,从而使得该个体出现在目镜的视场中。一旦就位,用户就发起生物统计信息的捕获。可以捕获的生物统计信息包括虹膜图像、面部图像以及音频数据。
在操作中,期望从附近观察到的个体捕获音频生物统计数据的目镜的佩戴者对他自己或她自己进行定位,使得该个体出现在目镜附近,特别地,在位于目镜镜腿中的扩音器阵列附近。一旦就位,用户发起音频生物统计信息的捕获。此音频生物统计信息包含正说话的目标个体的记录样本。可以与视觉生物统计数据相结合地捕获音频样本,所述视觉生物统计数据诸如虹膜和面部图像。
为了捕获虹膜图像,佩戴者/用户观察期望的个体并对目镜进行定位,从而使得光学传感器组件或照相机可以采集期望个体的生物统计参数的图像。一旦被捕获,目镜处理器和固态存储器准备所捕获的图像以便传送到远程计算设施以用于进一步处理。
远程计算设施接收传送的生物统计图像并将所传送的图像与相同类型的先前捕获的生物统计数据相比较。将虹膜或面部图像与先前采集的虹膜或面部图像相比较以确定是否先前已经遇到并识别该个体。
一旦已进行了该比较,则远程计算设施将比较的报告传送至佩戴者/用户的目镜以用于显示。该报告可以指示所捕获的生物统计数据与先前捕获的图像匹配。在这种情况下,用户接收包括个体的身份的报告以及其他识别信息或统计信息。并不是所有的所捕获的生物统计数据都允许身份的清楚确定。在这种情况下,远程计算设施提供发现的报告且可以请求用户采集可能是不同类型的附加生物统计数据,以帮助识别和比较处理。可以用音频生物统计数据来补充视觉生物统计数据作为对识别的进一步辅助。
以与虹膜图像类似的方式捕获面部图像。由于所采集的图像的尺寸,视场不一定较大。这还允许用户站得距离其面部生物统计数据正被捕获的对象更远。
在操作中,用户可能最初已捕获个体的面部图像。然而,该面部图像可能是不完整或非决定性的,因为该个体可能正在穿着使面部特征模糊的衣服或其他衣着,诸如帽子。在这种情况下,远程计算设施可以请求使用不同类型的生物统计捕获并传送附加图像或数据。在上文所述的情况下,可以指示用户获得虹膜图像以补充所捕获的面部图像。在其他情况下,附加请求的数据可以是个体的语音的音频样本。
图67图示了捕获用于虹膜识别的虹膜图像。该图图示了用来分析图像的焦点参数并包括生物统计数据捕获时的个体的地理位置。图67还描绘了在目镜上显示的样本报告。
图68图示了多个类型的生物统计数据、在这种情况下为面部和虹膜图像的捕获。该捕获可以被同时完成,或者如果第一类型的生物统计数据导致非决定性结果则按远程计算设施的请求完成。
图69示出了包含在图66的目镜的镜腿中的多个扩音器阵列的电配置。端射扩音器阵列允许在更大距离处的更高的信号辨别力和更好的方向性。通过将延迟结合到背扩音器的传输线中来改善信号处理。双全向扩音器的使用使得能够从全向扩音器切换至定向扩音器。这允许用于期望个体的音频捕获的更好的方向测定。图70图示了采用多个扩音器可获得的方向性改善。
可以将多个扩音器布置成复合扩音器阵列。作为使用一个标准高质量扩音器来捕获音频样本的替代,目镜镜腿件容纳不同特性的多个扩音器。多个扩音器使用的一个示例使用来自截止蜂窝电话的扩音器来再现个体的语音的精确的电和声学性质。此样本被存储在数据库中以供将来比较。如果稍后捕获到个体的语音,则可获得较早的样本以便比较,并且其将被报告给目镜用户,因为两个样本的声学性质将匹配。
图71示出了用以改善音频数据捕获的自适应阵列的使用。通过修改用于音频处理的现有算法,可以创建允许用户沿着三个方向操纵天线的方向性的自适应阵列。自适应阵列处理允许语音的源的定位,因此,将所捕获的音频数据联系到特定个体。阵列处理允许以数字方式或使用模拟技术来完成信号的心形曲线元素的简单加和。在正常使用中,用户应在全向模式与定向阵列之间切换扩音器。处理器允许对目镜执行波束成形、阵列操纵和自适应阵列处理。
在实施例中,集成照相机可以连续地记录视频文件,并且集成扩音器可以连续地记录音频文件。目镜的集成处理器可以使得能够实现连续音频或视频记录的长段中的事件标记。例如,每当发生感兴趣的事件、会话、遭遇或其他项目时,可以标记全天的被动记录。可以通过按钮的明确按下、噪声或物理轻敲、手姿势或本文所述的任何其他控制技术来实现标记。可以将标记放置在音频或视频文件中或存储在元数据报头中。在实施例中,该标记可以包括感兴趣的事件、会话、遭遇或其他项目的GPS坐标。在其他实施例中,可以使该标记与该天的GPS日志时间同步。其他基于逻辑的触发器也可以标记音频或视频文件, 诸如与其他用户、设备、位置等的接近关系。
在实施例中,可以使用目镜作为SigInt Glasses。使用集成WiFi、3G或蓝牙无线电中的一个或多个,目镜可以用于明显地且被动地采集用于用户的附近的设备和个体的信号情报。可以自动地采集信号情报,或者可以在特定设备ID在附近时、当检测到特定音频样本时、当已经到达特定地理位置时等触发信号情报。
在实施例中,可以将用于指纹的采集的设备称为生物印记设备。生物印记设备包括具有两个斜边缘的透明台板。该台板被LED组和一个或多个照相机照亮。多个照相机被使用并被紧密地设置且指向台板的斜边缘。手指或手掌被设置在台板上并压向台板的上表面,其中,照相机捕获脊图案。使用受抑全内反射(FTIR)来记录图像。在FTIR中,光跨越由压向台板的手指或手掌的脊和谷产生的空气间隙退出台板。
其他实施例也是可能的。在一个实施例中,将多个照相机以倒“V”的锯齿形图案放置。在另一实施例中,形成矩形且该矩形使用直接通过一侧的光,并且照相机的阵列捕获所产生的图像。光通过矩形的侧边进入矩形,而照相机直接在矩形下面,使得照相机能够捕获被通过矩形的光照亮的脊和谷。
在捕获到图像之后,使用软件来将来自多个照相机的图像拼接在一起。可以将定制FPGA用于数字图像处理。
一旦被捕获和处理,可以将图像流式传输至远程显示器,诸如智能电话、计算机、手持式设备或目镜或其他设备。
以上描述提供了本公开的方法和设备的操作的概观。下面提供这些及其他实施例的附加描述和讨论。
图33图示了根据实施例的基于光学器件的指纹和掌纹系统的构造和布局。光学阵列包含约60个晶片级照相机。基于光学器件的系统将连续周界照明用于包括指纹或掌纹的斗形纹(whorl)和毛孔的高分辨率成像。此配置提供低剖面、轻质且极其高低不平的配置。用防刮擦的透明台板来增强耐久性。
马赛克印记传感器使用受抑全内反射(FTIR)光学面板向安装在PCB状基板上的晶片级照相机阵列提供图像。可以将传感器缩放至具有约½"的深度的任何平坦宽度和长度。尺寸可以从小到足以仅捕获一个手指滚动指纹的板变化直至大到足以同时地捕获双手的印记的板。
马赛克印记传感器允许操作员捕获印记并针对机载数据库比较所采集的数据。还可以无线地上传和下载数据。该单元可以作为独立单元进行操作或者可以与任何生物统计系统集成。
在操作中,马赛克印记传感器在具有过度太阳光的恶劣环境中提供高可靠性。为了提供此能力,使用像素减法将多个晶片级光学传感器以数字方式拼接在一起。结果得到的图像被构造成在每英寸500点(dpi)以上。由电池来供应功率,或者通过使用USB协议来寄生地从其他源汲取功率来供应功率。格式化是服从EFTS、EBTS NIST、ISO和ITL 1‑2007的。
图34图示了其他传感器所使用的传统光学方法。这种方法还基于FTIR。在图中,手指接触棱镜并散射光。被印下来的手指上的条纹显示为暗线,而指纹的谷显示为明线。
图35图示了马赛克传感器3500所使用的方法。马赛克传感器还使用FTIR。然而,板被从侧面照亮且在传感器的板内包含内反射。条纹接触棱镜并散射光,允许照相机捕获散射的光。手指上的条纹显示为明线,而谷显示为暗线。
图36描绘了马赛克传感器3600的布局。LED阵列被围绕着板的周界布置。在板下面的是用来捕获指纹图像的照相机。该图像是在被称为捕获平面的此底板上捕获的。该捕获平面平行于传感器平面,手指被放置在那里。根据板的主动捕获区域的尺寸,板的厚度、照相机的数目以及LED的数目可以改变。可以通过添加使得照相机的光路折叠的镜子、减小所需厚度来减小板的厚度。每个照相机应覆盖一英寸的空间,其中某些像素在照相机之间重叠。这允许马赛克传感器实现500 ppi。该照相机可以具有60度的视场;然而,在图像中可能存在显著的失真。
图37示出了在马赛克传感器中使用的多个照相机的照相机视场和交互。每个照相机覆盖小的捕获区域。此区域取决于照相机视场和照相机与板的顶表面之间的距离。α是照相机的水平视场的一半且β是照相机的垂直视场的一半。
如图38中所示,可以将马赛克传感器结合到生物电话和战术计算机中。生物电话和战术计算机使用完整的移动计算机架构,其结合双核处理器、DSP、3D图形加速器、3G‑4G Wi‑Lan(依照802.11a/b/g/n)、蓝牙3.0以及GPS接收机。生物电话和战术计算机在电话尺寸封装中递送等价于标准膝上型计算机的功率。
图38图示了生物电话和战术计算机的部件。生物电话和战术计算机组件3800提供包含在壳体3804内的显示屏3801、扬声器3802和键盘3803。这些元件在生物电话和战术计算机组件3800的正面上是可见的。用于虹膜成像的照相机3805、用于面部成像和视频记录的照相机3806和生物印记指纹传感器3809定位于组件3800的背面上。
为了提供安全的通信和数据传输,设备结合了用COTS传感器和软件进行的可选的256位AES加密以获得用于POI采集的生物统计预资格。此软件被用于发送和接收安全“易坏”语音、视频和数据通信的任何批准的生物统计匹配软件匹配并归档。另外,生物电话支持Windows Mobile、Linux以及Android操作系统。
生物电话是用于退回到网络门户和生物统计使能监视列表(BEWL)数据库的3G‑4G使能手持式设备。这些数据库允许所捕获的生物统计图像和数据的现场比较。该设备被设计成适合标准的LBV或口袋。
生物电话能够搜索、采集、登记和验证多个类型的生物统计数据,包括人脸、虹膜、双指指纹以及关于个人身世的数据。该设备还记录视频、语音、步态、识别标记和袋装杂物(pocket litter)。袋装杂物包括在口袋、皮夹或钱包中正常地携带的多种小物品,并且可以包括诸如零钱、身份证、护罩、信用卡等物品。图40示出了此类信息的典型集合。在图40中描绘的是袋装杂物4000的集合的示例。可以包括的物品的类型是个人文件和图片4101、书4102、笔记本和纸张4103以及公文,诸如护照4104。
图39图示了用以捕获潜指纹和掌纹的生物电话的使用。指纹和掌纹是采用来自具有刻度覆盖图的紫外线二极管的有源照明以1000 dpi捕获的。可以使用生物电话来捕获指纹和掌纹3900两者。
由生物电话采集的数据被自动地地理定位并使用GPS能力来加日期和时间戳。可以上传或下载数据并针对机载或联网数据库进行比较。由设备的3G‑4G、Wi‑Lan和蓝牙能力来促进此数据传输。数据输入可以用QWERTY键盘或可以提供的其他方法(诸如触控笔或触摸屏等)来完成。在使用最突出的图像进行采集之后将生物统计数据归档。手动输入允许部分数据捕获。图41图示了数字卷宗图像与保持在数据库处的生物统计监视列表之间的相互作用4100。生物统计监视列表被用于将在现场捕获的数据与先前捕获的数据相比较。
格式化可以使用EFTS、EBTS NIST、ISO和ITL 1‑2007格式来提供与用于生物统计数据的一系列和多种数据库的兼容性。
下面给出了用于生物电话和战术计算机的规格:
工作温度:‑22℃至+70℃
连接I/O:3G、4G、WLAN a/b/g/n、蓝牙3.0、GPS、FM
连接输出:USB 2.0、HDMI、以太网
物理尺寸:6.875"(H)×4.875"(W)×1.2"(T)
重量:1.75 lbs.
处理器:双核‑1 GHz处理器、600MHz DSP以及30M多边形/秒3D图形加速器
显示器:3,8 " WVGA(800×480)太阳光可读、透反式、电容性触摸屏、用于同时连接到3×1080p Hi‑Def屏幕的可缩放显示输出
操作系统:Windows Mobile、Linux、SE、Android
储存器:128 GB固态驱动
附加储存器:用于附加的128 GB储存器的双SD卡槽
存储器:4 GB RAM
照相机:3 Hi‑Def静止和摄像机;人脸、虹膜和会议(用户的脸)
3D支持:能够输出立体3D视频.
照相机传感器支持:传感器动态范围扩展、自适应缺陷像素校正、高级锐度增强、几何失真校正、高级色彩管理、基于HW的人脸检测、视频稳定化
生物统计学:机载光学、2指纹传感器、人脸、DOMEX以及虹膜照相机.
传感器:根据要求,能够容纳加速度计、指南针、环境光、接近、气压以及温度传感器的添加.
电池:<8hrs、1400 Mah、可再充电锂离子、热交换电池组.
功率:用于连续操作的各种功率选项.
软件特征:人脸/姿势检测、噪声过滤、像素校正.
具有多覆盖、旋转和重定尺寸能力的强大显示器处理器.
音频:机载扩音器、扬声器以及音频/视频输入端
键盘:具有可调整背光的全触觉QWERTY键盘。
附加设备和套装也可以结合马赛克传感器且可以与生物电话和战术计算机相结合地操作以提供用于采集生物统计数据的完全现场解决方案。
一个该设备是图42中所图示的袋装生物套装。该袋装生物套装4200的部件包括GPS天线4201、生物印记传感器4202、键盘4204,全部包含在外壳4203中。下面给出生物套装的规格:
尺寸:6"× 3"×1.5"
重量:总共2 lbs.
处理器和存储器:1 GHz OMAP处理器
650 MHz核
3D加速器处理高达18兆多边形/秒
64 KB L2高速缓冲存储器
在32 位FSB下166 MHz
1GB嵌入式POP存储器,可用达到4 GB NAND 64 GB固态硬盘驱动器来扩展
显示器:75 mm×50 mm、640×480(VGA)日光可读LCD、抗反光、防反射、防刮擦屏幕处理
接口:USB 2.0
 10/100/1000以太网
功率:电池操作:在每次登记大约5分钟下连续登记约8小时.
嵌入式能力:马赛克传感器光学指纹阅读器
具有主动IR照明的数字虹膜照相机
数字人脸和DOMEX照相机(可见光),其具有闪速快速锁定GPS。
还可以在提供折叠到高低不平且紧凑的壳体中的生物统计数据采集系统的生物套装中提供生物电话和战术计算机的特征。数据是以生物统计标准图像和数据格式采集的,其能够被交叉引用以用于与国防部生物统计权威数据库的近实时数据通信。
图43中所示的袋装生物套装能够采用来自具有刻度覆盖图的紫外线二极管的有源照明以1,000 dpi捕获潜指纹和掌纹。生物套装保持32 GB存储器存储卡,其能够与战斗无线电或计算机配合动作以用于在实时现场条件下的数据的上传和下载。由锂离子电池来提供功率。生物套装组件4200的部件包括GPS天线4201、生物印记传感器4202以及具有基底4205的壳体4203。
生物统计数据采集被地理定位以便监视和跟踪个体移动。可以使用生物套装来采集指纹和掌纹、虹膜图像、人脸图像、潜指纹以及视频并将其登记在数据库中。用于指纹和掌纹、虹膜图像以及人脸图像的算法促进这些类型的数据采集。为了帮助同时捕获虹膜图像和潜指纹图像,生物套装具有主动地照亮虹膜或潜指纹的IR和UV二极管。另外,袋装生物套装也是完全服从EFTS/EBTS的,包括ITL 1‑2007和WSQ。生物套装满足用于在极端环境中操作的MIL‑STD‑810并使用Linux操作系统。
为了捕获图像,生物套装使用采用用于最大景深的波前编码的高动态范围照相机,保证捕获到潜指纹和虹膜图像中的细节。一旦被捕获,实时图像增强软件和图像稳定化用于改善可读性并提供卓越的视觉辨别。
生物套装还能够记录视频并将全运动(30 fps)彩色视频存储在机载“芯片上录像摄像机”中。
除生物套装之外,可以将马赛克传感器结合到图44中所示的腕装指纹、掌纹、地理位置和POI登记设备中。腕装组件4400在壳体4401中包括以下元件:带4402、设定和开/关按钮4403、用于传感器的保护盖4404、压力驱动传感器4405以及键盘和LCD屏幕4406。
指纹、掌纹、地理位置和POI登记设备包括集成计算机、QWERTY键盘以及显示器。显示器被设计成允许强太阳光下的容易操作并使用LCD屏幕或LED指示器来将成功的指纹和掌纹捕获警告操作员。显示器使用透反式QVGA色彩,具有背光式LCD屏幕以改善可读性。设备是轻质且紧凑的,重量为16 oz且在马赛克传感器处测量5 "×2.5 "。此紧凑的尺寸和重量允许设备滑到LBV口袋中或被用带缚到用户的前臂,如图44中所示。与结合了马赛克传感器的其他设备一样,在捕获时用地理位置信息来标记所有POI。
传感器屏幕的尺寸允许10个手指、手掌、四手指拍打以及指尖捕获。传感器结合了用于500 dpi的速率下的在MIL‑STD‑810中指定的任何天气条件下的快速登记的大型压力驱动印记传感器。软件算法支持指纹和掌纹捕获模式两者并使用Linux操作系统以用于设备管理。由于具有533 MHz DSP的720 MHz处理器,捕获是快速的。此处理能力将正确格式化的突出图像递送到任何现有的已批准系统软件。另外,该设备也是完全服从EFTS/EBTS的,包括ITL 1‑2007和WSQ。
与其他马赛克传感器设备一样,使用可移动的UWB无线256位AES收发机,可以进行无线模式下的通信。这还提供了到离开设备存储的生物统计数据库的安全上传和从该生物统计数据库的安全下载。
使用锂聚合物或AA碱性电池来供应功率。
还可以与其他设备相结合地使用上述腕装设备,包括图45中所示的具有数据和视频显示器的增强现实目镜。组件4500包括以下部件:目镜100以及生物印记传感器设备4400。增强现实目镜提供了冗余、双筒、立体传感器和显示器,并且提供了用以在从正午炫目的太阳、至在晚上发现的极低亮度级的多种照明条件下看到的能力。目镜的操作是简单的,采用位于目镜的镜腿上的旋转开关,用户能够从前臂计算机或传感器或膝上型计算机设备访问数据。目镜还提供了用于听力保护和改善的听力的全向耳塞。还可以将噪声消除悬挂式扩音器集成到目镜中以提供在语音学上区别的命令的更好通信。
目镜能够使用256位AES加密的UWB与生物电话传感器和前臂安装的设备无线地通信。这还允许设备与膝上型计算机或战斗无线电、以及到CP、TOC和生物统计数据库的网络通信。目镜是ABIS、EBTS、EFTS以及JPEG 2000兼容的。
类似于上文所述的其他马赛克传感器设备,目镜使用用以提供POI的高度准确地理位置的联网GPS以及RF滤波器阵列。
在操作中,低剖面前臂安装的计算机和战术显示器集成了人脸、虹膜、指纹、掌纹以及指尖采集和识别。该设备还记录视频、语音、步态以及其他辨别特性。面部和虹膜跟踪是自动的,允许设备帮助识别非协作的POI。用由目镜提供的透明显示器,操作员还可以观看传感器图像、移动地图和数据以及正在被捕获其生物统计数据的个体。
图46图示了指纹、掌纹、地理位置以及POI登记设备的另一实施例。该设备是16 oz并使用5 "×2.5 "有源指纹和掌纹电容传感器。该传感器能够以500 dpi登记10个手指、手掌、4手指拍打以及指尖印记。具有430 MHz DSP的0.6 ‑ 1 GHz处理器提供快速的登记和数据捕获。该设备是ABIS、EBTS、EFTS以及JPEG 2000兼容的,并且以用于感兴趣的人的高度准确定位的联网GPS为特征。另外,该设备通过256位AES加密的UWB、膝上型计算机以及战斗无线电无线地通信。还可以将数据库信息存储在设备上,允许在不上传信息的情况下现场比较。此机载数据还可以与其他设备无线地共享,该其他设备诸如膝上型计算机或战斗无线电。
腕装生物印记传感器组件4600的另一实施例包括以下元件:生物印记传感器4601、腕带4602、键盘4603以及战斗无线电连接器接口4404。
可以将数据存储在前臂设备上,因为该设备能够利用Mil‑con数据存储帽以获得增加的存储容量。在QWERTY键盘上执行数据输入并可以戴着手套完成该数据输入。
显示器是透反式QVGA、彩色、背光式LCD显示器,其被设计成在太阳光下是可读的。除了在强太阳光下的操作之外,该设备可以在大范围的环境中操作,因为设备满足极端环境中的MIL‑STD‑810操作的要求。
还可以将上文所述的马赛克传感器结合到移动、折叠式生物统计登记套装中,如图47中所示。移动折叠生物统计登记套装4700折叠到其本身中且尺寸被确定为适合战术小袋,其在非折叠时具有8×12×4英寸的尺寸。
图48图示了目镜和前臂安装的设备接口将如何提供用于生物统计数据采集的完整系统。
图49提供了用于移动折叠式生物统计登记套装的系统图。
在操作中,移动折叠式生物统计登记套装允许用户搜索、采集、识别、验证和登记用于对象的人脸、虹膜、掌纹、指尖和关于个人身世的数据,并且还可以记录语音样本、袋装杂物及其他可见识别标记。一旦被采集,则数据被自动地地理定位、加日期和时间戳。所采集的数据可以被搜索并与机载和联网数据库相比较。为了与不在设备上的数据库通信,提供了使用具有标准联网接口的战斗无线电或膝上型计算机的无线数据上传/下载。格式化服从EFTS、EBTS、NIST、ISO以及ITL 1‑2007。可以将预先具有资格的图像直接发送到匹配软件,因为设备可以使用任何匹配和登记软件。
结合了上文所述的设备和系统提供了用于移动生物统计数据采集、识别以及情况感知的全面解决方案。设备能够采集用于非协作的感兴趣的人(POI)的识别的指纹、掌纹、指尖、人脸、虹膜、语音以及视频数据。使用高速视频来捕获视频以使得能够实现在不稳定情况下诸如从移动的视频的捕获。所捕获的信息可以容易地被共享并经由键盘输入附加数据。另外,用日期、时间和地理位置来标记所有数据。这促进了在潜在易失性环境中的情况感知所需的信息的快速传播。在更多人员配备有设备的情况下,附加数据采集是可能的,因此证明了“每个士兵都是传感器”的思想。通过生物统计设备与战斗无线电和战场计算机的集成来促进共享。
图50图示了薄膜指纹和掌纹采集设备。该设备能够记录四个指纹拍打和滚动、掌纹以及符合NIST标准的指纹。可以用湿的或干的手来捕获优质的指纹图像。与其他大型传感器相比,该设备在重量和功率消耗方面减小。另外,传感器是自包含的且是可热交换的。可以改变传感器的配置以适应多种需要,并且可以以各种形状和尺寸来制造传感器。
图51描绘了手指、手掌和登记数据采集设备。此设备记录指尖、滚动、拍打以及掌纹。内置QWERTY键盘允许手写登记数据的输入。与上文所述的设备一样,用采集的日期、时间和地理位置来标记所有数据。内置数据库提供针对内置数据库的潜在POI的机上匹配。还可以通过战场网络来与其他数据库执行匹配。可以将此设备与上述光学生物统计采集目镜集成以支持人脸和虹膜识别。[T1] 
下面给出用于手指、手掌和登记设备的规格:
重量&尺寸:16 oz.前臂带或到LBV口袋中的插入件
5 "×2.5 "指纹/掌纹传感器
5.75 "×2.75 " QWERTY键盘
3.5 "×2.25 " LCD显示器
单手操作
环境:传感器在所有天气条件下操作,‑20℃至+70℃
防水:1m长达4小时,在没有退化的情况下操作
生物统计采集:指纹和掌纹采集,用于POI的登记的识别键盘& LCD显示器
保持用于POI的机上匹配的>30,000全模板文件夹(2虹膜、10指纹、面部图像、关于个人身世的信息的35个字段).
采用时间、日期和位置标记所有采集的生物统计数据
压力电容式指纹/掌纹传感器
30fps高对比度位图图像
1000dpi
无线:可与战斗无线电完全彼此协作,手持式或膝上型计算机以及256‑位AES加密
电池:双2000mAh锂聚合物电池
>12小时,在<15秒内快速改变电池
处理& 存储:256 MB闪存和128 MB SDRA支持3个SD卡直到每个32GB
            600‑1GHZ ARM Cortex A8 处理器
            1GB RAM。
图52 ‑ 54描绘了结合用于采集生物统计数据的传感器的设备的使用。图52示出了两级掌纹的捕获。图53示出了使用指尖轻敲的采集。图54说明了所采集的拍打和滚动印记。
上文的讨论是关于使用如图44和50 – 54中所示的台板或触摸屏来采集生物统计数据(诸如指纹或掌纹)的方法。本公开还包括用于使用偏振光的无触摸或无接触指纹获取的方法和系统。在一个实施例中,可以由人使用偏振光源并使用两个平面中的反射偏振光恢复指纹的图像来获取指纹。在另一实施例中,可以由人使用光源并使用多谱处理、例如使用具有不同输入的在两个不同位置处的两个成像器恢复指纹的图像来获取指纹。可以通过使用不同的滤波器或不同的传感器/成像器来引起不同的输入。这种技术的应用可以包括未知的人或对象的生物统计检查,其中,正做检查的人的安全可能存在问题。
在这种方法中,未知的人或对象可以接近检查点,例如以被允许进一步行进至他或她的目的地。如图55中所示的系统550中所描绘的,人P和适当的身体部分(诸如手、手掌P或其他部分)被偏振光的源551照亮。如光学领域中的技术人员众所周知的,偏振光的源可以简单地是灯或其他照明源,其具有偏振滤波器以发射在一个平面中被偏振的光。光行进到在已被指定为用于无接触指纹获取的区域中的人,从而使得偏振光撞击在人P的手指或其他身体部分上。入射的偏振光然后被从手指或其他身体部分反射,并从人开始沿着所有方向传递。两个成像器或照相机554在光已通过诸如透镜552和偏振滤波器553的光学元件之后接收反射光。如上文相对于图9所讨论的,可以将照相机或成像器安装在增强现实眼镜上。
光然后从感兴趣的人的手掌或一个手指或多个手指传递至两个不同的偏振滤波器554a、554b,并且然后至成像器或照相机555。已通过偏振滤波器的光可以具有90 "定向差(水平和垂直)或其他定向差,诸如30°、45°、60°或120°。照相机可以是具有适当数字成像传感器以将入射光转换成适当信号的数字式照相机。然后由诸如数字信号处理器的适当处理电路556来处理信号。然后可以以常规方式(诸如通过具有存储器557的数字微处理器)将信号组合。具有适当存储器的数字处理器被编程为根据期望产生适合于手掌的图像、指纹或其他图像的数据。然后可以在此过程中例如使用美国专利号6,249,616等的技术将来自成像器的数字数据组合。如上文在本公开中所述,然后可以针对数据库检查组合的“图像”以确定那个人的身份。增强现实眼镜可以将该数据库包括在存储器中,或者可以参考其他地方的信号数据558以进行比较和检查。
在图56的流程图中公开了用于获取无接触指纹、掌纹或其他生物统计印记的过程。在一个实施例中,提供偏振光源561。在第二步骤562中,对感兴趣的人和所选身体部分进行定位以便由光进行照明。在另一实施例中,可以使用入射白光而不是使用偏振光源。当准备获取图像时,光被从人反射563至两个照相机或成像器。偏振滤波器被放置在两个照相机中的每一个的前面,从而使得由照相机接收到的光在两个不同平面中、诸如在水平和垂直平面中被偏振564。每个照相机然后检测565偏振光。照相机或其他传感器然后将光的入射转换成适合于图像的准备的信号或数据566。最后,然后将图像组合567以形成非常清晰的可靠印记。结果是非常高质量的图像,可以将其与数字数据库比较以识别人并检测感兴趣的人。
应理解的是,虽然在此无接触系统中使用数字式照相机,但可以使用其他成像器,诸如有源像素成像器、CMOS成像器、以多个波长成像的成像器、CCD照相机、光检测器阵列、TFT成像器等。还应理解的是,虽然已经使用偏振光来产生两个不同的图像,但还可以使用反射光方面的其他变体。例如,作为使用偏振光的替代,可以使用白光且然后将不同的滤波器应用于成像器,诸如Bayer滤波器、CYGM滤波器或RGBE滤波器。在其他实施例中,可以省去偏振光的源并替代地使用自然光或白光而不是偏振光的源。
如较早的系统所证明的,无触摸或无接触指纹获取的使用已经在开发中达一段时间。例如,美国专利申请2002/0106115在非接触式系统中使用偏振光,但是要求正被进行指纹获取的人的手指上的金属涂层。稍后的系统、诸如在美国专利7,651,594和美国专利申请公开2008/0219522中所述的那些要求与台板或其他表面接触。本文所述的无接触系统在成像时不要求接触,也不要求在先接触,例如将涂层或反射涂层放置在感兴趣的身体部分上。当然,成像器或照相机相对于彼此的位置应是已知的以进行更容易的处理。
在使用中,可以在检查点处采用无接触指纹系统,所述检查点诸如复合入口、建筑物入口、路旁检查点或其他方便的位置。该位置可以是其中期望接纳某个人和拒绝进入或者甚至扣留感兴趣的其他人的一个位置。实际上,如果使用偏振光,系统可以使用外部光源,诸如灯。可以将被用于无接触成像的照相机或其他成像器安装在一组增强现实眼镜的相对侧(用于一个人)上。例如,在图9中示出了双照相机型式,其中两个照相机920被安装在框架914上。在本实施例中,可以将用于至少处理图像的软件包含在增强现实眼镜的存储器内。替换地,可以将来自照相机/成像器的数字数据路由到附近的数据中心以用于适当的处理。此处理可以包括将数字数据组合以形成印记的图像。该处理还可以包括检查已知人的数据库以确定该对象是否是感兴趣的。
替换地,如在图9中的照相机908中看到的,可以使用两个人中的每一个上的一个照相机。在此配置中,两个人将是相对接近的,从而使得其各自的图像将是适当类似的以便由适当的软件组合。例如,可以将图55中的两个照相机555安装在两对不同的增强现实眼镜上,诸如在为检查点配备的两个士兵上。替换地,可以将照相机安装在墙壁上或检查点本身的固定部分上。然后可以由具有存储器的远程处理器557(诸如建筑物检查点处的计算机系统)将两个图像组合。
如上文所讨论的,使用增强现实眼镜的人可以通过许多无线技术中的至少一个与彼此处于不断的联系,尤其是在他们两者都在检查点处值班的情况下更是如此。因此,来自单照相机或来自双照相机型式的数据可以被发送到数据中心或其他指挥所以进行适当的处理,后面是针对掌纹、指纹、虹膜纹等的匹配来检查数据库。可以将数据中心方便地定位于检查点附近。采用现代计算机和储存器的可用性,提供多个数据中心并无线地更新软件的成本将不是此类系统中的主要成本考虑。
可以以多个方式来控制上文所讨论的无触摸或无接触生物统计数据采集,所述多个方式诸如在本公开中的其他地方所讨论的控制技术。例如,在一个实施例中,用户可以通过在眼镜上按压触控板或通过给出语音命令来发起数据采集会话。在另一实施例中,用户可以通过手移动或姿势或使用本文所述的任何控制技术来发起会话。这些技术中的任一个可以提出菜单,用户可以从中选择选项,诸如“开始数据采集会话”、“终止数据采集会话”或“继续会话”。如果选择了数据采集会话,则计算机控制的菜单然后可以提供用于照相机数目、哪些照相机等的菜单选择,差不多就像用户选择打印机一样。还存在模式,诸如偏振光模式、滤色器模式等。在每次选择之后,系统可以酌情完成任务或提供另一选择。还可以要求用户干预,诸如开启偏振光的源或其他光源、应用滤波器或偏振器等。
在已经获取了指纹、掌纹、虹膜图像或其他期望数据之后,菜单然后可以提供关于将使用哪个数据库以进行比较、将使用哪个或哪些设备以进行存储等的选择。可以由本文所述的任何方法来控制无触摸或无接触生物统计数据采集系统。
虽然该系统和传感器在识别潜在的感兴趣的人方面具有明显用途,但也存在肯定的战场用途。可以使用指纹传感器来调用士兵的病历,快速地且容易地立即给出关于过敏症、血型及其他时间敏感和治疗确定数据的信息,因此允许在战场条件下提供适当的治疗。这对当最初被治疗时可能是无意识的以及可能丢失识别标签的病人尤其有帮助。
用于从个体捕获生物统计数据的设备的另一实施例可以结合服务器以存储和处理所采集的生物统计数据。所捕获的生物统计数据可以包括具有多个手指的手图像、掌纹、人脸照相机图像、虹膜图像、个体的语音的音频样本以及个体的步态或移动的视频。所采集的数据必须是可访问以便可用的。
可以在分离的服务器处本地地或远程地完成生物统计数据的处理。本地处理可以提供用以捕获原始图像和音频并使得信息可应要求通过WiFi或USB链路从计算机主机获得的选项。作为替换,另一本地处理方法处理图像并然后通过因特网来传送已处理的数据。此本地处理包括找到指纹、对指纹评级、找到人脸并随后对其进行剪裁、找到虹膜并随后对其进行评级以及用于音频和视频数据的其他类似步骤的步骤。虽然本地地处理数据要求更复杂的代码,但是其确实提供了通过因特网的减少的数据传输的优点。
与生物统计数据采集设备相关联的扫描仪可以使用服从一般使用的扫描仪标准的USB图像设备协议的代码。根据需要,其他实施例可以使用不同的扫描仪标准。
当使用WiFi网络来传输数据时,在本文中进一步描述的生物印记设备可以运行或看起来像是到网络的网络服务器。各种类型的图像中的每一个可以通过从浏览器客户端选择或点击网页链接或按钮来获得。此网络服务器功能可以是具体地包括在微型计算机功能中的生物印记设备的一部分。
网络服务器可以是生物印记微型计算机主机的一部分,允许生物印记设备编写暴露所捕获数据并且还提供某些控制的网页。浏览器应用的附加实施例能够提供用以捕获高分辨率手纹、人脸图像、虹膜图像、设置照相机分辨率、设置用于音频样本的捕获时间、以及还使得能够使用网络照相机、Skype或类似机制来实现流式传输连接的控制设施。此连接可以附接于音频和人脸照相机。
另一实施例提供了浏览器应用,其给出对经由文件传输协议(FTP)或其他协议捕获的图像和音频的访问。浏览器应用的再另一实施例可以提供以可选择速率自动刷新以重复地抓取预览图像。
附加实施例提供了使用微型计算机进行的所捕获生物统计数据的本地处理,并提供用以显示所捕获图像的评级、允许用户对发现的每个印记进行评级、检索所捕获的人脸并且还检索经剪裁的虹膜图像且允许用户对每个虹膜纹进行评级的附加控制设施。
再一实施例提供可与开放式多媒体应用平台(OMAP3)系统兼容的USB端口。OMAP3是用于便携式多媒体应用的芯片上专有系统。OMAP3设备端口装配有远程网络驱动器接口规范(RNDIS),即可以在USB的顶部上使用的专有协议。这些系统提供了当生物印记设备被插入Windows PC USB主机端口中时设备作为IP接口出现的能力。此IP接口将与通过WiFi(TCP/IP网络服务器)相同。这允许将数据从微型计算机主机移开并提供所捕获印记的显示。
微型计算机上的应用可以通过在USB总线上从FPGA接收数据来实现上述内容。一旦被接收,则创建JPEG内容。可以通过套接字将此内容写到在膝上型计算机上运行的服务器,或者写到文件。替换地,传感器可以接收套接字流,弹出图像,并将其留在窗口中打开,因此创建用于每个生物统计捕获的新窗口。如果微型计算机运行网络文件系统(NFS)、供与基于Sun的系统或SAMBA一起使用的协议、为Windows客户端提供文件和打印服务的自由软件重实现,则所捕获的文件可以被运行NFS或系统管理总线(SMB)、PC通信总线实现的任何客户端共享和访问。在本实施例中,JPEG观看者将显示文件。显示客户端可以包括膝上型计算机、增强现实眼镜或运行Android平台的电话。
附加实施例提供了供应上述相同服务的服务器侧应用。
服务器侧应用的替换实施例在增强现实眼镜上显示结果。
另一实施例在可移动平台上提供微型计算机,类似于海量存储设备或流式传输照相机。可移动平台还结合了活动USB串行端口。
可以部分地或整体地通过在处理器上执行计算机软件、程序代码和/或指令的机器来部署本文所述的方法和系统。该处理器可以是服务器、客户端、网络基础设施、移动计算平台、固定计算平台或其他计算平台的一部分。处理器可以是任何种类的计算或处理设备,其能够执行程序指令、代码、二进制指令等。处理器可以是或包括信号处理器、数字处理器、嵌入式处理器、微处理器或任何变体,诸如可以直接地或间接地促进存储在其上面的程序代码或程序指令的执行的协处理器(数学协处理器、图形协处理器、通信协处理器等)等。另外,处理器可以使得能够执行多个程序、线程以及代码。可以同时地执行线程以提高处理器的性能并促进应用程序的同时操作。通过实现的方式,可以在一个或多个线程中实现本文所述的方法、程序代码、程序指令等。该线程可以产生可以具有与之相关联的所分配优先级的其他线程;处理器可以基于优先级或基于在程序代码中提供的指令的任何其他顺序来执行这些线程。该处理器可以包括存储如本文中和其他地方所述的方法、代码、指令和程序的存储器。该处理器可以通过接口来访问存储介质,其可以存储如本文中和其他地方所述的方法、代码以及指令。与处理器相关联的用于存储能够被计算或处理设备执行的方法、程序、代码、程序指令或其他类型的指令的存储介质可以包括但不限于CD‑ROM、DVD、存储器、硬盘、闪速驱动、RAM、ROM、高速缓存器等中的一个或多个。
处理器可以包括可以提高多处理器的速度和性能的一个或多个核。在实施例中,该处理可以是双核处理器、四核处理器、其他芯片级多处理器等,其将两个或更多独立的核(称为管芯)组合。
可以部分地或整体地通过在服务器、客户端、防火墙、网关、集线器、路由器、或其他此类计算机和/或联网硬件上执行计算机软件的机器来部署本文所述的方法和系统。可以使软件程序与服务器相关联,该服务器可以包括文件服务器、打印服务器、域服务器、因特网服务器、内部网服务器和诸如辅助服务器、主机服务器、分布式服务器等其他变体。该服务器可以包括存储器、处理器、计算机可读介质、存储介质、端口(物理和虚拟的)、通信设备以及能够通过有线或无线介质等来访问其他服务器、客户端、机器以及设备的接口中的一个或多个。如在本文中和其他地方所述的方法、程序和代码可以由服务器来执行。另外,可以将执行如本申请中所述的方法所需的其他设备视为与服务器相关联的基础设施的一部分。
该服务器可以提供到其他设备的接口,所述其他设备在没有限制的情况下包括客户端、其他服务器、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器、社交网络等。另外,此耦合和/或连接可以促进跨网络的程序的远程执行。这些设备中的某些或全部的联网可以促进一个或多个位置处的程序或方法的并行处理。另外,通过接口附接于服务器的任何设备可以包括能够存储方法、程序、代码和/或指令的至少一个存储介质。中央储存库可以提供将在不同设备上执行的程序指令。在此实施方式中,远程储存库可以充当用于程序代码、指令以及程序的存储介质。
可以使软件程序与客户端相关联,该客户端可以包括文件客户端、打印客户端、域客户端、因特网客户端、内部网客户端和诸如辅助客户端、主机客户端、分布式客户端等的其他变体。该客户端可以包括存储器、处理器、计算机可读介质、存储介质、端口(物理和虚拟的)、通信设备以及能够通过有线或无线介质等来访问其他客户端、服务器、机器以及设备的接口中的一个或多个。如在本文中和其他地方所述的方法、程序或代码可以由客户端来执行。另外,可以将执行如本申请中所述的方法所需的其他设备视为与客户端相关联的基础设施的一部分。
该客户端可以提供到其他设备的接口,该其他设备在没有限制的情况下包括服务器、其他客户端、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等。另外,此耦合和/或连接可以促进跨网络的程序的远程执行。这些设备中的某些或全部的联网可以促进一个或多个位置处的程序或方法的并行处理。另外,通过接口附接于客户端的任何设备可以包括能够存储方法、程序、应用、代码和/或指令的至少一个存储介质。中央储存库可以提供将在不同设备上执行的程序指令。在此实施方式中,远程储存库可以充当用于程序代码、指令以及程序的存储介质。
可以通过网络基础设施部分地或整体地部署本文所述的方法和系统。网络基础设施可以包括诸如本领域中已知的计算设备、服务器、路由器、集线器、隔火墙、客户端、个人计算机、通信设备、路由设备及其他有源和无源器件、模块和/或部件之类的元件。除其他部件之外,与网络基础设施关联的(一个或多个)计算和/或非计算设备可以包括诸如闪速存储器、缓冲器、堆栈、RAM、ROM等存储介质。可以由网络基础设施元件中的一个或多个来执行在本文中和其他地方所述的进程、方法、程序代码、指令。
可以在具有多个蜂窝的蜂窝式网络上实现在本文中和其他地方所述的方法、程序代码以及指令。蜂窝式网络可以是频分多址(FDMA)网络或码分多址(CDMA)网络。蜂窝式网络可以包括移动设备、蜂窝站点、基站、重发器、天线、塔架等。蜂窝式网络可以是GSM、GPRS、3G、EVDO、网状网络或其他网络类型。
可以在移动设备上或通过移动设备来执行在本文中和其他地方所述的方法、程序代码以及指令。该移动设备可以包括导航设备、蜂窝电话、移动电话、移动个人数字助理、膝上型计算机、掌上电脑、上网本、寻呼机、电子书阅读器、音乐播放器等。除其他部件之外,这些设备可以包括诸如闪速存储器、缓冲器、RAM、ROM以及一个或多个计算设备之类的存储介质。可以使得与移动设备相关联的计算设备能够执行存储在其上面的程序代码、方法以及指令。替换地,可以将移动设备配置成与其他设备协作地执行指令。移动设备可以与基站通信,该基站与服务器对接且被配置成执行程序代码。该移动设备可以在端到端网络、网状网络、或其他通信网络上通信。可以将程序代码存储在与服务器相关联且由被嵌入在服务器内的计算设备执行的存储介质上。基站可以包括计算设备和存储介质。存储设备可以存储由与基站相关联的计算设备执行的程序代码和指令。
可以在机器可读介质上存储和/或访问计算机软件、程序代码和/或指令,机器可读介质可以包括:保持在某个时间间隔内被用于计算的数字数据的计算机部件、设备和记录介质;称为随机存取存储器(RAM)的半导体存储器;通常用于更永久的存储的海量存储器,诸如光盘、类似于硬盘、带、鼓、卡及其他类型的磁存储形式;处理器寄存器、高速缓冲存储器、易失性存储器、非易失性存储器;光存储器,诸如CD、DVD;可移动介质,诸如闪速存储器(例如USB棒或键)、软盘、磁带、纸带、穿孔卡、独立RAM盘、压缩驱动器、可移动海量存储器、离线等;其他计算机存储器,诸如动态存储器、静态存储器、读/写存储器、可变存储器、只读、随机存取、顺序存取、位置可寻址、文件可寻址、内容可寻址、网络附接存储器、存储区域网、条形码、磁性墨水等。
本文所述的方法和系统可以使物理和/或无形项目从一个状态变换成另一个。本文所述的方法和系统还可以将表示物理和/或无形项目的数据从一个状态变换成另一个。
在本文中描述和描绘的遍及各图包括在流程图和方框图中的元素暗指元素之间的逻辑边界。然而,根据软件或硬件工程实践,可以通过计算机可执行介质在机器上实现所描绘的元素及其功能,所述计算机可执行介质具有能够执行作为单块软件结构、作为独立软件模块或作为采用外部例程、代码、服务等的模块或这些的任何组合存储在其上面的程序指令的处理器,并且所有此类实施方式可以在本公开的范围内。此类机器的示例可以包括但可以不限于个人数字助理、膝上型计算机、个人计算机、移动电话、其他手持式计算设备、医疗设备、有线或无线通信设备、换能器、芯片、计算器、卫星、平板PC、电子书、小配件、电子设备、具有人工智能的设备、计算设备、联网设备、服务器、路由器、嵌入处理器的眼镜等。此外,可以在能够执行程序指令的机器上实现在流程图和方框图中描绘的元素或任何其他逻辑部件。因此,虽然前述附图和描述阐述了所公开系统的功能方面,但不应从这些描述推断出用于实现这些功能方面的软件的特定布置,除非被明确地说明或从上下文以其他方式清楚。类似地,应认识到的是,可以改变上文所识别和描述的各种步骤,并且可以使步骤的顺序适合于本文公开的技术的特定应用。所有此类变化和修改旨在落在本公开的范围内。同样地,不应将用于各种步骤的顺序的描绘和/或说明理解为要求用于那些步骤的特定执行顺序,除非由特定的应用要求,或者被明确地说明或从上下文以其他方式清楚。
可以用硬件、软件或适合于特定应用的硬件和软件的任何组合来实现上述方法和/或过程及其步骤。硬件可以包括通用计算机和/或专用计算设备或特定计算设备或特定计算设备的特定方面或部件。可以在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或其他可编程器件以及内部和/或外部存储器中实现该过程。还可以或替代地在专用集成电路、可编程门阵列、可编程阵列逻辑或可以被配置成处理电子信号的任何其他器件或器件组合中体现该过程。还将认识到的是,可以将所述过程中的一个或多个实现为能够在机器可读介质上执行的计算机可执行代码。
可以使用诸如C、诸如C++之类的面向对象编程语言或任何其他高级或低级编程语言(包括汇编语言、硬件描述语言以及数据库编程语言和技术)之类的结构化编程语言创建计算机可执行代码,其可以被存储、编译或解释以在上述器件中的一个以及处理器的异构组合、处理器架构或不同硬件和软件的组合或能够执行程序指令的任何其他机器上运行。
因此,在一方面,可以在计算机可执行代码中体现上述每个方法及其组合,当在一个或多个计算设备上执行时,执行其步骤。在另一方面,可以在执行其步骤的系统中体现该方法,并且可以以许多方式使其跨设备分布,或者可以将所有功能集成到专用独立的器件或其他硬件中。在另一方面,用于执行与上述过程相关联的步骤的装置可以包括上述硬件和/或软件中的任何一个。所有此类置换和组合旨在落在本公开的范围内。
虽然本公开包括详细地示出和描述的许多实施例,但对其的各种修改和改进对于本领域的技术人员来说将变得显而易见。因此,本发明的精神和范围将不受前述示例的限制,而是应以法律可容许的最广泛的意义来理解。
本文参考的所有文献被通过引用结合与此。

交互式头戴目镜上的本地广告内容.pdf_第1页
第1页 / 共163页
交互式头戴目镜上的本地广告内容.pdf_第2页
第2页 / 共163页
交互式头戴目镜上的本地广告内容.pdf_第3页
第3页 / 共163页
点击查看更多>>
资源描述

《交互式头戴目镜上的本地广告内容.pdf》由会员分享,可在线阅读,更多相关《交互式头戴目镜上的本地广告内容.pdf(163页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102906623 A(43)申请公布日 2013.01.30CN102906623A*CN102906623A*(21)申请号 201180021560.X(22)申请日 2011.02.2861/308,973 2010.02.28 US61/373,791 2010.08.13 US61/382,578 2010.09.14 US61/410,983 2010.11.08 US61/429,447 2011.01.03 US61/429,445 2011.01.03 USG02B 27/01(2006.01)G06F 1/16(2006.01)G06Q 30/0。

2、2(2012.01)(71)申请人奥斯特豪特集团有限公司地址美国加利福尼亚州(72)发明人 R.F.奥斯特霍特 J.D.哈迪克R.M.罗泽 K.A.威尔德N.R.波林科 R.W.金三世(74)专利代理机构中国专利代理(香港)有限公司 72001代理人马红梅 李浩(54) 发明名称交互式头戴目镜上的本地广告内容(57) 摘要本发明涉及一种交互式头戴目镜,其包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。所显示的内容包括本地广告,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告与目镜的位置具有相关性。该头戴目镜还可以包括音频设备且所显示的内容可以包括本地广告和音频。(30)。

3、优先权数据(85)PCT申请进入国家阶段日2012.10.29(86)PCT申请的申请数据PCT/US2011/026559 2011.02.28(87)PCT申请的公布数据WO2011/106798 EN 2011.09.01(51)Int.Cl.权利要求书1页 说明书80页 附图81页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 1 页 说明书 80 页 附图 81 页1/1页21.一种由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容。

4、的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及其中,所显示的内容包括本地广告,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告与目镜的位置具有相关性。2.权利要求1的目镜,其中,目镜包含能够感测目镜是否与人皮肤接触的电容传感器;并且其中,本地广告基于所述电容传感器是否感测到目镜与人皮肤接触而被发送给用户。3.权利要求1的目镜,其中,所述本地广告是响应于目镜被通电而被发送的。4.权利要求1的目镜,其中,本地广告被作为横幅广告、二维图形或文本显示给用户。5.权利要求1的目镜,其中,所述本地广告与用户的周围环境的视野中的物理方面相关联。6.权利要求1的目镜,其中,所述本地广。

5、告被显示为增强现实广告,其中,所述本地广告与周围环境的物理方面相关联。7.权利要求6的目镜,其中,所述本地广告被显示为三维对象。8.权利要求1的目镜,其中,本地广告被显示为与用户的周围环境的视野中的特定对象相关联的动画广告。9.权利要求1的目镜,其中,所述本地广告被基于由所述用户执行的网络搜索显示给用户,其中,所述本地广告被显示在网络搜索结果的内容中。10.权利要求1的目镜,其中,本地广告的内容是基于所述用户的个人信息确定的,其中,使得所述个人信息可用于网络应用和广告设施中的至少一个;以及其中,所述网络应用、广告设施和目镜中的至少一个基于所述用户的个人信息来过滤所述广告。11.权利要求1的目镜。

6、,其中,所述本地广告被高速缓存在服务器上,其中,所述广告被广告设施、网络应用和所述目镜中的至少一个访问并被显示给用户。12.权利要求1的目镜,其中,所述用户通过进行眼移动、身体移动及其它姿势中的至少一个动作来请求与本地广告有关的附加信息。13.权利要求1的目镜,其中,所述用户通过眼移动、身体移动、其他姿势中的至少一个以及不在一段经过的时间内选择用于进一步交互的所述广告来忽视本地广告。14.权利要求1的目镜,其中,所述用户可以选择不允许显示本地广告,由此,所述用户在图形用户界面上或通过经由所述目镜上的控制设施关掉该特征来选择该选项。15.权利要求1的目镜,其中,所述本地广告包括到所述用户的音频传。

7、输。16.一种由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源、以及音频设备;以及其中,所显示的内容包括本地广告和音频,其中,目镜的位置是由集成位置传感器确定的,并且其中,本地广告和音频与目镜的位置具有相关性。权 利 要 求 书CN 102906623 A1/80页3交互式头戴目镜上的本地广告内容0001 相关申请的交叉引用本申请要求以下临时申请的权益:其中的每一个被整体地通过引用结合到本文中:2010年2。

8、月28日提交的美国临时专利申请61/308,973;2010年8月13日提交的美国临时专利申请61/373,791;2010年9月14日提交的美国临时专利申请61/382,578;2010年11月8日提交的美国临时专利申请61/410,983;2011年1月3日提交的美国临时专利申请61/429,445;以及2011年1月3日提交的美国临时专利申请61/429,447。技术领域0002 本公开涉及增强现实目镜、关联的控制技术以及供使用的应用。本公开还涉及用于采集生物统计数据并且使用高度便携式设备使得所采集的数据可通过网络获得的设备。发明内容0003 在一个实施例中,目镜可以包括包含光源和LCo。

9、S显示器的毫微投影仪(nano-p rojector)(或微型投影仪)、使得能够实现TIR反弹(bounce)的(双表面)自由形式波导透镜、设置在LCoS显示器与自由形式波导之间的耦合透镜、以及被附着于波导透镜的使得能够通过透镜适当地查看投影仪是开还是关的楔形光学器件(半透明校正透镜)。投影仪可以包括RGB LED模块。RGB LED模块可以发出场序彩色(field sequential color),其中不同色彩的LED被快速连续地开启以形成被反射离开LCoS显示器的彩色图像。投影仪可以具有偏振射束分离器或投影准直仪。0004 在一个实施例中,目镜可以包括自由形式波导透镜、自由形式半透明校正。

10、透镜、显示器耦合透镜和微型投影仪。0005 在另一实施例中,目镜可以包括自由形式波导透镜、自由形式校正透镜、显示器耦合透镜和微型投影仪,提供至少80度的FOV和25 - 30的虚拟显示器FOV(对角线)。0006 在实施例中,目镜可以包括被优化以与人头部的人机工程学因素匹配、允许其环绕人脸的光楔波导。0007 在另一实施例中,目镜可以包括两个自由形式光学表面和波导以使得能够在非常薄的棱镜形状因子内折叠复杂的光路。0008 本公开提供了一种从个体采集生物统计信息的方法。该方法包括将个体的身体部分定位在传感器前面。该传感器可以是用于采集指纹和掌纹的平板传感器,或者可以是用于采集虹膜纹的光学设备。可。

11、以使用视频和音频来采集面部、步态和语音信息。然后当生物统计数据经受视觉捕获时,通常使用从该身体部分反射的光来处理所采集的信息以形成图像。由平板传感器(其还可以是马赛克传感器(mosaic sensor)使用朝着位于传感器内部的照相机反射的光来形成所捕获的图像。可以将所采集的图像存储在采集设备上或上传到生物统计数据的数据库。0009 实施例提供了一种用于采集生物统计数据的设备。该设备包括包含马赛克传感器的平板,其中,该马赛克传感器具有围绕着该平板的周界定位的多个光源以及垂直于该平说 明 书CN 102906623 A2/80页4板设置的照相机。该设备还包括键盘和用于将该装置安装到用户的前臂的带子。

12、。在内部,该装置包括用于确定和记录位置信息的地理位置模块和提供与其他通信设备的无线接口的通信模块。还包括内部时钟且其提供所采集生物统计信息的时间戳。0010 该设备的另一实施例提供了用于生物统计信息采集的系统。该系统包括用于采集手指和手掌信息的平板传感器、可以是增强现实目镜的一部分的目镜、用于采集面部和步态信息的摄像机以及用于分析所采集的生物统计数据的计算机。然后将所采集的数据与先前采集的信息的数据库相比较并将比较的结果报告给用户。0011 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示内容,其中该光学组件包括校正用户的周围环。

13、境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源,其中所显示的内容包括交互式控制元件;以及集成照相机设施,其对周围环境进行成像,并将用户手部姿势识别为交互式控制元件位置命令,其中响应于该交互式控制元件位置命令,交互式控制元件的位置相对于周围环境中的对象保持固定,无论用户的观看方向如何变化。0012 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学。

14、组件的集成图像源;其中所显示的内容包括交互式控制元件;以及集成照相机设施,其随着其与交互式控制元件相交互而对用户的身体部分进行成像,其中所述处理器通过基于用户的视野减去被确定为与被成像的用户身体部分处于同一地点(co-locate)的交互式控制元件的一部分来去除该交互式控制元件的该部分。0013 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源。所显示的内容可以包括交互式键盘控制元件,。

15、并且其中所述键盘控制元件与输入路径分析仪、单词匹配搜索设施以及键盘输入接口相关联。用户可以通过使定点设备(例如手指、触控笔等)以通过用户想要作为文本输入的单词的近似序列的滑动运动跨越键盘输入接口的字符键滑动来输入文本,其中输入路径分析器确定该输入路径中所接触的字符,单词匹配设施找到与所接触的字符序列的最佳单词匹配并将该最佳单词匹配作为输入文本来输入。0014 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入。

16、至该光学组件的集成图像源;以及集成照相机设施,其对外部视觉线索(external visual cue)进行成像,其中所述集成处理器识别外部视觉线索并将其解释为用以显示与该视觉线索相关联的内容的命令。视觉线索可以是周围环境中的标志,并且其中所投影的内容与广告相关联。该标志可以是广告牌,并且广告可以是基于用户的偏好简档的个性化广告。视觉线索可以是手部姿势,并且所投影的内容可以是所投影的虚拟键盘。该手部姿势可以是来自第一用户手的拇指和食指姿势,并且虚拟键盘被投影在第一用户手说 明 书CN 102906623 A3/80页5的手掌上,并且其中用户能够用第二用户手在虚拟键盘上键入。手部姿势可以是两只用。

17、户手的拇指和食指姿势组合,并且虚拟键盘被投影在如以手部姿势配置的用户手之间,其中用户能够使用用户的手的拇指在虚拟键盘上键入。0015 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入至光学组件的集成图像源;以及集成照相机设施,其对姿势进行成像,其中所述集成处理器识别该姿势并将其解释为命令指令。控制指令可以提供用于显示的内容的操纵、被传送到外部设备的命令等。0016 在实施例中,系统可以包括由用户佩戴的交互式。

18、头戴目镜,其中该目镜包括光学组件,用户通过该光学组件来观看周围环境和所显示的内容,其中所述光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以及安装在目镜上的触觉控制接口,其通过用户触摸该接口和用户正接近该接口中的至少一个来从该用户接受控制输入。0017 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将内容引入到光学组件的集成图像源;以。

19、及与目镜集成的多个头部运动感测控制设备中的至少一个,其基于感测到预定义的头部运动特性而向处理器提供控制命令作为命令指令。0018 所述头部运动特性可以是用户的头部的点头,从而使得该点头是与普通头部运动不同的明显运动。该明显运动可以是头部的摇晃运动。该控制指令可以提供用于显示的内容的操纵,可以被传送以控制外部设备,等。0019 在实施例中,系统可以包括由用户佩戴的交互式头戴目镜,其中目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及用于将该内容引入到光学组件的集成图像源,其中该光学组。

20、件包括电致变色层,其提供取决于所显示的内容要求和周围环境条件的显示特性调整。在实施例中,该显示特性可以是亮度、对比度等。周围环境条件可以是在没有显示特性调整的情况下将使得所显示的内容难以由目镜的佩戴者可视的亮度水平,其中,可以将显示特性调整应用于其中内容正被投影的光学组件的区域。0020 在实施例中,该目镜可以是由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件可以观看周围环境和所显示的内容。光学组件可以包括校正用户的周围环境的视野的校正元件、以及用于将该内容引入到光学组件的集成图像源。此外,目镜可以包括可调整的环绕(wrap round)可延伸臂,其包括用于将目镜的位置。

21、固定在用户的头部上的任何形状记忆材料。该可延伸臂可以从目镜臂的末端延伸。环绕可延伸臂的末端可以用硅树脂覆盖。此外,该可延伸臂可以与彼此相遇并固定,或者其可以独立地抓住头的一部分。在其他实施例中,可延伸臂可以附接于头戴目镜的一部分以将目镜固定于用户的头部。在实施例中,可延伸臂可以从目镜臂的末端伸缩地延伸。在其他实施例中,环绕可延伸臂中的至少一个可以是可从头戴目镜拆卸的。此外,可延伸臂可以是头戴目镜的附加说 明 书CN 102906623 A4/80页6特征。0021 在实施例中,目镜可以是由用户佩戴的交互式头戴目镜,其中所述目镜包括光学组件,用户通过该光学组件可以观看周围环境和所显示的内容。该光。

22、学组件可以包括校正用户的周围环境的视野的校正元件、以及用于将该内容引入至光学组件的集成图像源。此外,所显示的内容可以包括本地广告,其中目镜的位置是由集成位置传感器确定的。并且,本地广告可以具有与目镜位置的相关性。在其他实施例中,目镜可以包含能够感测目镜是否与人类皮肤接触的电容传感器。可以基于电容传感器是否感测到目镜与人类皮肤接触来向用户发送本地广告。还可以响应于目镜正被通电来发送本地广告。0022 在其他实施例中,可以作为横幅广告、二维图形或文本来向用户显示本地广告。此外,可以使广告与周围环境的物理方面相关联。在其他实施例中,可以将广告显示为与周围环境的物理方面相关联的增强现实。增强现实广告可。

23、以是二维或三维的。此外,广告可以是动画的,并且可以使其与用户的周围环境的视野相关联。还可以基于由用户执行的网络搜索来向用户显示本地广告,并且该本地广告被显示在搜索结果的内容中。此外,可以基于用户的个人信息来确定本地广告的内容。用户的个人信息对于网络应用或广告设施而言可以是可获得的。用户的信息可以被网络应用、广告设施或目镜用来基于用户的个人信息过滤本地广告。可以将本地广告高速缓存在服务器上,在那里其可以被广告设施、网络应用和目镜中的至少一个访问并被显示给用户。0023 在另一实施例中,用户可以通过进行眼移动、身体移动及其他姿势的任何动作来请求与本地广告有关的附加信息。此外,用户可以通过进行任何眼。

24、移动、身体移动及其他姿势或通过不在从显示广告时起的给定时间段内选择用于进一步交互的广告来忽视本地广告。在另外的其他实施例中,用户可以通过在图形用户界面上选择该选项来选择不允许显示本地广告。替换地,用户可以通过经由所述目镜上的控制设施关掉此类特征来不允许此类广告。0024 在一个实施例中,目镜可以包括音频设备。此外,所显示的内容可以包括本地广告和音频。可以由集成位置传感器来确定目镜的位置,且本地广告和音频可以与目镜位置具有相关性。同样地,用户可以听到对应于所显示的内容和本地广告的音频。0025 在一方面,交互式头戴目镜可以包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件。

25、包括校正用户的周围环境的视野的校正元件和具有使得能够实现全内反射的第一和第二表面的光学波导。目镜还可以包括用于处理用于向用户显示的内容的集成处理器,以及用于将该内容引入至光学组件的集成图像源。在此方面,可以以不导致全内反射的内部入射角将所显示的内容引入到光学波导中。然而,目镜还在光学波导的第一表面上包括镜面化的表面以朝着光学波导的第二表面反射所显示的内容。因此,该镜面化的表面使得能够实现进入光学波导的光的全反射或进入光学波导的光的至少一部分的反射。在实施例中,表面可以被100%镜面化或被镜面化至较低百分比。在某些实施例中,作为镜面化的表面的替代,波导与校正元件之间的空气间隙可以引起以将不会导致。

26、TIR的入射角进入波导的光的反射。0026 在一方面,所述交互式头戴目镜可以包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件和用于处理用于向用户显示的内容的集成处理器。目镜还包括集成图像源,其从邻近于目镜的说 明 书CN 102906623 A5/80页7臂的光学波导的一侧将内容引入至光学组件,其中,所显示的内容纵横比在近似正方形到具有近似水平的长轴的近似矩形之间。0027 在一方面,所述交互式头戴目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、使得能够实现内反。

27、射的自由形式光学波导、以及被定位为将来自LCoS显示器的图像指引到光学波导的耦合透镜。该目镜还包括用于处理用于向用户显示的内容的集成处理器和用于将内容投影到光学组件的集成投影仪设施,其中,该投影仪设施包括光源和LCoS显示器,其中,来自光源的光是在处理器的控制下发射的且穿过偏振射束分离器,在那里,其在被反射离开LCoS显示器并进入光学波导中之前被偏振。在另一方面,所述交互式头戴目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、使得能够实现内反射的光学波导、以及被定位为将来自光学显示器的图像指引到光学波导的耦合透镜。该目镜还包。

28、括用于处理用于向用户显示的内容的集成处理器,以及用于将内容引入至光学组件的集成图像源,其中所述图像源包括光源和光学显示器。校正元件可以是被附接于光学波导的透明校正透镜,其使得能够实现周围环境的适当观看,无论图像源或投影仪设施是开还是关。自由形式光学波导可以包括双自由形式表面,其使得能够实现波导的曲率和尺寸确定,其中该曲率和尺寸确定使得能够将波导放置在交互式头戴目镜的框架中。光源可以是RGB LED模块,其连续地发射光以形成被反射离开光学或LCoS显示器的彩色图像。目镜还可以包括匀化器,来自光源的光被传播通过该匀化器以保证光束是均匀的。偏振射束分离器的表面将来自光学或LCoS显示器的彩色图像反射。

29、到光学波导中。该目镜还可以包括改善进入光学波导的光的分辨率的准直仪。来自光源的光可以是在处理器的控制下发射的并穿过偏振射束分离器,在那里其在被反射离开光学显示器并进入光学波导中之前被偏振。光学显示器可以是LCoS和LCD显示器中的至少一个。图像源可以是投影仪,并且其中所述投影仪是微型投影仪、毫微投影仪(nanoprojector)以及微微投影仪(picoprojector)中的至少一个。该目镜还包括偏振射束分离器,其在来自光源的光被反射离开LCoS显示器并进入光学波导中之前使其偏振,其中偏振射束分离器的表面将来自LCoS显示器的彩色图像反射到光学波导中。0028 在实施例中,提供了一种用于生物。

30、统计数据捕获的设备。生物统计数据可以是视觉生物统计数据,诸如面部生物统计数据或虹膜生物统计数据,或者可以是音频生物统计数据。该设备包括光学组件,用户通过该光学组件观看周围环境和所显示的内容。该光学组件还包括校正用户的周围环境的视野的校正元件。集成处理器处理内容以便在目镜上向用户显示。该目镜还结合了用于将内容引入到光学组件的集成图像源。生物统计数据捕获是用集成光学传感器组件实现的。音频数据捕获是用集成端射扩音器阵列实现的。所捕获的生物统计数据的处理远程地发生,且使用集成通信设施来传送数据。远程计算设施解释并分析所捕获的生物统计数据,基于所捕获的生物统计数据来生成显示内容,并将显示内容输送到目镜。。

31、0029 另一实施例提供了安装在目镜上以便获得接近目镜的个体的生物统计图像的照相机。0030 再一实施例提供了一种用于生物统计数据捕获的方法。在该方法中,个体位于接近目镜的位置。这可以通过目镜的佩戴者移动到允许捕获期望的生物统计数据的位置中来说 明 书CN 102906623 A6/80页8实现。一旦被定位,则目镜捕获生物统计数据并将所捕获的生物统计数据传送到将所捕获的生物统计数据存储在生物统计数据数据库中的设施。生物统计数据数据库结合了解释接收到的数据并基于所捕获的生物统计数据的解释来生成显示内容的远程计算设施。此显示内容然后被传送回用户以便在目镜上显示。0031 再一实施例提供了一种用于音。

32、频生物统计数据捕获的方法。在该方法中,个体位于接近目镜的位置。这可以通过目镜的佩戴者移动到允许捕获期望的音频生物统计数据的位置中来实现。一旦被定位,扩音器阵列捕获音频生物统计数据并将所捕获的音频生物统计数据传送到将所捕获的音频生物统计数据存储在生物统计数据数据库中的设施。音频生物统计数据数据库结合了解释接收到的数据并基于所捕获的音频生物统计数据的解释来生成显示内容的远程计算设施。此显示内容然后被传送回用户以便在目镜上显示。0032 在实施例中,目镜包括被附接于光学波导的外表面的透明校正透镜,其使得能够适当地观看周围环境,无论是否存在所显示的内容。透明校正透镜可以是针对用户的校正镜片处方而定制的。

33、处方透镜(prescription lens)。透明校正透镜可以被偏振且可以附接于光学波导和目镜框架中的至少一个,其中,经偏振的校正透镜阻挡从用户的眼睛反射的相反偏振的光。透明校正透镜可以附接于光学波导和目镜框架中的至少一个,其中校正透镜保护光学波导,并且可以包括弹道材料(ballistic material)和ANSI认证的聚碳酸酯材料中的至少一个。0033 在一个实施例中,交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、用于将内容引入到光。

34、学组件的集成图像源、以及与光学组件集成的调整针对用户的所显示的内容的焦点的电可调整透镜。0034 一个实施例涉及交互式头戴目镜。此交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的周围环境的视野的校正元件、以及用于处理内容以向用户显示的交互式头戴目镜的集成处理器。交互式头戴目镜还包括与光学组件集成的电可调整液体透镜、用于将内容引入到光学组件的交互式头戴目镜的集成图像源、以及与集成处理器可操作地连接的存储器,该存储器包括用于通过调整电可调整液体透镜来提供用于所显示内容的校正的至少一个软件程序。0035 另一实。

35、施例是用于由用户佩戴的交互式头戴目镜。该交互式头戴目镜包括安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中该光学组件包括校正用户的所显示内容的视野的校正元件、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的集成图像源、与光学组件集成的调整针对用户的所显示内容的焦点的电可调整液体透镜、以及安装在交互式头戴目镜上的至少一个传感器,其中来自该至少一个传感器的输出被用来使用光学稳定化和图像稳定化中的至少一个使交互式头戴目镜的光学组件的所显示内容稳定。0036 一个实施例是用于使图像稳定的方法。该方法包括步骤:提供包括照相机和光学组。

36、件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容,以及用照相机对周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:通过光学说 明 书CN 102906623 A7/80页9组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,以及经由至少一种数字技术使所显示的内容相对于用户的周围环境的视野稳定。0037 另一实施例是用于使图像稳定的方法。该方法包括步骤:提供包括照相机和光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容,该组件还包括用于处理内容以向用户显示的处理器和用于将内容投影到光学组件的集成投影仪,以及用照相机对。

37、周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:通过光学组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,以及经由至少一种数字技术使所显示的内容相对于用户的周围环境的视野稳定。0038 一个实施例是用于使图像稳定的方法。该方法包括步骤:提供由用户佩戴的交互式头戴目镜,其中该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器和用于将内容引入到光学组件的集成图像源;以及用照相机对周围环境进行成像以捕获周围环境中的对象的图像。该方法还包括步骤:。

38、通过光学组件在相对于用户的被成像对象的视野而言固定的位置处显示内容,感测目镜的振动和移动,将指示目镜的振动和移动的信号发送到交互式头戴设备的集成处理器,以及经由至少一种数字技术来使所显示的内容相对于用户的环境视野稳定。0039 另一实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的目镜、安装在目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及安装在目镜上的校正用户的周围环境的视野的校正元件。该交互式头戴目镜还包括用于处理用于向用户显示的内容的集成处理器、用于将内容引入到光学组件的集成图像源、以及安装在照相机或目镜上的至少一个传感器,其中,来自所述至少一个传感器的输出。

39、被用来使用至少一种数字技术使交互式头戴目镜的光学组件的所显示的内容稳定。0040 一个实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的交互式头戴目镜、安装在该目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的目镜的集成图像源、以及安装在该交互式头戴目镜上的至少一个传感器,其中,来自所述至少一个传感器的输出被用来使用光学稳定化和图像稳定化中的至少一个使交互式头戴目镜的光学组件的所显示的内容稳定。0041 另一实施例是交互式头戴目镜。该交互式头戴目镜包括用于由用户佩戴的目镜、安装。

40、在该目镜上的光学组件,用户通过该光学组件观看周围环境和所显示的内容、以及用于处理用于向用户显示的内容的集成处理器。该交互式头戴目镜还包括用于将内容引入到光学组件的集成图像源、串联在集成图像源与光学组件之间的用于使用于向用户显示的内容稳定的电光透镜、以及安装在目镜或用于目镜的底座上的至少一个传感器,其中,来自所述至少一个传感器的输出被用来使交互式头戴目镜的电光透镜稳定。0042 本文公开的方面包括由用户佩戴的交互式头戴目镜,其中,该目镜包括光学组件,用户通过该光学组件观看周围环境和所显示的内容,其中,该光学组件包括校正用户的周围环境的视野的校正元件、用于处理用于向用户显示的内容的集成处理器、以及。

41、用于将内容引入到光学组件的集成图像源。0043 该目镜可以进一步包括佩戴在用户的手上的控制设备,其包括由用户的手的手指说 明 书CN 102906623 A8/80页10致动的至少一个控制部件,并根据所述至少一个控制部件的致动向处理器提供控制命令作为命令指令。该命令指令可以是针对用于向用户显示的内容的操纵。0044 该目镜可以进一步包括手运动感测设备,其被佩戴在用户的手上,并从运动感测设备向处理器提供控制命令作为命令指令。0045 该目镜可以进一步包括双向光学组件,用户通过该双向光学组件与如通过该光学组件从集成图像源传送的所显示的内容同时地观看周围环境;以及处理器,其用于处理用于向用户显示的内。

42、容和来自传感器的传感器信息,其中处理器使所显示的内容与来自传感器的信息相关以指示眼睛的相对于投影图像的视线,并使用相对于投影图像的视线信息加上用户命令指示来调用动作。0046 在该目镜中,针对用户的眼睛的视线信息被作为命令指令传送到处理器。0047 该目镜可以进一步包括用于在目镜的视场内跟踪手部姿势以向目镜提供控制指令的手部运动感测设备。0048 在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请求关于社交联网网站的成员的信息、以及使用交互式头戴目镜来搜索社交联网网站的附近成员。0049 在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请。

43、求关于社交联网网站的其他成员的信息、发送指示交互式头戴目镜的用户的位置的信号、以及允许访问关于交互式头戴目镜的用户的信息。0050 在一方面,社交联网的方法包括使用目镜来联系社交联网网站、使用交互式头戴目镜来请求关于社交联网网站的成员的信息、发送指示交互式头戴目镜的用户的位置和至少一个偏好的信号、允许在社交联网站点上访问关于交互式头戴目镜的用户的偏好的信息、以及使用交互式头戴目镜来搜索社交联网网站的附近成员。0051 在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、使用交互式头戴目镜发起或加入在线游戏站点的游戏、通过交互式头戴目镜的光学组件来观看游戏、以及通过使用交互式头戴目镜来操纵至。

44、少一个身体安装的控制设备而玩游戏。0052 在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、发起或加入与在线游戏站点的多个成员的在线游戏站点的游戏,每个成员使用交互式头戴目镜系统、用光学组件来观看游戏内容、以及通过操纵用于检测运动的至少一个传感器来玩游戏。0053 在一方面,一种游戏的方法包括使用目镜来联系在线游戏站点、使用交互式头戴目镜来联系用于该在线游戏站点的游戏的至少一个附加玩家、使用交互式头戴目镜来发起在线游戏站点的游戏、用交互式头戴目镜的光学组件来观看在线游戏站点的游戏、以及通过使用交互式头戴目镜无接触地操纵至少一个控制设施来玩游戏。0054 在一方面,一种使用增强视觉的方法包括提供包括光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容、用黑硅短波红外(SWIR)图像传感器来扫描周围环境、通过用户的移动、姿势或命令来控制SWIR图像传感器、将来自传感器的至少一个视觉图像发送到交互式头戴目镜的处理器、以及使用光学组件来观看该至少一个视觉图像,其中,黑硅短波红外(SWIR)传感器提供夜视能力。0055 在一方面,一种使用增强视觉的方法包括提供包括照相机和光学组件的交互式头戴目镜,用户通过该光学组件观看周围环境和所显示的内容、用照相机和黑硅短波红外说 明 书CN 102906623 A10。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 光学


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1