在可穿戴计算系统上操纵和显示图像 相关申请的交叉引用
本申请要求于2011年7月20日递交的题为“Method and System for
Manipulating and Displaying an Image on a Wearable Computing System（用于在
可穿戴计算系统上操纵和显示图像的方法和系统）”的第61/509,833号美国临
时专利申请和于2011年11月8日递交的题为“Manipulating and Displaying an
Image on a Wearable Computing System（在可穿戴计算系统上操纵和显示图像
）”的第12/291,416号美国专利申请的优先权，这里通过引用并入这些申请中
的每一个的全部内容。
背景技术
除非本文另外指出，否则本部分中描述的材料并不是本申请中的权利要
求的现有技术，并且并不因为被包括在本部分中就被承认为是现有技术。
诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话和无数类型的
具备联网能力的设备之类的计算设备在现代生活的许多方面中正越来越普
遍。随着计算机变得更先进，预期将计算机生成的信息与用户对物理世界的
感知相混合的增强现实设备会变得更普遍。
发明内容
在一个方面中，一种示例方法包括：（i）可穿戴计算系统提供可穿戴计
算系统的真实世界环境的视图；（ii）对真实世界环境的视图的至少一部分实
时成像以获得实时图像；（iii）可穿戴计算系统接收与对实时图像的期望操纵
相关联的输入命令；（iv）基于接收到的输入命令，可穿戴计算系统依据期望
操纵来操纵实时图像；以及（v）可穿戴计算系统在可穿戴计算系统的显示器
中显示被操纵的实时图像。
在示例实施例中，对图像的期望操纵可从由以下各项构成的组中选择：
在实时图像的至少一部分上拉近（zoom in）、在实时图像的至少一部分上平
移（pan）、旋转实时图像的至少一部分以及编辑实时图像的至少一部分。
在示例实施例中，该方法可包括：可穿戴计算系统提供可穿戴计算系统
的真实世界环境的视图；（i）对真实世界环境的视图的至少一部分实时成像
以获得实时图像；（ii）可穿戴计算系统接收与对实时图像的期望操纵相关联
的至少一个输入命令，其中，至少一个输入命令包括识别实时图像的要被操
纵的部分的输入命令，其中，识别实时图像的要被操纵的部分的输入命令包
括在真实世界环境的一区域中检测到的手部姿势，其中，该区域对应于实时
图像的要被操纵的部分；（iii）基于所接收到的至少一个输入命令，可穿戴计
算系统依据期望操纵来操纵实时图像；以及（iv）可穿戴计算系统在可穿戴
计算系统的显示器中显示被操纵的实时图像。
在另一方面中，公开了一种非暂态计算机可读介质，其上存储有指令，
所述指令响应于被处理器执行而使得该处理器执行操作。根据示例实施例，
所述指令包括：（i）用于提供可穿戴计算系统的真实世界环境的视图的指令；
（ii）用于对真实世界环境的视图的至少一部分实时成像以获得实时图像的指
令；（iii）用于接收与对实时图像的期望操纵相关联的输入命令的指令；（iv）
用于基于接收到的输入命令，依据期望操纵来操纵实时图像的指令；以及（v）
用于在可穿戴计算系统的显示器中显示被操纵的实时图像的指令。
在另外一方面中，公开了一种可穿戴计算系统。示例可穿戴计算系统包
括：（i）头戴式显示器，其中，头戴式显示器被配置为提供可穿戴计算系统
的真实世界环境的视图，其中，提供真实世界环境的视图包括显示由计算机
生成的信息并允许对真实世界环境的视觉感知；（ii）成像系统，其中，成像
系统被配置为对真实世界环境的视图的至少一部分实时成像以获得实时图
像；（iii）控制器，其中，控制器被配置为（a）接收与对实时图像的期望操
纵相关联的输入命令，以及（b）基于所接收到的输入命令，依据期望操纵来
操纵实时图像；以及（iv）显示系统，其中，显示系统被配置为在可穿戴计
算系统的显示器中显示被操纵的实时图像。
通过阅读在适当时参考附图的以下详细描述，本领域普通技术人员将清
楚这些以及其他方面、优点和替换。
附图说明
图1是依据示例实施例的用于接收、发送和显示数据的可穿戴计算设备
的第一视图。
图2是依据示例实施例的图1的可穿戴计算设备的第二视图。
图3是依据示例实施例的计算机网络基础设施的简化框图。
图4是图示根据示例实施例的方法的流程图。
图5a是根据示例实施例的可穿戴计算系统的真实世界环境的示例视图
的图示。
图5b是根据示例实施例的用于选择实时图像的一部分来操纵的示例输
入命令的图示。
图5c是根据示例实施例的示例的所显示的被操纵的实时图像的图示。
图5d是根据另一示例实施例的另一示例所显示被操纵实时图像的图示。
图6a是根据示例实施例的示例手部姿势的图示。
图6b是根据示例实施例的另一示例手部姿势的图示。
具体实施方式
以下详细描述参考附图描述了所公开的系统和方法的各种特征和功能。
在图中，相似的符号一般识别相似的成分，除非上下文另有规定。本文描述
的说明性系统和方法实施例并不打算进行限定。将容易理解，所公开的系统
和方法的某些方面可按许多种不同的配置来布置和组合，所有这些在本文都
已被设想到。
I.概述
可穿戴计算设备可被配置为允许对真实世界环境的视觉感知并且显示与
对真实世界环境的视觉感知有关的计算机生成的信息。有利地，计算机生成
的信息可与用户对真实世界环境的感知相集成。例如，计算机生成的信息可
利用与用户在给定时刻正在感知或经历的东西有关的有用的计算机生成信息
或视图来补充用户对物理世界的感知。
在一些情形中，操纵真实世界环境的视图对于用户可能是有益的。例如，
放大真实世界环境的视图的一部分对于用户可能是有益的。例如，用户可能
正看着一路标，但用户可能没有足够靠近该路标到能够清楚阅读路标上显示
的街道名称。从而，能够在路标上拉近以便清楚阅读街道名称对于用户可能
是有益的。作为另一个示例，旋转真实世界环境的视图的一部分对于用户可
能是有益的。例如，用户可能正查看具有颠倒的或向着侧面的文本的某个东
西。在这种情形中，旋转该视图的一部分使得文本正向直立对于用户可能是
有益的。
本文描述的方法和系统可促进操纵用户对真实世界环境的视图的至少一
部分以便实现用户期望的环境的视图。具体地，所公开的方法和系统可依据
期望的操纵来操纵真实世界环境的实时图像。示例方法可包括：（i）可穿戴
计算系统提供可穿戴计算系统的真实世界环境的视图；（ii）对真实世界环境
的视图的至少一部分实时成像以获得实时图像；（iii）可穿戴计算系统接收与
对实时图像的期望操纵相关联的输入命令；（iv）基于接收到的输入命令，可
穿戴计算系统依据期望操纵来操纵实时图像；以及（v）可穿戴计算系统在可
穿戴计算系统的显示器中显示被操纵的实时图像。
依据示例实施例，可穿戴计算系统可以以多种方式操纵实时图像。例如，
可穿戴计算系统可在实时图像的至少一部分上拉近，在实时图像的至少一部
分上平移，旋转实时图像的至少一部分，和/或编辑实时图像的至少一部分。
通过提供以这样的方式操纵实时图像的能力，用户可以有益地实时实现用户
期望的环境的视图。
II.示例系统和设备
图1图示了用于接收、发送和显示数据的示例系统100。系统100是以
可穿戴计算设备的形式示出的。尽管图1图示了眼镜102作为可穿戴计算设
备的示例，但可以额外地或可替换地使用其他类型的可穿戴计算设备。如图
1中图示的，眼镜102包括框架元件、透镜元件110和112以及延伸侧臂114
和116，其中框架元件包括透镜框架104和106以及中央框架支撑108。中央
框架支撑108以及延伸侧臂114和116被配置为分别经由用户的鼻子和耳朵
将眼镜102固定到用户的脸部。框架元件104、106和108以及延伸侧臂114
和116中的每一个可由塑料和/或金属的实心结构形成，或者可由类似材料的
中空结构形成，以允许配线和组件互连在内部按一定路线经过眼镜102。透
镜元件110和112中的每一个可由能够适当地显示投影的图像或图形的任何
材料形成。此外，透镜元件110和112中的每一个的至少一部分也可充分地
透明以允许用户看穿透镜元件。结合透镜元件的这两个特征可促进增强现实
或抬头显示，其中投影的图像或图形被叠加在用户透过透镜元件感知到的真
实世界视图上或者连同该真实世界视图一起来提供。
延伸侧臂114和116各自是分别从框架元件104和106延伸开的突起物，
并且可被定位在用户的耳后以将眼镜102固定到用户。延伸侧臂114和116
还可通过绕着用户的头的后部延伸来将眼镜102固定到用户。额外地或可替
换地，例如，系统100可连接到头戴式头盔结构或附于头戴式头盔结构内。
其他可能性也是存在的。
系统100还可包括机载计算系统118、视频相机120、传感器122以及手
指可操作触摸板124和126。机载计算系统118被示为定位在眼镜102的延
伸侧臂114上；然而，机载计算系统118可设在眼镜102的其他部分上或者
甚至远离眼镜（例如，计算系统118可无线或有线地连接到眼镜102）。机载
计算系统118例如可包括处理器和存储器。机载计算系统118可被配置为接
收和分析来自视频相机120、手指可操作触摸板124和126、传感器122（以
及可能来自其他传感设备、用户接口元素或者这两者）的数据并且生成用于
输出到透镜元件110和112的图像。
视频相机120被示为定位在眼镜102的延伸侧臂114上；然而，视频相
机120可设在眼镜102的其他部分上。视频相机120可被配置为以各种分辨
率或者以不同的帧率捕捉图像。例如，许多具有小外形参数的视频相机——
比如蜂窝电话或网络摄像头中使用的那些——可被包含到系统100的示例
中。虽然图1图示了一个视频相机120，但可以使用更多视频相机，并且每
一个可被配置为捕捉相同的视图，或者捕捉不同的视图。例如，视频相机120
可以是前向的以捕捉用户感知到的真实世界视图的至少一部分。这个由视频
相机120捕捉到的前向图像随后可用于生成增强现实，其中计算机生成的图
像看起来与用户感知到的真实世界视图交互。
传感器122被示为安装在眼镜102的延伸侧臂116上；然而，传感器122
可设在眼镜102的其他部分上。传感器122例如可包括加速度计或陀螺仪中
的一个或多个。传感器122内可包括其他感测设备，或者传感器122可执行
其他感测功能。
手指可操作触摸板124和126被示为安装在眼镜102的延伸侧臂114、
116上。手指可操作触摸板124和126中的每一个可被用户用来输入命令。
手指可操作触摸板124和126可经由电容感测、电阻感测或表面声波过程等
等来感测手指的位置和移动中的至少一者。手指可操作触摸板124和126可
能够感测在与板表面平行或在同一平面内的方向上、在与板表面垂直的方向
上或者在这两个方向上的手指移动，并且还可能够感测施加的压力的水平。
手指可操作触摸板124和126可由一个或多个半透明或透明绝缘层和一个或
多个半透明或透明导电层形成。手指可操作触摸板124和126的边缘可形成
为具有凸起的、凹陷的或粗糙的表面，从而在用户的手指到达手指可操作触
摸板124和126的边缘时向用户提供触觉反馈。手指可操作触摸板124和126
中的每一个可被独立操作，并且可提供不同的功能。另外，系统100可包括
被配置为从用户接收语音命令的麦克风。此外，系统100可包括允许各种类
型的外部用户接口设备连接到可穿戴计算设备的一个或多个通信接口。例如，
系统100可被配置用于与各种手持键盘和/或指点设备的连通。
图2图示了图1的系统100的替换视图。如图2中所示，透镜元件110
和112可充当显示元件。眼镜102可包括第一投影仪128，该第一投影仪128
耦合到延伸侧臂116的内表面并且被配置为将显示130投影到透镜元件112
的内表面上。额外地或可替换地，第二投影仪132可耦合到延伸侧臂114的
内表面并被配置为将显示134投影到透镜元件110的内表面上。
透镜元件110和112可充当光投影系统中的组合器并且可包括涂层，该
涂层反射从投影仪128和132投影到其上的光。或者，投影仪128和132可
以是与用户的视网膜直接交互的扫描激光设备。
在替换实施例中，也可使用其他类型的显示元件。例如，透镜元件110、
112本身可包括：诸如电致发光显示器或液晶显示器之类的透明或半透明的
矩阵显示器，用于将图像输送到用户的眼睛的一个或多个波导，或者能够将
焦点对准的近眼图像输送到用户的其他光学元件。相应的显示驱动器可布置
在框架元件104和106内以用于驱动这种矩阵显示器。可替换地或额外地，
可以用激光或LED源和扫描系统来将光栅显示直接绘制到用户的一只或两只
眼睛的视网膜上。其他可能性也是存在的。
图3图示了计算机网络基础设施的示例示意图。在示例系统136中，设
备138能够利用通信链路140（例如，有线或无线连接）与远程设备142通
信。设备138可以是任何类型的可接收数据并显示与数据相对应或相关联的
信息的设备。例如，设备138可以是抬头显示系统，比如参考图1和图2描
述的眼镜102。
设备138可包括显示系统144，显示系统144包括处理器146和显示器
148。显示器148例如可以是光学透视显示器（optical see-through display）、
光学环视显示器（optical see-around display）或视频透视显示器。处理器146
可从远程设备142接收数据，并且将该数据配置用于在显示器148上显示。
处理器146可以是任何类型的处理器，诸如例如微处理器或数字信号处理器。
设备138还可包括机载数据存储装置，比如耦合到处理器146的存储器
150。存储器150例如可存储可被处理器146访问和执行的软件。
远程设备142可以是被配置为向设备138发送数据的任何类型的计算设
备或发送器，包括膝上型计算机、移动电话等等。远程设备142也可以是服
务器或服务器的系统。远程设备142和设备138可包含用于使能通信链路140
的硬件，比如处理器、发送器、接收器，天线等等。
在图3中，通信链路140被图示为无线连接；然而，也可使用有线连接。
例如，通信链路140可以是经由诸如通用串行总线之类的串行总线或者并行
总线的有线链路。有线连接也可以是专有连接。通信链路140也可以是使用
例如蓝牙无线电技术、IEEE802.11（包括任何IEEE802.11修订版）中描述
的通信协议、蜂窝技术（比如GSM、CDMA、UMTS、EV-DO、WiMAX或
LTE）或紫蜂技术等等的无线连接。远程设备142可经由因特网来访问并且
例如可对应于与特定的web服务（例如，社交网络、照片共享、地址簿，等
等）相关联的计算集群。
III.示范性方法
示范性方法可包括比如系统100这样的可穿戴计算系统以期望的方式操
纵用户对真实世界环境的视图。图4是图示根据示例实施例的方法的流程图。
更具体而言，示例方法400包括可穿戴计算系统提供可穿戴计算系统的真实
世界环境的视图，如块402所示。可穿戴计算系统可对真实世界环境的视图
的至少一部分实时成像以获得实时图像，如块404所示。另外，可穿戴计算
系统可接收与对实时图像的期望操纵相关联的输入命令，如块406所示。
基于接收到的输入命令，可穿戴计算系统可依据期望操纵来操纵实时图
像，如块408所示。可穿戴计算系统随后可在可穿戴计算系统的显示器中显
示被操纵的实时图像，如块410所示。虽然示范性方法400被以示例方式描
述为由可穿戴计算系统100执行，但应当理解示例方法可由可穿戴计算设备
与一个或多个其他实体相结合来执行，所述其他实体比如是与可穿戴计算系
统通信的远程服务器。
参考图3，设备138可执行方法400的步骤。具体地，方法400可对应
于由处理器146在执行非暂态计算机可读介质中存储的指令时执行的操作。
在示例中，非暂态计算机可读介质可以是存储器150的一部分。非暂态计算
机可读介质上可存储有指令，所述指令响应于被处理器146执行而使得处理
器146执行各种操作。所述指令可包括：（i）用于提供可穿戴计算系统的真
实世界环境的视图的指令；（ii）用于对真实世界环境的视图的至少一部分实
时成像以获得实时图像的指令；（iii）用于接收与对实时图像的期望操纵相关
联的输入命令的指令；（iv）用于基于接收到的输入命令依据期望操纵来操纵
实时图像的指令；以及（v）用于在可穿戴计算系统的显示器中显示被操纵的
实时图像的指令。
A.提供可穿戴计算系统的真实世界环境的视图
如上所叙述的，在块402，可穿戴计算系统可提供可穿戴计算系统的真
实世界环境的视图。如上所叙述的，参考图1和图2，可穿戴计算系统的显
示器148例如可以是光学透视（see-through）显示器、光学环视（see-around）
显示器或视频透视显示器。这样的显示器可允许用户感知可穿戴计算系统的
真实世界环境的视图并且还可能够显示看起来与用户感知到的真实世界视图
交互的计算机生成图像。具体地，“透视”可穿戴计算系统可在透明表面上显
示图形，以使得用户看到覆盖在物理世界上的图形。另一方面，“环视”可穿
戴计算系统可通过将不透明显示器放置得靠近用户的眼睛来将图形覆盖在物
理世界上，以便利用用户的双眼之间的视觉共享并且产生显示是用户看到的
世界的一部分的效果。
在一些情形中，修改或操纵所提供的真实世界环境的视图的至少一部分
对于用户可能是有益的。通过操纵所提供的真实世界环境的视图，用户将能
够以期望的方式控制用户对真实世界的感知。因此，依据示范性实施例的可
穿戴计算系统向用户提供了可使得用户对真实世界的视图对于用户的需求更
有用的功能。
真实世界环境504的示例提供视图502在图5a中示出。具体地，此示例
说明了当可穿戴计算系统的用户在驾驶汽车并且正接近一红灯506时该用户
看到的视图502。邻近红灯506的是路标508。在一示例中，路标可能离用户
太远以至于用户不能清楚辨认出路标508上显示的街道名称510。在路标508
上拉近以便阅读路标508上显示了什么街道名称510，对于用户可能是有益
的。从而，诊据示范性实施例，用户可输入一个或多个输入命令以指示可穿
戴计算系统操纵该视图以使得用户能够阅读街道名称510。示例输入命令和
期望的操纵在接下来的小节中描述。
B.获得真实世界视图的至少一部分的实时图像、接收与期望操纵相关
联的输入命令并且操纵实时图像
为了操纵真实世界环境的视图，可穿戴计算系统可在块404对真实世界
环境的视图的至少一部分实时成像以获得实时图像。可穿戴计算系统随后可
依据用户期望的操纵来操纵实时图像。具体地，在块406，可穿戴计算系统
可接收与对实时图像的期望操纵相关联的输入命令，并且在块408，可穿戴
计算系统可依据该期望操纵来操纵实时图像。通过获得真实世界环境的视图
的至少一部分的实时图像并且操纵该实时图像，用户可以选择性地实时补充
用户对真实世界的视图。
在一示例中，对真实世界环境的视图的至少一部分实时成像以获得实时
图像的步骤404发生在用户输入与对实时图像的期望操纵相关联的命令之
前。例如，视频相机120可在取景器模式中操作。从而，相机可连续地对真
实世界环境的至少一部分成像以获得实时图像，并且可穿戴计算系统可在可
穿戴计算系统的显示器中显示该实时图像。
然而，在另一示例中，可穿戴计算系统可在可穿戴计算系统对真实世界
环境的视图的至少一部分实时成像以获得实时图像之前接收与对实时图像的
期望操纵（例如，拉近）相关联的输入命令。在这种示例中，输入命令可发
起视频相机在取景器模式中操作以获得真实世界环境的视图的至少一部分的
实时图像。用户可向可穿戴计算系统指出用户想要操纵用户的真实世界视图
502的哪个部分。可穿戴计算系统随后可确定与用户的真实世界视图相关联
的实时图像的那部分是什么。
在另一示例中，用户可能正在查看实时图像（例如，来自相机的取景器
可能正在向用户显示实时图像）。在这种情况下，用户可以指示可穿戴计算系
统用户想要操纵实时图像的哪个部分。
可穿戴计算系统可被配置为从用户接收指出对图像的期望操纵的输入命
令。具体地，该输入命令可指示可穿戴计算系统如何操纵用户的视图的至少
一部分。此外，该输入命令可指示可穿戴计算系统用户想要操纵该视图的哪
个部分。在一示例中，单个输入命令既可指示可穿戴计算系统（i）要操纵视
图的哪个部分，又可指示（ii）如何操纵所识别的部分。然而，在另一示例中，
用户可输入第一输入命令来识别要操纵视图的哪个部分，并且输入第二输入
命令来指出如何操纵所识别的部分。可穿戴计算系统可被配置为以多种方式
从用户接收输入命令，这些方式的示例在下文论述。
i.示例触摸板输入命令
在一示例中，用户可经由可穿戴计算系统的触摸板——比如触摸板124
或触摸板126——来输入输入命令。用户可以以各种方式与触摸板交互以便
输入用于操纵图像的命令。例如，用户可在触摸板上执行捏拉缩放
（pinch-zoom）动作以在图像上拉近。视频相机可配备有光学变焦能力和数
字变焦能力两者，视频相机利用这些能力来在图像上拉近。
在一示例中，当用户执行捏拉缩放动作时，可穿戴计算系统朝着实时图
像的中心拉近给定量（例如，2×倍率、3×倍率等等）。然而，在另一示例中，
不是朝着图像的中心拉近，而是用户可指示系统朝着实时图像的特定部分拉
近。用户可以以多种方式来指出要操纵（例如拉近）的图像的特定部分，并
且指出要操纵图像的哪个部分的示例在下文论述。
作为另一示例触摸板输入命令，用户可在触摸板用两根手指作出转动动
作。可穿戴计算系统可将这样的输入命令等同为将图像旋转给定度数（例如，
与用户转动手指的度数相对应的度数）的命令。作为另一示例触摸板输入命
令，可穿戴计算系统可将触摸板上的双叩击等同为在图像上拉近预定量（例
如，2x倍率）的命令。作为又一个示例，可穿戴计算系统可将触摸板上的三
叩击等同为在图像上拉近另一预定量（例如，3x倍率）的命令。
ii.示例姿势输入命令
在另一示例中，用户可通过利用给定姿势（例如，手部运动）来输入操
纵图像的命令。因此，可穿戴计算系统可被配置为跟踪用户的姿势。例如，
用户可在可穿戴计算系统前方进行手部运动，比如在真实世界环境的区域周
围形成边界。例如，用户可圈出用户想要操纵（例如，拉近）的区域。在圈
出该区域之后，可穿戴计算系统可以以期望的方式操纵圈出的区域（例如，
在圈出的区域上拉近给定量）。在另一示例中，用户可在用户想要操纵的区域
周围形成框（例如，矩形框）。用户可用单手或用双手形成边界。另外，所述
边界可以是多种形状（例如，圆形或基本为圆形的边界；矩形或基本为矩形
的边界；等等）。
为了检测用户的姿势，可穿戴计算系统可包括姿势跟踪系统。依据一实
施例，姿势跟踪系统可跟踪并分析各种移动，比如手部移动和/或附于用户手
部的物体（例如，诸如戒指之类的物体）或者握在用户手中的物体（例如，
诸如手写笔之类的物体）的移动。
姿势跟踪系统可以以多种方式跟踪并分析用户的姿势。在一示例中，姿
势跟踪系统可包括视频相机。例如，姿势跟踪系统可包括视频相机120。这
种姿势跟踪系统可记录与用户的姿势有关的数据。此视频相机可以是与用于
捕捉真实世界的实时图像的那个相机相同的视频相机。可穿戴计算系统可分
析记录的数据以便确定姿势，随后可穿戴计算系统可识别出哪个操纵与所确
定的姿势相关联。可穿戴计算系统可执行光流分析以便跟踪并分析用户的姿
势。为了执行光流分析，可穿戴计算系统可分析所获得的图像以确定用户是
否在作出手部姿势。具体地，可穿戴计算系统可分析图像帧以确定帧中什么
在移动以及什么没有在移动。系统还可分析图像帧以确定用户正在作出的手
部姿势的类型（例如，形状）。为了确定手部姿势的形状，可穿戴计算系统可
执行形状识别分析。例如，可穿戴计算系统可识别手部姿势的形状并将所确
定的形状与各种手部姿势形状的数据库中的形状相比较。
在另一示例中，手部姿势检测系统可以是激光二极管检测系统。例如，
手部姿势检测系统可以是基于衍射图样来检测手部姿势的类型的激光二极管
系统。在此示例中，激光二极管系统可包括被配置为产生给定衍射图样的激
光二极管。当用户执行手部姿势时，手部姿势可中断该衍射图样。可穿戴计
算系统可分析中断的衍射图样以便确定手部姿势。在一示例中，传感器122
可包括激光二极管检测系统。另外，激光二极管系统可放置在可穿戴计算系
统上的任何适当位置。
可替换地，手部姿势检测系统可包括闭环激光二极管检测系统。这种闭
环激光二极管检测系统可包括激光二极管和光子检测器。在此示例中，激光
二极管可发出光，该光随后可从用户的手反射回到激光二极管检测系统。光
子检测器随后可检测到反射的光。基于反射的光，系统可确定手部姿势的类
型。
在另一示例中，姿势跟踪系统可包括被配置为识别用户的姿势的扫描仪
系统（例如，具有激光扫描镜的3D扫描仪系统）。作为又一个示例，手部姿
势检测系统可包括红外相机系统。红外相机系统可被配置为检测来自手部姿
势的移动并且可分析该移动以确定手部姿势的类型。
作为一具体操纵示例，参考图5b，用户可能想要在路标508上拉近以便
获得更好的路标508中显示的街道名称510的视图。用户可作出手部姿势以
圈出路标508周围的区域520。用户可在可穿戴计算机前方并且在用户对真
实世界环境的视图中作出此画圈手部姿势。如上所论述的，可穿戴计算系统
随后可对真实世界环境的与用户圈出的区域相对应的至少一部分成像或者已
经有了该部分的图像。可穿戴计算系统随后可识别实时图像的与视图502的
圈出区域520相对应的区域。计算系统随后可在实时图像的该部分上拉近并
且显示实时图像的被拉近部分。例如，图5c示出了所显示的被操纵（例如，
被放大）的部分540。所显示的被放大部分540极详细地示出了路标508，从
而使得用户能够容易地阅读街道名称510。
在一示例中，圈出区域520可以是仅仅识别出真实世界视图或实时图像
中用户想要操纵的的部分的输入命令。用户随后可输入第二命令来指出期望
的操纵。例如，在圈出区域520之后，为了在部分520上拉近，用户可捏拉
缩放或叩击（例如双叩击、三叩击等等）触摸板。在另一示例中，用户可输
入语音命令（例如，用户可以说出“放大”）以指示可穿戴计算系统在区域
520上拉近。另一方面，在另一示例中，圈出区域520的动作可充当既指出
（i）要操纵视图的哪个部分、又指出（ii）如何操纵所识别的部分的输入命
令。例如，可穿戴计算系统可将用户圈出视图的一区域视为拉近到圈出的区
域中的命令。其他手部姿势可指出其他期望操纵。例如，可穿戴计算系统可
将用户在给定区域周围绘出一方形视为将该给定区域旋转90度的命令。其他
示例输入命令也是可能的。图6a和图6b描绘了可穿戴计算系统可检测的示
例手部姿势。具体地，图6a描绘了真实世界视图602，其中用户在真实世界
环境的一区域中利用手604和606作出手部姿势。该手部姿势是形成一矩形
框，该矩形框形成真实世界环境的一部分610周围的边界608。另外，图6b
描绘了真实世界视图620，其中用户利用手622作出手部姿势。该手部姿势
是用户的手622的画圈运动（开始于位置（1）并朝着位置（4）移动），并且
该姿势形成真实世界环境的一部分626周围的椭圆边界624。在这些示例中，
所形成的边界包围真实世界环境中的一区域，并且实时图像的要被操纵的部
分可对应于所包围的区域。例如，参考图6a，实时图像的要被操纵的部分可
对应于被包围的区域610。类似地，参考图6b，实时图像的要被操纵的部分
可对应于被包围的区域626。
如上所叙述的，手部姿势还可识别出期望的操纵。例如，手部姿势的形
状可指出期望的操纵。例如，可穿戴计算系统可将用户圈出视图的一区域视
为拉近到所圈出的区域中的命令。作为另一示例，手部姿势可以是捏拉缩放
手部姿势。捏拉缩放手部姿势可用于既指出用户想要拉近的区域，又指出用
户想要在该区域上拉近。作为又一个示例，期望的操纵可以是在实时图像的
至少一部分上平移。在这种情况下，手部姿势可以是挥扫手部运动，其中挥
扫手部运动识别期望的平移的方向。挥扫手部姿势可包括看起来像两指滚动
的手部姿势。作为又一个示例，期望的操纵可以是旋转实时图像的给定部分。
在这种情况下，手部姿势可包括（i）在真实世界环境中的一区域周围形成边
界，其中，实时图像的要被操纵的给定部分对应于被包围的区域，以及（ii）
在期望旋转的方向旋转所形成的边界。指出期望的操纵和/或要操纵的图像的
部分的其他示例手部姿势也是可能的。
iii.确定用户所聚焦的区域
在另一示例实施例中，可穿戴计算系统可通过确定用户正聚焦于其上的
图像区域来确定要操纵实时图像的哪个区域。从而，可穿戴计算系统可被配
置为识别真实世界视图或实时图像中的用户所聚焦的区域。为了确定用户正
聚焦在图像的哪个部分上，可穿戴计算系统可配备有眼睛跟踪系统。能够确
定用户所聚焦的图像区域的眼睛跟踪系统是本领域公知的。给定的输入命令
可与对用户所聚焦的区域的给定操纵相关联。例如，触摸板上的三叩击可与
放大用户所聚焦的区域相关联。作为另一示例，语音命令可与对用户所聚焦
的区域的给定操纵相关联。
iv.示例语音输入命令
在又一示例中，用户可基于指出要操纵什么区域的语音命令来识别要操
纵的区域。例如，参考图5a，用户可以简单地说出“在路标上拉近”。可穿戴
计算系统——可能联合外部服务器——可分析实时图像（或者可替换
地基于实时图像的静止图像）以识别路标在图像中的何处。在识别出
路标之后，系统可操纵图像以在路标上拉近，如图5c中所示。
在一示例中，基于语音命令可能不清楚要操纵什么区域。例如，
可穿戴计算系统可在其上拉近的路标可能有两个或更多个。在这种示
例中，系统可拉近到所有这些路标中。可替换地，在另一示例中，系
统可向用户发送消息以询问用户想要在哪个路标上缩放。
v.示例远程设备输入命令
在又一个示例中，用户可经由远程设备输入操纵图像的输入命
令。例如，关于图3，用户可使用远程设备142来执行图像的操纵。
例如，远程设备142可以是具有触摸屏的电话，其中该电话与可穿戴
计算系统无线地配对。远程设备142可显示实时图像，并且用户可使
用触摸屏来输入操纵该实时图像的输入命令。远程设备和/或可穿戴计
算系统随后可依据（一个或多个）输入命令来操纵图像。在图像被操
纵之后，可穿戴计算系统和/或远程设备可显示被操纵的图像。除了无
线电话以外，其他示例远程设备也是可能的。
应当理解，上述输入命令和用于跟踪或识别输入命令的方法只打
算作为示例。其他输入命令和用于跟踪输入命令的方法也是可能的。
C.在可穿戴计算系统的显示器中显示被操纵的图像
在以期望的方式操纵实时图像之后，可穿戴计算设备可在可穿戴
计算系统的显示器中显示被操纵的实时图像，如块410所示。在一示
例中，可穿戴计算系统可将被操纵的实时图像覆盖在用户对真实世界
环境的视图上。例如，图5c描绘了所显示的被操纵实时图像540。在
此示例中，所显示的被操纵实时图像被覆盖在路标510上。在另一示
例中，所显示的被操纵实时图像可被覆盖在用户的真实世界视图的另
一部分上，比如被覆盖在在用户的真实世界视图的外围上。
D.实时图像的其他示例操纵
除了在图像的期望部分上拉近以外，对实时图像的其他操纵也是
可能的。例如，其他示例可能操纵包括平移图像、编辑图像和旋转图
像。
例如，在在图像的一区域上拉近之后，用户可平移图像以看到被
拉近的部分周围的区域。参考图5a，邻近路标508的可以有用户不能
阅读的某种类型的另一标志514。用户随后可指示可穿戴计算系统平
移被拉近的实时图像540。图5d描绘了被平移的图像542；这个被平
移的图像542揭示了另一路标514的细节，以便用户可以清楚地阅读
路标514的文本。有益地，通过在被拉近的部分周围平移，用户将不
需要指示可穿戴计算系统拉远然后又在图像的邻近部分上拉近。实时
平移图像的能力从而可在实时操纵图像时节省用户的时间。
为了在图像上平移，用户可输入各种输入命令，比如触摸板输入
命令、姿势输入命令和/或语音输入命令。作为示例触摸板输入命令，
用户可在用户想要在图像上平移的方向上、在触摸板上作出挥扫运
动。作为示例姿势输入命令，用户可在用户视图的用户想要平移的区
域上用用户的手部作出挥扫姿势（例如，从左向右移动手指）。在一
示例中，挥扫姿势可包括两指滚动。
作为示例语音输入命令，用户可以大声说出“平移图像”。另外，
用户可给出具体的平移指示，例如“平移路标”、“向右平移两英尺”
和“向上平移三英寸”。从而，用户可以以期望的具体度来指示可穿
戴计算系统。应当理解，上述输入命令只打算作为示例，而其他输入
命令和输入命令的类型也是可能的。
作为另一示例，用户可通过调整图像的对比度来编辑图像。例如，
如果图像昏暗并且由于图像的昏暗难以解读细节，则编辑图像可能是
有益的。为了旋转图像，用户可输入各种输入命令，比如触摸板输入
命令、姿势输入命令和/或语音输入命令。例如，用户可以大声说出“增
大图像的对比度”。其他示例也是可能的。
作为另一示例，如果需要，用户可旋转图像。例如，用户可能正
看着颠倒的或向着侧面的文本。用户随后可旋转图像使得该文本正向直立。
为了旋转图像，用户可输入各种输入命令，比如触摸板输入命令、姿势输入
命令和/或语音输入命令。作为示例触摸板输入命令，用户可在触摸板上用用
户的手指作出转动动作。作为示例姿势输入命令，用户可识别要旋转的区域，
然后作出与期望的旋转量相对应的转动或扭曲动作。作为示例语音输入命令，
用户可大声说出“将图像旋转X度”，其中X是期望的旋转度数。应当理解，
上述输入命令只打算作为示例，而其他输入命令和输入命令的类型也是可能
的。
E.照片的操纵和显示
除了操纵实时图像并显示被操纵的实时图像以外，可穿戴计算系统还可
被配置为操纵照片并且利用被操纵的照片来补充用户对物理世界的视图。
可穿戴计算系统可拍摄给定图像的照片，并且可穿戴计算系统可在可穿
戴计算系统的显示器中显示该照片。用户随后可根据需要操纵该照片。操纵
照片在许多方面可与操纵实时图像类似。从而，以上论述的关于操纵实时图
像的许多可能性对于操纵照片也是可能的。对于流式视频也可执行类似的操
纵。
操纵照片并且在用户对物理世界的视图中显示被操纵的照片可基本上实
时地发生。操纵静止图像时的延迟可稍长于操纵实时图像时的延迟。然而，
因为静止图像可具有比实时图像更高的分辨率，所以静止图像的分辨率可以
有益地更大。例如，如果用户在在实时图像上拉近时不能实现期望的放大质
量，则用户可指示计算系统改为操纵该视图的照片以便改善放大质量。
IV.结论
应当理解，本文描述的布置只是为了示例。这样，本领域技术人员将会
明白，可以改为使用其他布置和其他元素（例如，机器、接口、功能、顺序
和功能的分组等等），并且根据期望的结果可以完全省略一些元素。另外，所
描述的元素中许多是可按任何适当的组合和位置实现为分立或分布的组件或
者与其他组件结合实现的功能实体。
应当理解，对于本文论述的系统和方法收集和/或使用关于用户的任何个
人信息或者可能与用户的个人信息有关的信息的情形，可以向用户提供选择
参与或不参与涉及这种个人信息（例如，关于用户的偏好的信息）的项目或
特征的机会。此外，在存储或使用某些数据之前，可通过一种或多种方式使
其匿名，从而去除个人可识别信息。例如，可以隐匿用户的身份，从而不能
对用户确定个人可识别信息，并且从而任何所识别的用户偏好或用户交互都
是一般化的（例如，基于用户人口统计资料来一般化的），而不是与特定用户
相关联的。
尽管本文已公开了各种方面和实施例，但本领域技术人员将会清楚其他
方面和实施例。本文公开的各种方面和实施例是为了说明，而并不打算进行
限定，真实的范围和精神由权利要求以及这种权利要求所应享有的完整等同
范围来指出。还要理解，本文使用的术语只是为了描述特定实施例，而并不
打算进行限定。