《交互式制图识别.pdf》由会员分享，可在线阅读，更多相关《交互式制图识别.pdf（19页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104137026A43申请公布日20141105CN104137026A21申请号201180076479122申请日20111230G06F3/01200601G06F3/16200601G06T7/0020060171申请人英特尔公司地址美国加利福尼亚72发明人GJ安德森CJ布思74专利代理机构永新专利商标代理有限公司72002代理人王英张立达54发明名称交互式制图识别57摘要描述了交互式制图识别。在一个示例中，接收指示制图的类型的命令，并且观察用户制图。基于所述命令来访问与制图类型相关联的制图模板的库。将观察到的制图与所述制图模板进行比较以便识别所述观察到的制图，并且。
2、向所识别的制图指派属性。85PCT国际申请进入国家阶段日2014082986PCT国际申请的申请数据PCT/US2011/0681662011123087PCT国际申请的公布数据WO2013/101206EN2013070451INTCL权利要求书2页说明书8页附图8页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书8页附图8页10申请公布号CN104137026ACN104137026A1/2页21一种方法，包括在计算机系统处接收指示制图的类型的命令；访问与制图类型相关联的制图模板的库；在计算机系统处观察用户制图；将被观察的制图与所述制图模板进行比较以便识别所述被观察的制。
3、图；以及向被识别的制图指派属性。2如权利要求1所述的方法，其中，所述命令是写出的文本、语音、第二制图和姿势中的一个。3如权利要求1所述的方法，其中，所述制图的类型是用户输入设备的类型。4如权利要求3所述的方法，其中，控制器是键区。5如权利要求1所述的方法，进一步包括装入多个制图模板用于由被装入的应用程序使用。6如权利要求5所述的方法，其中，所述制图模板与用户输入设备的不同配置和类型相对应。7如权利要求5所述的方法，其中，所述制图模板的库由在所述计算机系统上运行的应用程序提供。8如权利要求1所述的方法，其中，访问库包括基于被接收的命令从多个不同的制图模板的库当中选择一个制图模板的库。9如权利要求。
4、1所述的方法，其中，观察用户制图包括使用耦合到所述计算机系统的相机来捕获所述制图的图像。10如权利要求9所述的方法，进一步包括针对由所述相机和所述制图的相对位置引起的失真来校正被捕获的图像。11如权利要求1所述的方法，其中，指派属性包括向所述制图指派控制表面。12如权利要求1所述的方法，其中，指派属性包括向所述制图的一部分指派键。13一种其上具有指令的计算机可读介质，所述指令当由计算机操作时使所述计算机执行操作，所述操作包括在计算机系统处接收指示制图的类型的命令；访问与制图类型相关联的制图模板的库；在计算机系统处观察用户制图；将被观察的制图与所述制图模板进行比较以便识别所述被观察的制图；以及向。
5、被识别的制图指派属性。14如权利要求13所述的介质，其中，所述命令是书写的文本、语音、第二制图和姿势中的一个。15如权利要求13所述的介质，其中，指派属性包括向所述制图指派控制表面。16一种系统，包括制图检测模块，用于接收指示制图的类型的命令并且观察用户制图；命令执行模块，用于接收所述命令并且使制图对象模板模块访问与制图类型相关联的制图模板的库；以及制图识别模块，用于将被观察的制图与所述制图模板进行比较以便识别所述被观察的权利要求书CN104137026A2/2页3制图并且向被识别的制图指派属性。17如权利要求16所述的系统，进一步包括姿势识别模块，用于接收与所述被识别的制图相关联的姿势并且生。
6、成命令用于由所述命令执行模块执行。18如权利要求17所述的系统，进一步包括显示器以及三维效果模块，所述三维效果模块用于将所述命令的执行渲染为所述显示器上的三维图像。19如权利要求16所述的系统，进一步包括耦合到所述制图检测模块的相机，用于捕获所述制图的图像。权利要求书CN104137026A1/8页4交互式制图识别背景技术0001计算系统经常依赖于鼠标和键盘输入来确定用户创建的数字对象的外观。键盘、鼠标和游戏控制器输入通常确定数字对象的行为。人们可以绘制对象并且将它们扫描到计算机中，允许一些徒手输入，但是所扫描的制图接着是一个单个对象。用户具有有限的机会用于如何与对象进行交互，例如改变尺寸和改。
7、变颜色。输入视觉信息的更加自然的方法将允许与计算设备的更加丰富的图形交互。0002平板计算机已经用作输入设备。典型地，平板计算机感测指示笔在特殊表面上的压力，并且在屏幕上再现所绘制的形状。平板计算机还可以用于修改照片和制图并且作为类似于鼠标的指向设备。在一些版本中，除了制图表面以外的笔数字地记录所绘制的输入。这些笔使用光学传感器以及有时特别标记的纸张来感测和存储制图。0003一些现有的计算系统将所绘制的对象识别为系统中的简单的命令、字母数字符号或者匹配的对象。这些系统扫描制图以便识别它。然而，这些交互的性质被限制。0004一些现有的计算系统将“空中姿势”识别为简单的命令，或者更常见地识别为到计。
8、算机游戏中的输入。空中姿势可以通过由相机或者持有包括惯性传感器的设备并且接着移动该设备的用户观察而进行识别。附图说明0005在附图中通过示例而非限制的方式说明了本发明的实施例，其中相似的附图标记指示相似的元件。0006图1是根据本发明实施例用户绘制用于由计算机系统使用的键区的图。0007图2是根据本发明实施例用户绘制用于由计算机系统使用的摇杆的图。0008图3是根据本发明另一实施例用户绘制用于由计算机系统使用的键区的图。0009图4是根据本发明另一实施例用户绘制用于由计算机系统使用的摇杆的图。0010图5是根据本发明另一实施例计算机绘制用于由计算机系统使用的键区的图。0011图6是根据本发明实。
9、施例计算机系统解释用户制图的处理流程图。0012图7是根据本发明另一实施例计算机系统解释用户制图的处理流程图。0013图8是根据本发明实施例适合于实现本公开的处理的计算机系统的方框图。0014图9是根据本发明实施例适合于实现本公开的处理的图8的计算机系统的可选视图的方框图。具体实施方式0015本发明实施例提供一种以新的方式识别所绘制的输入的系统。所绘制的输入可以例如包括用作键区的所绘制的数字键区；用作点击设备的所绘制的鼠标或“鼠标区域”；“LINERIDER”的绘图游戏，其中线被徒手绘制并且计算机生成骑在所绘制的线上的字符。0016图1示出了适合于由本发明实施例使用的计算机系统的示例。计算机系。
10、统100具有典型地用于语音和视频呼叫的相机102和麦克风104。相机可以是用于三维视频呼叫或说明书CN104137026A2/8页5者考虑到三维空中姿势的解释的立体相机。尽管示出了笔记本型计算机，但是板型计算机和平板计算机典型地具有类似的硬件特征。可选地，可以使用智能电话、智能电视机、媒体播放器或便携式游戏设备。当根据下面描述的各种实施例的需要来配备相机和麦克风时，也可以使用桌上型计算机。0017在实施例中，本发明可以合并到个人计算机PC、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理PDA、蜂窝电话、组合蜂窝电话/PDA、电视机、智能。
11、设备例如智能电话、智能平板计算机或智能电视机、移动互联网设备MID、消息传送设备、数据通信设备等等。0018将一张纸106放置在相机102的视域内。该纸可以位于如图所示的相同桌子上或者位于附近表面上。代替一张纸，可以使用任何书写表面，例如白板、黑板或者诸如检测制图输入并且在显示器上显示结果的显示表面的电子表面。使用纸或类似的物品，用户112能够绘制并书写任何期望的字和形状。在图1中，用户写出字“键区”108并且接着绘制键区的图片110。0019计算机系统观察该纸并且检测在该纸上写的字键区。这取决于特定实施例可以使用各种书写和符号识别实用程序中的任意一种来完成。在识别了工作键区之后，系统接着尝试。
12、将该制图识别为键区。字的识别允许系统将一组模板或形状识别模式限制到可能与键区相对应的那些模板或模式。这增加了制图识别的可靠性和速度。在接着将该制图识别为键区之后，用户可以关于键区的制图来执行姿势，并且输入数字和字符，就好像它是键区一样。0020图2示出了计算机系统的类似使用。在图2的示例中，相同的计算机观察用户122已经在一张纸126上写出“摇杆”128。用户接着绘制了某些东西120。基于摇杆的可能制图的计算机系统能够将所绘制的瓦片120识别为摇杆的某个部分。文本允许计算机系统将摇杆设计和特征应用于制图，使得该制图，尽管它没有紧密地类似于摇杆，将被按照这样进行解释。在所说明的示例中，五个瓦片T。
13、ILE可以例如被看作推按表面和发射按钮。用户可以接着触摸该瓦片以便具有游戏杆命令在计算机系统上的效果。0021图3示出另一可选实施例，其中用户132应用不同的方案来指示所绘制的对象的性质。用户132在一张纸136上绘制了键区130，然而，代替写出描述性字以便帮助计算机识别该制图，用户说出字“键区”138。计算机在麦克风104中接收所说的话，将它应用于语音识别系统以便识别该字，并且接着将该字识别为“键区”。0022所说的话为计算机系统提供关于所绘制的对象的性质的指示。计算机系统可以使用此来选择与字“键区”相关联的一组模板，并且接着识别与键区的特征相对应的制图的特征。如同所写的字，可以具有指示计算。
14、机系统要用于识别制图的模板的子集的不同的字。用户也可以说或者写数字板、计算器、加法机、数学或其它字。0023图4示出了辅助计算机识别制图的进一步示例。在图4中，用户绘制了飞机的符号148。计算机观察到这一制图并且在纸146上对它进行识别。当用户接着绘制5个瓦片140时，计算机系统访问与飞机符号相关联的模板库。这导致将所绘制的摇杆与摇杆控制和命令相关联。0024图5示出了类似的示例，其中不是所绘制或者说出的指示，用户提供诸如手势的空中姿势152。可以使用姿势的库来识别由相机102观察的手势。所识别的姿势可以接着说明书CN104137026A3/8页6用于选择模板的库或者将所述库限制到模板的某个子。
15、集。空中姿势可以如图所示由手152执行，或者它可以使用任何其它臂、足、头或其它身体姿势执行。如果如图4所示飞机摇杆被预期，则可以使用两只手以便例如指示飞机。0025作为进一步的可选形式，代替做手势，手152可以使用键盘103或轨迹板105来向计算机系统指示命令。可以按照与所绘制的、说出的或者做手势的命令相同的方式来使用这一命令。特定的键盘或轨迹板命令可以基于上下文或特殊的工具，或者应用可以用于做出选择。对于具有诸如鼠标、滚轮、游戏板或其它设备的额外或不同的输入设备的计算机系统，可以代替或除了所示的键盘和轨迹板来使用这些输入设备。在计算机系统显示器上显示的菜单系统可以用于确定用于匹配所绘制的对象。
16、的类别。例如，用户可以选择游戏模式。这将允许所绘制的摇杆被识别，即使该制图没有紧密地类似于摇杆。0026语音或书写命令也可以用于不仅辅助计算机系统识别对象，而且还赋予所绘制的对象以特定的物理属性。语音命令、非绘制的姿势或者触摸输入可以结合所绘制的输入来使用以便改变系统如何解释所绘制的符号。与绘制圆形相关联，用户可以说“蓝色球”。这可以由计算机系统解释以便不仅辅助计算机将所绘制的对象识别为球，而且还将所述球染成蓝色用于显示目的。计算机系统还可以使与球的类型相对应的物理和三维属性与该球相关联。用户可以接着使用那些属性来与对象交互。0027绘制、语音和姿势输入还允许用户对于他们的制图采用速记法。在图。
17、2和图4的示例中，用户所绘制的5个瓦片并不紧密地类似于摇杆。然而，借助于绘制、语音或姿势输入，计算机系统仍然能够识别该制图。这一原理可以被扩展到其它类型的制图。因此，用户可以绘制部分键盘并且说“键盘”，并且系统接着可以将该制图解释为全键盘。用户可以可选地绘制部分鼠标并且说“鼠标”用于类似的结果。绘制在纸上的键盘或鼠标可以接着变为虚拟3D对象，当用户朝向制图做姿势或者实际上物理地移动制图时，该虚拟3D对象可以在计算机系统显示器上被虚拟地“移动”或操控。虚拟输入设备可以配置为适应用户在手和其它位置上的改变。0028图6示出了用于实现上面描述的示例的简化处理流。在611，计算机系统接收指示用户打算做。
18、出的制图的类型的命令。如上面提及的，这一命令可以作为键按压、菜单选择、语音命令或另一制图而被接收。在613，响应于该命令，计算机系统访问模板库。模板将基于该命令被选择，使得计算机系统具有要使用的模板的有限集合。选定的模板将是与命令相关联的那些模板。0029在615，计算机系统观察用户的制图。可以经过相机或触敏表面或者以另一方式观察该制图。可以针对制图中的反射性的变化、梯形失真、由劣质笔的使用引起的不一致的线宽度和其它失真来校正该制图。使用相机允许用户使用所期望的任何绘制表面，同时使用已知的书写表面和笔减少了图像中的失真以及可能与识别和观察制图的相机相关联的误差。在617，计算机系统将该制图与选。
19、定的模板进行比较。如果找到匹配，则在619，该制图被识别。0030在上面的示例中，制图被识别为键区或摇杆，然而可以绘制任何各种各样的其它物品。在621，计算机系统向所识别的制图指派属性。这些属性可以是可访问的功能、用户输入能力等等。可以使用与模板相关联的信息来确定属性。因此，如果制图与键区模板匹配，则该模板可以包括关于触摸制图的特定部分被指派“9”数字键按压的信息。模板可以说明书CN104137026A4/8页7包括“9”键的界限作为该模板的一部分。0031图7是在上面描述的用例中执行的处理的可选的处理流程图。在710，计算机系统发起并装入任何期望的模板用于匹配。这些模板可以是用于匹配写出的字。
20、、所说的话和空中姿势以及用于制图的模板。模板可以由操作系统、单独的制图识别应用提供，允许用户提供模板，或者它们可以是游戏或生产力应用程序的一部分。0032在712，用户绘制符号或对象，例如上面示出的键区或摇杆。制图不需要精确地匹配任何特定的模块或者对于这样的对象的规定形式。0033在714，用户输入用于在识别对象的使用时使用的命令。如上面提及的，该命令可以是写出的字或符号、所说的字、姿势或命令。例如，用户可以敲打键盘上的键区或者使用跟踪板和鼠标按钮来选择键区。该命令向系统指示该系统能够使用的制图的类型以便减少可能的选择或者甚至对系统强加选择。在712绘制对象和在714指示对象的类型的两个操作可。
21、以按照任意顺序执行。计算机系统接收这两个输入并且接着相应地起作用。0034在716，用户接收并且识别用户命令，并且在718，系统使用该命令来访问可以应用于制图的制图模板的库。如果命令在制图之前被接收，则计算机系统可以识别该命令并且在用户在712进行制图之前访问该模板。另一方面，如果用户首先绘制制图，则系统可以在尝试匹配该制图之前等待命令被接收。0035在720，计算机系统经过它的相机输入来感测制图。典型地，这可以通过使用耦合到计算机系统的相机捕获制图的图像来完成。以所捕获的图像或其它数字文件的形式的制图可以接着被转换为可以与其它数字文件匹配的数字形式。该形式可以是位图或其它图像文件，或者它可以。
22、是用户的制图的主要特征的抽象数学表示。0036在722，计算机系统将所观察的制图与它在718访问的制图模板的组进行比较。这是基于在716的接收用户命令的模板的有限组。该比较可以更快地完成，因为可能模板的数量被极大地减少。在724，系统选择模板，并且如果它匹配所观察的制图，则在728，系统向该制图的所绘制的元件指派属性。系统循环经过所有模板，并且如果没有匹配被识别，则系统采取某一其它动作。它可以简单地忽略该制图。在稍后的时间，该系统可以在用户返回到该制图以便提供更多的细节或者对制图进行校正之后尝试进行另一匹配。该系统也可以通过向用户显示一些模板用于选择或者通过请求用户写、说或键入对象是什么来请求。
23、用户辅助。例如，该系统可以通过显示对于该制图的两个或更多个可能的匹配来询问用户并且接着允许用户选择所述模板中的一个作为正确的匹配。0037可选地，该系统可以做出它的最佳猜测并且使用用户绘制的东西的近似。由于在714的附加命令，该近似是可能的。如上面提及的，用户能够写摇杆并且接着绘制看起来并不确切地像摇杆的某些东西。知道该制图是摇杆的计算机系统可以接着将摇杆设计强加在该制图上，而不是仅接受被非常好地完成的制图。计算机可以向与摇杆属性相对应的五个瓦片中的每一个指派属性。该瓦片可以被指派为按钮或表面，取决于所匹配的模板。按照相同的方式，对于键区绘制的正方形可以被指派各种数量的板键的属性。在右边的较大。
24、正方形可以被指派为例如“”键，而在底部上的正方形可以被指派为“0”键。五个瓦片的不清楚的一般化制图可以被看作摇杆按钮或表面，而不用看起来非常像它们。0038该处理接着在712对于下一个用户返回。该处理流可以在完全不相关的制图上重新开始。例如用户可能在纸上的一个位置中绘制摇杆，并且接着在该纸上的另一位置上绘说明书CN104137026A5/8页8制WASD键组合或者箭头键组合。用户可以接着用一只手操作键并且用另一只手操作摇杆。0039该处理返回也允许用户扩大制图。在摇杆示例中，用户可能输入了摇杆命令并且将额外的触发控制添加到该摇杆。计算机系统将接收该命令或者可以替代地识别用户正在添加到摇杆制图，。
25、并且接着寻找不同的模板来匹配增强的摇杆制图。使用键盘，用户可以仅以WASD开始，并且接着随后添加空格键、字型变换键或者可能期望用于更多功能的其它键。0040图8是能够支持上面讨论的操作的计算环境的方框图。鼠标和系统可以被实现在各种不同的硬件架构和形状因子中，包括如图9所示的。0041命令执行模块801包括中央处理单元以便高速缓存并执行命令并且在所示的其它模块和系统当中分配任务。它可以包括指令栈、存储中间和最终结果的高速缓存以及存储应用和操作系统的海量存储器。命令执行模块还可以用作系统的中央协调和任务分配单元。0042屏幕渲染模块821在一个或多个多屏幕上绘制对象用于使用户看见。它可以适合于从下。
26、面描述的制图跟踪模块806接收数据，并且在屏幕上渲染制图的表示。屏幕渲染模块还渲染用户和制图之间的交互，作为用于用户正在操作的应用的命令。0043姿势识别模块822可以适合于识别并跟踪用户的手和臂的姿势。这样的模块可以用于识别手、手指、手指姿势、手移动和手相对于制图的位置。例如，姿势识别系统可以例如确定用户做出了身体部分姿势以便按下键盘上的虚拟按钮，或者用户做出了身体部分姿势以便移动制图的虚拟控制表面。姿势识别系统可以耦合到相机或相机阵列、麦克风或麦克风阵列、触摸屏或触摸表面或者指向设备或者这些物品的某个组合，以便检测来自用户的姿势和命令。0044可以使用用于姿势识别的各种技术中的任意一种。该。
27、系统可以用于识别手、手指、手指姿势、手移动和手相对于制图表面的位置。如果该姿势与先前绘制和识别的对象以多种预定的方式交叉，则这一模块将该姿势与所匹配的对象的属性进行组合以便确定计算系统将采取的动作。如果为否，则该姿势作为纯姿势命令成立。该姿势可以接着被转换为到计算机系统的命令用于由命令执行模块801执行。0045制图检测模块823可以配备有相机或其它传感器以便跟踪用户的手或笔的位置或方位。可选地，制图检测模块的触摸屏或触摸表面可以包括触摸屏传感器。来自传感器的数据可以被馈送到硬件、软件、固件或其组合以便将在屏幕或表面上用户的手的触摸姿势映射到相对应的制图或图像。当用户暂停时或者当用户采取诸如姿。
28、势或语音命令的明确的动作时，能够假设所绘制的输入是完整的。0046制图识别模块825识别所绘制和书写的输入。它通过使制图的部分与存储在计算设备中的模板对象匹配来解释所绘制的输入。这一模块可以被发起以便对照模块的整个库进行匹配，或者它能够使用其它视觉输入或用户命令来对照库的子集进行匹配。制图识别模块也可以包括梯形失真校正。当图像以一角度被捕获时，它们必须在对照模板库进行匹配之前针对由角度视图引起的失真而被校正。梯形失真校正可以通过关于相机和书写表面的位置的知识来帮助。对于所示的笔记本计算机示例，可以使用在屏幕边框的顶部处的相机从搁在桌子上的壳体的底部起的近似高度值来配置计算机。这一值由壳体的设计。
29、确定并且对于具有相同壳体的每一个计算机是相同的。说明书CN104137026A6/8页90047制图对象模板模块804存储诸如键区、触摸板和命令按钮的输入设备的模板。当用户绘制具有匹配特性的输入设备时，模板的属性将确定制图的行为以及用户交互是否将影响它。0048制图跟踪模块806跟踪复杂制图在级和层中的发展。当用户在级中添加复杂对象的元素时，这一模块将确定在当前和先前绘制的输入之间的增量。如果该制图已经相对于计算设备移动，则这一模块将确定新的方位以便允许连续的输入，尽管制图正在被移动。0049对象和速度及方向模块803可以适合于通过从制图跟踪模块806接收输入来估计作为虚拟对象正在移动的制图的。
30、动力学，例如其轨迹、速度线性速度或者角速度、动量线性动量或者角动量等等。对象和速度及方向模块可以进一步适合于例如通过估计用户姿势的加速度、偏转等等来估计任何物理力的动力学。对象和速度及方向模块还可以使用图像运动、尺寸和角度改变来估计对象的速度，例如手和手指的速度。0050动量和惯性模块802允许基于用户输入的各种“物理”行为。快或慢的滚动或挥击可以例如被赋予动量。这一模块将具有匹配到用户姿势和制图的物理模板以便添加诸如屏幕上对象的加速度的行为。它能够使用制图的平面中或三维空间中的制图运动和用户运动来估计与该制图有关的虚拟对象的速度和方向。动量和惯性模块耦合到对象和姿势识别系统822以便估计由手。
31、、手指和其它身体部分执行的姿势的速度并且接着应用那些估计以便确定将被该姿势影响的虚拟对象的动量和速度。00513D图像交互和效果模块805跟踪与看起来好像延伸出一个或多个屏幕的3D图像的用户交互。可以连同这些对象对彼此的相对影响一起来计算对象在Z轴中的影响朝向和远离屏幕的平面。例如，在虚拟对象到达屏幕的平面之前，通过用户姿势投掷的对象可能被前景中的3D对象影响。这些对象可以改变轨迹的方向或速度或者完全毁坏它。可以通过3D图像交互和效果模块在一个或多个显示器上的前景中渲染该对象。0052结合图7更加详细描述的图8的计算系统在制图检测模块823的发起下操作。它经过应用的发动或者通过诸如语音命令的其。
32、它用户输入来发起。用户创建制图并且接着指示如上所述所绘制的输入是完整的。制图识别模块825对照模板库来匹配制图。当达到可以按照应用变换的某个水平的确定性的匹配时，制图跟踪模块806使制图与一组属性相关联。如果用户随后在所匹配的制图上做姿势，则系统根据这组匹配的属性来执行命令。0053图9是诸如个人计算机、游戏控制台、智能电话或便携式游戏设备的计算系统的方框图。计算机系统900包括用于传递信息的总线或其它通信装置901以及诸如与总线901耦合用于处理信息的微处理器902的处理装置。计算机系统可以被增添有特别用于经过并行管线来渲染图形的图形处理器903以及用于计算如上所述的物理交互的物理处理器90。
33、5。这些处理器可以被合并到中央处理器902中或者被提供为一个或多个单独的处理器。0054计算机系统900进一步包括耦合到总线901用于存储信息和由处理器902执行的指令的主存储器904，例如随机存取存储器RAM或其它动态数据存储设备。主存储器还可以用于在处理器执行指令期间存储临时变量或其它中间信息。计算机系统还可以包括非易失性存储器906，例如只读存储器ROM或耦合到总线用于为处理器存储静态信息和指令的其它静态数据存储设备。0055诸如磁盘、光盘或固态阵列的海量存储器907及其相对应的驱动器也可以耦合到说明书CN104137026A7/8页10计算机系统的总线用于存储信息和指令。计算机系统也可。
34、以经由总线耦合到用于向用户显示信息的显示设备或监视器921，例如液晶显示器LCD或有机发光二极管OLED阵列。例如，除了上面讨论的各种视图和用户交互以外，安装状态、操作状态和其它信息的图形和文本指示可以在显示设备上呈现给用户。0056典型地，诸如具有字母数字、功能和其它键的键盘的用户输入设备可以耦合到总线，用于将信息和命令选择传递到处理器。额外的用户输入设备可以包括光标控制输入设备，例如鼠标、轨迹球、轨迹板，或者光标方向键可以耦合到总线用于将方向信息和命令选择传递到处理器并且控制显示器921上的光标移动。0057相机和麦克风阵列923耦合到总线以便如上面提及地观察姿势、记录音频和视频并且接收视。
35、觉和音频命令。0058通信接口925也耦合到总线901。通信接口可以包括调制解调器、网络接口卡或其它公知的接口设备，例如用于耦合到以太网、令牌环或其它类型的物理有线或无线附件的那些接口设备，用于例如提供通信链路以便支持局域网或广域网LAN或WAN的目的。按照这种方式，计算机系统也可以经由例如包括内联网和互联网的常规网络基础设施耦合到多个外围设备、其它客户端或控制表面或控制台或者服务器。0059应该认识到，比上面描述的示例更少或更多配备的系统可能对于某些实现是优选的。因此，示例性系统800和900的配置可以从一个实现到另一个实现改变，取决于诸如价格约束、性能要求、技术改进或其它情况的各种因素。0。
36、060实施例可以被实现为下列项目中的任意一个或组合使用父板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并且由微处理器执行的软件、固件、专用集成电路ASIC和/或现场可编程门阵列FPGA。术语“逻辑”可以通过示例的方式包括软件或硬件和/或软件和硬件的组合。0061实施例可以被提供为例如可以包括一个或多个机器可读介质的计算机程序产品，该机器可读介质具有存储在其上的机器可执行指令，当该机器可执行指令由诸如计算机、计算机的网络或其它电子设备的一个或多个机器执行时，可以导致该一个或多个机器执行根据本发明实施例的操作。机器可读介质可以包括但不局限于软盘、光盘、CDROM压缩盘只读存储器和。
37、磁光盘、ROM只读存储器、RAM随机存取存储器、EPROM可擦除可编程只读存储器、EEPROM电可擦除可编程只读存储器、磁卡或光学卡、闪存或者适合于存储机器可执行指令的其它类型的介质/机器可读介质。0062而且，实施例可以被下载为计算机程序产品，其中该程序可以通过体现在载波中或其它传播介质中和/或由该载波或其它传播介质调制的一个或多个数据信号经由通信链路例如，调制解调器和/或网络连接被从远程计算机例如，服务器转移到请求的计算机例如，客户端。因此，如本文使用的，机器可读介质可以包括但不要求包括这样的载波。0063对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等等的提及指示这样描述的。
38、本发明实施例可以包括特定的特征、结构或特性，但是并不是每一个实施例都必须包括该特定的特征、结构或特性。进而，一些实施例可以具有对于其它实施例描述的特征中的一些、全部或没有一个。0064在下面的描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”用于指说明书CN104137026A108/8页11示两个或更多个元件彼此协作或相互作用，但是它们可以具有或者可以不具有在它们之间的中间物理或电学部件。0065如在权利要求中使用的，除非另有规定，描述公共元件的顺序形容词“第一”、“第二”、“第三”等等的使用仅指示正在提及的相似元件的不同实例并且并不意在暗示这样描述的元件必须在时间上、在空间上、在。
39、等级上或者以任何其它方式按照给定的顺序。0066附图和前面的描述给出了实施例的示例。本领域中的技术人员将认识到，一个或多个所描述的元件可以被很好地组合为单个功能元件。可选地，某些元件可以被划分为多个功能元件。来自一个实施例的元件可以被添加到另一实施例。例如，本文描述的处理的顺序可以改变并且不局限于本文描述的方式。而且，任何流程图的动作不需要按照所示的顺序实现；所有动作也不一定需要都被执行。并且，不依赖于其它动作的那些动作可以与该其它动作并行地执行。实施例的范围决不由这些具体的示例限制。例如在结构、尺寸和材料使用方面的差异的很多变化是可能的，无论是否在说明书中明确给出。实施例的范围至少与下面的权利要求给出的一样宽。说明书CN104137026A111/8页12图1图2说明书附图CN104137026A122/8页13图3说明书附图CN104137026A133/8页14图4说明书附图CN104137026A144/8页15图5说明书附图CN104137026A155/8页16图6说明书附图CN104137026A166/8页17图7说明书附图CN104137026A177/8页18图8说明书附图CN104137026A188/8页19图9说明书附图CN104137026A19。