《由用户注视确定的触摸板的功能.pdf》由会员分享,可在线阅读,更多相关《由用户注视确定的触摸板的功能.pdf(22页珍藏版)》请在专利查询网上搜索。
1、10申请公布号CN104106039A43申请公布日20141015CN104106039A21申请号201280069872222申请日20120215G06F3/06200601H04N21/4120060171申请人索尼爱立信移动通讯股份有限公司地址瑞典隆德72发明人D德莱昂F约翰松74专利代理机构中国专利代理香港有限公司72001代理人刘鹏汪扬54发明名称由用户注视确定的触摸板的功能57摘要本发明针对用于配置便携式移动通信设备的用户接口的系统、方法和计算机程序产品。一个示例性方法包括由所述便携式移动通信设备或与所述便携式移动通信设备进行通信的电子设备中的至少一个,确定与用户的注视相关联。
2、的方向。此外,所述方法包括以下各项中的至少一个响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述便携式移动通信显示器配置成起到触摸平板的作用(该触摸平板实现与显示在所述电子设备上的用户接口的交互);或者响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述便携式移动通信设备相关联的显示器的,将所述便携式移动通信设备显示器配置成显示用户接口。85PCT国际申请进入国家阶段日2014081586PCT国际申请的申请数据PCT/IB2012/0507002012021587PCT国际申请的公布数据WO2013/121249EN201308225。
3、1INTCL权利要求书2页说明书13页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书13页附图6页10申请公布号CN104106039ACN104106039A1/2页21一种用于配置便携式移动通信设备的用户接口的方法,所述方法包括由所述便携式移动通信设备或与所述便携式移动通信设备进行通信的电子设备中的至少一个,确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将与所述便携式移动通信相关联的显示器配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。2权利要求。
4、1的方法,进一步包括响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动通信设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口。3权利要求2的方法,其中所述电子设备显示器被配置成响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动通信设备显示器的,显示由所述便携式移动通信设备显示器显示的用户接口。4权利要求1的方法,其中显示在所述电子设备显示器上的所述用户接口是与所述便携式移动通信设备相关联的用户接口。5权利要求1的方法,其中显示在所述电子设备显示器上的所述用户接口是与所述电子设备相关联的用户接口。6权利要求1的方法,其中在所述用户接口上显示。
5、图形指示器,并且其中所述触摸平板经由所述图形指示器实现与所述用户接口的交互。7权利要求1的方法,其中所述配置步骤进一步包括将所述便携式移动通信设备显示器配置成不显示用户接口。8权利要求1的方法,其中所述配置步骤进一步包括将所述便携式移动通信设备显示器配置成显示空白接口。9权利要求1的方法,其中所述配置步骤进一步包括将所述便携式移动通信设备配置成去激活所述便携式移动通信设备显示器。10权利要求1的方法,其中所述便携式移动通信设备或所述电子设备中的至少一个包括图像捕获部件。11权利要求1的方法,其中所述便携式移动通信设备与所述电子设备进行无线通信。12权利要求1的方法,其中所述电子设备包括电视、监。
6、视器、智能屏幕或平板电脑中的至少一个。13权利要求1的方法,其中与所述用户的注视相关联的所述方向包括与所述用户的眼睛或所述用户的面部中的至少一个相关联的视线。14权利要求1的方法,其中所述触摸平板接受单触摸或多触摸输入中的至少一个。15权利要求1的方法,进一步包括下列各项中的至少一个响应于确定与所述用户的注视相关联的所述方向不是至少部分地朝向所述便携式移动通信设备显示器的并且不是至少部分地朝向所述电子设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口;或者响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动权利要求书CN104106039A2/2页3通信设备显示。
7、器并且至少部分地朝向所述电子设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口。16权利要求1的方法,进一步包括响应于接收经由所述触摸平板对于电子设备模式选项的选择,在所述便携式移动通信设备显示器上显示可选择的控制选项。17权利要求1的方法,进一步包括响应于确定与用户的眼睛相关联的方向基本上不同于与所述用户的面部相关联的方向,基于与所述用户的眼睛相关联的所述方向确定与所述用户的注视相关联的方向。18权利要求1的方法,进一步包括使得用户能够经由所述便携式移动通信显示器输入选择以在模式之间切换,其中,在第一模式中,所述便携式移动通信设备被配置成显示用户接口,并且其中,在第二模式中,所述。
8、便携式通信设备被配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。19一种用于配置与电子设备进行通信的便携式移动通信设备的用户接口的计算机程序产品,所述计算机程序产品包括非暂态计算机可读介质,其包括代码,该代码被配置成确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述便携式移动通信显示器配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。20一种与电子设备进行通信的便携式移动通信设备,所述便携式移动通信设备包括显示器;图像捕获部件;与所述显示器相。
9、关联的触摸板;以及处理器,用于使用所述图像捕获部件确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述触摸板配置成起到触摸平板的作用,该触摸平板实现与显示在与所述电子设备相关联的显示器上的用户接口的交互。权利要求书CN104106039A1/13页4由用户注视确定的触摸板的功能背景技术0001便携式移动通信设备的用户可能想要在电子设备(例如,电视、监视器、智能屏幕、平板电脑、等等)上观看该便携式移动通信设备显示的更大的呈现。此外,便携式移动通信设备的用户可能想要将该便携式移动通信设备用作交互设备,来与显示在该电子设备。
10、上的信息进行交互。需要一种使得便携式移动通信设备能够完成这些功能并且在这些功能之间无缝切换的方法。发明内容0002本发明的实施例针对用于配置便携式移动通信设备的用户接口的系统、方法和计算机程序产品。在某些实施例中,所述方法包括由所述便携式移动通信设备或与所述便携式移动通信设备进行通信的电子设备中的至少一个,确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述便携式移动通信显示器配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。0003在某些实施例中,所述方法进一步包括响应于确定与所。
11、述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动通信设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口。在某些实施例中,所述电子设备显示器被配置成响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动通信设备显示器的,显示由所述便携式移动通信设备显示器显示的用户接口。0004在某些实施例中,显示在所述电子设备上的所述用户接口是与所述便携式移动通信设备相关联的用户接口。在某些实施例中,显示在所述电子设备显示器上的所述用户接口是与所述电子设备相关联的用户接口。在某些实施例中,在所述用户接口上显示图形指示器,并且其中所述触摸平板经由所述图形指示器实现与所述用户。
12、接口的交互。0005在某些实施例中,所述便携式移动通信设备显示器与触摸板相关联。所述触摸板可以位于所述便携式移动通信设备显示器的上面,并且甚至可以与所述显示器相接触。在某些实施例中,所述触摸板可以是至少部分透明的并且用户接口可以是穿过所述触摸板而可见的。与所述便携式通信设备相关联的处理器将在所述触摸板上的触摸与显示在所述用户接口上的信息或对象关联起来。0006在某些实施例中,所述配置步骤进一步包括将所述便携式移动通信设备显示器配置成不显示用户接口。在某些实施例中,所述配置步骤进一步包括将所述便携式移动通信设备显示器配置成显示空白接口。在某些实施例中,所述配置步骤进一步包括将所述便携式移动通信设。
13、备配置成去激活所述便携式移动通信设备显示器。0007在某些实施例中,所述便携式移动通信设备或所述电子设备中的至少一个包括图像捕获部件。在某些实施例中,所述便携式移动通信设备与所述电子设备进行无线通信。在某些实施例中,所述电子设备是电视、监视器、智能屏幕或平板电脑中的至少一个。0008在某些实施例中,与所述用户的注视相关联的所述方向包括与所述用户的眼睛或说明书CN104106039A2/13页5所述用户的面部中的至少一个相关联的视线。在某些实施例中,所述触摸平板接受单触摸或多触摸输入中的至少一个。0009在某些实施例中,所述方法进一步包括下列各项中的至少一个响应于确定与所述用户的注视相关联的所述。
14、方向不是至少部分地朝向所述便携式移动通信设备显示器的并且不是至少部分地朝向所述电子设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口;或者响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向所述便携式移动通信设备显示器并且至少部分地朝向所述电子设备显示器的,将所述便携式移动通信设备显示器配置成显示用户接口。0010在某些实施例中,所述方法进一步包括响应于接收经由所述触摸平板对于电子设备模式选项的选择,在所述便携式移动通信设备显示器上显示可选择的控制选项。0011在某些实施例中,所述方法进一步包括响应于确定与用户的眼睛相关联的方向基本上不同于与所述用户的面部相关联的方向,基于与。
15、所述用户的眼睛相关联的所述方向确定与所述用户的注视相关联的方向。0012在某些实施例中,所述方法进一步包括使得用户能够经由所述便携式移动通信显示器输入选择以在模式之间切换,其中,在第一模式中,所述便携式移动通信设备被配置成显示用户接口,并且其中,在第二模式中,所述便携式通信设备被配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。0013一个用于配置与电子设备进行通信的便携式移动通信设备的用户接口的示例性计算机程序产品包括非暂态计算机可读介质,该非暂态计算机可读介质包括代码,该代码被配置成确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述。
16、方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述便携式移动通信显示器配置成起到触摸平板的作用,该触摸平板实现与显示在所述电子设备显示器上的用户接口的交互。0014一个示例性便携式移动通信设备,其与电子设备进行通信,包括显示器;图像捕获部件;与所述显示器相关联的触摸板;以及处理器,用于使用所述图像捕获部件确定与用户的注视相关联的方向;以及响应于确定与所述用户的注视相关联的所述方向是至少部分地朝向与所述电子设备相关联的显示器的,将所述触摸板配置成起到触摸平板的作用,该触摸平板实现与显示在与所述电子设备相关联的显示器上的用户接口的交互。附图说明0015已经概括地如此描述了本发明的实施例,现。
17、在参照附图,其中图1是根据本发明的实施例的与便携式移动通信设备相关联的一个示例性操作模式;图2是根据本发明的实施例的与便携式移动通信设备相关联的另一个示例性操作模式;图3是根据本发明的实施例的一个示例性便携式移动通信设备;图4是根据本发明的实施例的图示出图3中描绘的便携式移动通信设备的示例性外部部件的后视图的图;图5是根据本发明的实施例的图示出图3中描绘的便携式移动通信设备的示例性内部部件的图;以及说明书CN104106039A3/13页6图6是根据本发明的实施例的用于配置便携式移动通信设备的用户接口的一个示例性处理流程。具体实施方式0016现在可以参照附图在下文中更加充分地描述本发明的实施例。
18、,在附图中示出了本发明的一些而非全部的实施例。实际上,本发明可以以许多不同的形式体现而不应当被解释为限于在此阐述的实施例;相反,提供这些实施例以便本公开可以满足可适用的法律要求。类似的编号自始至终指代类似的元件。0017在在此描述的实施例中,便携式移动通信设备的显示器可以与触摸板相关联。在某些实施例中,触摸板可以位于显示器的上面并且甚至可以与显示器相接触。触摸板可以是至少部分透明的,以便显示在显示器上的用户接口是穿过触摸板可见的。当用户触摸触摸板时,与便携式移动通信设备相关联的处理器将用户的触摸与呈现在用户接口(例如,图形用户接口)上的对象或信息关联起来。本发明的实施例不限于任何特定的触摸板显。
19、示器构造。因此,当便携式移动通信设备显示器以触摸板模式工作时,用户可以通过利用手指、尖笔等等触摸该触摸板来与呈现在便携式移动通信设备显示器上的用户接口进行交互。举例来说,用户可以通过当触摸触摸板时在该触摸板上移动其手指来移动呈现在用户接口上的可见的图形指示器(例如,光标)。再比如说,用户可以通过将其手指在用户接口上快速连续地敲击两次来在该用户接口上可见的图形图标上进行双击。0018在在此描述的某些实施例中,便携式移动通信设备的触摸板显示器起到触摸平板或轨迹平板的作用,或者工作在轨迹平板或触摸平板模式下。在这种模式中,用户接口不被呈现在便携式通信设备显示器上。因此,便携式移动通信设备显示器可以被。
20、去激活(关闭)或者可以被激活(打开)但可能显示空白接口。然而,用户可以通过利用手指、尖笔等等触摸触摸平板来与呈现在与远程电子设备(例如,电视、监视器、智能屏幕、平板电脑、等等)相关联的显示器上的用户接口进行交互,其中远程电子设备与便携式移动通信设备进行通信。在某些实施例中,用户接口是正由与便携式移动通信设备相关联的处理器执行的接口,而在其他实施例中,用户接口是正由与远程电子设备相关联的处理器执行的接口。0019本发明不限于任何特定类型的电子设备。如在此所使用的,电子设备可以是指包括显示器的任何计算或非计算电子设备。电子设备的示例包括电视、膝上型计算机、智能屏幕、平板计算机或平板电脑、桌面型计算。
21、机、电子阅读器、扫描仪、便携式媒体、移动计算设备(例如,移动电话)、图像捕获设备(例如,照相机)、游戏设备,或其他便携式或非便携式计算或非计算设备。在电子设备显示器与便携式移动通信设备显示器相比具有更大的尺寸的实施例中,电子设备显示器呈现可显示在便携式移动通信设备显示器上的、更大版本的用户接口。0020使用一个或多个基于有线的技术可以将便携式移动通信设备连接到电子设备。基于有线的技术的示例是高清晰度多媒体接口(HDMI)。当便携式移动通信设备被连接到电子设备时,便携式移动通信设备的用户接口可以显示在该电子设备上。用户可以使用该便携式移动通信设备来与所显示的用户接口进行交互。0021在某些实施例。
22、中,使用一个或多个无线技术可以将便携式移动通信设备连接到电子设备。示例性无线技术包括近场通信(NFC)、红外传输(IR)、蓝牙、短距离射频(RF)信号、说明书CN104106039A4/13页7IEEE80211X、WIFI、无线通用串行总线(USB)、HOMERF、基于IRDA(红外数据协会)的传输、等等。本发明不限于在此描述的任何有线或无线技术。当便携式移动通信设备经由有线或无线技术连接到电子设备时,便携式移动通信设备可以在两种模式之一中进行操作。0022在第一模式中,便携式移动通信设备的用户接口可以显示在电子设备显示器上。在这样的实施例中,用户和便携式移动通信设备之间的任何交互在便携式移。
23、动通信设备和电子设备两者上均可见。因此,用户可以使用便携式移动通信设备的触摸板来直接与便携式移动通信设备的用户接口和在电子设备显示器上可见的用户接口两者进行交互。0023在第二模式中,不同的接口可以显示在便携式移动通信设备和电子设备上。在这样的实施例中,便携式移动通信设备用户接口可以显示在电子设备上,而该便携式移动通信设备的显示器显示空白接口。显示在电子设备显示器上的接口的示例是当前在便携式移动通信设备上活动的WEB浏览器应用。在这样的实施例中,与便携式移动通信设备相关联的处理器执行或运行该应用,并且电子设备显示器显示与该应用相关联的图形用户接口(GUI)。此外,在这样的实施例中,与电子设备相。
24、关联的处理器可以不运行或不执行该应用。0024可替换地,独立于便携式移动通信设备用户接口的接口可以显示在电子设备上,而便携式移动通信设备的显示器显示空白接口。独立于便携式移动通信设备的接口的示例是诸如电子设备指南(例如,电视指南)、记录菜单等等的电子设备接口。接口的另外的示例可以是WEB浏览器应用,其直接由与电子设备相关联的计算处理器执行并且显示在该电子设备显示器上。在这样的实施例中,与电子设备相关联的处理器执行或运行该应用,并且与便携式移动通信设备相关联的处理器不运行或不执行该应用。0025如在此所使用的,(显示在触摸板上的)空白接口可以是被关掉或去激活的显示接口,或者可以是被打开并显示空白。
25、屏幕的显示接口。在某些替换实施例中,代替空白接口,便携式移动通信设备的显示器在不变或静止背景上显示可见的图形指示器(例如,光标)。空白接口可以是任何颜色(例如,白色、黑色、蓝色、等等)。图形指示器可以经由用户的触摸而被控制。0026在在此描述的实施例中,便携式移动通信设备的触摸板可以被用作轨迹平板(也可以被称为触摸平板)以用于移动显示在电子设备显示器上的用户接口上的图形指示器,比如光标。因此,当用户在触摸板上移动其手指或尖笔时,光标基本上反映了手指或尖笔在电子设备显示器上的移动。在某些实施例中,当用户在触摸板上移动其手指或尖笔时,该用户看到在触摸板上的空白接口。在其他实施例中,当用户在触摸板上。
26、移动其手指或尖笔时,该用户可以看到在不变背景上移动的可见光标(例如,浅色背景上的深色光标、深色背景上的浅色光标、等等)。因此,当WEB浏览器接口显示在电子设备显示器上时,触摸板的用户可以使用该触摸板来控制光标,该光标能够被用来导航该WEB浏览器接口并选择(例如,在触摸板上双敲击)一个或多个可选选项。0027在此描述的触摸平板(或触摸板)可以支持使用触摸板或鼠标可以施行的任何功能或手势。举例来说,一个功能可以是用于选择显示在呈现于电子设备显示器或便携式移动通信设备显示器中的至少一个上的用户接口上的可选选项的双击功能。再比如说,一个功能可以是用于选择与呈现于用户接口上的图标相关联的可选辅助选项的右。
27、击功能。再比如说,一个功能可以是拖拽功能(例如,将一个或多个图标拖拽穿过用户接口)。触摸平板可以支持单触摸或多触摸输入中的至少一个。如在此所使用的,多触摸输入是指触摸平板接说明书CN104106039A5/13页8收至少两个不同的同时或非同时触摸的情况。触摸平板支持的功能或手势不限于在此描述的功能或手势。0028在某些实施例中,用户可以通过在便携式移动通信设备的用户接口上输入或选择模式来手动地在不同模式之间切换。用于便携式移动通信设备的示例性输入机制包括触摸板输入、按键输入、语音输入、等等。0029在其他实施例中,便携式移动通信设备可以被配置成至少部分地基于用户的注视的方向来自动地切换模式。注。
28、视可以与用户的眼睛(或两个眼睛)和/或用户的面部相关联。因此,与用户的眼睛(或两个眼睛)相关联的方向可以是与用户的眼睛(或两个眼睛)和/或用户的面部相关联的视线。用户的注视的方向可以使用便携式移动通信设备中的一个或多个图像捕获设备来确定。在某些实施例中,用户的注视的方向可以使用安装在便携式移动通信设备上的一个或多个朝前的图像捕获设备来确定。所确定的方向被传送到与便携式移动通信设备相关联的处理器。如果用户注视的方向在统计置信度内被确定为处于便携式移动通信设备显示器的方向,那么便携式移动通信设备将用户接口显示在便携式移动通信设备显示器上。此外,由于便携式移动通信设备与电子设备进行通信,便携式移动通。
29、信设备将信号发送到电子设备,以指示电子设备显示在便携式移动通信设备显示器上可见的相同的用户接口。因此,如果图像指示器(例如,光标)在便携式移动通信设备显示器上可见,那么相同的图形指示器在电子设备显示器上也可见。当用户移动便携式移动通信设备显示器上的图形指示器时,电子设备显示器上的图形指示器也移动。在某些实施例中,在便携式移动通信设备上的交互与在电子设备显示器上显示的交互之间可以有小的延迟。0030在在此描述的各个实施例中,统计置信度可以基于一个或多个学习算法来配置,该学习算法体现在存储于至少一个便携式移动通信设备或电子设备中的计算机可编程或可读代码中。可以将学习算法配置成基于统计数据来确定统计。
30、置信度。在某些实施例中,统计置信度和/或所述一个或多个学习算法可以由用户定制或校准。0031如果用户注视的方向在统计置信度内被确定为处于电子设备显示器的方向,那么便携式移动通信设备不将用户接口显示在便携式移动通信设备显示器上。替代地,与便携式移动通信设备相关联的触摸板可以显示空白接口,并且触摸板可以起触摸平板或轨迹平板的作用。此外,由于便携式移动通信设备与电子设备进行通信,便携式移动通信设备将信号发送到电子设备,以指示电子设备显示用户接口(例如,便携式移动通信设备用户接口)并将可见图形指示器(例如,光标)显示在用户接口上。在在此描述的实施例中,这个图形指示器的移动可以由用户经由触摸平板来控制。。
31、在某些实施例中,在接收便携式移动通信设备的信号之前,电子设备可以已经被配置成将可见的图形指示器显示在电子设备的用户接口上。然而,在便携式移动通信设备确定用户注视指向电子设备并因此将其自身配置成起触摸平板的作用之后,便携式移动通信设备将信号发送到电子设备,以指示电子设备该可见的图形指示器的移动和操作将由触摸平板来控制。0032此外或可替换地,用户的注视的方向可以使用与电子设备相关联的一个或多个图像捕获设备来确定。所确定的方向被传送到与电子设备相关联的处理器。如果用户注视的方向在统计置信度内被确定为处于便携式移动通信设备显示器的方向,那么与电子设备相关联的处理器开始将信号传输到便携式移动通信设备,。
32、以指示便携式移动通信设备将便携式移动通信设备的用户接口显示在便携式移动通信设备显示器上。此外,该处理器将电子说明书CN104106039A6/13页9设备配置成显示在便携式移动通信设备显示器上可见的相同的用户接口。因此,便携式移动通信设备上的任何交互被复制在电子设备显示器上。0033如果用户注视的方向由与电子设备相关联的一个或多个图像捕获设备在统计置信度内确定为处于电子设备的方向,那么与电子设备相关联的处理器开始将信号传输到便携式移动通信设备,以指示便携式移动通信设备不将用户接口显示在便携式移动通信设备显示器上。替代地,举例来说,从电子设备传输的信号指示便携式移动通信设备切换到触摸平板或轨迹平。
33、板模式。结果,与便携式移动通信设备相关联的触摸板可以显示空白接口,并且该触摸板可以起触摸平板或轨迹平板的作用。此外,处理器将电子设备配置成显示用户接口(例如,便携式移动通信显示器用户接口)并将可见的图形指示器(例如,光标)显示在用户接口上。如在此描述的,这个图形指示器的移动可以由用户经由触摸平板来控制。0034在某些实施例中,可见的图形指示器可能已经呈现在显示于电子设备上的用户接口上,并且与电子设备相关联的处理器无需将电子设备配置成显示可见的图形指示器。替代地,该处理器需要配置电子设备以使图形指示器的移动和操作由与触摸平板进行的交互来控制,该触摸平板与便携式移动通信设备相关联。如先前所解释的,。
34、在某些实施例中,便携式移动通信显示器可以将可见的图形指示器显示在静止或不变背景上。0035此外或可替换地,在某些实施例中,与电子设备和便携式移动通信设备相关联的图像捕获设备一起工作以确定用户的注视的方向。在这样的实施例中,便携式移动通信设备和电子设备中的每一个可以使用安置在便携式移动通信设备和电子设备上的图像捕获设备来独立地确定用户的注视的方向。随后,电子设备可以将其确定的方向传送到便携式移动通信设备。与便携式移动通信设备相关联的处理器接收由电子设备确定的用户的注视的方向,并将所接收的方向与由与便携式移动通信设备相关联的一个或多个图像捕获设备确定的用户的注视的方向相结合,从而作出关于用户的注视。
35、的方向的最终确定。在其他实施例中,与电子设备将其确定的方向传送到便携式移动通信设备相反,便携式移动通信设备可以将由该便携式移动通信设备确定的方向传送到电子设备。在这样的实施例中,电子设备可以将由便携式移动通信设备确定的方向与由电子设备确定的方向相结合以作出关于用户的注视的方向的最终确定。0036与便携式移动通信设备或电子设备中的至少一个相关联的图像捕获设备可以包括眼睛和面部跟踪软件,该眼睛和面部跟踪软件帮助图像捕获设备确定用户的注视的方向。眼睛跟踪软件帮助确定用户的眼睛(或两个眼睛)的方向,而面部跟踪软件帮助确定用户的面部的方向。如在此所使用的,用户的面部是指用户的面部的前视图,而非用户的面部。
36、的侧视图。与用户的眼睛或用户的面部相关联的方向是指与用户的眼睛或用户的面部相关联的视线。0037在某些实施例中,用户的眼睛(或两个眼睛)和用户的面部可以指向基本上不同的方向。在这样的实施例中,便携式移动通信设备和电子设备的用户接口可以基于用户的眼睛(或两个眼睛)的方向,而非基于用户的面部的方向来配置。因此,与便携式移动通信设备相关联和与电子设备相关联的图像捕获设备具有确定用户的眼睛(或两个眼睛)和用户的面部正指向基本上不同的方向的能力。0038在某些实施例中,便携式移动通信设备或电子设备中的至少一个确定用户注视(例如,用户的眼睛(或两个眼睛)的方向可能既未指向便携式移动通信设备显示器也未指说明。
37、书CN104106039A7/13页10向电子设备。在这样的实施例中,便携式移动通信设备可以被配置成将用户接口显示在便携式移动通信设备显示器上。此外,电子设备被配置成显示在便携式移动通信设备显示器上可见的相同的用户接口。0039在某些实施例中,便携式移动通信设备或电子设备中的至少一个确定用户注视(例如,用户的眼睛或两个眼睛)的方向可能正至少部分地指向便携式移动通信设备显示器和指向电子设备两者。在这样的实施例中,便携式移动通信设备可以被配置成将用户接口显示在便携式移动通信设备显示器上。此外,电子设备被配置成显示在便携式移动通信设备显示器上可见的相同的用户接口。0040在某些实施例中,电子设备是电。
38、视、监视器、智能屏幕或平板电脑。在某些实施例中,便携式移动通信设备或电子设备中的至少一个确定用户的注视处于电子设备的方向。如先前所解释的,在某些实施例中,响应于这个确定,便携式移动通信显示器起轨迹平板的作用,其中轨迹平板可以被用于与显示在电子设备上的用户接口进行交互。在某些实施例中,用户经由轨迹平板选择显示于电子设备上的用户接口上的选项以切换到电子设备模式,从而操作与电子设备相关联的一个或多个功能。因此,在电子设备模式中,轨迹平板可以将其自身配置成显示一个或多个选项,该一个或多个选项通常将与遥控设备相关联,该遥控设备与电子设备相关联。所述选项中的每一个可以是基于用户的触摸而可激活的。因此,便携。
39、式移动通信显示器起到用于电子设备的电子遥控设备的作用。举例来说,当电子设备是智能屏幕时,轨迹平板可以工作在智能屏幕模式中并可以被用于选择尖笔选项。当用户选择这个选项时,用户可以将轨迹平板用作尖笔来在智能屏幕显示器上绘图或书写。此外,轨迹平板可以被用于选择擦除选项。当用户选择这个选项时,用户可以使用轨迹平板来擦除在智能屏幕显示器上可见的信息(例如,文本、图形、等等)。0041当电子设备是电视时,用户可以使用轨迹平板来切换到电视模式从而收看电视频道(或选择与电视频道或节目相关联的选项)而不是与用户接口进行交互。当用户经由轨迹平板选择显示于电视上的用户接口上的选项以切换到电视模式时,便携式移动通信显。
40、示器可以将自身配置成显示电子遥控选项,其中选项是基于用户的触摸而可激活的。示例性的可选选项包括频道改变选项、音量改变选项、记录选项、等等。因此,便携式移动通信设备可以从轨迹平板模式切换到遥控模式。因此,在这样的实施例中,便携式移动通信显示器起到用于电视的电子遥控设备的作用。0042在在此描述的实施例中,与便携式移动通信设备或电子设备相关联的图像捕获设备以周期性间隔捕获视频或一系列静止图像。在某些实施例中,间隔之间的周期为下列各项中的至少一个由用户确定,或者自动地由便携式移动通信设备或电子设备中的至少一个确定。在某些实施例中,便携式移动通信设备和电子设备中的每一个可以包括多于一个的图像捕获设备(。
41、例如,安置在便携式移动通信设备或电子设备的相反边缘上的两个图像捕获设备)。0043现在参照图1,图1呈现了与在此描述的便携式移动通信设备和电子设备相关联的第一操作模式。图1呈现了电子设备114(其在这一情况下是电视)和便携式移动通信设备112的一个实施例。还示出了与安装在电子设备114上的图像捕获设备相关联的视线120,和与安装在便携式移动通信设备112的前面的图像捕获设备相关联的视线110。还示出了用户的注视的方向130。在这个实施例中,用户的注视的方向130可以是与用户的眼睛说明书CN104106039A108/13页11和/或用户的面部相关联的视线。在图1中呈现的实施例中,便携式移动通信。
42、设备112或电子设备114中的至少一个确定用户注视是至少部分地指向便携式移动通信设备112的前面的。因此,根据先前描述的实施例,便携式移动通信设备112可以被配置成将用户接口显示在便携式移动通信设备显示器112上。此外,电子设备114被配置成显示在便携式移动通信设备显示器112上可见的相同的用户接口。0044现在参照图2,图2呈现了与在此描述的便携式移动通信设备和电子设备相关联的第二操作模式。图2呈现了电子设备114和便携式移动通信设备112。还示出了与安装在电子设备114上的图像捕获设备相关联的视线120,和与安装在便携式移动通信设备112的前面的图像捕获设备相关联的视线110。还示出了用户。
43、的注视的方向130。在这个实施例中,用户的注视的方向130可以是与用户的眼睛和/或用户的面部相关联的视线。还示出了显示在电子设备114上的图形指示器150(例如,光标)。如先前所解释的,用户能够使用起轨迹平板的作用的便携式移动通信设备112来控制这个图形指示器150。0045在图2中呈现的实施例中,便携式移动通信设备112或电子设备114中的至少一个确定用户注视是至少部分地指向电子设备114的。因此,根据先前描述的实施例,便携式移动通信设备112可以被配置成起到触摸平板或轨迹平板的作用以控制显示在电子设备114上的用户接口(或图像指示器150)。此外,电子设备114被配置成显示用户接口,该用户。
44、接口使用起到触摸平板的作用的便携式移动通信设备显示器112而可控制。如先前所解释的,显示在电子设备114上的用户接口是正由与便携式移动通信设备相关联的处理器执行的接口,而在其他实施例中,用户接口是正由与电子设备114相关联的处理器执行的接口。0046现在参照图3,图3是图示出示例性便携式移动通信设备的外部部件的前视图的图。如图3中所图示的,设备112可以包括外壳305、麦克风310、扬声器320、键盘330、功能按键340、显示器350和照相机按钮360。0047外壳305可以包括被配置成包含或至少部分地包含设备112的部件的结构。举例来说,外壳305可以由塑料、金属或其他天然或合成材料或材料。
45、的组合(多个组合)形成,并可以被配置成支撑麦克风310、扬声器320、键盘330、功能按键340、显示器350和照相机按钮360。0048麦克风310可以包括能够将空气压力波转换成相应的电信号的任何部件。举例来说,用户可以在电话通话期间向麦克风310中说话。麦克风310可以被用于接收来自用户或来自围绕设备112的环境的音频。扬声器320可以包括能够将电信号转换成相应的声波的任何部件。举例来说,用户可以通过扬声器320来听音乐。0049键盘330可以包括能够将输入提供到设备112的任何部件。键盘330可以包括标准电话键盘。键盘330还可以包括一个或多个专用按键。在一个实现中,键盘330的每个按键。
46、可以例如是推压按钮。键盘330还可以包括触摸屏。用户可以将键盘330用于输入诸如文本或电话号码之类的信息,或者激活特殊功能。在某些实施例中,键盘330可以包括被集成到触摸屏显示器350中的虚拟按键。如在此所使用的,触摸屏显示器还可以被称为触摸板显示器。0050功能按键340可以包括能够将输入提供到设备112的任何部件。功能按键340可以包括准许用户使得设备112施行一个或多个操作的按键。与功能按键340的按键相关联的功能性可以依据设备112的模式而改变。举例来说,功能按键340可以施行各种各样说明书CN104106039A119/13页12的操作,诸如记录音频、拨打电话通话、播放各种媒体、设置。
47、各种照相机特征(例如,聚焦、缩放、等等)或访问应用。功能按键340可以包括提供光标功能和选择功能的按键。在一个实现中,功能按键340的每个按键可以例如是推压按钮。在某些实施例中,功能按键340是被集成到触摸屏显示器350中的虚拟按键。0051显示器350可以包括能够提供可视信息的任何部件。举例来说,在一个实现中,显示器350可以是液晶显示器(LCD)。在另一个实现中,显示器350可以是其他显示器技术中的任一个,诸如等离子体显示板(PDP)、场发射显示器(FED)、薄膜晶体管(TFT)显示器、等等。显示器350可以被用于显示例如文本、图像、和/或视频信息。显示器350还可以作为取景器操作,如以后。
48、将描述的。照相机按钮360可以是使得用户能够拍摄图像的推压按钮。0052由于图3中图示的设备112本质上是示例性的,所以意图将设备112宽泛地解释为包括了包括图像捕获部件的任何类型的电子设备。举例来说,设备112可以包括无线电话、个人数字助理(PDA)、便携式计算机、照相机或手表。在其他实例中,设备112可以包括例如安全设备或军事设备。因此,尽管图3图示了设备112的示例性外部部件,但是在其他实现中,设备112可以包含比图3中描绘的外部部件更少的、不同的或额外的外部部件。此外或可替换地,设备112的一个或多个外部部件可以包括设备112的一个或多个其他外部部件的能力。举例来说,显示器350可以是。
49、输入部件(例如,触摸屏)。因此,在某些实施例中,显示器350可以提供图形指示器(例如,光标、高亮的框,等等)、该图形指示器能够使用用户的手指、尖笔或任何其他触摸机制而被控制。在某些实施例中,键盘330和功能按键340可以被集成到触摸屏显示器350中。因此,触摸屏显示器350可以基本上覆盖设备112的前面的全部。此外或可替换地,外部部件可以以不同于图3中描绘的外部部件的方式来布置。0053现在参照图4,图4是图示出示例性设备的外部部件的后视图的图。如所图示的,除了先前描述的部件之外,设备112可以包括照相机470、透镜组件472、接近传感器476和闪光灯474。0054照相机470可以包括能够捕获图像或图像流(视频)的任何部件。照相机470可以是数字照相机或数字视频照相机。当设备112的用户操作照相机470时,显示器350可以作为取景器进行操作。照相机470可以提供对于照相机设置的自动和/或手动调节。在一个实现中,设备112可以包括可在显示器350上显示的照相机软件以允许用户调节照相机设置。举例来说,用户可以能够通过操作功能按键340来调节照相机设置。0055透镜组件472可以包括能够操控光以使图像可以被捕获的任何部件。透镜组件472可以包括许多个光学透镜元件。光学透镜元件可以具有不同的形状(例如,凸面的、双凸面的、平凸的、凹面的、等等)和不同的分隔距离。光学透镜元件可以由玻。