手持装置用户界面操作方法 本发明涉及一种手持数据处理装置用户界面操作方法。这里所说的手持装置是指掌上或袖珍电脑、移动电话、通话装置或诸如此类的装置，其主要特征是包括在其显示器上的显示数据并且其显示器上的数据是变化的，以搜索和选择所需数据。
目前上述装置的用户界面大多是“点击”(point and click)型。用户界面的通用操作方法是利用按键浏览和选择数据。掌上电脑通常使用触摸显示器，虚拟键盘、笔和一些附属硬质按键或按钮。首先，这种用户界面很难用于上述小型装置以及相应的按键或虚拟按键。另外，当上述装置被不断地赋予需要利用同样小数量的小型按键来使用的新的应用和功能，使用这种用户界面会变得更加困难。这些用户界面如电脑或其它一些数据处理装置的用户界面的特征通常在于：它们拥有自己的模拟逻辑和规则，而其只被少数一些通常是从事技术方面工作的用户所完全理解并采纳。
本发明的目的是提供一种手持装置用户界面的操作方法，其将在很大程度上解决上述用户界面存在的问题。
为了实现上述目的，一种根据本发明地诸如掌上或袖珍电脑、移动电话、通话装置之类的手持装置的用户界面操作方法的特征在于权利要求1中所定义的，在该操作方法中装置显示器上的数据是变化的，以搜索和选择所需数据。其它权利要求定义了本发明的各种实施例。
本发明的优点在于，使用者可以很容易地掌握此用户界面的操作规则，因为它们是“自然的”。从人类工程学的角度来看，该装置的使用也是简便的，因为例如它不需要使用小型按键或附属器件。
接下来将结合附图对本发明及其一些实施例进行详细描述，其中：
图1至10是表示本发明用户界面操作方法示例的示意透视图；
图11至13是装置及其显示器上数据的示意前视图，表示本发明用户界面操作方法的另外一些示例；
图14简要表示数据的排列以及本发明用户界面一个应用的操作；
图15是本发明用户界面另外一个应用的操作的示意透视图；
图16是表示本发明用户界面操作方法可能实现过程的流程图。
在图1至5中，使用者正将手持装置2拿在他(或她)手3上并且正在使用这带有显示器2’的装置，显示器2’是触摸显示器，使用者可以通过用他(或她)的拇指4按显示器向装置输入信号。例如，通过安装在该装置自身内部的加速度测量电路来检测装置2的运动，电路测得的数据被用于用户界面的操作中。在下面将对根据本发明的用户界面操作方法的一些可能的实现方式进行细致地更进一步地说明。图1至5显示了此用户界面操作的一些例子。
参照图1，响应装置2沿着基本上垂直于其显示器2’的方向，即箭头F所示的方向运动，例如网络搜索得到的气象图的页面5a、5b、5c、5d、5e在显示器2’上被浏览。对于使用者来说，很容易想象在他(或她)面前有一堆图片5a至5e，并且通过在该堆图片内移动他(或她)可以在每一时刻看到一图片。可以想象以同样的方式浏览一本书或其它文件连续的(或成堆的)页。根据移动的速度和强度来确定浏览的速度，例如根据运动加速度的大小来确定。也可以以这种形式安排操作：装置2向前或向后做一个适当地微小移动并立即停止，使相应方向上的下一页出现在显示器上。另外，也可以设置通过按触摸显示器2’给显示器控制装置一个信号，响应该信号显示器上数据的变化停止。这种深度的实际使用显著地增加了尺寸有限的显示器的容量。
参照图2，随着装置2以与上述相同的方式即沿着基本垂直于其显示器2’(如箭头Z所示)的方向运动，显示器2’上的图像或被放大了，如图像6b，或被缩小了如图像6a。这个用户界面操作方法同他(或她)想详细地检查一个物体的细节，例如一个图像时的人类行为十分相似。在找到所需的放大率后，可通过例如按一下显示器2’的方式再一次使显示器上数据的变化停止。根据应用情况，图1和图2所示的功能在用户界面内可以选择使用，由此其在对装置以这种方式运动做出的反应方面并没有区别。在用户界面操作中，图1和图2的功能也可以被组合使得数据首先被浏览然后通过同样的运动被缩放，那么设置一个选择器来选择这种或是另外一种功能就是有益的。例如，缩放选择器可以是按一下显示器上的某一区域，由此通过选择一个需要的放大比率，可以实现由缩放模式向浏览模式的自动转换。
在图3中，标号7a表示远大于显示器的图像数据。对于较大的实物或图像数据，手持装置显示器的容量显然不够。响应装置基本在显示器2’所在的平面内沿箭头N、E、S和W所示的方向的侧向运动，显示器上的数据7b被改变，如同一个窗口在由图像数据7a形成的更大的图像E上运动。在找到需要的位置后，可以通过按显示器再一次使显示器上的数据变化停止。共同完成图2和图3所示的功能是符合逻辑的，因此在完成缩放后通过以图3所描述的方式选择数据，可以更彻底地检查图像数据。另外，例如数字选择可以无需按键只是通过在虚拟键盘上方移动该装置并且一个接一个地选择所需数字来实现。例如，这个功能使利用掌上电脑来阅读全部长度的网页成为可能。
参照图4，响应装置2如同大致以其边9为轴快速旋转，即响应像翻书页一样地旋转该装置，如箭头P所示，显示器上的数据8a、8b、8c相应地变化，如电子图书的书页被翻动。根据旋转方向选择页码的翻动方向。可将功能设置为：做一个微小的旋转然后迅速停止将向旋转方向翻动一页，并且旋转越强烈浏览页的速度就越快，直到通过按显示器使浏览停止。
在图5中，本发明的一个应用被说明，其中形成一个覆盖整个感知空间的全景图(或各自的图像数据形成一个圆柱体图)的图像数据9a的任一部分9b可以在某一时刻被检查。在本发明用户界面操作方法中，响应装置2的如同在相应的空间表面移动一图片的移动，或响应装置方向的变化，和显示器的方向相对应的图像数据9a的部分9b在显示器2’上被获得，同时，可以通过上述的方式对图像实施停止和缩放操作。也可以想象随着装置向所需要的方向移动全景图由于被推而旋转，由此全景图也相应的处于运动中直到通过例如按显示器使运动停止下来。
图6至10表示本发明的用户界面实施例，其中通过倾斜此装置使其显示器上的数据变化。在图6中，表示了一个例子，其中装置2的显示器2’上表示为数据D1的数据沿着箭头M1所示的方向向装置2沿箭头T1所示方向倾斜的方位发生滚动。该装置的初始位置如图中虚线所示，倾斜后的位置如实线所示。换句话说，响应装置的倾斜，显示器上的数据向装置发生斜倾的方位移动或滚动，这同现实世界中的因果关系十分相似。这也可以这样实现，例如，装置倾斜得越大或其倾斜得离初始位置越远，变化速率就越大。可通过例如使装置返回起始位置的方式或通过装置中的某一键使数据的滚动或移动停止。
图7表示一个实施例，其适用于例如在一个图像上移动并查找物体。在显示器2’上设置一个光标并使其位置始终在显示器上，沿着箭头T2所指的方向倾斜该装置以使图中表示为数据D2的数据开始沿着箭头M2所指示的方向从倾斜方位向光标C移动。换句话说，例如光标在形成图的数据上向着装置被倾斜的方位移动。
在图8所示的例子中，装置2的显示器2’上的数据表示为数据D3。当使用者将装置2从图中虚线所示的位置向远离他(或她)自己的方向倾斜时，就象靠近显示器上的数据一样，显示器上的数据被放大，图中通过用于表示数据D3放大的图形和箭头Z2来表示。在图9所示的例子中，通过将装置如箭头4所示的方式向靠近使用者的方向倾斜，相应地，显示器上的数据D4将被缩小，如表示其缩小和离开的图形和箭头Z3所示。
图6、7、8和9所示的实施例可以以如下方式在装置的用户界面内被合并，例如，在装置上有一个按键用于选择操作模式(滚动或缩放)，利用它，首先在滚动模式中通过诸如倾斜的方式查找目标，在找到此目标后，操作模式变为缩放模式，利用此模式，倾斜使数据在显示器上被缩放。当然，通过倾斜进行的滚动可以和以参照图2描述的方式进行的缩放合并。
图10示意性地表示用于在显示器上选择数据目标的本发明用户界面的一个实施例。数据目标D5至D10可以是例如菜单上的选择对象或者是页面上的选择按钮。当装置2位于如图中虚线所示的起始位置时，被选择的数据目标D5处于图中阴影部分所示的位置，沿着箭头T5所示的方向倾斜该装置，选择物向着发生倾斜的方位移动，如箭头3所示，在这里是移向数据目标D9。在选到所需的数据目标后，可以通过诸如按装置上的按钮或是使装置做返回运动等方式将其锁定。为了简单起见，这里只展示了装置向一个方向倾斜并且从位置是一个低于一个的数据目标中选择的情况，但是很显然利用同样的方式也可以在可选择目标中进行侧向移动。
图11给出参照图3描述的实施例的另外一个例子。全部的数据D11由通过被排列成矩阵的字母来描述的目标组成。以图中箭头N、E、S和W所示的方式移动装置，你就好象在数据上移动并且可以通过一个由显示2’形成的窗口看这些数据。当所需的数据这里是字母q被找到后，可以通过例如装置上的按钮将其选定。一个同等的功能也可以被实现，即不是将装置做侧向移动，而是将其向你所需要的方向倾斜以使数据移动。
图12表示用于在显示器上选择目标的本发明用户界面另外一个实施例。在装置2的显示器2’上是将在其中进行选择的目标O1至O9。当装置处于左侧的初始状态时，光标靠近显示器的右上角。在该实施例中，光标C似乎在现实世界中被固定在某一位置。如果你想选择目标O7，可以使装置2做侧向侧动，就好象利用光标C移动一个图片以使所需目标O7处于图中右边的光标C的下面。在装置上有按键21、22和23，它们的操作对应于鼠标的按钮的操作。实际上，图10至12的实施例是手持装置的替代方案，就象鼠标，传统的电脑需要利用它来移动移动光标或在显示器上进行选择。
图13表示一个实施例，其中数据目标、页面、卡片等CL……Ci……Cn被叠放或一个摞一个地排列到该装置的显示器2’上，就象现实世界中书的页。数据目标可以是例如代表商业文章的卡片或网页。通过相应地以图中箭头T6所示的方式向前倾斜装置或以图中箭头T7所示的方式向后倾斜装置可以以图中箭头M4所示的方式向前或向后浏览目标。通过按键24至26，目标可以被选中，并且其后的文件、程序等可以被打开。一个装置用户界面可以有几种模式，诸如上述的浏览模式、滚动模式、选择模式和缩放模式，并且例如键24可以用于模式选择而其它键25、26和27可象传统鼠标的按钮一样操作。
图14显示本发明用户界面的一个应用，其中数据目标被设置在以用户和装置2所在位置为中心的圆处向外延伸的沿径向的组(stack)S11至S18中。由每一个组的第一页例如P12或P16定义其后的数据。可通过例如沿着箭头T8所示的方向侧向翻转此装置来浏览前页，这样，方向A12和前页P12被选中，其后的数据目标组可以通过沿箭头F1所示的方向向前或者向后或移动或倾斜装置2被浏览。利用这种方法可以设置电子购物用的用户界面并且它使得在虚拟商场中察觉商品的位置和方向更加容易。
图15表示参照图5描述的实施例更进一步的应用。圆R1和R2现在代表形成全景图或三维图的图像数据，通常其覆盖整个感知空间。该图像数据也可以是从此装置连接的摄像机得到的图像数据。例如描述一件东西的三维图像数据D12可以被引入到此图像数据中并被放到“真实环境中”需要地点和需要位置。响应装置2以参照图5所描述的方式，例如沿着箭头T9所示的方向进行移动，无论是背景数据还是用于描述一件事物的三维数据D12’、D12”都根据装置的位置而变化以和观看方向A1和A12相对应，这样可以从其所在“真实环境”中的不同方向检查这件东西，上述操作可以有如下应用，例如通过从网上商店搜索到一个沙发的三维模型并把它放置到代表某人房子的图象数据中需要的位置，就可以从不同的方向检验这个沙发到其所在的真实环境中看起来效果如何。
本发明的解决方案可以通过例如提供手持装置多轴加速度计来实现，并且利用合适的电路和与该装置操作系统相配合的程序以及用于处理和解释测量结果的可能应用程序可以实现显示器上与加速度计检测到的移动相对应的数据的变化。例如，利用加速度测量的实现就是基于这已知技术解决方案的应用，并且已经提供了说明和说明书的本领域的技术人员，可以通过客户实现根据本发明的用户界面的操作。
在小型数据处理装置例如掌上电脑中利用现有的硬件技术是不可能实现具有水平与大型数据处理装置像台式电脑或膝上型电脑所达到的水平相接近的容量和使用性能的操作系统和应用。上述小型装置也不可能包括诸如硬盘、软盘或是如CD-ROM(只读光盘存储器)驱动器等传统存储装置。这些问题的一个解决方案是可以设置一个由两部分组成的数据处理装置，其中在其手持部分内只有一部分必备的电路、程序外加一个显示器。大部分的电路、程序在使用者所持的另一可移动部分中，使用无线链接将这部分和手持部分连接起来。此无线链接可以采用红外或无线频率进行。在这种装置中，可以很容易地在同时实现用于检测与可移动部分相关的手持部分的运动或位置的系统。本发明的用户界面操作方法通过此系统可以被实现。
接下来将参照图16对本发明基于检测加速度的另外一个实施例进行说明。该装置包括一多轴加速度计、一些必备的电路和一些用于测量的程序。当装置被接通后，其将会对加速度进行监视并且在阶段11对检测到的数据进行解释(interpret)，超过某一阈值的加速度可能是本用户界面操作方法所定义运动的起始阶段。响应上述操作，计时器TD1和TD2在阶段12启动，TD1从检测到的运动开始设置一个十分短暂的毫秒数量级的实验确定的时间，其中使用者施加给装置的运动由其加速度的实际方向和大小确定。TD2设置一相对较长的时间，以用于在该时间到后在没有其它停止原因出现时使显示器上数据变化停止。当TD1设置的时间到后，在阶段13对这一时刻的加速度矢量进行测量。在阶段14判断检测到的矢量是否为所定义的矢量，也就是说判断其与该用户界面操作方法所定义的任一运动是否相对应。如果不对应，该操作将返回到起始10和阶段11监视装置的加速度。另一方面，如果矢量是所定义的矢量，那么在阶段15显示器上数据将依据相应的算法被变化，例如被浏览，被缩放等等。如上所述，例如依据加速度矢量的大小确定在显示器上数据浏览速度就与此相关。在阶段16，同时监视时间TD2是否到了，如果是，那么操作向下进行到阶段19，在那里显示器上的数据变化被停止并且程序在阶段20结束。如果时间TD2没有到，将监视阶段17是否有与已检测到的所定义的矢量方向相反的矢量或是有例如按显示器之类的其它停止信号出现。如果在阶段18检测到反向矢量或停止信号，那么在阶段19，显示器上的数据变化被停止并且程序结束。如果在阶段18没有检测到反向矢量及其它停止信号，那么操作返回监视上述值。
除了利用加速度测量外，本发明的用户界面操作方法还可以通过其它方式实现。任何可用来测量装置地点或位置变化的技术都可以被应用。以下技术也是可以考虑的解决方案，其中装置的方向和位置的检测可以通过发送脉冲DC磁场并由装置内的检测器测定它来实现。利用这项技术，装置在三维空间中的地点和位置都可以被完全检测到。
一个可能的解决方案是基于所谓的光学鼠标的技术，并且其中例如通过观察和分析周围任一表面在这个例子中就是使用者身上的某一表面来检测移动和移动的速度。将其结合十分容易实现的距离测量以及通过分析距离和相对运动的变化就可以检测装置的地点、运动以及位置的变化。
当然，可以用多种方式实现本发明。例如，为了使对所定义的运动的检测更加可靠，也可以考虑在一较短时间窗内对加速度实施多次测量，并且对所定义的运动进行检测以判断所测矢量中是否有符合检测要求的。自然地，也应考虑在连续的已测加速度矢量的基础上进行更加复杂的运动分析。也可以这样测量装置的运动，例如其中在装置内、一只手上、使用者身上、另一只手上的发射器与接收器之间的距离被测量。
可以根据如上述实施例的适当组合的手持装置的使用及必备的特征，实现本发明用户界面，此用户界面包括几种操作模式，其中相同的装置运动对应的显示器上数据变化可以不同。如在上面一些实施例中所叙述的那样，例如在装置上可以具有一个用于选择不同操作模式的按钮。
本发明可以在后附的权利要求书的范围内进行变化。