信息显示设备 本 申 请 是 2007 年 1 月 10 日 递 交 的、 名称为 “信 息 显 示 设 备” 、 申请号为 200780000872.6 的发明专利申请的分案申请。
技术领域 本发明涉及用于例如在诸如窗口等屏幕元素中显示诸如从 web 服务器获得的内 容等显示目标信息的信息显示设备。
背景技术 近年来， 诸如个人计算机 (PC) 等信息显示设备在独立的屏幕元素 ( 每个屏幕元素 称为窗口 ) 中显示各自的多种信息， 以在单个显示屏幕上显示不同种类的信息。
例如， 许多 web 浏览器等基于经由网络从 web 服务器等获得的 web 页面数据产生 要显示的信息 ( 显示目标信息 )， 并在每个窗口中分别显示基于相应的 web 页面产生的显示 目标信息。
这样的用于在多个窗口中显示信息的信息显示设备可能需要与显示在任何窗口 中的显示目标信息相结合地示出要求用户确认他们的操作或输入密码等的通知信息。
举一个具体的例子， 在 web 页面的情况下， 描述 web 页面的 HTML( 超文本置标语 言 ) 数据可能包含关于待处理的程序的描述 ( 脚本 )， 以控制使得显示目标信息的显示直到 密码被输入之后才执行。
发明内容
本发明要解决的问题
由于这种传统的信息显示设备也在独立的窗口中显示通知信息， 因此当需要在关 于多个 web 页面的信息项被显示在各自窗口中的同时显示通知信息时， 用户可能不容易得 知要显示的通知信息看起来与哪个窗口中的 web 页面相关联。
考虑到以上问题提出了本发明， 本发明的一个目的是提供一种用于明确展现在屏 幕元素中示出的显示目标信息和要通知给用户的通知信息之间的关系的信息显示设备。
用于解决问题的手段
为了克服上述现有技术的缺点， 根据本发明， 提供了一种信息显示设备， 包括 ： 信 息显示单元， 用于在各个屏幕元素中显示至少一项显示目标信息 ； 目录显示单元， 用于将屏 幕元素显示为一个目录 ； 以及执行单元， 用于在目录显示发生时接收利用在被显示为目录 的屏幕元素中显示的显示目标信息发出的指令操作， 并执行基于该指令操作的处理过程。 附图说明
图 1 是示出根据本发明实施例的信息显示设备的结构的一个例子的框图 ； 图 2 是说明在根据本发明实施例的信息显示设备中实现的虚拟空间的例子的图 ； 图 3 是说明在根据本发明实施例的信息显示设备中显示的屏幕图像的例子的图 ；图 4 是与根据本发明实施例的信息显示设备的例子有关的功能框图 ；
图 5 是与在根据本发明实施例的信息显示设备中显示聚焦窗口的过程例子有关 的流程图 ；
图 6 是说明根据本发明实施例设置虚拟空间的例子和在改变聚焦窗口时相应的 显示屏幕图像的例子的图 ；
图 7 是说明在根据本发明实施例的信息显示设备中描述设置虚拟空间的例子的 对象数据库的内容例子的图 ；
图 8 是说明用于在根据本发明实施例的信息显示设备中形成用于显示菜单屏幕 和 / 或通知信息的区域的方法例子的图 ；
图 9 是说明在根据本发明实施例的信息显示设备中的屏幕图像的例子的图， 该屏 幕图像留出了用于显示菜单屏幕和 / 或通知信息的区域 ；
图 10 是说明在根据本发明实施例的信息显示设备中显示的菜单屏幕图像的例子 的图 ；
图 11 是说明在根据本发明实施例的信息显示设备中设置虚拟空间的例子的图 ；
图 12 是说明在根据本发明实施例的信息显示设备中显示的通知信息的例子的 图；
图 13 是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子 图 14 是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子 图 15 是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子的图 ；
的图 ；
的图 ； 图 16 是说明在根据本发明实施例的信息显示设备中执行目录显示时设置虚拟空 间的例子的图 ；
图 17 是说明在根据本发明实施例的信息显示设备中示出的目录显示的例子的 图；
图 18 是说明在根据本发明实施例的信息显示设备中执行目录显示时设置虚拟空 间的另一例子的图 ；
图 19 是说明在根据本发明实施例的信息显示设备中示出的目录显示的各种例子 的图 ；
图 20 是说明在根据本发明实施例的信息显示设备中执行目录显示时示出的聚焦 窗口的例子的图 ；
图 21 是说明在根据本发明实施例的信息显示设备中执行目录显示时示出的除了 聚焦窗口以外的窗口的例子的图 ；
图 22 是说明在根据本发明实施例的信息显示设备中示出的屏幕图像的例子的 图；
图 23 是说明在根据本发明实施例的信息显示设备中放大示出的窗口的图 ；
图 24 是说明具有在根据本发明实施例的信息显示设备中放大示出的窗口的屏幕 图像的例子的图 ；
图 25 是示出连接到根据本发明实施例的信息显示设备的控制器的例子的示意 图 26 是说明倾斜连接到根据本发明实施例的信息显示设备的控制器的操作例子图；
的图 ； 图 27 是说明倾斜连接到根据本发明实施例的信息显示设备的控制器的操作的另 一例子的图 ； 以及
图 28 是与基于倾斜连接到根据本发明实施例的信息显示设备的控制器的操作的 过程的例子有关的流程图。
具体实施方式
[ 信息显示设备的结构 ]
图 1 是示出根据本发明实施例的信息显示设备 1 的结构的一个例子的框图。信息 显示设备 1 包括 CPU( 中央处理单元 )11、 ROM( 只读存储器 )12、 RAM( 随机访问存储器 )13、 网络接口 14、 控制器接 15、 GPU( 图形处理单元 )21、 VRAM( 视频随机访问存储器 )22 和驱动 器 3。CPU 11、 ROM 12、 RAM 13、 网络接口 14、 控制器接 15、 GPU 21 和驱动器 3 经由总线 16 彼此连接。VRAM 22 连接到 GPU 21， 并且控制器接口 15 连接到控制器 4。
CPU 11 根据从 ROM 12 或设置在驱动器 3 中的记录介质读取到 RAM 13 中的程序 来进行操作。在该实施例中， CPU 11 负责信息显示设备 1 的整体控制， 并且执行在各个窗 口或屏幕元素中显示多种显示目标信息的处理过程以及显示要与显示目标信息连同显示 的显示通知信息的处理过程。CPU 11 执行以目录形式显示窗口 ( 目录显示 ) 的处理过程。 后面将具体详细地描述由 CPU 11 执行的这些过程。
ROM 12 存储各种数据和由 CPU 11 执行的程序。RAM 13 保存由 CPU 11 执行的程 序。RAM 13 还充当 CPU 11 的工作存储器。
驱动器 3 从安装在其中的诸如 DVD-ROM、 CD-ROM 等的记录介质读取数据， 并将读取 的数据输出到 CPU 11。驱动器 3 还可以是诸如记忆棒 ( 商标 )、 SD 卡 ( 商标 ) 等记录介质 的读取器， 记录介质并不限于上述这些。
控制器 4 可以是家用游戏机的控制器， 例如包括 PC 的键盘、 鼠标等。经由控制器 接口 15 连接到总线 16 的控制器 4 具有方向键、 其他操作键和用于根据倾斜和 / 或移动量 输出信号的模拟设备等， 并将指示用户操作的信号输出到 CPU 11。
网络接口 14 控制与经由网络与其相连的 web 服务器之间的数据交换。具体而言， 网络接口 14 根据从 CPU 11 输入的指令经由网络发送信息 ( 数据获取请求等 )， 并将经由网 络接收的信息 (HTML 数据等 ) 输出到 CPU 11。在该实施例中， CPU 11 经由网络接口 14 从 诸如因特网等网络上的 web 服务器接收 HTML 数据。
GPU 21 执行显示图形所需的计算。VRAM 22 是用于保存要在显示器上显示的内容 的存储器， 并且接收由 GPU 21 产生并写入到 VRAM 22 中的图像数据。显示控制单元 ( 未示 出 ) 基于写入到 VRAM22 中的图像数据产生图像信号， 并将所产生的图像信号输出到电视图 像接收机、 显示设备等， 在这些显示设备处基于图像信号来显示图像。
在下文中将描述由信息显示设备 1 执行的处理过程。在下文中将描述这样的例 子， 其中信息显示设备 1 用作由 CPU 11、 GPU 21 等控制的 web 浏览器。但是， 这并不是排他性的例子。可以显示任何信息， 只要采用的是利用多个屏幕元素 ( 例如窗口 ) 的信息显示 过程即可。
应当注意， 这里由信息显示设备 1 实现的 web 浏览器是具有加标签界面的浏览器， 或所谓的 “标签浏览器 (tabbrowser)” ， 并且在独立的窗格 ( 这里实现为窗口 ) 或标签中显 示每个 web 页面， 各个标签根据用户操作而被显示和切换。
在该实施例中， 信息显示设备 1 利用多个屏幕元素 ( 下文中称为窗口 ) 执行信息 显示过程。在上文中， 信息显示设备 1 可以将每个窗口的图像绘制到二维绘制空间中。但 是， 这里确定信息显示设备 1 设置了面板对象用作三维虚拟空间中的窗口， 并将要在窗口 中显示的图像绘制到面板对象的至少一个表面上。例如， 信息显示设备 1 将表示要显示的 内容的二维图像作为一个纹理来粘贴。
即， 如图 2 所示， 在该实施例中， 由信息显示设备 1 产生的数据表示放置在虚拟空 间 5 中的多个窗口 61、 62、 63、 64 和 65( 面板对象 )， 每个面板对象具有绘制在其表面上的显 示目标信息。信息显示设备 1 还另外在虚拟空间 5 中设有一个虚拟照相机 71， 并定义虚拟 照相机 71 的聚焦区域 7 或虚拟图像捕捉区域。图 2 示出了这样一个例子， 其中窗口 65 位 于虚拟照相机 71 的聚焦区域 7 或图像捕捉对象的中心处， 并且窗口 64 的一部分被包括在 聚焦区域 7 的左侧。 信息显示设备 1 基于关于虚拟空间 5 的信息来绘制包含在虚拟照相机 71 的聚焦 区域 7 中的那一部分的图像。所绘制的图像被送入 VRAM 22 中， 并被显示在外部显示器等 上 ( 图 3)。
虚拟照相机 71 可以设置在虚拟空间 5 中的任何位置处。当虚拟照相机 71 移动并 且其聚焦区域 7 随之改变时， 最终绘制出不同的图像， 因而在显示器上显示不同的图像。
如图 4 所示， 这里被描述为 web 浏览器的信息显示设备就功能而言包括描述性信 息获取单元 31、 描述性信息分析单元 32、 显示目标信息产生单元 33、 程序处理单元 34、 显示 控制单元 35、 通知信息显示单元 36、 虚拟空间设置单元 37、 目录显示设置单元 38、 二维绘制 处理单元 41、 三维绘制处理单元 42 和组合处理单元 43。
在该实施例中， 这些单元例如由 CPU 11、 GPU 21 等通过软件实现。
描述性信息获取单元 31 接收来自显示控制单元 35 和 / 或显示目标信息产生单元 33 的数据获取请求。数据获取请求包含诸如 URL 等指定信息。在接收到数据获取请求后， 描述性信息获取单元 31 从指定的 URL 等获取所请求的数据， 并将所获取的数据输出到请求 数据的显示控制单元 35 或显示目标信息产生单元 33。 应当注意， 由 URL 指定的数据可以是 存储在安装在信息显示设备 1 的驱动器 3 中的记录介质内的文件， 而不限于来自网络上的 web 服务器等的数据。
描述性信息分析单元 32 包含 HTML 数据的解析器 ( 分析功能 )， 并且从显示控制单 元 35 接收 HTML 数据和标识进行显示的屏幕元素的信息 ( 屏幕元素的标识符， 下文中称为 “窗口标识符” )。描述性信息分析单元 32 随后根据预定规则分析所接收的 HTML 数据。一 般而言， HTML 数据包含指示显示目标信息的显示的显示指令数据部分， 有时还包含要执行 的程序数据部分。
描述性信息分析单元 32 从 HTML 数据中提取出显示指令数据部分， 并将所提取的 显示指令部分数据和窗口标识符输出到显示目标信息产生单元 33。当在 HTML 数据中还包
括程序数据时， 描述性信息分析单元 32 也提取出程序数据部分， 并且与窗口标识符一同输 出到程序处理单元 34。
显示目标信息产生单元 33 基于从描述性信息分析单元 32 输入的显示指令数据提 取出指定要显示的字符串信息和要显示的图像数据的信息 ( 图像数据 URL 等 )， 将指定图像 数据的信息与获取由该信息指定的图像数据的请求一同输出到信息获取单元 31， 并接收信 息获取单元 31 响应于该请求而获取的图像数据。而且， 显示目标信息产生单元 33 基于显 示指令数据产生 web 页面描述性信息 ( 其中部署有字符串信息和图像数据 )， 并将所产生的 web 页面描述性信息与窗口标识符一同输出到二维绘制处理单元 41。
程序处理单元 34 运行从描述性信息分析单元 32 输入的程序数据， 并保存在程序 数据的运行中所必需的数据 ( 指示正在程序中运行的点的指针和诸如变量数据等的工作 数据 )， 以便与也从描述性信息分析单元 32 输入的窗口标识符相关联。 即， 在打开多个窗口 ( 即， 显示有多个 web 页面 ) 的情况下， 程序处理单元 34 可以并行执行多个程序数据。作为 并行执行的方法， 可以有诸如多线程进程等的公知过程， 这里省略了对其的详细说明。
当在与任何窗口标识符 ( 下文中称为 “聚焦标识符” 以示区分 ) 相关联的程序数 据的运行期间需要向用户通知任何信息时 ( 即， 通知信息需要与任何显示目标信息一同被 通知给用户 )， 程序处理单元 34 将要通知给用户的信息 ( 下文中称为 “通知信息” ) 和聚焦 标识符输出到通知信息显示单元 36。 显示控制单元 35 指示虚拟空间设置单元 37 在激活时产生一个窗口或屏幕元素， 随后从虚拟空间设置单元 37 接收标识所产生的窗口的信息 ( 窗口标识符 )， 并保存所接收 的信息。
随着在激活时产生窗口， 显示控制单元 35 指示信息获取单元 31 获取由预先设置 的 URL 指定的数据。由 URL 指定的数据在这里被确定为 HTML 数据。显示控制单元 35 将从 虚拟空间设置单元 37 接收的窗口标识符和由信息获取单元 31 获取的 HTML 数据输出到描 述性信息分析单元 32。
显示控制单元 35 控制三维绘制处理单元 42 基于由虚拟空间设置单元 37 设置的 虚拟空间来绘制三维图像。
显示控制单元 35 根据用户指令控制各个单元。在该实施例中， 用户发出以下指 令：
(1) 产生新窗口 ( 该新窗口可以是用于在 web 浏览器中显示另一个 web 页面的标 签 ) 的指令 ( 下文中称为 “新窗口指令” )；
(2) 以目录形式显示多个窗口的指令 ( 下文中称为 “目录显示指令” )；
(3) 指定多个窗口之一作为要显示或操作的对象的指令 ( 下文中称为 “聚焦指 令” )；
(4) 将字符串等输入到在所选窗口中显示的输入栏中或点击所选窗口中显示的链 接的指令 ( 下文中称为 “内容操作指令” )；
(5) 关闭窗口的指令 ；
(6) 终止作为浏览器执行的过程的指令 ( 下文中称为 “结束指令” )。
这些指令例如是利用控制器 4 发出的。在下文中， 将描述标签切换操作 ( 切换其 位置与虚拟照相机 71 直接相对的窗口的操作 ) 作为一个示例性操作。标签切换操作通过
按下控制器 4 上形成的方向键来执行。具体而言， 在方向键中提供有四个方向， 即上、 下、 左 和右方向的情况下， 当向右方向键被按下时， 虚拟照相机 71 被移动到与在相对于虚拟照相 机 71 的视线方向的右侧的窗口直接相对的位置。类似地， 当向左方向键被按下时， 虚拟照 相机 71 被移动到与在相对于虚拟照相机 71 的视线方向的左侧的窗口直接相对的位置。当 形成在垂直方向的各个键被按下时， 情况类似。
另外， 将描述点击在窗口 ( 或标签 ) 中显示的对象 ( 按钮、 字符串输入栏等 ) 作为 另一个示例性操作。 具体而言， 对象点击操作包括将指针移动到点击位置并点击， 并且例如 按以下方式执行。即， 通过倾斜设在控制器 4 等中的模拟杆来执行移动指针 ( 鼠标光标 ) 以指定点击位置的操作， 并且按下与方向键分开设置的键的操作可以被定义为点击操作。
当发出上述用户操作中的 (1) 新窗口指令时， 显示控制单元 35 指示虚拟空间设置 单元 37 产生一个窗口或屏幕元素， 然后从虚拟空间设置单元 37 接收标识所产生的窗口的 信息 ( 窗口标识符 )， 并保存该信息。
显示控制单元 35 指示描述性信息获取单元 31 获取由预先设置的 URL 指定的数 据。由 URL 指定的数据在这里被确定为 HTML 数据。显示控制单元 35 将从虚拟空间设置单 元 37 接收的窗口标识符和由信息获取单元 31 获取的 HTML 数据输出到描述性信息分析单 元 32。
当发出 (2) 目录显示指令时， 显示控制单元 35 指示目录显示设置单元 38 显示窗口目录。 当发出 (3) 聚焦指令时， 显示控制单元 35 开始图 5 中所示的过程。在下文中， 响 应于该指令而选择的窗口被称为聚焦窗口。首先， 显示控制单元 35 确定是否发生目录显示 (101)。当确定不发生目录显示时， 显示控制单元 35 在结束该过程之前将虚拟照相机 71 移 动到与聚焦窗口直接相对的位置 (102)。根据过程 102， 当在窗口 62 被显示的同时 ( 即， 虚 拟照相机 71 位于图 6 中的位置 A 处 ) 发出指定窗口 63 作为聚焦窗口的指令 ( 或移动到右 侧窗口的指令， 这是由用户通过点击在右侧的窗口 63 或按下控制器 4 等上的右侧方向键来 发出的 ) 时， 虚拟照相机 71 被移动到与窗口 63 直接相对的位置 ( 图 6 中的位置 B)， 以使得 窗口 63( 或新聚焦窗口 ) 位于虚拟照相机 71 的聚焦区域 7 的中心处。
同时， 如果在过程 101 中确定发生目录显示， 则显示控制单元 35 指示虚拟空间设 置单元 37 在结束该过程之前以相互区分的方式绘制聚焦窗口和其他窗口的图像 (103)。 相 互区分的方式例如可以包括将灰色图像以半透明方式叠加到在窗口中显示的图像上。 后面 将描述过程 103 以及目录显示过程的具体例子。
当发出 (4) 内容操作指令时， 显示控制单元 35 根据操作内容更新在聚焦窗口等中 显示的内容。例如， 响应于将字符串输入到在用户所选择的聚焦窗口中显示的输入栏中的 操作， 输入字母被显示在输入栏中。 另外， 响应于点击链接、 按钮等操作， 对于与被点击的链 接或按钮相关联的 HTML 数据执行处理。该过程与作为典型浏览器执行的过程相同， 这里省 略对其的详细描述。
随着点击链接等， 显示控制单元 35 将从与被点击的链接等相关联的 URL 获取数据 的指令与聚焦窗口的窗口标识符一同输出到信息获取单元 31。
当接收到 (5) 关闭窗口的指令时， 显示控制单元 35 执行控制以便不再显示在当时 被窗口标识符指定为聚焦窗口的窗口 ( 结束窗口 )。为了该控制， 例如， 虚拟空间设置单元
37 可以被指示从虚拟空间 5 中去除所述结束窗口的面板对象。
当接收到 (6) 结束指令时， 显示控制单元 35 产生通知信息以确认该过程的结束， 并输出到通知信息显示单元 36。
通知信息显示单元 36 从程序处理单元 34 接收显示与运行中的程序数据相关联的 显示目标信息和通知信息的窗口的窗口标识符 ( 上述聚焦标识符 )， 并定义由聚焦标识符 指定的窗口作为聚焦窗口 ( 例如， 示出与通知信息相关联的显示目标信息的屏幕元素 ( 或 窗口 ))。然后， 通知信息显示单元 36 以与另一窗口相区分的方式显示聚焦窗口， 并且还显 示通知信息。该显示方式将在后面详细描述。
通知信息显示单元 36 可以从显示控制单元 35 等接收显示不与任何显示目标信息 相关 ( 即， 与任何窗口都无关 ) 的通知信息的指令。在这种情况下， 通知信息显示单元 36 以与和显示目标信息相关的通知信息 ( 即， 与任意窗口相关的通知信息 ) 不同的方式来显 示该通知信息。该显示方式将在后面详细描述。
根据从显示控制单元 35 等输入的指令， 虚拟空间设置单元 37 针对虚拟空间添加 或删除用作窗口的面板对象。具体而言， 虚拟空间设置单元 37 利用例如图 7 中所示的对象 数据库来管理虚拟空间 5。
对象数据库对于要包含在虚拟空间 5 中的每一虚拟对象， 保存唯一标识符、 对象 的形状和属性、 以及指示对象的位置和姿态的坐标， 所有信息都按彼此关联的方式布置。 在 面板对象的情况下， 虚拟对象的形状等可以例如被确定为长方体， 该长方体可以由包括其 宽度、 深度和高度在内的属性定义。虚拟照相机可以由标识虚拟照相机及其属性的信息定 义， 包括视线方向、 视角等 ( 这些定义了聚焦区域 )。对于每一形状， 可以确定位置坐标， 以 便包括中央位置坐标和诸如主轴方向之类的坐标 ( 其例如指示姿态 )。
当虚拟空间设置单元 37 新添加面板对象时， 新产生一个唯一标识符 ( 该标识符可 用作窗口标识符 )， 并且将长方体形状添加到对象数据库， 例如图 7 中所示。与描述新添加 的形状的信息相关联地， 虚拟空间设置单元 37 设置已预先确定的形状作为用作窗口的面 板对象的形状， 然后在虚拟空间中定义类似面板的长方体的位置坐标等， 并在对象数据库 中记录位置坐标。
根据从显示控制单元 35 等输入的指令， 虚拟空间设置单元 37 改变虚拟照相机 71 和面板对象的相对位置。相对位置的改变可以按下面的 [ 表达式 1]
相对于在指示改变之前的初始位置的坐标的向量 S 和指示改变之后的目标位置 的坐标的向量 D 之间的时间 t(t ＝ 0 到 T) 来进行， 以使得位置随时间发生改变， 就像动画 一样。
当显示控制单元 35 除了按用户操作的指示显示窗口之外还需要显示菜单屏幕 时， 虚拟空间设置单元 37 可以改变虚拟空间 5 中面板对象和虚拟照相机 71 的相对位置， 以 使得在显示屏幕上留出用于显示菜单屏幕的区域。 菜单屏幕是在指示打开新的窗口或 URL、 关闭窗口等时使用的屏幕图像等。这里假定在更新之前窗口 61 被显示在虚拟照相机 71 的 聚焦区域 7 的中心处， 如图 8 所示 ( 见图 8 的上部 )。在这种情况下， 对显示菜单屏幕的指 令作出响应的显示控制单元 35 指示虚拟空间设置单元 37 留出用于显示菜单屏幕的显示区
域， 并且虚拟空间设置单元 37 更新窗口 61 和虚拟照相机 71 的相对位置， 使得窗口 61 位于 虚拟照相机 71 的聚焦区域 7 的外围部分中 ( 见图 8 的下部 )。利用以上配置， 在更新之后 留出了用于显示菜单屏幕的区域 (R)， 该区域 (R) 不与窗口 61 的显示区域重叠， 如图 9 所 示。
当菜单屏幕不能完全显示在区域 (R) 中时 ( 例如按分层方式形成的菜单， 并且需 要相对较大的显示区域 )， 显示控制单元 35 可以执行控制以使得在更新之后菜单屏幕 (M) 与在外围部分中显示的窗口 61 部分重叠， 如图 10 所示。后面将描述通过虚拟空间设置单 元 37 设置虚拟空间 5 的另一个例子。
虚拟空间设置单元 37 从显示控制单元 35 接收窗口标识符和用于删除与由窗口标 识符指定的窗口相关联的面板对象的指令。在上文中， 虚拟空间设置单元 37 从对象数据库 中删除与输入的窗口标识符有关的数据条目。
目录显示设置单元 38 从显示控制单元 35 接收显示窗口目录的指令， 然后指示虚 拟空间设置单元 37 按预定方式重排列多个窗口， 并且改变虚拟照相机 71 的位置。即， 目录 显示设置单元 38 指示将虚拟照相机 71 移动到允许对所有窗口进行目录显示的位置。后面 将详细描述目录显示设置单元 38 和虚拟空间设置单元 37 响应于目录显示指令的操作。 二维绘制处理单元 41 基于从显示目标信息产生单元 33 输入的 web 页面描述性信 息产生表示 web 页面的内容的位图图像， 并且与和 web 页面描述性信息一同输入的窗口标 识符相关联地将所产生的位图图像存储在 RAM 13 中。
三维绘制处理单元 42 基于虚拟空间设置单元 37 对虚拟空间 5 的设置产生绘制有 三维图像的位图数据。具体而言， 三维绘制处理单元 42 对于由虚拟空间设置单元 37 产生 的对象数据库执行以下过程。即， 三维绘制处理单元 42 绘制通过将面板对象等投影到虚拟 照相机 71 的视场 ( 聚焦区域 7) 中而获得的图像。这种绘制过程可以利用许多可用的方法 进行， 包括扫描线算法、 射线追踪方法、 放射性方法等等， 这里省略对其的详细描述。
在该实施例中， 三维绘制处理单元 42 将与每个面板对象的标识符 ( 这里与窗口标 识符相同 ) 相关联地存储在 RAM 13 中的 web 页面的位图图像设置为与虚拟照相机 71 相对 的每个面板对象的表面的纹理。利用以上配置， 每个面板对象充当用于显示 web 页面的图 像元素 ( 窗口 )。
组合处理单元 43 接收要显示叠加在由三维绘制处理单元 42 绘制的图像上的字符 串和 / 或图像， 并将所接收的字符串和图像叠加到由三维绘制处理单元 42 绘制的图像上以 组合它们 ( 例如以半透明方式 )。
半透明组合的一个例子是使与要组合的各个图像相对应的像素值相加从而产生 组合图像的过程。
[ 通知信息的显示方式 ]
在下文中， 将描述该实施例中通知信息的显示方式。如上所述， 在作为该实施例 中的信息显示设备的 web 浏览器中， 要求输入密码的通知或者用户关于是否跳到另一 web 页面的确认等等可以在包含在 HTML 数据中的程序数据的执行期间被显示 ( 通知信息的显 示 )。
这种基于 HTML 数据的通知信息连同基于 HTML 数据的显示目标信息被通知给用 户。
在该实施例中， 如上所述， 连同任何显示目标信息要通知给用户的通知信息按以 下方式显示。这里， 所显示的通知信息与哪些显示目标信息有关是基于显示与执行中的程 序数据相关联的显示目标信息的窗口的窗口标识符 ( 聚焦标识符 ) 而确定的。
即， 已接收到聚焦标识符和通知信息的通知信息显示单元 36 确定与聚焦标识符 相关联的窗口作为聚焦窗口， 并指示虚拟空间设置单元 37 将聚焦窗口从虚拟照相机 71 的 聚焦区域 7 的中央部分移开。虚拟空间设置单元 37 改变对象数据库中聚焦窗口或虚拟照 相机 71 的坐标， 以使得聚焦窗口位于虚拟照相机 71 的聚焦区域 7 的外围部分中， 从而更新 聚焦窗口和虚拟照相机 71 的相对位置。这与图 8 和 9 中所示的菜单屏幕的例子相同。
利用以上配置， 与图 9 中所示的例子类似， 聚焦窗口紧挨着显示器等的屏幕的任 何一侧， 从而留出了用于显示通知信息的区域 (R)。通知信息显示单元 36 在区域 (R) 中显 示通知信息。
这里， 将考虑如图 11 所示的窗口 62、 63 等与虚拟照相机 71 相对放置的情况。在 这种情况下， 当虚拟照相机 71 移动从而使得窗口 62( 或聚焦窗口 ) 位于聚焦区域 7 的外围 部分中时， 相邻窗口 63 可能因此位于虚拟照相机 71 的聚焦区域 7 中。在这种情况下， 三维 绘制处理单元 42 可以按半透明方式将灰色调 ( 全灰色图像 ) 施加在除聚焦窗口以外的窗 口中显示的显示目标信息的纹理上， 作为其与虚拟照相机 71 相对的表面的纹理， 从而使得 显示目标信息表现得相对较暗 ( 所谓的暗化 )( 图 12)。在这种情况下， 在聚焦窗口中显示 的显示目标信息表现得相对较亮， 以使得用户可以清楚地辨认与所显示的通知信息相关联 的窗口。 此外， 通知信息显示单元 36 可以指示组合处理单元 43 与显示相邻窗口 63 的区域 (R) 相重叠地显示通知信息。
可替换地， 三维绘制处理单元 42 可以被指示不绘制除聚焦窗口以外的窗口的图 像。在这种情况下， 除聚焦窗口以外的屏幕元素被隐藏 ( 图 13)， 因而只有聚焦窗口和通知 信息被显示。 这有利于聚焦窗口的辨认。 应当注意， 区分方式的显示可以通过各种其他方法 获得， 例如以不同颜色显示聚焦窗口的框架， 使聚焦窗口闪烁， 等等， 而不限于上述的那些。
如上所述， 在该实施例中， 在显示通知信息时， 与该通知信息相关联的聚焦窗口以 与其他窗口相区分的方式被显示。 因此， 即使当示出多个窗口时， 所显示的通知信息也可以 被显示为使得与其相关联的窗口可以通过观察清楚地辨认。
此外， 由于通知信息与聚焦窗口相邻显示， 而不是重叠显示， 因此通知信息和聚焦 窗口中示出的显示目标信息两者都可以得到辨认。
应当注意， 在该实施例中， 执行控制以使得通过例如采用以下布置而使所显示的 通知信息的内容不随着用户操作移动， 在该布置中， 通知信息与由三维绘制处理单元 42 等 绘制的图像重叠显示。
通知信息显示单元 36 接收用户关于通知信息的操作， 并将响应操作的内容输出 到程序处理单元 34。例如， 当示出字符串 “Accept cookies ？ ” 以及用作通知信息的按钮 “yes” 和 “no” 并且任何一个按钮被按下时， 标识被点击按钮的信息被输出到程序处理单元 34。
程序处理单元 34 接收基于通知信息的信息， 并继续程序数据处理。
[ 程序数据运行控制 ]
在通知信息显示单元 36 显示通知信息的同时， 程序处理单元 34 可以继续与其他 窗口相关联的程序数据的运行。在上文中， 当由于与其他窗口相关联的程序数据的运行而 导致需要显示通知信息时， 该窗口的窗口标识符和要显示的通知信息被彼此关联地存储在 用于通知信息的等待队列的存储区域中， 该存储区域设在 RAM 13 中。
然后， 随着进行中的通知信息的显示完成， 等待队列中的通知信息的显示从包含 在等待队列的头部的信息处开始。
应当注意， 在 JavaScript 等中， 例如， 对通知信息显示的请求可以利用多种方法 发出， 例如警报、 文档 (document.open) 等等。然后， 在存储到等待队列中时， 程序处理单元 34 可以根据在请求通知信息显示时使用的方法来确定优先级次序 ( 在相同优先级的情况 下是生成时间的次序 )， 并按优先级次序在队列中登记。
另外， 通知信息显示单元 36 可以指示程序处理单元 34 在显示通知信息的同时暂 停程序数据的处理。已接收到指令的程序处理单元 34 暂停与显示器上的每个窗口相关联 的程序数据的运行。
在这种情况下， 通知信息显示单元 36 指示程序处理单元 34 在通知信息的显示完 成时恢复程序数据的处理， 该显示的完成例如通过用户对通知信息等作出响应而实现。 上述布置可以避免导致以下情况的复杂过程 ： 例如， 在通知信息被显示的同时， 随 着与其他窗口相关联的程序数据被连续处理， 与其他窗口相关联的通知信息的显示变得必 需。
通知信息显示单元 36 可以与通知信息一同显示用于指示 “暂停窗口的程序数据 运行” 的选择按钮 X( 图 14)。当用户选择选择按钮 X 从而对通知信息作出响应时， 通知信 息显示单元 36 指示程序处理单元 34 暂停进行中的程序数据的运行， 同时给出聚焦窗口的 窗口标识符。
响应于接收到的指令， 程序处理单元 34 例如通过删除与输入的窗口标识符相关 联的程序的运行数据来暂停指定的程序数据的后续运行。以这种方式， 上述布置可以解决 由于循环过程等引起的通知信息的重复显示的效率低下问题。
[ 与显示目标信息无关的通知信息 ]
通知信息显示单元 36 可以从显示控制单元 35 等接收显示不与任何显示目标信息 相关的通知信息的指令。 例如， 当不再能设立用于处理程序数据的足够存储器时， 或者当在 处理程序数据的同时发生异常 ( 差错等 ) 时， 程序处理单元 34 等指示通知信息显示单元 36 显示通知该结果的通知信息。
这样的通知信息被视作与显示目标信息无关的通知信息， 因为它与整体操作相关 联， 尽管有时也与特定窗口相关联。
此外， 到网络的连接失败、 由于分析所获取的数据的失败而未能产生窗口、 以及关 于是否结束作为浏览器等的过程的确认都与作为浏览器的整体操作有关， 并且在这些情况 下发出的通知信息被视作与显示目标信息无关。
在显示与显示目标信息无关的通知信息时， 通知信息显示单元 36 利用半透明方 式将灰色调叠加在设置在例如与虚拟照相机 71 相对的每个窗口的表面上的显示目标信息 的纹理上， 从而使得窗口中示出的显示目标信息显示得相对较暗 ( 所谓的暗化 )。然后， 通 知信息显示单元 36 指示组合处理单元 43 组合通知信息等的字符串和在各个窗口中相对较
暗显示的绘制图像 ( 三维绘制处理单元 42 的绘制结果 )。
利用以上配置， 通知信息以如图 15 所示的突出方式显示， 以使得通知信息可以被 很容易地辨认为与窗口无关。或者， 通知信息显示单元 36 可以指示三维绘制处理单元 42 绘制没有窗口的图像， 并且可以显示通知信息。
如上所述， 与显示目标信息相关的通知信息和不与任何显示目标信息相关 ( 但是 与整个浏览器相关 ) 的通知信息被以不同方式显示的布置可以有利于用户辨认所显示的 通知信息是否与显示目标信息相关。
[ 列表显示的显示方式 ]
在下文中将描述该实施例中的窗口目录显示过程。 该实施例中的目录显示设置单 元 38 从显示控制单元 35 接收显示窗口目录的指令， 并指示虚拟空间设置单元 37 将虚拟照 相机 71 移动到能够显示覆盖所有窗口的目录的位置。
在下文中， 将描述虚拟照相机 71 的位置改变。假定当接收到应用目录显示的指令 时， 各个窗口在平面上排成一列， 如图 16 所示。在上文中， 此时虚拟照相机 71 的视场角被 确定为 θ， 并且虚拟照相机 71 位于图 16 中的位置 A 处 ( 或者离窗口对齐的平面相距 r0 的 位置处 )。 在这种状态下， 一个窗口 63 被辨认为处于中心， 其他窗口 62、 64 的一部分分别位 于其右侧和左侧， 如图 17 中参照位置 A 所示的图像。
然后， 在接收到目录显示指令后， 目录显示设置单元 38 指示虚拟空间设置单元 37 改变虚拟照相机 71 的位置。虚拟空间设置单元 37 继而指示将虚拟照相机 71 移动到离窗 口对齐的平面更远的位置 ( 离平面相距 r 的位置， 或者图 16 中的位置 B)， 以便留出虚拟照 相机 71 的一个视场 ( 聚焦区域 7)， 该视场大得足以完全覆盖范围 w， 范围 w 大于显示所有 窗口 61 到 65 的区域。在上文中， r 可以按下式计算 ：
[ 表达式 2]
利用以上配置， 显示器上的所有窗口都被显示， 如图 17 中参照位置 B 所示的图像。
另外， 在这种情况下， 各个对象 ( 面板对象、 虚拟照相机等 ) 的位置等以步进方式 从初始状态移动到窗口被显示为目录的目标状态， 从而所述对象如同动画那样移动显示。 这使得用户可以知道哪个窗口移动到哪个位置。应当注意， 初始状态下面板对象的位置被 单独存储在 RAM 13 中作为初始位置。
另外， 目录显示设置单元 38 指示使虚拟照相机 71 进一步远离与各个窗口相对应 的面板对象。目录显示设置单元 38 可以指示虚拟空间设置单元 37 将这多个面板对象重布 置为预定布局。
例如， 如图 18 所示， 在用作窗口的三个面板对象布置在水平行中的情况下， 已接 收到目录显示指令的目录显示设置单元 38 可以将这三个面板对象重布置为三角形布局， 然后将全部聚集的面板对象移动到虚拟空间 5 中的预定一点的附近 ( 在离该点预定距离的 范围内 )， 并且还将虚拟照相机 71 移动到远离用作窗口的面板对象所在的平面的一个位置 上。
利用以上配置， 因为窗口被聚集并且被示出在相对较窄的区域内， 因此与在一行 中显示对象而虚拟照相机 71 只是简单移动的情况相比， 每个窗口可以按相对较大的尺寸
显示。 应当注意， 在目录显示中定义各个面板对象的位置的坐标可以与窗口 ( 面板对 象 ) 数相关联地预先保存在 RAM 13 等中。默认尺寸的各个面板对象可以被放置为使得彼 此不重叠 ( 图 19)。应当注意， 取决于窗口尺寸可以采用不同的部署方式。
当在发生目录显示时窗口 ( 面板对象 ) 数由于窗口被关闭或新产生而改变时， 相 对于新的窗口数确定的坐标可以被定义为目标位置 D， 并且窗口在相对于时间 t(t ＝ 0 到 T) 按
[ 表达式 1]
从改变之前的初始位置 S 移动到改变之后的目标位置 D 时被显示， 就像动画那样。
另外， 已接收到解除目录显示的指令的目录显示设置单元 38 指示虚拟空间设置 单元 37 参照存储在 RAM 13 中的初始位置将各个面板对象移动到其原始位置 ( 或者目录显 示之前的位置 )。目录显示设置单元 38 还指示虚拟空间设置单元 37 将虚拟照相机 71 移动 到和与此时的聚焦窗口相对应的面板对象直接相对的位置， 从而使离用作聚焦窗口的面板 对象的距离返回到发生目录显示之前的距离。
响应于该指令， 虚拟空间设置单元 37 定义各个对象的目标位置， 并且根据时间 t 改变各个对象的位置， 从而按动画方式显示对象。
[ 列表显示期间的操作 ]
在该实施例中， 目录显示是通过简单地改变虚拟空间 5 中各个对象的位置来实现 的。这允许各个窗口在目录显示之前和之后以相同的方式被操作。因此， 即使当发生目录 显示时， 也可以点击窗口中的链接或者向窗口中的字符串输入栏输入字符串。
近年来， 由于期望能够显示多个窗口的目录的屏幕可以改善方便性， 所以可以得 到包括用于显示多个窗口的目录的技术的操作系统。但是， 这种目录显示只能从显示的多 个窗口中选择窗口， 而不能直接对目录显示中的窗口进行操作。即， 对方便性的改善还不 够。
另一方面， 在该实施例中， 显示控制单元 35 可以接受利用在目录显示中的任何一 个窗口中显示的显示目标信息发出的指令操作， 并执行基于指令操作的过程， 即使发生目 录显示时也是如此。
另外， 根据该实施例中的目录显示， 虚拟空间 5 中存在的窗口不需要都被显示。例 如， 当通过预定操作集中产生多个标签 ( 或窗口 ) 时， 信息显示设备 1 向彼此相关的窗口集 合发布唯一的群组标识符， 并与每个窗口相关联地保存群组标识符。 然后， 响应于目录显示 指令， 目录显示设置单元 38 可以显示具有共同的群组标识符的窗口的目录， 并且响应于显 示切换操作， 可以显示具有其他共同的群组标识符的窗口的目录。
当搜索出 web 页面并且随后执行例如在多个窗口 ( 标签 ) 中集中显示在搜索中 命中的 web 页面中的至少一些的操作时， 上述布置使得可以按目录方式显示集中显示的窗 口。
另外， 例如， 当发出打开在最初显示的窗口 ( 称为基础窗口 ) 中显示的链接的指 令， 产生了另一窗口 ( 称为目标窗口 )， 并且在产生的窗口中示出了链接目的地 web 页面
( 链接目的地在新的标签中显示 ) 时， 该实施例中的信息显示设备 1 可以向目标窗口分配一 个与基础窗口共同的群组标识符。响应于目录显示指令， 目录显示设置单元 38 可以按目录 形式显示被分配以共同的群组标识符的窗口。 另外， 响应于显示切换操作， 目录显示设置单 元 38 可以按目录形式显示被分配以不同的群组标识符的窗口。上述布置使得可以按目录 形式显示彼此相关的 web 页面， 从而提供高度的方便性。
虚拟照相机 71 的位置 ( 离用作窗口的面板对象的距离 ) 可以与虚拟空间 5 中的 窗口数 ( 打开的标签数 ) 相关联地预先定义。目录显示设置单元 38 响应于目录显示指令 检查虚拟空间 5 中存在的窗口数， 并且将虚拟照相机 71 移动到与该数目相关联地定义的位 置。在这种情况下， 显示了可以在虚拟照相机 71 的视场中作为目录显示的窗口数， 虚拟照 相机 71 的位置根据虚拟空间 5 中的窗口数 ( 打开的标签数 ) 而定义。但是， 如上所述， 允 许作为目录显示的窗口数并不一定是虚拟空间 5 中存在的所有窗口的数目。
如上所述， 该实施例可以实现个别窗口的显示、 所有窗口的目录显示以及某些窗 口的目录显示， 以及从一种显示风格到另一种显示风格的动画显示， 即， 以与屏幕切换不同 的方式来显示。这增强了各个显示之间的窗口间的关系的可视辨认。
[ 列表显示中的窗口选择 ] 在这种情况下， 利用在任意屏幕元素中显示的显示目标信息发出的指令操作与选 择目录显示中的任何屏幕元素的操作 ( 标签切换操作 ) 分开定义。即， 显示控制单元 35 至 少在目录显示发生时并不响应于窗口点击操作而切换聚焦窗口， 相反地， 而是接收指示选 择聚焦窗口的选择指令 ( 标签切换指令 )， 该指令例如是利用不同的键等发出的。 由于如上 所述窗口选择操作与对于显示目标信息的操作分开定义， 因此显示控制单元 35 可以接收 利用在目录中的窗口内显示的显示目标信息发出的指令操作， 并执行基于该指令操作的处 理过程， 即使发生目录显示时也是如此。
应当注意， 在目录显示发生时灰色调以半透明方式叠加到在除聚焦窗口以外的窗 口中显示的显示目标信息的纹理上， 从而使得显示目标信息显示得相对较暗 ( 所谓的暗 化 )( 图 20)。这有利于聚焦窗口的可视辨认。
另外， 标题 ( 被 HTML 数据指定为标题的文本 )、 由网站定义的位图图像 ( 图标图 像， 也被称为所谓的 “favicon” 、 快捷图标、 网站图标等等 ) 等等可以叠加显示在除聚焦窗 口以外的处于暗化显示的窗口上 ( 图 21)。
[ 从列表显示到通知信息显示的转移 ]
在该实施例中， 即使在发生目录显示时程序处理单元 34 也可以处理程序数据。这 可能需要程序处理单元 34 显示通知信息。在这种情况下， 虚拟空间 5 的设置可以被更新以 使得目录显示转移到以图 12 或 13 所示的状态来显示。
[ 显示例子 ]
在该实施例中， 要显示的图像是这样产生的 ： 先由三维绘制处理单元 42 绘制， 然 后由组合处理单元 43 叠加上字符串等， 例如通知信息等。另外， CPU 11 在要显示的图像上 叠加包含标题 ( 被 HTML 数据指定为标题的文本 ) 的标题栏 (A) 和由网站定义的图标 ( 所 谓的 “favicon” ) 等以及绘制关于可用操作的操作引导栏 (C)， 如图 22 中的例子所示。所 得到的图像可以被送入 VRAM 22 中。在图 22 中， 标题栏和操作引导栏分别显示在要显示的 图像的上方和下方， 尽管该布置并不是排他性的例子。
响应于用户显示放大窗口的指令， 该实施例中的信息显示设备 1 指定由放大显示 指令所指向的窗口， 并改变与指定窗口相对应的且被放置在虚拟空间 5 中的面板对象的尺 寸。
例如， 如图 23 所示， 窗口 61( 或面板对象 ) 的宽度 d0 被改变为宽度 d(d ＞ d0)。 因此， 在显示器上示出了比尺寸改变之前的窗口 61 宽的窗口 61， 如图 24 所示。
根据该实施例， 个别窗口 ( 标签 ) 的显示、 窗口目录的显示以及通知信息的显示可 以彼此转移， 就像动画那样。即， 显示的状态可以通过连续移动虚拟照相机 71 和用作窗口 的面板对象来加以改变。利用该布置， 改善了关于在各个显示状态下哪个窗口被显示在哪 个位置的可视辨认。
在上文中描述了通过操作形成在控制器 4 上的键等发出应用多个窗口的目录显 示的指令 ( 目录显示指令 )、 指定多个窗口之一作为要显示或操作的窗口的聚焦指令、 以及 解除目录显示并在屏幕图像的中心处显示聚焦窗口的指令的情况。
可替换地， 在控制器 4 具有用于确定其姿态的装置， 例如加速度传感器、 陀螺传感 器等的情况下， 倾斜控制器 4 自身的操作可以被接受作为指令操作等。
即， 这种控制器 4 具有形成在其前表面上的方向键、 模拟设备、 操作按钮和其他键 ( 在图中表示为 “A” 到 “D” ) 以及包含在内部的加速度传感器 51 和陀螺传感器 52， 例如如 图 25 所示。 加速度传感器 51 包含例如由一根柱支撑的支点， 并且检测由于由施加到其的加 速度引起的支点的位移而导致的柱的偏转量， 从而确定施加到支点的加速度。该实施例中 的加速度传感器 51 可以是用于检测彼此基本正交的三轴方向上的加速度 ( 由于重力引起 的加速度 ) 的三轴加速度传感器。 如图 25 所示， 加速度传感器 51 被固定安装在控制器 4 的 外壳内部， 其设置有彼此正交的参照轴， 即 x、 y 和 z 轴。这里， 例如， x 轴可以定义为与控制 器 4 的纵向方向 ( 左右方向 ) 相对应 ； y 轴可以定义为与控制器 4 的深度方向 ( 前后方向 ) 相对应 ； z 轴可以定义为与控制器 4 的宽度方向 ( 垂直于图的纸面的方向 ) 相对应。加速 度传感器 51 检测相应的三个参照轴中的加速度， 并根据检测到的加速度输出三个电压值。 具体而言， 加速度传感器 51 输出基本与确定的加速度成比例的电压信号。即， 加速度传感 器 51 在没有检测到加速度时输出参照电压 Vo， 并且生成加速度， 在生成加速度时， 取决于 输出电压值是大于还是小于参照电压 Vo 来确定关于每个轴的正和负方向的加速度。控制 器 4 输出通过将电压信号转换为数字信号 (A/D 转换 ) 而获得的数字值， 作为描述倾斜角的 信息。
在来自加速度传感器 51 的输出中， 指示 x 轴的加速度的输出根据控制器 4 以 y 轴作为中心的倾斜而改变。例如， 在控制器 4 在相对于水平表面的纵向方向上保持倾斜 θy1 度 (θy1 ＜ 0) 时， 如图 26 所示， x 轴方向上的重力加速度 a 保持为 αsinθy1(a ＝ αsinθy1)。另外， 在控制器 4 相对于水平表面保持倾斜 θy2 度 (θy2 ＞ 0) 时， 如图 27 所示， x 轴方向上的重力加速度 a 变为 αsinθy2(a ＝ αsinθy2)。在上文中， α 是负系 数。因此， 描述角度的信息变为 θ ＝ arcsin(a/α)， 这是利用加速度值 a 表达的， a 是利用 电压值 V 表示的。类似地， y 轴上的加速度根据控制器 4 以 x 轴作为中心的倾斜而改变。
陀螺传感器 52 确定控制器 4 围绕 z 轴的旋转的角速度， 并输出所确定的角速度。 CPU 11 按每一恒定时间段对来自陀螺传感器 52 的输出进行采样， 并计算积分从而确定控 制器 4 相对于 z 轴的旋转的位移量。利用上述的控制器 4， 与下列指令相对应的操作 ： A. 应用多个窗口的目录显示的指令 ( 目录显示指令 ) ； B. 指定多个窗口之一作为要显示或操作的窗口的聚焦指令 ； 以及 C. 解除目录显示并在屏幕图像的中心处显示聚焦窗口的指令， 例如按以下方式定义。 以 x 轴为中心倾斜控制器 4 进一步远离控制器 4 的用户的指令可以被定义为目录 显示指令， 或上面的 A。 至于聚焦指令或上面的 B， 以 y 轴为中心向左或向右倾斜控制器 4 的 操作可以被定义为触发要显示或操作的窗口的顺序切换， 无论是否对于目录显示。以 x 轴 为中心向控制器 4 的用户倾斜控制器 4 的操作可以被定义为解除目录显示的操作， 或上面 的 C。
应当注意， 可以确定， 为了防止目录显示或聚焦切换响应于轻微倾斜操作而实现， 这些操作只有当控制器 4 被倾斜一个超过预定角度阈值的量时才实现。
例如， CPU 11 从控制器 4 接收关于控制器 4 的倾斜角的信息， 并按如下方式操作。 这里， 假定接收到关于至少 x 轴方向上的倾斜角 θy(y 轴用作旋转轴 ) 和 y 轴方向上的倾 斜角 θx(x 轴用作旋转轴 ) 的信息。
如图 28 所示， CPU 11 检查 y 轴方向上的倾斜角 θx 是否小于预定的第一角度阈 值 θxth1(θxth1 ＜ 0)( 过程 201)。当倾斜角 θx 小于预定的第一角度阈值 θxth1 时， 确 定控制器 4 向远离控制器 4 的用户的方向倾斜一个超过预定角度阈值的角度。即， 确定发 出目录显示指令， 并且在完成过程之前执行基于目录显示指令的过程 ( 过程 202)。
同时， 当在过程 201 中确定 y 轴方向上的倾斜角 θx 不小于预定的第一角度阈值 θxth1(θxth1 ＜ 0) 时， CPU 11 检查 y 轴方向上的倾斜角 θx 是否超过预定的第二角度阈 值 θxth2(θxth2 ＞ 0)( 过程 203)。当倾斜角 θx 超过预定的第二角度阈值 θxth2 时， 确 定控制器 4 向靠近控制器 4 的用户的方向倾斜一个超过预定的角度阈值的角度。即， 确定 发出解除当前目录显示的指令。然后， CPU 11 解除当前的目录显示 ( 如果有的话 )， 并且在 发生目录显示之前将各个窗口移动到它们各自的位置， 并且在结束过程之前将虚拟照相机 71 移动到与当前聚焦窗口 ( 聚焦窗口 ) 相对的位置 ( 过程 204)。
同时， 当在过程 203 中确定倾斜角 θx 不超过预定的第二角度阈值 θxth2 时， CPU 11 检查 x 轴方向上的倾斜角 θy 是否小于预定的第三角度阈值 θyth3(θyth3 ＜ 0)( 过程 205)。当确定倾斜角 θy 小于第三角度阈值 θyth3 时， 确定控制器 4 向左倾斜一个超过预 定角度阈值的角度。然后， CPU 11 执行按预定选择顺序选择一个窗口作为聚焦窗口的过程 ( 聚焦标签切换过程 )( 过程 206)。该过程取决于当前是否发生目录显示而有所不同。具 体而言， 当不发生目录显示并且在虚拟照相机 71 的视场中在当前聚焦窗口的左侧有一个 窗口时， 该窗口被当作新的聚焦窗口， 并且虚拟照相机 71 被移动到与新的聚焦窗口直接相 对的位置处。
同时， 当在过程 206 中确定发生目录显示并且在当前聚焦窗口的同一行的左侧存 在一个窗口时， 该窗口被当作新的聚焦窗口。 另一方面， 当在当前聚焦窗口的同一行的左侧 没有窗口时， 确定在当前聚焦窗口的上方 ( 即， 在虚拟照相机 71 的视场中的上部区域 ) 是 否显示有任何窗口。如果在所关注的区域中显示有任何窗口， 则在当前聚焦窗口上方的行 的右端的窗口被选为新的聚焦窗口。当聚焦窗口已经是目录中的最上方和最左端窗口时，
不能响应于倾斜操作而实现聚焦窗口切换。
返回过程 205， 当确定 x 轴方向上的倾斜角 θy 不小于预定的第三角度阈值 θyth3(θyth3 ＜ 0) 时， CPU 11 随后确定 x 轴方向上的倾斜角 θy 是否超过预定的第四角 度阈值 θyth4(θyth4 ＞ 0)( 过程 207)。当倾斜角 θy 超过预定的第四角度阈值 θyth4 时， 确定控制器 4 向右倾斜一个超过预定角度阈值的角度， 并且 CPU 11 执行按预定选择顺 序选择一个窗口作为聚焦窗口的过程 ( 聚焦标签切换过程 )( 过程 208)。在上文中， 取决 于是否发生目录显示而执行不同的过程。具体而言， 当不发生目录显示并且在虚拟照相机 71 的视场中在当前聚焦窗口的右侧有一个窗口时， 该窗口被当作新的聚焦窗口， 并且虚拟 照相机 71 被移动到与新的聚焦窗口直接相对的位置处。
同时， 当在过程 208 中确定发生目录显示并且在当前聚焦窗口的同一行的右侧存 在一个窗口时， 该窗口被当作新的聚焦窗口。 另一方面， 当在当前聚焦窗口的同一行的右侧 没有窗口时， 确定在当前聚焦窗口的下方 ( 即， 在虚拟照相机 71 的视场中的下部区域 ) 是 否显示有任何窗口。如果在所关注的区域中显示有任何窗口， 则在当前聚焦窗口下方的行 的左端的窗口被选为新的聚焦窗口。当聚焦窗口已经是目录中的最下方和最右端窗口时， 不能响应于倾斜操作而实现聚焦窗口切换。
上述控制器 4 有利于利用倾斜操作来实现显示窗口 ( 标签 ) 切换操作。
应当注意， 第一至第四角度阈值并不一定是相同的。 例如， 在出于某种原因倾斜控 制器 4 远离控制器 4 的用户的操作并不像倾斜控制器 4 靠近用户的操作一样容易的情况 下， 与倾斜控制器 4 远离用户的操作有关的第一角度阈值的绝对值 |θxth1| 可以被定义为 小于第二角度阈值的绝对值 |θxth2|。
CPU 11 在过程 206 和 208 之后可以等待预定的时间段， 而不是简单地结束该过程， 并且重复过程 201 和其后的过程。等待时间可以根据通过从倾斜角 θy 减去一个角度阈值 ( 过程 206 中的第三角度阈值 θyth3 和过程 208 中的第四角度阈值 θyth4) 而获得的值的 绝对值的倒数定义 ( 例如， 等待时间可以通过将该倒数乘以预定常数来定义 )。 利用以上配 置， 聚焦窗口切换速度 ( 或标签切换速度 ) 可以根据倾斜角来控制。具体而言， 聚焦窗口对 于较小的倾斜角切换得相对较慢， 而对于大倾斜角切换得相对较快。
另外， 虚拟照相机 71 可以在虚拟空间 5 中根据控制器 4 自身的倾斜而移动。 例如， 当控制器 4 向右倾斜时， 虚拟照相机 71 可以相对于其视向向右移动。当控制器 4 靠近其用 户倾斜时， 虚拟照相机 71 相对于其视向向上移动。在上文中， 移动速度可以取决于倾斜大 小 ( 角度 ) 而改变。例如， 倾斜角 θ 越大， 虚拟照相机 71 每单位时间移动的量 ( 即， 移动 速度 )Δx、 Δy 就越大。
例如， 在按下向下方向键的情况下， 虚拟照相机 71 可以向远离窗口的方向移动， 从而放大其视场。在按下向上方向键的情况下， 虚拟照相机 71 可以向靠近窗口的方向移 动。根据上述操作方法， 与使用十字键来在虚拟空间 5 中移动对象的操作方法相比， 用户可 以体验到自由的感觉， 就好像在虚拟空间 5 中浮动一样， 并且因而可以直观地进行操作。
应当注意， 尽管在上文中描述了根据控制器 4 相对于预定参照状态 ( 例如， 处于水 平位置的控制器 4) 的倾斜角来执行操作的例子， 但是可以获得在形成在控制器 4 上的任何 键 ( 下文中称为倾斜指令键 ) 被按下时的角度值 θx0、 θy0， 并且可以利用倾斜角 θxd、 θyd 按下式计算倾斜角 ：θx ＝ θxd-θx0
θy ＝ θyd-θy0
其中倾斜角 θxd、 θyd 是使用角度值 θx0、 θy0 作为参照而确定的。
或者， 只有当倾斜指令键保持按下时， 才可以接受通过倾斜控制器 4 执行的操作。
倾斜指令键可以例如是图 25 中所示的键 A 至 D 和方向键中的任何一个。
控制器 4 上的各个键被由信息显示设备 1 执行的程序分配各自的功能 ( 例如， 响 应于键 B 被按下而承认点击应用 )， 尽管倾斜指令键可以与任何其他功能保持自由。
或者， 倾斜指令键可以被分配另一种功能。例如， 假定键 A 被分配一种用于显示示 出虚拟照相机 71 在虚拟空间 5 中的位置的地图的功能 ( 地图显示功能 )。在上文中， 可以 配置使得在键 A 保持按下的同时虚拟照相机 71 可以响应于控制器 4 的倾斜而在虚拟空间 5 中移动。倾斜指令键可以不总是单个键。例如， 尽管被分配以地图显示功能的键 A 被用作 倾斜指令键， 但是任何其他键 ( 例如， 键 C) 也可以排它地用作倾斜指令键。另外， 当在控制 器 4 的侧面上形成有任何键时 ( 不仅是左 / 右侧面， 而且是相对于控制器 4 的用户而言控 制器 4 的远近侧面 )， 该侧面键可以用作倾斜指令键。