多屏幕保持并轻叩手势 背景
诸如个人计算机、 膝上型计算机、 桌面计算机、 娱乐设备等计算设备越来越多地提 供更多功能和特征, 这些功能和特征使得用户难以导航并选择与用户想要在设备上启动的 功能相关的应用命令。 随着计算设备的功能和特征持续增加, 诸如鼠标、 键盘和其他输入设 备等与计算设备交互的传统技术变得较低效。 这些设备的设计者持续面临的挑战是如何并 入不仅是直观的、 而且还允许用户容易且快速地与计算设备的许多功能和特征交互的交互 技术。
概要
提供本概述以介绍多屏幕手势的简化概念。 这些简化概念在以下详细描述中进一 步描述。本概述并不旨在标识所要求保护的主题的必要特征, 也不旨在用于帮助确定所要 求保护的主题的范围。
描述了多屏幕保持并轻叩手势的各实施例。在各实施例中, 在多屏幕系统的第一 屏幕处识别保持输入, 且该保持输入当保持以选择第一屏幕上所显示的对象时被识别。在 多屏幕系统的第二屏幕处识别轻叩输入, 并且该轻叩输入在所显示的对象继续被选中时被 识别。然后可从所识别的保持和轻叩输入中确定保持并轻叩手势。在其他实施例中, 保持 和轻叩手势可被用于 : 将所显示的对象从第一屏幕上所显示的位置移动和 / 或复制到轻叩 输入位置以便显示在第二屏幕上 ; 合并所显示的对象以便显示在第二屏幕上的轻叩输入位 置处所显示的杂志页上 ; 将所显示的对象的功能应用于在第二屏幕上的轻叩输入位置处的 另外的所显示的对象 ; 和 / 或将所显示的对象与所述另外的所显示的对象相关。
附图简述
参考以下附图描述了多屏幕手势的各实施例。在各附图中, 使用相同的标号来指 代相同的特征和组件 :
图 1 示出了可实现多屏幕手势的各实施例的多屏幕系统的环境。
图 2 示出了可实现多屏幕手势的各实施例以便在普遍存在的环境中得到无缝用 户体验的具有多个设备的示例系统。
图 3 示出了多屏幕系统上的多屏幕张合 (pinch and expand) 手势的示例。
图 4 示出根据一个或多个实施例的用于多屏幕张合手势的示例方法。
图 5 示出了多屏幕系统上的多屏幕捏合装袋 (pinch-to-pocket) 手势的示例。
图 6 示出根据一个或多个实施例的用于多屏幕捏合装袋手势的示例方法。
图 7 示出了多屏幕系统上的多屏幕双叩 (dual tap) 手势的示例。
图 8 示出根据一个或多个实施例的用于多屏幕双叩手势的示例方法。
图 9 示出了多屏幕系统上的多屏幕保持并轻叩 (hold and tap) 手势的示例。
图 10 示出根据一个或多个实施例的用于多屏幕双叩手势的示例方法。
图 11 示出了多屏幕系统上的多屏幕保持并拖动手势的示例。
图 12 示出根据一个或多个实施例的用于多屏幕保持并拖动手势的示例方法。
图 13 示出了多屏幕系统上的多屏幕保持并翻页手势的示例。
图 14 示出根据一个或多个实施例的用于多屏幕保持并翻页手势的示例方法。 图 15 示出了多屏幕系统上的多屏幕书签保持手势的示例。 图 16 示出根据一个或多个实施例的用于多屏幕书签保持手势的示例方法。 图 17 示出了多屏幕系统上的多屏幕对象保持并换页手势的示例。 图 18 示出根据一个或多个实施例的用于多屏幕对象保持并换页手势的示例方法。 图 19 示出了多屏幕系统上的多屏幕同步滑动手势的示例。
图 20 示出根据一个或多个实施例的用于多屏幕同步滑动手势的示例方法。
图 21 示出了可实现多屏幕手势的各实施例的示例设备的各组件。
详细描述
多屏幕手势的各实施例使得多屏幕系统中的一个或多个计算设备的用户能够在 该系统的多于一个屏幕处提供输入来启动计算设备功能。在多屏幕手势的各实施例中, 多 屏幕系统包括可被实现为独立设备或被集成到单个多屏幕设备中的两个或更多屏幕。 用户 可输入任何类型的各种输入或输入组合, 如选择、 保持、 运动、 触摸和 / 或轻叩输入, 这些输 入在多屏幕系统或多屏幕设备的多个屏幕处被识别。 然后可从各种输入的组合中识别多屏 幕手势来启动计算设备功能。因此, 多屏幕手势使得用户能够以直观方式而非通过用于向 计算机设备输入命令的常规技术来向多屏幕系统或设备提供各种输入。
在各实施例中, 多屏幕手势可由具有多个屏幕的计算机设备来实现。或者, 多屏 幕手势可由两个或更多屏幕的多屏幕系统来实现, 这些屏幕可能不是物理连接或集成到单 个设备中, 而是诸如经由数据或网络连接来通信链接。多屏幕系统可包括多个独立的板或 手持设备, 这些设备可自动发现彼此、 由用户来显式配对、 或者另外定位在暂时的物理邻近 处。
在多屏幕手势的各实施例中, 可使用多屏幕捏合手势来浓缩多屏幕系统或设备的 多个屏幕上显示的对象。或者, 可使用多屏幕扩张手势来扩张所显示的对象以便显示在多 屏幕系统或设备的多个屏幕上。多屏幕张合手势也可在语义上缩放通过与显示器、 对象和 / 或应用相关联的信息体系结构的不同级别。多屏幕捏合装袋手势可用于将所显示的对象 装袋, 如将所显示的对象保存为多屏幕系统或设备的边框 (bezel) 下的缩略图像。
可使用多屏幕双叩手势来扩张显示在多屏幕系统或设备的多个屏幕上的显示的 对象或将该显示的对象装袋。 例如, 当在所显示的对象被装袋时确定了双叩手势, 所显示的 对象可被扩张以便在第一和第二屏幕上进行全屏显示。或者, 当在所显示的对象被全屏显 示在第一和第二屏幕上时确定了双叩手势, 则所显示的对象可被装袋。
可使用多屏幕保持并轻叩手势来将显示的对象从一个显示位置移动和 / 或复制 到另一显示位置, 如将对象移动或复制到杂志页上, 或者将对象合并到笔记本中。 可使用多 屏幕保持并拖动手势来维持所显示的对象的第一部分在第一屏幕上的显示, 并拖动所显示 的对象的显示在另一屏幕上的第二部分来将该所显示的对象的第二部分装袋来用于拆分 屏幕视图。或者, 可使用保持并拖动手势来维持所显示的对象的第一部分在一个屏幕上的 显示, 并拖动所显示的对象的被装袋的第二部分来扩张另一屏幕上的显示。
可使用多屏幕保持并翻页手势来选择显示在一个屏幕上的杂志页, 并翻动杂志页 来显示两个额外的或新的杂志页, 这与书中的翻页非常相似。杂志页在所选杂志页的方向
上翻动以便显示两个新的杂志页, 这与在书中向前或向后翻页非常相似。 或者, 保持并翻页 手势可用于维持显示在一个屏幕上的杂志页的显示, 并翻动杂志页来在另一屏幕上显示不 同的杂志页。然后可并排显示不连续的杂志页, 这对于书而言将涉及从书中撕出一页以将 其置于非连续页序来与另一页并排查看。
可使用多屏幕书签保持手势来在对屏幕上的杂志页的保持输入的位置处对杂志 页加书签, 并且可在对该杂志页维持书签的同时翻动其他杂志页以便进行查看。书签保持 手势模仿了读者在翻过书的其他页的同时在页之间保持拇指或手指来保留书中的一个位 置的动作。 另外, 书签是回到杂志页的可选择链接, 且对书签的选择输入翻回到屏幕上的杂 志页的显示。 可使用多屏幕对象保持并换页手势来将所显示的对象从一个显示位置移动和 / 或复制到另一位置, 如合并所显示的对象以便显示在杂志页上。另外, 在所显示的对象从 一个显示位置移动或复制到另一位置时可维持相对显示位置。
可使用多屏幕同步滑动手势来将所显示的对象从一个屏幕移动以便显示在另一 屏幕上, 用不同的所显示的对象来替换设备屏幕上所显示的对象, 移动所显示的对象来显 露设备屏幕上的工作空间, 和 / 或循环通过显示在系统或设备屏幕上的一个或多个工作空 间 ( 例如, 应用、 界面等 )。 同步滑动手势也可用于导航到另外的视图, 或将当前视图重新分 配到不同屏幕。另外, 不同应用或工作空间可被保持在栈上并用同步滑动手势被来回循环 通过。
虽然所描述的用于多屏幕手势的系统和方法的特征和概念能够在任何数量的不 同环境、 系统和 / 或各种配置中实现, 但多屏幕手势的各实施例在以下各示例系统和环境 的上下文中描述。
图 1 示出了一示例实现中可用于采用多屏幕手势技术的环境 100。 所示环境 100 包 括可用各种方式来配置的计算设备 102 的一个示例, 如任何类型的多屏幕计算机或设备。 例如, 计算设备 102 可被配置为计算机 ( 例如, 膝上型计算机、 笔记本计算机、 平板 PC、 桌面 计算机等 )、 移动站、 娱乐设备、 游戏设备等, 如参考图 2 进一步描述的。计算设备 102 还可 以用使得计算设备 102 执行一个或多个操作的软件来实现。
在该示例环境 100 中, 计算设备 102 是包括第一屏幕 104 和第二屏幕 106 的多屏 幕设备, 每一屏幕可被实现为任何类型的显示设备、 显示系统和 / 或触摸屏。第一和第二屏 幕可显示任何类型的背景或桌面, 以及用户界面和各种可显示对象 ( 例如, 任何类型的图 片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。第一和第二屏幕还 可显示电子形式的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。
计算设备 102 包括手势模块 108, 手势模块 108 代表了确定手势并使得对应于手势 的操作被执行的功能。计算设备还包括输入识别系统 110, 输入识别系统 110 被实现为识 别各种输入或输入组合, 如选择输入、 保持输入、 运动输入、 触摸输入、 轻叩输入等。输入识 别系统 110 可包括任何类型的输入检测特征以便在各种类型的输入之间进行区分, 这些输 入检测特征如传感器、 光传感像素、 触摸传感器、 照相机、 和 / 或解释用户交互、 手势、 输入 和运动的自然用户接口。在各实现中, 输入识别系统 110 可从可辨别变量中, 如从方向变量 ( 例如, 从右到左或相反 ) ; 从开始区域位置变量 ( 例如, 左 1、 上 1、 右 1、 下 1) 和结束区域 变量 ( 例如, 左 2、 上 2、 右 2、 下 2) ; 和 / 或从运动速率变量 ( 例如, 每秒某一数量的像素 ) 中检测第一或第二屏幕处的运动输入。输入识别系统 110 识别各种类型的输入, 且手势模块 108 从所识别的输入中标识 或确定多屏幕手势。例如, 输入识别系统 110 可识别第一屏幕 104 处的第一输入, 如触摸输 入 112, 并识别第二屏幕 106 处的第二输入, 如选择输入 114。手势模块 108 然后可从所识 别的触摸和选择输入中确定多屏幕手势的类型。 第一或第二屏幕处的输入也可被识别为包 括将输入识别系统 110 识别的一种类型的输入与另一输入进行区分的属性 ( 例如, 移动、 选 择点等 )。这一区分然后可用作从触摸输入中标识或确定运动输入并因此标识或确定要基 于相应手势的确定来执行的操作的基础。在各实现中, 计算设备 102 可包括手势数据库, 手 势数据库包括手势、 输入和 / 或运动的各种可确定表示, 从中手势模块 108 可确定或标识多 屏幕手势。
计算设备 102 还可被实现为识别并区分诸如触摸输入和指示笔输入等各种输入。 该区分可以用各种方式, 如通过识别手指输入的大小对比指示笔输入的大小来执行。区分 也可通过使用照相机对触摸输入 ( 例如, 举起一个或多个手指 )、 指示笔输入 ( 例如, 将两个 手指握在一起来指示一个点 )、 或经由自然用户接口 (NUI) 的输入进行区分来执行。 构想了 各种其他用于区分各种类型的输入的技术。
输入识别系统 110 可识别各种不同类型的输入, 且手势模块 108 可确定各种不同 手势, 如被识别为单类输入的手势以及涉及多类输入的手势。因此, 计算设备 102 的手势模 块 108 可包括双模输入模块 116, 双模输入模块代表了识别输入并标识或确定涉及双模输 入的手势的功能。手势模块 108 可通过使用识别并利用通过使用双模输入模块 116 的不同 类型的输入来支持各种不同的手势技术。例如, 双模输入模块 116 可被配置成将指示笔识 别为书写工具, 而触摸则用于操纵第一或第二屏幕上所显示的对象。应当注意, 通过在各 种类型的输入之间进行区分, 通过这些手势中的单独每一个而变得可能的手势的数量也增 加。 因此, 手势模块 108 可支持各种不同的双模的和其他的多屏幕手势 118。 此处描述 的多屏幕手势 118 的示例包括张合手势 120、 捏合装袋手势 122、 双叩手势 124、 保持并轻叩 手势 126、 保持并拖动手势 128、 保持并翻页手势 130、 书签保持手势 132、 对象保持并换页手 势 134、 以及同步滑动手势 136。这些不同多屏幕手势中的每一个在以下讨论的相应的节中 描述。尽管在不同的节中描述了每一多屏幕手势, 但显然这些手势的特征可被组合和 / 或 分开来支持其他手势。因此, 本说明书不限于这些示例。另外, 尽管以下讨论可描述选择、 保持、 运动、 触摸和轻叩输入的具体示例, 但在不同情况下可切换各种类型的输入 ( 例如, 触摸输入可被用作选择输入, 反之亦然 ), 和 / 或可用相同的输入来提供两个输入而不脱离 其精神和范围。
所示环境 100 还包括多屏幕系统 138 的示例, 该多屏幕系统包括各自具有一屏幕 的两个 ( 或更多 ) 设备, 如具有屏幕 142 的第一设备 140 以及具有屏幕 146 的第二设备 144。 屏幕不被物理连接或集成到单个设备中, 而是可诸如经由数据或网络连接来通信链接。多 屏幕系统可包括多个独立的板或手持设备, 这些设备可自动发现彼此、 由用户来显式配对、 或者另外定位在暂时的物理邻近处。在一个实现中, 多屏幕系统还可包括多屏幕设备。多 屏幕系统 138 的第一设备 140 和第二设备 144 可各自如参考计算设备 102 描述的那样来配 置, 计算设备 102 是计算机 ( 例如, 膝上型计算机、 笔记本计算机、 平板 PC、 桌面计算机等 )、 移动站、 娱乐设备、 游戏设备等的任何一种形式。
图 2 示出了包括参考图 1 描述的计算设备 102 的示例系统 200。示例系统 200 实 现了用于当在个人计算机 (PC)、 电视机设备和 / 或移动设备上运行应用程序时的无缝用户 体验的普遍存在的环境。 服务和应用在所有三个环境中基本相似地运行, 以便当使用应用、 玩视频游戏、 看视频等时在从一个设备转换到下一设备时得到共同的用户体验。
在示例系统 200 中, 多个设备通过中央计算设备互联。中央计算设备可以是多个 设备本地的, 或者可以位于多个设备的远程。在一个实施例中, 中央计算设备是 “云” 服务 器农场, 其包括通过网络、 因特网或其他数据通信链路连接到多个设备的一个或多个服务 器计算机。在一个实施例中, 该互联体系结构使得功能能够跨多个设备递送以向多个设备 的用户提供共同且无缝的体验。多个设备的每一个可具有不同的物理要求和能力, 且中央 计算设备使用一平台来使得为设备特制且又对所有设备共同的体验能被递送到设备。 在一 个实施例中, 创建目标设备的类, 且为通用设备类定制体验。设备类可由设备的物理特征、 用途类型、 或其他共同特性来定义。
在各种实现中, 计算设备 102 可采取各种不同的配置, 诸如用于计算机 202、 移动 设备 204、 和电视机 206 用途。这些配置中的每一个包括可具有一般不同的构造和能力的 设备, 并且因而计算设备 102 可根据不同的设备类中的一个或多个来配置。例如, 计算设备 102 可被实现为计算机 202 设备类, 该计算机设备类包括个人计算机、 台式计算机、 多屏幕 桌面计算机、 膝上型计算机、 上网本等等。计算设备 102 还可被实现为移动 204 设备类, 该 移动设备类包括诸如移动电话、 便携式音乐播放器、 便携式游戏设备、 平板计算机、 多屏幕 平板计算机等移动设备。计算设备 102 还可被实现为电视机 206 设备类, 该电视机设备类 包括在休闲观看环境中具有或连接到一般更大的屏幕的设备。这些设备包括电视机、 机顶 盒、 游戏控制台等。此处所描述的技术可由计算设备 102 的这些各种配置来支持, 且不限于 在以下各节中所描述的多屏幕手势的具体示例。
云 208 包括和 / 或代表用于基于服务器的服务 212 的平台 210。平台 210 抽象云 208 的硬件 ( 如, 服务器 ) 和软件资源的底层功能。基于服务器的服务 212 可包括可在所有 或大多数计算机处理在位于计算设备 102 远程的服务器上执行时使用的应用和 / 或数据。 基于服务器的服务可以作为因特网上的服务和 / 或通过订户网络 ( 如蜂窝或 WiFi 网络 ) 来提供。
平台 210 可抽象资源和功能以将计算设备 102 与其他计算设备相连接。平台 210 还可用于抽象资源的缩放来向所遇到的对经由平台 210 实现的基于服务器的服务 212 的需 求提供对应的缩放级别。因此, 在互联设备的实施例中, 手势模块 108 的功能的实现可分布 在系统 200 上。例如, 手势模块 108 可部分地在计算设备 102 上以及经由抽象云 210 的功 能的平台 208 来实现。
此外, 功能可由计算设备 102 以任何一种或多种配置来支持。例如, 手势模块 108 和输入识别系统 110 所支持的多屏幕手势技术可使用计算机 202 配置中的跟踪垫功能来支 持、 使用移动 204 配置中的触摸屏功能来支持、 和 / 或在电视 206 配置中由作为不涉及与具 体输入设备的接触的自然用户接口 (NUI) 的一部分的照相机来识别。此外, 检测并识别输 入来标识或确定某一多屏幕手势的操作的执行可分布在系统 200 上, 如由计算设备 102 来 执行和 / 或由云 208 的平台 210 支持的基于服务器的服务 212 来执行。
除了以下描述各种多屏幕手势的各节之外, 示例方法还参考根据多屏幕手势的各实施例的相应附图来描述。 一般而言, 本文描述的功能、 方法、 过程、 组件以及模块中的任一 个都可使用软件、 固件、 硬件 ( 例如, 固定逻辑电路 )、 手动处理或其任何组合来实现。软件 实现表示当由计算机处理器执行时执行指定任务的程序代码。可以在计算机可执行指令 的一般上下文中描述示例方法, 这些指令可包括软件、 应用、 例程、 程序、 对象、 组件、 数据结 构、 过程、 模块、 功能等等。程序代码可被存储在计算机处理器本地和 / 或远程的一个或多 个计算机可读存储器设备中。方法还可以在分布式计算环境中由多个计算机设备实施。此 外, 此处所描述的特征是平台无关的, 并且可在具有各种处理器的各种计算平台上实现。
多屏幕张合手势
图 3 示出了多屏幕系统 302 上的多屏幕张合手势的示例 300, 该多屏幕系统在这些 示例中被示为两屏幕设备。多屏幕系统 302 可以被实现为参考图 1 和 2 描述的各种设备中 的任一种。在该示例中, 多屏幕系统 302 包括第一屏幕 304 和第二屏幕 306, 每一屏幕被实 现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文 本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形式的杂志页, 如 任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 302 可包括如参考图 1 所示的计算设 备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示例设备 所描述的组件的任意组合来实现。尽管各示例是参考两屏幕设备来示出并描述的, 但多屏 幕张合手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。 可使用多屏幕捏合手势来浓缩多屏幕系统的多个屏幕上所显示的对象。或者, 可 使用多屏幕扩张手势来扩张所显示的对象以便显示在多屏幕系统的多个屏幕上。 在多屏幕 系统 308 的第一视图 302 中, 第一杂志页 310 被显示在第一屏幕 304 上, 第二杂志页 312 被 显示在第二屏幕 306 上。输入识别系统 110 被实现为识别第一屏幕 304 处的第一输入 314, 其中该第一输入还包括第一运动输入 316。输入识别系统 110 还可识别第二屏幕 306 处的 第二输入 318, 其中该第二输入还包括第二运动输入 320, 且第二输入大致在第一输入被识 别时被识别。
手势模块 108 被实现为从与所识别的第一输入 314 和第二输入 318 相关联的运动 输入 316、 320 中确定多屏幕捏合手势。捏合手势可被标识为可用于浓缩所显示的杂志页 310、 312 的第一和第二运动输入的跨屏幕组合。 在一实现中, 输入识别系统 110 可识别第一 和第二输入之间的距离随着运动输入而改变 ( 例如, 减小 )。 距离改变还可具有最小距离阈 值。手势模块 108 然后可从第一和第二输入之间的距离减小中确定捏合手势。
在某一些实施例中, 当在屏幕共享的边缘附近, 如在将多屏幕设备上的第一和第 二屏幕分开的边框附近的定义的区或区域中识别到手势运动输入时, 确定多屏幕捏合手 势。边框附近的区或区域可被定义为距离识别捏合手势处的边缘或定界矩形的最小距离。 在其他实施例中, 捏合手势的各个段可被增量式地识别, 如当捏合手势由以下各项构成的 时候 : 相邻边缘上的大致同步的输入 ( 例如, 手指触摸接触 ) ; 第一输入 314 保持同时第二 运动输入 320 滑向边框 ( 例如, 一个手指保持, 同时另一手指滑向共同边缘 ) ; 或导致复合 捏合手势的大致同步的两手指提起。另外, 用户可以在手势状态之间在相反方向上来回输 入张合手势, 直到提起第一和第二输入。 类似于用户界面上的双叩手势, 应用可订阅包括部 分或全部手势段的复合高级捏合和 / 或扩张手势。
多屏幕系统 302 的第二视图 322 示出了响应于捏合手势, 杂志页 310、 312 在方向
326 上从原始位置 324 浓缩的转换。多屏幕系统 302 的第三个视图 328 示出了被浓缩以供 显示的杂志页 310、 312。 捏合手势给出了当浓缩所显示的对象时缩小的外观。 在该示例中, 捏合手势浓缩杂志页, 从而缩小到多屏幕系统 302 上的虚拟桌面 330。 虚拟桌面 330 可被用 作导航到其他日志或书、 在杂志页之间拖动所显示的对象、 或留下诸如粘贴笔记和待办列 表等可见的提醒以便在任何特定的个别笔记本、 电子书、 日志或文档外部进行快速访问的 空间。替换的可导航视图可包括 : 笔记本的多个页的缩略图像的组织性视图 ( 例如, “看版 台视图” ); 具有多个页、 页标签和 / 或书签从笔记本伸出, 以及类似于虚拟桌面 330 的包围 ( 例如, “蝴蝶视图” ) 的当前笔记本的最小化或收缩的版本 ; 跨多本书和 / 或日志的 “库视 图” ; 或主屏幕。
从第三视图 328 中, 可使用多屏幕扩张手势来返回到杂志页的全屏视图, 如第一 视图 308 中所示。手势模块 108 还被实现为确定可被标识为运动输入的跨屏幕组合的多屏 幕扩张手势, 该多屏幕扩张手势可用于将杂志页 310、 312 从多屏幕系统的第三视图 328 中 所示的浓缩显示扩张。在一实现中, 输入识别系统 110 可识别输入之间的距离随着运动输 入而改变 ( 例如, 增大 )。手势模块 108 然后可从输入之间的距离的增加中确定扩张手势。 从第三视图 328 转换回到多屏幕系统 302 的第一视图 308 示出了杂志页 310、 312 被扩张 以便在第一和第二屏幕上进行全屏显示。 扩张手势给出了当扩张所显示的对象时放大的外 观。
应当理解, 第一和第二输入的表示以及运动方向的指示仅是出于讨论目的的图 示, 并且当实现所描述的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。 另外, 此 处对可能与另一屏幕处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适 用于多屏幕系统的第一或第二屏幕。另外, 还构想了跨两个或更多屏幕的三、 四、 或五手指 多屏幕张合手势, 如同可从多个手指和 / 或接触输入中识别和确定的双手拉伸和挤压手势 一样。
图 4 示出了多屏幕张合手势的示例方法 400。描述方法的次序并不旨在解释为限 制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方法。
在框 402, 在多屏幕系统的第一屏幕处识别第一输入, 该第一输入包括第一运动输 入。例如, 输入识别系统 110 在多屏幕系统 302 的第一屏幕 304 处识别第一输入 314, 该第 一输入包括第一运动输入 316。在框 404, 在多屏幕系统的第二屏幕处识别第二输入, 该第 二输入包括第二运动输入。例如, 输入识别系统 110 还可在第二屏幕 306 处识别第二输入 318, 该第二输入包括第二运动输入 320, 且第二输入大致在第一输入被识别时被识别。另 选地或另外地, 第一屏幕 304 处的第一输入 314 可对输入识别系统 110 启动一超时 ( 例如, 500ms), 在该超时之后, 如果没有提供第二输入, 则处理第一输入来获得其他单屏幕手势。
在框 406, 基于第一和第二运动输入来识别第一和第二输入之间的距离改变。例 如, 输入识别系统 110 识别第一输入 314 和第二输入 318 之间的距离随着运动输入而改变 ( 例如, 增大或减小 )。在框 408 处, 确定第一和第二输入之间的距离改变是否是距离的减 小。
如果距离在第一和第二输入之间减小 ( 例如, 自框 408 的 “是” ), 则在框 410 处, 确定捏合手势, 这给出了在浓缩所显示的对象时缩小的外观。例如, 手势模块 108 基于在第 一和第二输入之间减小距离的第一和第二运动输入来确定捏合手势。 捏合手势可被标识为可用于浓缩诸如所显示的杂志页 310、 312 之类的所显示的对象的第一和第二运动输入的 跨屏幕组合。捏合手势给出了当浓缩所显示的对象时缩小的外观。
如果距离在第一和第二输入之间增大 ( 例如, 自框 408 的 “否” ), 则在框 412 处, 确 定扩张手势, 这给出了在扩张所显示的对象时放大的外观。例如, 手势模块 108 基于在第一 和第二输入之间增大距离的第一和第二运动输入来确定扩张手势。 扩张手势可被标识为用 于扩张所显示的对象的第一和第二运动输入的跨屏幕组合, 如在扩张所显示的杂志页 310、 312 以便在多屏幕系统 302 的第一和第二屏幕上进行全屏显示时。
多屏幕捏合装袋手势
图 5 示出了多屏幕系统 502 上的多屏幕捏合装袋手势的示例 500, 该多屏幕系统 在这些示例中被示为两屏幕设备。多屏幕系统 502 可以被实现为参考图 1 和 2 描述的各种 设备中的任一种。在该示例中, 多屏幕系统 502 包括第一屏幕 504 和第二屏幕 506, 每一屏 幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图 形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形式的杂志 页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 502 可包括如参考图 1 所示的 计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示 例设备所描述的组件的任意组合来实现。尽管各示例是参考两屏幕设备来示出并描述的, 但多屏幕捏合装袋手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。 多屏幕捏合装袋手势可用于将所显示的对象装袋, 如将所显示的对象保存为多屏 幕系统的边框下的缩略图像。在多屏幕系统 502 的第一视图 508 中, 第一杂志页 510 被显 示在第一屏幕 504 上, 第二杂志页 512 被显示在第二屏幕 506 上。输入识别系统 110 被实 现为在第一屏幕 504 处识别对第一屏幕区域 516 的第一运动输入 514, 其中第一运动输入 在第一杂志页 510 被选中时被识别。输入识别系统 110 还可在第二屏幕 506 处识别对第二 屏幕区域 520 的第二运动输入 518, 其中第二运动输入在第二杂志页 512 被选中时被识别。 第一屏幕 504 的第一屏幕区域 516 和第二屏幕 504 的第二屏幕区域 520 在多屏幕系统 502 的第二视图 522 中示出。
手势模块 108 被实现为从所识别的运动输入 514、 518 中确定捏合装袋手势。捏合 装袋手势可被标识为用于浓缩第一屏幕区域 516 和第二屏幕区域 520 中所显示的杂志页 510、 512 并将杂志页装袋在将第一和第二屏幕隔开的边框 524 附近的第一和第二运动输入 的跨屏幕组合。任选地, 手势模块 108 还可从在第一输入和第二输入之间减小距离的第一 运动输入 514 和第二运动输入 518 中确定捏合装袋手势, 其中第一输入是针对第一屏幕 504 上的杂志页 510 的, 第二输入是针对第二屏幕 506 上的第二杂志页 512 的。
多屏幕系统 502 的第二视图 522 示出了响应于捏合装袋手势, 杂志页 510、 512 在 方向 528 上从原始位置 526 浓缩的转换。多屏幕系统 502 的第三视图 530 示出了在边框 524 附近装袋并被保存为缩略图像 532 以供显示的所显示的对象 ( 例如, 杂志页 )。在该示 例中, 显示了虚拟桌面 534 的更多内容, 并且当杂志页被装袋为缩略图像 532 时, 该桌面上 的任何其他所显示的对象是可访问的。在另一示例中, 所显示的对象 536( 例如, 示为被显 示为图 1 中的计算设备 102 上的文本 “zeal” 的速写 ) 被装袋到多屏幕系统 502 的边框 524 下。
当所显示的对象被装袋以便显示供访问许多其他所显示的对象的虚拟桌面 534
时, 用户可在多个日志或应用视图中交错多个任务, 然后容易地返回到被装袋的项目。另 外, 被装袋的项目可被放到笔记本或打开的笔记本的杂志页上, 以便将该项目合并到其他 工作和笔记的上下文中。
在各实施例中, 多屏幕捏合装袋手势可被用作用于在屏幕视图和 / 或应用的不同 工作集合之间进行多任务处理的通用机制。例如, 如果 web 浏览器被显示在第一屏幕 504 上, 杂志页被显示在第二屏幕 506 上, 则用户可捏合并装袋该屏幕视图对。用户还可捏合并 装袋多个屏幕视图, 在这一情况下, 沿着设备的边框 524 的该组被装袋的视图表现为任务 栏, 从中用户可在不同应用和视图之间交替。
在各实施例中, 杂志页的缩略图像 523 在被装袋时被保存到可视剪贴板。另外, 当 所显示的对象被装袋时, 缩略图像 532 可被显示在第一和 / 或第二屏幕上作为到杂志页的 可选择链接。从该第三视图 530 中, 输入识别系统 110 可识别手势模块 108 确定为缩略图 像 532 上的轻叩手势的选择输入, 该轻叩手势可用于扩张杂志页 510、 512 以便显示在第一 和第二屏幕上, 如在多屏幕系统 502 的第一视图 508 中所示的。
应当注意, 第一和第二输入的表示和运动方向的指示, 以及屏幕区域仅是出于讨 论目的的图示, 并且当实现所描述的实施例时可以出现也可以不出现在多屏幕系统的屏幕 上。 另外, 此处对可能与另一屏幕处的另一输入或运动相关的、 一个屏幕处的输入或运动的 任何描述适用于多屏幕系统的第一或第二屏幕。 图 6 示出了多屏幕捏合装袋手势的示例方法 600。描述方法的次序并不旨在解 释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方 法。
在框 602 处, 对第一屏幕区域的第一运动输入在多屏幕系统的第一屏幕处识别, 该第一运动输入被识别为选择所显示的对象。例如, 输入识别系统 110 在第一屏幕 504 处 识别对第一屏幕区域 516 的第一运动输入 514, 且该第一运动输入在第一杂志页 510 被选中 时被识别。在框 604 处, 在多屏幕系统的第二屏幕处识别对第二屏幕区域的第二运动输入, 该第二运动输入被识别为选择所显示的对象。例如, 输入识别系统 110 还在第二屏幕 506 处识别对第二屏幕区域 520 的第二运动输入 518, 且该第二运动输入在第二杂志页 512 被选 中时被识别。
在框 606 处, 从相应的第一和第二屏幕区域中所识别的第一和第二运动输入中确 定捏合装袋手势。例如, 手势模块 108 从所识别的运动输入 514、 518 中确定捏合装袋手势。 该捏合装袋手势可被标识为可用于浓缩第一屏幕区域 516 和第二屏幕区域 520 中所显示的 杂志页 510、 512 并将杂志页装袋在将第一和第二屏幕隔开的边框 524 附近的第一和第二运 动输入的跨屏幕组合。另选地或另外地, 从在第一输入和第二输入之间减小距离的第一和 第二运动输入中确定捏合装袋手势, 该第一输入是针对第一屏幕上的第一杂志页 510 的, 该第二输入是针对第二屏幕上的第二杂志页 512 的。
在框 608, 将所显示的对象装袋在多屏幕系统的将第一和第二屏幕隔开的边框附 近。例如, 杂志页 510、 512( 例如, 所显示的对象 ) 被装袋在边框 524 附近并被保存为缩略 图像 532 以供显示。在一个实施例中, 缩略图像 532 是到被装袋的杂志页的可选择连接, 和 / 或所显示的对象被保存到可视剪贴板。
在框 610, 将选择输入识别为被装袋的所显示的对象上的轻叩手势, 且在框 612,
响应于轻叩手势扩张所显示的对象以便显示在第一和第二屏幕上。 例如, 输入识别系统 110 可识别手势模块 108 确定为缩略图像 532 上的轻叩手势的选择输入, 该轻叩手势可用于扩 张杂志页 510、 512 以便显示在多屏幕系统 502 的第一和第二屏幕上。
多屏幕双叩手势
图 7 示出了多屏幕系统 702 上的多屏幕双叩手势的示例 700, 该多屏幕系统在这些 示例中被示为两屏幕设备。多屏幕系统 702 可以被实现为参考图 1 和 2 描述的各种设备中 的任一种。在该示例中, 多屏幕系统 702 包括第一屏幕 704 和第二屏幕 706, 每一屏幕被实 现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文 本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形式的杂志页, 如 任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 702 可包括如参考图 1 所示的计算设 备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示例设备 所描述的组件的任意组合来实现。尽管各示例是参考两屏幕设备来示出并描述的, 但多屏 幕双叩手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。
可使用多屏幕双叩手势来扩张或装袋显示在多屏幕系统的多个屏幕上的所显示 的对象。 例如, 当在所显示的对象被装袋时确定了双叩手势, 所显示的对象可被扩张以便在 第一和第二屏幕上进行全屏显示。或者, 当在所显示的对象被全屏显示在第一和第二屏幕 上时确定了双叩手势, 则所显示的对象可被装袋。 在多屏幕系统 708 的第一视图 702 中, 第一杂志页 710 被显示在第一屏幕 704 上, 第二杂志页 712 被显示在第二屏幕 706 上。输入识别系统 110 被实现为在第一屏幕 704 处 识别对第一杂志页 710 的第一轻叩输入 714。输入识别系统 110 还可在第二屏幕 706 处识 别对第二杂志页 712 的第二轻叩输入 716, 其中该第二轻叩输入大致在第一轻叩输入被识 别时被识别。
或者, 单个输入 ( 例如, 用手指、 拇指、 手掌等 ) 可大致同时接触第一和第二屏幕来 启动双叩手势输入。例如, 多屏幕设备在屏幕之间可具有极少或没有脊线、 外壳或边框, 在 这一情况下, 单个输入可一起接触两个屏幕。此外, 具有两个 ( 或更多 ) 独立屏幕的多屏幕 系统可被定位成使得屏幕之间的拇指或手指 ( 例如, 像被放置在书中的页之间的手指 ) 与 两个屏幕形成接触。
手势模块 108 被实现为从所识别的轻叩手势 714、 716 中确定多屏幕双叩手势。双 叩手势可被标识为第一和第二轻叩输入的跨屏幕组合。多屏幕系统 702 的第二视图 718 示 出双叩手势可用于将杂志页作为缩略图像 720 装袋在多屏幕系统的将第一和第二屏幕隔 开的边框 722 附近。 在该示例中, 显示了虚拟桌面 724, 并且当杂志页被装袋为缩略图像 720 时, 该桌面上的任何其他所显示的对象是可访问的。
多屏幕系统 702 的第二视图 718 还示出双叩手势可用于扩张所显示的对象以便显 示在多屏幕系统的第一和第二屏幕上。例如, 输入识别系统 110 被实现为在第一屏幕 704 处识别对缩略图像 720 的第一轻叩输入 726, 并在第二屏幕 706 处识别对缩略图像 720 的 第二轻叩输入 728, 其中第二轻叩输入大致在第一轻叩输入被识别时被识别。手势模块 108 然后可从所识别的轻叩输入 726、 728 中确定多屏幕双叩手势, 且该双叩手势可用于扩张杂 志页 710、 712 以便显示在第一和第二屏幕上, 如多屏幕系统 702 的第一视图 708 中所示。
多屏幕系统 702 的第三视图 730 示出了一拆分屏幕视图, 该拆分屏幕视图包括在
第一屏幕上全屏显示的所显示的对象的第一部分, 以及在第二屏幕上浓缩显示的所显示的 对象的第二部分。例如, 第一杂志页 710 被全屏显示在第一屏幕 704 上, 而第二杂志页 712 被装袋以便显示在第二屏幕 706 上。在一个实现中, 输入识别系统 110 可识别对第一或第 二屏幕上的杂志页 710、 712 之一的选择输入, 如多屏幕系统 702 的第二视图 718 中所示的 轻叩输入 726、 728 之一。单叩输入可用于启动杂志页的拆分屏幕视图, 如多屏幕系统 702 的第三视图 730 中所示。
应当理解, 第一和第二输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 8 示出了多屏幕双叩手势的示例方法 800。描述方法的次序并不旨在解释为限 制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方法。
在框 802, 在多屏幕系统的第一屏幕处识别对所显示的对象的第一轻叩输入。例 如, 输入识别系统 110 在第一屏幕 704 处识别对第一杂志页 714 的第一轻叩输入。 在框 804, 在多屏幕系统的第二屏幕处识别对所显示的对象的第二轻叩输入, 该第二轻叩输入大致在 第一轻叩输入被识别时被识别。例如, 输入识别系统 110 还可在第二屏幕 706 处识别对第 二杂志页 712 的第二轻叩输入 716, 其中该第二轻叩输入大致在第一轻叩输入被识别时被 识别。
在框 806, 从所识别的第一和第二轻叩输入中确定双叩手势。例如, 手势模块 108 从所识别的轻叩手势 714、 716 中确定多屏幕双叩手势。双叩手势可被标识为第一和第二 轻叩输入的跨屏幕组合, 且该双叩手势可用于扩张或装袋显示在多屏幕系统 702 的第一和 第二屏幕上的所显示的对象。或者, 大致同时接触第一和第二屏幕的单个输入 ( 例如, 用手 指、 拇指、 手掌等 ) 可被识别并确定为双叩手势输入。在各实施例中, 当在所显示的对象被 装袋时确定了双叩手势, 所显示的对象可被扩张以便在第一和第二屏幕上进行全屏显示。 或者, 当在所显示的对象被全屏显示在第一和第二屏幕上时确定了双叩手势, 则所显示的 对象可被装袋。
在框 808, 在第一或第二屏幕之一上识别对所显示的对象的单个选择输入, 来启 动所显示的对象的拆分屏幕视图。例如, 输入识别系统 110 在第一或第二屏幕上识别对杂 志页 710、 712 之一的单个选择输入, 如多屏幕系统 702 的第二视图 718 中所示的轻叩输入 726、 728 之一。 单叩输入可用于启动杂志页的拆分屏幕视图, 如多屏幕系统 702 的第三视图 730 中所示。
多屏幕保持并轻叩手势
图 9 示出了多屏幕系统 902 上的多屏幕保持并轻叩手势的示例 900, 该多屏幕系统 在这些示例中被示为两屏幕设备。多屏幕系统 902 可以被实现为参考图 1 和 2 描述的各种 设备中的任一种。在该示例中, 多屏幕系统 902 包括第一屏幕 904 和第二屏幕 906, 每一屏 幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图 形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形式的杂志 页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 902 可包括如参考图 1 所示的 计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示例设备所描述的组件的任意组合来实现。尽管各示例是参考两屏幕设备来示出并描述的, 但多屏幕保持并轻叩手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。
可使用多屏幕保持并轻叩手势来将显示的对象从一个显示位置移动和 / 或复制 到另一显示位置, 如将对象移动或复制到杂志页上, 或者将对象合并到笔记本中。在各实 施例中, 一般的功能可包括 : 在一个屏幕上对命令的保持输入, 以及在另一屏幕上的轻叩输 入来在该另一屏幕上应用该命令 ; 对参数值 ( 例如, 颜色、 画笔浓度、 图像效果、 过滤器等 ) 的保持输入, 以及在另一屏幕上的轻叩输入来将该参数值应用于显示在该另一屏幕上的对 象; 和 / 或对标签、 类别或其他元数据的保持输入, 以及轻叩输入来将该特征应用于显示在 另一屏幕上的对象。在一个示例中, 日志或笔记本可包括可在日志或笔记本的一页上查看 的自定义贴纸。贴纸可被保持在一页上 ( 例如, 显示在一个屏幕上 ), 然后轻叩以便在另一 页上 ( 例如, 在另一屏幕上 ) 的轻叩位置处应用该贴纸。贴纸可具有附连到它们的具体语 义, 如 “花费” 、 “待办” 、 “个人” 、 “收据” 等, 且贴纸可用于标记内容以便于后续搜索和组织。
在多屏幕系统 902 的第一视图 908 中, 杂志页 910 被显示在第一屏幕 904 上, 且诸 如所显示的对象 912 等各种对象被显示在第二屏幕 906 上的虚拟桌面 914 上。输入识别系 统 110 被实现为在第二屏幕 906 处识别保持输入 916, 其中保持输入在保持并选择第二屏幕 906 上所显示的对象 912 时被识别。输入识别系统 110 还可在第一屏幕 904 处识别轻叩输 入 918, 其中该轻叩输入在第二屏幕 906 上选择所显示的对象 912 时被识别。
手势模块 108 被实现为从所识别的保持输入 916 和轻叩输入 918 中确定多屏幕保 持并轻叩手势。保持并轻叩手势可被标识为保持和轻叩手势的跨屏幕组合, 且该手势可用 于将所显示的对象 912 从第二屏幕 906 上所显示的位置移到轻叩输入位置以便显示在第一 屏幕 904 上, 如 920 处所指示的。多屏幕系统 902 的第二视图 922 示出了双叩手势可用于 将所显示的对象 912 从第二屏幕 906 上所显示的位置 924 移动, 并合并所显示的对象 912 以便显示在第一屏幕 904 的轻叩输入位置 926 处显示的杂志页 910 上。多屏幕系统 902 的 第三视图 928 示出了双叩手势可用于复制所显示的对象 912 来生成对象副本 930, 并在第一 屏幕 904 上的轻叩输入位置 932 处启动对象副本 930 的显示。
在多屏幕保持并轻叩手势的其他实施例中, 输入识别系统 110 可在第一屏幕 904 上识别对另外的所显示的对象 ( 例如, 杂志页 910) 的轻叩输入 918, 并且该保持并轻叩手势 因而可用于将所显示的对象 912 与另外的所显示的对象进行相关 ( 例如, 将所显示的对象 912 与杂志页 910 进行相关 )。另外, 所显示的对象可表示一功能, 且保持并轻叩手势用于 将该所显示的对象的功能应用于在多屏幕系统 902 的第一或第二屏幕上的轻叩输入位置 处另外的所显示的对象。
应当理解, 保持并轻叩输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 10 示出了多屏幕保持并轻叩手势的示例方法 1000。描述方法的次序并不旨在 解释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换 方法。
在框 1002, 在多屏幕系统的第一屏幕处识别保持输入, 该保持输入当保持以选择第一屏幕上所显示的对象时被识别。例如, 输入识别系统 110 在屏幕 906 处识别保持输入 916, 并且该保持输入在保持以便选择屏幕 906 上所显示的对象 912 时被识别。在框 1004, 在多屏幕系统的第二屏幕处识别轻叩输入, 该轻叩输入在所显示的对象被选中时被识别。 例如, 输入识别系统 110 还在屏幕 904 处识别轻叩输入 918, 且该轻叩输入在所显示的对象 912 在屏幕 906 上被选中时被识别。 在一个实施例中, 该轻叩输入可被识别为对第二屏幕上 另外的所显示的对象的轻叩输入, 且该保持并轻叩手势可用于将所显示的对象与所述另外 的所显示的对象相关。
在框 1006, 从所识别的保持和轻叩输入中确定保持并轻叩手势。例如, 手势模块 108 从所识别的保持输入 916 和轻叩输入 918 中确定多屏幕保持并轻叩手势, 并且该保持并 轻叩手势可被标识为保持和轻叩输入的跨屏幕组合。在各实施例中, 该保持并轻叩手势可 用于将所显示的对象从第一屏幕上所显示的位置移到轻叩输入位置以便显示在第二屏幕 上 ( 在框 1008) ; 合并所显示的对象以便显示在第二屏幕上的轻叩输入位置处所显示的杂 志页上 ( 在框 1010) ; 复制所显示的对象来生成对象副本, 以及在第二屏幕上的轻叩输入位 置处显示该对象副本 ( 在框 1012) ; 和 / 或将所显示的对象的功能应用于在第二屏幕上的 轻叩输入位置处的另外的所显示的对象 ( 在框 1014)。 多屏幕保持并拖动手势
图 11 示出了多屏幕系统 1102 上的多屏幕保持并拖动手势的示例 1100, 该多屏幕 系统在这些示例中被示为两屏幕设备。 多屏幕系统 1102 可以被实现为参考图 1 和 2 描述的 各种设备中的任一种。 在该示例中, 多屏幕系统 1102 包括第一屏幕 1104 和第二屏幕 1106, 每一屏幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形 式的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 1102 可包括如参考图 1 所示的计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示例设备所描述的组件的任意组合来实现。 尽管各示例是参考两屏幕设备来示出并 描述的, 但多屏幕保持并拖动手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实 现。
可使用多屏幕保持并拖动手势来维持所显示的对象的第一部分在第一屏幕上的 显示, 并拖动所显示的对象的显示在另一屏幕上的第二部分来将该所显示的对象的第二部 分装袋来用于拆分屏幕视图。或者, 可使用保持并拖动手势来维持所显示的对象的第一部 分在一个屏幕上的显示, 并拖动所显示的对象的被装袋的第二部分来扩张另一屏幕上的显 示。拖动手势的方向也可基于不同语义来确定 ( 例如, 向上运动、 向下运动、 朝向边框、 远离 边框等 )。对于多屏幕保持并拖动手势, 可为不同动作定义四到八个基本方向。
在多屏幕系统 1108 的第一视图 1102 中, 第一杂志页 1110 被显示在第一屏幕 1104 上, 第二杂志页 1112 被显示在第二屏幕 1106 上。输入识别系统 110 被实现为在第一屏幕 1104 处识别保持输入 1114, 其中该保持输入当被保持在原处时被识别。输入识别系统 110 还可在第二屏幕 1106 处识别运动输入 1116, 其中该运动输入被识别为当保持输入保留在 原处时选择所显示的对象 ( 例如, 杂志页 1112)。
手势模块 108 被实现为从所识别的保持输入 1114 和运动输入 1116 中确定多屏幕 保持并拖动手势。保持并拖动手势可被标识为保持和运动输入的跨屏幕组合, 且该手势可
用于维持第一杂志页 1110 在第一屏幕 1104 上的显示, 并拖动显示在第二屏幕 1106 上的第 二杂志页 1112 来将第二杂志页装袋来用于杂志页的拆分屏幕视图。响应于保持并拖动手 势, 多屏幕系统 1102 的第二视图 1118 示出第一杂志页 1110 被维持显示在第一屏幕 1104 上, 且第二杂志页 1112 被装袋在第二屏幕 1106 上的、 该多屏幕系统的边框 1120 附近, 来用 于杂志页的拆分屏幕视图。在一个实施例中, 第二杂志页 1112 被装袋为缩略图像, 该缩略 图像也可以是到第二杂志页 1112 的可选择链接。
多屏幕系统 1102 的第三视图 1122 示出了多屏幕保持并拖动手势可用于维持所显 示的对象的第一部分在一个屏幕上的显示, 并拖动所显示的对象的被装袋的第二部分以便 在另一屏幕上扩张显示, 或启动所显示的对象的多屏幕显示。例如, 输入识别系统 110 可在 第一屏幕 1104 处识别保持输入 1124, 其中该保持输入当被保持在原处时被识别。 输入识别 系统 110 还可在第二屏幕 1106 处识别运动输入 1126, 其中该运动输入被识别为在杂志页 被装袋 ( 例如, 如第二视图 1118 中所示的杂志页 1112) 时在保持输入保留在原处 ( 例如, 保持第一杂志页 1110) 的同时选择第二杂志页 1112。手势模块 108 可从所识别的保持输 入 1124 和运动输入 1126 中识别多屏幕保持并拖动手势, 且该保持并拖动手势可用于在方 向 1128 上扩张被装袋的第二杂志页 1112 以便显示在第二屏幕 1106 上。 应当注意, 保持和运动输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 12 示出了多屏幕保持并拖动手势的示例方法 1200。描述方法的次序并不旨在 解释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换 方法。
在框 1202, 在多屏幕系统的第一屏幕处识别保持输入, 该保持输入在保持在原处 时被识别。例如, 输入识别系统 110 在第一屏幕 1104 处识别保持输入 1114, 其中该保持输 入当被保持在原处时被识别。 在框 1204, 在多屏幕系统的第二屏幕处识别运动输入, 该运动 输入被识别为在保持输入保留在原处的同时选择所显示的对象。例如, 输入识别系统 110 还在第二屏幕 1106 处识别运动输入 1116, 其中该运动输入被识别为当保持输入保留在原 处的同时选择第二杂志页 1112。
在框 1206, 从所识别的保持和运动输入中确定保持并拖动手势。例如, 手势模块 108 从所识别的保持输入 1114 和运动输入 1116 中确定多屏幕保持并拖动手势。 保持并拖动 手势可被标识为保持和运动输入的跨屏幕组合。在各实施例中, 保持并拖动手势可用于维 持所显示的对象的第一部分在第一屏幕上的显示, 并拖动所显示的对象的被显示在第二屏 幕上的第二部分以便将所显示的对象的第二部分装袋来用于拆分屏幕视图 ( 在框 1208) ; 维持所显示的对象的第一部分在第一屏幕上的显示并拖动所显示的对象的被装袋的第二 部分来扩张第二屏幕上的显示 ( 在框 1210) ; 维持所显示的对象在第一屏幕上的显示并将 所显示的对象的显示扩张到第二屏幕上 ( 在框 1212) ; 和 / 或启动所显示的对象的多屏幕 显示 ( 在框 1214)。
多屏幕保持并翻页手势
图 13 示出了多屏幕系统 1302 上的多屏幕保持并翻页手势的示例 1300, 该多屏幕
系统在这些示例中被示为两屏幕设备。 多屏幕系统 1302 可以被实现为参考图 1 和 2 描述的 各种设备中的任一种。 在该示例中, 多屏幕系统 1302 包括第一屏幕 1304 和第二屏幕 1306, 每一屏幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示电子形 式的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 1302 可包括如参考图 1 所示的计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所示的示例设备所描述的组件的任意组合来实现。 尽管各示例是参考两屏幕设备来示出并 描述的, 但多屏幕保持并翻页手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实 现。
可使用多屏幕保持并翻页手势来选择显示在一个屏幕上的杂志页, 并翻动杂志页 来显示两个额外的或新的杂志页, 这与书中的翻页非常相似。杂志页在所选杂志页的方向 上翻动以便显示两个新的杂志页, 这与在书中向前或向后翻页非常相似。 或者, 保持并翻页 手势可用于维持显示在一个屏幕上的杂志页的显示, 并翻动杂志页来在另一屏幕上显示不 同的杂志页。然后可并排显示不连续的杂志页, 这对于书而言将涉及从书中撕出一页以将 其置于非连续页序来与另一页并排查看。在一个实施例中, 多屏幕保持并翻页手势可被配 置成或者翻动杂志页来显示两个新的杂志页, 或者维持第一杂志页的显示并翻动杂志页来 与第一杂志页并排地显示不同的、 非连续的第二杂志页。
在多屏幕系统 1308 的第一视图 1302 中, 第一杂志页 1310 被显示在第一屏幕 1304 上, 第二杂志页 1312 被显示在第二屏幕 1306 上。输入识别系统 110 被实现为在第一屏幕 1304 处识别保持输入 1314, 其中该保持输入在保持来选择在第一屏幕 1304 上显示的杂志 页 1310 时被识别。输入识别系统 110 还可在第二屏幕 1316 处识别运动输入 1306, 其中该 运动输入在保持输入保留在原处时被识别。
手势模块 108 被实现为从所识别的保持输入 1314 和运动输入 1316 中确定多屏幕 保持并翻页手势。保持并翻页手势可被标识为保持和运动输入的跨屏幕组合, 在各实施例 中这些输入可包括 : 使用一个或两个输入设备 ( 例如, 一个手指、 或两个手指 ) 在相对的屏 幕上的保持和拖动输入 ; 和 / 或保持输入和跨过边框到相对屏幕上的拖动输入。保持并翻 页手势可用于在第一屏幕 1304 上选择杂志页 1310, 同时翻动一个或多个另外的杂志页以 便显示。多屏幕系统 1302 的第二视图 1318 示出两个另外的杂志页 1320、 1322 被翻页以便 显示在相应的第一和第二屏幕 1304、 1306 上。或者, 多屏幕系统 1302 的第三视图 1324 示 出杂志页 1310 的显示被维持在第一屏幕 1304 上, 且非连续的杂志页 1322 被翻页以便在第 二屏幕 1306 上并排显示。
应当注意, 保持和运动输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 14 示出了多屏幕保持并翻页手势的示例方法 1400。描述方法的次序并不旨在 解释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换 方法。
在框 1402, 在多屏幕系统的第一屏幕处识别保持输入, 该保持输入在保持以便选择第一屏幕上所显示的杂志页时被识别。例如, 输入识别系统 110 在第一屏幕 1304 处识别 保持输入 1314, 且该保持输入在保持来选择在第一屏幕 1304 上显示的杂志页 1310 时被识 别。 在框 1404, 在多屏幕系统的第二屏幕处识别运动输入, 该运动输入在保持输入保留在原 处时被识别。例如, 输入识别系统 110 还在第二屏幕 1306 处识别运动输入 1316, 且该运动 输入在保持输入保留在原处时被识别。
在框 1406, 从所识别的保持和运动输入中确定保持并翻页手势, 且该保持并翻页 手势可用于选择杂志页同时翻动另外的杂志页以便显示。例如, 手势模块 108 从所识别的 保持输入 1314 和运动输入 1316 中确定多屏幕保持并翻页手势。保持并翻页手势可被标识 为保持和运动输入的跨屏幕组合。在各实施例中, 保持并翻页手势可用于选择显示在第一 屏幕上的杂志页并翻动杂志页 ( 任选地, 在所选杂志页的方向上 ) 以便显示另外两个杂志 页, 这两个杂志页中的每一页被各自显示在第一和第二屏幕上 ( 在框 1408) ; 维持第一屏幕 上显示的杂志页的显示并翻动杂志页来在第二屏幕上显示不同的杂志页 ( 在框 1410) ; 和 / 或维持第一屏幕上显示的杂志页的显示并翻动杂志页来在第二屏幕上与第一杂志页并排 地显示非连续的杂志页 ( 在框 1412)。
在一个实施例中, 保持并翻页手势可被配置成选择第一屏幕上显示的杂志页, 并 翻动杂志页来显示两个另外的杂志页, 这两个另外的杂志页的每一页各自被显示在第一和 第二屏幕上 ( 如参考框 1408 所描述的 ), 或维持第一屏幕上显示的杂志页的显示并翻动杂 志页来在第二屏幕上显示不同的杂志页 ( 如参考框 1410 和 1412 所描述的 )。
多屏幕书签保持手势
图 15 示出了多屏幕系统 1502 上的多屏幕书签保持手势的示例 1500, 该多屏幕系 统在这些示例中被示为两屏幕设备。多屏幕系统 1502 可以被实现为参考图 1 和 2 描述的 各种设备中的任一种。 在该示例中, 多屏幕系统 1502 包括第一屏幕 1504 和第二屏幕 1506, 每一屏幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。 屏幕还可显示电子形式 的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 1502 可包括如参考图 1 所示的计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所 示的示例设备所描述的组件的任意组合来实现。 尽管各示例是参考两屏幕设备来示出并描 述的, 但多屏幕书签保持手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。
可使用多屏幕书签保持手势来在对屏幕上的杂志页的保持输入的位置处对杂志 页加书签, 并且可在对该杂志页维持书签的同时翻动其他杂志页以便进行查看。书签保持 手势模仿了读者在翻过书的其他页的同时在页之间保持拇指或手指来保留书中的一个位 置的动作。 另外, 书签是回到杂志页的可选择链接, 且对书签的选择输入翻回到屏幕上的杂 志页的显示。
在多屏幕系统 1508 的第一视图 1502 中, 第一杂志页 1510 被显示在第一屏幕 1504 上, 第二杂志页 1512 被显示在第二屏幕 1506 上。第一杂志页 1510 被显示在加了书签的杂 志页 1514 上。输入识别系统 110 被实现为在第一屏幕 1504 处识别保持输入 1516, 其中该 保持输入当在第一屏幕 1504 上加了书签的杂志页 1514 的边缘附近保持在原处时被识别。 输入识别系统 110 还可在第二屏幕 1506 处识别运动输入 1518, 其中该运动输入在保持输入 保留在原处时被识别。在一个实施例中, 在第二屏幕 1506 处沿着杂志页 1512 的外边缘识别运动输入 1518, 且该运动输入可用于在 1520 处翻动杂志页同时对第一屏幕 1504 上的杂 志页 1514 维持书签。
手势模块 108 被实现为从所识别的保持输入 1516 和运动输入 1518 中确定多屏幕 书签保持手势。书签保持手势可被标识为保持和运动输入的跨屏幕组合, 且该手势可用于 在第一屏幕 1504 上的保持输入 1516 的位置处为杂志页 1514 加书签。在各实施例中, 显示 书签标识符 1522 来标识加了书签的杂志页 1514 以及该书签在第一屏幕上的位置。在该示 例中, 书签标识符 1522 是加书签的杂志页 1514 的部分显示。书签和 / 或书签标识符是到 第一屏幕 1504 上加书签的杂志页 1514 的可选择链接, 且输入识别系统 110 可识别对书签 的选择输入, 该选择输入可用于翻回来并在第一屏幕上显示杂志页 1514。
多屏幕系统 1502 的第二视图 1524 示出了替换保持输入 1526, 如当用户用一个手 保持两屏幕设备同时在第一屏幕 1504 上对杂志页 1510 加书签的时候。输入识别系统 110 被实现为在第一屏幕 1504 处识别保持输入 1526, 并且还在第二屏幕 1506 处识别运动输入 1528, 其中该运动输入是在保持输入保留在原处时被识别的。在一个实施例中, 运动输入 1528 在第二屏幕 1506 处识别, 且可用于在维持书签的同时翻动杂志页。在一个实现中, 输 入识别系统 110 可在定义的区域, 如用户可能既保持设备又对页加书签的区域中识别书签 保持手势。另选地或另外地, 多屏幕系统 1502 可以被实现为传感屏幕的定向, 使得对页加 书签自动自适应于用户保持设备的方式。
多屏幕系统 1502 的第三视图 1530 示出从中确定书签的保持输入可包括在杂志页 1514 的角落附近的滑动运动输入 1532。滑动运动输入 1532 可被识别为启动保持输入的运 动的进展, 且滑动运动输入可被确定为在角落处对杂志页 1514 加书签。对杂志页 1514, 书 签被维持在第一屏幕 1504 上, 同时在 1534 处翻动其他杂志页以便查看。在各实施例中, 存 在可被实现来在以下各动作之间区分的各种技术 : 保持一页以便临时保存位置 ; 用书签来 显式地对页 “折角” ; 或翻回到由临时保持或书签表示的页。在一个实施例中, 保持输入可被 识别为隐式地临时保存页位置。 然后, 用户可简单地提起输入来丢弃临时书签, 或者提供滑 动运动输入来翻回到所保存的页位置。在另一实施例中, 如果大致在保持输入的同时启动 了滑动运动输入, 则可创建页折角书签。 在另一实施例中, 折角书签可以仅在杂志页的边界 周围的定义位置处识别 ( 例如, 在页的角落处 ), 而隐式临时页保持可对较大的面积或区域 实现。
应当注意, 保持和运动输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 16 示出了多屏幕书签保持手势的示例方法 1600。描述方法的次序并不旨在解 释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方 法。
在框 1602, 在多屏幕系统的第一屏幕处识别保持输入, 该保持输入当在显示在第 一屏幕上的杂志页的边缘附近保持在原处时被识别。例如, 输入识别系统 110 在第一屏幕 1504 处识别保持输入 1516, 且保持输入当在第一屏幕 1504 上加书签的杂志页 1514 的边 缘附近保持在原处时被识别。保持输入可包括在杂志页 1514 的角落附近的滑动运动输入1532。 输入识别系统 110 识别滑动运动输入为启动保持输入的运动的进展, 且手势模块 108 从该滑动运动输入中确定书签保持手势来对杂志页加书签。
在框 1604, 在多屏幕系统的第二屏幕处识别运动输入, 该运动输入在保持输入保 留在原处时被识别。例如, 输入识别系统 110 还在第二屏幕 1506 处识别运动输入 1518, 且 该运动输入在保持输入保留在原处时被识别。输入识别系统 110 还可识别沿着显示在第二 屏幕 1506 上的相对的杂志页的外边缘的运动输入, 且该运动输入可用于翻动杂志页同时 对第一屏幕 1504 上的杂志页 1514 维持书签。
在框 1606, 从所识别的保持和运动输入中确定书签保持手势, 该书签保持手势可 用于在第一屏幕上的保持输入的位置处对杂志页加书签。例如, 手势模块 108 从所识别的 保持输入 1516 和运动输入 1518 中确定多屏幕书签保持手势。书签保持手势可被标识为保 持和运动输入的跨屏幕组合。书签和 / 或书签标识符是到第一屏幕 1504 上加书签的杂志 页的可选择链接, 且输入识别系统 110 识别对书签的选择输入, 该选择输入可用于翻回并 在第一屏幕上显示杂志页。
在框 1608, 显示书签标识符来标识加书签的杂志页以及该书签在第一屏幕上的位 置。例如, 显示书签标识符 1522 来标识加书签的杂志页 1514 以及该书签在第一屏幕上的 位置。在一个实现中, 书签标识符 1522 可以是加书签的杂志页本身的部分显示。
多屏幕对象保持并换页手势
图 17 示出了多屏幕系统 1702 上的多屏幕对象保持并换页手势的示例 1700, 该多 屏幕系统在这些示例中被示为两屏幕设备。多屏幕系统 1702 可以被实现为参考图 1 和 2 描述的各种设备中的任一种。在该示例中, 多屏幕系统 1702 包括第一屏幕 1704 和第二屏 幕 1706, 每一屏幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型 的图片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。屏幕还可显示 电子形式的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 1702 可包括如 参考图 1 所示的计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考 图 21 所示的示例设备所描述的组件的任意组合来实现。尽管各示例是参考两屏幕设备来 示出并描述的, 但多屏幕对象保持并换页手势的各实施例可以由具有两个以上屏幕的多屏 幕系统来实现。
多屏幕对象保持并换页手势可用于将所显示的对象 ( 或多个对象 ) 从一个显示位 置移动和 / 或复制到另一位置, 如合并所显示的对象以便显示在杂志页上。另外, 在所显示 的对象从一个显示位置移动或复制到另一位置时可维持相对显示位置。 这还可包括对用对 于一系列连续的对象的轻叩选择输入来选择的多个对象的选择, 然后保持输入保持该选择 同时识别改变杂志页的运动输入。该手势然后可被确定为将保持的对象全部移动和 / 或复 制到所显示的新杂志页, 同时维持对象之间的相对显示位置和 / 或相对空间关系。另选地 或另外地, 该手势可包括对在一页上开始的对象的选择, 然后保持这些对象同时翻动杂志 页, 并且选择来自其他页的另外的对象以便添加到对象选择中并随着组一起携带。
在多屏幕系统 1708 的第一视图 1702 中, 第一杂志页 1710 被显示在第一屏幕 1704 上, 第二杂志页 1712 被显示在第二屏幕 1706 上。输入识别系统 110 被实现为在第一屏幕 1704 处识别保持输入 1714, 其中该保持输入在保持以选择第一屏幕 1704 上所显示的对象 1716 时被识别。 输入识别系统 110 还可在第二屏幕 1706 处识别运动输入 1718, 其中该运动输入在所显示的对象 1716 被选中的同时被识别, 且该运动输入可用于在 1720 处改变杂志 页。当在 1720 处改变杂志页时, 显露后续的杂志页 1722 以便显示。在一个实施例中, 在第 二屏幕 1506 处沿着杂志页 1512 的外边缘识别运动输入 1518, 且该运动输入可用于在 1520 处翻动杂志页同时对第一屏幕 1504 上的杂志页 1514 维持书签。
手势模块 108 被实现为从所识别的保持输入 1714 和运动输入 1718 中确定多屏幕 对象保持并换页手势。对象保持并换页手势可被标识为保持和运动输入的跨屏幕组合, 且 该手势可用于移动或复制所显示的对象 1716 以便显示在当前显示的杂志页上。多屏幕系 统 1702 的第二视图 1724 示出所显示的对象 1716 从杂志页 1710 移动 ( 例如, 或者从杂志 页 1710 复制 ) 以便显示在当前显示的杂志页 1726 上, 该杂志页在第一屏幕 1704 上显示。 所显示的对象 1716 在杂志页被改变的同时保留被选中。输入识别系统 110 然后可识别所 显示的对象 1716 从保持输入释放, 且该对象保持并换页手势可用于移动或复制所显示的 对象以便显示在当前显示的杂志页上。另外, 在所显示的对象从一个显示位置移动或复制 到另一位置时可维持所显示的对象的相对显示位置。
应当注意, 保持和运动输入的表示仅是出于讨论目的的图示, 并且当实现所描述 的实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕 处的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第 一或第二屏幕。
图 18 示出了多屏幕对象保持并换页手势的示例方法 1800。描述方法的次序并不 旨在解释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现 替换方法。
在框 1802, 在多屏幕系统的第一屏幕处识别保持输入, 该保持输入当保持以选择 第一屏幕上所显示的对象时被识别。例如, 输入识别系统 110 在第一屏幕 1704 处识别保持 输入 1714, 其中该保持输入在保持以选择第一屏幕 1704 上所显示的对象 1716 时被识别。 在框 1804, 在多屏幕系统的第二屏幕处识别运动输入, 该运动输入在所显示的对象被选中 的同时被识别, 且该运动输入可用于改变一个或多个杂志页。例如, 输入识别系统 110 还在 第二屏幕 1706 处识别运动输入 1718, 该运动输入在所显示的对象 1716 被选中的同时被识 别, 且该运动输入可用于在 1720 处改变杂志页。
在框 1806, 从所识别的保持和运动输入中确定对象保持并换页手势。 例如, 手势模 块 108 从所识别的保持输入 1714 和运动输入 1718 中确定多屏幕对象保持并换页手势。对 象保持并换页手势可被标识为保持和运动输入的跨屏幕组合。在一个实施例中, 对象保持 并换页手势可用于启动复制和粘贴功能来复制所显示的对象 1716 以便显示在当前显示的 杂志页 1726 上。
在框 1808, 在所显示的对象从保持输入释放时识别该对象, 且该对象保持并换页 手势可用于移动和 / 或复制所显示的对象以便显示在当前显示的杂志页上。例如, 输入识 别系统 110 可在所显示的对象 1716 从保持输入释放时识别该对象, 且该对象保持并换页手 势可用于移动或复制所显示的对象以便显示在当前显示的杂志页上。多屏幕系统 1702 的 第二视图 1724 示出所显示的对象 1716 从杂志页 1710 移动 ( 例如, 或者从杂志页 1710 复 制 ) 以便显示在当前显示的杂志页 1726 上, 该杂志页在第一屏幕 1704 上显示。另外, 在所 显示的对象从一个显示位置移动或复制到另一位置时维持所显示的对象的相对显示位置。对象保持并换页手势还可用于选择作为一个组从一个显示位置移动和 / 或复制到另一位 置的多个所显示的对象。
多屏幕同步滑动手势
图 19 示出了多屏幕系统 1902 上的多屏幕同步滑动手势的示例 1900, 该多屏幕系 统在这些示例中被示为两屏幕设备。多屏幕系统 1902 可以被实现为参考图 1 和 2 描述的 各种设备中的任一种。 在该示例中, 多屏幕系统 1902 包括第一屏幕 1904 和第二屏幕 1906, 每一屏幕被实现为显示任何类型的用户界面和各种可显示对象 ( 例如, 任何类型的图片、 图像、 图形、 文本、 笔记、 草图、 绘图、 可选择控件、 用户界面元素等 )。 屏幕还可显示电子形式 的杂志页, 如任何类型的笔记本、 期刊、 书、 纸、 单页等。多屏幕系统 1902 可包括如参考图 1 所示的计算设备 102 所描述的手势模块 108 和输入识别系统 110, 并且还可用参考图 21 所 示的示例设备所描述的组件的任意组合来实现。 尽管各示例是参考两屏幕设备来示出并描 述的, 但多屏幕同步滑动手势的各实施例可以由具有两个以上屏幕的多屏幕系统来实现。
多屏幕同步滑动手势可用于将所显示的对象从一个屏幕移动以便显示在另一屏 幕上, 用不同的所显示的对象来替换系统屏幕上所显示的对象, 移动所显示的对象来显露 系统屏幕上的工作空间, 和 / 或循环通过显示在系统屏幕上的一个或多个工作空间 ( 例如, 应用、 界面等 )。同步滑动手势也可用于导航到另外的视图, 或将当前视图重新分配到不同 屏幕。另外, 不同应用或工作空间可被保持在栈上并用同步滑动手势被来回循环通过。 在多屏幕系统 1902 的第一视图 1908 中, 杂志页 1910 被显示为从第一屏幕 1904 移动以便显示在第二屏幕 1906 上。输入识别系统 110 被实现为当第一运动输入在特定方 向上移过第一屏幕时在第一屏幕 1904 处识别第一运动输入 1912。输入识别系统 110 还可 在第二运动输入在特定方向上移过第二屏幕时且大致在识别第一运动输入时在第二屏幕 1914 处识别第二运动输入 1922。
手势模块 108 被实现为从所识别的运动输入 1912、 1914 中确定多屏幕同步滑动手 势。同步滑动手势可被标识为运动输入的跨屏幕组合, 且该手势可用于将杂志页 1910 从第 一屏幕 1904 上的显示移到第二屏幕 1906 上的显示。
在多屏幕系统 1902 的第二视图 1916 中, 显示在第一屏幕 1904 上的第一杂志页 1910 和显示在第二屏幕 1906 上的第二杂志页 1918 被示为用不同的杂志页替换。 输入识别 系统 110 可在第一运动输入在特定方向上移过第一屏幕时在第一屏幕 1904 处识别第一运 动输入 1920。输入识别系统 110 还可在第二运动输入在特定方向上移过第二屏幕时且大 致在识别第一运动输入时在第二屏幕 1906 处识别第二运动输入 1922。手势模块 108 可从 所识别的运动输入 1920、 1922 中确定多屏幕同步滑动手势。如多屏幕系统 1902 的第三视 图 1924 中所示, 同步滑动手势可用于移动杂志页 1910、 1918 和 / 或用不同的杂志页 1926、 1928 替换杂志页 1910、 1918 以便显示在系统屏幕上。
应当注意, 运动输入的各种表示仅是出于讨论目的的图示, 并且当实现所描述的 实施例时可以出现也可以不出现在多屏幕系统的屏幕上。另外, 此处对可能与另一屏幕处 的另一输入或运动相关的、 一个屏幕处的输入或运动的任何描述适用于多屏幕系统的第一 或第二屏幕。
图 20 示出了多屏幕同步滑动手势的示例方法 2000。描述方法的次序并不旨在解 释为限制, 并且任何数量的所述方法框都可以按任何次序组合以实现本方法或实现替换方
法。 在框 2002, 当在特定方向上移过第一屏幕时在多屏幕系统的第一屏幕处识别第一 运动输入。例如, 输入识别系统 110 可在第一运动输入在特定方向上移过第一屏幕时在第 一屏幕 1904 处识别第一运动输入 1912。在框 2004, 当在特定方向上移过第二屏幕时且大 致在第一运动输入被识别时在多屏幕系统的第二屏幕处识别第二运动输入。例如, 输入识 别系统 110 还在第二运动输入在特定方向上移过第二屏幕时且大致在第一运动输入被识 别时在第二屏幕 1906 处识别第二运动输入 1914。
在框 2006, 从所识别的第一和第二运动输入中确定同步滑动手势。 例如, 手势模块 108 从所识别的运动输入 1912、 1914 中确定多屏幕同步滑动手势。同步滑动手势被标识为 第一和第二运动输入的跨屏幕组合。在各实施例中, 同步滑动手势可用于将所显示的对象 从第一屏幕上的显示移动到第二屏幕上的显示 ( 在框 2008) ; 用不同的所显示的对象替换 第一和第二屏幕上的一个或多个所显示的对象 ( 在框 2010) ; 移动一个或多个所显示的对 象并显露第一和第二屏幕上的工作空间 ( 在框 2012) ; 循环通过显示在第一和第二屏幕上 的一个或多个工作空间 ( 在框 2014) ; 和 / 或用不同的应用替换第一和第二屏幕上的一个 或多个应用 ( 在框 2016)。
图 21 示出了可被实现为参考图 1 和 2 来描述的任何类型的便携式和 / 或计算设 备以实现多屏幕手势的各实施例的示例设备 2100 的各种组件。在各实施例中, 设备 2100 可被实现为有线和 / 或无线设备、 多屏幕设备、 任何形式的电视客户端设备 ( 例如, 电视机 顶盒、 数字录像机 (DVR) 等 )、 消费设备、 计算机设备、 服务器设备、 便携式计算机设备、 用户 设备、 通信设备、 视频处理和 / 或呈现设备、 电器设备、 游戏设备、 电子设备和 / 或任何其他 类型的设备中的任一个或其组合。设备 2100 还可与用户 ( 即人 ) 和 / 或操作该设备的实 体相关联, 从而使得设备描述包括用户、 软件、 固件和 / 或设备的组合的逻辑设备。
设备 2100 包括实现设备数据 2102( 例如, 所接收的数据、 正被接收的数据、 排定 用于广播的数据、 数据的数据包等等 ) 的有线和 / 或无线通信的通信设备 2104。设备数据 2104 或其他设备内容可以包括设备的配置设置、 存储在设备上的媒体内容和 / 或与设备用 户相关联的信息。存储在设备 2100 上的媒体内容可以包括任何类型的音频、 视频和 / 或图 像数据。设备 2100 包括经由其可接收任何类型的数据、 媒体内容、 和 / 或输入的一个或多 个数据输入 2106, 诸如用户可选输入、 消息、 音乐、 电视机媒体内容、 记录的视频内容、 以及 从任何内容源和 / 或数据源接收的任何其他类型的音频、 视频和 / 或图像数据。
设备 2100 还包括通信接口 2108, 其可被实现为串行和 / 或并行接口、 无线接口、 任 何类型的网络接口、 调制解调器、 和任何其他类型的通信接口中的任一个或多个。 通信接口 2108 提供设备 2100 和通信网络之间的连接和 / 或通信链路, 其他电子、 计算和通信设备通 过其来与设备 2100 传递数据。
设备 2100 包括一个或多个处理器 2110( 例如, 微处理器、 控制器等中的任一个 ), 处理器处理各种计算机可执行指令来控制设备 2100 的操作并实现多屏幕手势的各实施 例。作为补充或替换, 设备 2100 可用硬件、 固件、 或结合在 2112 处概括标识的处理和控制 电路来实现的固定逻辑电路中的任何一个或组合来实现。虽然未示出, 但是设备 2100 可包 括耦合设备内的各种组件的系统总线或数据传输系统。 系统总线可包括不同总线结构中的 任一个或组合, 诸如存储器总线或存储器控制器、 外围总线、 通用串行总线、 和 / 或利用各
种总线体系结构中的任一种的处理器或局部总线。
设备 2100 还包括计算机可读介质 2114, 诸如一个或多个存储器组件, 存储器组 件的示例包括随机存取存储器 (RAM)、 非易失性存储器 ( 例如, 只读存储器 (ROM)、 闪存、 EPROM、 EEPROM 等中的任一个或多个 )、 以及盘存储设备。盘存储设备可被实现为任何类型 的磁性或光学存储设备, 如硬盘驱动器、 可记录和 / 或可重写紧致盘 (CD)、 任何类型的数字 多功能盘 (DVD) 等等。设备 2100 还可包括大容量存储介质设备 2116。
计算机可读介质 2114 提供数据存储机制以存储设备数据 2104, 以及各种设备应 用 2118 和与设备 2100 的各操作方面相关的任何其他类型的信息和 / 或数据。 例如, 操作系 统 2120 可用计算机可读介质 2114 作为计算机应用来维护并且在处理器 2110 上执行。设 备应用 2118 可包括设备管理器 ( 例如, 控制应用、 软件应用、 信号处理和控制模块、 特定设 备本地的代码、 特定设备的硬件抽象层等 )。
设备应用 2118 还包括实现多屏幕手势的各实施例的任何系统组件或模块。在该 示例中, 设备应用 2118 可包括接口应用 2122 和手势模块 2124, 如当设备 2100 被实现为多 屏幕设备的时候。接口应用 2122 和手势模块 2124 被示为软件模块和 / 或计算机应用。另 选地或另外地, 接口应用 2122 和 / 或手势模块 2124 可被实现为硬件、 软件、 固件、 或其任意 组合。
设备 2100 还包括输入识别系统 2126, 输入识别系统 2126 被实现为识别各种输入 或输入组合, 如选择输入、 保持输入、 运动输入、 触摸输入、 轻叩输入等。输入识别系统 2126 可包括任何类型的输入检测特征以便在各种类型的输入之间进行区分, 这些输入检测特征 如传感器、 光传感像素、 触摸传感器、 照相机、 和 / 或解释用户交互、 手势、 输入和运动的自 然用户接口。
设备 2100 还包括生成并向音频系统 2128 提供音频数据和 / 或生成并向显示系统 2130 提供显示数据的音频和 / 或视频呈现系统 2132。音频系统 2130 和 / 或显示系统 2132 可包括处理、 显示、 和 / 或以其他方式呈现音频、 视频、 和图像数据的任何设备。显示数据和 音频信号可经由 RF( 射频 ) 链路、 S- 视频链路、 复合视频链路、 分量视频链路、 DVI( 数字视 频接口 )、 模拟音频连接、 或其他类似的通信链路来从设备 2100 传输给音频设备和 / 或显 示设备。在一实施例中, 音频系统 2130 和 / 或显示系统 2132 被实现为设备 2100 的外部组 件。或者, 音频系统 2130 和 / 或显示系统 2132 被实现为示例设备 2100 的集成组件。
尽管已经用结构特征和 / 或方法专用的语言描述了多屏幕手势的各实施例, 但是 应该理解所附权利要求的主题不必限于所述的具体特征或方法。相反, 这些具体特征和方 法是作为多屏幕手势的示例实现来公开的。