使用用户交互来控制电子装置的方法和设备 【技术领域】
本发明总体涉及一种通过用户动作控制电子装置的方法和设备。更具体地， 本发 明涉及一种根据电子装置感测的用户动作来控制电子装置的方法和设备。背景技术
近年来， 随着通信技术的迅速发展， 电子装置 ( 尤其是便携式电子装置 ) 的功能已 逐渐得到普及。因此， 制造商和服务提供商已提供用于使用电子装置的各种用户接口和各 种功能。此外， 已提供输入数据和命令的各种方式以控制电子装置的各种功能。
为了控制一般电子装置内相应的电子装置， 即， 为了执行由相应的电子装置中的 模块通常提供的各种功能， 可通过针对电子装置中包括的键的键输入来进行控制。 否则， 在 具有触摸屏的电子装置的情况下， 这种电子装置可通过在触摸屏的特定区域中的触摸输入 而被控制。 如上所述， 在现有技术中， 出于控制电子装置的目的而在特定输入单元产生直接 输入。
然而， 如之前讨论的， 在一般电子装置中存在由相应装置提供的各个功能， 各个功 能可通过简单的键输入或触摸输入被控制。因此， 在可仅通过键输入或触摸输入进行控制 的电子装置的各个功能的量方面存在限制。此外， 各个功能具有可按照独有的输入方式 ( 诸如键输入或触摸输入 ) 被控制的简单性。 另外， 传统上用于控制一个电子装置的输入单 元不能组合不同类型的输入装置的同时的输入以支持输出相应结果的功能。 发明内容
技术问题
已提出本发明以提供一种使用用户交互来控制电子装置的方法和设备。
本发明还提供一种可通过电子装置附近的相邻空间中的用户交互来控制电子装 置的方法和设备。
本发明还提供一种可通过从电子装置附近的相邻空间输入的组合用户交互来控 制电子装置的方法和设备。
本发明还提供一种可识别在电子装置附近的相邻空间中发生的至少一个交互以 根据识别的至少一个交互来控制电子装置的方法和设备。
本发明还提供一种可容易并直观地使用由电子装置提供的各种功能的多模式接 口。
本发明还提供一种可识别邻近电子装置的空间中的平面交互和空间交互中的至 少一个以根据识别的至少一个交互容易并直观地控制电子装置的方法和设备。
技术方案
根据本发明的示例性方面， 一种使用输入交互的电子装置包括 ：
装置， 用于识别在邻近电子装置的预定距离内的空间中发生的至少一个交互 ； 控 制单元， 用于根据由装置识别的至少一个交互来控制电子装置。根据本发明的另一示例性方面， 一种电子装置控制系统包括 ：
第一装置， 根据在电子装置周围的平面上操作的用户手势来识别平面交互 ； 第二 装置， 根据在电子装置周围的空间中操作的用户手势来识别空间交互 ； 处理单元， 在平面交 互或空间交互之间进行区分， 并对应于区分的交互控制电子装置。
有益效果
如从前面描述所知， 在根据本发明的使用用户交互来控制电子装置的方法及装置 中， 本发明的电子装置包括识别来自邻近电子装置的空间的至少一个用户交互的至少一个 装置。 用户可仅通过在邻近电子装置的空间中设置的用户手势而容易并直观地控制电子装 置。 本发明可根据用户的设置针对由所述至少一个装置识别的至少一个用户交互定义执行 功能， 并根据输入的用户交互不同地控制电子装置。
此外， 本发明不限于用于控制电子装置的唯一限制的输入单元和输入方式。 另外， 本发明可直观地控制电子装置使用不同类型的多个装置根据用户手势来提供真实感。 本发 明可使用不同类型的多个装置识别在邻近电子装置的空间中操作的用户手势， 并通过根据 用户手势的交互来控制电子装置。其结果是， 电子装置的控制可提高用户的便利性和可达 性。
另外， 在本发明的示例性实施例中， 在使用电子装置执行演奏功能时， 可根据邻近 电子装置的空间中的按照用户手势的交互来演奏乐器。 因此， 可直观地演奏乐器， 以提供适 合各种乐器对象 ( 鼓、 吉他、 喇叭等 ) 的特征的真实感。如上面提到的， 本发明可提供关于 用户的电子装置控制输入的多样性， 其中， 可按照除了键输入或屏幕的触摸输入之外的输 入方式控制电子装置。 其结果是， 在本发明中， 用户可通过各种输入以各种及组合方式控制 电子装置。 如上所述， 本发明改善了电子装置的唯一限制的控制方式， 并因此可在用户使用 电子装置时向用户提供增强的真实感和便利性。附图说明
通过下面结合附图的描述， 当前要求保护的本发明的以下示例性方面、 特点和优 点将变得更加明显， 其中 ：
图 1 至图 3 分别是示出根据本发明示例性实施例的电子装置的示例的透视图 ；
图 4 是示意性地示出根据本发明示例性实施例的电子装置的透视图 ；
图 5 是示出根据本发明示例性实施例的在电子装置中识别平面交互和空间交互 的识别区域的示图 ；
图 6 至图 8 是示出根据本发明示例性实施例的根据用户手势在各个识别区域中电 子装置的操作方法的示意图 ；
图 9 是示出根据本发明示例性实施例的在电子装置中使用用户交互来控制电子 装置的方法的示例性操作的流程图 ；
图 10 是示出根据本发明示例性实施例的用于根据用户交互来控制电子装置的整 体操作的流程图 ；
图 11 至图 14 是示出根据本发明实施例的在电子装置中处理与用户交互对应的功 能的操作的示例性实施例的示图 ；
图 15 和图 16 是示出根据本发明示例性实施例的在电子装置中处理与用户交互对应的功能的操作的另一示例性实施例的示图 ；
图 17 至图 20 是示出根据本发明示例性实施例的在电子装置中处理与用户交互对 应的功能的操作的另外的示例性实施例的示图。 具体实施方式
以下， 将参照附图详细地描述本发明的示例性实施例。 在整个附图中， 相同的标号 表示相同或相似的部件。可省略这里所包含的公知的功能和结构的详细描述， 以避免模糊 本领域的普通技术人员对本发明的主题的理解。
本发明涉及一种使用用户交互来控制电子装置的方法和设备。 根据本发明的示例 性实施例的电子装置包括识别在邻近电子装置的相邻空间中发生的至少一个交互的至少 一个装置。此外， 根据本发明的示例性实施例可根据由所述至少一个装置识别的至少一个 交互来控制电子装置的功能。
在本发明的另一示例性实施例中， 电子装置可根据在电子装置周围的平面上发生 的用户手势识别平面交互， 根据在电子装置周围的空间中发生的用户手势识别空间交互， 并且识别包括平面交互和空间交互两者的集中交互 (convergence interaction)， 电子装 置使用它们之间的区别来进行识别。电子装置根据相应的交互来处理并提供功能。
本发明优选地使用包括在电子装置中的装置来感测用户手势 ( 例如， 手形、 手部 动作、 手的运动方向等 )， 并根据预设定义来区分感测的用户手势以用作电子装置的有意义 的输入。 此外， 本发明的示例性实施例使用至少一个装置感测并区分用户手势， 区分的输入 被定义为用于控制电子装置的交互。
以下， 将描述使用用户交互的电子装置以及用于使用用户交互来控制电子装置的 方法和设备。 然而， 由于根据本发明的电子装置及其控制操作不限于下面的描述， 因此应认 识到， 要求保护的本发明可至少部分基于下面的实施例被应用于各种示例性实施例。
图 1 至图 3 分别是示出根据本发明示例性实施例的电子装置的示例的透视图。
现在参照图 1 至图 3， 图 1 示出作为在本发明中使用的电子装置之一的便携式终端 的示例。图 2 示出包括在本发明中使用的电子装置之一的引导系统的示例。图 3 示出作为 在本发明中使用的电子装置之一的电视机的示例。
在这个特定情况下， 图 1 的便携式终端可包括基于与各种通信系统对应的通信 协议操作的各种移动通信终端以及各种信息和通信装置、 多媒体装置及其应用装置， 包括 ( 但不以任何方式限于 ) 例如便携式多媒体播放器 (PMP)、 数字广播播放器、 个人数字助理 (PDA)、 音乐播放器 ( 例如， MP3 播放器 )、 便携式游戏终端和智能电话。同时， 图 2 的示例性 引导系统在博物馆、 展览厅、 游乐园或街道提供用户请求的各种引导信息， 并可包括固定在 墙、 柱或地面上的屏幕监视器和媒体站 (pole)。 此外， 图 3 的示例性电视表示大型电子装置 的示例， 还可包括个人计算机、 个人计算机的监视器、 笔记本计算机或笔记本计算机的监视 器、 上网本计算机、 膝上型计算机、 平板计算机等。
现参照图 1 至图 3， 根据本发明的示例性实施例的电子装置是用于提供与用户的 输入对应的输出的工具， 可包括用户可携带的 ( 便携式 ) 小型装置以及固定在特定空间的 所有类型的中型和大型装置。 因此， 以下， 尽管示例中的电子装置包括作为代表性示例的便 携式终端， 但是本领域的普通技术人员应理解并认识到， 要求保护的本发明不以任何方式限于便携式终端， 并且可包括如上面提到的及其他各种形式中的某些形式的所有装置。
根据本发明的示例性实施例的电子装置感测在邻近电子装置的空间中发生的至 少一个用户交互， 并根据用户交互处理功能控制。 为此， 本发明的电子装置包括接收至少一 个用户交互的输入的至少一个感测装置。以下， 现将参照图 4 解释具有所述至少一个装置 的电子装置的配置的示例。
图 4 是示出根据本发明示例性实施例的电子装置的透视图。 具体地， 尽管图 4 示出 便携式终端作为能够使用用户交互的电子装置的一个特定示例， 但是本发明的电子装置不 限于便携式终端。即， 如上所述， 可使用包括薄的客户端装置和大显示器的各种小型装置、 中型和大型装置。
现参照图 4， 本发明的电子装置可包括至少一个装置。例如， 电子装置可包括第一 感测装置 410、 第二感测装置 430 和第三感测装置 450。 在本发明中， 各个感测装置 410、 430 和 450 表示用于识别与从邻近电子装置的特定空间输入的用户手势对应的至少一个交互 的感测单元。
在本发明的示例性实施例中， 各个感测装置 410、 430 和 450 包括跟踪用户手势并 根据用户手势产生结果值的所有类型的识别装置。例如， 感测装置 410、 430 和 450 中的每 个可包括识别能力， 诸如 ( 例如 ) 接近传感器、 红外传感器、 照度传感器、 热传感器或相机传 感器。在图 4 中示出的情况下， 仅以下面的示例的方式描述电子装置 ： 第一感测装置 410 和 第二感测装置 430 是相机传感器， 第三感测装置 450 是接近传感器。即， 图 4 的电子装置表 示包括由两个相机传感器 410 和 430 以及一个接近传感器 450 组成的装置的便携式终端。 这里， 感测装置 410、 430 和 450 的位置不限于图 4 中示出的它们各自的位置。例 如， 图 4 示出了作为相机传感器的第一感测装置 410 和第二感测装置 430 被设置在电子装 置的左侧和右侧、 作为接近传感器的第三感测装置 450 被设置在电子装置的内部的情况。 然而， 在制造电子装置时， 第一感测装置 410、 第二感测装置 430 和第三感测装置 450 可按各 种方式进行配置， 如以这样的方式进行配置 ： 第一感测装置 410 和第二感测装置 430 被分别 设置在电子装置的上侧和下侧， 第三感测装置 450 被布置为与第一感测装置 410 和第二感 测装置 430 中的一个或两者相邻。
此外， 尽管在图 4 的情况下电子装置包括多个不同的装置， 但是当前要求保护的 本发明不限于此。本发明的电子装置可由一个装置组成。另外， 本发明的电子装置可通过 相同类型的多个装置 ( 诸如第一感测装置 410 和第二感测装置 430) 进行配置。同时， 本发 明的电子装置可由不同类型的装置的组合 ( 诸如第一感测装置 410、 第二感测装置 430 和第 三感测装置 450) 而组成。这些装置的结构可根据电子装置的形式而被不同地设置。
例如， 电子装置可通过一个识别单元 ( 诸如接近传感器、 红外传感器、 照度传感 器 )、 通过一个接近传感器和一个相机传感器的组合或者通过一个接近传感器和多个相机 传感器的组合来组成装置。
以下， 如图 4 中所示， 将参照便携式终端解释本发明的示例性实施例的操作， 所述 便携式终端包括设置在电子装置的左侧和右侧的相机传感器以及设置在电子装置内部的 一个接近传感器。
即， 如图 4 中所示， 使用作为相机传感器的第一感测装置 410 和第二感测装置 430 以及作为接近传感器的第三感测装置 450 识别在电子装置的周围发生的用户手势 ( 例如，
手形、 手势和手的运动方向 )。此外， 由至少一个装置识别的用户手势可被处理为用于控制 电子装置的输入交互。
此时， 在本发明的示例性实施例中， 作为接近传感器的第三感测装置 450 检查在 邻近电子装置的空间中发生的用户手势是否是紧密接近电子装置 ( 接近状态 )， 并提供其 参考。此外， 第三感测装置 450 用于检查人体部位 ( 例如， 用户的手等 ) 的接近识别， 并按 预定距离区分邻近电子装置的空间中的区域。即， 第三感测装置 450 感测对象是否接近离 电子装置的特定距离。在本发明中， 第三感测装置 450 感测用户的手的接近度以区分电子 装置的相应功能。即， 第三感测装置 450 根据在邻近电子装置的空间中操作的用户手势来 产生用于空间交互的控制信号。
此外， 在本发明的示例性实施例中， 第一感测装置 410 和第二感测装置 430 对应 于相机传感器， 并感测用户手势以测量用户手势的运动方向、 运动速度和手势形状 ( 手形 等 )。 具体地， 第一感测装置 410 和第二感测装置 430 根据在邻近电子装置的空间中操作的 用户手势来控制用于平面交互的控制信号。
此时， 在当前要求保护的本发明中， 当根据第一感测装置 410、 第二感测装置 430 和第三感测装置 450 中的用户手势同时发生空间交互和平面交互时， 空间交互和平面交互 被定义为集中交互， 该集中交互可描述根据集中交互的控制信号的产生。 即， 在本发明的示 例性实施例中， 在第一感测装置 410 和第二感测装置 430 之一感测到特定用户手势的状态 下， 当在第三感测装置 450 中感测到用户手势时， 第三感测装置 450 逐级 ( 即， 按照接近级 别 ) 来分类根据用户手势的交互， 以控制电子装置的相应功能。 例如， 在通过接近传感器识别空间交互时， 电子装置可控制由空间交互的用户手 势映射的相应功能的执行。在通过相机传感器识别平面交互时， 电子装置可执行由平面交 互的用户手势映射的相应功能。在通过相机传感器和接近传感器识别集中交互时， 电子装 置可控制由集中交互的用户手势映射的相应功能的执行。 将参照根据各个示例性实施例的 图和表来描述这些示例。
如这里上面所述， 本发明的操作的整体示例性布置可通过以下部件进行配置 ： 装 置， 诸如用于根据用户手势感测交互的接近传感器、 相机传感器、 红外传感器或照度传感 器； 包括该装置的电子装置 ； 处理单元 ( 例如， 控制单元或执行与每个功能对应的应用 )， 通 过使用作为输入的从至少一个装置感测的用户交互来处理功能控制。这里， 控制单元用于 使用根据本发明的实施例的交互来控制电子装置。 执行应用包括将下面的在此描述的乐器 演奏应用、 图像查看应用和相机功能关联应用。这些应用执行根据从至少一个装置提供的 交互而定义的操作。
图 5 是示出根据本发明示例性实施例的在电子装置中识别平面交互和空间交互 的识别区域的示意图。
首先， 包括在根据本发明的示例性实施例的电子装置中的至少一个感测装置 (410、 430、 450) 感测到手势 ( 诸如用户的手势 )， 根据预设定义对感测手势进行区分以用作 电子装置的有意义的输入。 此时， 在本发明的示例性实施例中， 至少一个装置被用于感测并 区分手势， 区分的输入被定义以用于控制电子装置的交互。
现参照图 5， 在本发明中定义的至少一个装置中的用于交互识别的识别区域可被 划分为第一感测装置 410 和第二感测装置 430 识别为平面交互的平面识别区域 510 和 530
以及第三感测装置 450 识别为空间交互的空间识别区域 550。
在本发明的示例性实施例中， 平面识别区域 510 和 530 表示第一感测装置 410 和 第二感测装置 430 感测来自邻近电子装置的空间的用户的平面交互的区域。空间识别区域 550 表示第三感测装置 450 感测来自邻近电子装置的空间的用户的空间交互的区域。在这 种情况下， 如图 4 和图 5 中所示， 平面识别区域 510 和 530 可根据电子装置中的第一感测装 置 410 和第二感测装置 430 的各自的位置而被分别划分为左区域和右区域， 并可被布置以 根据用户的左手和右手识别各自的手势。
此时， 在本发明的示例性实施例中， 可在第一感测装置 410 至第三感测装置 450 中 的至少一个感测装置的识别区域中识别用户手势， 以区分关于用户手势的交互。 此外， 可根 据区分的交互来控制电子装置。
例如， 假设用户使用电子装置演奏乐器， 则用户可通过在识别区域 510 中设置的 手势输入来创建交互。 因此， 第一感测装置 410 和 / 或第二感测装置 430 识别平面识别区域 510 和 / 或平面识别区域 530 中的用户手势， 以产生关于用户手势的平面交互， 从而根据乐 器演奏处理相应的功能。同时， 第三感测装置 450 基于空间识别区域 550 的界限点 ( 分界 线 ) 识别空间识别区域 550 的界限点的向下方向输入的手势， 以产生敲击乐器的空间交互， 从而根据演奏乐器处理相应的功能。此外， 在第一感测装置 410 和 / 或第二感测装置 430 的平面识别区域中以及在第三感测装置 450 的空间识别区域中识别用户手势， 以产生关于 用户手势的集中交互， 从而根据演奏乐器处理相应的功能。 如之前所示， 在本发明的示例性实施例中， 电子装置可根据由至少一个装置提供 的交互而被单独地控制。这种根据交互的单独控制可被总结为如下面的表 1 中所列。
表1
如表 1 中所示， 当仅在第一装置 410 的平面识别区域 510， 即， 在第三装置 450 的空 间识别区域 550 的外侧 ( 例如， 界限点的上端 ) 中的平面识别区域 510 中感测到交互时， 电 子装置的控制单元分析在平面识别区域 510 中测量的用户手势， 以根据按照相应的手势先 前定义的功能来控制电子装置。
同时， 当仅在第二装置 430 的平面识别区域 530， 即， 在第三装置 450 的空间识别区 域 550 的外侧 ( 例如， 界限点的上端 ) 中的平面识别区域 530 中感测到交互时， 电子装置的 控制单元分析在平面识别区域 530 中测量的用户手势， 以根据按照相应的手势先前定义的 功能来控制电子装置。
此外， 当仅在第三装置 450 的空间识别区域 550， 即， 在第三装置 450 的空间识别区 域 550 的内侧 ( 例如， 界限点的下端 ) 中的除了平面识别区域 510 和平面识别区域 530 之 外的区域中感测到交互时， 电子装置的控制单元分析在空间识别区域 550 中测量的用户手 势， 以根据按照相应的手势先前定义的功能来控制电子装置。
另外， 当在第一感测装置 410 的平面识别区域 510 中和在第三感测装置 450 的空 间识别区域 550 中， 即， 在第三感测装置 450 的空间识别区域 550 的内侧 ( 例如， 界限点的 下端 ) 中的与平面识别区域 510 重叠的区域中感测到交互时， 电子装置的控制单元分析在 空间识别区域 550 和平面识别区域 510 之间的重叠区域中测量的用户手势， 以根据按照相 应的手势先前定义的功能来控制电子装置。
此外， 当在第二感测装置 430 的平面识别区域 530 中和在第三感测装置 450 的空 间识别区域 550 中， 即， 在第三感测装置 450 的空间识别区域 550 的内侧 ( 例如， 界限点的 下端 ) 中的与平面识别区域 530 重叠的区域中感测到交互时， 电子装置的控制单元分析在 空间识别区域 550 和平面识别区域 530 之间的重叠区域中测量的用户手势， 以根据按照相 应的手势先前定义的功能来控制电子装置。
另外， 当在第一感测装置 410 的平面识别区域 510 和 530 中以及在第三感测装置 450 的空间识别区域 550 中， 即， 在第三感测装置 450 的空间识别区域 550 的内侧 ( 例如， 界 限点的下端 ) 中的与平面识别区域 530 重叠的各个区域中感测到交互时， 电子装置的控制 单元分析在空间识别区域 550 和平面识别区域 510 之间的重叠区域中测量的用户手势， 以
根据按照相应的手势先前定义的功能来控制电子装置。
同时， 如之前提到的， 本发明的示例性实施例将交互分类为平面交互、 空间交互和 集中交互， 并根据测量的用户手势和针对相应的手势定义的信息来控制相应的功能。如之 前所示， 本发明的示例性实施例使用能启用关于两个或更多个级别的交互的至少一个装置 的识别区域来划分空间的使用。
以下是参照图 6 至图 8 的本发明的具体示例性实施例。
图 6 至图 8 是示出根据本发明示例性实施例的根据用户手势在各个识别区域中电 子装置的操作方法的示意图 ；
现参照图 6， 图 6 示出了通过第一感测装置 410 和 / 或第二感测装置 430 在空间识 别区域 550 的外部 ( 即， 在第三感测装置 450 的非重叠区域中 ) 感测到用户手势的情况及 其操作。也就是说， 用户可在第一感测装置 410 和第二感测装置 430 的至少一个平面识别 区域中的不与空间识别区域 550 重叠的区域中创建先前定义的手势。这里， 所述手势包括 基于电子装置、 各种手形和手的各种手势的与上、 下、 左和右方向对应的手的运动。 因此， 电 子装置的控制单元根据由第一感测装置 410 和 / 或第二感测装置 430 识别的交互来分析手 势， 以控制相应的映射功能。 现在参照图 7， 图 7 示出了通过第一感测装置 410 和 / 或第二感测装置 430 在空间 识别区域 550 内部 ( 即， 在第三感测装置 450 的重叠区域中 ) 感测到用户手势的情况及其 操作。换句话说， 用户可在第一感测装置 410 和第二感测装置 430 的至少一个平面识别区 域中的与空间识别区域 550 重叠的区域中创建先前定义的手势。这里， 所述手势包括基于 电子装置、 各种手形和手的各种手势的与上、 下、 左和右方向对应的手的运动。 因此， 电子装 置的控制单元根据由第一感测装置 410 和 / 或第二感测装置 430 以及第三感测装置 450 识 别的交互来分析手势， 以控制相应的映射功能。
图 8 示出了横跨空间识别区域 550( 即， 在第三感测装置 450 的非重叠区域中 ) 感 测的从识别区域改变到重叠区域的手势的情况及其操作。更具体地， 用户可产生先前定义 的手势， 在该手势中， 交互从在第一感测装置 410 和第二感测装置 430 的至少一个平面识别 区域中的不与空间识别区域 550 重叠的区域进入到重叠区域。这里， 所述手势包括基于空 间识别区域 550 的界限点从上侧进入到下侧的手指的运动 ( 例如， 敲击操作 )。因此， 电子 装置的控制单元感测运动到第一感测装置 410 和 / 或第二感测装置 430 的识别区域中的与 第三感测装置 450 的识别区域重叠的区域的交互， 并根据交互分析手势， 从而控制相应的 映射功能。
现在将基于图 8 的操作描述乐器演奏功能的执行的示例。可通过使用户交互从空 间识别区域 550 的界限点以外运动到界限点以内来控制敲击乐器。 此时， 第一感测装置 410 和第二感测装置 430 中的每个可根据用户手势的输入感测帧的改变， 以根据帧的改变的大 小识别敲击强度。此外， 针对从空间识别区域 550 的界限点以外输入到界限点以内的用户 交互来分析第一感测装置 410 和 / 或第二感测装置 430 的帧改变， 从而可检查打击乐器是 被用力地敲击还是轻微地敲击。这种操作同样应用于左侧和右侧， 并可被控制以用作不同 声音输入。现将参照下面的附图描述这种操作的示例性实施例。
图 9 是提供根据本发明示例性实施例的在电子装置中使用用户交互控制电子装 置的方法的操作的示例性说明的流程图。
现参照图 9， 在步骤 (901)， 电子装置的控制单元响应于用户的请求而激活用于使 用用户交互来控制电子装置的模式。这里， 例如， 可根据用户的请求适应性地激活 / 失活该 模式， 或者可根据用户的请求而使该模式一直处于激活状态。 因此， 可从本发明省略模式激 活过程。
接下来， 在步骤 (903)， 电子装置的控制单元从邻近电子装置的空间感测交互。此 时， 如参照图 4 至图 8 的前面描述所示， 电子装置的控制单元可接收通过至少一个装置感测 的至少一个交互。
随后， 在步骤 (905)， 电子装置的控制单元区分输入交互。即， 电子装置的控制单 元检查通过所述至少一个装置识别的交互的识别区域。另外， 控制单元检查交互是在至少 一个装置的单独的识别区域中被识别还是在至少两个装置中的重叠识别区域中被识别。 此 外， 控制单元可区分在识别出交互的相应的识别区域中测量的用户手势。
接下来， 在步骤 (907)， 电子装置的控制单元根据输入交互来检查设置的功能。更 具体地， 控制单元根据输入交互检查按照区分的用户手势先前定义的功能。此外， 在步骤 (909)， 电子装置的控制单元控制检查的功能。
图 10 是示出根据本发明示例性实施例的根据用户交互来控制电子装置的整体操 作的流程图。 现参照图 10， 在 (1010)， 当在邻近电子装置的空间中发生用户手势时， 电子装置 的控制单元可从至少一个装置感测根据用户手势的交互。 接下来， 在 1020， 当从所述至少一 个装置感测到交互时， 电子装置的控制单元处理区分 1010 的交互的过程。
在此具体情况下， 根据电子装置的结构， 交互具有多种形式。例如， 当仅由诸如识 别空间中的交互的接近传感器的装置来配置电子装置时， 该装置仅感测空间交互。 此外， 当 仅由诸如识别平面上的交互的相机传感器的装置来配置电子装置时， 该装置仅感测平面交 互。同时， 当通过不同类型的多个装置 ( 诸如能够单独地识别空间中的交互和平面上的交 互的接近传感器和相机传感器 ) 配置电子装置时， 这些装置感测空间交互和平面交互中的 至少一个。
同时， 在 (1031)， 当将交互区分为平面交互时， 如参照图 4 至图 9 的描述中提到的， 在 (1033)， 电子装置的控制单元根据平面交互来控制功能的执行。 在此具体示例中， 电子装 置的控制单元可按照平面交互的类型来控制相应功能的执行。例如， 控制单元跟踪与在相 机传感器的识别区域中发生的每个用户手势 ( 手势、 手形、 运动方向等 ) 对应设置的交互， 并根据跟踪的交互来控制相应功能。
继续参照图 10， 当在 (1041) 将交互区分为空间交互时， 如参照图 4 至图 9 的描述 中提到的， 在 (1043)， 电子装置的控制单元根据空间交互来控制功能的执行。 在此具体示例 中， 电子装置的控制单元可按照空间交互的类型来控制相应功能的执行。 例如， 控制单元跟 踪与在接近传感器的识别区域中发生的每个用户手势 ( 手势、 手形、 运动方向等 ) 对应设置 的交互， 并根据跟踪的交互来控制相应功能的执行。
接下来， 当在 (1051) 将交互区分为集中交互 ( 组合 ) 时， 如参照图 4 至图 9 的描 述中提到的， 在 (1053)， 电子装置的控制单元根据集中交互来控制功能的执行。这里， 所述 集中交互是当空间交互和平面交互同时发生时的交互。即， 在感测到空间交互的识别区域 和感测到平面交互的识别区域之间的重叠区域发生的用户交互可作为组合被感测。 这种组
合被处理为集中交互。此时， 电子装置的控制单元可按照集中交互的类型来控制相应功能 的执行。例如， 控制单元跟踪与在接近传感器的识别区域和相机传感器的识别区域之间的 重叠区域中发生的各个用户手势 ( 手势、 接近度、 手形、 运动方向等 ) 对应设置的交互， 并根 据该交互来控制相应功能。
同时， 当在 (1060) 根据平面交互、 空间交互和集中交互控制功能期间感测到相应 交互的改变时， 即， 当感测到用户手势的识别区域或手势样式被改变时， 电子装置的控制单 元可返回到步骤 1020， 并执行前述的过程。
以下， 将描述本发明的操作的示例性实施例和屏幕的示例。 然而， 由于本发明的示 例性实施例不限于下面的描述， 因此将认识到， 本权利要求可具有基于落入本发明的精神 和权利要求的范围内的各种替代。
图 11 至图 14 是示出根据本发明的实施例的在电子装置中处理与用户交互对应的 功能的操作的示例性实施例的示图。这里， 按照第一装置 410 和第二装置 420 是相机传感 器、 第三装置 450 是接近传感器来描述下面的示例性实施例。
现在参照图 11 至图 14， 图 11 至图 14 示出了根据本发明示例性实施例的在执行相 册应用时控制根据由接近传感器感测的接近级别来区分交互而设置的相应的功能的执行 的操作的示例。即， 图 11 至图 14 根据在接近传感器的边界 ( 即， 界限点 ) 以内或以外发生 的用户手势来区分交互， 并控制相应功能的执行。以下， 将参照图 11 至图 14 解释用于根据 接近级别区分交互并进而控制各种功能的方法。 首先， 图 11 示出这样具体的示例 ： 当在接近传感器的识别区域以内发生交互时， 按照用户手势 ( 例如， 手的左 / 右运动 ) 定义的功能是导航功能， 其中， 可选对象 ( 例如， 图 像 ) 根据相册应用的执行被呈现。
继续参照图 11， 电子装置的控制单元可识别从接近传感器的识别区域以内输入的 用户手势， 该用户手势将在相机传感器的识别区域沿上、 下、 左和右方向之一进行运动。因 此， 控制单元将来自接近传感器的交互和来自相机传感器的交互进行组合， 以确定该手势 是集中交互。此外， 控制单元根据用户手势 ( 即， 将被跟踪的手势 ) 的运动方向执行按照集 中交互先前定义的功能。也就是说， 控制单元处理针对与手势的运动方向对应地呈现的对 象的导航功能。
如之前所述， 当通过接近传感器和相机传感器发生集中交互时， 即， 当在通过接近 传感器感测到手势的状态下还通过相机传感器感测到手势时， 电子装置的控制单元根据在 集中交互期间通过相机传感器感测到的手势来控制在对象之间执行导航的功能的执行。
接下来， 参照图 12， 图 12 示出这样的情况 ： 当在接近传感器的识别区域以内发生 交互时， 按照用户手势 ( 例如， 手的上下运动 ) 定义的功能是扩大 / 缩小功能， 其中， 可选对 象 ( 例如， 图像 ) 根据相册应用的执行被呈现。
在图 12 中， 电子装置的控制单元可识别从接近传感器的识别区域以内输入的用 户手势， 并识别用户手势的改变 ( 用户手势在接近传感器的识别区域以内靠近或远离电子 装置 )。因此， 控制单元根据通过接近传感器的接近级别的改变来确定该手势是空间交互。 接下来， 控制单元根据用户手势 ( 即， 将被跟踪的手势 ) 的接近级别执行按照空间交互先前 定义的功能。另外， 控制单元处理针对与手势离电子装置的接近度对应地呈现的对象的扩 大 / 缩小功能。此时， 当手势脱离接近传感器的识别区域 ( 界限点 ) 时， 控制单元可执行根
据设置方式将对象恢复为设置的基本尺寸的操作。
如之前所述， 当通过接近传感器感测到手势， 或者在通过接近传感器感测到手势 的状态下还通过相机传感器感测到手势时， 电子装置的控制单元根据通过接近传感器感测 到的手势来控制扩大 / 缩小对象的功能的执行。
随后， 现在参照图 13， 图 13 示出这样的情况 ： 当在接近传感器的识别区域以外发 生交互时， 按照用户手势 ( 例如， 手的上下运动 ) 定义的功能是分类导航功能， 其中， 可选对 象 ( 例如， 图像 ) 根据相册应用的执行被呈现。如图 13 所示， 不通过接近传感器发生针对 从接近传感器的识别区域以外输入的用户手势的交互。即， 仅在相机传感器的识别区域感 测到用户手势， 以产生根据用户手势的交互。 在这种情况下， 当电子装置的控制单元识别出 在相机传感器的识别区域中沿上、 下、 左和右方向之一运动的手势时， 控制单元确定通过相 机传感器的交互是平面交互， 并控制按照用户手势 ( 即， 将被跟踪的手势 ) 的运动方向映射 的功能 ( 例如， 分类导航功能 )。具体地， 控制单元处理针对与手势的运动方向对应地呈现 的分类的导航功能。
因此， 当通过相机传感器发生平面交互时， 控制单元根据平面交互来控制在分类 之间执行导航的功能。此时， 包括在相应分类中的内容 ( 例如， 图像 ) 可被同时改变， 以根 据分类的改变被提供。
随后， 参照图 14， 图 14 示出这样的情况 ： 当在接近传感器的识别区域以外发生交 互时， 按照用户手势 ( 例如， 手的旋转 ) 定义的功能是对象旋转功能， 其中， 可选对象 ( 例 如， 图像 ) 根据相册应用的执行被呈现。
图 14 示出不通过接近传感器发生针对从接近传感器的识别区域以外输入的用户 手势的交互。例如， 仅在相机传感器的识别区域中感测到用户手势， 以产生相应的交互。在 此具体情况下， 当电子装置的控制单元识别出在相机传感器的识别区域中顺时针或逆时 针旋转的手势时， 控制单元确定通过相机传感器的交互是平面交互， 并控制按照用户手势 ( 即， 将被跟踪的手势 ) 的运动方向映射的功能 ( 例如， 对象旋转功能 )。即， 控制单元处理 针对与手势的旋转方向对应地呈现的对象的旋转功能。
因此， 当通过相机传感器发生平面交互时， 控制单元根据平面交互来控制旋转对 象的功能。此时， 控制单元可根据手势的顺时针或逆时针选择而自适应地反映并提供将对 象旋转到相应方向的效果。
如上面所示， 在本发明的示例性实施例中， 可使用接近传感器确定根据接近的空 间中的区域。此外， 根据用户的定义， 各种操作按照下面的方式是可行的 ： 手势的运动方向 通过相机传感器在接近区域以内被识别以用作相应的交互， 手势形状 / 操作通过相机传感 器在接近区域以外被识别以用作相应的交互。
图 15 和图 16 是示出根据本发明示例性实施例的在电子装置中处理与用户交互对 应的功能的操作的另一示例性实施例的示图。 在此具体情况下， 将描述以下内容 ： 第一装置 410 和第二装置 430 包括相机传感器， 第三装置 450 包括接近传感器， 作为第一装置 410 的 相机传感器执行相机的基本功能， 作为第二装置 430 的相机传感器用作用于本发明中的用 户交互的功能。此外， 第一装置 410 和第二装置 430 的功能可用于与彼此交换。
图 15 和图 16 示出对用于根据通过接近传感器感测的接近级别来区分交互的功能 进行控制的操作的情况。具体地， 图 15 和图 16 示出在执行使用相机的功能中的自拍功能的情况下电子装置的操作。图 15 和图 16 的操作还可同样地应用于视频通话的时间。
图 15 和图 16 分别示出以下操作的示例 ： 区分根据在接近传感器的识别区域 ( 即， “界限点” ) 以内或以外发生的用户手势的交互， 并根据与每个交互对应的用户手势来控制 与自拍相关的功能。图 15 和图 16 还分别表示以下操作的示例 ： 在执行自拍应用时， 区分由 接近传感器和剩余的其他相机传感器感测的交互， 并控制设置的自拍功能。
首先， 图 15 示出在执行自拍功能期间在接近传感器的识别区域 550 之内发生根据 用户手势的交互的情况。如图 15 中所示， 电子装置的控制单元可识别从接近传感器的识别 区域 550 以内输入的用户手势， 并识别将在接近传感器的识别区域 550 以内改变的用户手 势 ( 即， 将接近或远离电子装置的用户手势 )。因此， 控制单元确定该手势是根据通过接近 传感器的接近级别的改变的交互。此外， 控制单元根据用户手势 ( 即， 将被跟踪的手势 ) 的 接近级别执行按照交互先前定义的功能。例如， 控制单元根据与手势离电子装置的接近度 对应的自拍来处理对象的放大 / 缩小功能。
如上所示， 当通过接近传感器感测到手势， 或者在通过接近传感器感测到手势的 状态下还通过相机传感器感测到手势时， 电子装置的控制单元根据通过接近传感器感测到 的手势来控制根据自拍的放大 / 缩小功能。
图 15 示出当通过相机传感器发生用户交互并通过接近传感器发生该用户交互， 或者仅通过接近传感器发生用户交互时， 控制单元可根据通过接近传感器的用户交互的接 近级别来控制自拍的放大 / 缩小功能。此时， 控制单元根据在接近传感器的识别区域以内 发生的接近级别 ( 即， 识别率 ) 来处理放大 / 缩小功能。 如图 15 中所示， 当用户的手从接近 传感器的识别区域 550 的界限点接近电子装置的方向时， 控制单元可处理放大功能。相反， 当用户的手远离电子装置中的接近传感器的识别区域 550 的界限点时， 控制单元可处理放 大功能。
随后， 图 16 示出在执行自拍功能期间在接近传感器的识别区域 550 之外发生根据 用户手势的交互的情况。如图 16 中所示， 仅在相机传感器的识别区域 550 感测到用户手势 以产生相应的交互。在这种情况下， 当电子装置的控制单元识别出在相机传感器的识别区 域 550 中发生的手势时， 控制单元执行根据通过相机传感器的交互中的用户手势 ( 即， 被跟 踪的手势 ) 的形式映射的功能。例如， 当手势具有与 “OK” 对应的手形时， 控制单元根据与 手形对应的自拍来处理拍照功能。
在图 16 中， 当通过相机传感器发生用户手势时， 控制单元可根据与通过相机传感 器跟踪的手势的形式对应的自拍来处理各种附加功能。
同时， 自拍中的相机传感器和接近传感器之间的功能控制等不是总是限于上述示 例性实施例。例如， 用户手势和装置之间的功能控制信息可取决于用户的设置。示例性实 施例可以是如表 2 中所示。
表2
如表 2 中所示， 在本发明的示例性实施例中， 用户可设置交互、 手势以及与交互、 手势对应的功能。
例如， 针对相同的放大 / 缩小功能， 通过接近传感器和相机传感器感测到集中交 互， 通过任意一个装置感测到平面交互或空间交互， 可通过用户的请求设置用于产生交互 的手势。 此外， 用于产生交互的手势可根据用户的便利被设置， 而不管相同的手势以及根据 手势的功能是通过空间交互还是通过平面交互被执行。
图 17 至图 20 是示出根据本发明示例性实施例的在电子装置中处理与用户交互对 应的功能的操作的另外的示例性实施例的示图。 此时， 已描述以下内容 ： 第一装置 410 和第 二装置 430 包括相机传感器， 第三装置 450 包括接近传感器。
在这种情况下， 图 17 至图 20 中示出的每个电子装置是区分用户交互并包括两个 相机和一个接近传感器的装置， 所述两个相机在装置的平面侧， 所述接近传感器在装置的 内部或一侧。这种布置是各种电子装置的示例。根据当前要求保护的本发明的电子装置不 限于在图 17 至图 20 中的每个中示出的结构。
首先， 现在参照图 17， 图 17 是以下操作的示例 ： 用户在电子装置中的乐器演奏应 用的执行期间输入手势。如图 17 中所示， 用户的左手和右手可位于两个相机传感器 410 和 430 的各自区域。此时， 两个相机 410 和 430 中的每个分别持续感测左手手势和右手手势。
此外， 接近传感器 450 的识别区域 ( 即， “界限点” ) 被认为是打击乐器的虚拟表 面， 可定义以下内容 ： 当从识别区域 ( 界限点 ) 以外进入识别区域以内的输入被感测时， 敲 击该打击乐器。此外， 相机传感器 410 和 430 中的每个可感测用户手势的运动速度， 该运动 速度可被定义为演奏乐器的力的强度。
作为示例， 如图 17 中所示， 假设乐器演奏应用在电子装置中被运行， 则两个相机 传感器 410 和 430 以及接近传感器 450 可用于通过左手和右手的手势来演奏乐器。此外， 可通过跟踪在两个相机传感器 410 和 430 中感测的帧改变来测量手势的速度。
同时， 尽管图 17 中示出了使用两个相机传感器 410 和 430 的情况， 但是可设置数 量大于 2 的多个相机传感器。当各个识别区域被区分时， 相机传感器可接收多个输入。以下， 将解释根据本发明示例性实施例的使用用户交互来执行电子装置中的乐器 演奏功能的操作。
参照图 18 至图 20， 电子装置可首先在屏幕上显示与乐器演奏应用对应的用户界 面 (UI)。所述 UI 可以是与实际乐器的形式对应的图形用户界面 (GUI) 或者简化实际乐器 的形式的 GUI。图 18 至图 20 分别示出通过简化与用户的请求对应的乐器的形式而获得的 GUI。例如， 当用户在打击乐器中选择鼓时， 图 18 至图 20 中的每个示出鼓的相应 GUI。
如图 18 中所示， 当用户敲击乐器时， 电子装置通过接近传感器仅识别进入识别区 域以内的操作， 以处理交互。此时， 相机传感器 410 和 430 中的每个可感测帧的改变， 并根 据帧的改变处理交互。即， 可区分根据用户手势的运动的强度。相机传感器 410 和 430 针 对从接近传感器 450 的识别区域以外进入接近传感器 450 的识别区域以内的手势的运动来 分析帧的改变， 并基于分析的结果检查用户是用力地敲击还是轻微地敲击打击乐器。这种 操作同样应用于左右方向， 并可被分别用作不同的声音输入。
接下来， 如图 19 中所示， 演奏乐器中的重复的轻微输入被定义为接近传感器 450 的识别区域以内的波浪 (Wave) 手势。当在接近传感器和相机传感器之间的重叠识别区域 中发生诸如波浪手势的交互时， 该交互可被处理为演奏乐器中的持续轻微输入。 随后， 参照图 20， 乐器可由于其特性而持续发声。因此， 可定义使当前声音静音的 交互。在图 20 中， 控制静音功能的输入被定义为在接近传感器 450 的识别区域以外发生的 波浪手势。当在接近传感器 450 的识别区域以外通过相机传感器 410 和 430 发生交互时， 该交互可被处理为乐器演奏功能中的静音输入。 这种操作可使发生用户交互的左侧和右侧 中的一个或两者静音。
如上所述， 在本发明的示例性实施例中， 可使用至少一个装置控制根据用户交互 的电子装置。例如， 相机传感器可持续感测用户的手的手势， 并将相应的手势用作每个交 互。另外， 接近传感器可定义接近区域并使用接近区域区分空间区域。
根据如上所述的本发明， 两个传感器的组合可优选地使用空间 ( 接近级别 ) 的构 思， 以与使用单个传感器的交互方式相比较提供扩展的交互。
根据本发明的上述方法可按照硬件被实现， 或者可被实现为软件或计算机代码， 所述软件或计算机代码可被存储在诸如 CD ROM、 RAM、 软盘、 硬盘或磁光盘的记录介质中或 通过网络被下载， 从而可使用通用计算机或专用处理器以软件呈现在此描述的方法， 或者 在可编程或专用硬件 ( 诸如 ASIC 或 FPGA) 中呈现在此描述的方法。如本领域的技术人员 将理解的， 计算机、 处理器或可编程硬件包括可存储或接收软件或计算机代码的存储器组 件 ( 例如， RAM、 ROM、 闪存等 )， 所述软件或计算机代码在被计算机、 处理器或硬件访问和执 行时实现在此描述的处理方法。 另外， 将认识到， 当通用计算机访问用于实现在此示出的处 理的代码时， 代码的执行使通用计算机被转换为用于执行在此示出的处理的专用计算机。
虽然以上已经详细描述了本发明的示例性实施例， 但是应清楚地理解， 在此描述 的基本发明构思的多种改变和修改可由本领域的技术人员作出， 并且仍将落入权利要求限 定的本发明的精神和范围之内。