提供增强现实的方法和设备 技术领域 以下描述涉及提供增强现实 (AR) 的设备和方法， 更具体地， 涉及使用对象之间的 关系提供增强现实 (AR) 的设备和方法。
背景技术 增强现实 (AR) 是将虚拟对象或者虚拟信息与真实环境合成使得虚拟对象或者虚 拟信息看上去类似于真实环境中存在的真实对象或者真实信息的计算机图形技术。
不同于已有的仅仅针对虚拟空间和虚拟对象的虚拟现实 (VR)， AR 的特征在于基 于真实世界合成虚拟对象以提供不能从真实世界容易获得的附加信息。由于 AR 的特征， AR 可以应用于多种真实环境， 例如， 作为适用于普适环境的下一代显示技术。
为了迅速向用户提供 AR 服务， 迅速、 正确识别对象并且迅速检测相关功能和服务 很重要。随着 AR 服务变得更普通， 期望基于标记的服务和基于无标记的服务将被一起提 供， 另外从很多服务提供商提供的多种 AR 服务应用和 AR 服务将共存。由此， AR 服务可提 供的对象的数量在增加。因此， 需要高容量数据库以存储 AR 服务。
因此， 需要从这种高容量数据库进行数据搜索， 这增加了对象识别和服务检测的 时间消耗。
发明内容 本发明的示例实施方式提供一种允许迅速识别对象的提供增强现实 (AR) 的设备 和方法。
本发明的示例实施方式还提供一种能够提高对象识别率的提供增强现实 (AR) 的 设备和方法。
本发明的示例实施方式还提供一种能够迅速检测和提供关于对象的 AR 信息的提 供增强现实 (AR) 的设备和方法。
本发明的其它特征将在以下说明中进行阐述， 并且一部分根据该说明将是清楚 的， 或者可以从本发明的实践获知。
本发明的示例实施方式公开一种提供增强现实 (AR) 的方法， 所述方法包括 ： 从接 收自终端的第一对象信息识别第一关注对象 ； 检测关于与所述第一关注对象关联的相关对 象的识别信息和 AR 信息 ； 存储所述关于相关对象的识别信息和 AR 信息 ； 如果从所述终端 接收到第二对象信息， 则使用所存储的关于相关对象的识别信息从所述第二对象信息识别 第二关注对象 ； 从关于相关对象的 AR 信息检测对应于所述第二关注对象的 AR 信息 ； 以及 向所述终端发送所检测的 AR 信息。
本发明的示例实施方式公开一种提供增强现实 (AR) 的服务器， 所述服务器包括 ： 通信单元， 该通信单元用于处理从终端接收和向所述终端发送的信号 ； 完整信息存储部， 该 完整信息存储部用于存储关于对象的识别信息和 AR 信息 ； 相关对象信息存储部， 该相关对 象信息存储部用于存储关于与所述对象关联的相关对象的识别信息和 AR 信息 ； 以及控制
器， 该控制器从接收自所述终端的第一对象信息识别第一关注对象， 标识关于与所述第一 关注对象关联的相关对象的识别信息和 AR 信息， 在所述相关对象信息存储部中存储关于 相关对象的识别信息和 AR 信息， 如果从所述终端接收到第二对象信息， 则使用所存储的关 于相关对象的识别信息从所述第二对象信息识别第二关注对象， 检测对应于所述第二关注 对象的 AR 信息， 以及向所述终端发送所述 AR 信息。
本发明的示例实施方式公开一种提供增强现实 (AR) 的方法， 所述方法包括 ： 获取 第一对象信息以及向服务器发送所述第一对象信息 ； 从服务器接收关于与所述第一对象信 息关联的相关对象的识别信息和 AR 信息 ； 存储所述关于相关对象的识别信息和 AR 信息 ； 如果接收到第二对象信息， 则使用关于相关对象的识别信息从所述第二对象信息识别关注 对象 ； 检测对应于从第二对象信息识别的所述关注对象的 AR 信息 ； 以及输出所检测的 AR 信息。
本发明的示例实施方式公开一种提供增强现实 (AR) 的终端， 所述终端包括 ： 通信 单元， 该通信单元用于处理通过有线 / 无线通信网络从服务器接收和向所述服务器发送的 信号 ； 对象信息获取单元， 该对象信息获取单元用于获取关于真实环境的图像中包括的对 象的信息 ； 输出单元， 该输出单元用于输出通过合成关于对象的信息和关于对象的 AR 信息 而获得的信息 ； 存储部， 该存储部用于存储从所述服务器接收的对应于对象的 AR 信息， 以 及存储关于与所述对象关联的相关对象的识别信息和 AR 信息 ； 以及控制器， 该控制器用于 向所述服务器发送从所述对象信息获取单元接收的第一对象信息， 从所述服务器接收关于 与所述第一对象信息关联的相关对象的识别信息和 AR 信息， 在所述存储部中存储关于相 关对象的识别信息和 AR 信息， 如果从所述对象信息获取单元接收到第二对象信息， 则使用 所述存储部中所存储的关于相关对象的识别信息从所述第二对象信息识别关注对象， 检测 对应于所述关注对象的 AR 信息， 以及通过所述输出单元输出所述 AR 信息。
应当理解的是， 前面的总体描述和后面的具体描述都是示例性和解释性的， 并旨 在对所要求保护的本发明提供进一步的解释。其它特征及方面根据以下详细描述、 附图和 权利要求将是明显的。 附图说明
附图被包括进来以提供对本发明的进一步理解， 并结合到本说明书中且构成本说 明书的一部分， 这些附图例示了本发明的实施方式， 并与文字说明一起用于解释本发明的 原理。
图 1 例示根据示例实施方式的使用对象之间的关系提供增强现实 (AR) 的系统的 配置。
图 2 是例示根据示例实施方式的使用对象之间的关系提供 AR 的终端的图。
图 3 例示根据示例实施方式的用于对象的社交网络服务 (SNS)。
图 4 例示根据示例实施方式的基于上下文信息滤选的 SNS。
图 5 是例示根据示例实施方式的使用对象之间的关系提供 AR 的服务器的图。
图 6 例示根据示例实施方式的对象信息结构。
图 7 是根据示例实施方式的邻居列表的示例图。
图 8 示出根据示例实施方式的示例父对象和子对象。图 9 是例示根据示例实施方式的提供 AR 的方法的流程图。 图 10 是例示根据示例实施方式的提供 AR 的方法的流程图。 图 11 示出根据示例实施方式使用对象之间的关系提供的示例 AR。 图 12 示出根据示例实施方式使用对象之间的关系提供的示例 AR。具体实施方式
下面将参照附图更加全面地描述示例实施方式， 附图中示出了本发明的实施方 式。然而， 本发明可以以许多不同形式来实施， 并且不应当解释为限于这里阐述的实施方 式。而且， 提供这些实施方式， 使得本公开充分， 并向本领域的技术人员全面传达本发明的 范围。在附图中， 为了清晰可以放大多个层和多个区域的尺寸和相对尺寸。附图中类似的 附图标记表示类似的部件。
目前为止开发的增强现实 (AR) 技术要求相对长的时间来识别对象。为了标识颜 色标记或者无标记的对象， 要求相对复杂的过程以找到特征并且识别对应于这些特征的对 象。如果从使用不同的对象识别方法的很多服务提供商提供多个对象， 则对象识别率可能 恶化。提供用于预先检测相关对象信息 ( 包括关于涉及所识别的对象的对象的识别信息和 AR 信息 ) 并且存储相关对象信息的设备和方法。另外， 提供预计用户将要基于对象之间的 关系请求的信息。例如， 当提供关于特定对象的 AR 信息时， 关于与该对象关联的相关对象 ( 如该对象的父对象和子对象 ) 的信息和到相关对象的访问路径可以被一起提供。
图 1 例示根据示例实施方式的使用对象之间的关系提供增强现实 (AR) 的系统的配置。 该系统包括至少一个终端 110、 位置检测系统 120、 服务器 130 和通信网络。该至 少一个终端 110 提供 AR 信息， 并且通过有线 / 无线通信网络连接到提供 AR 服务的服务器 130。终端 110 可以通过该有线 / 无线通信网络从位置检测系统 120 接收自身的位置信息。 服务器 130 可以从终端 100 或者从位置检测系统 120 获取终端 110 的位置信息。
终端 110 可以是移动通信终端， 如个人数字助理 (PDA)、 智能电话、 导航终端等， 或 者可以是个人计算机， 如桌上型计算机、 平板计算机、 笔记本计算机等。终端 110 可以是可 识别真实图像中包括的对象并且显示对应于所识别的对象的 AR 信息的装置。
图 2 是例示根据示例实施方式的使用对象之间的关系提供 AR 的终端的图。
提供 AR 的终端可以包括对象信息获取单元 210、 输出单元 220、 操作单元 230、 通信 单元 250、 存储部 240 和控制器 260。
对象信息获取单元 210 获取关于真实环境的图像 ( 即， 真实图像 ) 中包括的对象 中的关注对象的对象信息， 并且将该信息传递到控制器 260。本说明书中使用的术语 “对 象” 可以是真实图像中包括的标记， 基于无标记的对象或者状态， 或者可在真实世界中限定 的任意事物， 如视频图像、 声音数据、 位置数据、 方向数据、 速度数据等中的至少一种。对象 信息获取单元 210 可以是捕捉并且输出对象的图像的摄像机、 图像传感器、 获取并且输出 声音的麦克风、 嗅觉传感器、 GPS 传感器、 地磁传感器、 速度传感器等。
输出单元 220 可以输出通过使对象信息获取单元 210 获取的对象信息和对应于该 对象信息的 AR 信息同步而获得的信息。AR 信息可以是关于所识别的对象的数据。举例而 言， 如果所识别的对象是罗浮宫， 则关于罗浮宫的建筑信息、 介绍罗浮宫的收藏的视频、 导
游通知等可以是与罗浮宫关联的 AR 信息。在示例实施方式中， AR 信息可以包括涉及对象 的社交网络服务 (SNS)。 输出单元 220 可以是显示虚拟数据的显示器、 以可听声音形式输出 声音数据的扬声器等。此外， 输出单元 220 和操作单元 230 可以组合为触摸屏显示器。
操作单元 230 是接收用户信息的接口， 并且可以是键输入板、 触摸传感器、 麦克风 等。
存储部 240 存储从服务器 130 接收的对应于对象的 AR 信息 ( 参见图 1)， 和用于个 性化该 AR 信息的上下文信息。 上下文信息可以包括例如用户信息 ( 包括用户的名称、 年龄、 性别等 )、 从用户接收或者将发送到用户的消息中的常用词语、 用户经常使用的应用和搜索 词语、 所访问的网站的级别、 当前时间和位置、 用户的表情状态等。控制器 260 使用上下文 信息滤选从服务器 130 接收的 AR 信息 ( 参见图 1)， 并且通过输出单元 220 输出滤选结果。
控制器 260 使用上下文信息滤选 AR 信息的示例将参照图 3 和图 4 描述。
图 3 例示根据示例实施方式的用于对象的社交网络服务 (SNS)。图 4 例示根据示 例实施方式的基于上下文信息滤选的 SNS。
参照图 3， 显示了与对象 图标有关的 AR 信息， 并且与 图 标一起显示了多条 SNS 信息， 如 “查看菜单和价格” “附加信息” 、 “加入 、 ” “访问聊天 、 室” 、 “俱乐部主页” 等。控制器 260 可以基于所存储的上下文信息从图 3 例示的多个 AR 信 息滤选 AR 信息以匹配用户的年龄、 品味等。滤选的 AR 信息可以如图 4 所示地输出。如图 4 所示， AR 信息被滤选以显示与 ” 图标关联的 “访问聊天室” 、 “接收优惠券” 、 “查 看信息” 和 “价格信息” 。在示例实施方式中， 控制器 260 可以基于上下文信息区分滤选的 AR 信息。举例而言， 如果提供 AR 的终端通过操作单元 230 从用户接收选择 “访问聊天室” 的信号， 则控制器 260 可以基于上下文信息中包括的年龄信息请求服务器 130 允许用户进 入其成员与用户的年龄相同的聊天室。例如， 如果 AR 信息是 SNS 服务， 则 AR 信息搜索模块 542( 参加图 5) 分析该 SNS 服务的类别， 如该 SNS 服务可提供的聊天、 俱乐部主页、 价格信息、 Postscript 等， 接着将所分析的类别的特征与上下文信息相比较。例如， 如果在 当前类别中存在菜单价格信息和 Postscript 信息并且在上下文信息中存储的对应终端的 优先级别中 “购物” 级别最高， 则价格信息和 Postscript 信息 SNS 服务在终端的用户接口 上显示为顶级服务。
再次参照图 2， 在示例实施方式中， 存储部 240 可以包括关于相关对象的信息。关 于 “相关对象” 的信息可以是关于与所识别的对象关联的其它对象的信息， 这将参照图 5 描 述。因此， 由于关于相关对象的信息存储在存储部 240 中， 如果从对象信息获取单元 210 接 收到关于特定对象的信息， 则控制器 260 可以使用关于与所识别的对象关联的相关对象的 信息来识别该特定对象并且迅速提供对应于该特定对象的 AR 信息， 而不将关于该特定对 象的信息发送到服务器 130。如果从服务器 130 接收到关于特定对象的信息和关于与该特 定对象关联的相关对象的信息， 则控制器 260 基于该特定对象和相关对象之间的关系提供 预计对用户有用的信息， 并且输出关于该特定对象的 AR 信息。举例而言， 控制器 260 可以 提供关于与该特定对象关联的相关对象 ( 如该特定对象的父对象和子对象 ) 的信息， 和到 相关对象的访问路径， 并且输出对应于该特定对象的 AR 信息。
通信单元 250 处理通过有线 / 无线通信网络接收的信号并且向控制器 260 输出处 理结果。通信单元 250 还处理来自控制器 260 的信号并且通过该有线 / 无线通信网络发送处理结果。在示例实施方式中， 通信单元 250 向服务器 130 发送从控制器 260 输出的对象 信息 ( 参见图 1)， 并且向控制器 260 输出从服务器 130 接收的 AR 信息。
控制器 260 控制以上描述的部件并且使用对象之间的关系提供 AR 信息。在示例 实施方式中， 控制器 260 可以是硬件处理器或者在硬件处理器中执行的软件模块。可以在 使用对象之间的关系提供 AR 的方法中更详细地描述控制器 260 的操作， 这将在下面描述。
图 5 是例示根据示例实施方式的使用对象之间的关系提供 AR 的服务器的图。
提供 AR 的服务器可以包括通信单元 510、 完整信息存储部 520、 相关对象信息存储 部 530 和控制器 540。
通信单元 510 处理通过有线 / 无线通信网络接收的信号并且向控制器 540 输出处 理结果。通信单元 510 还处理来自控制器 540 的信号并且通过该有线 / 无线通信网络发送 处理结果。在示例实施方式中， 通信单元 510 可以处理从至少一个终端 110 接收或者向至 少一个终端 110 发送的信号 ( 参见图 1)。在示例实施方式中， 通信单元 510 从外部信息提 供商通过有线 / 无线通信网络接收内容、 SNS 服务信息等， 这些将作为关于对象的 AR 信息 被提供。
提供 AR 的服务器包括存储部， 该存储部可以包括完整信息存储部 520 和相关对象 信息存储部 530。完整信息存储部 520 存储对象信息 521、 对应于对象的 AR 信息 522、 以及 上下文信息 523， 上下文信息 523 将用于对各单独终端个性化 AR 信息 522。
对象信息 521 包括关于对象的识别信息和相关信息。图 6 示出对象信息 521 的结 构的示例。
图 6 例示根据示例实施方式的对象信息结构。
参照图 6， ID 601 是被指配以标识对象的标识符， 并且对象识别信息 603 是用于 识别对应于 ID 601 的对象的特征信息。例如， 对象识别信息 603 可以包括对象的属性值， 如对象的轮廓、 颜色等。控制器 540 将从接收自终端 110 的对象信息提取的特征与对象识 别信息 603 的属性值相比较以确定对象是什么。对象位置信息 605 是关于对象所在位置的 信息。对象位置信息 605 用于基于其位置提供关于同一对象的不同种类的信息。邻居列表 607 是位于距对象特定距离之内的对象的列表。父对象 609 是关于对象所属的父对象的信 息。子对象 611 是关于对象可以包括的子对象的信息。相关对象 613 存储关于基于逻辑关 系与对象关联的其它对象的信息。
返回参照图 5， AR 信息 522 存储关于所识别对象的多种数据。对应于特定对象的 AR 信息 522 可以被指配与对象相同的 ID。上下文信息 523 用于个性化 AR 信息 522， 并且例 如包括用户信息 ( 包括用户的名称、 年龄、 性别等 )、 文字消息中的常用词语、 用户经常使用 的应用和搜索词语、 所访问的网站的级别、 当前时间和位置、 用户的表情状态等。
相关对象信息存储部 530 存储关于与所识别的对象有关的至少一个对象的信息， 并且可以存储对象信息 531、 相关对象的 AR 信息 532、 以及上下文信息 533。如图 5 例示， 相 关对象信息存储部 530 可以包括可以对应于各单独终端的多个相关对象信息存储部。在示 例实施方式中， 每个相关对象信息存储部 530 可以被指配与对应的终端相同的 ID。相关对 象可以包括邻居对象列表 ( 例如， 定位在距所识别的对象特定距离之内的对象的列表 )、 所 识别的对象的父对象和子对象中包括的对象。
图 7 是根据示例实施方式的邻居列表的示例图。参照图 5 和图 7， 对象 1、 3 和 4 可以被包括在对象 2 的邻居列表中。如果对象 2 被 识别， 则控制器 540 从完整信息存储部 520 搜索关于对象 1、 3 和 4 的识别信息和 AR 信息， 并且将所找到的信息存储在相关对象信息存储部 530 中。如果作为与对象 2 关联的相关对 象的对象 1、 3 和 4 中的任意一个被识别， 则控制器 540 在相关对象信息存储部 530 中存储 的对应对象的对象信息 531 中搜索关于所识别的对象的对象识别信息， 而不是从完整信息 存储部 520 搜索对应的对象。控制器 540 将所找到的对象识别信息与对应的对象相比较。 因此， 控制器 540 将比较以进行对象识别的对象的数量减少， 这可以贡献于识别率的提高。 例如， 此方法在识别具有变形形状的标记 ( 例如具有取决于视角的复杂形状的 3D 标记 ) 等 方面特别有效。
图 8 示出根据示例实施方式的示例父对象和子对象。
参照图 8， 图标对应于父对象， 菜单对应于子对象。因此， 参照图 5 和 图 8， 如果对应于父对象的 图标被识别， 则控制器 540 从完整信息存储部 520 获取关于与 图标的子对象对应的菜单的识别信息和 AR 信息。之后， 如果菜单 被再次识别， 则控制器 540 从相关对象信息存储部 530 搜索关于菜单的信息， 而不是从完整 信息存储部 520 搜索关于菜单的信息， 由此迅速获取菜单信息， 这贡献于识别率的提高。 返回参照图 5， 控制以上描述的各个部件并且执行使用对象之间的关系提供 AR 的 方法的控制器 540 可以是处理器或者在处理器中执行的软件模块。控制器 540 可以包括对 象识别模块 541、 AR 信息搜索模块 542、 相关对象搜索模块 543、 以及上下文信息管理模块 544。
对象识别模块 541 通过通信单元 510 从接收自终端 110 的对象信息检测关注对象 ( 参见图 1)。换句话说， 对象识别模块 541 将从接收自终端 110 的对象信息提取的特征与 对象信息 521 和 531 中包括的对象识别信息相比较， 以检测所接收的对象信息中的对象的 ID。 在示例实施方式中， 如果对象识别模块 541 使用对应于终端 110 的相关对象信息存储部 530 中包括的对象信息 531 识别对象， 则控制器确定从终端 110 接收的对象信息是先前已 经接收的信息。在示例实施方式中， 如果从终端 110 接收到包括多个对象的信息， 则对象识 别模块 541 可以优先地首先搜索可容易识别的对象。例如， 如图 8 所例示， 如果对应于父对 象的 图标与对应于子对象的 “菜单” 相比较， 则可能占用更长时间来识别 “菜 单” 对象， 因为它可以具有相对更复杂的形状。因此， 对象识别模块 541 优先识别对应于父 对象的 图标， 接着获取关于与 图标有关的子对象的识别信息。 由 于关于菜单的一些信息被预先获取作为 图标的子对象信息， 所以可以提高对 菜单的识别率。在示例实施方式中， 对象识别模块 541 可以执行顺序目标识别， 例如对象识 别模块 541 可以基于粘贴或者找到 图标的位置输出对于相同 图 标的不同结果值。换句话说， 对象识别模块 541 主要识别 图标， 而次要识别粘 贴或者找到 图标的位置。例如， 如果位于大学路 (Daehakro) 的 店的菜单不同于位于江南 (Kangnam) 的 店的菜单， 则在此情况下， 对象识别模 块 541 可以基于 店的位置输出不同的标识符。
AR 信息搜索模块 542 搜索对应于被对象识别模块 541 识别的对象的 AR 信息 522 和 532。换句话说， AR 信息搜索模块 542 搜索具有与所识别的对象相同的标识符的 AR 信 息。在对应于特定终端的所识别的对象是先前已经识别的对象的示例实施方式中， AR 信息
搜索模块 542 从对应于终端的相关对象信息存储部 530 搜索 AR 信息 522 和 AR 信息 532。
相关对象搜索模块 543 从完整信息存储部 520 搜索关于与对应于被对象识别模块 541 标识的对象标识符的对象关联的相关对象的识别信息和 AR 信息， 并且在相关对象信息 存储部 530 中存储所找到的关于相关对象的识别信息和 AR 信息。 相关对象可以被包括在图 6 例示的对象信息结构的邻居列表中， 并且还可以成为对象信息结构的父对象和子对象。 相 关对象搜索模块 543 可以搜索并且存储关于与对象具有主要关系的相关对象的信息， 或者 可以搜索并且存储关于与对象具有次要关系或更浅关系的相关对象的信息。例如， 相关对 象搜索模块 543 可以搜索和存储属于对应对象的邻居列表的对象， 或者从属于对应对象的 邻居列表的对象中搜索和存储父对象或子对象。另外， 相关对象搜索模块 543 可以向对应 的终端发送所找到的相关对象， 将它们存储或者不存储到相关对象信息存储部 530 中。
上下文信息管理模块 544 管理关于各终端的用户的个性化信息。上下文信息管理 模块 544 可以创建基于通信使用历史、 用户登记的用户信息和符号信息而估计各终端用户 的偏好作为上下文信息。上下文信息可以包括用户的性别、 年龄、 经常使用的搜索词语、 访 问的网站、 表情状态、 时间信息等。
AR 信息搜索模块 542 和相关对象搜索模块 543 可以使用被上下文信息管理模块 544 管理的上下文信息 523 搜索对应于每个终端的个性化信息。 换句话说， 如果基于向特定 对象指配的标识符找到多条 AR 信息， 则可以向对应的终端发送所找到的 AR 信息中用上下 文信息滤选的 AR 信息。 在示例实施方式中， 上下文信息管理模块 544 向上下文信息指配分数以管理上下 文信息。举例而言， 如果用户 A 在下午 2 点到下午 3 点之间搜索 “咖啡” ， 则上下文信息管 理模块 544 可以向 “咖啡” 指配 “+1 到 2PM” 、 “+1 到 3PM” 和 “+1” 。之后， 如果用户 A 在下 午 2 点访问终端， 则可以优先向用户 A 提供因特网或者网站， 例如 Naver 窗口和咖啡相关信 息。尽管示出在服务器中进行， 本发明的各方面不需要限于此， 并且图 5 的配置的部分或者 全部可以由终端提供。
在下文， 参照图 9 和图 10 描述使用对象之间的关系提供 AR 的方法， 该方法由以上 描述的提供 AR 的系统执行。为了便于描述， 图 2 例示的终端的控制器 260 称为终端， 并且 图 5 例示的服务器的控制器 540 称为服务器。
图 9 是例示根据示例实施方式的提供 AR 的方法的流程图。图 10 是例示根据示例 实施方式的提供 AR 的方法的流程图。尽管示出为顺序地进行， 本领域技术人员将理解图 9 和图 10 的方法的操作的至少一部分可以同时进行， 或者按照分别与图 9 和图 10 中呈现的 不同的顺序进行。将参照图 5 描述图 9 和图 10 中例示的示例。
图 9 对应于终端识别第一对象的情况， 并且图 10 对应于终端使用与先前识别的第 一对象有关的信息识别第二对象的情况。
参照图 9， 在操作 810， 终端获取对象信息。例如， 对象信息可以是以下中的一个或 者更多个 ： 相机捕捉的照片图像、 声音数据和位置数据。例如， 终端可以在捕捉第一对象的 图像的同时获取第一对象的位置信息。 在操作 820， 终端向服务器发送对象信息并且请求服 务器发送对应于第一对象的 AR 信息。在操作 830， 服务器从所接收的对象信息识别关注对 象。换句话说， 如果对象信息是捕捉的图像， 则服务器从拍摄的图像提取关注对象的特征， 如关注对象的轮廓， 将关注对象的特征与在完整信息存储部 520 中存储的识别信息相比较
( 参见图 5)， 并且确定识别信息是否匹配关注对象的特征， 由此检测关注对象的 ID。
在示例实施方式中， 如果存在多个对象， 则服务器可以优先识别可相对容易识别 的对象， 以提高对象识别率。在示例实施方式中， 服务器可以初始识别最容易识别的对象。 例如， 服务器使用一种方法， 首先识别诸如条码或者数字的标记作为关注对象， 因为它们可 被相对容易地识别并且可以接着识别复杂对象。例如， 复杂对象可以包括以下对象， 即， 这 些对象包括图片、 字母和数字的组合。 举例而言， 可以通过分析复杂对象的具有最大大小的 第一特征以检测主要类别， 接着分析复杂对象的具有第二大大小的第二特征以检测次要类 别， 来识别复杂对象， 次要类别可以是主要类别的子类别。
在示例实施方式中， 服务器可以使用多个对象来检测对象标识符， 而不是使用单 个特征来识别对象。例如， 如果具有与对象相同的大小的多个对象或者标记位于多个不同 位置， 则可以获取通过捕捉对象或者标记的图像获得的图像信息和对象或者标记的位置信 息作为对象信息。服务器可以检测根据对象的位置区分的对象标识符， 以及对应于所捕捉 的对象的图像的对象标识符。 例如， 如果所捕捉的对象的图像是特定汽车制造商的图标， 相 同的图标可以在多个位置粘贴或者找到。第一位置可以是老年人交通流量大的地点， 第二 位置可以是青年人聚集的地点。 服务器从用户接收地点和图标的位置信息以检测对应于图 标的标识符和根据年龄区分的标识符。因此， 对应于老年人交通流量大的地点的 AR 信息可 以是关于中型车的信息， 并且对应于年轻人聚集的地点的 AR 信息可以是关于运动车的信 息。 在操作 840， 服务器从完整信息存储部 520 检测对应于所识别的对象标识符的 AR 信息， 检测关于与对象标识符关联的相关对象的信息， 接着在相关对象信息存储部 530 中 存储所检测的关于相关对象的信息。例如， 服务器检测所识别的对象的邻居列表中包括的 对象信息或者关于所识别的对象的父对象或者子对象的信息， 并且存储所检测的信息。在 操作 850， 服务器根据各个终端将相关对象信息分类并且存储经分类的相关对象信息。 在操 作 850， 服务器可以在单独操作中或者顺序地检测和存储关于相关对象的信息。
在操作 860， 服务器向对应的终端发送所检测的 AR 信息。在示例实施方式中， 服 务器可以向终端发送关于相关对象的信息以及关于对应的对象的信息。在示例实施方式 中， 服务器可以基于上下文信息滤选 AR 信息或者相关对象信息并且向终端仅发送滤选的 信息。
在操作 870， 终端通过输出单元 220 输出所接收的 AR 信息 ( 参见图 2)。在示例 实施方式中， 终端可以输出关于相关对象的信息以及所识别的对象的 AR 信息。换句话说， 终端可以提供关于所获取的对象信息的 AR 信息以及关于期待对用户有用的对象的信息两 者。举例而言， 终端可以提供关于相关对象 ( 如所识别的对象的父对象和子对象 ) 的信息 或者到相关对象的访问路径， 并且输出对应的对象的 AR 信息。在示例实施方式中， 终端可 以高亮在相关对象信息存储部 530 中存储的相关对象并且在显示器上显示高亮的相关对 象以将它们与其它对象区分开。
在示例实施方式中， 终端可以基于上下文信息输出滤选的信息。
在下文， 将参照图 10 描述使用对象的相关对象识别先前已经识别的对象的方法。
对象的识别先前已由图 10 中的终端进行。参照图 5 和图 10， 在操作 910， 终端获 取对象信息， 并且在操作 920， 向服务器发送所获取的对象信息。在操作 930， 服务器在相关
对象信息存储部 530 中搜索对应的对象以进行对象识别， 而不是在完整信息存储部 520 中 搜索对象。在操作 940， 服务器确定是否从相关对象信息存储部识别出对象。
在操作 950， 如果在操作 940 确定从相关对象信息存储部 530 识别出对象， 则服务 器从相关对象信息存储部 530 检测针对所识别的对象的 AR 信息。
在操作 960， 如果在操作 940 确定没有从相关对象信息存储部 530 识别出对象， 则 服务器从完整信息存储部 520 搜索关于对象的 AR 信息。在操作 970， 确定是否从完整信息 存储部 520 识别出对象。如果从完整信息存储部 520 识别出对象， 则在操作 980 服务器从 完整信息存储部 520 检测针对所识别的对象的 AR 信息。然而， 如果在操作 970 确定没有从 完整信息存储部 520 识别出对象， 则服务器确定对象识别失败， 接着处理进入操作 920。
在操作 990 中， 如果已经经过相关对象信息存储部 530 或者完整信息存储部 520 识别出对象， 则服务器从完整信息存储部 520 搜索与所识别的对象关联的相关对象并且更 新相关对象信息存储部 530。
在操作 1000， 服务器向终端发送所确定的 AR 信息。在示例实施方式中， 服务器可 以发送相关对象信息以及对象的 AR 信息。在操作 1010， 终端输出所接收的 AR 信息。在示 例实施方式中， 终端可以提供所接收的相关对象信息中的预计对用户有用的关于对象的信 息， 以及针对在操作 910 获取的对象信息的 AR 信息。举例而言， 终端可以提供关于相关对 象 ( 如对应的对象的父对象和子对象 ) 的信息和到相关对象的访问路径， 并且输出针对对 应的对象的 AR 信息。图 11 和图 12 例示使用对象之间的关系提供 AR 的示例。
图 11 示出根据示例实施方式使用对象之间的关系提供的示例 AR。 图 11 是用于说 明如果由多个 AR 服务提供商提供的对象共存而使用的提供 AR 的方法的图。
图 11 示出由使用不同图像识别方法的多个 AR 服务提供商提供的对象共存于所获 取的图像中。在此情况下， 识别由已经提供了第一识别对象的 AR 服务提供商提供的对象可 比识别其它 AR 服务提供商提供的对象更迅速地进行。因此， 在与第一识别对象关联的邻居 列表中， 由已经提供了第一识别对象的 AR 服务提供商提供的对象可以被高亮， 如由对象的 阴影指示， 并且输出。
图 12 示出根据示例实施方式使用对象之间的关系提供的示例 AR。 图 12 用于例示 使用对应于无标记对象的标记提供 AR 的方法。
参照图 12， 如果特定标记被识别， 则获取关于标记和对象 “N Seoul Tower” 之间 的关系的信息。例如， 如果用户使用基于对应于餐厅 “ThePlace” 的标记的特定服务， 则标 记包括该标记在 “N Seoul Tower” 的二层的餐厅 “The Place” 中使用的信息。该信息被存 储在终端和 / 或服务器中。之后， 如果用户希望接收基于标记的服务， 他 / 她可以使用在终 端中存储的信息或者捕捉对象 “N Seoul Tower” 的图像， 由此接收对象中包括的标记以使 用基于对应的标记的服务。在餐厅 “ThePlace” 中使用的标记的父对象信息包括 N Seoul Tower， 并且对象 “N Seoul Tower” 的子对象信息包括关于位于餐厅中的标记的信息。
因此， 由于预先存储了关于预计将被用户请求的对象的识别信息， 所以可以迅速 识别对象， 并且可以提高对象识别率。 另外， 可以迅速检测和提供对应于所识别的对象的 AR 信息。
另外， 由于将关于曾经识别的对象的信息用于基于对象之间的关系识别其它对 象， 可进一步提高对象识别率。对于本领域技术人员而言， 很明显， 可以在不脱离本发明的实质或范围的情况下 对本发明做出各种修改和变化。因此， 本发明旨在涵盖落入所附权利要求及其等同物范围 内的本发明的这些修改和变化。