图像匹配装置和图像匹配方法.pdf

1、(10)申请公布号 CN 103168294 A(43)申请公布日 2013.06.19CN103168294A*CN103168294A*(21)申请号 201080069749.1(22)申请日 2010.10.22G06F 13/00(2006.01)(71)申请人瑞典爱立信有限公司地址瑞典斯德哥尔摩(72)发明人松村刚志 约翰吉尔姆村上慎吾 小田稔周 安川健太(74)专利代理机构中科专利商标代理有限责任公司 11021代理人王玮(54) 发明名称图像匹配装置和图像匹配方法(57) 摘要本发明提供了图像匹配装置。该装置包括：存储单元，被配置为存储连接到局域网的一个或更多个设备的图像数据；

2、获取单元，被配置为获得通过捕获设备而获得的设备图像的图像数据；指定单元，被配置为指定要被用于图像匹配的一个或更多个局域网；以及图像匹配单元，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。(85)PCT申请进入国家阶段日2013.04.22(86)PCT申请的申请数据PCT/JP2010/069236 2010.10.22(87)PCT申请的公布数据WO2012/053118 EN 2012.04.26(51)Int.Cl.权利要求书2页 说明书10页 附图11页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页 说明书10

3、页 附图11页(10)申请公布号 CN 103168294 ACN 103168294 A1/2页21.一种图像匹配装置(101、102、103)，包括：存储单元(321)，被配置为存储连接到局域网(105)的一个或更多个设备(104)的图像数据；获取单元(311)，被配置为获得通过捕获设备而获得的设备图像的图像数据；指定单元(313)，被配置为指定要被用于图像匹配的一个或更多个局域网；以及图像匹配单元(312)，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。2.根据权利要求1所述的装置，还包括：被配置为通过使用所述图像匹配的结果来获得与所捕

4、获的设备有关的数据的单元(331)。3.根据权利要求2所述的装置，其中，所述与所捕获的设备有关的数据包括以下至少一项：与所捕获的设备有关的上下文信息、用于控制所捕获的设备的软件、以及与所捕获的设备相关联的广告。4.根据权利要求1-3中任一项所述的装置，其中，所述图像匹配单元还被配置为：基于捕获设备时的条件，降低在图像匹配中要使用的图像数据的数量，或者改变在图像匹配中要使用的图像数据的顺序。5.根据权利要求1-4中任一项所述的装置，还包括：被配置为针对所捕获的设备的图像数据将所获得的图像数据存储在所述存储单元中的单元(314)。6.根据权利要求2-5中任一项所述的装置(102)，其中所述装置是用

5、于向移动终端(101)提供图像匹配服务的服务器，所述获取单元被配置为通过从所述移动终端接收图像数据来获得图像数据。7.根据权利要求6所述的装置，其中：所述获取单元还被配置为从所述移动终端接收所捕获的设备的设备图像，以及所述装置还包括：被配置为通过将与所捕获的设备有关的数据覆盖到接收到的设备图像来产生增强现实图像的单元(331)，以及被配置为向所述移动终端发送所产生的增强现实图像的单元(334)。8.根据权利要求6或7所述的装置，还包括：数据库(226)，被配置为针对每个设备型号存储图像数据，其中，所述图像匹配单元还被配置为：当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，

6、执行所获得的图像数据与所述数据库中存储的图像数据的图像匹配。9.根据权利要求8所述的装置，还包括：被配置为向所指定的局域网的网关(103)或移动终端(101)提供软件的单元(324)，所述软件使得当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，所述网关或所述移动终端能够发现所捕获的设备。10.根据权利要求2-5中任一项所述的装置(101)，其中所述装置是移动终端，以及所述获取单元还被配置为获得所捕获的设备的设备图像，以及所述装置还包括：被配置为通过将与所捕获的设备有关的数据覆盖到所获得的设备图像来产生增强现实图像的单元(331)，以及权 利 要 求 书CN 1031682

7、94 A2/2页3显示单元(214)，被配置为显示所产生的增强现实图像。11.根据权利要求10所述的装置，还包括：图像形成单元(213)，被配置为捕获设备图像。12.根据权利要求10或11所述的装置，还包括：单元(215)，被配置为，当在与所述存储单元中存储的图像数据的图像匹配中没有匹配得到图像数据时，请求提供图像匹配服务的服务器(102)执行对所获得的图像数据的图像匹配。13.一种通过使用存储器(321)来进行的图像匹配方法，所述存储器存储连接到局域网(105)的一个或更多个设备(104)的图像数据，所述方法包括：获得(S604)通过捕获设备而获得的设备图像的图像数据；指定(S605)要被用

8、于图像匹配的一个或更多个局域网，以及执行(S606)所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。权 利 要 求 书CN 103168294 A1/10页4图像匹配装置和图像匹配方法技术领域0001 本发明涉及图像匹配装置和图像匹配方法。背景技术0002 利用在从相机接收到的图像上覆盖(overlay)从网络接收到的图像以及还可从网络接收到的任何附加信息(例如在设备上正在播放哪首音乐等)，将环境视觉化变为了可能。这种类型的增强型视图经常被称为“增强现实”(AR)。0003 AR应用需要识别用户向其请求获得信息的设备。作为AR应用的示例的Sekai相机基于

9、已捕获到目标设备的移动设备的位置信息来识别目标设备。该位置信息是使用移动设备中的GPS、运动和角度传感器来计算的。然而，GPS不提供足够的精确度，并且插入各个设备的位置会打扰到最终用户并且将是不被接受的。作为AR应用的另一示例的ARToolKit通过利用要被相机捕获的标记来识别目标设备。然而，最终用户需要在不同位置放置标记，并因而最终用户不会接受该解决方案。0004 US2010135527提出了通过执行图像匹配来识别设备的AR应用。根据该申请，移动互联网设备将捕获的设备图像与图像数据库中存储的多个候选设备图像相比较，以识别所捕获的设备。该解决方案优于Sekai相机和ARToolKit，因为该

10、解决方案不需要使用位置信息和标记。然而，当图像数据库存储很多设备图像时，图像匹配的处理时间将增加，并且图像匹配的精确度也将退化。因此，期望改进图像匹配的处理时间和精确度。发明内容0005 根据本发明的一个方面，提供了图像匹配装置。该装置包括：存储单元，被配置为存储连接到局域网的一个或更多个设备的图像数据；获取单元，被配置为获得通过捕获设备而获得的设备图像的图像数据；指定单元，被配置为指定要被用于图像匹配的一个或更多个局域网；以及图像匹配单元，被配置为执行所获得的图像数据与所存储的连接到所指定的局域网的一个或更多个设备的图像数据的图像匹配。0006 参考附图，由下面的示例性实施例的描述，本发明的

11、其他特征将变得显而易见。附图说明0007 图1示意了示例性系统，其可包括根据一些实施例的图像匹配装置。0008 图2示意了根据第一实施例的组件的示例性部署。0009 图3A-3C示意了根据一些实施例的组件的示例性细节。0010 图4示意了根据一些实施例的示例性上下文表。0011 图5示意了根据一些实施例，用于管理上下文表的总体操作的示例。0012 图6示意了根据本实施例，用于产生AR图像的总体操作的示例。0013 图7示意了示例性的捕获图像和AR图像。0014 图8示意了根据第二实施例的组件的示例性部署。说 明 书CN 103168294 A2/10页50015 图9示意了根据第三实施例的组件

12、的示例性部署。0016 图10示意了根据第三实施例，用于执行图像匹配的总体操作的示例。0017 图11示意了根据第四实施例的组件的示例性部署。具体实施方式0018 现在将参照附图描述本发明的实施例。下面描述的各个实施例将有助于从一般到更特殊地理解多种概念。应该注意到，本发明的技术范围由权利要求所限定，而不受下面描述的各个实施例限制。此外，在实施例中描述的特征的所有组合对于本发明来说不一定都是必不可少的。0019 本发明的一个方面涉及执行图像匹配的图像匹配装置。图像匹配是用于通过设备的图像数据来识别设备的过程。设备的图像数据可以是设备自己的图片，或者是从设备的图片提取的特征值，例如，形状、颜色等

13、等。用于图像匹配的图像数据取决于图像匹配的算法，诸如缩放不变特征变换(Scale Invariant Feature Transform，SIFT)、加速鲁棒性特征(Speeded-Up Robust Features，SURF)以及来自加速段测试(Accelerated Segment Test，FAST)的特征。下文中，术语“设备图像”表示设备的图片，以及术语“图像数据”表示用于执行对设备的图像匹配的数据。设备图像可以是静止图像或是运动图像的帧。0020 图1示意了示例性系统100，在该系统100中，可以应用根据本发明的一些实施例的图像匹配装置。下面，将在增强现实(AR)应用的上下文中描述

14、图像匹配装置。然而，可以将图像匹配装置用于稍后描述的其他应用。系统100可以包括移动电话101、个人网络应用服务器(PNAS)102、网关(G/W)103和一个或更多个设备104。移动设备101、PNAS 102和G/W 103中的任何设备可以作为下面描述的图像匹配装置操作。0021 移动电话101是向用户107提供AR图像的移动设备。移动电话101是用户终端的示例，并且可以使用其他用户终端，例如膝上型PC、桌面型PC和数字相机。0022 G/W 103是LAN 105和互联网106之间的网关设备，并且可以管理LAN 105。设备104连接到LAN 105并经由G/W 103向PNAS 102

15、提供其信息。可以由根据本发明的实施例的图像匹配装置来识别可连接到局域网的任何设备。局域网包括图1中示出的家庭网络，以及车内网络、办公室网络和其他闭合网络。通过使用已知的远程接入技术，设备104是从PNAS 102可达的。根据本发明的实施例，为了保持图像匹配简单和资源需求较小，要与输入设备相比较的设备被缩减为连接到局域网的设备。0023 PNAS 102是用于聚合在局域网(例如家庭网络和车内网络)中发现的设备能力和状态信息的服务器。在一些实施例中，PNAS102向移动电话101提供图像匹配服务。0024 0025 图2示意了根据本发明的第一实施例，系统100中的各个设备的示例性配置。图2中的移动

16、电话210、PNAS 220和G/W 230分别对应于图1中的移动电话101、PNAS 102和G/W 103。在第一实施例中，PNAS 220作为图像匹配装置进行操作。0026 移动电话210可以包括CPU 211、存储器212、相机213、触摸屏214和AR浏览器215。CPU 211控制移动电话210的整体操作。为了简单起见，没有示出CPU 211和移动电话210中的各个组件之间的箭头。存储器212存储用于移动电话210的操作的计算机程序和数据。相机213是用于捕获图像(包括设备104的设备图像)的图像形成单元。相机213说 明 书CN 103168294 A3/10页6可以根据来自用户

17、107的指令捕获静止图像或运动图像。相机213向AR浏览器215提供所捕获的图像。触摸屏214显示由AR浏览器215提供的AR图像。触摸屏214既操作为输入单元也操作为输出单元，然而作为触摸屏214的补充或替代，移动电话210可以分别包括输入设备(例如，键盘)和输出设备(例如，非触摸显示器)。0027 AR浏览器215从相机213获得所捕获的图像，并在然后向PNAS 220发送所捕获的图像，以请求所捕获的图像的AR图像。AR浏览器215从PNAS 220接收作为响应的AR图像，并在然后向触摸屏214提供AR图像。0028 G/W 230可以包括CPU 231、存储器232和上下文提供器233。

18、CPU 231控制G/W 230的整体操作。为了简单起见，没有示出CPU 231和G/W 230中的各个组件之间的箭头。存储器232存储用于G/W 230的操作的计算机程序和数据。0029 上下文提供器233发现连接到LAN 105的设备104。上下文提供器233可以例如使用诸如UPnP、DLNA、Zigbee和Bluetooth等协议来发现设备104。当G/W支持一个以上协议时，上下文提供器233可以使用不同的协议发现不同的LAN。作为设备发现的补充或替代，用户107可以手动将设备104注册到上下文提供器233。上下文提供器233还从已发现的或已注册的设备104获得上下文信息。设备104的上

19、下文信息是表示设备的信息，并且可以包括静态信息，例如设备标识、设备类型、设备模型、设备制造商、设备能力、以及设备的易记名称、可能操作的菜单(例如，播放音乐、与用户107的朋友开启聊天会话)，还可以包括动态信息。例如，什么文件、应用和多媒体内容被存储在设备中、什么服务和应用正在运行、谁在使用设备、以及现在使用设备104的朋友的列表。上下文提供器233向PNAS 220提供所获得的上下文信息。上下文提供器233具有唯一标识符，该唯一标识符被用于识别由G/W 230管理的一个或更多个LAN 105。0030 PNAS 220从移动电话210获得图像，识别所获得的图像中包括的设备，并创建AR图像，在该

20、AR图像上覆盖了与所识别的设备有关的信息。PNAS 220将所产生的AR图像发送回移动电话210。0031 PNAS 220可以包括CPU 221、存储器222、AR图像编排器(composer)223、图像匹配器224、上下文管理器225和设备图像数据库226。CPU 221控制PNAS 220的整体操作。为了简单起见，没有示出CPU 221和PNAS 220中的各个组件之间的箭头。存储器222存储用于PNAS 220的操作的计算机程序和数据。0032 设备图像数据库226存储对相同型号的所有设备来说公共的上下文信息。设备图像数据库226中存储的上下文信息的示例可以包括设备型号、设备规范、版

21、本日期、分类价格和设备制造商。上下文信息还包括设备的图像数据。上下文信息还可以包括所支持的协议，上下文提供器223可以使用该所支持的协议来连接到具有该设备型号的设备。作为协议信息的替代或补充，可以将对软件的引用包括在上下文信息中，该软件可安装在上下文提供器223中，用于连接到具有该设备型号的设备。如上所述，图像数据取决于用于使用图像匹配的算法。从而，设备图像数据库226可以包括针对不同算法的不同图像数据集合。设备图像数据库226还可以包括针对通过从不同角度捕获设备而获得的设备图像的不同图像数据集合。0033 可以由PNAS 220的操作员、AR服务的服务提供商、AR服务的用户和/或设备制造商通

22、过管理接口将上下文信息注册到设备图像数据库226。设备图像数据库226可以具说 明 书CN 103168294 A4/10页7有从设备图像提取图像数据的功能。设备型号的上下文信息与设备型号的标识相关联，以使得通过使用设备型号的标识作为关键字来获取上下文信息。例如，设备型号的标识可以是设备制造商的名称与型号名称的组合，或者其可以是相同设备型号中公共的序列号的前缀。0034 上下文管理器225管理用于执行图像匹配的图像数据以及上下文信息。如图3B中示出的，上下文管理器225可以包括上下文表321、设备信息获取单元322、型号信息获取单元323和软件提供单元324。0035 图4示意了上下文表321

23、的示例。上下文表321存储设备104的标识、设备104连接到的LAN的LAN标识、设备104的图像数据的集合以及设备104的上下文信息，以使得LAN标识、图像数据的集合和上下文信息与设备标识相关联。列“设备ID”401表示设备标识，列“LAN ID”表示LAN标识，列“图像数据集”表示图像数据的集合，以及列“上下文信息”表示上下文信息。LAN标识是PNAS 102可以借以唯一地标识LAN的标识。LAN标识的示例是G/W的全球IP地址与G/W使用来管理LAN的私人标识的配对。上下文表321可以包括连接到不同LAN的设备的多个条目。例如，设备“设备A”连接到LAN“LAN A”和“LAN C”，设

24、备“设备B”连接到LAN“LAN A”，以及设备“设备D”连接到LAN“LAN B”。图像数据的集合可以包括多个图像数据，例如针对从不同角度捕获的设备的设备图像的不同图形数据以及用于执行图像匹配的不同算法的不同图像数据。0036 设备信息获取单元322获得设备104的设备标识、设备104连接到的LAN的LAN标识以及设备104的上下文信息。当上下文表321不包括针对于其设备标识已被获得的设备的条目时，设备信息获取单元232创建在其中将LAN标识和上下文信息与设备标识相关联的条目。当上下文表321已经包括针对于其设备标识已被获得的设备的条目时，设备信息获取单元232使用设备标识作为关键字来更新L

25、AN标识和上下文信息。0037 型号信息获取单元323从设备图像数据库226获取设备104的图像数据以及在设备104的设备型号中公共的上下文信息。型号信息获取单元可以使用从上下文提供器233获得的上下文信息中包括的设备型号作为关键字。如稍后描述的，软件提供单元324向上下文提供器233提供软件。0038 设备图像数据库226和上下文管理器225都存储图像数据，然而设备图像数据库226与上下文管理器225中存储的针对特定设备104的图像数据可以不同。图像数据库226中存储的设备图像在设备型号中是公共的(换言之，在具有相同设计的设备中是公共的)。另一方面，上下文管理器225中存储的设备图像是单个设

26、备104所特有的，因为设备104的实际设备图像可以不同于在设备型号中公共的设备104的设备图像。例如，当用户107在设备104的表面贴上字符印章以个性化设备104时，所捕获的包含印章的设备图像可降低与在设备型号中公共的设备图像的图像匹配的性能。0039 AR图像编排器233基于从移动电话210接收到的捕获的设备图像，产生AR图像。在图2中，AR图像编排器223包括在PNAS 220中，然而可以代之将AR图像编排器223包括在移动电话210中。如图3C中示出的，AR图像编排器223可以包括AR图像产生单元331、设备图像获取单元332、图像数据产生单元333和发送单元334。0040 设备图像获

27、取单元332从移动电话获得包括设备104的设备图像在内的捕获的图像。图像数据产生单元333基于设备104的设备图像来产生设备104的图像数据。如上说 明 书CN 103168294 A5/10页8所述，要用于执行图像匹配的图像数据取决于图像匹配的算法。AR图像产生单元331向图像匹配器224发送图像数据，并请求使用图像数据来执行图像匹配。AR图像产生单元331获得针对所识别的设备的上下文信息，并通过将上下文信息覆盖在捕获的图像上来产生AR图像。发送单元334向移动电话210发送所产生的AR图像。0041 图像匹配器224识别其图像已被捕获的设备104。图像匹配器224可以包括图像数据获取单元3

28、11、图像匹配单元312、LAN指定单元313和上下文表更新单元314。图像数据获取单元311从AR图像编排器223获得图像数据。LAN指定单元313指定要被用于图像匹配的LAN 105。图像匹配单元312将所获得的图像数据与上下文管理器225的上下文表321中存储的图像数据相比较。图像匹配单元312向AR图像编排器223返回图像匹配的结果。例如，在所获得的图像数据与上下文表321中存储的图像数据之一匹配时，图像匹配单元312返回捕获的设备的设备标识，以及在所获得的图像数据与上下文表321中存储的所有图像数据都不匹配时，返回出错。0042 图像匹配单元312使用所指定的LAN标识来缩减将捕获的

29、设备的图像数据与之相比较的图像数据的数量。将要比较其图像数据的设备称为“候选设备”。现在将参考图4中的上下文表321来描述示例。假设LAN指定单元313因为其图像已被捕获的设备104很可能连接到“LAN A”而指定应该将“LAN A”用于图像匹配。在该情况下，图像匹配单元312选择“Dev A”、“Dev B”和“Dev C”作为候选设备，因为其“LAN ID”402包括“LAN A”，并在然后，图像匹配单元312将所获得的图像数据与候选设备的图像数据相比较。0043 图5示意了根据本实施例，用于管理上下文表321的总体操作的示例。各个设备中包括的CPU执行存储在各个设备的存储器中的计算机程序

30、，以处理这些操作。0044 在步骤S501中，上下文提供器233例如通过UPnP过程来发现连接到作为G/W 103的相同LAN 105的设备104。然后，上下文提供器233从已发现的设备104获取上下文信息。上下文信息包括已发现的设备104的设备标识。0045 在步骤S502中，上下文提供器233向上下文管理器225提供已发现的设备104所连接到的LAN 105的LAN标识，以及已发现的设备104的上下文信息。上下文提供器233可以使用其标识来作为LAN标识。当上下文提供器233支持一个以上协议时，上下文提供器233可以针对各个协议来发现连接到LAN的设备104。在该情况下，上下文提供器233

31、可以将多个LAN标识与其标识一起向上下文管理器225发送。上下文管理器225从上下文提供器233接收LAN标识和上下文信息(在相同情况下，还有上下文提供器233的标识)。0046 在步骤S503中，上下文管理器225从设备图像数据库226获取在已发现的设备104的设备型号中公共的上下文信息。上下文管理器225可以使用从上下文提供器233获得的上下文信息中包括的设备型号的标识来作为关键字。替代上下文信息本身，上下文管理器225可以获取针对上下文信息的链接(例如，URL)。0047 在步骤S504中，上下文管理器使用来自上下文提供器233和设备图像数据库226的上下文信息创建或更新上下文表中针对已

32、发现的设备104的条目。可以重复步骤S501到S504，以使得上下文表231存储最新的上下文信息。0048 图6示意了根据本实施例，用于产生AR图像的总体操作的示例。各个设备中包括的CPU执行存储在各个设备的存储器中的计算机程序，以处理这些操作。可以与图6中描述的操作并行地执行这些操作。说 明 书CN 103168294 A6/10页90049 在步骤S601中，用户107对移动电话210进行移动来捕获设备104，以及相机捕获包括设备图像的图像，并向AR浏览器215发送捕获的图像。图7示出了捕获的图像的示例。捕获的图像701包括设备104(例如，音频设备)的设备图像702。在该步骤中，AR浏览

33、器215可以等待来自相机213的图像变得稳定。可以使用移动电话210的运动和方向传感器(未示出)以及连续的相机图像之间的比较来确定该稳定性。此外，当捕获的图像中包括两个或更多设备时，为了确定要识别的设备图像，AR浏览器215可以等待用户的输入。例如，用户107希望在触摸屏214上仅指出用户希望获得与其有关的信息的设备104。0050 在步骤S602中，AR浏览器215向AR图像编排器223发送捕获的图像701。在步骤S603中，AR图像编排器223从捕获的图像701提取设备图像702，并基于设备图像702来创建捕获的设备104的图像数据。当捕获的图像701包括两个或更多设备图像时，AR图像编排

34、器223可以选择设备图像中的例如靠近捕获的图像701的中心的设备图像。备选地，AR图像编排器223可以提取各个设备的设备图像。在该情况下，针对各个设备图像执行下面的过程。备选地，AR图像编排器223可以由包括一个或更多个设备的整个捕获的图像来创建图像数据。在步骤S604中，AR图像编排器223向图像匹配器224发送捕获的设备104的图像数据，并请求返回捕获的设备104的设备标识。如果在图像数据中已经匹配了多个设备，图像匹配器224可以返回一个以上的设备标识。图像匹配器224可以返回捕获的设备104在捕获的图像701中的位置和大小。0051 在步骤S605中，图像匹配器指定要被用于图像匹配的一个

35、或更多个LAN。当移动电话210经由G/W 230与PNAS 220通信时，图像匹配器224可以假设捕获的设备104和移动电话210连接到相同的LAN，并且可以选择由G/W 230管理的LAN来作为要被用于图像匹配的LAN。备选地，图像匹配器224可以从具有捕获的图像701的移动电话210接收LAN 105的LAN标识。移动电话210可以通过来自用户107的输入获得LAN标识。可以在移动电话210或PNAS 220中预设用于图像匹配的一个或更多个LAN标识。当图像匹配器224获得上下文提供器233的标识时，图像匹配器224可以指定由G/W 230管理的、包括上下文提供器233的一个或更多个LA

36、N。图像匹配器224可以从移动电话210获得上下文提供器223的标识。备选地，图像匹配器224可以存储与移动电话的标识相关联的上下文提供器的标识，并获得移动电话的标识以识别所存储的上下文提供器的标识。用户107可以将用户107希望用于图像匹配的一个或更多个LAN注册到PNAS 220。0052 在步骤S606中，如上所述，图像匹配器224执行捕获的设备104的图像数据的图像匹配。在步骤S607中，图像匹配器224向AR图像编排器223返回捕获的设备104的设备标识。当捕获的图像包括一个以上的设备图像时，图像匹配器224可以返回一个以上的设备标识。在步骤S608中，AR图像编排器223使用设备标

37、识来作为关键字，向上下文管理器225请求捕获的设备104的上下文信息。在步骤S609中，上下文管理器225向AR图像编排器223返回上下文信息。在步骤S610中，AR图像编排器223通过将捕获的设备104的上下文信息704覆盖在捕获的图像701上，产生图7中示出的AR图像703。0053 在步骤S611中，AR图像编排器223向AR浏览器215发送AR图像703。在步骤S612中，AR浏览器215在触摸屏214上显示AR图像703。0054 在步骤S613中，图像匹配器224可以使用图像匹配的结果来更新上下文管理器225中的上下文表，以提高下一次比较的性能。捕获的设备104的图像数据应该表示捕

38、获说 明 书CN 103168294 A7/10页10的设备104的最新的设备图像。因此，图像匹配器224可以通过使用在步骤S604处获得的图像数据来更新上下文表321中存储的图像数据的集合。例如，图像匹配器224可以将上下文表321中存储的图像数据替换为获得的图像数据。此外，当在步骤S604处获得的图像数据从不同的角度和不同的距离捕获设备104时，可以将获得的图像数据添加到上下文表321中存储的图像数据的集合。0055 现在将描述本实施例的一些变型。这些变型还可以应用于后面描述的其他实施例。图像匹配器224还可以通过使用周围环境的信息(例如，移动电话210发现的Wifi SSID、移动电话2

39、10的角度传感器的值以及相机能力)来缩减候选设备。此外或备选地，上下文管理器225可以对候选设备分类，以使得具有最高可能性的候选设备在第一位，具有较低可能性的设备在其后。图像匹配器224可以跳过与图像匹配器224确定在移动电话210的当前位置处相机213不能捕获的候选设备的图像匹配。例如，如果用户107在家中并且汽车驾驶在远处，汽车导航设备不能被相机213捕获。不存在用于确定设备被相机213捕获到的可能性的单个算法，然而可以通过多个方式进行估计。图像匹配器224可以使用移动设备210的大致位置信息和与家和汽车的距离，其是由GPS测量的，由蜂窝网络的三角测量法测量的，或者是提前提供的。图像匹配器

40、224可以使用过去的图像匹配结果以及用户107之前与设备104互动的频率。如果从过去的图像匹配知道了移动电话210和设备104之间的相对位置，图像匹配器224可以估计相机213的大致位置和角度。例如，房间中有TV和立体声并且TV和立体声位于相机213永远不可在同时捕获到它们的路线上，则当TV在捕获的图像中时，可以将立体声从候选设备移除。0056 0057 图8示意了根据本发明的第二实施例，系统100中的各个设备的示例性配置。移动电话810和PNAS 820分别对应于移动电话101和PNAS 102。G/W 103未包括在根据本实施例的系统中。在第二实施例中，移动电话810作为图像匹配装置操作。

41、图8中示出的组件的功能和操作与图2中示出的组件相似，并因此将省略对这些组件的描述。在本实施例中，移动电话810包括CPU 211、存储器212、相机213、触摸屏214、AR浏览器215、AR图像编排器223、图像匹配器224、上下文提供器233和上下文管理器225。0058 因为移动电话810包括上下文提供器233，移动电话810可以发现设备104。上下文管理器225可以管理同一移动电话810中的上下文提供器233已发现的设备。0059 移动电话810可以具有另一AR浏览器应用(例如，Sekai相机)，并在上下文提供器233没发现任何设备时使用该AR浏览器应用。当上下文提供器233发现了设备

42、104时，移动电话810可以代之以使用AR浏览器215。0060 0061 图9示意了根据本发明的第三实施例，系统100中的各个设备的示例性配置。图930中的移动电话910、PNAS 920和G/W 930分别对应于移动电话101、PNAS 102和G/W 103。在第三实施例中，PNAS 920和移动电话910作为图像匹配装置操作。亦即，移动电话910包括图像匹配器224a和上下文管理器225a，亦即PNAS 920包括图像匹配器224b和上下文管理器225b。图9中示出的组件的功能和操作与图2中示出的组件相似，并因此将省略对这些组件的描述。0062 在本实施例中，与移动电话910所提供的相比，PNAS 920可以提供更强大的图像说 明 书CN 103168294 A10