功能扩展装置、功能扩展方法、功能扩展程序以及集成电路.pdf

《功能扩展装置、功能扩展方法、功能扩展程序以及集成电路.pdf》由会员分享，可在线阅读，更多相关《功能扩展装置、功能扩展方法、功能扩展程序以及集成电路.pdf（30页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103003783 A (43)申请公布日 2013.03.27 C N 1 0 3 0 0 3 7 8 3 A *CN103003783A* (21)申请号 201280002073.3 (22)申请日 2012.01.20 2011-019784 2011.02.01 JP G06F 3/0481(2013.01) G06F 3/01(2006.01) (71)申请人松下电器产业株式会社 地址日本大阪府 (72)发明人堀井幸 (74)专利代理机构中科专利商标代理有限责任 公司 11021 代理人汪惠民 (54) 发明名称 功能扩展装置、功能扩展方法、功能扩展程序 。

2、以及集成电路 (57) 摘要 对象识别部(1101)根据现实空间的影像数 据识别包含在该影像数据中的物体。功能设定部 (1103)保存针对物体的各种类能够设定的由操 作和处理的组构成的功能被规定的功能信息。然 后，功能设定部(1103)针对由对象识别部(1101) 识别出的各物体，根据各物体的种类设定能够设 定的功能。选择判定部(1105)从由对象识别部 (1101)识别出的各物体中判定被用户选择为操 作对象的选择物体。操作判定部(1106)判定用户 对选择物体进行的操作。处理决定部(1107)决定 对构成由功能设定部(1103)设定的功能的操作 中、由操作判定部(1106)判定出的操作的处理。

3、。 (30)优先权数据 (85)PCT申请进入国家阶段日 2013.01.18 (86)PCT申请的申请数据 PCT/JP2012/000357 2012.01.20 (87)PCT申请的公布数据 WO2012/105175 JA 2012.08.09 (51)Int.Cl. 权利要求书3页 说明书20页 附图6页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 3 页 说明书 20 页 附图 6 页 1/3页 2 1.一种功能扩展装置，将现实空间中的物体取入到扩展现实空间，并对该物体设定功 能，其特征在于包括： 对象识别部，从由影像输入装置获取的现实空间的影像数据识别。

4、包含在该影像数据中 的物体，对识别出的物体的种类以及该物体在现实空间的位置进行识别； 功能设定部，保存针对物体的各种类能够设定的由操作和处理的组而构成的功能被规 定的功能信息，在由所述对象识别部识别出物体时，参照所述功能信息，根据识别出的物体 的种类对该物体设定功能；输入识别部，识别在所述现实空间中由用户进行的输入动作以 及所述输入动作被进行的现实空间中的输入位置； 选择判定部，基于所述对象识别部识别出的物体在现实空间中的位置以及所述输入识 别部识别出的在现实空间中的输入位置，判定由用户选择为操作对象的选择物体； 操作判定部，利用所述输入识别部识别出的输入动作，判定用户的操作； 处理决定部，针。

5、对所述选择判定部所选择的选择物体，决定对构成由所述功能设定部 设定的功能的操作中、由所述操作判定部判定出的操作的处理；以及 执行部，执行所述处理决定部所决定的处理。 2.根据权利要求1所述的功能扩展装置，其特征在于， 所述对象识别部，针对各识别出的物体辨别该物体的种类， 所述功能设定部，即使是种类相同的物体，也对各物体设定功能。 3.根据权利要求2所述的功能扩展装置，其特征在于， 所述输入识别部，获取用于辨别进行了输入动作的用户的用户标识符， 所述功能设定部，在由所述对象识别部识别出物体时，向用户提示对该物体的种类能 够设定的操作和处理的候选，将由用户选择的操作和处理设定为该物体的功能，并将所。

6、设 定的功能与所述用户标识符对应起来加以保存， 所述处理决定部，决定对构成所述功能设定部为具有所述用户标识符的用户设定的功 能的操作中、由所述操作判定部判定出的操作的处理。 4.根据权利要求2或3所述的功能扩展装置，其特征在于， 所述功能设定部，在由所述对象识别部识别出物体时，判定对该物体的种类能够设定 的操作和处理中的、对该物体能够设定的操作和处理，将判定出的操作和处理设定为该物 体的功能。 5.根据权利要求4所述的功能扩展装置，其特征在于， 所述对象识别部，识别物体的形状和大小， 所述功能设定部，基于所述对象识别部识别出的物体的形状和大小的至少其中之一， 判定对该物体能够设定的操作和处理。。

7、 6.根据权利要求4或5所述的功能扩展装置，其特征在于， 所述功能设定部，基于所述功能扩展装置的能力以及与所述功能扩展装置连接的外围 装置的能力，判定对由所述对象识别部识别出的物体能够设定的操作和处理。 7.根据权利要求4至6中的任一项所述的功能扩展装置，其特征在于， 所述功能设定部，通过指定的通信网络与外部判定装置连接，在由所述对象识别部识 别出物体时，将对该物体的种类能够设定的操作和处理中的、对该物体能够设定的操作和 处理的判定处理委托给所述外部判定装置，根据所述外部判定装置的判定结果对该物体设 权 利 要 求 书CN 103003783 A 2/3页 3 定功能。 8.根据权利要求1至7。

8、中的任一项所述的功能扩展装置，其特征在于， 所述功能设定部，从通过指定的通信网络连接的服务器获取所述功能信息。 9.根据权利要求1至8中的任一项所述的功能扩展装置，其特征在于， 所述执行部，具备将图形重叠在由所述影像输入装置获取的影像数据上而显示于影像 输出装置的影像输出控制部， 所述功能扩展装置还包括图形生成部，在由所述处理决定部决定的处理是对所述选择 物体重叠图形的处理的情况下，生成重叠到所述选择物体上的图形，并将在所述选择物体 上重叠所生成的图形的描绘委托输出到所述影像输出控制部。 10.根据权利要求9所述的功能扩展装置，其特征在于， 所述执行部，具备控制对用户赋予触觉的触觉输出装置的触。

9、觉输出控制部， 所述触觉输出控制部，驱动所述触觉输出装置以伴随图形在所述选择物体上的重叠而 对用户赋予触觉。 11.根据权利要求1至10中的任一项所述的功能扩展装置，其特征在于还包括： 3D模型管理部，对由对象识别部识别出的各物体赋予物体标识符，生成包含所述物体 标识符、所述物体的种类以及所述物体在现实空间中的位置的各物体的3D立体视觉模型， 将所生成的各物体的3D立体视觉模型作为物体识别通知通知给所述功能设定部，其中， 所述功能设定部，在从所述3D模型管理部通知了物体识别通知时，判定所通知的物体 识别通知表示的物体由所述对象识别部识别出，并参照所述功能信息，根据识别出的物体 的种类对该物体设。

10、定功能。 12.根据权利要求11所述的功能扩展装置，其特征在于， 所述3D模型管理部，将由所述对象识别部识别出的各物体的位置数据与物体标识符 被对应起来的物体信息通知给所述选择判定部， 所述选择判定部，根据从所述3D模型管理部通知的物体信息识别由所述对象识别部 识别出的各物体在现实空间中的位置，并将相对于由所述输入识别部识别出的所述输入位 置位于指定范围内的物体判定为所述选择物体。 13.一种功能扩展方法，用于将现实空间中的物体取入到扩展现实空间，对该物体设定 功能，其特征在于包括以下步骤： 对象识别步骤，功能扩展装置从由影像输入装置获取的现实空间的影像数据识别包 含在该影像数据中的物体，对识。

11、别出的物体的种类以及该物体在现实空间中的位置进行识 别； 功能设定步骤，功能扩展装置保存针对物体的各种类能够设定的由操作和处理的组而 构成的功能被规定的功能信息，当在所述对象识别步骤中识别出物体时，参照所述功能信 息，根据识别出的物体的种类对该物体设定功能； 输入识别步骤，功能扩展装置识别在所述现实空间中由用户进行的输入动作以及所述 输入动作被进行的现实空间中的输入位置； 选择判定步骤，功能扩展装置基于所述对象识别部识别出的物体在现实空间中的位置 以及在所述输入识别步骤识别出的在现实空间中的输入位置，判定被用户选择为操作对象 的选择物体； 权 利 要 求 书CN 103003783 A 3/3。

12、页 4 操作判定步骤，功能扩展装置利用在所述输入识别步骤识别出的输入动作，判定用户 的操作； 处理决定步骤，功能扩展装置针对所述选择判定部所选择的选择物体决定对构成在所 述功能设定步骤设定的功能的操作中、在所述操作判定步骤判定出的操作的处理；以及 执行步骤，功能扩展装置执行在所述处理决定步骤所决定的处理。 14.一种功能扩展程序，使计算机作为将现实空间中的物体取入到扩展现实空间并对 该物体设定功能的功能扩展装置发挥功能，其特征在于使计算机作为以下各部发挥功能： 对象识别部，从由影像输入装置获取的现实空间的影像数据识别包含在该影像数据中 的物体，对识别出的物体的种类以及该物体在现实空间中的位置进。

13、行识别； 功能设定部，保存针对物体的各种类能够设定的由操作和处理的组而构成的功能被规 定的功能信息，在由所述对象识别部识别出物体时，参照所述功能信息，根据识别出的物体 的种类对该物体设定功能； 输入识别部，识别在所述现实空间中由用户进行的输入动作以及所述输入动作被进行 的现实空间中的输入位置； 选择判定部，基于所述对象识别部识别出的物体在现实空间中的位置以及所述输入识 别部识别出的现实空间中的输入位置，判定由用户选择为操作对象的选择物体； 操作判定部，利用所述输入识别部识别出的输入动作，判定用户的操作； 处理决定部，针对所述选择判定部所选择的选择物体决定对构成由所述功能设定部设 定的功能的操作。

14、中、由所述操作判定部判定出的操作的处理；以及 执行部，执行所述处理决定部所决定的处理。 15.一种功能扩展装置的集成电路，将现实空间中的物体取入到扩展现实空间，对该物 体设定功能，其特征在于包括： 对象识别部，从由影像输入装置获取的现实空间的影像数据识别包含在该影像数据中 的物体，对识别出的物体的种类以及该物体在现实空间中的位置进行识别； 功能设定部，保存针对物体的各种类能够设定的由操作和处理的组而构成的功能被规 定的功能信息，在由所述对象识别部识别出物体时，参照所述功能信息，根据识别出的物体 的种类对该物体设定功能； 输入识别部，识别在所述现实空间中由用户进行的输入动作以及所述输入动作被进行。

15、 的现实空间中的输入位置； 选择判定部，基于所述对象识别部识别出的物体在现实空间中的位置以及所述输入识 别部识别出的现实空间中的输入位置，判定由用户选择为操作对象的选择物体； 操作判定部，利用所述输入识别部识别出的输入动作，判定用户的操作； 处理决定部，针对所述选择判定部所选择的选择物体决定对构成由所述功能设定部设 定的功能的操作中、由所述操作判定部判定出的操作的处理；以及 执行部，执行所述处理决定部所决定的处理。 权 利 要 求 书CN 103003783 A 1/20页 5 功能扩展装置、 功能扩展方法、 功能扩展程序以及集成电路 技术领域 0001 本发明涉及一种在扩展现实空间中对识别出。

16、的物体设定功能的技术。 背景技术 0002 作为在扩展现实空间中对作为对象而被识别出的物体设定功能的技术，以往已知 一种利用预先对物体赋予的搜索功能的技术。 0003 在此，对作为对象而被识别出的物体设定的“功能”是指用户与物体间的相互作 用，由用户进行的一系列操作和对一系列操作各自的处理的组构成。更详细而言，“功能”由 作为从用户向物体的输入的“操作”和作为对用户的操作的反馈而被执行的“处理”的组构 成。 0004 作为“功能”的例子，考虑写入履历记录功能、颜色变更功能以及搜索功能等。在 搜索功能的情况下，针对用户指示物体的这样的“操作”，进行搜索所指示的物体的信息并 将搜索结果在视觉上提示。

17、给用户的这样的“处理”。 0005 例如，在专利文献1中公开了一种提供与用户所关心的物体有关的信息的指向系 统(pointing system)。 0006 用户将手持式装置指向想要访问的物(相当于上述的“操作”)。该手持式装置测 定位置和手势，制作基准，搜索预先编程的包含与物体有关的信息的数据库，由此判断哪一 个物体被访问。然后，将与被判断为当前被访问的物体的物体有关的信息提示在用户接口 上(相当于上述的“处理”)。 0007 然而，在专利文献1的结构中，预先确定对被访问的物体提示何种信息。也就是 说，预先确定对被访问的物体赋予的功能。因而，在专利文献1中，不存在针对物体在多个 功能中追加或。

18、从多个功能中删除哪个功能的机构。因此，虽然能够利用对物体预先确定的 功能，但是无法动态地追加或删除功能。 0008 另外，在专利文献1中，也不存在根据物体的种类确定能够对物体设定的功能的 机构、针对物体的各种类判断能够赋予的功能的机构。因此，无法对物体追加与物体的种类 相适应的功能。 0009 例如，对于书这种种类的物体来说，写入履历记录功能是能够赋予的功能，对于地 球仪这种种类的物体来说，搜索功能和颜色变更功能是能够赋予的功能。 0010 然而，在专利文献1的技术中，不存在针对物体的各种类判断能够赋予的功能的 机构。因此，在作为物体的种类存在书、白板、地球仪，作为系统对物体赋予的功能存在写入。

19、 履历记录功能、颜色变更功能以及搜索功能的情况下，无法判断对哪个物体赋予何种功能 来追加功能。 0011 专利文献1：日本特表2004-531791号公报 发明内容 0012 本发明的目的在于提供一种对被取入扩展现实空间的现实空间的物体能够动态 说 明 书CN 103003783 A 2/20页 6 地设定适合该物体的种类的功能的功能扩展装置、功能扩展方法、功能扩展程序以及集成 电路。 0013 本发明的一方面所涉及的功能扩展装置，是将现实空间中的物体取入到扩展现实 空间并对该物体设定功能的功能扩展装置，包括：对象识别部，从由影像输入装置获取的现 实空间的影像数据识别包含在该影像数据中的物体，。

20、对识别出的物体的种类以及该物体在 现实空间中的位置进行识别；功能设定部，保存针对物体的各种类能够设定的由操作和处 理的组构成的功能被规定的功能信息，在由所述对象识别部识别出物体时，参照所述功能 信息，根据识别出的物体的种类对该物体设定功能；输入识别部，识别在所述现实空间中由 用户进行的输入动作以及所述输入动作被进行的现实空间中的输入位置；选择判定部，基 于所述对象识别部识别出的物体在现实空间中的位置以及所述输入识别部识别出的现实 空间中的输入位置，判定由用户选择为操作对象的选择物体；操作判定部，利用所述输入识 别部识别出的输入动作判定用户的操作；处理决定部，针对所述选择判定部所选择的选择 物体。

21、决定对构成由所述功能设定部设定的功能的操作中、由所述操作判定部判定出的操作 的处理；以及执行部，执行所述处理决定部所决定的处理。 0014 另外，本发明的另一个方面所涉及的功能扩展方法、功能扩展程序以及集成电路 具备与所述功能扩展装置相同的特征。 附图说明 0015 图1是表示本发明的实施方式的功能扩展装置所适用的功能扩展系统的结构例 的框图。 0016 图2是示意性地示出图1所示的功能扩展系统识别现实空间的物体、设定与该物 体的种类相适应的功能的处理以及利用所设定的功能的处理的一例的图。 0017 图3是示意性地示出功能设定部所保存的功能信息的一例的图。 0018 图4(A)是示出表示功能设。

22、定部对由对象识别部作为对象识别出的各物体设定的 功能的功能设定信息的一例的图，(B)是示意性地示出本发明的实施方式的功能扩展装置 对作为对象识别出的物体设定的功能的一例的图。 0019 图5是表示在本发明的实施方式的功能扩展装置中执行的初始化处理的一例的 流程图。 0020 图6是表示本发明的实施方式的功能扩展装置对物体进行对象识别并对作为对 象识别出的物体设定功能的处理的一例的流程图。 0021 图7是表示本发明的实施方式的功能扩展装置对用户的操作进行识别并执行对 物体设定的功能时的处理的一例的流程图。 具体实施方式 0022 下面，参照附图来说明本发明的实施方式。此外，说明中使用的附图是为。

23、了说明本 发明可采用的技术特征而使用的，所记载的装置的结构和处理等只不过示出简单的一例。 因而，只要没有特殊的以限定为目的的记载，则装置的结构和处理并不限定于所记载的内 容。 0023 本发明的实施方式的功能扩展装置将存在于现实空间的物体进行对象识别，并取 说 明 书CN 103003783 A 3/20页 7 入到扩展现实空间，对作为对象识别出的物体追加新的功能，让用户利用所追加的功能。也 就是说，本功能扩展装置对作为对象识别出的物体不仅设定固定的功能，而且还追加与该 物体的种类相适应的功能、与该物体相称的功能，让用户利用固定的功能以及追加的功能。 0024 在此，对作为对象识别出的物体设定。

24、的“功能”是指用户与物体间的相互作用 (interaction)，由用户的一系列操作和处理的组构成。在此，“操作”是指用户对物体进行 的操作。另外，“处理”是指从物体对用户作为上述的“操作”的反馈而被执行的处理。 0025 更详细而言，“功能”由作为从用户向物体的输入的“操作”和作为从物体向用户的 输出、作为“操作”的反馈而被执行的“处理”的组构成。作为“功能”，例如包括写入履历记 录功能、颜色变更功能、搜索功能等。 0026 在此，搜索功能例如包括用户指示物体的“操作”、以及从数据库搜索与所指示的 物体有关的信息并将搜索结果在视觉上提示给用户的“处理”的组。 0027 在此，作为“处理”，例。

25、如相当于对由用户操作的物体同步或非同步地输出影像的 处理。作为对物体同步地输出影像的处理，可举出例如在用户对物体进行了操作时，生成与 操作对象的物体相关联的图形，并将所生成的图形重叠到操作对象的物体而进行输出。另 外，作为对物体非同步地输出影像的处理，可举出例如在用户对物体进行了操作时，保存与 操作内容相应的数据，在对物体的操作结束之后，从所保存的数据生成图形，并将所生成的 图形与物体相关联地输出。 0028 由此，在扩展现实空间中，用户通过头戴式显示器、3D立体视觉电视或触觉输出设 备等输出设备能够利用对物体追加的新的功能。 0029 例如，在作为“功能”追加了写入履历记录功能的情况下，如果。

26、用户对现实空间的 书进行“描”的操作，则在描过的位置处划下线的图形被重叠在扩展现实空间的书上加以显 示。在此，作为重叠显示，可以仅将伴随操作的图形重叠在扩展现实空间的物体上进行显 示，也可以将伴随操作的图形进一步重叠在重叠显示的图形上进行显示。 0030 另外，在用户再次打开了用户过去操作过的扩展现实空间的某书时，根据在过去 的操作时保存的数据生成图形，并重叠在物体上显示。由此，用户能够获得在扩展现实空间 中用手指对书画下划线，事后确认下划线的体验。 0031 在本实施方式中，作为“操作”，以用户移动手来输入操作为基本进行说明。然而， 本发明中的“操作”并不限定于手的移动，也可以采用视线、声音。

27、(语言)等作为操作。 0032 另外，在本实施方式中，作为“处理”，以将图形重叠在物体上进行显示的影像输出 为基本进行说明。然而，作为“处理”，并不限定于影像输出，例如也可以采用声音输出、触觉 输出等其它输出。 0033 下面，以将本发明的实施方式中的功能扩展装置应用于功能扩展系统的情况为例 具体进行说明。图1是表示应用本发明的实施方式的功能扩展装置1002的功能扩展系 统1001的结构例的框图。此外，图1所示的功能扩展系统1001例如搭载于头戴式显示器 (HMD)。另外，图1所示的功能扩展装置1002例如由具备CPU、ROM以及RAM等的微型计算 机构成，例如通过CPU执行本发明的功能扩展程。

28、序来实现各模块的功能。扩展功能程序保 存在例如ROM或RAM等的存储装置中。 0034 具体而言，对象识别部1101、3D模型管理部1102、输入识别部1104、选择判定部 1105、操作判定部1106、处理决定部1107、图形生成部1108、影像输出控制部1109、触觉输 说 明 书CN 103003783 A 4/20页 8 出控制部1110分别是例如存储在存储装置1007中的扩展功能程序所包含的程序，从存储 装置1007读出并由CPU执行，功能设定部1103是存储在存储装置1007中的扩展功能程序 所包含的程序，从存储装置1007读出并由CPU执行。 0035 从存储装置1007读出并由。

29、CPU执行的功能设定部1103例如从存储装置1007读 出功能信息并保存在RAM中。此外，虽然是将图1所示的功能扩展装置1002所包含的对象 识别部1101、3D模型管理部1102、输入识别部1104、选择判定部1105、操作判定部1106、处 理决定部1107、图形生成部1108、影像输出控制部1109、触觉输出控制部1110以及功能设 定部1103作为分别保存在存储装置1007中的程序并由CPU执行，但是无需限定于此。 0036 例如，也可以利用专用的处理电路(例如LSI等集成电路)来构成图1所示的功 能扩展装置1002所包含的对象识别部1101、3D模型管理部1102、输入识别部1104。

30、、选择判 定部1105、操作判定部1106、处理决定部1107、图形生成部1108、影像输出控制部1109、触 觉输出控制部1110以及功能设定部1103。 0037 功能扩展系统1001具备功能扩展装置1002、影像输入装置1003、用户输入识别装 置1004、影像输出装置1005、触觉输出装置1006、存储装置1007以及通信部1008。 0038 功能扩展装置1002具备对象识别部1101、3D模型管理部1102、功能设定部1103、 输入识别部1104、选择判定部1105、操作判定部1106、处理决定部1107、图形生成部1108、 影像输出控制部1109(执行部的一例)以及触觉输出控。

31、制部1110(执行部的一例)。 0039 下面，说明功能扩展装置1002所具备的各结构。对象识别部1101从由影像输入 装置1003获取的现实空间的影像数据识别该影像数据所包含的物体，对识别出的物体的 种类以及该物体在现实空间中的位置进行识别。具体而言，由影像输入装置1003向对象识 别部1101提供影像输入装置1003通过拍摄现实空间而获取到的影像数据。然后，对象识 别部1101对提供的影像数据中所包含的物体的种类、形状、大小以及在现实空间的位置进 行识别，并通知给3D模型管理部1102。 0040 在此，在影像输入装置1003例如由3D照相机构成的情况下，对象识别部1101可 以进行下述的。

32、处理来识别物体。首先，对象识别部1101从影像输入装置1003获取视线不 同的2个系统的影像数据。然后，影像输入装置1003对其中之一系统的影像数据进行特征 点提取处理来提取影像数据所包含的特征点。作为特征点，例如是物体的轮廓上的点，相当 于顶点、曲率大的点等的带有物体的形状特征的点。然后，对象识别部1101对从影像数据 提取出的特征点进行群集来分为多个特征点群，从特征点群的特征点的配置图案确定特征 点群所表示的物体。在这种情况下，对象识别部1101针对各种物体预先保存作为基准的特 征点的配置图案即基准配置图案，通过将该基准配置图案与从影像数据提取出的特征点的 配置图案进行比较，来确定特征点群。

33、所表示的物体即可。 0041 此外，作为这种识别物体的技术，例如在数码照相机等中广泛采用的脸识别技术 已为公知，对象识别部1101可以使用与该脸识别技术相同的方法来识别影像数据所包含 的物体。 0042 然后，对象识别部1101从另一系统的影像数据确定表示与已确定的物体的各特 征点相同的位置的对应点。然后，对象识别部1101可以根据各特征点与各对应点的视差并 用立体法求出各特征点在现实空间中的三维位置，将各特征点在现实空间中的位置识别为 物体的位置。 说 明 书CN 103003783 A 5/20页 9 0043 另外，对象识别部1101也可以通过识别对现实空间的物体赋予的标记信息来识 别影。

34、像数据所包含的物体。在此，标记信息是描述物体的种类、形状、大小以及位置等的信 息的信息。例如，对物体预先赋予以条形码、符号串表示标记信息的信息，对象识别部1101 可以从影像数据识别该条形码，根据识别出的条形码、符号串识别物体的种类、形状、大小 以及在现实空间的位置。 0044 另外，也可以将标记信息存储在IC标签中而让物体保存，对象识别部1101读出IC 标签所保存的数据来获取标记信息。在这种情况下，也可以在功能扩展系统1001中设置IC 标签读取器，对象识别部1101让该IC标签读取器读出标记信息从而获取标记信息。 0045 此外，包含在标记信息中的位置例如采用物体被配置的经度和纬度。而且。

35、，在功能 扩展系统1001中设置GPS。对象识别部1101可以从GPS识别功能扩展系统1001在现实空 间中的位置，并与包含在标记信息中的物体的位置进行比较，求出物体相对于功能扩展系 统1001的相对位置。 0046 另外，在影像输入装置1003例如由深度传感器构成的情况下，对象识别部1101从 通过影像输入装置1003获取的距离成分的图像数据提取物体的特征点。然后，可以根据提 取出的特征点的配置图案识别物体的种类、形状、大小以及在现实空间的位置。 0047 3D模型管理部1102由对象识别部1101通知对象识别部1101识别出的各物体的 种类、形状、大小以及在现实空间的位置，将包含被通知的各。

36、物体的种类、形状、大小以及在 现实空间的位置的数据生成为各物体的3D立体视觉模型并加以保存。 0048 另外，3D模型管理部1102对各物体的3D立体视觉模型赋予用于辨别各物体的物 体标识符。也就是说，各物体的3D立体视觉模型为表示物体的种类、形状、大小以及在现实 空间的位置的数据附带有物体的物体标识符的数据。此外，3D模型管理部1102将所生成的 3D立体视觉模型作为物体识别通知D1通知给功能设定部1103。 0049 另外，当从处理决定部1107提供指定物体标识符在物体(选择物体)上重叠图形 的重叠委托D2时，3D模型管理部1102生成与该物体有关的图形生成信息并加以保存。在 此，图形生成。

37、信息是为了生成在虚拟现实空间中重叠在物体上显示的图形所需的信息。在 图形的重叠委托D2中包含有表示图形的大小、形状以及重叠位置的数据。因而，3D模型管 理部1102可以将表示图形的大小、形状以及重叠位置的数据作为图形生成信息生成。 0050 3D模型管理部1102将生成的图形生成信息作为图形生成委托D3通知给图形生成 部1108。 0051 功能设定部1103保存针对物体的各种类能够设定的由一系列操作和处理的组而 构成的功能被规定的功能信息。关于功能信息，稍后用图3进行说明。而且，功能设定部 1103在由对象识别部1101识别出物体时参照功能信息，根据识别出的物体的种类对该物 体设定功能。此外。

38、，功能设定部1103当由3D模型管理部1102提供了物体识别通知D1时， 可以判定该物体识别通知D1所表示的物体由对象识别部1101识别出。 0052 然后，功能设定部1103当被通知来自3D模型管理部1102的物体识别通知D1时， 参照图3(A)所示的功能类别候选信息，根据识别出的物体的种类搜索能够设定的功能类 别的候选，从搜索到的功能类别的候选中决定对该物体设定的功能。 0053 此外，在本发明中，也可以省略3D模型管理部1102。在这种情况下，对象识别部 1101对识别出的物体赋予物体标识符，将物体标识符以及识别出的物体的种类、形状、大小 说 明 书CN 103003783 A 6/20。

39、页 10 以及在现实空间的位置作为物体识别通知D1通知给功能设定部1103。然后，功能设定部 1103将从对象识别部1101通知的物体识别通知D1与图3(A)所示的功能类别候选信息进 行对照，可以根据识别出的各物体的种类搜索能够设定的功能类别的候选，从搜索到的功 能类别的候选中决定对各物体设定的功能。 0054 在此，功能设定部1103也可以在由对象识别部1101识别出物体时，向用户提示对 该物体的种类能够设定的操作和处理的候选，将由用户选择的操作和处理设定为该物体的 功能，将所设定的功能与用户标识符对应起来加以保存。在这种情况下，不是将对识别出的 物体能够设定的所有操作和处理设定为物体的功能。

40、，而是将对物体能够设定的所有操作和 处理中的、由用户选择的一系列操作和处理设定为物体的功能。这样，功能设定部1103通 过将功能与用户标识符对应起来预先记录，即使对于同一物体也能够由各用户设定不同的 功能，从而能够对各物体设定与用户的喜好相适应的功能。 0055 在此，作为向用户询问喜好的功能的时机，不限于物体被识别时，也可以是识别物 体之后。在识别物体之后，当由用户输入了功能的变更委托时，可以向用户询问喜好的功 能。 0056 另外，功能设定部1103也可以在由对象识别部1101识别出物体时，根据识别出的 物体的特征判定能够设定的操作和处理，将判定出的操作和处理设定为物体的功能。在此， 作为。

41、特征，相当于识别出的物体的形状和大小中的至少其中之一。 0057 并且，功能设定部1103也可以在由对象识别部1101识别出物体时，根据功能扩展 装置1002的能力以及与功能扩展装置1002连接的外围设备的能力决定对识别出的物体能 够设定的操作和处理，将决定的操作和处理设定为物体的功能。 0058 也就是说，在本实施方式中，不是将对识别出的物体能够设定的所有操作和处理 设定为物体的功能，而是将符合物体的特征及功能扩展系统1001的性能(规格)的操作和 处理选择性地设定为物体的功能。 0059 另外，功能设定部1103当通过从后述的处理决定部1107通知关于某物体的物体 标识符而被通知用于询问对。

42、该物体设定的功能的功能询问委托D4时，参照对该物体设定 的功能设定信息(图4(A)，确定对该物体设定的功能，将与确定的功能对应的功能对应信 息D7(参照图3(C)通知给处理决定部1107。 0060 输入识别部1104从由用户输入识别装置1004获取的表示用户的动作的信息，识 别用户的输入动作以及输入动作被进行的现实空间的位置即输入位置。具体而言，输入识 别部1104通过获取从用户输入识别装置1004作为表示用户的动作的信息而输出的表示用 户的手的动作的信息，识别用户的输入动作和输入位置。然后，输入识别部1104在识别出 用户的输入动作和输入位置时，将表示手的动作的信息通知给操作判定部1106。

43、，并且将输 入位置通知给选择判定部1105。在此，作为表示手的动作的信息，采用例如将表示用户的手 的特征点在现实空间中的位置的位置数据按时间序列排列的数据。 0061 另外，输入识别部1104在由用户开始使用本功能扩展系统时(例如电源接通时)， 从该用户获取用户标识符。在此，输入识别部1104可以通过认证用户的指纹或让用户输入 用户标识符来获取用户标识符。在认证用户的指纹的情况下，输入识别部1104预先将被允 许使用本功能扩展系统1001的用户的指纹的图像数据与用户标识符对应起来加以保存。 然后，输入识别部1104在本功能扩展系统1001的使用开始时让用户输入识别装置1004获 说 明 书CN。

44、 103003783 A 10 7/20页 11 取用户的指纹的图像数据。然后，输入识别部1104可以将获取到的指纹的图像数据与预先 保存的指纹的图像数据进行对照，确定使用本功能扩展系统的用户，从而获取所确定的用 户的用户标识符。 0062 另外，在让用户输入用户标识符的情况下，可以使影像输出装置1005显示键盘的 图形，通过该图形用户输入用户标识符。或者，可以在本功能扩展系统中设置物理键盘，通 过操作该键盘来输入用户标识符。此外，输入识别部1104将获取到的用户标识符通知给操 作判定部1106。 0063 选择判定部1105基于由对象识别部1101识别出的各物体在现实空间中的位置和 由输入识。

45、别部1104识别出的现实空间中的输入位置，从由对象识别部1101识别出的各物 体中判定被用户选择为操作对象的选择物体。 0064 具体而言，选择判定部1105被3D模型管理部1102通知各物体的位置数据与物体 标识符相对应的物体信息D5，从被提供的物体信息D5中识别各物体在现实空间中的位置。 然后，选择判定部1105将重叠在由输入识别部1104通知的用户的当前的输入位置而存在 的物体判定为选择物体。在此，当物体相对于输入位置位于指定范围内时，选择判定部1105 可以判断该物体是选择物体。另外，在多个物体相对于输入位置存在于指定范围内的情况 下，可以将离输入位置最近的物体判定为选择物体。然后，选。

46、择判定部1105将选择物体的 物体标识符通知给操作判定部1106。 0065 此外，在省略了3D模型管理部1102的情况下，选择判定部1105被对象识别部 1101通知识别出的各物体在现实空间中的位置。然后，选择判定部1105根据从对象识别 部1101通知的各物体在现实空间中的位置和从输入识别部1104通知的输入位置，判定用 户所选择的选择物体。然后，选择判定部1105将选择物体的物体标识符通知给操作判定部 1106。 0066 操作判定部1106根据由输入识别部1104识别出的输入动作判定用户对选择物体 进行的操作。在此，操作判定部1106所判定的“操作”不是手的坐标信息、加速度信息，而 是。

47、“描”、“抓”、“敲”这样的对人的动作赋予含义的操作信息。 0067 具体而言，操作判定部1106管理将从输入识别部1104提供的表示手的动作的信 息与用户的“操作”对应起来的词典信息。然后，当从输入识别部1104提供表示手的动作 的信息时，操作判定部1106参照词典信息，进行判定与表示手的动作的信息对应的操作的 处理。在此，词典信息既可以预先登记，也可以从用户的手的动作的履历学习所得。此外， 作为从用户的手的动作判断用户的操作的技术，例如Prime Sense公司的Prime传感用软 件的NITE(Prime Senses Natural Interface Middleware)的手势识别。

48、功能已为公知，操 作判定部1106可以利用该技术来判定用户的操作。 0068 然后，操作判定部1106当判定出用户的操作时，向处理决定部1107通知将用户的 操作、由选择判定部1105判定出的选择物体的物体标识符与用户标识符对应起来的处理 委托D6。 0069 处理决定部1107当由操作判定部1106通知了处理委托D6时，取出该处理委托D6 所包含的物体标识符(选择物体的物体标识符)和用户标识符，将取出的物体标识符和用 户标识符作为用于询问对选择物体设定的功能(操作和处理的组)的功能询问委托D4通 知给功能设定部1103。 说 明 书CN 103003783 A 11 8/20页 12 007。

49、0 此外，处理决定部1107也可以通过让选择判定部1105通知选择物体的物体标识 符来识别选择物体。 0071 功能设定部1103当被通知了功能询问委托D4时，参照图4(A)所示的功能设定信 息，根据构成功能询问委托D4的物体标识符和用户标识符确定各用户对该物体设定的功 能，将与确定的功能对应的功能对应信息D7(图3(C)通知给处理决定部1107。 0072 然后，处理决定部1107将从功能设定部1103通知的功能对应信息D7与从操作判 定部1106通知的处理委托D6所表示的用户的操作进行对照，决定对选择物体执行的处理。 0073 在此，当处理决定部1107所决定的处理是伴随对物体的图形重叠的处理时，处理 决定部1107向3D模型管理部1102通知选择物体的物体标识符、以及表示对选择物体重叠 的图形的大小、形状以及重叠位置的数据被指定的图形的重叠委托D2。 0074 由此，对物体的处理通过视觉反馈给用户，能够对用户赋予操作感。 0075 另外，在处理决定部1107所决定的处理是附。