用于提供3D增强现实图像的设备和方法.pdf

摘要
申请专利号：	CN201110175680.7	申请日：	2011.06.24
公开号：	CN102395036A	公开日：	2012.03.28
当前法律状态：	撤回	有效性：	无权
法律详情：	发明专利申请公布后的视为撤回IPC(主分类):H04N 13/00申请公布日:20120328\|\|\|实质审查的生效IPC(主分类):H04N 13/00申请日:20110624\|\|\|公开
IPC分类号：	H04N13/00	主分类号：	H04N13/00
申请人：	株式会社泛泰
发明人：	朴宣泂
地址：	韩国首尔
优先权：	2010.06.30 KR 10-2010-0063053
专利代理机构：	北京润平知识产权代理有限公司 11283	代理人：	肖冰滨;南毅宁
PDF下载：	PDF下载

内容摘要

提供了用于提供三维(3D)增强现实(AR)图像的设备，其包括用于获得包含对象的图像的图像获取器；以及图像处理器，其用于计算关于所述对象的3D位置信息，获得对应于所述对象的AR数据，根据所计算的3D位置信息转换AR数据，并使用转换后的AR数据和所获得的图像来生成3DAR图像。另提供了一种用于提供3D AR图像的方法，该方法包括：获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据；根据所述3D位置信息转换所述AR数据；使用转换后的AR数据和所获得的图像来生成3DAR图像；以及显示所生

权利要求书

1：一种用于提供三维 (3D) 增强现实 (AR) 图像的设备，该设备包括：图像获取器，用于获得包含对象的图像；以及图像处理器，用于计算所述对象的 3D 位置信息、获得对应于所述对象的 AR 数据、根据所述 3D 位置信息转换所述 AR 数据、并使用转换后的 AR 数据和所述图像来生成 3D AR 图像。2：根据权利要求 1 所述的设备，其中，所述图像获取器包括：用于获得所述对象的第一图像的第一摄像机；以及用于获得所述对象的第二图像的第二摄像机。3：根据权利要求 2 所述的设备，其中，所述图像处理器使用所述第一图像和所述第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述 3D 位置信息。4：根据权利要求 2 所述的设备，其中，所述图像处理器使用所述第一摄像机或所述第二摄像机的自动对焦功能来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述 3D 位置信息。5：根据权利要求 2 所述的设备，其中，所述图像处理器基于所述 3D 位置信息来生成将被叠加到所述第一图像上的第一 AR 数据和将被叠加到所述第二图像上的第二 AR 数据、将所生成的第一 AR 数据叠加到所述第一图像上以形成增强的第一图像、并将所生成的第二 AR 数据叠加到所述第二图像上以形成增强的第二图像、然后通过结合所述增强的第一图像和所述增强的第二图像来生成所述 3DAR 图像。6：根据权利要求 5 所述的设备，其中，所生成的 3D AR 图像包括：第一对象和位于比该第一对象远的位置的第二对象。7：根据权利要求 6 所述的设备，其中，对应于所述第二对象的 AR 数据位于比对应于所述第一对象的 AR 数据远的位置。8：根据权利要求 1 所述的设备，该设备还包括传感器，该传感器包括：全球定位系统 (GPS) 传感器、加速度传感器、或地磁传感器。9：根据权利要求 8 所述的设备，其中，所述图像处理器使用所述传感器的感测信息来在所获得的图像中指定一区域，并在该指定的区域中检测所述对象。10：根据权利要求 1 所述的设备，该设备还包括用于显示所述 3D AR 图像的图像显示器。11：一种用于提供三维 (3D) 增强现实 (AR) 图像的图像处理器，该图像处理器包括： 3D 位置信息计算器，用于计算包含在图像中的对象的 3D 位置信息； AR 数据转换器，用于获得对应于所述对象的 AR 数据，并根据所述 3D 位置信息转换所述 AR 数据；以及 AR 图像生成器，用于使用转换后的 AR 数据和所获得的图像来生成 3DAR 图像。12：根据权利要求 11 所述的图像处理器，其中，所述 3D 位置信息计算机使用由第一摄像机所获得的所述对象的第一图像和由第二摄像机所获得的所述对象的第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述 3D 位置信息。13：根据权利要求 11 所述的图像处理器，其中，所述 3D 位置信息计算器使用用于获得所述对象的第一图像和第二图像的摄像机的自动对焦功能来获得所述对象与所述摄像机 2 之间的距离的距离信息，并使用所获得的距离信息来计算所述 3D 位置信息。14：根据权利要求 11 所述的图像处理器，其中，所述 AR 数据转换器基于所述 3D 位置信息，生成将被叠加到所述对象的第一图像上的第一 AR 数据，并生成将被叠加到所述对象的第二图像上的第二 AR 数据。15：根据权利要求 14 所述的图像处理器，其中，所述 AR 图像生成器将所述第一 AR 数据叠加到所述第一图像上、将所述第二 AR 数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述 3D AR 图像。16：一种用于提供三维 (3D) 增强现实 (AR) 图像的方法，该方法包括：获得包含对象的图像；计算所述对象的 3D 位置信息；获得对应于所述对象的 AR 数据；根据所述 3D 位置信息转换所述 AR 数据；使用转换后的 AR 数据和所获得的图像来生成 3DAR 图像；以及显示所生成的 3D AR 图像。17：根据权利要求 16 所述的方法，其中，所述图像的获得包括获得所述对象的第一图像和第二图像。18：根据权利要求 17 所述的方法，其中，计算所述 3D 位置信息包括使用由第一摄像机所获得的所述第一图像和由第二摄像机所获得的所述第二图像来获得关于所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述 3D 位置信息。19：根据权利要求 17 所述的方法，其中，计算所述 3D 位置信息包括使用用于获得所述第一图像和所述第二图像的摄像机的自动对焦功能来获得关于所述对象与所述摄像机之间的距离的距离信息，并使用所获得的距离信息来计算所述 3D 位置信息。20：根据权利要求 17 所述的方法，其中，转换所述 AR 数据包括基于所述 3D 位置信息，生成将被叠加到所述第一图像上的第一 AR 数据，并生成将被叠加到所述第二图像上的第二 AR 数据。21：根据权利要求 20 所述的方法，其中生成所述 3DAR 图像包括将所述第一 AR 数据叠加到所述第一图像上、将所述第二 AR 数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述 3D AR 图像。22：根据权利要求 16 所述的方法，其中显示所述 AR 图像包括显示所述 3D AR 图像，以使得如果所生成的 AR 图像包括第一对象和第二对象，其中该第二对象位于比所述第一对象远的位置，则对应于所述第一对象的 AR 数据被显示得比对应于所述第二对象的 AR 数据近。

说明书

用于提供 3D 增强现实图像的设备和方法
    相关申请的交叉引用
     本申请根据 35U.S.C.§119(a) 要求于 2010 年 6 月 30 日提交的韩国专利申请 No.10-2010-0063053 的优先权以及权益，其作为引用被结合用于各种目的，如同在这里完全提出。
     技术领域
     以下描述涉及增强现实 (AR) 数据和用于提供三维 (3D)AR 图像的图像处理技术。背景技术 AR 是将虚拟对象或信息叠加到实际环境以仿佛在其原始环境中显示虚拟对象等的计算机图形技术。与仅用于虚拟空间和对象的常规虚拟现实不同， AR 将虚拟对象叠加到真实世界，由此额外提供从真实世界难以得到的补充信息。由于这种特点，与仅能应用于诸如视频游戏的有限领域的常规虚拟现实不同， AR 能够被应用在各种真实环境中。特别地， AR 已经采用聚光灯作为适用于普遍存在的环境的下一代显示技术。
     常规地， AR 将使用标签或标记的虚拟对象叠加到从一个摄像机输入的图像，从而提供没有图像立体感或深度的二维 (2D) 图像。发明内容
     本发明的示例性实施方式提供一种 3D AR 图像系统以及用于提供 3DAR 图像的方法。
     本发明的其他特征将在以下描述中提出，且通过该描述中，部分其他特征将显而易见，或通过本发明的实践了解这些特征。
     本发明的示例性实施方式提供了用于提供三维 (3D) 增强现实 (AR)` 图像的设备，其包括图像获取器，用于获得包含对象的图像；以及图像处理器，其用于计算关于所述对象的 3D 位置信息，获得对应于所述对象的 AR 数据，根据所计算的 3D 位置信息转换 AR 数据，并使用转换后的 AR 数据和所获得的图像来生成 3D AR 图像。
     本发明的示例性实施方式提供了用于提供 3D AR 图像的图像处理器，其包括 3D 位置信息计算器，用于计算关于包含在图像中的对象的 3D 位置信息 AR 数据转换器，用于获取对应于对象的 AR 数据，并根据所生成的 3D 位置信息转换 AR 数据；以及 AR 图像生成器，用于使用转换后的 AR 数据和所获得的图像来生成 3D AR 图像。
     本发明的示例性实施方式提供了用于提供 3D AR 图像的方法，该方法包括获得包含对象的图像；计算所述对象的 3D 位置信息；获得对应于所述对象的 AR 数据，根据所述 3D 位置信息转换 AR 数据，使用转换后的 AR 数据和所获得的图像来生成 3D AR 图像；以及显示所生成的 3D AR 图像。
     可以理解，以上概述以及以下的详细描述是示例性和解释性的并用于提供对所要求保护的发明的进一步解释。从以下详细描述、附图以及权利要求中可以明白其他特征和方面。附图说明被包括以提供对本发明的进一步理解并被结合并构成说明书的一部分的附图示出了本发明的实施方式，且与文字描述一起用于解释本发明的原理。
     图 1 是示出根据本发明的示例性实施方式的用于提供 3D AR 图像的设备的框图；
     图 2 是示出根据本发明的示例性实施方式的图像处理器的框图；
     图 3 示出了根据本发明的示例性实施方式的用于计算 3D 位置信息的示意图；
     图 4 示出了根据本发明的示例性实施方式的用于生成 3D AR 图像的过程；
     图 5 是示出根据本发明的示例性实施方式的用于提供 3D AR 图像的方法的流程图；
     图 6 示出了根据本发明的示例性实施方式的用于获得对象的距离的原理。
     具体实施方式
     下面参照附图对本发明作更全面的描述，其中示出了本发明的示例性实施方式。但是本发明可以以多种不同形式体现并不应当理解为限于这里提出的实施方式。而是提供这些示例性实施方式以使得公开充分并向本领域技术人员充分表达本发明的范围。在整个附图和具体描述中，除非另有说明，相同的附图标记理解为指示相同的元件、特征和结构。为了清晰、图示以及方便，这些元件的相对尺寸和描绘可以被放大。
     图 1 是示出了根据本发明的示例性实施方式的用于提供 3D AR 图像的设备的框图。
     如图 1 所示，用于提供 3D AR 图像的设备 100 可以被应用于各种类型的能够显示 3D 图像的设备。作为示例，用于提供 3D AR 图像的设备 100 可以被应用于配备有摄像机模块和显示模块的智能电话。而且，如果以三维方式显示图像，则设备 100 可以将图像中的特定对象与该对象的 AR 数据一起显示。作为示例，当设备 100 拍摄树并显示该树时，包括该树的名称、主要产地、生态特性等的 AR 数据可以以三维的方式与该树的图像一起被显示。在 3D 图像显示方法中，可以使用任意的眼镜方法和非眼镜方法。在非眼镜方法中，可以使用视差屏障方法和两面凸动屏幕方法。
     在一个示例中，设备 100 包括图像获取器 101、图像处理器 102、图像显示器 103、传感器 104 以及 AR 数据存储器 105。
     图像获取器 101 获得包含对象的图像。图像获取器 101 可以是摄像机或图像传感器。图像处理器 102 处理从图像获取器 101 获得的图像并生成 3DAR 图像。更具体地，图像处理器 102 从该图像检测对象，计算该对象的 3D 位置信息，获得对应于该对象的 AR 数据，并将所获得的 AR 数据叠加到所获得的图像上以生成 3D AR 图像。图像处理器 102 可以是图像信号处理器 (ISP) 或在 ISP 中执行的软件模块。图像显示器 103 显示所生成的 3D AR 图像。传感器 104 测量图像的方向角、当前位置、当前时间等中的一者或多者。传感器 104 可以包括全球定位系统 (GPS) 传感器、加速度传感器和地磁传感器中的至少一者。最后， AR 数据存储器 105 存储对应于对象的 AR 数据。该 AR 数据存储器 105 可以被包括在设备 100 中，或可以在设备 100 之外被建立以经由通信网络与设备 100 连接。作为示例，图像获取器 101 可以包括用于拍摄左图像的第一摄像机和用于拍摄右图像的第二摄像机，以生成 3D 图像。图像处理器 102 将由第一摄像机获得的左图像与由第二摄像机获得的右图像进行结合并显示结合后的 3D 图像。
     在一个示例中，图像处理器 102 可以从图像检测对象。该对象可以是人、物或标记。图像处理器 102 可以基于对象检测算法来检测对象。此外，有可能使用传感器 104 所测量的图像的方向角、当前位置、当前时间等中的一者或多者来选择性地从图像检测对象。
     此外，图像处理器 102 可以计算关于包含在图像中的对象的 3D 位置信息。该 3D 位置信息可以包括关于对象与设备 100 之间的距离的信息。因此，当图像中存在两个对象且这两个对象位于不同的位置时，每个对象可以具有其自身的 3D 位置信息。诸如对象的距离的 3D 位置信息可以用各种方式来计算。
     在一个示例中，图像获取器 101 可以包括以预定间隔安装的第一摄像机和第二摄像机，用于获得 3D 图像。图像处理器 102 可以获得第一摄像机与第二摄像机之间的间隔以及第一摄像机和第二摄像机拍摄对象的角度。基于所获得的信息，图像处理器 102 可以使用基础三角函数来计算对象的距离。
     图 6 示出了根据本发明的示例性实施方式的用于获得对象的距离的方法。如图 6 所示，使用结合了左摄像机和右摄像机 ( 就像人眼 ) 的立体摄像机来计算对象的距离。作为示例，左摄像机位于点 C，右摄像机位于点 C′。可以从左摄像机获得第一图像 601，可以从右摄像机获得第二图像 602。一旦获得这两个图像，可以根据以下等式来计算第一图像 601 或第二图像 602 到特定点 M 的距离。 z ＝ (B/d)*F
     作为示例， z 表示沿与第一轴垂直的第二轴测量的点 M 离第一轴 ( 点 C 和点 C′穿过该第一轴 ) 的距离。B 表示点 C 和点 C′之间的距离， d 表示在各自图像中的点 M 的坐标之间的偏差 ( 即， X1 与 X2 之间的偏差 )，以及 F 表示摄像机镜头的焦距。B 可以被给定为常数或可以被测量，可以使用差值平方和 (SSD) 方法来计算 d，可以根据摄像机镜头来确定 F。因此，可以使用两个图像来计算点 M 的距离 z。
     在计算对象的距离的另一个示例中，图像获取器 101 可以包括以预定间隔安装的第一摄像机和第二摄像机。每个摄像机可以装配有自动对焦功能。图像处理器 102 可以使用在第一摄像机和第二摄像机自动调节其焦点时所获得的焦距和第一摄像机和第二摄像机之间的间隔来计算对象的距离。
     此外，图像处理器 102 可以根据对应的对象的 3D 位置信息来转换 AR 数据，并将转换后的 AR 数据叠加到所获得的图像上，以生成将在图像显示器 103 显示的 3D AR 图像。在一个示例中，存储在 AR 数据存储器 105 中的第一对象的 AR 数据和第二对象的 AR 数据可能没有距离或空间信息。因此，当图像处理器 102 将 AR 数据叠加到图像上时，第一对象和第二对象可以被显示，其中第一对象被显示得比第二对象近，但是第一对象和第二对象不可以以三维的方式被显示为具有 xyz 维度的对象。出于这个原因，图像处理器 102 可以根据对应的对象的 3D 位置信息来转换 AR 数据并将转换后的 AR 数据叠加到所获得的图像以生成 3DAR 图像，使得 AR 数据以三维方式与对象一起被显示。
     因此，设备 100 根据对应的对象的 3D 位置信息转换 AR 数据，然后将转换后的 AR 数据叠加到图像上，能够以三维方式向用户提供 AR 图像。
     图 2 是示出了根据本发明的示例性实施方式的图像处理器的框图。
     在一个示例中，如图 2 所示的图像处理器 102 包括 3D 位置信息计算器 201、 AR 数据转换器 202、 AR 图像生成器 203 以及对象检测器 204。
     对象检测器 204 在所获得的图像中检测感兴趣对象。对象检测器 204 可以以多种方式中的一种方式从图像中检测对象。例如，对象检测器 204 可以在感测信息 ( 例如，当前位置、当前时间、拍摄方向中的一者或多者 ) 的帮助下在图像中指定特定区域，并在指定的特定区域中检测对象。在一个示例中，存在第一对象和第二对象，其中在所获得的图像中，第二对象所处的位置比第一对象远。
     3D 位置信息计算器 201 计算关于所检测的对象的 3D 位置信息。作为示例， 3D 位置信息计算器 201 可以使用获得对象的左图像的第一摄像机与获得对象的右图像的第二摄像机之间的间隔来计算对象的距离。 3D 位置信息计算器 201 还可以计算第一摄像机和第二摄像机的聚焦方向 (focal direction)。作为示例， 3D 位置信息计算器 201 可以使用所测量的第一摄像机和第二摄像机之间的间隔和摄像机的自动对焦功能来计算对象的距离。因此， 3D 位置信息计算器 201 可以通过获得第一对象和第二对象的距离来识别出第二对象比第一对象远。 AR 数据转换器 202 获得对应于第一对象的第一对象 AR 数据和对应于第二对象的第二对象 AR 数据。例如， AR 数据转换器 202 可以通过从 AR 数据存储器 105 中提取出相关信息来获得 AR 数据。一旦获得 AR 数据， AR 数据转换器 202 根据关于这两个对象的 3D 位置信息，对第一对象 AR 数据和第二对象 AR 数据进行转换。因此，在最终的 3D 图像中还可以三维显示 AR 数据。例如，如果第一对象比第二对象近，则 AR 数据转换器 202 可以转换图像，使得第一对象 AR 数据位于第二对象 AR 数据的前面。单独在第一对象的方面，可以分开生成将被叠加在第一摄像机的左图像上的第一对象的第一 AR 数据和将被叠加在第二摄像机的右图像上的第一对象的第二 AR 数据。
     AR 图像生成器 203 将转换后的 AR 数据叠加在所获得的图像上，以生成 3D AR 图像。例如， AR 图像生成器 203 可以将第一对象的第一 AR 数据叠加在第一摄像机的左图像上并将第一对象的第二 AR 数据叠加在第二摄像机的右图像上，以分别产生增强的左和右图像。然后增强的左图像和右图像被结合以生成最终的 3D AR 图像。
     图 3 示出了根据本发明的示例性实施方式的用于计算 3D 位置信息的示意图。图 3 所示的示意图描述了由第一摄像机 301 和第二摄像机 302 拍摄包含第一对象 303 和第二对象 304 的空间时获得关于第一对象 303 和第二对象 304 的 3D 位置信息的方法。
     参考图 3，在一个示例中，图像获取器 101 包括第一摄像机 301 和第二摄像机 302。第一摄像机 301 和第二摄像机 302 之间的间隔可以是固定的。为了生成 3D 图像，图像获取器 101 使用第一摄像机 301 采集第一对象 303 和第二对象 304 的左眼图像，使用第二摄像机 302 采集第一对象 303 和第二对象 304 的右眼图像。
     作为一个示例，第一摄像机 301 和第二摄像机 302 同时拍摄同一个对象 ( 例如，第一对象 303)，从而第一摄像机 301 和第二摄像机 302 的拍摄方向可以被调整。换句话说，如果由两个摄像机拍摄第一对象 303，则有可能获得第一摄像机 301 的拍摄方向 θ1 和第二摄像机 302 的拍摄方向 θ2。由于第一摄像机 301 与第二摄像机 302 之间的间隔 d 是固定的，因此可以使用 θ1、 θ2 和 d 来计算第一对象 303 的距离 Lm。
     作为一个示例，如果第一摄像机 301 和第二摄像机 302 配备有自动对焦功能并拍摄同一个对象，则可以计算 f1 和 f2 的拍摄距离。更具体地，通过使用具有自动对焦功能的两个摄像机来拍摄同一个对象，可以计算出第一对象 303 与第一摄像机 301 之间的拍摄距离 f1 和第一对象 303 与第二摄像机 302 之间的拍摄距离 f2。如上所述，由于第一摄像机 301 与第二摄像机 302 之间的间隔可以是固定的，因此可以使用 f1、 f2 以及 d 来计算第一对象 303 的距离 Lm。
     可以以与上述确定距离 Lm 的相同的方式来计算第二对象 304 的距离 Ln。此外，第二对象 304 相对于的第一对象 303 的相对距离 ( 即，第二对象 304 比第一对象近还是远 ) 可以在不用计算绝对距离 Ln 的情况下选择性地被获得。
     可通过将第一对象 303 和第二对象 304 相对于第一摄像机 301 和第二摄像机 302 的聚焦距离和角度进行比较来确定第二对象 304 相对于第一对象 303 的相对距离。例如，可通过将第一对象 303 与第一摄像机 301 之间的聚焦距离 f1 和角度 θ1 与第二对象 304 与第一摄像机 301 之间的聚焦距离和角度进行比较来确定第二对象 304 相对于第一对象 303 的相对距离。在另一示例中，可通过将第一对象 303 与第二摄像机 302 之间的聚焦距离 f2 和角度 θ2 与第二对象 304 与第二摄像机 302 之间的聚焦距离和角度进行比较来确定第二对象 304 相对于第一对象 303 的相对距离。在图 3 中，为了方便，仅参照两个对象 303 和 304 进行公开。但是，本领域技术人员可以理解，相同的方法可以应用于仅一个对象，或两个以上的对象。例如，通过使用传感器 104 的感测信息，可以确定哪个对象是从所获得的图像提取的感兴趣对象。因此，图3中公开的方法可以应用于两个以上的多个对象。
     图 4 示出了根据本发明的示例性实施方式的用于生成 3D AR 图像的过程。
     参考图 4，在一个示例中，左眼图像 401 和右眼图像 402 可以用于生成 3D 图像。可以由图像获取器 101 的第一摄像机 301 采集左眼图像 401，由图像获取器 101 的第二摄像机 302 采集右眼图像 402。
     如图 4 所示，左眼图像 401 和右眼图像 402 都包含第一对象 403 和第二对象 404。在一个示例中，第一对象 403 是比由教堂表示的第二对象 404 要近的树。一旦获得左眼图像 401 和右眼图像 402，图像处理器 102 可以通过使用如图 3 所示的方法来获得关于第一对象 403 和第二对象 404 的 3D 位置信息 ( 例如距离或位置坐标 )。使用图 3 中规定的方法，可以计算第一对象 403 和第二对象 404 的绝对距离。可替换地，一个对象可以被设置为参考对象，且可以相对于该参考对象来计算另一个对象的相对距离。
     在一个示例中，如果第一对象 403 和第二对象 404 的 3D 位置信息被获得，则图像处理器 102 可以从 AR 数据存储器 105 中提取出 AR 信息。由此，与第一对象 403 有关的 AR 数据 405 和与第二对象 404 有关的 AR 数据 406 可以从 AR 数据存储器 105 提取出来。
     一旦提取出 AR 数据 405 和 406，图像处理器 102 根据对应的对象 403 和 404 的 3D 位置信息，分别对 AR 数据 405 和 406 进行转换。由于第一对象 403 位于第二对象 404 前面，因此对 AR 数据 405 和 406 转换，以使得第一对象 403 的 AR 数据 405 位于第二对象 404 的 AR 数据 406 的前面。在一个示例中，就第一对象 403 的 AR 数据 405 而言，分开生成增强的图像 407 上的第一 AR 数据 405-1 和增强的图像 408 上的第二 AR 数据 405-2。
     一旦转换了 AR 数据 405 和 406，图像处理器 102 将转换后的 AR 数据 405-1、 405-2、
     406-1 和 406-2 叠加到各自的图像 401 和 402 上。更具体地，就第一对象 403 的 AR 数据 405 而言， AR 数据 405-1 被叠加到左眼图像 401 上，作为增强的图像 407，而第二 AR 数据 405-2 被叠加到右眼图像 402 上，作为增强的图像 408。类似地，就第二对象 404 的 AR 数据 406 而言， AR 数据 406-1 被叠加到左眼图像 401 上，作为图像 407，而第二 AR 数据 406-2 被叠加到右图像 402 上，作为图像 408。进一步地，在一个示例中，就第一对象 403 的 AR 数据 405 而言，第一 AR 数据 405-1 和第二 AR 数据 405-2 可以被分开生成。然后将增强的图像 407 和 408 结合，以形成最终的 3D 图像 409。
     在所生成的 3D 图像 409 中，第一对象 403 被显示在第二对象 404 的前面，且第一对象 403 的 AR 数据 405 被显示在第二对象 404 的 AR 数据 406 的前面。在 3D 图像 409 中，均基于左眼图像 401 和右眼图像 402 来生成对象 403 和 404 以及 AR 数据 405 和 406，由此这里的 “前面” 或 “后面” 不是表示二维远景，而是表示 3D 图像中的 “前面” 或 “后面” 。
     图 5 是示出根据本发明的示例性实施方式的用于提供 3D AR 图像的方法的流程图。该方法可以由如图 1 所示的用于提供 3D AR 的设备 100 来执行。将参考图 1 和图 5 来描述根据该示例性实施方式的方法。
     首先，获得包含对象的图像 ( 操作 501)。例如，图像获取器 101 可以获取对象的左图像和右图像。
     在获得图像之后，计算关于包含在图像中的对象的 3D 位置信息 ( 操作 502)。例如，图像处理器 102 可以使用图 3 所示的方法来测量对象的距离。
     在计算 3D 位置信息之后，对应于对象的 AR 数据被提取并根据所计算的 3D 位置信息而被转换 ( 操作 503)。
     一旦 AR 数据被转换，使用转换后的 AR 数据和所获得的图像来生成 3DAR 图像 ( 操作 504)。在一个示例中，图像处理器 102 可以将第一 AR 数据叠加到左图像上并将第二 AR 数据叠加到右图像上，以产生增强的左图像和右图像。通过将增强的左图像和右图像进行结合，可以生成 3D AR 图像。
     在生成了 3DAR 图像之后，显示所生成的 3DAR 图像 ( 操作 505)。在一个示例中，如果所生成的 AR 图像包含第一对象和第二对象，其中第二对象所处的位置比第一对象远，则图像显示器 103 可以显示 3D AR 图像，使得对应于第一对象的 AR 数据比对应于第二对象的 AR 数据近。
     如上所述，所公开的设备和方法根据对象的 3D 位置信息提供 AR 数据，由此可以实施真实 3D AR。
     同时，本发明的示例性实施方式可以被体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括存储计算机系统可读的数据的各种记录装置。可以由具有处理器和存储器的计算机来执行计算机可读代码。
     计算机可读记录介质的示例包括只读存储器 (ROM)、随机存取存储器 (RAM)、 (光盘 )CD-ROM、磁带、软盘、光学数据存储装置以及载波 ( 例如，通过因特网的数据传输 )。计算机可读记录介质可以分布在网络连接的计算机系统上，由此可以以分布方式存储并执行计算机可读代码。本领域的计算机编程人员可以很容易地导出实现本发明所需的功能程序、代码和代码段。
     本领域技术人员可以明白，在不偏离本发明的实质和范围的情况下，可以对本发明进行各种修改和变形。因此，本发明应当涵盖在所附权利要求及其等同的范围内所提供的本发明的修改和变形。

资源描述

《用于提供3D增强现实图像的设备和方法.pdf》由会员分享，可在线阅读，更多相关《用于提供3D增强现实图像的设备和方法.pdf（14页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102395036 A (43)申请公布日 2012.03.28 C N 1 0 2 3 9 5 0 3 6 A *CN102395036A* (21)申请号 201110175680.7 (22)申请日 2011.06.24 10-2010-0063053 2010.06.30 KR H04N 13/00(2006.01) (71)申请人株式会社泛泰地址韩国首尔 (72)发明人朴宣泂 (74)专利代理机构北京润平知识产权代理有限公司 11283 代理人肖冰滨南毅宁 (54) 发明名称用于提供3D增强现实图像的设备和方法 (57) 摘要提供了用于提供三维(3。

2、D)增强现实(AR)图像的设备，其包括用于获得包含对象的图像的图像获取器；以及图像处理器，其用于计算关于所述对象的3D位置信息，获得对应于所述对象的AR 数据，根据所计算的3D位置信息转换AR数据，并使用转换后的AR数据和所获得的图像来生成 3DAR图像。另提供了一种用于提供3D AR图像的方法，该方法包括：获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR 数据；根据所述3D位置信息转换所述AR数据；使用转换后的AR数据和所获得的图像来生成3DAR 图像；以及显示所生成的3D AR图像。 (30)优先权数据 (51)Int.Cl. (19)中华人民共和国国。

3、家知识产权局 (12)发明专利申请权利要求书 2 页说明书 7 页附图 4 页 CN 102395045 A 1/2页 2 1.一种用于提供三维(3D)增强现实(AR)图像的设备，该设备包括：图像获取器，用于获得包含对象的图像；以及图像处理器，用于计算所述对象的3D位置信息、获得对应于所述对象的AR数据、根据所述3D位置信息转换所述AR数据、并使用转换后的AR数据和所述图像来生成3D AR图像。 2.根据权利要求1所述的设备，其中，所述图像获取器包括：用于获得所述对象的第一图像的第一摄像机；以及用于获得所述对象的第二图像的第二摄像机。 3.根据权利要求2所述的设备，其中，所述图。

4、像处理器使用所述第一图像和所述第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述3D位置信息。 4.根据权利要求2所述的设备，其中，所述图像处理器使用所述第一摄像机或所述第二摄像机的自动对焦功能来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用该距离信息来计算所述3D位置信息。 5.根据权利要求2所述的设备，其中，所述图像处理器基于所述3D位置信息来生成将被叠加到所述第一图像上的第一AR数据和将被叠加到所述第二图像上的第二AR数据、将所生成的第一AR数据叠加到所述第一图像上以形成增强的第。

5、一图像、并将所生成的第二 AR数据叠加到所述第二图像上以形成增强的第二图像、然后通过结合所述增强的第一图像和所述增强的第二图像来生成所述3DAR图像。 6.根据权利要求5所述的设备，其中，所生成的3D AR图像包括：第一对象和位于比该第一对象远的位置的第二对象。 7.根据权利要求6所述的设备，其中，对应于所述第二对象的AR数据位于比对应于所述第一对象的AR数据远的位置。 8.根据权利要求1所述的设备，该设备还包括传感器，该传感器包括：全球定位系统(GPS)传感器、加速度传感器、或地磁传感器。 9.根据权利要求8所述的设备，其中，所述图像处理器使用所述传感器的感测信息来在所获得的图像中。

6、指定一区域，并在该指定的区域中检测所述对象。 10.根据权利要求1所述的设备，该设备还包括用于显示所述3D AR图像的图像显示器。 11.一种用于提供三维(3D)增强现实(AR)图像的图像处理器，该图像处理器包括： 3D位置信息计算器，用于计算包含在图像中的对象的3D位置信息； AR数据转换器，用于获得对应于所述对象的AR数据，并根据所述3D位置信息转换所述 AR数据；以及 AR图像生成器，用于使用转换后的AR数据和所获得的图像来生成3DAR图像。 12.根据权利要求11所述的图像处理器，其中，所述3D位置信息计算机使用由第一摄像机所获得的所述对象的第一图像和由第二摄像机所获得的所述对象的。

7、第二图像来获得所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。 13.根据权利要求11所述的图像处理器，其中，所述3D位置信息计算器使用用于获得所述对象的第一图像和第二图像的摄像机的自动对焦功能来获得所述对象与所述摄像机权利要求书CN 102395036 A CN 102395045 A 2/2页 3 之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。 14.根据权利要求11所述的图像处理器，其中，所述AR数据转换器基于所述3D位置信息，生成将被叠加到所述对象的第一图像上的第一AR数据，并。

8、生成将被叠加到所述对象的第二图像上的第二AR数据。 15.根据权利要求14所述的图像处理器，其中，所述AR图像生成器将所述第一AR数据叠加到所述第一图像上、将所述第二AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。 16.一种用于提供三维(3D)增强现实(AR)图像的方法，该方法包括：获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据；根据所述3D位置信息转换所述AR数据；使用转换后的AR数据和所获得的图像来生成3DAR图像；以及显示所生成的3D AR图像。 17.根据权利要求16所述的方法，其中，所述图像的获得。

9、包括获得所述对象的第一图像和第二图像。 18.根据权利要求17所述的方法，其中，计算所述3D位置信息包括使用由第一摄像机所获得的所述第一图像和由第二摄像机所获得的所述第二图像来获得关于所述对象与所述第一摄像机和所述第二摄像机所通过的轴之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。 19.根据权利要求17所述的方法，其中，计算所述3D位置信息包括使用用于获得所述第一图像和所述第二图像的摄像机的自动对焦功能来获得关于所述对象与所述摄像机之间的距离的距离信息，并使用所获得的距离信息来计算所述3D位置信息。 20.根据权利要求17所述的方法，其中，转换所述AR数据包括。

10、基于所述3D位置信息，生成将被叠加到所述第一图像上的第一AR数据，并生成将被叠加到所述第二图像上的第二AR数据。 21.根据权利要求20所述的方法，其中生成所述3DAR图像包括将所述第一AR数据叠加到所述第一图像上、将所述第二AR数据叠加到所述第二图像上、并使用增强的第一图像和第二图像来生成所述3D AR图像。 22.根据权利要求16所述的方法，其中显示所述AR图像包括显示所述3D AR图像，以使得如果所生成的AR图像包括第一对象和第二对象，其中该第二对象位于比所述第一对象远的位置，则对应于所述第一对象的AR数据被显示得比对应于所述第二对象的AR数据近。权利要求书CN 。

11、102395036 A CN 102395045 A 1/7页 4 用于提供 3D 增强现实图像的设备和方法 0001 相关申请的交叉引用 0002 本申请根据35U.S.C.119(a)要求于2010年6月30日提交的韩国专利申请 No.10-2010-0063053的优先权以及权益，其作为引用被结合用于各种目的，如同在这里完全提出。技术领域 0003 以下描述涉及增强现实(AR)数据和用于提供三维(3D)AR图像的图像处理技术。背景技术 0004 AR是将虚拟对象或信息叠加到实际环境以仿佛在其原始环境中显示虚拟对象等的计算机图形技术。与仅用于虚拟空间和对象的常规虚拟现实不同，AR将。

12、虚拟对象叠加到真实世界，由此额外提供从真实世界难以得到的补充信息。由于这种特点，与仅能应用于诸如视频游戏的有限领域的常规虚拟现实不同，AR能够被应用在各种真实环境中。特别地， AR已经采用聚光灯作为适用于普遍存在的环境的下一代显示技术。 0005 常规地，AR将使用标签或标记的虚拟对象叠加到从一个摄像机输入的图像，从而提供没有图像立体感或深度的二维(2D)图像。发明内容 0006 本发明的示例性实施方式提供一种3D AR图像系统以及用于提供3DAR图像的方法。 0007 本发明的其他特征将在以下描述中提出，且通过该描述中，部分其他特征将显而易见，或通过本发明的实践了解这些特征。 0。

13、008 本发明的示例性实施方式提供了用于提供三维(3D)增强现实(AR)图像的设备，其包括图像获取器，用于获得包含对象的图像；以及图像处理器，其用于计算关于所述对象的3D位置信息，获得对应于所述对象的AR数据，根据所计算的3D位置信息转换AR数据，并使用转换后的AR数据和所获得的图像来生成3D AR图像。 0009 本发明的示例性实施方式提供了用于提供3D AR图像的图像处理器，其包括3D位置信息计算器，用于计算关于包含在图像中的对象的3D位置信息AR数据转换器，用于获取对应于对象的AR数据，并根据所生成的3D位置信息转换AR数据；以及AR图像生成器，用于使用转换后的AR数据和所获。

14、得的图像来生成3D AR图像。 0010 本发明的示例性实施方式提供了用于提供3D AR图像的方法，该方法包括获得包含对象的图像；计算所述对象的3D位置信息；获得对应于所述对象的AR数据，根据所述3D 位置信息转换AR数据，使用转换后的AR数据和所获得的图像来生成3D AR图像；以及显示所生成的3D AR图像。 0011 可以理解，以上概述以及以下的详细描述是示例性和解释性的并用于提供对所要求保护的发明的进一步解释。从以下详细描述、附图以及权利要求中可以明白其他特征和说明书CN 102395036 A CN 102395045 A 2/7页 5 方面。附图说明 0012 被包括以。

15、提供对本发明的进一步理解并被结合并构成说明书的一部分的附图示出了本发明的实施方式，且与文字描述一起用于解释本发明的原理。 0013 图1是示出根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图； 0014 图2是示出根据本发明的示例性实施方式的图像处理器的框图； 0015 图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图； 0016 图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程； 0017 图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图； 0018 图6示出了根据本发明的示例性实施方式的用于获得对象的距离的原理。

16、。具体实施方式 0019 下面参照附图对本发明作更全面的描述，其中示出了本发明的示例性实施方式。但是本发明可以以多种不同形式体现并不应当理解为限于这里提出的实施方式。而是提供这些示例性实施方式以使得公开充分并向本领域技术人员充分表达本发明的范围。在整个附图和具体描述中，除非另有说明，相同的附图标记理解为指示相同的元件、特征和结构。为了清晰、图示以及方便，这些元件的相对尺寸和描绘可以被放大。 0020 图1是示出了根据本发明的示例性实施方式的用于提供3D AR图像的设备的框图。 0021 如图1所示，用于提供3D AR图像的设备100可以被应用于各种类型的能够显示 3D图像的设备。作。

17、为示例，用于提供3D AR图像的设备100可以被应用于配备有摄像机模块和显示模块的智能电话。而且，如果以三维方式显示图像，则设备100可以将图像中的特定对象与该对象的AR数据一起显示。作为示例，当设备100拍摄树并显示该树时，包括该树的名称、主要产地、生态特性等的AR数据可以以三维的方式与该树的图像一起被显示。在 3D图像显示方法中，可以使用任意的眼镜方法和非眼镜方法。在非眼镜方法中，可以使用视差屏障方法和两面凸动屏幕方法。 0022 在一个示例中，设备100包括图像获取器101、图像处理器102、图像显示器103、传感器104以及AR数据存储器105。 0023 图像获取器101获。

18、得包含对象的图像。图像获取器101可以是摄像机或图像传感器。图像处理器102处理从图像获取器101获得的图像并生成3DAR图像。更具体地，图像处理器102从该图像检测对象，计算该对象的3D位置信息，获得对应于该对象的AR数据，并将所获得的AR数据叠加到所获得的图像上以生成3D AR图像。图像处理器102可以是图像信号处理器(ISP)或在ISP中执行的软件模块。图像显示器103显示所生成的3D AR 图像。传感器104测量图像的方向角、当前位置、当前时间等中的一者或多者。传感器104 可以包括全球定位系统(GPS)传感器、加速度传感器和地磁传感器中的至少一者。最后，AR 数据存储器105。

19、存储对应于对象的AR数据。该AR数据存储器105可以被包括在设备100 中，或可以在设备100之外被建立以经由通信网络与设备100连接。说明书CN 102395036 A CN 102395045 A 3/7页 6 0024 作为示例，图像获取器101可以包括用于拍摄左图像的第一摄像机和用于拍摄右图像的第二摄像机，以生成3D图像。图像处理器102将由第一摄像机获得的左图像与由第二摄像机获得的右图像进行结合并显示结合后的3D图像。 0025 在一个示例中，图像处理器102可以从图像检测对象。该对象可以是人、物或标记。图像处理器102可以基于对象检测算法来检测对象。此外，有可能使用传感。

20、器104所测量的图像的方向角、当前位置、当前时间等中的一者或多者来选择性地从图像检测对象。 0026 此外，图像处理器102可以计算关于包含在图像中的对象的3D位置信息。该3D 位置信息可以包括关于对象与设备100之间的距离的信息。因此，当图像中存在两个对象且这两个对象位于不同的位置时，每个对象可以具有其自身的3D位置信息。诸如对象的距离的3D位置信息可以用各种方式来计算。 0027 在一个示例中，图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机，用于获得3D图像。图像处理器102可以获得第一摄像机与第二摄像机之间的间隔以及第一摄像机和第二摄像机拍摄对象的角度。基于所获。

21、得的信息，图像处理器102可以使用基础三角函数来计算对象的距离。 0028 图6示出了根据本发明的示例性实施方式的用于获得对象的距离的方法。如图6 所示，使用结合了左摄像机和右摄像机(就像人眼)的立体摄像机来计算对象的距离。作为示例，左摄像机位于点C，右摄像机位于点C。可以从左摄像机获得第一图像601，可以从右摄像机获得第二图像602。一旦获得这两个图像，可以根据以下等式来计算第一图像 601或第二图像602到特定点M的距离。 0029 z(B/d)*F 0030 作为示例，z表示沿与第一轴垂直的第二轴测量的点M离第一轴(点C和点C穿过该第一轴)的距离。B表示点C和点C之间的距离，d表。

22、示在各自图像中的点M的坐标之间的偏差(即，X 1 与X 2 之间的偏差)，以及F表示摄像机镜头的焦距。B可以被给定为常数或可以被测量，可以使用差值平方和(SSD)方法来计算d，可以根据摄像机镜头来确定F。因此，可以使用两个图像来计算点M的距离z。 0031 在计算对象的距离的另一个示例中，图像获取器101可以包括以预定间隔安装的第一摄像机和第二摄像机。每个摄像机可以装配有自动对焦功能。图像处理器102可以使用在第一摄像机和第二摄像机自动调节其焦点时所获得的焦距和第一摄像机和第二摄像机之间的间隔来计算对象的距离。 0032 此外，图像处理器102可以根据对应的对象的3D位置信息来转换。

23、AR数据，并将转换后的AR数据叠加到所获得的图像上，以生成将在图像显示器103显示的3D AR图像。在一个示例中，存储在AR数据存储器105中的第一对象的AR数据和第二对象的AR数据可能没有距离或空间信息。因此，当图像处理器102将AR数据叠加到图像上时，第一对象和第二对象可以被显示，其中第一对象被显示得比第二对象近，但是第一对象和第二对象不可以以三维的方式被显示为具有xyz维度的对象。出于这个原因，图像处理器102可以根据对应的对象的3D位置信息来转换AR数据并将转换后的AR数据叠加到所获得的图像以生成3DAR图像，使得AR数据以三维方式与对象一起被显示。 0033 因此，设备。

24、100根据对应的对象的3D位置信息转换AR数据，然后将转换后的AR 数据叠加到图像上，能够以三维方式向用户提供AR图像。说明书CN 102395036 A CN 102395045 A 4/7页 7 0034 图2是示出了根据本发明的示例性实施方式的图像处理器的框图。 0035 在一个示例中，如图2所示的图像处理器102包括3D位置信息计算器201、AR数据转换器202、AR图像生成器203以及对象检测器204。 0036 对象检测器204在所获得的图像中检测感兴趣对象。对象检测器204可以以多种方式中的一种方式从图像中检测对象。例如，对象检测器204可以在感测信息(例如，当前位置。

25、、当前时间、拍摄方向中的一者或多者)的帮助下在图像中指定特定区域，并在指定的特定区域中检测对象。在一个示例中，存在第一对象和第二对象，其中在所获得的图像中，第二对象所处的位置比第一对象远。 0037 3D位置信息计算器201计算关于所检测的对象的3D位置信息。作为示例，3D位置信息计算器201可以使用获得对象的左图像的第一摄像机与获得对象的右图像的第二摄像机之间的间隔来计算对象的距离。3D位置信息计算器201还可以计算第一摄像机和第二摄像机的聚焦方向(focal direction)。作为示例，3D位置信息计算器201可以使用所测量的第一摄像机和第二摄像机之间的间隔和摄像机的自动对。

26、焦功能来计算对象的距离。因此，3D位置信息计算器201可以通过获得第一对象和第二对象的距离来识别出第二对象比第一对象远。 0038 AR数据转换器202获得对应于第一对象的第一对象AR数据和对应于第二对象的第二对象AR数据。例如，AR数据转换器202可以通过从AR数据存储器105中提取出相关信息来获得AR数据。一旦获得AR数据，AR数据转换器202根据关于这两个对象的3D位置信息，对第一对象AR数据和第二对象AR数据进行转换。因此，在最终的3D图像中还可以三维显示AR数据。例如，如果第一对象比第二对象近，则AR数据转换器202可以转换图像，使得第一对象AR数据位于第二对象AR数据。

27、的前面。单独在第一对象的方面，可以分开生成将被叠加在第一摄像机的左图像上的第一对象的第一AR数据和将被叠加在第二摄像机的右图像上的第一对象的第二AR数据。 0039 AR图像生成器203将转换后的AR数据叠加在所获得的图像上，以生成3D AR图像。例如，AR图像生成器203可以将第一对象的第一AR数据叠加在第一摄像机的左图像上并将第一对象的第二AR数据叠加在第二摄像机的右图像上，以分别产生增强的左和右图像。然后增强的左图像和右图像被结合以生成最终的3D AR图像。 0040 图3示出了根据本发明的示例性实施方式的用于计算3D位置信息的示意图。图 3所示的示意图描述了由第一摄像机301。

28、和第二摄像机302拍摄包含第一对象303和第二对象304的空间时获得关于第一对象303和第二对象304的3D位置信息的方法。 0041 参考图3，在一个示例中，图像获取器101包括第一摄像机301和第二摄像机302。第一摄像机301和第二摄像机302之间的间隔可以是固定的。为了生成3D图像，图像获取器101使用第一摄像机301采集第一对象303和第二对象304的左眼图像，使用第二摄像机302采集第一对象303和第二对象304的右眼图像。 0042 作为一个示例，第一摄像机301和第二摄像机302同时拍摄同一个对象(例如，第一对象303)，从而第一摄像机301和第二摄像机302的拍摄方。

29、向可以被调整。换句话说，如果由两个摄像机拍摄第一对象303，则有可能获得第一摄像机301的拍摄方向 1 和第二摄像机302的拍摄方向 2 。由于第一摄像机301与第二摄像机302之间的间隔d是固定的，因此可以使用 1 、 2 和d来计算第一对象303的距离Lm。说明书CN 102395036 A CN 102395045 A 5/7页 8 0043 作为一个示例，如果第一摄像机301和第二摄像机302配备有自动对焦功能并拍摄同一个对象，则可以计算f 1 和f 2 的拍摄距离。更具体地，通过使用具有自动对焦功能的两个摄像机来拍摄同一个对象，可以计算出第一对象303与第一摄像机30。

30、1之间的拍摄距离f 1 和第一对象303与第二摄像机302之间的拍摄距离f 2 。如上所述，由于第一摄像机301 与第二摄像机302之间的间隔可以是固定的，因此可以使用f 1 、f 2 以及d来计算第一对象 303的距离Lm。 0044 可以以与上述确定距离Lm的相同的方式来计算第二对象304的距离Ln。此外，第二对象304相对于的第一对象303的相对距离(即，第二对象304比第一对象近还是远) 可以在不用计算绝对距离Ln的情况下选择性地被获得。 0045 可通过将第一对象303和第二对象304相对于第一摄像机301和第二摄像机302 的聚焦距离和角度进行比较来确定第二对象304相对于第一。

31、对象303的相对距离。例如，可通过将第一对象303与第一摄像机301之间的聚焦距离f 1 和角度 1 与第二对象304与第一摄像机301之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303 的相对距离。在另一示例中，可通过将第一对象303与第二摄像机302之间的聚焦距离f 2 和角度 2 与第二对象304与第二摄像机302之间的聚焦距离和角度进行比较来确定第二对象304相对于第一对象303的相对距离。 0046 在图3中，为了方便，仅参照两个对象303和304进行公开。但是，本领域技术人员可以理解，相同的方法可以应用于仅一个对象，或两个以上的对象。例如，通过使用传感器。

32、104的感测信息，可以确定哪个对象是从所获得的图像提取的感兴趣对象。因此，图3中公开的方法可以应用于两个以上的多个对象。 0047 图4示出了根据本发明的示例性实施方式的用于生成3D AR图像的过程。 0048 参考图4，在一个示例中，左眼图像401和右眼图像402可以用于生成3D图像。可以由图像获取器101的第一摄像机301采集左眼图像401，由图像获取器101的第二摄像机 302采集右眼图像402。 0049 如图4所示，左眼图像401和右眼图像402都包含第一对象403和第二对象404。在一个示例中，第一对象403是比由教堂表示的第二对象404要近的树。一旦获得左眼图像401和右。

33、眼图像402，图像处理器102可以通过使用如图3所示的方法来获得关于第一对象403和第二对象404的3D位置信息(例如距离或位置坐标)。使用图3中规定的方法，可以计算第一对象403和第二对象404的绝对距离。可替换地，一个对象可以被设置为参考对象，且可以相对于该参考对象来计算另一个对象的相对距离。 0050 在一个示例中，如果第一对象403和第二对象404的3D位置信息被获得，则图像处理器102可以从AR数据存储器105中提取出AR信息。由此，与第一对象403有关的AR 数据405和与第二对象404有关的AR数据406可以从AR数据存储器105提取出来。 0051 一旦提取出AR数据4。

34、05和406，图像处理器102根据对应的对象403和404的3D 位置信息，分别对AR数据405和406进行转换。由于第一对象403位于第二对象404前面，因此对AR数据405和406转换，以使得第一对象403的AR数据405位于第二对象404的 AR数据406的前面。在一个示例中，就第一对象403的AR数据405而言，分开生成增强的图像407上的第一AR数据405-1和增强的图像408上的第二AR数据405-2。 0052 一旦转换了AR数据405和406，图像处理器102将转换后的AR数据405-1、405-2、说明书CN 102395036 A CN 102395045 A 6。

35、/7页 9 406-1和406-2叠加到各自的图像401和402上。更具体地，就第一对象403的AR数据405 而言，AR数据405-1被叠加到左眼图像401上，作为增强的图像407，而第二AR数据405-2 被叠加到右眼图像402上，作为增强的图像408。类似地，就第二对象404的AR数据406而言，AR数据406-1被叠加到左眼图像401上，作为图像407，而第二AR数据406-2被叠加到右图像402上，作为图像408。进一步地，在一个示例中，就第一对象403的AR数据405而言，第一AR数据405-1和第二AR数据405-2可以被分开生成。然后将增强的图像407和 408结合，以形。

36、成最终的3D图像409。 0053 在所生成的3D图像409中，第一对象403被显示在第二对象404的前面，且第一对象403的AR数据405被显示在第二对象404的AR数据406的前面。在3D图像409中，均基于左眼图像401和右眼图像402来生成对象403和404以及AR数据405和406，由此这里的“前面”或“后面”不是表示二维远景，而是表示3D图像中的“前面”或“后面”。 0054 图5是示出根据本发明的示例性实施方式的用于提供3D AR图像的方法的流程图。该方法可以由如图1所示的用于提供3D AR的设备100来执行。将参考图1和图5来描述根据该示例性实施方式的方法。 0055。

37、首先，获得包含对象的图像(操作501)。例如，图像获取器101可以获取对象的左图像和右图像。 0056 在获得图像之后，计算关于包含在图像中的对象的3D位置信息(操作502)。例如，图像处理器102可以使用图3所示的方法来测量对象的距离。 0057 在计算3D位置信息之后，对应于对象的AR数据被提取并根据所计算的3D位置信息而被转换(操作503)。 0058 一旦AR数据被转换，使用转换后的AR数据和所获得的图像来生成3DAR图像(操作504)。在一个示例中，图像处理器102可以将第一AR数据叠加到左图像上并将第二AR 数据叠加到右图像上，以产生增强的左图像和右图像。通过将增强的左图。

38、像和右图像进行结合，可以生成3D AR图像。 0059 在生成了3DAR图像之后，显示所生成的3DAR图像(操作505)。在一个示例中，如果所生成的AR图像包含第一对象和第二对象，其中第二对象所处的位置比第一对象远，则图像显示器103可以显示3D AR图像，使得对应于第一对象的AR数据比对应于第二对象的 AR数据近。 0060 如上所述，所公开的设备和方法根据对象的3D位置信息提供AR数据，由此可以实施真实3D AR。 0061 同时，本发明的示例性实施方式可以被体现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括存储计算机系统可读的数据的各种记录装置。可以由具有处理。

39、器和存储器的计算机来执行计算机可读代码。 0062 计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、(光盘)CD-ROM、磁带、软盘、光学数据存储装置以及载波(例如，通过因特网的数据传输)。计算机可读记录介质可以分布在网络连接的计算机系统上，由此可以以分布方式存储并执行计算机可读代码。本领域的计算机编程人员可以很容易地导出实现本发明所需的功能程序、代码和代码段。 0063 本领域技术人员可以明白，在不偏离本发明的实质和范围的情况下，可以对本发说明书CN 102395036 A CN 102395045 A 7/7页 10 明进行各种修改和变形。因此，本发明应当涵盖在所附权利要求及其等同的范围内所提供的本发明的修改和变形。说明书CN 102395036 A CN 102395045 A 1/4页 11 图1 图2 说明书附图CN 102395036 A CN 102395045 A 2/4页 12 图3 说明书附图CN 102395036 A CN 102395045 A 3/4页 13 图4 说明书附图CN 102395036 A CN 102395045 A 4/4页 14 图5 图6 说明书附图CN 102395036 A 。

展开阅读全文