增强现实的实现方法以及实现装置.pdf

摘要
申请专利号：	CN201310129360.7	申请日：	2013.04.15
公开号：	CN104102678A	公开日：	2014.10.15
当前法律状态：	实审	有效性：	审中
法律详情：	实质审查的生效IPC(主分类):G06F 17/30申请日:20130415\|\|\|公开
IPC分类号：	G06F17/30	主分类号：	G06F17/30
申请人：	腾讯科技（深圳）有限公司
发明人：	曹晨; 崔欣宇
地址：	518044 广东省深圳市福田区振兴路赛格科技园2栋东403室
优先权：
专利代理机构：	上海波拓知识产权代理有限公司 31264	代理人：	吕静
PDF下载：	PDF下载

内容摘要

本发明提供一种增强现实的实现方法及装置。所述方法包括：获取真实场景，根据真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息；建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；将添加有兴趣点信息标签的虚拟平面叠加于真实场景中形成增强现实视图，虚拟平面在视觉上平行于真实场景中的水平面；以及输出并展示增强现实视图，并根据真实场景的实时信息调整虚拟平面，使虚拟平面在视觉上始终平行于真实场景中的水平面。本发明可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系。

权利要求书

1.  一种增强现实的实现方法，其特征在于，所述方法包括：
获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；
建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；
将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及
输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。

2.  如权利要求1所述的增强现实的实现方法，其特征在于，所述建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签的步骤，包括：
建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；
将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中；
在映射有兴趣点的网格上添加对应的兴趣点信息标签。

3.  如权利要求2所述的增强现实的实现方法，其特征在于，进一步包括设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所述网格或者隐藏所述网格。

4.  如权利要求1所述的增强现实的实现方法，其特征在于，在所述将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图的步骤之前，进一步包括：
选取一副真实场景的图像作为参考图像；
计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；
计算所述真实场景与所述参考图像之间的旋转矩阵；以及
根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。

5.  如权利要求1所述的增强现实的实现方法，其特征在于，所述根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面的步骤，包括：
根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵；以及
根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。

6.  一种增强现实的实现装置，其特征在于，所述装置包括：
真实场景获取模块，用于获取真实场景；
兴趣点获取模块，用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；
虚拟平面建立模块，用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；
叠加模块，用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及
展示及调整模块，用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。

7.  如权利要求6所述的增强现实的实现装置，其特征在于，所述虚拟平面建立模块包括：
网格化单元，用于建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；
兴趣点映射单元，用于将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中；
标签添加单元，用于在映射有兴趣点的网格上添加对应的兴趣点信息标签。

8.  如权利要求7所述的增强现实的实现装置，其特征在于，所述虚拟平面建立模块进一步包括：网格属性设置单元，用于设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所述网格或者隐藏所述网格。

9.  如权利要求6所述的增强现实的实现装置，其特征在于，叠加模块包括：
参考图像建立单元，用于选取一副真实场景的图像作为参考图像；
参考夹角建立单元，用于计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；
旋转矩阵计算单元，用于计算所述真实场景与所述参考图像之间的旋转矩阵；以及
叠加单元，用于根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。

10.  如权利要求6所述的增强现实的实现装置，其特征在于，所述展示及调整模块，包括：
展示单元，用于输出并展示所述增强现实视图；以及
调整单元，用于根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，以及根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。

说明书

增强现实的实现方法以及实现装置
技术领域
本发明涉及计算机网络通信技术，特别是涉及一种增强现实的实现方法以及实现装置。
背景技术
随着智能终端、移动互联网技术的成熟与发展，曾经局限于实验室的增强现实(Augmented Reality，简称AR)技术开始走进大众视野，一大批以图像处理、终端定位技术为基础的互联网/移动互联网AR应用开始涌现，称为移动增强现实(mobile AR)应用，这引起了业界较大关注，成为技术研究热点。
移动增强现实技术的研究与应用，将虚拟的增强现实信息应用到真实世界，改变了用户观察周围世界的方式-由传统的基于文本输入的WEB页面浏览查询模式，转变为基于摄像头拍摄，捕获热点并实时浏览增强信息全新模式。
移动增强现实用户利用移动增强现实终端(例如：智能手机)在拍摄周围景物的同时可以得到增强现实业务体验，存在如下业务场景：用户移动终端上运行的增强现实应用(AR application)基于用户当前位置捕获AR业务提供商部署的增强现实目标(AR Target)，譬如用户感兴趣的目标点，也就是兴趣点(point of interest，简称POI)，并根据用户的选择来获取与增强现实目标相对应的增强现实内容(AR Content)，包括：文字、图片、音频、视频。增强现实应用结合用户终端地理指纹信息(例如：经纬度、朝向等)，将获取的增强现实内容以标签的形式与移动终端摄像头拍摄的周围实景信息在移动终端的屏幕融合显示，向用户呈现增强现实视图(AR view)，一种由增强现实应用提供的，将获取的增强现实内容与摄像头实时拍摄画面在移动终端显示屏幕上融合渲染展示所形成的观察视图，使得用户获取不同寻常的增强现实业务体验。
但是，现有的增强现实技术，增强现实视图中的标签往往互相重叠、覆盖、不具层次感，用户无法判断标签所代表的兴趣点之间的位置关系。
发明内容
本发明的目的在于，解决现有技术现实视图中的标签不具层次感的问题，而提供一种新的增强现实的实现方法以及实现装置。
本发明实施例提供一种增强现实的实现方法，所述方法包括：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
本发明实施例提供一种增强现实的实现装置，所述装置包括：真实场景获取模块，用于获取真实场景；兴趣点获取模块，用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；虚拟平面建立模块，用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；叠加模块，用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及展示及调整模块，用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
相对于现有技术，本发明实施例提供的增强现实的实现方法及实现装置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本发明实施例的一种应用环境示意图。
图2为本发明第一实施例中的增强现实的实现方法的流程示意图。
图3为图2中所述预定范围的示意图。
图4为本发明第二实施例中的增强现实的实现方法的流程示意图。
图5为图4中步骤S25的具体流程示意图。
图6为本发明第二实施例中的增强现实视图在一种实施方式中的示意图。
图7为本发明第三实施例中的增强现实的实现装置的结构示意图。
图8为本发明第四实施例中的增强现实的实现装置的结构示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的增强现实的实现方法以及实现装置其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如下。
有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。
本发明提出一种增强现实的实现方法以及实现装置可以应用于增强现实业务系统中，增强现实业务系统10的组成可以如图1所示，包括：增强现实服务器11、与增强现实服务器11通信的通信网络12以及与通信网络12通信的增强现实终端13。
其中，增强现实服务器11可以是增强现实业务提供商在网络侧部署的功能实体，负责维护用户业务订购关系和偏好设置，并根据用户请求或者业务设置向增强现实终端13递送已捕获的、可供访问的增强现实目标，如POI，以及相关联的增强现实内容，包括文字、图像、音频、视频等各种多媒体信息，为用户提供增强现实服务。
通信网络12是指为增强现实服务器11和增强现实终端13之间提供网络通信链路的有线、无线通信网络。
增强现实终端13是指用户使用的具备增强现实能力的通信终端、除了提供基本的通信功能以外，还可以为用户提供增强现实业务体验。
第一实施例
图2为本发明第一实施例中的增强现实的实现方法的流程示意图。如图2所示，本实施例中的增强现实的实现方法包括：
步骤S11：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。
真实场景可以是增强现实终端13(例如智能手机)中的摄像装置(例如摄像头)实时拍摄的用户周围物理世界的真实场景信息(camera view)。摄像装置还可以将拍摄到的真实场景信息进行缓存。
真实场景的拍摄位置是指增强现实终端13中的GPS模块在拍摄真实场景时所采集的增强现实终端13的地理位置信息，例如，东经116°23′17〃、北纬：39°54′27〃。
取景方向是指增强现实终端13中的方向传感器在拍摄真实场景时所采集的摄像装置的取景方向，例如，由东向北偏15°。
预定范围优选为以真实场景的拍摄位置为起始边界的中心，以该中心为起点沿取景方向延伸出来的线为中心轴的方形区域I或半圆形区域II，如图3所示，图3中字母O表示的是真实场景的拍摄位置，OO＇表示的是中心轴。AB表示的是预定范围的起始边界。该方形区域的边长或该半圆形区域的半径可以根据实际需要进行设定，例如可以为500米或1000米等。当然该预定区域也可以为长方形区域或者扇形区域等，本发明的具体实施方式并不以此为限。
增强现实终端可以由增强现实服务器中获取该预定范围内兴趣点以及对应的兴趣点信息，也可以直接由电子地图应用程序(例如百度地图，soso地图)等的API（Application Programming Interface，应用程序编程接口）来获取，本发明的具体实施方式并不以此为限。随着相关数据库的更新，所提取的兴趣点信息也可以进行实时更新。兴趣点信息可以包括对应兴趣点的名称、地理位置信息、联系方式、以及与该兴趣点相关的文字、图像、音频、视频等各种多媒体信息。
步骤S12：建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。
建立一个虚拟平面，该虚拟平面可以使用OpenGL进行绘制。根据所获取的兴趣点的地理位置信息，可以获得兴趣点之间的相互位置关系，将这些兴趣点按照彼此的相互位置关系映射于该虚拟平面上。优选的，该虚拟平面的形状可以将上述预定范围进行等比例缩小所获得的，这样，兴趣点的虚拟平面上的映射位置关系更接近于该些兴趣点在物理世界中的实际位置关系。
在虚拟平面中映射有兴趣点的位置上添加对应的兴趣点信息标签，标签的具体形式不限，可以是文本提示框的方式，也可以只是一个特殊形状的图形表示的计算机可识别标记，当用户的鼠标滑过时即可显示具体的内容等等，本发明的具体实施方式并不以此为限。
步骤S13：将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。
根据映射在虚拟平面上的兴趣点之间的相互位置关系以及真实场景的拍摄位置及取景方向，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。具体来讲，可以按照映射在虚拟平面上的兴趣点的实际地理位置与真实场景的拍摄位置之间的远近关系来确定在叠加该虚拟平面时，该虚拟平面的设置方向，可以将虚拟平面上兴趣点的实际地理位置与真实场景的拍摄位置相对较近的一端设置在真实场景画面中靠近用户的一端，将虚拟平面上兴趣点的实际地理位置与真实场景的拍摄位置相对较远的一端设置在真实场景画面中远离用户的另一端。
叠加之后，将所述虚拟平面以一定角度倾斜，使所述虚拟平面在视觉上平行于所述真实场景中的水平面，也就是使用户产生该虚拟平面是与真实场景中的水平地面相重合或者平行的感觉，以增强立体效果，使虚拟平面上的标签更加层次分明，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系。
步骤S14:输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
将增强现实视图输出至增强现实终端中的显示屏幕，由显示屏幕展示给用户。在本发明的其他实施方式中，增强现实视图也可以在增强现实终端以外的显示屏幕(例如用户正在驾驶的汽车内的车载显示器)中进行展示，本发明的具体实施方式并不以此为限。
在用户不断的改变增强现实终端的倾斜角度时，根据所述真实场景的实时信息，包括获取真实场景时的拍摄位置、取景方向以及摄像装置的姿态等信息，调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
相对于现有技术，本实施例提供的增强现实的实现方法通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。
第二实施例
图4为本发明第二实施例中的增强现实的实现方法的流程示意图。如图4所示，本实施例中的增强现实的实现方法包括：
步骤S21：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。
步骤S22：建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格。
假设所述虚拟平面为正方形，可以将该正方形的虚拟平面划分为多个均匀设置的网格。优选的，该多个网格呈阵列分布，例如，所述虚拟平面可以为50x50大小的网格图案。
可以对网格的属性进行设置，例如将所述网格的属性设置为：展示所述增强现实视图时显示所述网格，这样在视觉上更有立体感和层次感。当然，也可以将所述网格的属性设置为：在展示所述增强现实视图时隐藏所述网格，本发明具体实施方式并不以此为限。
步骤S23：将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中。
根据所获取的兴趣点的地理位置信息，可以获得兴趣点之间的相互位置关系，将这些兴趣点按照彼此的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中。这样，兴趣点的虚拟平面上的映射位置关系更接近于该些兴趣点在物理世界中的实际位置关系。
步骤S24：在映射有兴趣点的网格上添加对应的兴趣点信息标签。
步骤S25：将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。
请参照图5，所述步骤S25还可以包括：
步骤S251：选取一副真实场景的图像作为参考图像；
步骤S252：计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；
步骤S253：计算所述真实场景与所述参考图像之间的旋转矩阵；以及
步骤S254：根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。
在建立所述虚拟平面前，计算机可以先建立一个直角坐标系，优选的，该直角坐标系以真实场景的拍摄位置为原点，地刺北极方向作为Y轴正方向，东方作为X轴正方向，Z轴指向天空。假设所选取的参考图像为用户站在水平地面(即X-O-Y平面)上用摄像装置所采集的位于用户正前方的真实场景的图像。计算将所述虚拟平面在视觉上平行于所述参考图像中的水平面(可近似为地面)时，所述虚拟平面与实际水平面(即X-O-Y平面)之间的夹角(例如15度)，设定该夹角为参考夹角。在视觉上平行于所述参考图像中的水平面，也就是要使用户产生类似45度角俯视一个平面的感觉。
由于在获取真实场景的过程中，拍摄装置的姿态是不断在改变的，因此，并不能直接按照上面得出的参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中，还需要根据获取真实场景的拍摄装置的姿态来计算所述真实场景与所述参考图像之间的旋转矩阵。
一般来说，拍摄装置的姿态包括：平移、俯仰、滚转、偏航。每个拍摄装置在三维空间中都有六个自由度，这六个自由度中包括可实现平移的X、Y、Z三个自由度。拍摄装置在三维空间中还可以进行三个角度的旋转，偏航指的是拍摄装置围绕Y轴进行的旋转，俯仰指的是拍摄装置围绕X轴进行的旋转，滚转指的是拍摄装置围绕Z轴进行的旋转。
拍摄装置的姿态不同，必然导致所采集的图像之间存在空间上的差异。利用增强现实终端中的方向传感器可以得到拍摄装置所实时获取的真实场景的俯仰度、滚转度、偏航度，从而计算出所述真实场景与所述参考图像之间的旋转矩阵，也就是得到拍摄装置在拍摄参考图像时与拍摄装置拍摄每个真实场景图像时的空间姿态关系。根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中，就可以达到所述虚拟平面在视觉上平行于所述真实场景中的水平面的效果。
步骤S26：输出并展示所述增强现实视图，
步骤S27:根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
输出并展示所述增强现实视图给用户后，用户还是有可能不断的改变拍摄装置的取景方向来获取更多的信息，此时，可以按照上述计算旋转矩阵的方法，实时计算所述真实场景与所述参考图像之间的旋转矩阵。根据所述旋转矩阵，对所述虚拟平面进行实时调整，这样网格会像一个稳定的地平面一样，不断的跟随着拍摄装置的取景方向发生变化，但始终与地平面平行，如图6所示。用户的拍摄装置所指向的方向的预定范围内的兴趣点的信息标签都会浮现在网格相应的位置，很容易区分远近。当用户转动拍摄装置，网格和上面的标签也会随着转动。进一步的，当标签出现相互覆盖的现象，终端也可以根据用户点击屏幕的位置判断用户点击范围附近的标签，然后以列表的形成弹出，供用户进行选择。
相对于现有技术，本实施例提供的增强现实的实现方法通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。
第三实施例
图7为本发明第三实施例中的增强现实的实现装置的结构示意图。本实施例中的增强现实的实现装置30可以用于实现第一实施例中的方法，如图7所示，实现装置30包括：真实场景获取模块31、兴趣点获取模块32、虚拟平面建立模块33、叠加模块34、以及展示及调整模块35。
其中，真实场景获取模块31用于获取真实场景。兴趣点获取模块32用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。虚拟平面建立模块33用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。叠加模块34用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。展示及调整模块35用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
相对于现有技术，本实施例提供的增强现实的实现装置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。
第四实施例
图8为本发明第四实施例中的增强现实的实现装置的结构示意图。本实施例中的增强现实的实现装置40可以用于实现第二实施例中的方法，如图8所示，实现装置40包括：真实场景获取模块41、兴趣点获取模块42、虚拟平面建立模块43、叠加模块44、以及展示及调整模块45。
其中，真实场景获取模块41用于获取真实场景。兴趣点获取模块42用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。虚拟平面建立模块43用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。叠加模块44用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。展示及调整模块45用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
于本实施例中，所述虚拟平面建立模块43可以包括：网格化单元431，用于建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；兴趣点映射单元432，用于将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中；标签添加单元433，用于在映射有兴趣点的网格上添加对应的兴趣点信息标签。
于本实施例中，所述虚拟平面建立模块43进一步还可以包括：网格属性设置单元434，用于设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所述网格或者隐藏所述网格。
于本实施例中，所述叠加模块44可以包括：参考图像建立单元441，用于选取一副真实场景的图像作为参考图像；参考夹角建立单元442，用于计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；旋转矩阵计算单元443，用于计算所述真实场景与所述参考图像之间的旋转矩阵；叠加单元444，用于根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。
于本实施例中，所述展示及调整模块45可以包括：展示单元451，用于输出并展示所述增强现实视图；以及调整单元452，用于根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，以及根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。
相对于现有技术，本实施例提供的增强现实的实现装置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

资源描述

《增强现实的实现方法以及实现装置.pdf》由会员分享，可在线阅读，更多相关《增强现实的实现方法以及实现装置.pdf（16页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 104102678 A(43)申请公布日 2014.10.15CN104102678A(21)申请号 201310129360.7(22)申请日 2013.04.15G06F 17/30(2006.01)(71)申请人腾讯科技（深圳）有限公司地址 518044 广东省深圳市福田区振兴路赛格科技园2栋东403室(72)发明人曹晨崔欣宇(74)专利代理机构上海波拓知识产权代理有限公司 31264代理人吕静(54) 发明名称增强现实的实现方法以及实现装置(57) 摘要本发明提供一种增强现实的实现方法及装置。所述方法包括：获取真实场景，根据真实场景的拍摄位置及取景方向，获取。

2、预定范围内的兴趣点以及对应的兴趣点信息；建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；将添加有兴趣点信息标签的虚拟平面叠加于真实场景中形成增强现实视图，虚拟平面在视觉上平行于真实场景中的水平面；以及输出并展示增强现实视图，并根据真实场景的实时信息调整虚拟平面，使虚拟平面在视觉上始终平行于真实场景中的水平面。本发明可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系。(51)Int.Cl.权利要求书2页说明书8页附图5页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页。

3、说明书8页附图5页(10)申请公布号 CN 104102678 ACN 104102678 A1/2页21.一种增强现实的实现方法，其特征在于，所述方法包括：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及输出并展示所述增强现实视图，并根据所述真实场景的实。

4、时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。2.如权利要求1所述的增强现实的实现方法，其特征在于，所述建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签的步骤，包括：建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中；在映射有兴趣点的网格上添加对应的兴趣点信息标签。3.如权利要求2所述的增强现实的实现方法，其特征在于，进一步包括设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所。

5、述网格或者隐藏所述网格。4.如权利要求1所述的增强现实的实现方法，其特征在于，在所述将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图的步骤之前，进一步包括：选取一副真实场景的图像作为参考图像；计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；计算所述真实场景与所述参考图像之间的旋转矩阵；以及根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。5.如权利要求1所述的增强现实的实现方法，其特征在于，所述根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所。

6、述真实场景中的水平面的步骤，包括：根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵；以及根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。6.一种增强现实的实现装置，其特征在于，所述装置包括：真实场景获取模块，用于获取真实场景；兴趣点获取模块，用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；虚拟平面建立模块，用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。

7、；权利要求书CN 104102678 A2/2页3叠加模块，用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及展示及调整模块，用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。7.如权利要求6所述的增强现实的实现装置，其特征在于，所述虚拟平面建立模块包括：网格化单元，用于建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；兴趣点映射单元，用于将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对。

8、应网格中；标签添加单元，用于在映射有兴趣点的网格上添加对应的兴趣点信息标签。8.如权利要求7所述的增强现实的实现装置，其特征在于，所述虚拟平面建立模块进一步包括：网格属性设置单元，用于设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所述网格或者隐藏所述网格。9.如权利要求6所述的增强现实的实现装置，其特征在于，叠加模块包括：参考图像建立单元，用于选取一副真实场景的图像作为参考图像；参考夹角建立单元，用于计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；旋转矩阵计算单元，用于计算所述真实场景与所述参考图像之间的旋转矩阵；。

9、以及叠加单元，用于根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。10.如权利要求6所述的增强现实的实现装置，其特征在于，所述展示及调整模块，包括：展示单元，用于输出并展示所述增强现实视图；以及调整单元，用于根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，以及根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。权利要求书CN 104102678 A1/8页4增强现实的实现方法以及实现装置技术领域0001 本发明涉及计算机网络通信技术，特别是涉及一种增强现实的实现方法。

10、以及实现装置。背景技术0002 随着智能终端、移动互联网技术的成熟与发展，曾经局限于实验室的增强现实(Augmented Reality，简称AR)技术开始走进大众视野，一大批以图像处理、终端定位技术为基础的互联网/移动互联网AR应用开始涌现，称为移动增强现实(mobile AR)应用，这引起了业界较大关注，成为技术研究热点。0003 移动增强现实技术的研究与应用，将虚拟的增强现实信息应用到真实世界，改变了用户观察周围世界的方式-由传统的基于文本输入的WEB页面浏览查询模式，转变为基于摄像头拍摄，捕获热点并实时浏览增强信息全新模式。0004 移动增强现实用户利用移动增强现实终端(例如：智能手机。

11、)在拍摄周围景物的同时可以得到增强现实业务体验，存在如下业务场景：用户移动终端上运行的增强现实应用(AR application)基于用户当前位置捕获AR业务提供商部署的增强现实目标(AR Target)，譬如用户感兴趣的目标点，也就是兴趣点(point of interest，简称POI)，并根据用户的选择来获取与增强现实目标相对应的增强现实内容(AR Content)，包括：文字、图片、音频、视频。增强现实应用结合用户终端地理指纹信息(例如：经纬度、朝向等)，将获取的增强现实内容以标签的形式与移动终端摄像头拍摄的周围实景信息在移动终端的屏幕融合显示，向用户呈现增强现实视图(AR view)。

12、，一种由增强现实应用提供的，将获取的增强现实内容与摄像头实时拍摄画面在移动终端显示屏幕上融合渲染展示所形成的观察视图，使得用户获取不同寻常的增强现实业务体验。0005 但是，现有的增强现实技术，增强现实视图中的标签往往互相重叠、覆盖、不具层次感，用户无法判断标签所代表的兴趣点之间的位置关系。发明内容0006 本发明的目的在于，解决现有技术现实视图中的标签不具层次感的问题，而提供一种新的增强现实的实现方法以及实现装置。0007 本发明实施例提供一种增强现实的实现方法，所述方法包括：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对。

13、应兴趣点的位置信息；建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。说明书CN 104102678 A2/8页50008 本发明实施例提供一种增强现实的实现装置，所述装置包括：真实场景获取模块，用于获取真实场景；兴趣点获取模块，用于根据所述真实场景的拍摄位置及取。

14、景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息；虚拟平面建立模块，用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签；叠加模块，用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面；以及展示及调整模块，用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0009 相对于现有技术，本发明实施例提供的增强现实的实现方法及实现装。

15、置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。0010 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点。

16、能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。附图说明0011 图1为本发明实施例的一种应用环境示意图。0012 图2为本发明第一实施例中的增强现实的实现方法的流程示意图。0013 图3为图2中所述预定范围的示意图。0014 图4为本发明第二实施例中的增强现实的实现方法的流程示意图。0015 图5为图4中步骤S25的具体流程示意图。0016 图6为本发明第二实施例中的增强现实视图在一种实施方式中的示意图。0017 图7为本发明第三实施例中的增强现实的实现装置的结构示意图。0018 图8为本发明第四实施例中的增强现实的实现装置的结构示意图。具体实施方式0019 为更进一步阐述本发。

17、明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的增强现实的实现方法以及实现装置其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如下。0020 有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。0021 本发明提出一种增强现实的实现方法以及实现装置可以应用于增强现实业务系说明书CN 104102678 A3/8页6统中，增强现实业务系统1。

18、0的组成可以如图1所示，包括：增强现实服务器11、与增强现实服务器11通信的通信网络12以及与通信网络12通信的增强现实终端13。0022 其中，增强现实服务器11可以是增强现实业务提供商在网络侧部署的功能实体，负责维护用户业务订购关系和偏好设置，并根据用户请求或者业务设置向增强现实终端13递送已捕获的、可供访问的增强现实目标，如POI，以及相关联的增强现实内容，包括文字、图像、音频、视频等各种多媒体信息，为用户提供增强现实服务。0023 通信网络12是指为增强现实服务器11和增强现实终端13之间提供网络通信链路的有线、无线通信网络。0024 增强现实终端13是指用户使用的具备增强现实能力的通。

19、信终端、除了提供基本的通信功能以外，还可以为用户提供增强现实业务体验。0025 第一实施例0026 图2为本发明第一实施例中的增强现实的实现方法的流程示意图。如图2所示，本实施例中的增强现实的实现方法包括：0027 步骤S11：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。0028 真实场景可以是增强现实终端13(例如智能手机)中的摄像装置(例如摄像头)实时拍摄的用户周围物理世界的真实场景信息(camera view)。摄像装置还可以将拍摄到的真实场景信息进行缓存。0029 真实场景的拍摄位置是指增强现实。

20、终端13中的GPS模块在拍摄真实场景时所采集的增强现实终端13的地理位置信息，例如，东经1162317、北纬：395427。0030 取景方向是指增强现实终端13中的方向传感器在拍摄真实场景时所采集的摄像装置的取景方向，例如，由东向北偏15。0031 预定范围优选为以真实场景的拍摄位置为起始边界的中心，以该中心为起点沿取景方向延伸出来的线为中心轴的方形区域I或半圆形区域II，如图3所示，图3中字母O表示的是真实场景的拍摄位置，OO表示的是中心轴。AB表示的是预定范围的起始边界。该方形区域的边长或该半圆形区域的半径可以根据实际需要进行设定，例如可以为500米或1000米等。当然该预定区域也可以为。

21、长方形区域或者扇形区域等，本发明的具体实施方式并不以此为限。0032 增强现实终端可以由增强现实服务器中获取该预定范围内兴趣点以及对应的兴趣点信息，也可以直接由电子地图应用程序(例如百度地图，soso地图)等的API（Application Programming Interface，应用程序编程接口）来获取，本发明的具体实施方式并不以此为限。随着相关数据库的更新，所提取的兴趣点信息也可以进行实时更新。兴趣点信息可以包括对应兴趣点的名称、地理位置信息、联系方式、以及与该兴趣点相关的文字、图像、音频、视频等各种多媒体信息。0033 步骤S12：建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位。

22、置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。0034 建立一个虚拟平面，该虚拟平面可以使用OpenGL进行绘制。根据所获取的兴趣点的地理位置信息，可以获得兴趣点之间的相互位置关系，将这些兴趣点按照彼此的相互位置关系映射于该虚拟平面上。优选的，该虚拟平面的形状可以将上述预定范围进行等比例说明书CN 104102678 A4/8页7缩小所获得的，这样，兴趣点的虚拟平面上的映射位置关系更接近于该些兴趣点在物理世界中的实际位置关系。0035 在虚拟平面中映射有兴趣点的位置上添加对应的兴趣点信息标签，标签的具体形式不限，可以是文本提示框的方式，也可以只是一个特殊形状的。

23、图形表示的计算机可识别标记，当用户的鼠标滑过时即可显示具体的内容等等，本发明的具体实施方式并不以此为限。0036 步骤S13：将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。0037 根据映射在虚拟平面上的兴趣点之间的相互位置关系以及真实场景的拍摄位置及取景方向，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。具体来讲，可以按照映射在虚拟平面上的兴趣点的实际地理位置与真实场景的拍摄位置之间的远近关系来确定在叠加该虚拟平面时，该虚拟平面的设置方向，可以将虚拟平面上兴趣点的实际地理位置与真实场景的拍摄位置相对较近的一端设。

24、置在真实场景画面中靠近用户的一端，将虚拟平面上兴趣点的实际地理位置与真实场景的拍摄位置相对较远的一端设置在真实场景画面中远离用户的另一端。0038 叠加之后，将所述虚拟平面以一定角度倾斜，使所述虚拟平面在视觉上平行于所述真实场景中的水平面，也就是使用户产生该虚拟平面是与真实场景中的水平地面相重合或者平行的感觉，以增强立体效果，使虚拟平面上的标签更加层次分明，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系。0039 步骤S14:输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0040。

25、将增强现实视图输出至增强现实终端中的显示屏幕，由显示屏幕展示给用户。在本发明的其他实施方式中，增强现实视图也可以在增强现实终端以外的显示屏幕(例如用户正在驾驶的汽车内的车载显示器)中进行展示，本发明的具体实施方式并不以此为限。0041 在用户不断的改变增强现实终端的倾斜角度时，根据所述真实场景的实时信息，包括获取真实场景时的拍摄位置、取景方向以及摄像装置的姿态等信息，调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0042 相对于现有技术，本实施例提供的增强现实的实现方法通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴。

26、趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。0043 第二实施例0044 图4为本发明第二实施例中的增强现实的实现方法的流程示意图。如图4所示，本实施例中的增强现实的实现方法包括：0045 步骤S21：获取真实场景，根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息。

27、，所述兴趣点信息包括对应兴趣点的位置信息。说明书CN 104102678 A5/8页80046 步骤S22：建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格。0047 假设所述虚拟平面为正方形，可以将该正方形的虚拟平面划分为多个均匀设置的网格。优选的，该多个网格呈阵列分布，例如，所述虚拟平面可以为50x50大小的网格图案。0048 可以对网格的属性进行设置，例如将所述网格的属性设置为：展示所述增强现实视图时显示所述网格，这样在视觉上更有立体感和层次感。当然，也可以将所述网格的属性设置为：在展示所述增强现实视图时隐藏所述网格，本发明具体实施方式并不以此为限。0049 步骤S23：将所获。

28、取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中。0050 根据所获取的兴趣点的地理位置信息，可以获得兴趣点之间的相互位置关系，将这些兴趣点按照彼此的相互位置关系通过缩放变换分别映射于所述虚拟平面的对应网格中。这样，兴趣点的虚拟平面上的映射位置关系更接近于该些兴趣点在物理世界中的实际位置关系。0051 步骤S24：在映射有兴趣点的网格上添加对应的兴趣点信息标签。0052 步骤S25：将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。0053 请参照图5，所述步骤S25还可以包括：0054 。

29、步骤S251：选取一副真实场景的图像作为参考图像；0055 步骤S252：计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；0056 步骤S253：计算所述真实场景与所述参考图像之间的旋转矩阵；以及0057 步骤S254：根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。0058 在建立所述虚拟平面前，计算机可以先建立一个直角坐标系，优选的，该直角坐标系以真实场景的拍摄位置为原点，地刺北极方向作为Y轴正方向，东方作为X轴正方向，Z轴指向天空。假设所选取的参考图像为用户站在水平地面(即X-O-Y。

30、平面)上用摄像装置所采集的位于用户正前方的真实场景的图像。计算将所述虚拟平面在视觉上平行于所述参考图像中的水平面(可近似为地面)时，所述虚拟平面与实际水平面(即X-O-Y平面)之间的夹角(例如15度)，设定该夹角为参考夹角。在视觉上平行于所述参考图像中的水平面，也就是要使用户产生类似45度角俯视一个平面的感觉。0059 由于在获取真实场景的过程中，拍摄装置的姿态是不断在改变的，因此，并不能直接按照上面得出的参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中，还需要根据获取真实场景的拍摄装置的姿态来计算所述真实场景与所述参考图像之间的旋转矩阵。0060 一般来说，拍摄装置的姿态包括：。

31、平移、俯仰、滚转、偏航。每个拍摄装置在三维空间中都有六个自由度，这六个自由度中包括可实现平移的X、Y、Z三个自由度。拍摄装置在三维空间中还可以进行三个角度的旋转，偏航指的是拍摄装置围绕Y轴进行的旋转，俯仰指的是拍摄装置围绕X轴进行的旋转，滚转指的是拍摄装置围绕Z轴进行的旋转。0061 拍摄装置的姿态不同，必然导致所采集的图像之间存在空间上的差异。利用增强现实终端中的方向传感器可以得到拍摄装置所实时获取的真实场景的俯仰度、滚转度、偏说明书CN 104102678 A6/8页9航度，从而计算出所述真实场景与所述参考图像之间的旋转矩阵，也就是得到拍摄装置在拍摄参考图像时与拍摄装置拍摄每个真实场景。

32、图像时的空间姿态关系。根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中，就可以达到所述虚拟平面在视觉上平行于所述真实场景中的水平面的效果。0062 步骤S26：输出并展示所述增强现实视图，0063 步骤S27:根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0064 输出并展示所述增强现实视图给用户后，用户还是有可能不断的改变拍摄装置的取景方向来获取更多的信息，此时，可以按照上述计算旋转矩阵的方法，实时计算所述真实场景与所述。

33、参考图像之间的旋转矩阵。根据所述旋转矩阵，对所述虚拟平面进行实时调整，这样网格会像一个稳定的地平面一样，不断的跟随着拍摄装置的取景方向发生变化，但始终与地平面平行，如图6所示。用户的拍摄装置所指向的方向的预定范围内的兴趣点的信息标签都会浮现在网格相应的位置，很容易区分远近。当用户转动拍摄装置，网格和上面的标签也会随着转动。进一步的，当标签出现相互覆盖的现象，终端也可以根据用户点击屏幕的位置判断用户点击范围附近的标签，然后以列表的形成弹出，供用户进行选择。0065 相对于现有技术，本实施例提供的增强现实的实现方法通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，。

34、并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置关系，提高了增强现实应用的使用效率。0066 第三实施例0067 图7为本发明第三实施例中的增强现实的实现装置的结构示意图。本实施例中的增强现实的实现装置30可以用于实现第一实施例中的方法，如图7所示，实现装置30包括：真实场景获取模块31、兴趣点获取模块32、虚拟平面建立模。

35、块33、叠加模块34、以及展示及调整模块35。0068 其中，真实场景获取模块31用于获取真实场景。兴趣点获取模块32用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。虚拟平面建立模块33用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。叠加模块34用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。展示及调整模块35用于输出并展示所述增强现实视图，并根据所述真实场景。

36、的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0069 相对于现有技术，本实施例提供的增强现实的实现装置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点说明书CN 104102678 A7/8页10的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，并使所述虚拟平面在视觉上平行于所述真实场景中的水平面，使得最终展示给用户的增强现实视图中的兴趣点信息标签更加具有立体感和层次感，可以更直观的向用户展示兴趣点之间的远近关系，以及兴趣点与用户之间的相对位置。

37、关系，提高了增强现实应用的使用效率。0070 第四实施例0071 图8为本发明第四实施例中的增强现实的实现装置的结构示意图。本实施例中的增强现实的实现装置40可以用于实现第二实施例中的方法，如图8所示，实现装置40包括：真实场景获取模块41、兴趣点获取模块42、虚拟平面建立模块43、叠加模块44、以及展示及调整模块45。0072 其中，真实场景获取模块41用于获取真实场景。兴趣点获取模块42用于根据所述真实场景的拍摄位置及取景方向，获取预定范围内的兴趣点以及对应的兴趣点信息，所述兴趣点信息包括对应兴趣点的位置信息。虚拟平面建立模块43用于建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关。

38、系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签。叠加模块44用于将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中形成增强现实视图，所述虚拟平面在视觉上平行于所述真实场景中的水平面。展示及调整模块45用于输出并展示所述增强现实视图，并根据所述真实场景的实时信息调整所述虚拟平面，使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0073 于本实施例中，所述虚拟平面建立模块43可以包括：网格化单元431，用于建立所述虚拟平面，并将所述虚拟平面划分为多个均匀的网格；兴趣点映射单元432，用于将所获取的兴趣点按照兴趣点之间的相互位置关系通过缩放变换分别映射于所述虚拟平面。

39、的对应网格中；标签添加单元433，用于在映射有兴趣点的网格上添加对应的兴趣点信息标签。0074 于本实施例中，所述虚拟平面建立模块43进一步还可以包括：网格属性设置单元434，用于设置所述网格的属性，所述属性包括于展示所述增强现实视图时显示所述网格或者隐藏所述网格。0075 于本实施例中，所述叠加模块44可以包括：参考图像建立单元441，用于选取一副真实场景的图像作为参考图像；参考夹角建立单元442，用于计算所述虚拟平面在视觉上平行于所述参考图像中的水平面时，所述虚拟平面与实际水平面之间的夹角，设定该夹角为参考夹角；旋转矩阵计算单元443，用于计算所述真实场景与所述参考图像之间的旋转矩阵；叠加。

40、单元444，用于根据所述旋转矩阵以及所述参考夹角，将添加有兴趣点信息标签的虚拟平面叠加于所述真实场景中。0076 于本实施例中，所述展示及调整模块45可以包括：展示单元451，用于输出并展示所述增强现实视图；以及调整单元452，用于根据所述真实场景的实时信息，实时计算所述真实场景与所述参考图像之间的旋转矩阵，以及根据所述旋转矩阵，对所述虚拟平面进行实时调整，以使所述虚拟平面在视觉上始终平行于所述真实场景中的水平面。0077 相对于现有技术，本实施例提供的增强现实的实现装置通过建立虚拟平面，将所获取的兴趣点按照兴趣点之间的相互位置关系映射于所述虚拟平面上，并在映射有兴趣点的位置添加对应的兴趣点信息标签，然后将添加有兴趣点信息标签的虚拟平面叠加于所述说明书CN 104102678 A10。

展开阅读全文