《基于混合现实的室内路径导航方法.pdf》由会员分享，可在线阅读，更多相关《基于混合现实的室内路径导航方法.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103162682 A (43)申请公布日 2013.06.19 CN 103162682 A *CN103162682A* (21)申请号 201110406696.4 (22)申请日 2011.12.08 G01C 21/00(2006.01) (71)申请人 中国科学院合肥物质科学研究院 地址 230031 安徽省合肥市蜀山湖路 350 号 (72)发明人 宋小波 李芬 刘百辰 周培莹 赵江海 何锋 王敏 (74)专利代理机构 常州佰业腾飞专利代理事务 所 ( 普通合伙 ) 32231 代理人 朱小杰 (54) 发明名称 基于混合现实的室内路径导航方法 (57)。
2、 摘要 本发明公开一种基于混合现实的室内路径 导航方法， 包括移动终端、 无线局域网、 远程服务 器和多个远程 PC， 移动终端包括移动摄像头和显 示屏， 多个远程 PC 之间通过有线网络连接， 其特 征在于包括以下步骤 ： 在移动终端上输入目的 地， 通过无线局域网将目的地传输到远程 PC 上 ； 移动终端根据摄像头拍摄的当前图像形成图像 序列， 通过无线局域网将图像序列传输到远程 PC 上 ； 远程 PC 根据收到的图像序列， 依次通过标 记可靠识别、 图像序列匹配、 位置模型筛选三个步 骤来计算用户当前的位置信息 ； 远程 PC 根据用 户当前的位置信息与目的地计算形成路径导航， 将该路。
3、径导航使用混合现实技术以 3D 立体方式 叠加并通过无线局域网反馈至移动终端的显示屏 上。 (51)Int.Cl. 权利要求书 1 页 说明书 6 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1页 说明书6页 附图3页 (10)申请公布号 CN 103162682 A CN 103162682 A *CN103162682A* 1/1 页 2 1. 一种基于混合现实的室内路径导航方法， 包括移动终端 (7)、 无线局域网 (3)、 远程 服务器 (4) 和多个远程 PC(5)， 移动终端 (7) 包括移动摄像头 (1) 和显示屏 (2)， 多个远程 。
4、PC(5) 之间通过有线网络 (6) 连接， 其特征在于包括以下步骤 ： 在移动终端 (7) 上输入目 的地， 通过无线局域网 (3) 将目的地传输到远程 PC(5) 上 ； 移动终端 (7) 根据摄像头 (1) 拍摄的当前图像形成图像序列， 通过无线局域网(3)将图像序列传输到远程PC(5)上 ； 远 程 PC(5) 根据收到的图像序列， 依次通过标记可靠识别、 图像序列匹配、 与位置模型筛选三 个步骤来计算用户当前的位置信息 ； 远程 PC(5) 根据用户当前的位置信息与目的地计算 形成路径导航， 将该路径导航使用混合现实技术以 3D 立体方式叠加并通过无线局域网 (4) 反馈至移动终端 。
5、(7) 的显示屏 (2) 上。 2. 根据权利要求 1 所述的基于混合现实的室内路径导航方法， 其特征在于 ： 所述第 步中， 标记可靠识别过程中将输入的图像序列进行阈值分割后处理成二进制图像来凸显目 标标记， 得到二进制图像中的特征， 然后与位置结构模型库中的结构特征进行特征配准， 如 果能够达成配准， 即表示识别出了位置标记， 进而完成初步定位， 如果不能够达成配准， 则 返回第步。 3. 根据权利要求 1 所述的基于混合现实的室内路径导航方法， 其特征在于 ： 所述标记 可靠识别过程中采用不同光照条件的自适应阈值算法生成二进制图像， 1-10 秒或 64 帧执 行一次， 其余非标记图像使。
6、用最近时间的固定阈值分割图像。 4. 根据权利要求 1 所述的基于混合现实的室内路径导航方法， 其特征在于 ： 所述图像 序列匹配过程中， 根据用户在室内移动时捕捉到的图像序列构建图像序列库， 图像序列匹 配先按照 8-60 帧 / 秒的频率连续采样， 再以 8 帧 / 秒的频率构建图像序列库。 5. 根据权利要求 1 所述的基于混合现实的室内路径导航方法， 其特征在于 ： 所述图像 序列匹配中将输入的 RGB 颜色空间转化成 HSI 颜色空间， 然后从 HSI 色彩空间中提取前五 个 LAD 特征， 最后通过计算欧氏距离来确定当前位置。 6. 根据权利要求 1 所述的基于混合现实的室内路径导。
7、航方法， 其特征在于 ： 所述图像 序列匹配中需要计算输入图像序列的特征向量与远程PC5的位置结构模型库的第n个位置 的图像序列的特征向量的相似度。 7. 根据权利要求 1 所述的基于混合现实的室内路径导航方法， 其特征在于 ： 所述第 步中， 采用分层 L-K 光流算法对特征点进行跟踪， 对光流跟踪的结果采用 RANSAC 算法求得 其单应性矩阵。 权 利 要 求 书 CN 103162682 A 2 1/6 页 3 基于混合现实的室内路径导航方法 技术领域 0001 本发明设计一种基于混合现实的室内路径导航方法， 属于路径导航领域。 技术背景 0002 随着城市建设的突飞猛进， 各种现代化。
8、的高楼大厦摩肩接踵， 其内部的结构和功 能错综复杂， 当人们身处这样一些陌生而复杂的环境中需要找寻特定的目标时， 如在办公 楼、 展览厅、 校园、 医院、 博物馆、 音乐会、 技术发布会、 大型展会等室内区域， 此时室内路径 导航尤显其重要性引导不熟悉地方的用户找到前往目的地的路线、 突发情况室内人群 的快速疏散以及应急救援等。 0003 中国申请专利号 CN200810060078.7基于无线传感网的室内定位方法 中专利公 开了一种混合式基于无线传感器网络的室内定位方法， 该方法主要由信标节点、 盲节点、 汇 聚节点三部分组成。 信标节点为位置已知的传感器节点 ； 盲节点为待定位的传感器节点。
9、， 但 通过与临近信标节点通信， 根据分布式定位算法进行粗略定位 ； 而汇聚节点接收盲点定位， 采用集中式定位优化算法进行目标的精确定位， 但是要在室内安装大量的传感器并且无法 立体化显示所在位置。中国专利申请号 CN201010518905.X 一种具备室内导航功能的移动 终端及室内导航方法 描述了一种具备室内导航功能的移动终端及室内导航方法。移动终 端包括加速度计模块、 电子罗盘模块、 压力检测模块和控制模块等。加速度计模块、 电子罗 盘模块、 压力检测模块分别与控制模块连接。该专利采用加速度计模块获取移动终端行进 的距离， 电子罗盘模块获取移动终端行进的方向信息， 压力检测模块获取移动终。
10、端的大气 压力信息， 并且由控制模块根据移动终端行进的距离、 方向信息和大气压力信息， 从而得出 移动终端在室内的三维立体位置信息， 实现了室内立体导航， 但在精确度与成像方面受环 境影响较大。中国专利号 CN201010518905.X提供大型建筑物内部的定位和导航的方法 专利公开了一种在 GPS 信号不可用时对建筑区内的电子设备进行定位 / 导航的方法。电子 设备通过扫描可用的无线局域网接入点并下载位置信息， 进而实现定位 / 导航功能， 实时 逼真地显示用户在室内当前所处的位置， 及可使用的导航路径。但是该专利成像只能已平 面显示， 无法立体化显示所在位置。 0004 随 着 增 强 现。
11、 实 (Augmented Reality，简 称 “AR” )、增 强 虚 拟 (Augmented Virtuality， 简称 “AV” )、 这两项又被合称为 “混合现实” (Mixed Reality， 简称 “MR” ) 的发 展， 可以为用户构造所需的高临场感虚拟三维场景。 0005 现在的用户更需要一种能在室内实现立体导航的方法， 能够立体化显示所在当前 位置， 方便用户更加快速的找到前往目的地的路线。 发明内容 0006 本发明的目的是为了解决上述不足， 提供一种基于混合现实的室内路径导航方 法。 0007 实现本发明的技术方案如下 ： 说 明 书 CN 103162682 。
12、A 3 2/6 页 4 0008 一种基于混合现实的室内路径导航方法， 包括移动终端 7、 无线局域网 3、 远程服 务器4和多个远程PC5， 移动终端7包括移动摄像头1和显示屏2， 多个远程PC5之间通过有 线网络 6 连接， 其特征在于包括以下步骤 ： 在移动终端 7 上输入目的地， 通过无线局域网 3 将目的地传输到远程 PC5 上 ； 移动终端 7 根据摄像头 1 拍摄的当前图像形成图像序列， 通过无线局域网3将图像序列传输到远程PC5上 ； 远程PC5根据收到的图像序列， 依次通 过标记可靠识别、 图像序列匹配、 与位置模型筛选三个步骤来计算用户当前的位置信息 ； 远程 PC5 根据。
13、用户当前的位置信息与目的地计算形成路径导航， 将该路径导航使用混合现 实技术以 3D 立体方式叠加并通过无线局域网 4 反馈至移动终端 7 的显示屏 2 上。 0009 上述第步中， 标记可靠识别过程中将输入的图像序列进行阈值分割后处理成二 进制图像， 进而凸显目标标记， 得到二进制图像中的特征， 进而进行特征配准， 如果能够达 成配准， 即表示识别出了位置标记， 进而完成初步定位， 如果不能够达成配准， 则返回第 步。 0010 上述标记可靠识别过程中采用不同光照条件的自适应阈值算法生成二进制图像， 1-10 秒或 64 帧执行一次， 其余非标记图像使用最近时间的固定阈值分割图像。 0011。
14、 上述图像序列匹配过程中， 根据用户在室内移动时捕捉到的图像序列， 来进行构 建图像序列库， 图像序列匹配先按照 8-60 帧 / 秒的频率连续采样， 再以 8 帧 / 秒构建图像 序列库。 0012 上述快速精确定位过程中将输入的RGB颜色空间转化成HSI颜色空间， 然后从HSI 色彩空间中提取前五个 LAD 特征， 最后通过计算欧氏距离来确定当前位置。 0013 上述图像序列匹配中需要计算输入图像序列的特征向量与远程 PC5 的位置结构 模型库的第 n 个位置的图像序列的特征向量的相似度。 0014 上述第步中， 采用分层 L-K 光流算法对特征点进行跟踪， 对光流跟踪的结果采 用 RAN。
15、SAC 算法求得其单应性矩阵。 0015 本发明采用上述技术方案得到了以下的有益效果 ： 0016 (1) 本发明利用移动终端的摄像头自动采集图像， 利用混合现实技术， 在显示屏 上逼真显示用户在室内当前所处的位置及导航路径， 因此用户可以直观地获得导航路径指 引。 0017 (2) 本发明的室内导航方法由于对室内结构化程度、 导航范围大小不做任何要求， 仅依靠摄像头拍摄完成定位功能， 因此可为不熟悉地域的用户提供便捷、 经济的室内路径 导航服务。 0018 (3) 本发明采用不同光照条件的自适应阈值算法， 生成二值图像， 由于简化、 整合 了图 像中灰度值信息， 程序算法的计算量会大大降低，。
16、 更重要的是， 能提高后续图像匹配 的准确度， 而其余非标记图像使用最近时间的固定阈值分割图像， 可以降低系统计算量。 0019 (4) 本发明将利用色度特征来增强对适应光强的能力， 降低真彩色空间受色彩变 化的影响。 0020 (5) 由于根据算法的特征， 在不同的处理阶段选用不同的算法进行处理， 可以较好 地解决了跟踪过程的实时性与抖动问题。 0021 通过位置结构模型， 可使得在标记识别和图像序列匹配之后， 降低定位用户最终 位置的错误率， 确保定位精度的准确性 说 明 书 CN 103162682 A 4 3/6 页 5 附图说明 0022 图 1. 室内路径导航系统工作流程示意图 0。
17、023 图 2. 标记的可靠识别方法示意图 0024 图 3. 场景实时配准流程示意图 0025 0026 摄像头1 ； 显示屏2 ； 无线局域网3 ； 远程服务器4 ； 远程PC5 ； 有线网络6 ； 移动终端 7。 具体实施方式 0027 以下结合附图和具体实施例对本发明作进一步说明。 0028 本发明是一种基于单目视觉定位的、 依靠实时配准场景来完成虚拟导航信息的快 速跟踪和实时渲染室内路径的导航系统。 下面介绍室内路径导航系统的精确位置定位方法 及场景配置方法。 0029 本发明的室内路径导航系统网络拓扑结构的示意图。包括移动终端 7， 移动终端 7 包括移动摄像头 1 和显示屏 2，。
18、 无线局域网 3， 远程服务器 4， 远程 PC5， 远程 PC5 中设置有位 置结构模型库， 位置结构模型库中预先会收录该室内建筑里面位置结构特征的图片， 远程 PC5 之间通过有线网络 6 连接。 0030 首先， 用户在移动终端7中输入目的地 ； 移动终端7的摄像头1拍摄目前所处环境 的图像序列， 然后通过无线局域网 3 将图像序列传输到远程 PC5 上， 远程 PC5 根据收到的图 像序列计算出用户的当前位置， 其主要过程包括 ： 标记的可靠识别、 图像序列的匹配、 位置模型筛选 ： 0031 标记的可靠识别 0032 如图所示， 在定位过程中， 首先完成标记的可靠识别 ： 将输入的图。
19、像进行阈值分割 后 处理成二进制图像， 进而凸显目标标记。对上述标记 ( 如方块形图像 ) 进行特征提取， 得到二值图像中的所有方块， 进而与远程 PC5 中的位置结构模型库的结构特征配准。如果 能够达成配准， 即表示识别出了位置标记， 进而完成初步定位， 如果不能够达成配准， 则移 动装置的摄像头重新拍照， 形成新的图像犀利， 重新进行标记的可靠识别。 0033 其中， 阈值分割处理的效果取决于选定的图像阈值， 而图像的最优阈值主要受变 化的光照等因素的影响。为了获得更好的处理效果， 本发明采用不同光照条件的自适应阈 值算法， 生成二值图像， 每 1-10 秒执行一次或 64 帧执行一次， 。
20、1-10 秒内或 64 帧都使用前 一阈值， 至下一次再做分割， 得到新阈值， 以适应快速变化的照明条件。 由于简化、 整合了图 像中灰度值信息， 程序算法的计算量会大大降低， 更重要的是， 能提高后续图像匹配的准确 度， 而其余非标记图像使用最近时间的固定阈值分割图像， 可以降低系统计算量。 见图3， 原 始图像经自适应阈值算法处理后， 得到相应的二进制图像， 最终可靠地识别出标记。 0034 图像序列匹配 0035 如图1和图2所示， 初步定位后， 为达到本发明中最终定位的可靠性、 精确性要求， 首先进行图像序列的采集， 图像序列的采集是根据用户在室内行走时捕捉到的视频序列， 来构建图像序。
21、列库 ： 先按照 8-60 帧 / 秒的频率连续采样， 其中 12 帧 / 秒是最佳状态， 当低 说 明 书 CN 103162682 A 5 4/6 页 6 于 8 帧 / 秒时， 不能准确定位 ； 当高于 60 帧 / 秒时， 对载体数据处理能力要求较高， 再以 8 帧 / 秒构建图像序列库。每个被识别出的标记所在的图像序列都需要与远程 PC 的图像序 列库中的预存图像序列进行匹配。 0036 本发明的图像序列匹配方法步骤为 ： 首先进行直方图提取， 在每个方块标记区域 中， 提取图像 ； 然后进行直方图匹配， 将检测到方块的图像与预先保留的远程 PC5 的图像序 列库中的图像序列进行匹配。
22、， 如果匹配结果达标， 即确定了用户的准确位置。 这一匹配过程 与标记的可靠识别中的特征配准过程相似， 但结果要求更精确、 且尽量保证速度。 0037 本发明的捕捉到的图像信息受环境光、 相对运动等很多因素影响， 而且， 即使在相 同光照环境下， 捕捉的两幅图像的色彩信息也有可能不同。 那么， 由于真彩色空间易受色彩 变化的影响， 因此本发明将利用色度特征来增强对适应光强的能力。本发明将输入的 RGB 颜色空间转化成 HSI 颜色空间， 然后从 HSI 色彩空间中提取前五个 LAD 特征， 最后通过计算 欧氏距离来确定当前位置。因此， 本发明需要计算输入图像序列 (X) 的特征向量 (xi) 。
23、与远 程 PC5 的位置结构模型库的第 n 个位置的图像序列 (Yn) 的特征向量 (yi) 的相似度。其中， 以 12 帧 /s 的速度捕捉到的图像序列， 作为检索的图像序列库。 0038 位置模型筛选 0039 位置模型筛选方法 ： 以节点代表位置， 且每个节点都与邻近节点相互连接， 从而构 成用户的潜在路径。用户位置定位存在三种可能的情况 ： 1) 由标记识别和图像序列判定后 的输出结果一致 ； 2) 由标记识别和图像序列判定后的输出结果不一致 ； 3) 只由图像序列匹 配得到输出结果。在位置模型筛选过程中， 本发明的精确位置识别规则见表 1 ： 0040 表 1 精确位置识别规则 00。
24、41 说 明 书 CN 103162682 A 6 5/6 页 7 0042 在标记的可靠识别过程中， 远程 PC5 一旦检测到潜在标记， 根据预先定义的标记 信息， 定位用户当前所在位置 ； 在图像序列匹配过程中， 通过提取输入图像序列特征及预先 定义的图像序列特征， 综合分析、 计算、 输出当前用户位置信息 ； 在位置模型筛选中以节点 代表位置， 且每个节点都与邻近节点相互连接， 从而构成用户的潜在路径。 在以上三个步骤 过程中， 位置结构模型用于最终解析用户位置。 0043 用户位置确定后， 通过判断摄像头相对于真实世界的位置和姿态， 进而将虚拟场 景正确地叠加到真实世界的具体位置上， 。
25、从而使用户从感官上认为虚拟场景确实是真实世 界的一部分。 0044 见图 3， 本发明在场景实时配准过程中， 首先采用基于朴素贝叶斯分类的宽基线匹 配算法， 对于检测到的特征点， 如果能通过 RANSAC 算法建立单应性矩阵， 表明检测到该物 体， 则进入跟踪过程， 反之则仍处于检测过程。进入跟踪过程后， 采用基于角点与纹理的混 合跟踪 算法进行跟踪。首先， 用当前单应性矩阵计算特征点的坐标， 采用分层 L-K 光流算 法对特征点进行跟踪， 对光流跟踪的结果采用 RANSAC 算法求得其单应性矩阵 ； 然后， 再通 过鲁棒的 IC 算法对其优化， 根据优化结果判断跟踪过程是否成功。如果跟踪成功。
26、， 就保持 在跟踪过程中继续跟踪， 反之， 如果连续 30 帧算法不收敛， 则认为跟踪失败， 并返回到检测 过程。同时采用基于角点与纹理特征的混合跟踪算法进行实时跟踪， 可以较好地解决了跟 踪过程的实时性与抖动问题。 0045 最后， 如图 2 所示， 远程 PC5 将用户的位置信息通过远程服务器 4 反馈至移动终端 7的显示屏2上， 在显示屏2上标记出用户在室内地图上所处的位置， 本发明以OPENGL作为 说 明 书 CN 103162682 A 7 6/6 页 8 图形渲染引擎、 以OSG作为场景图形管理、 以OSGArt作为混合现实开发包， 将根据用户位置 和目的地解析得到的路径导航标记。
27、显示在移动终端 7 的显示屏 2 上， 实现将虚拟导航信息 无缝地叠加到移动终端7的显示屏2上， 通过实时场景配准技术， 无缝地叠加出混合现实的 导航路径。 0046 显然， 本领域的技术人员可以对本发明的室内路径导航方法进行各种改动、 而不 脱离本发明的范围和精神。 这样， 倘若本发明的这些修改属于本发明权利要求、 及其等同技 术的范围之内， 则本发明也意图包含这些改动在内。 说 明 书 CN 103162682 A 8 1/3 页 9 图 1 说 明 书 附 图 CN 103162682 A 9 2/3 页 10 图 2 说 明 书 附 图 CN 103162682 A 10 3/3 页 11 图 3 说 明 书 附 图 CN 103162682 A 11 。