《使用物体来对准和校准惯性导航系统.pdf》由会员分享,可在线阅读,更多相关《使用物体来对准和校准惯性导航系统.pdf(20页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 102834696 A (43)申请公布日 2012.12.19 CN 102834696 A *CN102834696A* (21)申请号 201180005698.0 (22)申请日 2011.01.18 12/689,085 2010.01.18 US G01C 21/16(2006.01) G01C 25/00(2006.01) G06T 7/00(2006.01) (71)申请人 高通股份有限公司 地址 美国加利福尼亚州 (72)发明人 G张 LJ盖林 (74)专利代理机构 上海专利商标事务所有限公 司 31100 代理人 李小芳 (54) 发明名称 使用物。
2、体来对准和校准惯性导航系统 (57) 摘要 使用从物体的图像获得的信息来执行惯性导 航系统的初始化。从该图像获得关于该物体在全 局参考系中的位置和取向信息以及关于相机相对 于该物体的位置和取向信息。确定关于相机在全 局参考系中的位置和取向信息、 连同惯性传感器 参考系与导航坐标系之间的变换矩阵。使用关于 相机的位置和取向信息、 该变换矩阵以及相机在 该物体被成像时的速度(即0)来初始化惯性导航 系统。使用初始化的数据以及来自惯性传感器的 测量, 可在导航期间更新移动平台的位置并在例 如数字地图上提供该位置。可使用从不同物体的 图像获得的信息来校正惯性导航误差。 (30)优先权数据 (85)PC。
3、T申请进入国家阶段日 2012.07.03 (86)PCT申请的申请数据 PCT/US2011/021577 2011.01.18 (87)PCT申请的公布数据 WO2011/088469 EN 2011.07.21 (51)Int.Cl. 权利要求书 4 页 说明书 8 页 附图 7 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 4 页 说明书 8 页 附图 7 页 1/4 页 2 1. 一种方法, 包括 : 保持移动平台固定同时用所述移动平台中的相机获取物体的图像, 所述移动平台具有 包括惯性传感器的惯性导航系统, 其中所述惯性传感器与所述相机之间的取向是已知。
4、的 ; 获得所述物体在全局参考系中的位置和取向信息 ; 从所述物体的所述图像估计所述相机相对于所述物体的位置和取向 ; 从所估计的所述相机相对于所述物体的位置和取向、 以及所获得的所述物体在所述全 局参考系中的位置和取向来确定在所述全局参考系中的相机位置和取向 ; 使用所确定的在所述全局参考系中的相机位置和取向以及所述惯性传感器与所述相 机之间的所述取向来确定导航坐标系与关于所述惯性导航系统的惯性传感器参考系之间 的变换矩阵 ; 将所述惯性导航系统的速度设置为 0 ; 将所述惯性导航系统的位置设置为所估计的所述相机在所述全局参考系中的位置 ; 将所述导航坐标系与所述惯性传感器参考系之间的所述变。
5、换矩阵设置为所确定的所 述导航坐标系与所述惯性传感器参考系之间的变换矩阵 ; 使用来自所述惯性传感器的测量、 所设置的变换矩阵、 所述惯性导航系统的所设置速 度和所设置位置来更新所述惯性导航系统的位置、 速度和取向 ; 以及 提供所述惯性导航系统的所述位置的经更新估计作为所述移动平台的位置。 2. 如权利要求 1 所述的方法, 其特征在于, 进一步包括 : 保持所述移动平台固定同时用所述移动平台中的所述相机获取一不同物体的图像 ; 获得所述不同物体在所述全局参考系中的位置和取向信息 ; 从所述不同物体的所述图像估计所述相机相对于所述不同物体的新位置和取向 ; 从所估计的所述相机相对于所述物体的。
6、新位置和取向、 以及所获得的所述不同物体在 所述全局参考系中的位置和取向来确定在所述全局参考系中的新的相机位置和取向 ; 以及 使用所确定的在所述全局参考系中的新的相机位置和 / 或取向中的至少一者来估计 和校正所述惯性导航系统的所述位置、 速度和取向中的误差以及所述惯性传感器的误差。 3. 如权利要求 2 所述的方法, 其特征在于, 所述惯性导航系统的所述位置、 速度和取向 中的误差以及所述惯性传感器的误差是使用卡尔曼滤波器来估计和校正的。 4. 如权利要求 1 所述的方法, 其特征在于, 确定导航坐标系与所述惯性传感器参考系 之间的变换矩阵包括 : 使用相机参考系与物体参考系之间的所确定的。
7、第一变换矩阵、 以及 所述全局参考系与所述物体参考系之间的第二变换矩阵。 5. 如权利要求 4 所述的方法, 其特征在于, 确定导航坐标系与所述惯性传感器参考系 之间的变换矩阵进一步包括 : 使用所述相机参考系与所述惯性传感器参考系之间的第三变 换矩阵。 6. 如权利要求 5 所述的方法, 其特征在于, 确定导航坐标系与惯性传感器参考系之间 的变换矩阵进一步包括 : 使用所述全局参考系与所述导航坐标系之间的第四变换矩阵。 7. 如权利要求 1 所述的方法, 其特征在于, 所述物体是数据码标记。 8. 如权利要求 1 所述的方法, 其特征在于, 所述物体是快速响应码。 9. 如权利要求 1 所述。
8、的方法, 其特征在于, 所述物体编码有统一资源标识符 (URI), 并 且其中获得关于所述物体的位置和取向信息包括 : 权 利 要 求 书 CN 102834696 A 2 2/4 页 3 解码所述物体以确定所述 URI ; 以及 使用所述 URI 来访问和下载关于所述物体的所述位置和取向信息。 10. 如权利要求 1 所述的方法, 其特征在于, 提供所述惯性导航系统的所述位置的经更 新估计作为所述移动平台的位置包括 : 在所述移动平台上的数字地图上显示所述经更新位 置。 11. 一种移动平台, 包括 : 可操作用于对物体成像的相机 ; 包括提供运动和旋转数据的惯性传感器的惯性导航系统 ; 连。
9、接到所述相机和所述惯性传感器的处理器 ; 连接到所述处理器的存储器 ; 以及 软件, 其保存在所述存储器中并在所述处理器中运行以使所述处理器 : 获得关于所述 物体在全局参考系中的位置和取向信息 ; 从由所述相机获取的所述物体的图像估计所述相 机相对于所述物体的位置和取向 ; 从所估计的位置和取向、 以及所获得的所述物体在所述 全局参考系中的位置和取向来确定在所述全局参考系中的相机位置和取向 ; 使用所确定的 在所述全局参考系中的相机位置和取向以及所述惯性传感器与所述相机之间的已知取向 来确定导航坐标系与关于所述惯性导航系统的惯性传感器参考系之间的变换矩阵 ; 将所述 惯性导航系统初始化为具有。
10、速度 0、 所确定的所述相机在所述全局参考系中的位置、 以及所 确定的所述导航坐标系与所述惯性传感器参考系之间的变换矩阵 ; 使用来自所述惯性传感 器的数据、 以及所述初始化的速度、 位置和变换矩阵来更新惯性导航系统位置 ; 以及提供经 更新的惯性导航系统位置作为所述移动平台的位置。 12. 如权利要求 11 所述的移动平台, 其特征在于, 所述软件使得所述处理器进一步使 所述处理器 : 获得关于一不同的被成像物体在所述全局参考系中的位置和取向信息 ; 从由 所述相机获取的图像估计所述相机相对于所述不同的被成像物体的新位置和取向 ; 从所估 计的新位置和取向、 以及所获得的所述不同的被成像物体。
11、在所述全局参考系中的位置和取 向来确定在所述全局参考系中的新的相机位置和取向 ; 以及使用所确定的在所述全局参考 系中的新的相机位置和取向中的至少一者来估计和校正所述惯性导航系统的所述位置、 速 度和取向中的误差以及所述惯性传感器的误差。 13. 如权利要求 11 所述的移动平台, 其特征在于, 进一步包括卡尔曼滤波器, 其中所述 卡尔曼滤波器使用所确定的在所述全局参考系中的新的相机位置和取向中的所述至少一 者来估计和校正所述惯性导航系统的所述位置、 速度和取向中的误差以及所述惯性传感器 的误差。 14. 如权利要求 11 所述的移动平台, 其特征在于, 所述软件使所述处理器确定相机参 考系与。
12、物体参考系之间的第一变换矩阵、 以及所述全局参考系与所述物体参考系之间的第 二变换矩阵, 从而确定所述导航坐标系与所述惯性传感器参考系之间的所述变换矩阵。 15. 如权利要求 14 所述的移动平台, 其特征在于, 所述软件进一步使所述处理器使用 所述相机参考系与所述惯性传感器参考系之间的第三变换矩阵来确定所述导航坐标系与 所述惯性传感器参考系之间的所述变换矩阵。 16. 如权利要求 15 所述的移动平台, 其特征在于, 所述软件进一步使所述处理器使用 所述全局参考系与所述导航坐标系之间的第四变换矩阵来确定所述导航坐标系与所述惯 权 利 要 求 书 CN 102834696 A 3 3/4 页 。
13、4 性传感器参考系之间的所述变换矩阵。 17. 如权利要求 11 所述的移动平台, 其特征在于, 进一步包括显示器, 其中保存在所述 存储器中并在所述处理器中运行的所述软件控制所述处理器在所述移动平台上显示所述 位置。 18. 如权利要求 11 所述的移动平台, 其特征在于, 进一步包括用于解码所述物体的物 体解码器, 所述解码器耦合到所述处理器, 其中所述处理器使用编码在所述物体中的统一 资源标识符 (URI) 来获得关于所述物体在全局参考系中的位置和取向信息。 19. 一种用于访问和更新关于移动平台的位置信息的系统, 包括 : 用于对物体成像的装置 ; 用于获得关于所述物体在全局参考系中的。
14、位置和取向信息的装置 ; 用于从所述物体的图像估计所述用于成像的装置相对于所述物体的位置和取向的装 置 ; 用于从所估计的位置和取向、 以及所获得的所述物体的位置和取向来确定所述用于成 像的装置在所述全局参考系中的位置和取向的装置 ; 用于感测所述移动平台的运动的装置 ; 用于使用所确定的所述用于成像的装置的位置和取向、 以及所述用于感测运动的装置 的系和所述用于成像的装置之间的已知取向来确定导航坐标系与所述用于感测运动的装 置的所述系之间的变换矩阵的装置 ; 用于将所述惯性导航系统初始化为具有速度 0、 所确定的所述用于成像的装置的位置、 以及所述导航坐标系与所述用于感测运动的装置的系之间的。
15、所确定的变换矩阵的装置 ; 用于使用来自所述用于感测运动的装置的数据、 所述初始化的速度、 位置和变换矩阵 来确定所述移动平台的位置、 速度和取向的装置 ; 以及 用于提供所述移动平台的所确定位置的装置。 20. 如权利要求 19 所述的系统, 其特征在于, 所述用于成像的装置对一不同物体成像 ; 所述用于获得位置和取向信息的装置获得关于所述不同物体在所述全局参考系中的位置 和取向信息 ; 所述用于估计所述用于成像的装置的位置和取向的装置估计所述用于成像的 装置的新位置和取向 ; 所述用于确定所述用于成像的装置在所述全局参考系中的位置和取 向的装置从所估计的新位置和取向、 以及所获得的所述不同。
16、物体的位置和取向来确定所述 用于成像的装置在所述全局参考系中的新位置和取向, 所述系统进一步包括 : 用于使用所述用于成像的装置的所确定的新位置和取向中的至少一者来校正所述移 动平台的所述位置、 速度和取向中的误差的装置。 21. 如权利要求 19 所述的系统, 其特征在于, 所述用于确定变换矩阵的装置使用所述 用于成像的装置的系与物体参考系之间的第一变换矩阵以及所述全局参考系与所述物体 参考系之间的第二变换矩阵。 22. 如权利要求 21 所述的系统, 其特征在于, 所述用于确定变换矩阵的装置进一步使 用所述用于成像的装置的所述系与所述用于感测运动的装置的所述系之间的第三变换矩 阵。 23.。
17、 如权利要求 22 所述的系统, 其特征在于, 所述用于确定变换矩阵的装置进一步使 用所述导航坐标系与所述全局参考系之间的第四变换矩阵。 权 利 要 求 书 CN 102834696 A 4 4/4 页 5 24. 如权利要求 19 所述的系统, 其特征在于, 所述用于提供所述移动平台的所确定位 置的装置包括用于在数字地图上显示所述所确定位置的装置。 25. 如权利要求 19 所述的系统, 其特征在于, 所述物体是数据码标记并且所述系统进 一步包括数据码标记读取器。 26. 如权利要求 19 所述的系统, 其特征在于, 所述用于获得关于所述物体在全局参考 系中的位置和取向信息的装置是所述移动平。
18、台中的 web 浏览器。 27. 一种包括其上存储的程序代码的计算机可读介质, 包括 : 用于解码和获得关于被成像的物体在全局参考系中的位置和取向信息的程序代码 ; 用于从所述物体的图像估计位置和取向的程序代码 ; 用于从所估计的位置和取向、 以及所获得的关于所述被成像的物体在所述全局参考系 中的位置和取向信息来确定在所述全局参考系中的位置和取向的程序代码 ; 用于使用所确定的在所述全局参考系中的位置和取向以及惯性导航系统的惯性传感 器的系与产生所述物体的所述图像的相机的系之间的已知取向来确定所述导航坐标系与 所述惯性传感器的系之间的变换矩阵的程序代码 ; 用于使用所确定的位置和取向、 所确定。
19、的变换矩阵以及速度 0 来初始化所述惯性导航 系统的程序代码 ; 用于使用所述初始化的位置、 变换矩阵、 速度以及来自所述惯性传感器的数据来确定 经更新位置的程序代码 ; 以及 用于提供所述经更新位置的程序代码。 28. 如权利要求 27 所述的包括其上存储的程序代码的计算机可读介质, 其特征在于, 进一步包括 : 用于使用所确定的位置以及从一不同物体的图像确定的新取向中的至少一者来校正 所述惯性导航系统的位置、 速度和取向中的误差以及所述惯性传感器的误差的程序代码。 权 利 要 求 书 CN 102834696 A 5 1/8 页 6 使用物体来对准和校准惯性导航系统 0001 背景 000。
20、2 在通信行业中, 关于诸如蜂窝或其他无线通信设备之类的移动站的准确的位置信 息正日渐盛行。全球定位系统 (GPS) 给出一种用来提供无线移动站位置确定的办法。GPS 用户可通过从环地轨道中的卫星飞行器 (SV) 得到的信息来推导包括三维位置、 速度和时 间在内的精确导航信息。从这些 SV 接收到的信号通常是相当微弱的。因此, 为了确定接收 机的位置, 该接收机必须充分灵敏才能捕获这些微弱信号并解读它们所代表的信息。 0003 目前的 GPS 接收机的一个限制在于, 它们的操作局限于其中有多颗卫星清楚地在 视野中而无障碍物并且良好质量的天线被正确地放置以接收此类信号的境况。由此, 这些 GPS。
21、 接收机在具有阻挡条件的区域中通常是不可使用的, 诸如在有显著的植物或建筑物阻 挡 ( 例如, 城市峡谷 ) 的区域中并且尤其是在建筑物内。 0004 概述 0005 移动平台上的惯性导航系统 (INS) 通过整合加速计和陀螺仪的测量来持续地计 算移动平台的位置、 取向和速度。 在INS能被用于计算该位置、 取向和速度之前, 该INS的位 置、 取向和速度必须被初始化。使用从物体的图像获得的信息来执行 INS 初始化。从该物 体的图像获得关于该物体相对于全局参考系或局部坐标系的位置和取向信息、 以及关于相 机相对于该物体的位置和取向信息。随后可确定相机在全局参考系中的位置和取向信息。 随后可从。
22、全局参考系中的相机位置和取向以及惯性传感器与相机之间的已知相对取向确 定惯性传感器参考系与全局参考系之间的变换矩阵或方向余弦矩阵。 随后可从惯性传感器 参考系与全局参考系之间的变换矩阵、 以及全局参考系与导航坐标系之间的变换矩阵确定 惯性传感器参考系与导航坐标系之间的变换矩阵。 随后可从惯性传感器参考系与导航坐标 系之间的变换矩阵演算出惯性传感器的取向。使用关于相机在全局参考系中的位置信息、 惯性传感器参考系与导航坐标系之间的变换矩阵、 以及相机在该物体被成像时的速度 ( 即 0) 来初始化惯性导航系统。使用初始化的数据连同来自惯性传感器的测量, 可在导航期间 更新移动平台的位置并在例如数字地。
23、图上提供该位置。 可使用从不同物体的图像获得的信 息来估计和校正惯性导航误差以及惯性传感器误差。 0006 附图简述 0007 图 1 解说了包括移动平台的系统的框图, 该移动平台使用从物体的图像获得的信 息来执行惯性导航系统初始化和校准。 0008 图 2 是数据码标记 ( 诸如快速响应码 ) 形式的物体的示例。 0009 图 3 是能够使用从物体的图像获得的信息进行导航的移动平台的框图。 0010 图 4 是示出使用从物体的图像获得的信息进行惯性导航的方法的流程图。 0011 图 5 解说了移动平台中的相机相对于物体的透视图。 0012 图 6 解说了移动平台中的相机相对于位于建筑物的入口。
24、处的物体的透视图。 0013 图 7 解说了移动平台中的相机连同惯性传感器的透视图。 0014 图 8 解说了惯性导航期间带有移动平台的位置信息的简单数字地图。 0015 图 9 是示出在导航期间使用物体的图像来校正 INS 误差的方法的流程图。 说 明 书 CN 102834696 A 6 2/8 页 7 0016 图 10 示意性地解说了使用来自被成像物体的信息来校正惯性导航中的误差的系 统。 0017 详细描述 0018 本文中描述的系统和方法使用物体的图像来确定位置和取向信息, 该位置和取向 信息随后可被用于初始化和校准惯性导航系统。 该系统可包括能够对诸如数据码标记之类 的物体成像、。
25、 并使用该物体的图像来确定位置和取向信息的移动平台。该位置和取向信息 随后可被移动平台用于初始化惯性导航系统的位置和取向。 可通过对不同物体成像并类似 地确定位置和取向信息来周期性地校正惯性导航系统的位置和取向。 0019 图 1 解说包括移动平台 100 的系统的框图, 移动平台 100 对物体 104 成像从而可 捕获关于物体 104 的位置和取向信息。关于物体 104 的位置和取向信息随后可被用于推导 关于移动平台 100 的位置和取向信息, 其可被用于导航。关于物体 104 的位置和取向信息 可相对于坐标系, 诸如局部坐标系或一般化的全局坐标系 ( 诸如与 GPS 联用的 WGS84 。
26、坐标 系), 这两者在本文中将一般地被称为全局参考系。 从物体的图像所捕获的信息还可以包括 例如导航指令、 局部环境的地图、 或任何其他合意信息。 0020 图 1 中所示的物体 104 可以是附连到移动平台 100 可访问的诸如建筑物的入口或 指示牌之类的位置或者其他可访问位置的物理标签。物体 104 可以是数据码标记, 诸如快 速响应 (QR) 码, 这是由日本公司 Denso-Wave 创生的矩阵码。若希望, 可以使用其他类型的 物体或者数据码标记, 诸如条形码或者机器可读的数据表示, 包括一维条形码或者诸如数 据矩阵码、 Semacode、 Maxicode、 Aztec 码之类的光学。
27、数据矩阵样式码。物体 104 可以编码 有具有例如统一资源标识符 (URI) 之类的超链接, 该超链接可由移动平台 100 用来访问存 储在服务器上且通过诸如因特网之类的网络106来访问的位置和取向信息108。 作为示例, 图 2 是 QR 码格式的编码有 URI“http:/” 的物体 104 的示例。如果物体 104 能够以充分密集的方式例如使用彩色 QR 码来编码信息, 那么物体 104 可被用来直接向 移动平台 100 传递位置和取向信息而无需使用超链接。 0021 如本文中所使用的, 移动平台是指诸如以下的设备 : 蜂窝或其他无线通信设备、 个 人通信系统 (PCS) 设备、 个人导。
28、航设备、 个人信息管理器 (PIM)、 个人数字助理 (PDA)、 膝上 型电脑或能够捕捉图像并使用内置传感器 ( 包括但不限于加速计、 磁力计、 陀螺仪和压力 传感器 ) 来导航的其他合适移动设备。在物体 104 编码有 URI 或另行需要访问无线网络的 场合, 移动平台 100 应当能够发送和接收无线通信。术语 “移动平台” 还旨在包括诸如藉由 短程无线、 红外、 有线连接、 或其他连接与个人导航设备 (PND) 通信的设备, 不管卫星信号 接收、 辅助数据接收、 和 / 或位置有关处理是发生在该设备处还是在 PND 处。而且,“移动平 台” 旨在包括所有能够与服务器通信 ( 诸如经由因特。
29、网、 Wi-Fi、 或其他网络 ) 的设备, 包括 无线通信设备、 计算机、 膝上型设备等, 而不管卫星信号接收、 辅助数据接收、 和 / 或位置有 关处理是发生在该设备处、 服务器处、 还是与网络相关联的另一设备处。 以上的任何可操作 的组合也被认为是 “移动平台” 。 0022 移动平台 100 可协同诸如无线广域网 (WWAN)、 无线局域网 (WLAN)、 无线个域网 (WPAN) 等包括蜂窝塔和来自无线通信接入点的各种无线通信网络来实现。术语 “网络” 和 “系统” 往往被可互换地使用。WWAN 可以是码分多址 (CDMA) 网络、 时分多址 (TDMA) 网络、 频分多址 (FDM。
30、A) 网络、 正交频分多址 (OFDMA) 网络、 单载波频分多址 (SC-FDMA) 网络、 长期 说 明 书 CN 102834696 A 7 3/8 页 8 演进 (LTE) 等等。CDMA 网络可实现诸如 cdma2000、 宽带 CDMA(W-CDMA) 等一种或更多种无 线电接入技术 (RAT)。Cdma2000 包括 IS-95、 IS-2000 和 IS-856 标准。TDMA 网络可实现全 球移动通信系统 (GSM)、 数字高级移动电话系统 (D-AMPS)、 或其他某种 RAT。GSM 和 W-CDMA 在来自名为 “第三代伙伴项目” (3GPP) 的集团的文献中描述。Cd。
31、ma2000 在来自名为 “第三 代伙伴项目 2” (3GPP2) 的集团的文献中描述。3GPP 和 3GPP2 文献是公众可获取的。WLAN 可以是 IEEE 802.11x 网络, 并且 WPAN 可以是蓝牙网络、 IEEE 802.15x、 或其他某种类型的 网络。这些技术也可联合 WWAN、 WLAN 和 / 或 WPAN 的任何组合来实现。 0023 移动平台 100 还可以能够使用卫星定位系统 (SPS) 进行位置确定, SPS 可包括一 个或更多个全球和 / 或地区性导航卫星系统和 / 或扩增系统的任何组合, 且 SPS 信号可包 括 SPS、 类 SPS 和 / 或与这样的一个。
32、或更多个 SPS 相关联的其他信号。例如, 移动平台 100 可以能够使用诸如全球定位系统(GPS)、 Galileo、 Glonass或Compass之类的全球导航卫星 系统 (GNSS), 或诸如日本上空的准天顶卫星系统 (QZSS)、 印度上空的印度地区性导航卫星 系统 (IRNSS)、 中国上空的北斗之类的各种地区性系统, 和 / 或可与一个或多个全球和 / 或 地区性导航卫星系统相关联或以其他方式能与之联用的各种扩增系统 ( 例如, 基于卫星的 扩增系统 (SBAS) 来进行位置确定。 0024 如果移动平台不具有 SPS 能力或者如果 SPS 系统是不活跃的或者处于 SPS 可能不。
33、 胜任的位置中, 例如在遭受阻挡状况的位置中, 那么如本文中所描述地使用诸如数据码标 记之类的物体来捕获移动平台的位置和取向信息可能是有利的。在移动平台中的 SPS 接收 机难以捕获和 / 或跟踪来自 SPS 卫星的 SPS 信号的情况下, 阻挡状况可能存在。例如, 阻挡 状况可能存在于室内环境、 城市峡谷环境、 以及具有诸如植物和干扰拓扑之类的自然障碍 物的某些室外环境中。 0025 不用 SPS 的或阻挡状况下的导航提出了两个有关问题 : 保持准确的位置感以及能 访问关于该拓扑的局部信息。相对难以替代其他技术会妨碍不具有 SPS 的益处的导航。例 如, 无线接入点的历书能够供应一些数据, 。
34、但是编译这些数据可能是昂贵的并且适用于局 部区域的历书数据的源可能对于移动平台的用户而言不是显而易见的。 另一示例是可基于 通过航位推算的运动跟踪来提供信息的惯性传感器, 但是经由惯性传感器的导航往往随时 间推移而积聚误差。 这些技术可以受益于访问将位置信息与具体位置相关联的信息以及受 益于访问将位置与有关的历书数据或可用的地图相关联的信息。 0026 图 3 是能够使用从 ( 图 1 的 ) 物体 104 的图像获得的信息进行导航的移动平台 100的框图。 如图所示, 移动平台100包括用于对物体104成像的装置, 诸如相机120。 相机 120可以是诸如典型地例如设在蜂窝电话或类似物中的常。
35、规相机。 相机120被校准, 以使得 诸如焦距、 光心移位、 径向畸变以及切向畸变等相机参数是已知的。相机 120 与移动平台控 制 130 单元通信。移动平台控制 130 由处理器 132 以及相关联的存储器 134、 硬件 136、 软 件 138 和固件 140 来提供。将理解, 如本文中所使用的, 处理器能够但不一定需要包括一个 或更多个微处理器、 嵌入式处理器、 控制器、 专用集成电路 (ASIC)、 数字信号处理器 (DSP)、 及类似物。术语处理器意在描述由系统实现的功能而非专用硬件。此外, 如本文所使用的 术语 “存储器” 是指任何类型的计算机存储介质, 包括与移动平台相关联的。
36、长期、 短期、 或其 它存储器, 且并不被限定于任何特定类型的存储器或特定数目的存储器、 或记忆存储在其 上的介质的类型。 说 明 书 CN 102834696 A 8 4/8 页 9 0027 由相机 120 产生的物体 104 的图像可被存储在存储器 134 中, 并且移动平台 100 包括用于读取和解码物体 104 中所编码的信息的装置。例如, 移动平台控制 130 可包括读 取器 142, 其可以是存储在存储器 134 中的合适的数据码标记读取软件, 或者包括例如硬件 或固件的专用读取器, 其从物体 104 提取编码数据并将所提取的数据提供给移动平台控制 130。 0028 移动平台 。
37、100 包括用于获得与该物体相对于全局参考系的位置和取向有关的信 息的装置。 作为示例, 若物体104足够密集以编码该信息, 则移动平台100可使用读取器142 直接从物体 104 的图像获得该位置和取向信息。然而, 在位置和取向信息没有编码在该物 体本身中的场合, 移动平台 100 将不得不从另一源获得此信息。因此, 例如, 从物体 104 提 取的编码数据可指导移动平台控制 130 访问网络 106( 图 1), 且具体而言, 访问包含所链接 的位置和取向信息 108( 例如, 物体 104 的位置和取向 ) 以及其他合意信息 ( 诸如数字局部 地图 ) 的服务器。移动平台 100 可例如。
38、通过能够经由无线接入点连接到网络的无线网络无 线电收发机 150 来访问网络 106。收发机 150 可连接到诸如无线广域网 (WWAN)、 无线局域 网 (WLAN) 或任何其他合适的协议之类的无线网络。 0029 作为示例, 若物体 104 中编码的数据包括关键字 http:/, 则移动平台控制 130 可 启动移动平台100上的浏览器144并将该浏览器引导至所编码的URI。 移动平台控制器130 随后可下载位置和取向信息108, 包括物体104相对于全局参考系的位置和取向信息。 也可 下载附加信息, 诸如将由移动平台100在移动平台100的用户接口160中的视觉显示器162 上显示的局部。
39、环境的数字地图。在移动平台 100 为蜂窝电话时, 用户接口 160 还可包括诸 如按键板 164、 话筒 166 和扬声器 168 之类的特征。 0030 移动平台 100 还包括惯性导航系统 (INS), 其包括用于感测运动 ( 例如, 移动平台 100 的位置或取向改变 ) 的装置。例如, 惯性传感器 170 可被用于向移动平台控制 130 提供 关于移动平台 100 的运动方向和幅度的数据。可与移动平台 100 联用的惯性传感器 170 的 示例包括加速计、 磁力计、 陀螺仪以及压力传感器。惯性传感器 170 相对于相机 120 的取向 是固定的并且是通过校准来确定的。换言之, 相机 。
40、120 的参考系与惯性传感器 170 的参考 系之间的变换矩阵是已知的。 0031 移动平台100还可包括被用于存储和更新移动平台100的位置和取向的位置数据 库 148。在移动平台控制 130 经由惯性传感器 170 确定移动平台 100 的位置和 / 或取向改 变时, 用新的位置和取向信息来更新位置数据库148。 随后可例如通过在显示器162上显示 带有新位置的数字地图或通过在显示器上和/或经由扬声器168提供附加导航指令来提供 经更新的位置和取向信息。 0032 移动平台 100 还包括用于基于由相机 120 产生的物体 104 的图像来估计相机 120 相对于物体 104 的位置和取向。
41、的装置。例如, 移动平台 100 可包括位置引擎 146, 其可以是 存储在存储器 134 中的合适软件或专用硬件或固件。位置引擎 146 基于物体 104 的二维图 像使用诸如焦距之类的已知相机参数、 以及图像中的已知特征点来确定相机 120 的位置, 图像中的已知特征点可具有标准配置并且因此是已知的、 或者可随位置和取向信息 108 一 起被下载。例如, 参照图 2 中物体 104 的图像, 特征点 104a、 104b、 104c 和 104d 可被位置引 擎 146 标识并被用于确定相机相对于物体 104 的位置和取向, 而特征点 104a、 104b、 104c 和 104d 之间的。
42、信息可以是编码数据。基于物体 104 的图像中的 4 个或更多个特征点, 位置引 说 明 书 CN 102834696 A 9 5/8 页 10 擎 146 可例如使用单应性变换来估计相机相对于该物体的位置和取向。单应性是平坦物体 的点到相机的图像的投影映射。 0033 移动平台 100 进一步包括用于使用所估计的相机 120 相对于物体 104 的位置和取 向、 以及所获得的关于物体 104 的位置和取向信息来确定相机 120 在全局参考系中的位置 和取向的装置。相机 120 相对于全局参考系的位置和取向可例如由位置引擎 146 确定。移 动平台还可包括用于确定惯性传感器 170 相对于导航。
43、坐标系的取向的装置, 其可以是例如 位置引擎 146。使用所确定的相机 120 在全局参考系中的位置和取向、 所确定的惯性传感 器170相对于导航坐标系的取向、 以及相机120在对物体104成像时的速度(可假定为0), INS 可被初始化。经初始化的数据随后可连同来自惯性传感器 170 的测量一起被用于更新 移动平台 100 的位置。此外, 如将讨论的, 附加物体可按类似方式被成像和分析以校正移动 平台 100 的惯性导航中的误差。 0034 本文中所描述的方法体系取决于应用可藉由各种手段来实现。例如, 这些方法 体系可在硬件 136、 软件 138、 固件 140、 或其任何组合中实现。对于。
44、硬件实现, 这些处理单 元可以在一个或更多个专用集成电路 (ASIC)、 数字信号处理器 (DSP)、 数字信号处理器件 (DSPD)、 可编程逻辑器件 (PLD)、 现场可编程门阵列 (FPGA)、 处理器、 控制器、 微控制器、 微 处理器、 电子器件、 设计成执行本文中所描述功能的其他电子单元、 或其组合内实现。 0035 对于固件和 / 或软件实现, 这些方法体系可用执行本文中描述的功能的模块 ( 例 如, 规程、 函数等等 ) 来实现。任何有形地实施指令的机器可读介质可被用来实现本文中所 描述的方法体系。存储器可以实现在处理单元内部或处理单元外部。如本文所使用的, 术 语 “存储器”。
45、 是指任何类型的长期、 短期、 易失性、 非易失性、 或其他存储器, 且并不限于任何 特定类型的存储器或特定数目的存储器、 或记忆存储在其上的介质的类型。 0036 例如, 软件 138 代码可被存储在存储器 134 中并由处理器 132 执行, 并且可被用来 运行该处理器以及如本文中所描述地控制移动平台 100 的操作。例如, 存储在诸如存储器 134 之类的计算机可读介质中的程序代码可包括用于解码由相机 120 成像的物体、 获得关 于该物体的位置和取向信息、 估计相机相对于该物体的位置、 确定相对于全局参考系的相 机位置和取向、 以及确定惯性传感器相对于导航坐标系的取向的程序代码。存储在。
46、计算机 可读介质中的程序代码可进一步包括用于使用所确定的相机位置和取向、 连同来自惯性传 感器的测量来更新移动平台的位置和取向信息以及提供经更新的位置和取向信息的程序 代码。 0037 如果以固件和 / 或软件实现, 则各功能可作为一条或更多条指令或代码存储在 计算机可读介质上。示例包括编码成具有数据结构的计算机可读介质和编码成具有计算 机程序的计算机可读介质。计算机可读介质包括物理计算机存储介质。存储介质可以是 能被计算机访问的任何可用介质。作为示例而非限定, 此类计算机可读介质可包括 RAM、 ROM、 EEPROM、 CD-ROM 或其他光盘存储、 磁盘存储或其他磁存储设备、 或能被用来。
47、存储指令 或数据结构形式的合意程序代码且能被计算机访问的任何其他介质 ; 如本文中所使用的盘 (disk)和碟(disc)包括压缩碟(CD)、 激光碟、 光碟、 数字多用碟(DVD)、 软盘和蓝光碟, 其中 盘常常磁学地再现数据, 而碟用激光光学地再现数据。上述的组合也应被包括在计算机可 读介质的范围内。 0038 图 4 是示出在惯性导航中使用物体 104 的图像的方法的流程图。如图所示, 诸如 说 明 书 CN 102834696 A 10 6/8 页 11 数据码标记之类的物体 104 被移动平台 100 成像 (202)。作为示例, 移动平台 100 中的相 机120可捕捉位于诸如医院。
48、、 博物馆、 购物中心等建筑物的入口或指示牌处的物体104的图 像。移动平台控制 130 处理该图像以解码物体 104。使用来自物体 104 的图像的经解码数 据, 可获得位置和取向信息, 包括物体104相对于全局参考系的位置和取向(204)。 例如, 编 码在物体 104 中的 URI 可被用于经由无线网络访问和下载位置和取向信息。该位置和取向 信息还可包括附加信息, 诸如局部环境的数字地图。替换地, 例如若物体 104 可以充分密集 的方式被编码, 则经解码数据可包括关于物体 104 的位置和取向信息。 0039 使用物体 104 的图像来估计相机 120 相对于物体 104 的位置和取向。
49、 (206)。作为 示例, 图5解说了带有相机120的移动平台100相对于物体104的透视图。 使用物体104的 图像、 已知相机参数(诸如焦距)、 以及物体104上的已知特征点, 可确定相机120相对于物 体 104 的位置和取向。例如, 参照图 2 中物体 104 的图像, 特征点 104a、 104b、 104c 和 104d 可从图像被标识并被用于使用单应性变换来确定相机相对于物体 104 的位置和取向。单应 性是平坦物体的点到相机的图像的投影映射。 特征点104a、 104b、 104c和104d之间的距离、 以及其取向可使用物体 104 中编码的数据例如通过访问无线网络来获得, 或者该信息可编 码在该物体中。替换地, 可使用关于该物体中的特征点的标准化配置。有了已知相机参数 和物体 104 上的特征点, 可确定与物体 104 中心的相对距离 D、 以及在由 Z物体和 Y物体定义的 平面中与法向矢量 Z物体的方位角 、 以及仰角 , 如图 5 中所示。 0040 使用所估计的相机 120 相对于物体 104 的位置和取向、 以及所获得的物体 104 相 对于全局参考系的。