《基于LADYBUG全景相机图像的360度全方位测距算法.pdf》由会员分享，可在线阅读，更多相关《基于LADYBUG全景相机图像的360度全方位测距算法.pdf（8页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103903263 A (43)申请公布日 2014.07.02 CN 103903263 A (21)申请号 201410114919.3 (22)申请日 2014.03.26 G06T 7/00(2006.01) (71)申请人 苏州科技学院 地址 215009 江苏省苏州市高新区科锐路 1 号 (72)发明人 胡伏原 吴宏杰 严蔚岚 翟金鑫 (74)专利代理机构 苏州慧通知识产权代理事务 所 ( 普通合伙 ) 32239 代理人 安纪平 (54) 发明名称 基于 Ladybug 全景相机图像的 360 度全方位 测距算法 (57) 摘要 本发明公开了一种基于 L。
2、adybug 全景相机图 像的 360 度全方位测距算法， 它涉及计算机视觉 领域中的图像测距技术领域。其方法步骤 ： 读入 Ladybug 相机采集的各镜头图像序列 ； 各相机分 别进行姿态估计 ； 在相邻两帧中分别选择两次待 测距离起点和终点 ； 计算起点和终点分别所属相 机索引号 ； 计算起点和终点的局部三维坐标 ； 局 部三维坐标转为统一坐标系下三维坐标 ； 计算统 一坐标系下起点和终点间虚拟距离 ； Xsense 获取 车载相机速度和加速度 ； 拟合两帧间车载相机间 距 ； 计算比例因子 ； 计算起点和终点间实际三维 空间距离。本发明能够实现起点和终点落入不同 相机下的距离测量， 进。
3、而实现 360 度测量任意一 段距离。 (51)Int.Cl. 权利要求书 2 页 说明书 4 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书4页 附图1页 (10)申请公布号 CN 103903263 A CN 103903263 A 1/2 页 2 1. 基于 Ladybug 全景相机图像的 360 度全方位测距算法， 其特征在于， 其方法步骤为 ： (1)、 读入Ladybug相机采集的各镜头图像序列 ： 在Ladybug相机采集过程中， 每个镜头 都会采集一系列序列图像 ； (2)、 各相机分别进行姿态估计 ： 在各相机的内参矩阵 。
4、K 已知的前提下， 利用 Bundle 对 各镜头序列图像进行相机姿态估计 ； (3)、 在相邻两帧中分别选择两次待测距离起点和终点 ： 在起始帧选择一次起点p0和终 点 q0， 在下一帧选择一次相同的起点 p1和相同的终点 q1： (4)、 计算起点和终点分别所属相机索引号 ： 根据 Ladybug 提供的 API 函数获取两次起 点所属的相机索引号 CamIdStart 和两次终点所属的相机索引号 CamIdEnd ； (5)、 计算起点和终点的局部三维坐标 ： 第 2 步获取了相机的内外参数， 根据三角测 量理论和 CamIdStart 号相机的内外参数计算 p0和 p1两图像点所对应的。
5、三维空间点坐标 Pstart； 同理计算出 q0和 q1两图像点所对应的三维空间点坐标 Qend； (6)、 局部三维坐标转为统一坐标系下三维坐标 ： 将第 5 步中的不同的坐标系下的三维 坐标 Pstart和 Qend转换到同一坐标系下 ； (7)、 计算统一坐标系下起点和终点间虚拟距离 ： 利用向量间欧式距离计算起点和终点 在统一坐标系下的间距 DisVir ； (8)、 Xsense 获取车载相机速度和加速度 ： 在车载 Ladybug 采集图像的同时， 硬件 Xsense 会实时记录车辆在采样点上的速度和加速度， 分别获取相邻两帧采样点的速度和加 速度 ： v0， a0， v1， a1。
6、； (9)、 拟合两帧间车载相机间距 ： 已知两点的速度和加速度 ： v0， a0， v2， a2， 利用四阶多项 式拟合相邻两帧采样点间的距离 DisGap ； (10)、 计算比例因子 ： 根据车辆在两采样点间实际间距 DisGap 和两点相机间变换关 系， 计算实际距离与虚拟三维距离间的比例因子 ； (11)、 计算起点和终点间实际三维空间距离 ： 根据比例因子 Scale 计算出起点和终点 间虚拟距离 DisVir 对应的实际空间距离 DisAct。 2. 根据权利要求 1 所述的基于 Ladybug 全景相机图像的 360 度全方位测距算法， 其 特征在于， 所述的步骤 (6) 的局。
7、部坐标系下坐标转为统一坐标系下坐标的具备步骤为 ： 在 Ladybug 全景相机里， 每个镜头相机定义了一个统一的全局坐标系， 每个局部相机坐标系与 Ladybug 全局坐标系间存在一个唯一的变换关系， 即矩阵 H， 该变换关系通过 Ladybug 提供 的 API 函数 ladybugGetCameraUnitExtrinsics() 获得 ； 设世界坐标系下某空间点 Q 在某局部相机坐标下坐标为 QLocal， 该局部相机坐标系与 Ladybug 全局坐标系间变换矩阵为 H， 该点在 Ladybug 全局坐标系下坐标为 QLadybug， 则它们 满足如下关系 ： QLadybug HQL。
8、ocal 公式 1 选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵R和平移向量T获 得， 设点 Q 是世界坐标系下某空间点， R 和 T 是某相机在世界坐标系下的位置姿态， QLocal, 为 该点 Q 在该相机坐标系下的坐标， 则关系如下 ： 公式 2 权 利 要 求 书 CN 103903263 A 2 2/2 页 3 根据公式 1 和公式 2H 口可将不同世界坐标系下的不同空间点表示到统一 Ladybug 全 局坐标系下。 3. 根据权利要求 1 所述的基于 Ladybug 全景相机图像的 360 度全方位测距算法， 其特 征在于， 所述步骤 (10) 中， 计算比例因子的公。
9、式为 ： Scale=DisGap DisGap 公式 3 其中， 在所述第 2 步的相机姿态估计中， 可计算同一索引号相机在相邻两帧中各自相 对世界坐标系的位置姿态， 则相邻两帧相机的平移向量间的欧式距离即为该索引号相机在 两帧处的虚拟间距 DisGap。 权 利 要 求 书 CN 103903263 A 3 1/4 页 4 基于 Ladybug 全景相机图像的 360 度全方位测距算法 技术领域 0001 本发明涉及计算机视觉领域中的图像测距技术领域， 具体涉及一种基于 Ladybug 全景相机图像的 360 度全方位测距算法。 背景技术 0002 图像测距技术涉及特征点检测与匹配、 摄像。
10、机标定和姿态估计、 将虚拟距离转换 为空间实际距离等技术。 0003 其中 “将虚拟距离转换为空间实际距离” 技术一般利用地面控制点实现， 本发明在 未知地面控制点的情况下， 利用 Xsense 数据计算出空间实际距离与虚拟距离间的比例因 子， 实现实际距离测量。 0004 传统的图像测量一般利用某个方向上的相机图像， 只能测量该方位上的实际距 离。 发明内容 0005 有鉴于现有技术的上述缺陷， 本发明提供一种基于 Ladybug 全景相机图像的 360 度全方位测距算法， 利用Ladybug全景相机360度全方位拍摄空间景物， 将各镜头的局部坐 标统一到 Ladybug 全局坐标系下， 实。
11、现起点和终点落入不同相机下的距离测量， 进而实现 360 度测量任意一段距离。 0006 为实现上述目的， 本发明提供了一种基于 Ladybug 全景相机图像的 360 度全方位 测距算法， 其特征在于， 其方法步骤为 ： 0007 (1)、 读入Ladybug相机采集的各镜头图像序列 ： 在Ladybug相机采集过程中， 每个 镜头都会采集一系列序列图像 ； 0008 (2)、 各相机分别进行姿态估计 ： 在各相机的内参矩阵 K 已知的前提下， 利用 Bundle 对各镜头序列图像进行相机姿态估计 ； 0009 (3)、 在相邻两帧中分别选择两次待测距离起点和终点 ： 在起始帧选择一次起点 。
12、p0 和终点 q0， 在下一帧选择一次相同的起点 p1和相同的终点 q1； 0010 (4)、 计算起点和终点分别所属相机索引号 ： 根据 Ladybug 提供的 API 函数获取两 次起点所属的相机索引号 CamIdStart 和两次终点所属的相机索引号 CamIdEnd ； 0011 (5)、 计算起点和终点的局部三维坐标 ： 第 2 步获取了相机的内外参数， 根据三角 测量理论和CamIdStart号相机的内外参数计算p0和p1两图像点所对应的三维空间点坐标 Pstart； 同理计算出 q0和 q1两图像点所对应的三维空间点坐标 Qend； 0012 (6)、 局部三维坐标转为统一坐标系。
13、下三维坐标 ： 将第 5 步中的不同的坐标系下的 三维坐标 Pstart和 Qend转换到同一坐标系下 ； 0013 (7)、 计算统一坐标系下起点和终点间虚拟距离 ： 利用向量间欧式距离计算起点和 终点在统一坐标系下的间距 DisVir ； 0014 (8)、 Xsense 获取车载相机速度和加速度 ： 在车载 Ladybug 采集图像的同时， 硬件 说 明 书 CN 103903263 A 4 2/4 页 5 Xsense 会实时记录车辆在采样点上的速度和加速度， 分别获取相邻两帧采样点的速度和加 速度 ： v0， a0， vi， a1； 0015 (9)、 拟合两帧间车载相机间距 ： 已。
14、知两点的速度和加速度 ： v0， a0， v2， a2， 利用四阶 多项式拟合相邻两帧采样点间的距离 DisGap ； 0016 (10)、 计算比例因子 ： 根据车辆在两采样点间实际间距 DisGap 和两点相机间变换 关系， 计算实际距离与虚拟三维距离间的比例因子 ； 0017 (11） 、 计算起点和终点间实际三维空间距离 ： 根据比例因子 Scale 计算出起点和 终点间虚拟距离 DisVir 对应的实际空间距离 DisAct。 0018 所述的步骤 (6) 的局部坐标系下坐标转为统一坐标系下坐标的具备步骤为 ： 在 Ladybug 全景相机里， 每个镜头相机定义了一个统一的全局坐标系。
15、， 每个局部相机坐标系与 Ladybug 全局坐标系间存在一个唯一的变换关系， 即矩阵 H， 该变换关系通过 Ladybug 提供 的 API 函数 1adybugGetCameraUnitExtrinsics() 获得 ； 0019 设世界坐标系下某空间点 Q 在某局部相机坐标下坐标为 QLocal， 该局部相机坐标系 与 Ladybug 全局坐标系间变换矩阵为 H， 该点在 Ladybug 全局坐标系下坐标为 QLadybug， 则它 们满足如下关系 ： 0020 QLadybug=HQLocal 公式 1 0021 选定的世界坐标系与镜头相机坐标系间的关系通过相机的旋转矩阵 R 和平移向。
16、 量 T 获得， 设点 Q 是世界坐标系下某空间点， R 和 T 是某相机在世界坐标系下的位置姿态， QLocal为该点 Q 在该相机坐标系下的坐标， 则关系如下 ： 0022 公式 2 0023 根据公式 1 和公式 2 即可将不同世界坐标系下的不同空间点表示到统一 Ladybug 全局坐标系下。 0024 所述步骤 (10) 中， 计算比例因子的公式为 ： 0025 Scale=DisGap DisGap 公式 3 0026 其中， 在所述第 2 步的相机姿态估计中， 可计算同一索引号相机在相邻两帧中各 自相对世界坐标系的位置姿态， 则相邻两帧相机的平移向量间的欧式距离即为该索引号相 机在。
17、两帧处的虚拟间距 DisGap。 0027 本发明的有益效果 ： 利用Ladybug全景相机360度全方位拍摄空间景物， 将各镜头 的局部坐标统一到 Ladybug 全局坐标系下， 实现起点和终点落入不同相机下的距离测量， 进而实现 360 度测量任意一段距离。 0028 以下将结合附图对本发明的构思、 具体结构及产生的技术效果作进一步说明， 以 充分地了解本发明的目的、 特征和效果。 附图说明 0029 图 1 为本发明的技术方案流程图 ； 0030 图 2 为本发明的各局部相机坐标系示意图 ； 0031 图 3 为本发明的 Ladybug 全局坐标系示意图。 说 明 书 CN 103903。
18、263 A 5 3/4 页 6 具体实施方式 0032 参照图 1-3， 本具体实施方式采用以下技术方案 ： 基于 Ladybug 全 景相机图像的 360 度全方位测距算法， 其方法步骤为 ： 0033 (1)、 读入Ladybug相机采集的各镜头图像序列 ： 在Ladybug相机采集过程中， 每个 镜头都会采集一系列序列图像 ； 0034 (2)、 各相机分别进行姿态估计 ： 在各相机的内参矩阵 K 已知的前提下， 利用 Bundle 对各镜头序列图像进行相机姿态估计 ( 获得相机的旋转矩阵 R 和平移向量 t) ； 0035 (3)、 在相邻两帧中分别选择两次待测距离起点和终点 ： 在起。
19、始帧选择一次起点 p0 和终点 q0， 在下一帧选择一次相同的起点 p1和相同的终点 q1： 0036 (4)、 计算起点和终点分别所属相机索引号 ： 根据 Ladybug 提供的 API 函数获取两 次起点所属的相机索引号 CamIdStart 和两次终点所属的相机索引号 CamIdEnd ； 0037 (5)、 计算起点和终点的局部三维坐标 ： 第 2 步获取了相机的内外参数， 根据三角 测量理论和CamIdStart号相机的内外参数计算p0和p1两图像点所对应的三维空间点坐标 Pstart； 同理计算出 q0和 q1两图像点所对应的三维空间点坐标 Qend； 0038 (6)、 局部三维。
20、坐标转为统一坐标系下三维坐标 ： 在第 5 步中， Pstart和 Qend是分别 在不同的坐标系下的三维坐标， 因此需要将其转换到同一坐标系下， 具体转换步骤如 “原理 说明” 部分 ； 0039 (7)、 计算统一坐标系下起点和终点间虚拟距离 ： 利用向量间欧式距离计算起点和 终点在统一坐标系下的间距 DisVir ； 0040 (8)、 Xsense 获取车载相机速度和加速度 ： 在车载 Ladybug 采集图像的同时， 硬件 Xsense 会实时记录车辆在采样点上的速度和加速度， 分别获取相邻两帧采样点的速度和加 速度 ： v0， a0， v1， a1； 0041 (9)、 拟合两帧间。
21、车载相机间距 ： 已知两点的速度和加速度 ： v0， a0， v2， a2， 利用四阶 多项式拟合相邻两帧采样点间的距离 DisGap ； 0042 (10)、 计算比例因子 ： 根据车辆在两采样点间实际间距 DisGap 和两点相机间变换 关系， 计算实际距离与虚拟三维距离间的比例因子 Scale， 详见 “原理说明” 部分 ； 0043 (11)、 计算起点和终点间实际三维空间距离 ： 根据比例因子 Scale 计算出起点和 终点间虚拟距离 DisVir 对应的实际空间距离 DisAct。 0044 1. 本具体实施方式的原理 ： 局部坐标系下坐标转为统一坐标系下坐标 ； 0045 在 “。
22、本方法的技术方案” 中， 每次对相机进行姿态估计时， 默认选定了一个世界坐 标系， 相机的旋转矩阵和平移向量均是在该世界坐标系中的表示， 第 5 步中计算得到的局 部三维坐标也是在该世界坐标系下的表示。因此， 在对不同索引号的相机进行姿态估计时 选择了不同的世界坐标系 ( 同一索引号相机在相邻两帧处选择的世界坐标系是相同的 )， 进而根据每个相机计算的三维坐标是在不同坐标系下的表示。 0046 而要计算起点和终点间的距离时， 起点和终点的三维坐标必须是在同一坐标系下 才可根据向量间欧式距离计算三维距离。 0047 在 Ladybug 全景相机里， 已经为每个镜头相机定义了一个统一的全局坐标系，。
23、 图 2 为 Ladybug 各镜头相机坐标系， 图 3 为 Ladybug 全局坐标系。 0048 每个局部相机坐标系与 Ladybug 全局坐标系间存在一个唯一的变换关系 ( 矩阵 说 明 书 CN 103903263 A 6 4/4 页 7 H)， 该变换关系可通过 Ladybug 提供的 API 函数 ladybugGetCameraUnitExtrinsics() 获 得。设世界坐标系下某空间点 Q 在某局部相机坐标下坐标为 QLocal， 该局部相机坐标系与 Ladybug 全局坐标系间变换矩阵为 H， 该点在 Ladybug 全局坐标系下坐标为 QLadybug， 则它们 满足如。
24、下关系 ： 0049 QLadybug=HQLocal 公式 1 0050 选定的世界坐标系与镜头相机坐标系间的关系可通过相机的旋转矩阵 R 和平移 向量T获得， 设点Q是世界坐标系下某空间点， R和T是某相机在世界坐标系下的位置姿态， QLocdl为该点 Q 在该相机坐标系下的坐标， 则关系如下 ： 0051 0052 公式 2 0053 根据公式 1 和公式 2 即可将不同世界坐标系下的不同空间点表示到统一 Ladybug 全局坐标系下。 0054 2. 计算比例因子 0055 本发明的具体实施方式， 第9步已经通过Xsense获取的速度和加速度拟合出了车 载Ladybug中同一索引号相机。
25、在相邻两帧间的实际距离DisGap。 在第2步的相机姿态估计 中， 可以计算同一索引号相机在相邻两帧中各自相对世界坐标系的位置姿态 ( 平移向量 T 同时表示相机光心在世界坐标系下的坐标 )， 则相邻两帧相机的平移向量间的欧式距离即 为该索引号相机在两帧处的虚拟间距 DisGap， 根据以下公式即可算出比例因子 Scale。 0056 Scale=DisGap DisGap 公式 3 0057 本具体实施方式利用 Ladybug 全景相机 360 度全方位拍摄空间景物， 将各镜头的 局部坐标统一到 Ladybug 全局坐标系下， 实现起点和终点落入不同相机下的距离测量， 进 而实现 360 度测量任意一段距离。 0058 以上详细描述了本发明的较佳具体实施例。应当理解， 本领域的普通技术人员无 需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此， 凡本技术领域中技术 人员依本发明的构思在现有技术的基础上通过逻辑分析、 推理或者有限的实验可以得到的 技术方案， 皆应在由权利要求书所确定的保护范围内。 说 明 书 CN 103903263 A 7 1/1 页 8 图 1 图 2 图 3 说 明 书 附 图 CN 103903263 A 8 。