《基于泰勒级数模型的鱼眼相机立体视觉深度测量方法.pdf》由会员分享，可在线阅读，更多相关《基于泰勒级数模型的鱼眼相机立体视觉深度测量方法.pdf（10页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102005039 A (43)申请公布日 2011.04.06 CN 102005039 A *CN102005039A* (21)申请号 201010265166.8 (22)申请日 2010.08.24 G06T 7/00(2006.01) (71)申请人 浙江大学 地址 310027 浙江省杭州市西湖区浙大路 38 号 (72)发明人 杜歆 王迅 (74)专利代理机构 杭州求是专利事务所有限公 司 33200 代理人 林怀禹 (54) 发明名称 基于泰勒级数模型的鱼眼相机立体视觉深度 测量方法 (57) 摘要 本发明公开了一种基于泰勒级数模型的鱼眼 相机立体视。
2、觉深度测量方法。首先利用泰勒级数 模型对鱼眼立体视觉相机进行标定，得到了三维 空间点到二维图像点的映射关系以及左右二个鱼 眼立体相机之间的位置关系，即鱼眼立体视觉相 机的内参数和外参数。 在此基础上，进行了球 面极线校正，使同一个三维空间点在校正后的左 右图像上位于同一行。最后，通过立体匹配在左 右图像上求得对应点的匹配关系，进而计算出所 对应的三维空间点的深度信息。本发明的优点在 于 ：基于泰勒级数模型的建模方法对鱼眼相机 可以达到较高的建模精度，而基于球面极线校正 方法可以在保证校正精度的条件下有效地降低计 算复杂度。 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)。
3、发明专利申请 权利要求书 2 页 说明书 5 页 附图 2 页 CN 102005052 A1/2 页 2 1. 一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法， 其特征在于， 该方法的 步骤如下 ： 1) 对鱼眼立体相机进行基于泰勒级数模型的标定， 得到鱼眼立体相机的内参数和外参 数 ； 2) 对鱼眼立体相机所拍摄的左右图像进行球面极线校正， 使同一个三维空间点在校正 后的左右图像上位于同一行 ； 3) 对校正后的左右图像进行立体匹配， 得到匹配点的对应关系 ； 4) 根据立体匹配结果及鱼眼立体相机的内参数和外参数， 计算出三维场景点的深度信 息。 2. 根据权利要求 1 所述的一种基于。
4、泰勒级数模型的鱼眼相机立体视觉深度测量方法， 其特征在于， 所述的对鱼眼立体相机所拍摄的左右图像进行球面极线校正， 是对左图像 IL 和右图像 IR分别进行旋转， 得到二幅在虚拟立体相机下的左图像 IL和右图像 IR， 满足 同一个三维空间点在这二幅虚拟立体相机图像上位于图像坐标的同一行这一性质 ； 具体的 校正步骤如下 ： 1) 对于虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 对应着一组角度 (， )， 该组角度表示了对应虚拟立体相机坐标系下的一个方向， 这种对应关系表述为 ： f(y) 和 f(x) ； 2) 映射函数 f、 f的选取上， 采用平均分布， 将按照图。
5、像的宽 W 和高 H 等间隔 地分布， 即及， 其中 3) 将虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 定义变换 XV TV(xV) 将该点映射到虚拟立体相机坐标系下的方向矢量 4) 计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系， 将虚拟立体相 机坐标系下点投影到真实的鱼眼立体相机坐标系下 ； 5) 根据泰勒级数模型的标定参数， 将真实的鱼眼相机坐标系下的点投影到鱼眼图像 ； 6) 通过上述变换， 将虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 最 终投影到真实的鱼眼图像上， 如投影点不位于整数像素坐标， 则通过双线性图像插值来。
6、求 得 xV的像素值。 3. 根据权利要求 1 所述的一种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法， 其特征在于， 所述的根据立体匹配结果及鱼眼立体相机的内参数和外参数， 计算出三维场 景点的深度信息的步骤如下 ： 1) 根据立体匹配结果， 得到左虚拟相机图像上的点和右虚拟相机图像上的点之间 的对应关系 ； 2)根据权利要求2的步骤1)2)， 分别求得和对应的角度(L， )和(R， )， 经过校正后的左右虚拟立体相机图像的 角相等 ； 权 利 要 求 书 CN 102005039 A CN 102005052 A2/2 页 3 3) 计算三维场景点的深度信息其中 B 为鱼眼立体相机 的基。
7、线长度。 权 利 要 求 书 CN 102005039 A CN 102005052 A1/5 页 4 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法 技术领域 0001 本发明涉及利用鱼眼相机进行深度测量的计算机视觉方法， 具体来说， 涉及一种 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法。 背景技术 0002 与普通相机的视场角相比， 超广角的鱼眼相机可以获取大范围的场景信息， 由其 构成的立体视觉系统可以对大范围内的场景进行深度测量， 受到了人们的广泛重视。以 机器人导航的应用为例 ： 1997 年， 喷气推进实验室 (JPL) 为新一代火星车研制了超大视场 ( 水平视场为 140 )。
8、 双目立体视觉障碍物检测系统， 该系统可以恢复场景的稠密深度图。 2004 年成功登陆火星的机器人 “勇气号” 和 “机遇号” 也都在其车体前后各安装了一套大视 场 (127 127 ) 的立体视觉避障摄像机 (Hazard Avoidance Cameras)， 主要功能是障 碍物检测。大视场深度信息的获取对于提高机器人对环境的感知能力是十分重要的。 0003 从视觉传感器的选择与配置角度分析， 目前大视场图像的获取方法主要有三种 ： 单摄像机旋转成像或多摄像机成像、 鱼眼镜头成像、 折反射系统全向成像。 0004 单摄像机旋转成像耗时长， 无法做到实时测量。 多摄像机成像系统结构复杂， 而。
9、折 反射系统由反射镜和成像相机构成， 通常不是一种全固态结构。 因此就实用性而言， 鱼眼镜 头具有明显的优势。 0005 鱼眼镜头具有很短的焦距(通常f3mm)， 可观测到接近半球面内的物体， 视场角 可大于180。 但缺点是存在较大的畸变， 且其畸变模型不再符合透视投影条件。 随着视场 的扩大， 视场角变弯， 物象对应关系复杂， 补偿困难。因此对鱼眼镜头的建模和精确标定是 目前研究的一个热点问题。 0006 从鱼眼镜头的建模方法看， 目前主要有二类方法 ： 各种独立建模方法和全景成 像统一模型， 其中各种独立建模方法包括， 根据镜头确切设计而采用的投影模型， 包括 stereographic。
10、 projection、 equidistance projection、 equisolid angle projection、 orthogonal projection 等模型 ； 以及用通用模型对不同种类的鱼眼镜头进行建模。在通 用模型的鱼眼建模方法中， Scaramuzza 提出的基于泰勒级数模型的全向视觉传感器建模和 标定方法， 以其较高的建模精度和对各种镜头的广泛适用性， 得到了学者们的关注。 发明内容 0007 本发明的目的在于采用二个视野范围可大于 180的鱼眼镜头组成双目立体视觉 系统， 在泰勒级数模型下通过摄像机标定、 立体图像进行球面极线校正、 深度求取等步骤， 提出一。
11、种基于泰勒级数模型的鱼眼相机立体视觉深度测量方法。 0008 本发明解决其技术问题所采用的技术方案的步骤如下 ： 0009 1) 对鱼眼立体相机进行基于泰勒级数模型的标定， 得到鱼眼立体相机的内参数和 外参数 ； 0010 2) 对鱼眼立体相机所拍摄的左右图像进行球面极线校正， 使同一个三维空间点在 说 明 书 CN 102005039 A CN 102005052 A2/5 页 5 校正后的左右图像上位于同一行 ； 0011 3) 对校正后的左右图像进行立体匹配， 得到匹配点的对应关系 ； 0012 4) 根据立体匹配结果及鱼眼立体相机的内参数和外参数， 计算出三维场景点的深 度信息。 00。
12、13 所述的对鱼眼立体相机所拍摄的左右图像进行球面极线校正， 是对左图像 IL和右 图像 IR分别进行旋转， 得到二幅在虚拟立体相机下的左图像 IL和右图像 IR， 满足同一 个三维空间点在这二幅虚拟立体相机图像上位于图像坐标的同一行这一性质 ； 具体的校正 步骤如下 ： 0014 1) 对于虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 对应着一组 角度 (， )， 该组角度表示了对应虚拟立体相机坐标系下的一个方向， 这种对应关系表述 为 ： f(y) 和 f(x) ； 0015 2) 映射函数 f、 f的选取上， 采用平均分布， 将按照图像的宽 W 和高 H 等 间隔。
13、地分布， 即及， 其中 0016 3)将虚拟立体相机的图像IL和IR中的的每个像点xV(x， y)， 定义变换XV TV(xV) 将该点映射到虚拟立体相机坐标系下的方向矢量 0017 0018 4) 计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系， 将虚拟立 体相机坐标系下点投影到真实的鱼眼立体相机坐标系下 ； 0019 5) 根据泰勒级数模型的标定参数， 将真实的鱼眼相机坐标系下的点投影到鱼眼图 像 ； 0020 6) 通过上述变换， 将虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 最终投影到真实的鱼眼图像上， 如投影点不位于整数像素坐标， 则通过双线性图。
14、像插值 来求得 xV的像素值。 0021 所述的根据立体匹配结果及鱼眼立体相机的内参数和外参数， 计算出三维场景点 的深度信息的步骤如下 ： 0022 1) 根据立体匹配结果， 得到左虚拟相机图像上的点和右虚拟相机图像上的点 之间的对应关系 ； 0023 2)根据权利要求2的步骤1)2)， 分别求得和对应的角度(L， )和(R， )， 经过校正后的左右虚拟立体相机图像的 角相等 ； 0024 3) 计算三维场景点的深度信息其中 B 为鱼眼立体 相机的基线长度。 0025 本发明具有的有益效果是 ： 0026 1) 基于泰勒级数模型的建模方法对鱼眼相机可以达到较高的建模精度。 说 明 书 CN 。
15、102005039 A CN 102005052 A3/5 页 6 0027 2) 基于球面极线校正方法原理简单， 易于实现， 可以在保证校正精度的条件下有 效地降低计算复杂度。 附图说明 0028 图 1 是本发明方法的流程图。 0029 图 2 是本发明方法中原始鱼眼相机坐标系和虚拟立体相机坐标系旋转示意图。 0030 图 3 是本发明中校正后的虚拟图像。 0031 图 4 是本发明中虚拟立体相机坐标系说明。 0032 图 5 是本发明中深度信息计算原理图。 具体实施方式 0033 下面结合附图和具体实施方式对本发明作进一步详细描述。 0034 如图 1 所示， 给出了依照本发明进行泰勒级。
16、数模型的超广角鱼眼相机立体视觉方 法深度计算的流程图。 0035 如图1所示， 在步骤101中， 利用泰勒级数模型对超广角鱼眼立体相机进行内参和 外参的标定。 0036 通过基于泰勒级数模型的标定， 可以获得的相机内参数有 ： 0037 1) 泰勒级数系数 ： a0， a1， .,aN 0038 2) 仿射变换系数 ： c， d， e 0039 3) 主点坐标 ： (xc， yc) 0040 同时得到了左右鱼眼立体相机的外参数 ： Rl、 tl和 Rr、 tr。根据此外参数， 可以求得 左右鱼眼立体相机相对的外参数， 即旋转矩阵和平移向量 0041 关于泰勒级数模型的标定方法可参考文献1 ： 。
17、D.Scaramuzza， A Toolbox for Easy Calibrating Omnidirectional Cameras， Proceedings of the IEEE International Conference on Intelligent Robots and Systems， Beij ing， China， October 2006. 0042 如图 1 所示， 在步骤 102 中， 根据步骤 101 得到的鱼眼立体相机的内参数和外参 数， 对鱼眼立体图像对进行球面外极线校正， 其过程是对左右鱼眼图像(记为IL和IR)分别 进行旋转， 得到二幅在虚拟立体相机下的。
18、图像 ( 记为 IL和 IR )， 满足同一个三维空间点 在这二幅虚拟立体相机的图像中位于图像坐标的同一行这一性质。 下面给出具体的校正过 程， 其步骤主要包括 ： 0043 1) 建立虚拟立体相机坐标系， 如图 2 所示， C1和 C2分别是二个鱼眼立体相机的光 心位置， C1X1Y1Z1和 C2X2Y2Z2分别为左、 右鱼眼相机坐标系， C1VX1VY1VZ1V和 C2VX2VY2VZ2V分别为建 立的左右虚拟立体相机坐标系， 左右虚拟立体相机坐标系的原点分别与左右鱼眼相机坐标 系的原点重合。所建立的左右虚拟立体相机坐标系的三个坐标轴都分别平行， 且有一组坐 标轴共线， 即图 2 中 X1。
19、V轴和 X2V轴共线。 0044 对于左右虚拟立体相机的图像 IL和 IR中的每个像点 xV (x， y)， 对应着一组 角度 (， )， 如图 3 所示。真实场景点与虚拟图像上的像素点的映射关系由图 4 给出说 明。P 为场景点， P为 P 点在 YVOZV平面的投影， 则 为 OP 与平面 YVOZV夹角， 为极平 面 XVOP 与 ZV轴的夹角。该组角度表示了对应虚拟立体相机坐标系下的一个方向， 这种对应 说 明 书 CN 102005039 A CN 102005052 A4/5 页 7 关系表述为 ： f(y) 和 f(x)。 0045 2) 对于映射函数 f、 f的选取上， 采用平。
20、均分布， 将 -/2， /2 按照图像的宽 W 和高 H 等间隔地分布， 即 f(y) -/2+(y-1) 及 f(x) -/2+(x-1)， 其中 /H， /W。 0046 3)将虚拟立体相机的图像IL和IR中的的每个像点xV(x， y)， 定义变换XV TV(xV) 将该点映射到虚拟立体相机坐标系下的方向矢量 0047 4) 计算泰勒级数模型下鱼眼立体相机与虚拟立体相机之间的旋转关系， 并将虚拟 立体相机坐标系下的点投影到真实的鱼眼立体相机坐标系下， 旋转示意见图 2。 0048 设步骤 101 中通过标定得到的左右鱼眼立体相机相对的外参数为 R、 T， 则左虚拟 相机旋转矩阵 R_l、 。
21、右虚拟相机旋转矩阵 R_r 的计算方法如下 ： 0049 根据罗德里克公式， w rodrigues(R) 0050 反向旋转左、 右相机， 使两个相机坐标系同向 ： 0051 0052 0053 对两个相机做相同的旋转， 使得基线与相机坐标系的 X 轴重合 ： 0054 0055 其中， t RR1T。u 分 2 种情况 ： 若是水平基线， 则 u 1 0 0T； 若是垂直基线， u 0 1 0T。 0056 R2 rodrigues(w2) 0057 分别计算左虚拟相机的最终旋转矩阵 ： R_l R2RL1 0058 及右虚拟相机的最终旋转矩阵 ： R_r R2RR1 0059 5) 根据。
22、泰勒级数模型标定所得的内参数， 将鱼眼立体相机坐标系下的点投影到相 应的鱼眼图像。 0060 6) 通过上述变换， 将虚拟立体相机的图像 IL和 IR中的的每个像点 xV (x， y)， 最终投影到相应的鱼眼图像上， 如投影点不位于整数坐标， 则通过双线性图像插值来求 得 xV的像素值。 0061 如图1所示， 在步骤103中， 对经过球面外极线校正的左右虚拟立体相机图像进行 立体匹配， 来获得同一个三维场景点在左虚拟相机图像上的像点和在右虚拟相机图像 上的像点之间的对应关系。 0062 关于各种立体匹配方法的介绍可参考文献 2 ： D.Scharstein and R.Szeliski.A 。
23、taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision， 47(1/2/3) ： 7-42， April-June 2002. 0063 如图 1 所示， 在步骤 104 中， 根据步骤 103 求得的匹配点坐标， 由步骤 102 所介绍 的方法 ( 参见图 3) 恢复出左右匹配点所对应的角度值 (L， ) 和 (R， )， 利用三角关 系求取相应空间点的深度信息。 说 明 书 CN 102005039 A CN 1。
24、02005052 A5/5 页 8 0064 具体的计算方法如图5所示， OL和OR分别为左右虚拟立体相机坐标系的原点， B为 基线长度。对于某个三维场景点 P(X， Y， Z)， 通过步骤 103 得到该点在左右虚拟立体相机图 像上的匹配点， 然后得到相应匹配点的一组角度值 (L， ) 和 (R， )， 可求得该场景点 在左、 右虚拟立体相机坐标系中对应的方向矢量P为 P 在 XOLZ 平面上的投影 ( 平面 XOLZ 与平面 XORZ 共面 )。矢量与平面 YOLZ、与平面 YORZ 的夹角分别为 L、 R， 它们与 OLZ 轴、 ORZ 轴夹角都为 ， D 表示 P 到 OL的距离。根据正弦定理， 有 0065 0066 则可求得 ： 0067 0068 最后可得 P 点深度信息为 ： 0069 说 明 书 CN 102005039 A CN 102005052 A1/2 页 9 图 1 图 2 说 明 书 附 图 CN 102005039 A CN 102005052 A2/2 页 10 图 3 图 4 图 5 说 明 书 附 图 CN 102005039 A 。