利用旋转对称式广角透镜获得复合图像的方法及其成像系统以及以硬件方式进行图像处理的互补金属氧化物半导体图像传感器.pdf

1、(10)申请公布号 CN 102845053 A (43)申请公布日 2012.12.26 C N 1 0 2 8 4 5 0 5 3 A *CN102845053A* (21)申请号 201080040059.3 (22)申请日 2010.07.07 10-2009-0061928 2009.07.08 KR 10-2010-0064690 2010.07.06 KR H04N 5/232(2006.01) G06T 1/00(2006.01) (71)申请人奈米光子有限公司 地址韩国光州广域市 (72)发明人权琼一 (74)专利代理机构北京银龙知识产权代理有限 公司 11243 代理人张敬

2、强 李家浩 (54) 发明名称 利用旋转对称式广角透镜获得复合图像的方 法及其成像系统以及以硬件方式进行图像处理的 互补金属氧化物半导体图像传感器 (57) 摘要 本发明对于以光轴为中心的旋转对称式广角 透镜的图像进行数学上精确的图像处理从而提供 得到具有理想的投影方式的复合图像以及利用它 的多种成像系统。而且，提供通过精确的像素的配 置以硬件方式进行图像处理而无需进行软件图像 处理的CMOS图像传感器。 (30)优先权数据 (85)PCT申请进入国家阶段日 2012.03.08 (86)PCT申请的申请数据 PCT/KR2010/004415 2010.07.07 (87)PCT申请的公布数

3、据 WO2011/005024 KO 2011.01.13 (51)Int.Cl. 权利要求书11页 说明书47页 附图47页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 11 页 说明书 47 页 附图 47 页 1/11页 2 1.一种复合图像获得装置，包括：利用安装有以光轴为中心的旋转对称式成像用广角 透镜的照相机而获得修正前图像面的图像获得单元；基于上述修正前图像面生成修正后图 像面的图像处理单元；以及显示上述修正后图像面的图像显示单元，其特征在于，包括： 上述修正前图像面为具有K max 行和L max 列的二维矩阵，上述修正后图像面为具有I max 行

4、和J max 列的二维矩阵， 在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以来自 具有世界坐标系中的虚拟的物体面上的坐标(X I，J ，Y I，J ，Z I，J )(X(I，J)，Y(I，J)，Z(I，J) 的物点的入射光所带来的修正前图像面上的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向 物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边 的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为 右手坐标系， 上述物点的X坐标由仅与横向像素坐标J相关的函数如

5、下面的数学式 X I，J X(I，J)X(J)X J 给出， 上述物点的Y坐标由仅与竖向像素坐标I相关的函数如下面的数学式 Y I，J Y(I，J)Y(I)Y I 给出。 2.根据权利要求1所述的复合图像获得装置，其特征在于， 上述物点中某一物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式 Z I，J Z(I，J)Z(J)Z J 给出，或者， 作为仅与竖向像素坐标I相关的函数如下面的数学式 Z I，J Z(I，J)Z(I)Z I 给出。 3.根据权利要求1所述的复合图像获得装置，其特征在于， 由下面的数学式 给出的上述入射光的横向入射角以对于横向像素坐标J的单调 函数给出， 由下面的

6、数学式 给出的上述入射光的竖向入射角以对于竖向像素坐标 I的单调函数给出。 4.根据权利要求1所述的复合图像获得装置，其特征在于， 光轴的像素坐标在上述修正前图像面为(K o ，L o )，光轴的像素坐标在上述修正后图像面 为(I o ，J o )，上述虚拟的像点的像素坐标为(x I，J ，y I，J )， 上述像素坐标由下面的数学式给出， 权 利 要 求 书CN 102845053 A 2/11页 3 r I，J r( I，J )， x I，J L o +gr I，J cos I，J ， y I，J K o +gr I，J sin I，J ， 上述透镜的实际投影方式以对应的入射光的天顶角的函

7、数求得像大小r，以r r()给出， 上述g是照相机的放大倍数，以给出， 这里，r是与像大小r对应的修正前图像面上的像素距离。 5.根据权利要求1所述的复合图像获得装置，其特征在于， 上述物体面在可微分的区域满足下面的数学式 6.根据权利要求1所述的复合图像获得装置，其特征在于， 上述物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式 Z I，J Z(I，J)Z(J)Z J 给出。 7.根据权利要求6所述的复合图像获得装置，其特征在于， 上述物体面在可微分的区域满足下面的数学式 8.根据权利要求7所述的复合图像获得装置，其特征在于， 上述物体面在可微分的区域满足下面的数学式 9.根据权利

8、要求1所述的复合图像获得装置，其特征在于， 上述物点的Z坐标作为仅与竖向像素坐标I相关的函数如下面的数学式 Z I，J Z(I，J)Z(I)Z I 给出。 10.根据权利要求9所述的复合图像获得装置，其特征在于， 权 利 要 求 书CN 102845053 A 3/11页 4 上述物体面在可微分的区域满足下面的数学式 11.根据权利要求10所述的复合图像获得装置，其特征在于， 上述物体面在可微分的区域满足下面的数学式 12.一种复合图像获得装置，包括：利用安装有以光轴为中心的旋转对称式成像用广 角透镜的照相机而获得修正前图像面的图像获得单元；基于上述修正前图像面生成修正后 图像面的图像处理单元

9、；以及显示上述修正后图像面的图像显示单元，其特征在于， 上述修正前图像面为具有K max 行和L max 列的二维矩阵，上述修正后图像面为具有I max 行 和J max 列的二维矩阵， 在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以来自 世界坐标系中的虚拟的物体面上的一个物点的入射光所带来的修正前图像面上的具有像 素坐标(x I，J ，y I，J )的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向 物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边 的轴为Y轴，Y轴以自图像传感器面的上

10、端向下端的方向为正(+)方向，上述世界坐标系为 右手坐标系， 上述入射光的天顶角以 I，J (I，J)给出，方位角以 I，J (I，J)给出， 上述修正前图像面上的光轴的像素坐标以(K o ，L o )给出， 上述虚拟的像点的像素坐标由下面的数学式给出， x I，J L o +gr( I，J )cos I，J ， y I，J K o +gr( I，J )sin I，J ， 上述透镜的实际投影方式以对应的入射光的天顶角的函数求得像大小r，以r r()给出， 上述g是照相机的放大倍数，以给出， 这里，r是与像大小r对应的修正前图像面上的像素距离。 13.根据权利要求12所述的复合图像获得装置，其特

11、征在于， 上述修正后图像面上的光轴的像素坐标为(I o ，J o )， 上述入射光的天顶角由下面的数学式 给出， 这里，与上述修正后图像面上的像素坐标(I，J)对应的像素距离由下面的数学式 权 利 要 求 书CN 102845053 A 4/11页 5 给出， 2 是成为基准的入射光的天顶角， r 2 是与上述基准天顶角 2 对应的修正后图像面上的像素距离， 上述入射光的方位角由下面的数学式 给出。 14.根据权利要求12所述的复合图像获得装置，其特征在于， 上述修正后图像面上的光轴的像素坐标为(I o ，J o )， 上述入射光的天顶角由下面的数学式 给出， 这里，与上述修正后图像面上的像素

12、坐标(I，J)对应的像素距离由下面的数学式 给出， 2 是成为基准的入射光的天顶角， r 2 是与上述基准天顶角 2 对应的修正后图像面上的像素距离， 上述入射光的方位角由下面的数学式 给出。 15.一种复合图像获得装置，包括：利用安装有以光轴为中心的旋转对称式成像用广 角透镜的照相机而获得修正前图像面的图像获得单元；基于上述修正前图像面生成修正后 图像面的图像处理单元；以及显示上述修正后图像面的图像显示单元，其特征在于， 上述修正前图像面为具有K max 行和L max 列的二维矩阵，上述修正后图像面为具有I max 行 和J max 列的二维矩阵， 在上述修正后图像面具有图像信号并具有像素

13、坐标(I，J)的动态像素的信号以来自 世界坐标系中的虚拟的物体面上的一个物点的入射光所带来的修正前图像面上的具有像 素坐标(x I，J ，y I，J )的虚拟的像点的信号给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向 物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边 的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为 右手坐标系， 上述入射光的横向入射角由仅与横向像素坐标J相关的函数 J (J)给出，竖向 入射角由仅与竖向像素坐标I相关的函数 I (I)给出， 上述修正前图像面上的光轴的像素坐标

14、给出为(K o ，L o )， 上述虚拟的像点的像素坐标由下面的数学式给出， 权 利 要 求 书CN 102845053 A 5/11页 6 I，J cos -1 (cos I cos J )， x I，J L o +gr( I，J )cos I，J ， y I，J K o +gr( I，J )sin I，J ， 上述透镜的实际投影方式以对应的入射光的天顶角的函数求得像大小r，以r r()给出， 上述g是照相机的放大倍数，以给出， 这里，r是与像大小r对应的修正前图像面上的像素距离。 16.一种CMOS图像传感器，在传感器面内包括以I max 行和J max 列的矩阵的形态给出的 多个像素，其

15、特征在于， 上述多个像素包括具有图像信号的敏感像素和不具有图像信号的钝感像素。 17.根据权利要求16所述的CMOS图像传感器，其特征在于， 上述钝感像素的光电元件的面积小于敏感像素的光电元件的面积或者不存在。 18.根据权利要求16所述的CMOS图像传感器，其特征在于， 上述钝感像素的遮光膜的开口部小于敏感像素的遮光膜的开口部或者不存在。 19.根据权利要求16所述的CMOS图像传感器，其特征在于， 上述钝感像素的微透镜聚光效率低于敏感像素的微透镜或者不存在。 20.一种CMOS图像传感器，与以光轴为中心的旋转对称式成像用广角透镜成一组使 用，其特征在于， 上述CMOS图像传感器在传感器面内

16、包括以I max 行和J max 列的矩阵的形态给出的多个像 素， 上述多个像素包括至少一个具有图像信号的敏感像素， 上述传感器面与光轴的交点为具有行号I o 和列号J o 的基准点O，上述行号I o 为大于1 且小于I max 的实数，上述列号J o 为大于1且小于J max 的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为x轴，自上述传感器面 的左向右的方向为x轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的 轴为y轴，自上述传感器面的上端向下端的方向为y轴正方向的第一直角坐标系中， 具有图像信号并具有行号I和列号J的敏感像素P(I，J)的中心坐标给出为(x

17、I，J ，y I， J )， 上述敏感像素P(I，J)的中心坐标(x I，J ，y I，J )以来自具有世界坐标系中的虚拟的物体 面上的坐标(X I，J ，Y I，J ，Z I，J )(X( I，J )，Y( I，J )，Z( I，J )的物点的入射光所带来的虚拟的像点 的坐标给出， 上述世界坐标系以上述广角透镜的节点为原点，并以上述光轴为Z轴，从上述原点向 物体面的方向为正(+)方向，以通过上述原点且平行于上述照相机的图像传感器面的竖边 的轴为Y轴，Y轴以自图像传感器面的上端向下端的方向为正(+)方向，上述世界坐标系为 右手坐标系， 权 利 要 求 书CN 102845053 A 6/11页

18、 7 上述物点的X坐标由仅与横向像素坐标J相关的函数如下面的数学式 X I，J X(I，J)X(J)X J 给出， 上述物点的Y坐标由仅与竖向像素坐标I相关的函数如下面的数学式 Y I，J Y(I，J)Y(I)Y I 给出。 21.根据权利要求20所述的CMOS图像传感器，其特征在于， 上述物点中某一物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式 Z I，J Z(I，J)Z(J)Z J 给出，或者， 作为仅与竖向像素坐标I相关的函数如下面的数学式 Z I，J Z(I，J)Z(I)Z I 给出。 22.根据权利要求20所述的CMOS图像传感器，其特征在于， 由下面的数学式 给出的上述

19、入射光的横向入射角以对于横向像素坐标J的单调 函数给出， 由下面的数学式 给出的上述入射光的竖向入射角以对于竖向像素坐标 I的单调函数给出。 23.根据权利要求20所述的CMOS图像传感器，其特征在于， 上述敏感像素的中心坐标为(x I，J ，y I，J )， 上述中心坐标由下面的数学式给出， r I，J r( I，J )， x I，J r I，J cos I，J ， y I，J r I，J sin I，J ， 这里，rr()是上述透镜的实际投影方式，以对应的入射光的天顶角的函数求 得像大小r。 24.根据权利要求20所述的CMOS图像传感器，其特征在于， 上述物体面在可微分的区域满足下面的数

20、学式 权 利 要 求 书CN 102845053 A 7/11页 8 25.根据权利要求20所述的CMOS图像传感器，其特征在于， 上述物点的Z坐标作为仅与横向像素坐标J相关的函数如下面的数学式 Z I，J Z(I，J)Z(J)Z J 给出。 26.根据权利要求25所述的CMOS图像传感器，其特征在于， 上述物体面在可微分的区域满足下面的数学式 27.根据权利要求26所述的CMOS图像传感器，其特征在于， 上述物体面在可微分的区域满足下面的数学式 28.根据权利要求20所述的CMOS图像传感器，其特征在于， 上述物点的Z坐标作为仅与竖向像素坐标I相关的函数如下面的数学式 Z I，J Z(I，J

21、)Z(I)Z I 给出。 29.根据权利要求28所述的CMOS图像传感器，其特征在于， 上述物体面在可微分的区域满足下面的数学式 30.根据权利要求29所述的CMOS图像传感器，其特征在于， 上述物体面在可微分的区域满足下面的数学式 31.一种CMOS图像传感器，与以光轴为中心的旋转对称式成像用广角透镜成一组使 用，其特征在于， 上述CMOS图像传感器在传感器面内包括以I max 行和J max 列的矩阵的形态给出的多个像 素， 上述多个像素包括至少一个具有图像信号的敏感像素， 上述传感器面与光轴的交点为具有行号I o 和列号J o 的基准点O，上述行号I o 为大于1 且小于I max 的实

22、数，上述列号J o 为大于1且小于J max 的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为x轴，自上述传感器面 的左向右的方向为x轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的 权 利 要 求 书CN 102845053 A 8/11页 9 轴为y轴，自上述传感器面的上端向下端的方向为y轴正方向的第一直角坐标系中， 具有图像信号并具有行号I和列号J的敏感像素P(I，J)的中心坐标(x I，J ，y I，J )以来 自虚拟的物体面上的一个物点的入射光所带来的虚拟的像点的坐标给出， 上述入射光的天顶角以 I，J (I，J)给出，方位角以 I，J (I，J)给出，

23、 上述敏感像素的中心坐标由下面的数学式给出， x I，J r( I，J )cos I，J ， y I，J r( I，J )sin I，J ， 这里，rr()是上述透镜的实际投影方式，以对应的入射光的天顶角的函数求 得像大小r。 32.根据权利要求31所述的CMOS图像传感器，其特征在于， 上述入射光的天顶角由下面的数学式 给出， 这里，与像素坐标(I，J)对应的像素距离由下面的数学式 给出， 2 是成为基准的入射光的天顶角， r 2 是与上述基准天顶角 2 对应的像素距离， 上述入射光的方位角由下面的数学式 给出。 33.根据权利要求31所述的CMOS图像传感器，其特征在于， 上述入射光的天顶

24、角由下面的数学式 给出， 这里，与像素坐标(I，J)对应的像素距离由下面的数学式 给出， 2 是成为基准的入射光的天顶角， r 2 是与上述基准天顶角 2 对应的像素距离， 上述入射光的方位角由下面的数学式 给出。 34.一种CMOS图像传感器，与以光轴为中心的旋转对称式成像用广角透镜成一组使 用，其特征在于， 权 利 要 求 书CN 102845053 A 9/11页 10 上述CMOS图像传感器在传感器面内包括以I max 行和J max 列的矩阵的形态给出的多个像 素， 上述多个像素包括至少一个具有图像信号的敏感像素， 上述传感器面与光轴的交点为具有行号I o 和列号J o 的基准点O，

25、上述行号I o 为大于1 且小于I max 的实数，上述列号J o 为大于1且小于J max 的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为X轴，自上述传感器面 的左向右的方向为x轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的 轴为y轴，自上述传感器面的上端向下端的方向为y轴正方向的第一直角坐标系中， 具有图像信号并具有行号I和列号J的敏感像素P(I，J)的中心坐标(x I，J ，y I，J )以来 自虚拟的物体面上的一个物点的入射光所带来的虚拟的像点的坐标给出， 上述入射光的横向入射角作为仅与横向像素坐标J相关的函数以 J (J)给出， 竖向入射角作为仅与竖

26、向像素坐标I相关的函数以 I (I)给出，上述像素的中 心坐标由下面的数学式给出， I，J cos -1 (cos I cos J )， x I，J r( I，J )cos I，J ， y I，J r( I，J )sin I，J ， 这里，rr()是上述透镜的实际投影方式，以对应的入射光的天顶角的函数求 得像大小r。 35.一种CMOS图像传感器，在传感器面内包括以I max 行和J max 列的矩阵的形态给出的 多个像素，其特征在于， 上述多个像素包括至少一个具有图像信号的敏感像素， 上述CMOS图像传感器包括具有行号I o 和列号J o 的基准点，上述行号I o 为大于1且小 于I max

27、 的实数，上述列号J o 为大于1且小于J max 的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为X轴，自上述传感器面 的左向右的方向为x轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的 轴为y轴，自上述传感器面的上端向下端的方向为y轴正方向的第一直角坐标系中， 具有行号I和列号J的敏感像素P(I，J)的中心坐标以(x I，J ，y I，J )给出， 属于列号J小于J o 的J列的像素P(I，JJ o )形成向x轴正方向开口的曲线， 属于列号J大于J o 的J列的像素P(I，JJ o )形成向x轴负方向开口的曲线， 属于行号I小于I o 的I行的像素P(II o

28、 ，J)形成向y轴负方向开口的曲线， 属于行号I大于I o 的I行的像素P(II o ，J)形成向y轴正方向开口的曲线。 36.根据权利要求35所述的CMOS图像传感器，其特征在于， 上述敏感像素的中心坐标(x I，J ，y I，J )由下面的数学式给出， 权 利 要 求 书CN 102845053 A 10 10/11页 11 Y I F(I)， r I，J r( I，J )， x I，J r I，J cos I，J ， y I，J r I，J sin I，J ， 这里，是大于0且小于2的任意角度， r()是对于角度的通过原点的单调递增函数，如下面的数学式 r(0)0， 所示， F(I)是对

29、于竖向像素坐标I的通过原点的单调递增函数，如下面的数学式所示 F(I)0， 37.根据权利要求36所述的CMOS图像传感器，其特征在于， 上述函数F(I)由下面的数学式 F(I)I-I o 给出。 38.根据权利要求36所述的CMOS图像传感器，其特征在于， 上述函数F(I)由下面的数学式 给出。 39.一种CMOS图像传感器，在传感器面内包括以I max 行和J max 列的矩阵的形态给出的 多个像素，其特征在于， 上述多个像素包括至少一个具有图像信号的敏感像素， 权 利 要 求 书CN 102845053 A 11 11/11页 12 上述CMOS图像传感器包括具有行号I o 和列号J o

30、 的基准点，上述行号I o 为大于1且小 于I max 的实数，上述列号J o 为大于1且小于J max 的实数， 在以通过上述基准点且平行于上述图像传感器面的横边的轴为x轴，自上述传感器面 的左向右的方向为x轴正(+)方向，通过上述基准点且平行于上述图像传感器面的竖边的 轴为y轴，自上述传感器面的上端向下端的方向为y轴正方向的第一直角坐标系中， 具有行号I和列号J的敏感像素P(I，J)的中心坐标以(x I，J ，y I，J )给出， 属于列号J小于J o 的J列的像素P(I，JJ o )形成向x轴正方向开口的曲线， 属于列号J大于J o 的J列的像素P(I，JJ o )形成向x轴负方向开口的

31、曲线， 属于行号I小于I o 的I行的像素P(II o ，J)形成向y轴正方向开口的曲线， 属于行号I大于I o 的I行的像素P(II o ，J)形成向y轴负方向开口的曲线。 40.根据权利要求39所述的CMOS图像传感器，其特征在于， 上述敏感像素的中心坐标(x I，J ，y I，J )由下面的数学式给出， r I，J r( I，J )， x I，J r I，J cos( I，J )， y I，J r I，J sin( I，J )， 这里，是大于0且小于的任意角度， r()是对于角度的通过原点的单调递增函数，如下面的数学式所示r(0)0， 权 利 要 求 书CN 102845053 A 12

32、 1/47页 13 利用旋转对称式广角透镜获得复合图像的方法及其成像系 统以及以硬件方式进行图像处理的互补金属氧化物半导体 图像传感器 技术领域 0001 本发明涉及从安装有以光轴为中心的旋转对称式广角透镜的照相机获得的图像 中能够提取复合图像的数学上精确的图像处理方法及利用它的成像系统以及以硬件方式 进行图像处理的CMOS图像传感器。 背景技术 0002 一般来讲，在景色优美的旅游地等将360全景捕捉到一张相片中的全景照相 机(panoramic camera)是全方位成像系统的一例。全方位成像系统是指观察者在原地转 一圈时所能看得见的景色全部捕捉到一张相片中的成像系统。与此相反，将在观察者

33、的 位置所能看得见的全景捕捉到一张图像中的系统称之为全景成像系统(omnidirectional imaging system)。在全景成像系统中，不仅包括观察者在原地转一圈时所能看得见的 全部景色还包括仰头或低头时所能看得见的全部景色。从数学角度来讲，是指以成像 系统能够捕捉的区域的立体角(solid angle)为4球面度(steradian)的情况。全 方位成像系统或全景成像系统不仅为了适用于如拍摄建筑物、自然景观、天体等的传统 的领域，而且为了适用于利用了CCD(charge-coupled device)或CMOS(complementary metal-oxide-semicond

34、uctor：互补金属氧化物半导体)照相机的安保、监视系统、房地产 或饭店、旅游地等的虚拟旅游(virtual tour)、或者移动机器人或无人驾驶飞机等领域而 在进行着很多研究和开发。 0003 得到全方位图像的一种方法是采用视场角宽的鱼眼透镜(fisheye lens)。例如， 若使视场角为180的鱼眼透镜垂直地朝向天空，则可将天上的星座到地平线都捕捉到一 张图像中。基于这种理由，鱼眼透镜也被称之为全天空透镜(all-sky lens)。尤其，尼康 (Nikon)公司的一种鱼眼透镜(6mm f/5.6Fisheye-Nikkor)是视场角达到220，因而若将 它安装到照相机上，则尽管是一部分

35、但也能将照相机后方的景色包含到图像中。这样，对使 用鱼眼透镜得到的图像进行图像处理(image processing)就能得到全方位图像。 0004 在多数情况下，成像系统安装垂直于的壁面。例如，为了监视建筑物周边将成像系 统设置在建筑物的外壁上，或者旨在监视汽车后尾的后方照相机就属于这种情况。在这种 情况下，在水平方向的视场角远大于180的情况下效率反而降低。这是因为监视的必要性 较少的壁面较多地占有了画面，因而图像显得枯燥且浪费像素之故。因此，在这种情况下， 水平方向的视场角为180左右的情况比较理想。但为了这种目的而照原样使用视场角为 180的鱼眼透镜却不可取。这是因为，鱼眼透镜产生桶形

36、畸变(barrel distortion)因而 诱发审美上的不快感，从而消费者不理会之故。 0005 参考文献1至2提出有从具有给出的视点(viewpoint)以及投影方式 (projection scheme)的图像中提取具有其它视点或投影方式图像的核心技术。具体地讲， 参考文献2提出有立方体全景(cubic panorama)。简言之，立方体全景是指假设观察者位 说 明 书CN 102845053 A 13 2/47页 14 于用玻璃制作的立方体的中心时将透过玻璃墙向外所能看到的全景描绘在玻璃墙上，而所 有风景是以在立方体的中心所观察的视点描绘的。但不存在是使用通过光学透镜而得到的 实际风

37、景，而是使用以无畸变的虚拟的透镜即针孔照相机捕捉的图像的缺点。 0006 另一方面，包括人类在内的所有动植物因重力而被约束生存在地球表面，因而需 要注意或关注的大部分事件发生在地平线附近。因此，即便有监视地平线周边的360所 有方向的必要，垂直于方向上监视到那种高度即天顶(zenith)或天底(nadir)的必要性却 很少。但为了在二维的平面上描绘360全景，需要进行畸变别无他法。在用于将作为球 (sphere)的表面的地球上的地理表现在平面二维地图上的地图制作法中存在同样的难点。 0007 地球上的所有动植物和建筑物等无生物均在重力的影响下，重力的方向为站直的 方向即垂直线。然而在所有畸变中

38、人们最感到不自然的畸变是垂直线看成曲线的畸变。因 此重要的是，即便有其它畸变也不能有这种畸变。然而，地面虽然大体上垂直于重力的方 向，但在倾斜处当然不垂直。因此，从严格的意义上讲，应当以平面为基准，垂直方向是垂直 于水平面的方向。 0008 参考文献3中记载有在多种地图制作法中也广为人知的投影方式即等矩形投 影(equi-rectangular projection)、墨卡托投影(Mercator projection)以及圆柱投影 (cylindrical projection)，参考文献4中简述有多种投影方式历史。其中，等矩形投影方 式是我们在为了表现地球上的地理或显示星座而描绘天球时最为

39、熟悉的地图制作法之一。 0009 参照图1，假设地表面或天球(celestial sphere)为半径为S的球面时，地表面上 的任意点Q以地球的中心N为基准具有经度值和纬度值。另一方面，图2是按照等矩 形投影法制作的地表面或天球的平面地图的概念图。具有地表面的经度值和纬度值 的一点Q在根据等矩形投影法的平面地图234上具有对应的点P。该对应的点的直角坐 标给出为(x，y)。而且，具有经度0与纬度0的赤道上的基准点在平面地图上具有 对应的一点O，该对应点O是直角坐标系的原点。此时，根据等矩形投影法，经度上的相 同的间距在平面地图上具有相同的横向间距。换言之，平面地图234上的横坐标x与经度 成比

40、例。 0010 数学式1 0011 xc 0012 这里，c是比例常数。而且，纵坐标y与纬度成比例，具有与横坐标相同的比例常 数。 0013 数学式2 0014 yc 0015 考虑到地表面近似于球面，这种等矩形投影方式可成为自然的投影方式，但存在 使地表面的面积严重地畸变的缺点。例如，在北极点附近彼此相隔很近的两点在等矩形投 影方式地图上有可能给人以似乎位于地球相反侧的印象。 0016 另一方面，在墨卡托投影方式在中，纵坐标给出为如数学式3那样复杂的函数。 0017 数学式3 0018 0019 另一方面，图3是圆柱投影(cylindrical projection)或全景投影(panora

41、mic 说 明 书CN 102845053 A 14 3/47页 15 perspective)的概念图。在圆柱投影中，观察者位于半径为S的天球331的中心N，要在以 该观察者为中心的天球将除了天顶(zenith)与天底(nadir)之外的大部分区域描绘在二 维平面上。换言之，经度包括从-180到+180的360，而纬度包括包含赤道的仅仅一部 分亦可。具体地讲，纬度角的范围可假设为从-到+，此时，应小于90。 0020 在这种投影方式中，假设在赤道303与天球331相接的圆柱334，接着，对于在天 球上具有规定的经度值和纬度值的点Q(，)，使从上述天球的中心N连至上述一 点Q的线段延伸直至与上

42、述圆柱面相交。该交点称之为P(，)。利用这种方式得到与 天球面331上的上述纬度范围内的所有点Q对应的圆柱面334上的点P之后，切开上述圆 柱并展开成平面则可得到具有圆柱投影的地图。因此，所展开的圆柱面上的一点P的横坐 标x由数学式4给出，纵坐标y由数学式5给出。 0021 数学式4 0022 xS 0023 数学式5 0024 yS tan 0025 这种圆柱投影是用于照相机沿水平旋转而得到全景图像的全景照相机上的投影 方式。尤其在安装于旋转的全景照相机上的透镜为无畸变的直线像差修正透镜的情况下得 到的全景图像精确地符合圆柱投影方式。虽然从原理上讲这种圆柱投影是最为精确的全景 投影方式但纬度

43、的范围较宽时图像看起来不自然，因而实际上不常用。 0026 在参考文献5和6中描述有具有视场角190的鱼眼透镜的实施例，在参考文献7 中提出有包括赤平投影方式的折射式和反射折射式鱼眼透镜的多种广角透镜的实施例。 0027 另一方面，在参考文献8中描述有从使用包括鱼眼透镜的旋转对称式广角透镜而 获得的图像获得符合圆柱投影方式或等矩形投影方式以及墨卡托投影方式的全方位图像 的多种实施例。在上述文献中所提出的大部分实施例可参照图4至12简述如下。 0028 图4是包括鱼眼透镜的旋转对称式广角透镜412的的实际投影方式的概念图。描 述由广角透镜而捕捉的被摄体(object)的世界坐标系的Z轴与广角透镜

44、412的光轴401 一致。对于该Z轴具有天顶角的入射光405在由透镜412折射后作为折射光406会聚 到焦点面(focal plane)432上的像点(image point)P。从上述透镜的节点N到上述焦点 面的距离大致与透镜的有效焦距(effective focal length)一致。在上述焦点面中形成 有实际像点的部分为图像面(image plane)433。为了得到清晰图像，上述图像面433与照 相机主体414内部的图像传感器面413应当一致。上述焦点面和上述图像传感器面垂直于 光轴。从该光轴401与图像面433的交点O(下面称之为第一交点)到上述像点P的距离 是r。 0029 通常

45、的广角透镜中的像大小r如数学式6给出。 0030 数学式6 0031 rr() 0032 这里，入射角的单位为弧度(radian)，上述函数r()是对于入射光的天顶角 的单调递增函数(monotonically increasing function)。 0033 这种透镜的实际投影方式可以利用实际透镜以实验方式进行测定，或者能够以透 镜的设计图利用Code V或Zemax等透镜设计程序进行计算。例如，若在Zemax使用REAY 说 明 书CN 102845053 A 15 4/47页 16 运算符，则能够具有计算已给出的水平方向和垂直方向的入射角的入射光的在焦点面上的 y轴方向的坐标y，与此

46、类似地使用REAX运算符即可计算x轴方向的坐标x。 0034 图5是Paul Bourke教授以计算机制作的虚拟的室内风景，假设使用具有理想 的等距投影方式的视场角180的鱼眼透镜。该图像具有横向和竖向大小均为250像素 的正方形的形状。因此，光轴的坐标为(125.5，125.5)，天顶角为90的入射光的像大小 r(/2)125.5-1124.5.这里，r不是实际物理上距离而是以像素距离测定的像 大小。由于该虚拟的鱼眼透镜满足等距投影方式，因而该透镜的投影方式如数学式7给出。 0035 数学式7 0036 0037 图6至8表示记载在参考文献7中的多种广角透镜的实施例。图6是赤平投影方 式的折

47、射式鱼眼透镜，图7是赤平投影方式的反射折射式鱼眼透镜，图8是直线像差修正投 影方式的反射折射式全方位透镜。这样，现有的实施例和本发明的广角透镜包括以光轴为 中心的旋转对称式的所有广角透镜而并不限定于等距投影方式的鱼眼透镜。 0038 参考文献8的发明的要点是，提供一种对于使用这种旋转对称式广角透镜得到的 图像适用数学上精确的图像处理算法而得到全方位图像的方法。参考文献8中记载的多种 实施例可参照图9简述如下。图9是现有发明中的世界坐标系(world coordinate system) 的概念图。 0039 上述发明的世界坐标系为以旋转对称式广角透镜的节点N为原点，并以通过上述 原点的垂直线作

48、为Y轴。这里，垂直线是垂直于地平面、更准确地讲是垂直于水平面917的 直线。世界坐标系的X轴与Z轴包括在地平面。一般来讲，上述广角透镜的光轴901不与 Y轴一致，可包括在地面(即、可以平行于地面)，还可不平行于地面。此时，将包括上述Y 轴和上述光轴901的平面904称之为基准面(reference plane)。该基准面904与地平面 917的相交线(intersection line)902与世界坐标系的Z轴一致。另一方面，来自具有世 界坐标系中的直角坐标(X，Y，Z)的一物点Q的入射光905对于地面具有仰角，对于基准 面具有方位角。包括上述Y轴和上述入射光905的平面为入射面906。上述入射光与上 述基准面所成的横向入射角如数学式8给出。 0040 数学式8 0041 0042 另一方面，上述入射光与X-Z平面所成的竖向入射角(即、仰角)如数学式9给 出。 0043 数学式9 0044 0045 上述入射光的仰角(elevation angle)如数学式10给出，这里，是大于-90 说 明 书CN 102845053 A 16 5/47页 17 且小于90的任意角度。 0046 数学式10 0047 - 0048 图10是全方位成像系统的概念图，大