校准方法、校准装置及具备该校准装置的校准系统.pdf

本发明提供在拍摄图像中包含许多透镜像差的测距装置中的高精度的校准方法等。一种推断表示复眼测距装置(3)具有的各摄像系统的特性的摄像机参数的校准方法，其包括：表示排列有多个要素的几何学图案，并且，拍摄配置成与复眼测距装置(3)成为预定的位置关系的基准图(30)的拍摄步骤；在拍摄的基准图(30)的拍摄图像中，修正由透镜像差引起的亮度分布的像差亮度修正步骤；在修正亮度分布的拍摄图像中，作为特征点位置计算多个要素的各重心位置的特征点位置计算步骤；利用在特征点位置计算步骤计算出的特征点位置和基准图(30)中的实际的大致重心位置，推断摄像机参数的摄像机参数推断运算步骤。

1.  一种校准方法，在具备多个由透镜和对应于上述透镜的摄像区域构成的摄像系统的测距装置中，推断表示各上述摄像系统的特性的摄像机参数，其特征在于，上述校准方法包括：
拍摄步骤，利用上述测距装置对基准图进行拍摄，该基准图示出排列有多个要素的几何学图案，并且，配置成与上述测距装置形成预定的位置关系；
像差亮度修正步骤，在上述拍摄步骤拍摄的上述基准图的拍摄图像中，修正由上述透镜的像差引起的亮度分布；
特征点位置计算步骤，在上述像差亮度修正步骤修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；
摄像机参数推断运算步骤，利用在上述特征点位置计算步骤计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。

2.  如权利要求1所述的校准方法，其特征在于，
上述像差亮度修正步骤包括偏移去除副步骤，在该偏移去除副步骤，在设定为各自划分上述拍摄图像内的上述多个要素的各计算区，从各像素的亮度值减去去除值，该去除值是在上述计算区内的亮度值的最小值加上预定的偏移值后的值；
在上述偏移去除副步骤，通过从各像素的亮度值减去上述去除值，修正由上述透镜的像差引起的亮度分布。

3.  如权利要求2所述的校准方法，其特征在于，
在上述偏移去除副步骤，从各像素的亮度值减去上述去除值，以使上述偏移值成为上述计算区内的亮度值的最大值和最小值的差分值的2.5％以上40％以下。

4.  如权利要求2所述的校准方法，其特征在于，
上述像差亮度修正步骤还包括照度分布校正副步骤，在该照度分布校正副步骤，对上述拍摄图像中的由上述摄像区域内的灵敏度的不均匀及照射到上述基准图的光源的照度的不均匀引起的亮度分布进行校正；
在上述偏移去除副步骤，从在上述照度分布校正副步骤校正的上述拍摄图像的亮度值中减去上述去除值。

5.  如权利要求4所述的校准方法，其特征在于，
在上述照度分布校正副步骤，利用在与上述基准图大致相同的拍摄条件下拍摄由一样的色彩构成的照度分布校正用图时的拍摄图像中的亮度分布，对由上述摄像区域内的灵敏度的不均匀及照射到上述基准图的光源的照度的不均匀引起的亮度分布进行校正。

6.  如权利要求1所述的校准方法，其特征在于，
上述基准图的几何学图案是排列有多个大致圆形的要素的水珠图案；
在上述拍摄步骤，以如下方式拍摄上述基准图：使得在上述测距装置拍摄上述基准图时的拍摄图像中，上述多个大致圆形的各要素的直径成为25个像素以上。

7.  一种校准装置，利用由具备多个摄像系统的测距装置拍摄的示出几何学图案的基准图的拍摄图像，推断表示各上述摄像系统的特性的摄像机参数，所述摄像系统由透镜和对应于上述透镜的摄像区域构成，上述校准装置的特征在于，包括：
像差亮度修正部，在上述拍摄图像中，修正由上述透镜的像差引起的亮度分布；
特征点位置计算部，在上述像差亮度修正部修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；
摄像机参数推断运算部，利用在上述特征点位置计算部计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。

8.  一种校准系统，包括：示出几何学图案的基准图；测距装置，具备多个由透镜和对应于上述透镜的摄像区域构成的摄像系统；以及校准装置，利用通过上述测距装置拍摄的上述基准图的拍摄图像，推断表示各上述摄像系统的特性的摄像机参数，其特征在于，
上述校准装置包括：
像差亮度修正部，在上述拍摄图像中，修正由上述透镜的像差引起的亮度分布；
特征点位置计算部，在上述像差亮度修正部修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；
摄像机参数推断运算部，利用上述特征点位置计算部计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。

9.  如权利要求8所述的校准系统，其特征在于，
在上述基准图示出排列有多个大致圆形的要素的水珠图案；
上述多个大致圆形的要素的颜色是比背景色亮的灰度。

10.  一种程序，用于具备多个由透镜和对应于上述透镜的摄像区域构成的摄像系统的测距装置利用对示出几何学图案的基准图进行拍摄的拍摄图像，推断表示各上述摄像系统的特性的摄像机参数，其特征在于，上述程序使计算机执行以下步骤：
像差亮度修正步骤，在上述拍摄图像中，修正由上述透镜的像差引起的亮度分布；
特征点位置计算步骤，在上述像差亮度修正步骤修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；
摄像机参数推断运算步骤，利用在上述特征点位置计算步骤计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。

校准方法、校准装置及具备该校准装置的校准系统
技术领域
本发明涉及可求出与对象物之间的距离或对象物的三维位置或者形状的测距装置的校准方法、校准装置等。
背景技术
近年来，进行从预定的位置到对象物的距离或对象物的三维位置的计测的测距装置的要求日渐提高，进而希望该计测装置小型化。例如，测距装置在汽车的车箱内始终计测乘客的位置或形状信息，检测走神或打盹等在驾驶中危险的状态。并且，开发出根据检测出的危险的状态发出警告或事先对汽车施以刹车的安全驾驶辅助技术。这时，测距装置设置在车箱内的有限的空间内，所以希望是小型的。
因此，作为小型且可计测与对象物之间的距离或对象物的三维位置或者形状的测距装置，例如已提出的有利用复眼光学系统的复眼测距装置(例如，参照专利文献1)。
利用图12及图13对专利文献1等记载的过去的复眼测距装置80进行说明。
图12是以往的复眼测距装置80的简要图。此外，图13是一般的立体测距装置的简要图。
如图12所示，以往的复眼测距装置80具备：单一的摄像元件81；以及设置在摄像元件81的上方并由多个作为单透镜的透镜82a及82b形成的阵列状的光学系统。即，复眼测距装置80具备：单一的摄像元件81所具有的摄像区域81a及81b；以及对应于各摄像区域的透镜82a及82b。这样，通过在单一的摄像元件的上方配置多个光学系统，可以提供非常小的立体测距装置。
此外，复眼测距装置80与在单一的摄像元件的上方配置单一的光学系统的一般的立体测距装置相比，可以减小各光学系统的透镜直径。并且，若减小透镜直径，透镜的弯曲变得急剧。因此，复眼测距装置80可以较短地设计焦距，可以实现降低装置的高度。
如上所述，复眼测距装置80与图13所示的一般的立体测距装置相比，可以实现非常小型的立体测距装置。图13所示的一般的立体测距装置是将多个单一的摄像元件90a、90b和设在该摄像元件上方的一组透镜组(组合透镜)91a、91b构成的光学系统进行组合来实现的。
并且，立体测距装置是采用了根据在多个光学系统之间产生的视差能够计算出与对象物之间的距离的立体测距方式的测距装置。
接着，利用图14说明利用立体测距方式时的与对象物之间的距离计算的例子。
图14是利用光学系统a及光学系统b的2个光学系统时的、基于立体测距方式的与对象物之间的距离计算的例子的图。来自对象物100的光线101a及101b通过光学系统a的透镜102a的光学中心105a及光学系统b的透镜102b的光学中心105b，在摄像区域104a及104b成像。光轴103a及103b表示各摄像机的光轴。
在此，例如对象物100关于光学系统a，在从摄像区域104a和光轴103a的交点106a离开Pa的成像位置107a成像；关于光学系统b，在从摄像区域104b上的摄像区域104b和光轴103b的交点106b离开Pb的成像位置107b成像时，在光学系统a和光学系统b之间产生视差P(＝Pb-Pa)。
该视差P根据测距装置和对象物之间的距离D发生变化。光学系统a的光轴103a和光学系统b的光轴103b平行，将该间隔设为基线长B，将光学系统a及光学系统b的焦距设为f时，到对象物的距离D用式(1)表示。
因此，假设基线长B及焦距f事先通过校准处理等而已知时，通过求出视差P就可以计算与对象物100之间的距离D。
[数学式1]
D=f·BP---(1)]]>
在实际环境中，光学系统a和光学系统b的光轴不平行的情况较多。因此，例如进行如非专利文献1所示的图像的平行化处理。其结果，制作光轴平行的情况的图像，利用式(1)的运算可以计算距离D。
摄像区域104a及104b通常由CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等摄像元件构成。因此，利用二维平面上的离散的对象物像的亮度信号计算视差P。这时，一般用式(2)表示距离D的距离检测分辨率R。
[数学式2]
R=D2·pitch·Kpf·B---(2)]]>
在此，pitch是像素间距，Kp是副像素视差检测分辨率。副像素视差检测分辨率Kp是指1像素以下的视差检测分辨率。具体地，作为副像素视差检测分辨率Kp，例如利用可判别0.25像素等、1像素以下的视差的极限值。而且，例如通过专利文献2等提出的方法来检测副像素视差。
例如，被摄体的距离D为600mm、像素间距pitch为2μm、副像素视差检测分辨率Kp为0.25像素、焦距f为3mm、基线长B为2mm时，通过式(2)，距离检测分辨率R计算为30mm。
接着，说明视差P的具体的检测方法的例子。对于在光学系统a的摄像区域104a取得的图像a和在光学系统b的摄像区域104b取得的图像b，计算各图像的每个小区域的相关值即SAD(Sum of Absolute Difference：差分绝对值总和)，利用计算出的相关值计算图像a和图像b之间的每个小区域的图像的偏差，得到视差P。
而且，SAD是相关值的一例，一般已知的SSD(Sum of SquaredDifference：差分平方总和)、NCC(Normalized Cross-Correlation：标准互相关)等也可以用作相关值。
接着，对立体测距方式中的校准的必要性进行叙述。如在图14说明，通过立体测距方式进行测距的立体测距装置根据所谓三角测量的原理进行测距。但是，在实际的摄像机中，由于以畸变像差等为代表的透镜的像差等的影响，作为进行三角测量的前提的中心射影不成立的情况较多。此外，焦距等光学系统的参数在进行三角测量时需要事先已知。
因此，在进行测距之前，需要推断由透镜的像差等引起的图像的变形、焦距等光学系统的参数。而且，需要校正图像，以便可以进行基于中心射影的视差求解运算。
此外，立体测距装置的不同的光学系统之间的光轴不平行时，在进行基于对极几何(Epipolar Geometry)的图像之间的视差求解时有时需要庞大的运算时间。这样在光轴不平行时，已知通过利用校正为光学系统之间的光轴变得平行的图像，能够在较短的运算时间内进行视差求解。
如上所述，将图像校正为可进行基于中心射影的视差求解运算，或推断摄像机参数，或者将图像校正为光学系统之间的光轴变得平行，这些处理在进行基于三角测量的测距运算时非常重要。将这些处理称为校准。
接着，利用图15～图16对过去的校准进行说明。
图15是说明过去的校准处理中的运算的流程的图。此外，图16是表示在过去的校准中利用的基准图的图。
如图15及图16所示，在过去的校准中，利用描绘出的图案的各要素的尺寸已知的基准图200。具备多个光学系统的立体摄像机部201拍摄该基准图200。
接着，特征点检测部202在由立体摄像机部201拍摄的基准图200的图像中，计算表示特征点的位置的特征点坐标。
在此，特征点是表示在基准图200描绘出的图案的特征性位置的点，可以任意设定。例如，基准图200的特征点可以设为在基准图200描绘出的多个四边形的顶点。
接着，摄像机参数推断部203根据特征点检测部202计算出的图像中的特征点坐标和已知尺寸的基准图的坐标，利用非专利文献1、专利文献3等记载的数值运算方法，推断各光学系统的摄像机参数(内部参数、外部参数等)。即，摄像机参数推断部203推断各光学系统的畸变系数、光学中心、焦距、相对于世界坐标的各光学系统独自的摄像机坐标系的旋转、平行移动量等摄像机参数。
接着，平行化处理部204根据推断出的摄像机参数进行上述的摄像机的平行化处理等，从而输出用于将拍摄图像变换成适合测距运算的图像的图像校正参数。
利用这样得到的摄像机参数及图像校正参数，测距装置测定与对象物之间的距离等。
而且，图15所示的特征点检测部202计算对基准图200进行拍摄的拍摄图像内的多个特征点坐标，但是该计算出的特征点坐标的精度对校准处理中的各光学系统的摄像机参数的推断精度造成大的影响。即，若特征点坐标的计算精度低，则摄像机参数推断部203不能高精度地推断各光学系统的摄像机参数。
接着，利用图17说明利用了图16所示的基准图200时的基于特征点检测部202的特征点坐标的计算方法。
图17(a)是表示基准图200的拍摄图像的纵向的微分值的绝对值分布的图。如图17(a)所示，提取基准图200的拍摄图像的横向界线。
图17(b)是表示基准图200的拍摄图像的横向的微分值的绝对值的分布的图。如图17(b)所示，提取基准图200的拍摄图像的纵向的界线。
图17(c)是表示图17(a)和图17(b)的合成图像的图。如图17(c)所示，提取横向的界线和纵向的界线的交点(例如图17(c)的交点211)。特征点检测部202将从图17(c)所示的图像得到的界线的交点作为特征点，计算特征点坐标。
通过使特征点坐标的计算高精度化，可以高精度地推断各光学系统的摄像机参数。并且，利用推断出的高精度的摄像机参数，可以得到高精度的图像校正参数。其结果，测距装置利用得到的高精度的摄像机参数、图像校正参数，可以进行高精度的测距运算。
专利文献1：日本特许2958458号公报
专利文献2：日本特开2000-283753号公报
专利文献3：日本特开2003-65714号公报
非专利文献1：徐刚、辻三良著“三维图像”共立出版pp79-83、pp96-992002年9月25日出版
如上所述，利用如图12所示的复眼光学系统时，可以进行测距装置的小型化及低高度化，并且可以通过削减摄像元件等的部件件数来实现低成本化。但是，如图12所示的复眼光学系统与如图13所示的一般的立体测距装置相比，由于焦距f及基线长B被摄像元件的尺寸所限制，所以变小。
其结果，根据式(2)可知，利用如图12所示的复眼光学系统的测距装置的距离检测分辨率下降。因此，为了抑制距离分辨率下降，利用图12所示的复眼光学系统的测距装置与如图13所示的一般的立体测距装置相比，需要将测距时的视差检测分辨率设为高精度。因此，在利用如图12所示的复眼光学系统的测距装置中，大多数情况下需要1像素以下的视差检测分辨率。因此，利用如图12所示的复眼光学系统的测距装置的有关校准的处理也要求1像素以下的精度(副像素精度)。
但是，如图12所示，以小型化、低成本化等为目的，光学系统中利用了难以成像高分辨率图像的单透镜等的复眼测距装置时，与如图13所示的一般的立体测距装置相比，尤其是难以将图像周边部的像以高分辨率成像。
图19(a)、图19(b)及图19(c)是表示图13所示的一般的立体测距装置拍摄图18所示的描绘有水珠图案的基准图时的、拍摄图像中的要素210a、210b及210c的图像以及各要素的中心附近的摄像元件的水平方向(u轴方向)的亮度分布的图。
此外，图20(a)、图20(b)及图20(c)是表示利用了图12所示的复眼光学系统的立体测距装置拍摄图18所示的描绘有水珠图案的基准图时的、拍摄图像中的要素210a、210b及210c的图像以及各要素的中心附近的摄像元件的水平方向的亮度分布的图。
而且，图19及图20所示的亮度分布成为使亮度值反转的分布。
如图13所示，一般的立体测距装置多数情况下是组合多片透镜来构成光学系统，因此，如图19所示，在图像周边部，像因像差而稍微变形，但是即便如此也能够在图像整体得到高分辨率的图像。但是，在图12所示的复眼测距装置中，如图20所示，特别是图像周边部上的像差非常大，所以成为变形或模糊大的图像。
图像的变形以透镜的光学位置为中心以同心圆形变化，放射方向(弧矢方向)和其圆周方向(切向方向)的变形明显出现。在图像周边部，圆周方向的变形大于放射方向的变形的情况较多。因此，如图20(b)所示，要素210b的像在水平方向变形。此外，如图20(c)所示，要素210c的像在倾斜方向变形。
由于这种变形或模糊大的原因，在图12的复眼测距装置中，噪声、灵敏度、照度的不均匀等混入图像的干扰的比例增加。并且，由于该干扰的影响，具有特征点的检测精度大大下降的问题。
其结果，摄像机参数的推断精度也下降，副像素精度下的校准处理的实现变得困难。
而且，在图19及图20中，由照明的照度不均匀引起的亮度梯度表现在基准图的各要素的像的亮度分布。这种干扰的(亮度梯度)的影响在图20所示的拍摄图像的一方大于图19所示的拍摄图像。
此外，在图12所示的复眼测距装置中，假设通过上述的过去的校准方法进行了校准。具体地，例如通过对图16的基准图的拍摄图像进行微分处理来计算特征点坐标，根据计算出的特征点坐标，例如利用非专利文献1、专利文献3等记载的方法计算摄像机参数。
这时，拍摄图像的周缘部的特征点位置的计算误差增大。具体地，在图21所示的复眼测距装置的拍摄图像中，若将光轴位置216附近设为光轴位置，则图像区域217(斜线部分)的特征点位置的计算误差增大。
这被认为是在图17(a)及图17(b)所示的微分处理中，仅考虑图像的水平方向和垂直方向的亮度成分、即水平方向和垂直方向的图像的变形分布来计算出特征点坐标而引起的。
实际图像的变形如上所述以透镜的光轴位置为中心以同心圆形变化，分布有放射方向(弧矢方向)和其圆周方向(切向方向)的变形。相对于此，在过去的特征点坐标的计算中，在所有的图像中仅考虑水平方向和垂直方向的变形来计算特征点坐标，所以在放射方向及圆周方向与图像的水平方向及垂直方向不一致的图像区域217中，特征点坐标的计算误差增大。另一方面，认为在图像区域217以外的区域，即，放射方向及圆周方向与图像的水平方向及垂直方向大体一致的区域，特征点坐标的计算误差变小。
在如图13所示的图像的变形小的一般的立体测距装置中，难以产生这种特征点坐标的计算误差。但是，在如图12所示的复眼测距装置中，进行过去的特征点坐标的计算时，由于图像的变形大的原因，图21的图像区域217附近的特征点坐标的计算精度下降。因此，具有不能进行高精度的摄像机参数推断，难以按副像素水平进行校准的问题。
此外，图12所示的复眼测距装置由于如上所述图像的变形大，所以容易成为模糊的图像，但是，这时由于透镜的偏心、在透镜安装时光轴和摄像元件不垂直而倾斜等的原因，图像中的变形的分布相对于透镜光轴位置的对称性(同心圆形)容易受损。
例如，在如图22所示透镜221的被摄体侧的面的光轴222和摄像元件侧的面的光轴223错开时，图像的变形的分布在图22的左右方向偏移，图像中的变形的分布相对于透镜光轴位置的对称性(同心圆形)受损。此外，具有越是模糊的图像越容易受这种变形分布的影响的倾向。因此，图12所示的复眼测距装置在非专利文献1、专利文献3等记载的摄像机参数的推断运算时容易产生摄像机的数学式模型和实际摄像机的模型化误差。特别是，在图12所示的复眼测距装置中，具有难以提高在模糊大的图像周边部上的测距精度的问题。
即，例如图12的复眼测距装置所示，在图像中包含较多透镜的像差的立体测距装置的校准中，即使利用过去的特征点检测方法，由于图像的像差大的原因，具有如下问题：干扰引起的像的亮度减小；若不考虑放射方向(弧矢方向)和其圆周方向(切向方向)的变形，则不能检测适当的特征点；由于摄像机的安装误差等引起的图像中的变形分布相对于透镜光轴位置的对称性(同心圆形)受损，从而容易产生摄像机的数学式模型和实际摄像机的模型化误差。从而不能进行高精度的特征点位置检测，所以难以实施高精度的校准。
发明内容
因此，本发明是鉴于这种问题而做出的，其目的在于，提供一种在拍摄图像中包含较多透镜的像差的测距装置的校准中，高精度地进行摄像机参数的推断的、即用于高精度地进行校准的校准方法等。
为了实现上述的目的，本发明涉及的校准方法，在具备多个由透镜和对应于上述透镜的摄像区域构成的摄像系统的测距装置中，推断表示各上述摄像系统的特性的摄像机参数，其特征在于，上述校准方法包括：拍摄步骤，利用上述测距装置对基准图进行拍摄，该基准图示出排列有多个要素的几何学图案，并且，配置成与上述测距装置形成预定的位置关系；像差亮度修正步骤，在上述拍摄步骤拍摄的上述基准图的拍摄图像中，修正由上述透镜的像差引起的亮度分布；特征点位置计算步骤，在上述像差亮度修正步骤修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；摄像机参数推断运算步骤，利用在上述特征点位置计算步骤计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。
由此，在推断特征点坐标之前可以修正由透镜的像差引起的亮度分布，因此，即使在测距装置的拍摄图像内包含较多透镜的像差，也可以进行高精度的校准。
而且，通过将表示于基准图的几何学图案的各要素的重心设为特征点，在拍摄图像中，即使特征点的亮度变化非常小，或像差分布的方向在像面内变化，也可以进行高精度的校准。
即，通过将重心设为特征点，可以根据拍摄图像内的各像素的亮度值的大小计算特征点坐标，因此，即使在拍摄图像内特征点的亮度变化小的情况下，也可以高精度地计算特征点位置。此外，通过将重心设为特征点，从而不取决于水平方向、垂直方向等的特定的方向，可以加进像差分布的所有方向的像差来计算特征点坐标，因此，即使在放射方向(弧矢方向)及圆周方向(切向方向)分布变形的情况下，也可以高精度地计算特征点位置。
并且，通过这样利用高精度地计算出的特征点位置，可以高精度地推断摄像机参数，即，可以进行高精度的校准。
此外，优选上述像差亮度修正步骤包括偏移去除副步骤，在该偏移去除副步骤，在设定为各自划分上述拍摄图像内的上述多个要素的各计算区，从各像素的亮度值减去去除值，该去除值是在上述计算区内的亮度值的最小值加上预定的偏移值后的值；在上述偏移去除副步骤，通过从各像素的亮度值减去上述去除值，修正由上述透镜的像差引起的亮度分布。而且，在上述偏移去除副步骤，从各像素的亮度值减去上述去除值，以使上述偏移值成为上述计算区内的亮度值的最大值和最小值的差分值的2.5％以上40％以下。
由此，即使在测距装置的拍摄图像内包含较多透镜的像差，在校准中，抑制特别是因由光学系统之间的透镜的偏心量的不同等引起的像差分布的不同而引起的特征点位置计算精度的下降，可以进行高精度的校准。
即，在拍摄图像内，可以从拍摄图像中去除构成几何学图案的各要素的像的周边部的对称性受损、亮度值的校正困难的部分，所以可以提高利用了重心的特征点位置的计算精度。
此外，优选上述像差亮度修正步骤还包括照度分布校正副步骤，在该照度分布校正副步骤，对上述拍摄图像中的由上述摄像区域内的灵敏度的不均匀及照射到上述基准图的光源的照度的不均匀引起的亮度分布进行校正；在上述偏移去除副步骤，从在上述照度分布校正副步骤校正的上述拍摄图像的亮度值中减去上述去除值。而且，优选在上述照度分布校正副步骤，利用在与上述基准图大致相同的拍摄条件下拍摄由一样的色彩构成的照度分布校正用图时的拍摄图像中的亮度分布，对由上述摄像区域内的灵敏度的不均匀及照射到上述基准图的光源的照度的不均匀引起的亮度分布进行校正。
由此，可以抑制因噪声或照明等的不均匀等引起的干扰造成的特征点位置计算精度的下降，因此，即使在测距装置的拍摄图像内包含较多透镜的像差，也可以进行高精度的校准。
而且，拍摄条件是是指测距装置的设定值、测距装置和图的位置关系以及照射到图的光源的位置及照度。此外，测距装置的设定值具体地是指快门速度、光圈等。
此外，优选上述基准图的几何学图案是排列有多个大致圆形的要素的水珠图案；在上述拍摄步骤，以如下方式拍摄上述基准图：使得在上述测距装置拍摄上述基准图时的拍摄图像中，上述多个大致圆形的各要素的直径成为25个像素以上。
由此，可以降低由噪声等的混入图像中的干扰造成的影响，所以可以进行高精度的校准。
此外，本发明涉及的校准装置，利用由具备多个摄像系统的测距装置拍摄的示出几何学图案的基准图的拍摄图像，推断表示各上述摄像系统的特性的摄像机参数，所述摄像系统由透镜和对应于上述透镜的摄像区域构成，上述校准装置的特征在于，包括：像差亮度修正部，在上述拍摄图像中，修正由上述透镜的像差引起的亮度分布；特征点位置计算部，在上述像差亮度修正部修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；摄像机参数推断运算部，利用在上述特征点位置计算部计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。
由此，在校准装置中，可以得到与上述的校准方法同样的效果。
此外，本发明涉及的校准系统，校准系统，包括：示出几何学图案的基准图；测距装置，具备多个由透镜和对应于上述透镜的摄像区域构成的摄像系统；以及校准装置，利用通过上述测距装置拍摄的上述基准图的拍摄图像，推断表示各上述摄像系统的特性的摄像机参数，其特征在于，上述校准装置包括：像差亮度修正部，在上述拍摄图像中，修正由上述透镜的像差引起的亮度分布；特征点位置计算部，在上述像差亮度修正部修正了亮度分布的上述拍摄图像中，将上述多个要素的各重心位置作为特征点位置来进行计算；摄像机参数推断运算部，利用上述特征点位置计算部计算出的上述特征点位置和上述基准图中的实际的大致重心位置，推断上述摄像机参数。
由此，在校准系统中，可以得到与上述的校准方法同样的效果。
此外，优选在上述基准图示出排列有多个大致圆形的要素的水珠图案；上述多个大致圆形的要素的颜色是比背景色亮的灰度。
由此，可以降低混入拍摄图像的干扰，所以可以提高特征点位置的计算精度，可以进行高精度的校准。
而且，本发明也可以作为使计算机执行包括在这种校准方法中的步骤的程序来实现。并且，这种程序可以通过CD-ROM(Compact Disc-Read OnlyMemory)等的记录介质、或因特网等的通信网络流通。
根据本发明涉及的校准方法，即使在测距装置的拍摄图像中包含校多透镜的像差，也可以通过适当校正像差的分布，由重心运算来计算特征点坐标，从而进行高精度的校准。
(本申请的技术背景涉及的信息)
将2008年5月19日提出的申请号2008-131327的日本申请的说明书、附图及权利要求书的内容的全体作为参照用引入本申请。
附图说明
图1是表示实施方式1的校准系统的结构的图。
图2是表示实施方式1的基准图的拍摄图像的图。
图3是表示实施方式1的基准图的拍摄图像及计算区的图。
图4是表示实施方式1的照度分布校正用图表的拍摄图像的图。
图5(a)及图5(b)是表示实施方式1的基准图的要素的中心附近的亮度分布(水平方向)的图。
图6(a)～图6(d)是表示实施方式1的基准图的要素的中心附近的亮度分布(水平方向)的图。
图7是表示在实施方式1中对使偏移去除量Ko变动时的、复眼测距装置的测距精度的变化进行测定的实验结果的图表。
图8是表示在实施方式1中对使拍摄图像内的水珠图案的各要素的直径变化时的、测距精度的变化进行测定的实验结果的图表。
图9是表示实施方式2的校准系统的结构的图。
图10(a)及图10(b)是表示实施方式1及实施方式2的基准图的图。
图11是表示本发明的其它实施方式的图。
图12是过去的复眼测距装置的简要图。
图13是一般的立体测距装置的简要图。
图14是说明基于立体测距方式的与对象物之间的距离计算的例子的图。
图15是说明校准处理中的运算的流程的图。
图16是表示在过去的校准中利用的基准图的图。
图17(a)～图17(c)是用于说明过去的校准中的特征点坐标的计算方法的图。
图18是用于说明像差分布的图表的图。
图19(a)～图19(c)是表示一般的立体测距装置中的拍摄图像的亮度分布的图。
图20(a)～图20(c)是表示利用复眼光学系统的立体测距装置中的拍摄图像的亮度分布的图。
图21是表示过去的校准中的摄像机参数推断误差大的区域的图。
图22是用于说明透镜的偏心的图。
附图标记说明
1校准系统
2基准图
3复眼测距装置
4透镜阵列
5a、5b透镜
6摄像元件
7校准装置
8A/D变换部
9预处理部
10特征点坐标推断部
11像差亮度修正部
12照度分布校正部
13亮度反转部
14偏移去除部
15特征点位置计算部
16摄像机参数推断运算部
17后处理部
20图像信号
21、22拍摄图像
23要素
24图像信号
25、26拍摄图像
30基准图
31校准系统
32校准装置
40a、40b摄像元件
41a、41b透镜
80复眼测距装置
81摄像元件
81a、81b摄像区域
82a、82b透镜
90a、90b摄像元件
91a、91b透镜组
100对象物
101a、101b光线
102a、102b透镜
103a、103b光轴
104a、104b摄像区域
105a、105b光学中心
106a、106b交点
107a、107b成像位置
200基准图
201立体摄像机部
202特征点检测部
203摄像机参数推断部
204平行化处理部
210a、210b、210c要素
211交点
216光轴位置
217图像区域
221透镜
222、223光轴
具体实施方式
将具备复眼摄像系统的复眼测距装置的校准作为对象说明本发明涉及的校准方法等，上述复眼摄像系统具有单一的摄像元件、和设置在该摄像元件的上方并且由多个单透镜形成的阵列状的光学系统。
该复眼测距装置可以小型化、低高度化及低成本化，但是受摄像元件的尺寸的限制，焦距f及基线长B变小，所以距离检测分辨率下降。因此，在测距时，需要副像素水平的视差检测分辨率，所以在校准处理中也要求副像素水平的精度。
但是，该复眼测距装置利用单透镜，所以特别是在图像周边部产生由像差造成的大的模糊或变形。由此，在过去的校准方法中，不能进行高精度的校准。
根据本发明，即使在测距装置的拍摄图像内包含较多透镜的像差，通过使用干扰的混入少的基准图，按照适当的顺序去除干扰，适当校正由像差引起的亮度分布，通过重心运算计算特征点坐标，从而可以进行高精度的校准。
以下，利用附图对本发明的最佳的实施方式进行说明。
(实施方式1)
图1是表示本实施方式涉及的校准系统的结构的图。如图所示，校准系统1具备基准图2、复眼测距装置3及校准装置7。以下，简单说明校准系统1的各构成部分和整体的处理流程。
基准图2是以已知的尺寸在白底(白色背景)上描绘黑色的大致圆形的要素的水珠图案的图。在此，水珠图案是指排列有形成大致圆形的形状的多个要素的几何学图案。此外，将基准图2的各要素的大致重心位置(或大致中心位置)设为实际的特征点位置，假设该特征点位置的配置位置已知(以已知的尺寸制作)。而且，在大致重心位置(或大致中心位置)包含视为与严格的重心位置(或中心位置)基本上相同的范围内的位置。此外，基准图2配置成与复眼测距装置3成为预定的位置关系。
复眼测距装置3是由2个摄像系统构成的复眼测距装置，包括一体成型单透镜之透镜5a及5b的透镜阵列4、单一的摄像元件6、未图示的光阑、波长选择滤光片、遮光板、测距运算部等。此外，复眼测距装置3将拍摄基准图2的图像信息传送到校准装置7。
摄像元件6是CMOS、CCD等的固体摄像元件，具有与包含透镜5a或5b的各光学系统对应的摄像区域。
校准装置7是根据从复眼测距装置3传送的图像信息进行复眼测距装置3的校准的装置。校准装置7具备A/D变换部8、预处理部9、特征点坐标推断部10、摄像机参数推断运算部16及后处理部17。
A/D变换部8生成将包含从复眼测距装置3传送的图像信息的模拟信号变换成数字信号的图像信号20。在该图像信号20包含2个摄像系统分别拍摄的所有拍摄图像。
如图2所示，预处理部9从由A/D变换部8生成的图像信号20中提取出由透镜5a映像的基准图2的拍摄图像21(由虚线围绕的区域)及由透镜5b映像的基准图2的拍摄图像22(由虚线围绕的区域)。而且，如图3所示，预处理部9决定用于计算大致圆形的各要素的位置坐标的计算区(由虚线围绕的区域)。
在此，说明计算区的设定方法的例子。首先，预处理部9根据从描绘在基准图2中的大致圆形的各要素的尺寸，复眼测距装置3和基准图2的位置关系，以及从设计规格等得到的复眼测距装置3的光学常数的概略值，制作被推断为在拍摄基准图2时得到的水珠图案的图像，作为样板图像。接着，预处理部9通过样板匹配，从基准图2的拍摄图像21及22求出各要素的中心附近的坐标。最后，预处理部9通过将求出的中心附近的坐标作为中心设定预定尺寸的正方形区，从而可以决定图3中虚线所示的用于计算各水珠图案的位置坐标的计算区。
特征点坐标推断部10具有像差亮度修正部11及特征点位置计算部15，利用图3的以虚线表示的各计算区，从预处理部9提取出的拍摄图像21及22按副像素水平计算水珠图案的各要素的特征点坐标。
像差亮度修正部11具有照度分布校正部12、亮度反转部13及偏移去除部14，在所拍摄的基准图2的拍摄图像21及22中，修正由透镜5a或5b的像差引起的亮度分布。
照度分布校正部12在预处理部9提取出的拍摄图像21及22中，校正由摄像区域内的灵敏度的不均匀及照射到基准图2的光源的照度的不均匀引起的亮度分布。具体地，照度分布校正部12将由一样的色彩构成的照度分布校正用图，利用在与基准图2大致相同的拍摄条件下拍摄时的拍摄图像中的亮度分布，校正由摄像区域内的灵敏度的不均匀及照射到基准图的光源的照度的不均匀引起的亮度分布。
亮度反转部13对由照度分布校正部12校正的图像的亮度值进行反转。在此，反转亮度值是指例如在以0～255的值表示亮度值时将从最大值255减去该亮度值的值设为新的亮度值。
偏移去除部14在设定为各自划分由亮度反转部13反转了亮度值的图像内的多个要素的计算区中，从各像素的亮度值减去去除值，该去除值是在计算区内的亮度值的最小值上加上预定的偏移值后的值。优选偏移去除部14将计算区中的亮度值的最大值和最小值的差分值的2.5％以上40％以下的值设为偏移值，从各像素的亮度值减去去除值。
而且，对于包含上述的照度分布校正部12、亮度反转部13及偏移去除部14的像差亮度修正部11的详细的说明，利用图4～图6后述。
特征点位置计算部15在像差亮度修正部11修正的图像中，根据式(3)计算各计算区内的重心坐标(Cu、Cv)。即，特征点位置计算部15将构成水珠图案的大致圆形的各要素的重心位置设为特征点位置，按副像素水平计算拍摄图像内的特征点位置的坐标即特征点坐标。
[数学式3]
Cu=ΣiΣj(uj·m(uj,vj)),i=1,2,···,j=1,2,···,n]]>
Cv=ΣiΣj(vj·m(ui,vj)),i=1,2,···m,j=1,2,···,n---(3)]]>
m(ui,vi)=I(ui,vi)ΣiΣj(I(ui,vi))]]>
在此，Cu表示计算区内的重心坐标的水平方向的坐标值，Cv表示计算区内的重心坐标的垂直方向的坐标值。此外，计算区的尺寸为m×n像素，I是计算区内的各坐标的亮度值。关于将特征点位置设为各要素的重心所产生的效果，将在后面叙述。
而且，复眼测距装置3对复眼测距装置3和基准图2的位置关系不同的多个图像进行拍摄。并且，特征点坐标推断部10对复眼测距装置3拍摄的多个图像的每一个计算特征点坐标。
摄像机参数推断运算部16根据由特征点坐标推断部10计算出的图像上的特征点坐标和基准图2上的特征点的已知的坐标，例如通过非专利文献1或专利文献3所示的方法推断复眼测距装置3的2个光学系统的摄像机参数。
在此，摄像机参数具体地是指焦距、像素间距、畸变系数、图像中心(图像上的坐标、图像和光轴相交的点)、摄像机坐标系与基准图2上的特征点的已知坐标的世界坐标系的位置关系(旋转及平行移动)等。
具体地，摄像机参数推断运算部16利用图像上的特征点坐标(u、v)和基准图2上的实际的特征点位置的世界坐标(X，Y，Z)，例如通过求解中心射影的射影方程式(式(4))，计算摄像机内部矩阵A、旋转矩阵R及平移矢量t。
[数学式4]
sm~=A[R,t]M~]]>
m~=[u,v,1]T---(4)]]>
M~=[X,Y,Z,1]T]]>
在此，s是标量。此外，u及v是图像坐标系的坐标，X、Y及Z是世界坐标系的坐标。
如式(5)所示，摄像机内部矩阵A是包含αu、αv、θ、u0及v0的5个内部参数的矩阵。此外，旋转矩阵R及平移矢量t是表示摄像机坐标系和世界坐标系的位置关系的外部参数。
[数学式5]
A=αu-αucotθu00αv/sinθv0001---(5)]]>
在此，αu及αv是焦距和u轴方向或v轴方向的像素间距的积。此外，θ表示u轴和v轴的角度。此外，u0及v0表示图像坐标系中的图像中心的坐标。
根据以上，摄像机参数推断运算部16将图像上及基准图2上的特征点坐标代入式(4)，通过计算摄像机内部矩阵A、旋转矩阵R及平移矢量t，可以求出摄像机参数。
而且，上述的摄像机参数推断方法是一例，若是利用特征点坐标推断摄像机参数的方法，则摄像机参数推断运算部16可以通过不同的推断方法推断摄像机参数。
后处理部17根据由摄像机参数推断运算部16推断的摄像机参数，生成用于制作坐标系的图像校正参数，该坐标系是适合进行2个光学系统的平行化等立体测距运算的坐标系。并且，后处理部17将生成的图像校正参数和由摄像机参数推断运算部16推断的摄像机参数输出到复眼测距装置3。
接着，利用图4～图6详细说明像差亮度修正部11的具体的处理。在此，以像差亮度修正部11对由透镜5a映像的图像的处理为中心进行说明。而且，对由透镜5b映像的图像的处理与由透镜5a映像的图像相同，所以省略说明。
首先，利用图4及图5进行照度分布校正部12进行的处理的说明。
图4是表示在与基准图2大致相同的拍摄条件下复眼测距装置3预先拍摄的照度分布校正用图的图像信号24的图。照度分布校正用图是由一样的色彩构成的图，例如是没有图案的仅表示白色的图。
图像信号24内的由虚线围绕的区域即拍摄图像25及拍摄图像26是由透镜5a映像的照度分布校正用图的像及由透镜5b映像的照度分布校正用图的像。
照度分布校正部12首先计算拍摄图像25内的最大亮度值Ismax。接着，照度分布校正部12对拍摄图像25的所有像素，计算相应的像素位置上的亮度值Is(u，v)和最大亮度值Ismax之比即倍率Ks(u，v)(＝Ismax/Is(u，v))。
照度分布校正用图本身在图面内形成大致相同的颜色分布(在此为白色)，所以倍率Ks的分布示出由照明条件、CCD灵敏度分布、透镜的遮光(shading)特性等引起的亮度下降的比例的分布。照度分布校正部12使该倍率Ks的分布作用于从预处理部9输出的基准图的拍摄图像21(图2)。即，照度分布校正部12将拍摄图像21的各像素的亮度值和对应的像素的倍率Ks相乘的亮度值设为新的亮度值，从而校正包含在基准图2的拍摄图像21中的由照明条件、CCD灵敏度分布、透镜的遮光特性等引起的亮度下降。
对这样校正的拍摄图像21，亮度反转部13输出反转亮度值的图像。
而且，在本实施方式中，对将拍摄图像内的最大亮度值和该像素的亮度值之比设为倍率Ks来进行照度分布的校正的事例进行了说明，但是适用本发明的校准装置不限于这种校准装置。例如，可以取代Ismax利用任意的亮度Isfix求出倍率Ks，进行照度分布的校正。
图5是表示图3所示的拍摄图像21中的、基准图2的要素23的中心附近的亮度分布(水平方向)的图。图5(a)表示在输入到照度分布校正部12的拍摄图像21的亮度分布中反转了亮度值的图，图5(b)表示从亮度反转部13输出的拍摄图像21的亮度分布。
如图5(a)所示，照度分布校正部12校正亮度分布之前，通过照明条件等的影响，亮度分布形成梯度。另一方面，如图5(b)所示，照度分布校正部12校正亮度分布之后，校正亮度分布的梯度。
接着，利用图6说明偏移去除部14进行的处理。
图6是用于说明偏移去除部14进行的处理的图，示出基准图2的要素23的中心附近的水平方向的亮度分布(水平方向)。
具体地，图6(a)是表示输入到偏移去除部14的图像的亮度分布的图。此外，图6(b)是表示在后述的第1步骤由偏移去除去14使平滑化滤光片作用之后的拍摄图像的亮度分布的图。此外，图6(c)是表示在后述的第2步骤由偏移去除部14从计算区内的所有像素的亮度值减去计算区内的最小亮度值之后的拍摄图像的亮度分布的图。此外，图6(d)是表示在后述的第4步骤由偏移去除部14从计算区内的所有像素的亮度值减去偏移去除量Ko的拍摄图像的亮度分布的图。
偏移去除部在3个步骤执行处理。首先，在第1步骤，偏移去除部14通过使平滑化滤光片(低通滤光片)作用于各计算区内的图像，降低图像内的噪声。其结果，输入到偏移去除部14的图像的亮度分布(图6(a))，如图6(b)所示成为去除了高频成分的亮度分布。
接着，在第2步骤，偏移去除部14利用通过第1步骤的处理降低噪声的图像，从该计算区内的所有像素的亮度值减去各计算区内的最小亮度值Imin。其结果，图6(b)所示的亮度分布如图6(c)所示成为去除了最小亮度值以下的亮度的亮度分布。
接着，在第3步骤，偏移去除部14利用通过第2步骤的处理减去了最小亮度值Imin的图像，对每个计算区，从计算区内的所有亮度值减去预定的偏移去除量Ko。其结果，如图6(d)所示，如图6(c)所示的亮度分布成为去除了偏移去除量Ko以下的亮度的亮度分布。
如上所述，通过照度分布校正部12、亮度反转部13及偏移去除部14依次执行处理，从而像差亮度修正部11可以修正由透镜5a的像差引起的亮度分布。
特别是，在偏移去除部14减去亮度值的第2及第3步骤的处理之前，通过照度分布校正部12校正由照明条件、CCD灵敏度分布、透镜的遮光特性等引起的亮度下降，从而偏移去除部14在第2步骤可以减去适当的亮度值。即，通过以适当的顺序校正混入图像中的干扰，从而特征点位置计算部15可以更准确地计算特征点坐标。
此外，在偏移去除部14减去亮度值的第2及第3步骤的处理之前执行基于平滑化滤光片的平滑化的处理(第1步骤)，从而可以降低决定减去的亮度值时的由噪声造成的影响。
而且，在本实施方式中，偏移去除部14将减去最小亮度值Imin的第2步骤和减去预定的偏移去除量Ko的第3步骤作为各自独立的步骤进行了处理，但是也可以同时减去最小亮度值Imin和偏移去除量Ko的和。
接着，利用图7对偏移去除部14在第3步骤减去的偏移去除量Ko进行说明。
图7是表示对使偏移去除量Ko变动时的复眼测距装置3的测距精度的变化进行测定的实验结果的图表。
而且，在图7的图表中，横轴表示在第2步骤减去最小亮度值之后的、偏移去除量Ko对计算区内的最大亮度值的比例。此外，纵轴表示复眼测距装置3利用预定的测距精度验证用图进行测距时的、图像区域内的测距结果的正解率。
在本实验中，将测距运算中的视差的检测误差为0.3像素以内的情况设为正解，计算出正解率。而且，此处的测距运算是利用图1所示的校准装置7利用预定的偏移去除量Ko计算出的图像校正参数来实施的。
如图7所示，通过将偏移去除量Ko设为计算区内的最大亮度(偏移去除前的亮度)的50％以内，从而复眼测距装置3的测距精度比偏移去除部14没有第3步骤时(图7的横轴为0的测距正解率)提高。特别是，通过将偏移去除量Ko设定在计算区内的最大亮度的2.5％到40％之间，从而可期待测距精度大幅提高的效果。
因此，偏移去除部14在各计算区中，计算成为由第2步骤去除了最小亮度值Imin之后的最大亮度值的2.5～40％的值，将计算出的值作为偏移去除量Ko而从亮度分布减去该值。
如上所述，测距精度提高被认为是因为在构成水珠图案的要素23的像的周边部能够去除亮度分布的对称性受损的部分而得到的效果。即，在要素23的像的周边部，由于透镜的偏心、透镜光轴和摄像元件的摄像面未垂直安装等，图像中的由透镜的像差引起的亮度分布对透镜光轴位置的对称性(同心圆形)受损。其结果，要素23的像的周边部难以模型化，亮度值的校正困难。因此，认为通过从特征点坐标计算的对象中去除对称性受损、亮度值的校正困难的部分，从而提高特征点坐标的计算精度。
即，图7的测距运算结果是利用透镜的偏心量为3μm左右时的拍摄图像的测距运算结果。通过偏移去除部14的第3步骤的处理，认为在由透镜的偏心等造成的变形的分布中，去除产生不平衡的部分的结果，测距精度提高。
接着，说明将特征点位置设为各要素23的重心所产生的效果。
如上所述，图1所示的复眼测距装置3与一般的立体测距装置相比在拍摄图像中包含较多透镜的像差。其结果，拍摄图像中的亮度分布以透镜的光轴位置为中心以同心圆形变化。即，在放射方向(弧矢方向)和其圆周方向(切向方向)分布变形。
因此，在由于像差大而特征点的亮度变化非常小时，特征点坐标的推断必须是加进该像差的计算方法。例如，利用一般的二值化处理计算各要素23的外形，将计算出的外形的中心位置计算为特征点坐标时，特征点坐标的计算值很大程度上取决于二值化时的阈值。因此，在像差大且特征点的亮度变化小时，基于二值化处理的特征点坐标的计算方法不适合。
而且，特征点坐标的推断必须是加进像差分布的所有方向的像差的计算方法。即，如图17所示的利用界线的特征点坐标的计算那样，仅考虑水平方向和垂直方向的像差分布的计算方法不适合。
因此，特征点位置计算部15通过式(3)所示的重心运算，计算特征点坐标。由此，特征点位置计算部15可以根据拍摄图像内的各像素的亮度值的大小计算特征点坐标，因此，即使在拍摄图像内特征点的亮度的变化非常小时，也能够以高精度计算特征点坐标。此外，特征点位置计算部15不取决于水平方向、垂直方向等特定的方向，可以加进分布有像差的所有方向的像差来计算特征点坐标，因此，即使在放射方向(弧矢方向)及圆周方向(切向方向)上分布变形时，也能够以高精度计算特征点坐标。
通过这种重心运算，利用高精度地计算出的特征点坐标，若摄像机参数推断运算部16推断摄像机参数，则用过去的校准方法生成的摄像机参数推断误差大幅度降低。
根据以上，本发明涉及的校准系统，即使在复眼测距装置的拍摄图像包含很多透镜的像差，通过按适当的顺序去除干扰，适当校正像差的分布，通过重心运算计算特征点坐标，从而减少因噪声或照明等照度分布的不均匀造成的干扰引起的特征点检测精度的下降、以及由透镜偏心等造成的像差分布的不平衡引起的坏影响，可以进行高精度的校准。
而且，优选将各要素23的直径及复眼测距装置3和基准图2的位置关系设定为描绘在图1的基准图2中的水珠图案的各要素23的直径在复眼测距装置3拍摄的拍摄图像中成为25像素以上。由此，校准系统1可以进一步降低由噪声等混入图像的干扰造成的影响。
图8是对使拍摄图像内的水珠图案的各要素的直径变化时的、测距精度的变化进行测定的实验结果的图表。在图8中，横轴表示拍摄图像内的基准图2的要素23的直径。此外，纵轴与图7同样是复眼测距装置3利用预定的测距精度验证用图进行测距时的、图像区域内的测距结果的正解率。在本实验中，也将测距运算中的视差的检测误差为0.3像素以内的情况设为正解，来计算正解率。根据图可知，在拍摄图像中，若要素23的直径为25像素左右以上，则可以进行高精度的测距。即，在拍摄图像中，若要素23的直径为25像素左右以上，则可以进行高精度的校准。
(实施方式2)
接着，利用附图对本发明的实施方式2进行说明。
图9是表示本实施方式涉及的校准系统的构成的图。而且，与图1相同的号码的部分实施与实施方式1同样的处理，所以省略说明。
此外，本实施方式的校准系统31与实施方式的校准系统1的不同点在于，基准图30的配色和在校准装置32没有亮度反转部13，其它的构成部分及功能等与实施方式1的校准系统1相同。
基准图30是在黑底(背景黑色)描绘有白色的大致圆形的要素的水珠图案的图。即，在基准图30中，各要素的颜色是比背景色亮的灰度。此外，基准图30是从实施方式1的基准图2进行了黑白反转的图。因此，在本实施方式的校准装置32中不需要实施方式1的校准装置7具备的亮度反转部13。
通过具备图9所示的基准图30的校准系统31进行复眼测距装置3的校准，可以通过实施方式1的校准系统1高精度地进行校准。
这是因为，在图9的基准图30及图1的基准图2中，若比校大致圆形的要素的总面积和背景部分的总面积，则背景部分的总面积大。即，如本实施方式的基准图30，将背景部设为黑色，将大致圆形的要素设为比白色等背景色亮的灰度的颜色，从而与实施方式1的基准图2相比，受到由照明等造成的照度分布的不均匀的面积减少。因此，基准图30能够大幅降低混入图像中的干扰。
图10(a)表示在实施方式1中利用的基准图2。此外，图10(b)表示在本实施方式(实施方式2)中利用的基准图30。
图10(b)所示的基准图30与图10(a)所示的基准图2相比，可知难以受由照明等引起的照度分布的不均匀的黑色的面积大。
因此，与图13所示的像差少(相对于图像的亮度变化，干扰较小)的一般的立体摄像机的校准相比，特别是在由像差引起的变形大(相对于图像的亮度变化，干扰较大)的复眼测距装置3的校准中，可以有效地抑制由干扰引起的特征点检测精度的下降。
此外，本实施方式的校准系统31与实施方式1的校准系统1相比，能够大幅度降低混入图像的干扰，所以构成水珠图案的各要素的亮度的变化和干扰的分离也容易，可以进行更高精度的校准。
根据以上，本发明涉及的校准系统，即使复眼测距装置的拍摄图像包含较多透镜的像差，通过使用干扰的混入少的基准图，按适当的顺序去除干扰，适当校正像差的分布，由重心运算计算特征点坐标，从而可以进行高精度的校准。
而且，优选将各要素的直径及复眼测距装置3和基准图30的位置关系与实施方式1同样设定为：在复眼测距装置3拍摄的拍摄图像中，描绘在基准图30的水珠图案的各要素的直径成为25像素以上。由此，校准系统31可以进一步降低由噪声等混入图像的干扰造成的影响。
以上，根据实施方式1及实施方式2对本发明涉及的校准方法等进行了说明，但是本发明不限于这些实施方式。只要不脱离本发明的宗旨，对上述实施方式实施本领域普通技术人员想到的各种变形的方式、组合不同的实施方式中的构成要素来构建的方式也包含在本发明的范围内。
例如，在如图11所示的包含多个摄像元件40a、40b和与摄像元件40a、40b分别对应的分辨率低的透镜41a、41b的结构的立体测距装置的校准中，当然可以得到与上述实施方式同样的效果。
此外，本发明当然可以应用于利用3个以上的立体测距(多眼立体)装置的校准中。即，本发明涉及的校准方法可以将在不同的光学系统之间产生的视差应用于高精度地计测的所有装置中。而且，本发明涉及的校准方法也可以应用于利用光流等图像处理技术的、使单一的光学系统移动而检测视差并计算对象物距离的类型的立体摄像机。
此外，在上述实施方式中，在基准图上描绘有由大致圆形的要素构成的水珠图案，但是也可以描绘有由四边形、六边形等要素构成的几何学图案。此外，也可以作为基准图而利用示出几何学图案的液晶显示器等显示装置。
此外，在上述实施方式中，假设基准图的尺寸、配置位置等已知，但是也可以在拍摄基准图之后实际测量基准图的尺寸、配置位置等。
此外，在上述实施方式中，校准装置具备A/D变换部，但是校准装置不一定要具备A/D变换部。校准装置不具备A/D变换部时，校准装置从复眼测距装置接收数字化的摄像信号。
此外，本发明也可以将校准装置执行的处理作为使计算机执行的程序来实现。并且，这种程序可以通过CD-ROM等的记录介质、或因特网等的通信网络流通。
工业实用性
本发明涉及可求出与对象物之间的距离、或对象物的三维位置或形状的测距装置的校准，在以车载、监视、医疗、机器人、游戏、CG(Computer Graphics，计算机图形)图像制作、立体图像用输入用途等利用的测距装置的校准中有用。