三维测定方法、装置及系统、以及图像处理装置.pdf

容易且高精度地进行三维测定。三维测定装置(10)具备基线长BL的第一摄像部(11)及第二摄像部(12)、从图像中检测特征点的特征点检测部(21)、检测特征点的对应点的对应点检测部(22)、旋转矩阵计算部(23)、平移矩阵计算部(24)、平移距离计算部(25)及三维数据计算部(26)。旋转矩阵计算部(23)基于特征点和对应点，以第一拍摄位置为基准，计算表示第二拍摄位置的旋转方向及旋转量的旋转矩阵。平移矩阵计算部(24)基于特征点和对应点，以第一拍摄位置为基准，计算表示第二拍摄位置的平移移动方向的平移矩阵。平移距离计算部(25)基于旋转矩阵、平移矩阵及基线长，计算以第一拍摄位置为基准的第二拍摄位置的平移距离。三维数据计算部(26)使用平移距离来计算三维数据。

权利要求书
1.  一种三维测定装置，具备：
第一摄像部，对被摄体进行拍摄；
第二摄像部，相对于所述第一摄像部隔开预定的基线长配置，对包含所述第一摄像部拍摄的所述被摄体的至少一部分的范围进行拍摄；
特征点检测部，从在第一拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像中的至少任一张图像检测多个特征点；
对应点检测部，分别对于在与所述第一拍摄位置不同的第二拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像，检测与所述特征点对应的对应点；
旋转矩阵计算部，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的朝向为基准，计算表示所述第二拍摄位置的所述第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示所述第二拍摄位置的所述第二摄像部的旋转方向及旋转量的第二旋转矩阵；
平移矩阵计算部，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的位置为基准，计算表示所述第二拍摄位置的所述第一摄像部的平移移动方向的第一平移矩阵和表示所述第二拍摄位置的所述第二摄像部的平移移动方向的第二平移矩阵；
平移距离计算部，基于所述第一旋转矩阵、所述第二旋转矩阵、所述第一平移矩阵、所述第二平移矩阵及所述基线长，计算以所述第一拍摄位置的所述第一摄像部或所述第二摄像部为基准的所述第二拍摄位置的所述第一摄像部或所述第二摄像部的平移距离；以及
三维数据计算部，基于所述平移距离，计算所述被摄体的三维数据。

2.  根据权利要求1所述的三维测定装置，其中，
所述平移距离计算部求出基线长向量的前端与所述第一方向或所述第二方向中的另一方的距离最小的所述基线长向量的位置，基于处于该位置的所述基线长向量的基端及前端的位置，计算各自的所述平移距离，
所述基线长向量具有所述基线长的长度，并将通过所述第一旋转矩阵及所述第二旋转矩阵确定的基线长向量的基端放置在所述第一平移矩阵所表示的第一方向或所述第二平移矩阵所表示的第二方向中的一方上。

3.  根据权利要求2所述的三维测定装置，其中，
所述平移距离计算部将所述第一方向和所述第二方向中的所述另一方的方向与所述基线长向量的前端的距离的最小值和预定阈值进行比较，在所述最小值比所述预定阈值小时，改变条件并再计算所述平移距离。

4.  根据权利要求1所述的三维测定装置，其中，
所述平移距离计算部在使用在所述第一拍摄位置及所述第二拍摄位置得到的四张图像中任意组合的多个图像而计算出的第一所述平移距离和使用与计算所述第一平移距离时使用的所述多个图像不同的组合的多个图像而计算出的表示与所述第一平移距离相同的摄像部间的距离的第二所述平移距离之差比预定阈值大时，改变条件并再计算所述平移距离。

5.  根据权利要求3所述的三维测定装置，其中，
在所述平移距离计算部再计算所述平移距离时，所述对应点检测部改变用于检测所述对应点的条件，再检测所述对应点，所述旋转矩阵计算部、所述平移矩阵计算部及所述平移距离计算部基于所述特征点和再检测到的所述对应点，再计算所述旋转矩阵、所述平移矩阵及所述平移距离。

6.  根据权利要求5所述的三维测定装置，其中，
在再检测所述对应点时改变的条件是所述特征点的组合。

7.  根据权利要求5所述的三维测定装置，其中，
所述对应点检测部通过块匹配法进行所述对应点的检测，该块匹配法将包含所述特征点的在所述第一拍摄位置拍摄到的图像中的包含所述特征点的部分图像与在所述第二拍摄位置拍摄到的图像按照各部分进行比较而将一致度高的所述部分设为所述对应点，
再检测所述对应点时改变的条件中包括将所述部分图像与在所述第二拍摄位置拍摄到的图像按照各部分进行比较时的所述部分图像的放大缩小率和旋转角度中的任一个。

8.  根据权利要求3所述的三维测定装置，其中，
所述特征点检测部改变所述特征点的检测条件并再检测所述特征点，所述对应点检测部、所述旋转矩阵计算部、所述平移矩阵计算部及所述平移距离计算部基于再检测到的所述特征点，再计算所述对应点的检测、所述旋转矩阵、所述平移矩阵及所述平移距离。

9.  根据权利要求3所述的三维测定装置，其中，
所述旋转矩阵计算部基于作为所述第一摄像部的平移距离的假定值、所述第一旋转矩阵及所述第一平移矩阵，再计算所述第二旋转矩阵，
所述平移矩阵计算部基于所述假定值、所述第一旋转矩阵及所述第一平移矩阵，再计算所述第二平移矩阵，
所述平移距离计算部基于所述假定值和再计算出的所述第二旋转矩阵及所述第二平移矩阵，在所述第二拍摄位置得到的图像上计算至少一个对所述特征点确定的核线，在所述核线上求出与所述特征点的一致度，进而变更所述假定值并反复进行所述一致度的计算，通过选出所述一致度最高的所述核线来确定所述第二拍摄位置，再计算所述 平移距离。

10.  根据权利要求2所述的三维测定装置，其中，
所述平移距离计算部以多个所述特征点中的检测所述对应点的所述特征点的组合或用于检测所述对应点的条件不同的多个条件来预先计算所述平移距离，
所述三维数据计算部对所述第一方向和所述第二方向中的所述另一方的方向与所述基线长向量的前端的距离的最小值进行比较，使用以所述最小值小的所述条件计算出的所述平移距离。

11.  根据权利要求1所述的三维测定装置，其中，
所述三维数据是所述被摄体的实际空间上的尺寸或所述被摄体的三维模型数据。

12.  一种图像处理装置，具备：
存储部，存储通过一个或两个立体相机在第一拍摄位置和第二拍摄位置分别拍摄到的图像，该立体相机具有对被摄体进行拍摄的第一摄像部和相对于所述第一摄像部隔开预定的基线长配置且对包含所述第一摄像部拍摄的所述被摄体的至少一部分的范围进行拍摄的第二摄像部；
特征点检测部，从在所述第一拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像中的至少任一张图像检测多个特征点；
对应点检测部，分别对于在所述第二拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像，检测与所述特征点对应的对应点；
旋转矩阵计算部，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的朝向为基准，计算表示所述第二拍摄位置的所述第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示所述第二拍摄位置的所述第二摄像部的旋转方向及旋转量 的第二旋转矩阵；
平移矩阵计算部，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的位置为基准，计算表示所述第二拍摄位置的所述第一摄像部的平移移动方向的第一平移矩阵和表示所述第二拍摄位置的所述第二摄像部的平移移动方向的第二平移矩阵；
平移距离计算部，基于所述第一旋转矩阵、所述第二旋转矩阵、所述第一平移矩阵、所述第二平移矩阵及所述基线长，计算以所述第一拍摄位置的所述第一摄像部或所述第二摄像部为基准的所述第二拍摄位置的所述第一摄像部或所述第二摄像部的平移距离；以及
三维数据计算部，基于所述平移距离，计算所述被摄体的三维数据。

13.  一种三维测定系统，具备：
A.一个或两个立体相机，具有对被摄体进行拍摄的第一摄像部和相对于所述第一摄像部隔开预定的基线长配置且对包含所述第一摄像部拍摄的所述被摄体的至少一部分的范围进行拍摄的第二摄像部；和
B.图像处理装置，具有存储部、特征点检测部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、平移距离计算部及三维数据计算部，其中，所述存储部存储在第一拍摄位置和第二拍摄位置分别拍摄到的图像，所述特征点检测部从在所述第一拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像中的至少任一张图像检测多个特征点，所述对应点检测部分别对于在所述第二拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像，检测与所述特征点对应的对应点，所述旋转矩阵计算部基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的朝向为基准，计算表示所述第二拍摄位置的所述第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示所述第二拍摄位置的所述第二摄像部的旋转方向及旋转量的第二旋转矩阵，所述平移矩阵计算部基于所述特征点和所述对应点，以所述第一拍摄位置 的所述第一摄像部或所述第二摄像部的位置为基准，计算表示所述第二拍摄位置的所述第一摄像部的平移移动方向的第一平移矩阵和表示所述第二拍摄位置的所述第二摄像部的平移移动方向的第二平移矩阵，所述平移距离计算部基于所述第一旋转矩阵、所述第二旋转矩阵、所述第一平移矩阵、所述第二平移矩阵及所述基线长，计算以所述第一拍摄位置的所述第一摄像部或所述第二摄像部为基准的所述第二拍摄位置的所述第一摄像部或所述第二摄像部的平移距离，所述三维数据计算部基于所述平移距离，计算所述被摄体的三维数据。

14.  根据权利要求13所述的三维测定系统，其中，
所述立体相机是车载相机。

15.  一种三维测定方法，使用一个或两个立体相机来求出被摄体的三维数据，该立体相机具有对被摄体进行拍摄的第一摄像部和相对于所述第一摄像部隔开预定的基线长配置且对包含所述第一摄像部拍摄的所述被摄体的至少一部分的范围进行拍摄的第二摄像部，所述三维测定方法的特征在于，具备：
特征点检测步骤，从在第一拍摄位置通过所述第一摄像部及所述第二摄像部拍摄所述被摄体而得到的两张图像中的至少任一张图像检测多个特征点；
对应点检测步骤，分别对于通过所述立体相机在与所述第一拍摄位置不同的第二拍摄位置拍摄所述被摄体而得到的两张图像，检测与所述特征点对应的对应点；
旋转矩阵计算步骤，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的朝向为基准，计算表示所述第二拍摄位置的所述第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示所述第二拍摄位置的所述第二摄像部的旋转方向及旋转量的第二旋转矩阵；
平移矩阵计算步骤，基于所述特征点和所述对应点，以所述第一拍摄位置的所述第一摄像部或所述第二摄像部的位置为基准，计算表 示所述第二拍摄位置的所述第一摄像部的平移移动方向的第一平移矩阵和表示所述第二拍摄位置的所述第二摄像部的平移移动方向的第二平移矩阵；
平移距离计算步骤，基于所述第一旋转矩阵、所述第二旋转矩阵、所述第一平移矩阵、所述第二平移矩阵及所述基线长，计算以所述第一拍摄位置的所述第一摄像部或所述第二摄像部为基准的所述第二拍摄位置的所述第一摄像部或所述第二摄像部的平移距离；以及
三维数据计算步骤，基于所述平移距离，计算所述被摄体的三维数据。

说明书三维测定方法、装置及系统、以及图像处理装置
技术领域
本发明涉及一种用于根据拍摄的图像来求出被摄体的三维数据的三维测定方法、装置及系统、以及图像处理装置。
背景技术
已知有基于从两地点拍摄被摄体而得到的两个图像来计算被摄体的三维数据(例如尺寸)的三维测定装置。三维测定装置例如由左右隔开预定间隔(以下，称为基线长)而配置的两个相机和根据通过这两个相机而得到的具有视差的图像来计算三维数据的处理装置等形成。
三维测定所需的两个图像只要是拍摄同一被摄体且相互存在视差的图像即可，因此例如可以使用通过具有两个摄影镜头的立体相机得到的图像。然而，三维测定装置的三维数据的测定精度取决于被摄体的大小与基线长的长度的关系，因此在测定的被摄体的大小大于立体相机的基线长时，即使能够得到大致的三维数据误差也较大，无法得到可靠的值。因此，在高精度地测定建筑物等大小比较大的被摄体的三维数据的情况下，需要延长基线长。例如，专利文献1的三维测定装置通过在机动车上安装2台相机，作为整体而形成巨大的立体相机。
另外，为了高精度地进行三维测定，需要准确地获知基线长。在通常的立体相机中，在制造时刻以使基线长成为预定长度的方式预先高精度地进行对位。然而，如专利文献1那样使用2台相机来形成巨大的立体相机的情况下，不容易使基线长准确地符合预定值、预先准确地测定基线长。因此，专利文献1公开了一种用于预先准确地测定基线长的校准的方法。而且，在专利文献2中也记载有用于预先准确地测定基线长的校准方法。
而且，近年来，也已知有一种利用基线长较短的立体相机从两个拍摄位置拍摄被摄体、且能够使用在各拍摄位置得到的图像高精度地测定三维数据的三维测定装置。但是，专利文献3的三维测定装置为了获知两个拍摄位置间的距离，将形状、尺寸等已知的基准被摄体与测定三维数据的被摄体一起拍摄。若将移动前后的立体相机的整体作为巨大的1个立体相机，则两个拍摄位置间的距离相当于该巨大的立体相机的基线长。因此，专利文献3的三维测定装置也以已知基线长为前提的情况与专利文献1、2的三维测定装置相同。
现有技术文献
专利文献
专利文献1：日本特开2007-263669号公报
专利文献2：日本特开2005-241323号公报
专利文献3：日本特开2011-232330号公报
发明内容
发明要解决的课题
在使用两个相机来形成基线长(相机间距离)较长的巨大的立体相机而进行三维测定的情况下，如专利文献1、2公开那样，必须预先高精度地求出基线长，但是若为了将被摄体良好地收进拍摄范围内而变更各相机的配置，则当然必须再次进行繁杂的校准。例如像专利文献1那样将两个相机安装于机动车时，为了利用两个相机良好地捕捉被摄体而必须改变机动车的朝向，但是在必须从道宽较窄的道路进行拍摄的情况下或必须在车辆禁止驶入的场所进行拍摄的情况下等，不得不改变相机的配置。
也考虑了不将基线长较长的巨大的立体相机安装于机动车而进行搬运的情况，但是由于巨大而并不现实。而且，不将两个相机分别搬运、进行校准而以使基线长成为预定值的方式进行再配置的情况基本 不可能。这样，在使用基线长较长的巨大的立体相机的情况下，必须重新进行校准的情况较多，非常不便。
另外，在使用通常尺寸的基线长较短的立体相机进行三维测定的情况下，虽然如专利文献3那样能够挪动基准被摄体并配置在适当的位置来拍摄被摄体，但非常不便。例如，必须以不会成为被摄体的三维测定的干扰的方式对基准被摄体的配置想办法，而且在想要获知处于高位置的被摄体的尺寸等的情况下等，在无法将基准被摄体与被摄体一起良好地配置于拍摄范围时，存在无法进行三维测定的情况。不依赖于拍摄时的状况而用于随时能够高精度地计算巨大的立体相机的基线长的基准被摄体的形状、材质等的选定并不容易。
这样，在以往的装置中，由于需要校准而操作比较麻烦，而且在省略校准或未准确地测定基线长的情况下，无法进行高精度的三维测定。
本发明目的在于提供一种操作容易且能够进行高精度的三维测定的三维测定方法、装置及系统、以及图像处理装置。
用于解决课题的方案
本发明的三维测定装置具备第一摄像部、第二摄像部、特征点检测部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、平移距离计算部及三维数据计算部。第一摄像部和第二摄像部隔开预定的基线长配置，第二摄像部拍摄包含第一摄像部拍摄的被摄体的至少一部分的范围。特征点检测部从在第一拍摄位置通过第一摄像部及第二摄像部拍摄被摄体而得到的两张图像中的至少任一张图像检测多个特征点。对应点检测部分别对于在与第一拍摄位置不同的第二拍摄位置通过第一摄像部及第二摄像部拍摄被摄体而得到的两张图像，检测与特征点对应的对应点。旋转矩阵计算部基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的朝向为基准，计算表示第二拍摄 位置的第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示第二拍摄位置的第二摄像部的旋转方向及旋转量的第二旋转矩阵。平移矩阵计算部基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的位置为基准，计算表示第二拍摄位置的第一摄像部的平移移动方向的第一平移矩阵和表示第二拍摄位置的第二摄像部的平移移动方向的第二平移矩阵。平移距离计算部基于第一旋转矩阵、第二旋转矩阵、第一平移矩阵、第二平移矩阵及基线长，计算以第一拍摄位置的第一摄像部或第二摄像部为基准的第二拍摄位置的第一摄像部或第二摄像部的平移距离。三维数据计算部基于平移距离，计算被摄体的三维数据。
优选的是，平移距离计算部求出基线长向量的前端与第一方向或第二方向中的另一方的距离最小的基线长向量的位置，基于处于该位置的基线长向量的基端及前端的位置，计算各自的平移距离。基线长向量具有基线长的长度，并将通过第一旋转矩阵及第二旋转矩阵确定的基线长向量的基端放置在第一平移矩阵所表示的第一方向或第二平移矩阵所表示的第二方向中的一方上。
优选的是，平移距离计算部将第一方向和第二方向中的另一方的方向与基线长向量的前端的距离的最小值和预定阈值进行比较，在最小值比预定阈值小时，改变条件并再计算平移距离。
优选的是，平移距离计算部在使用在第一拍摄位置及第二拍摄位置得到的四张图像中任意组合的多个图像而计算出的第一平移距离和使用与计算第一平移距离时使用的多个图像不同的组合的多个图像而计算出的表示与第一平移距离相同的摄像部间的距离的第二平移距离之差比预定阈值大时，改变条件并再计算平移距离。
优选的是，在平移距离计算部再计算平移距离时，对应点检测部改变用于检测对应点的条件，再检测对应点，旋转矩阵计算部、平移 矩阵计算部及平移距离计算部基于特征点和再检测到的对应点，再计算旋转矩阵、平移矩阵及平移距离。
优选的是，在再检测对应点时改变的条件是特征点的组合。
对应点检测部通过块匹配法进行对应点的检测，该块匹配法将包含特征点的在第一拍摄位置拍摄到的图像中的包含特征点的部分图像与在第二拍摄位置拍摄到的图像按照各部分进行比较而将一致度高的部分设为对应点。并且，优选的是，再检测对应点时改变的条件中包括将部分图像与在第二拍摄位置拍摄到的图像按照各部分进行比较时的部分图像的放大缩小率和旋转角度中的任一个。
优选的是，特征点检测部改变特征点的检测条件并再检测特征点，对应点检测部、旋转矩阵计算部、平移矩阵计算部及平移距离计算部基于再检测到的特征点，再计算对应点的检测、旋转矩阵、平移矩阵及平移距离。
旋转矩阵计算部基于第一摄像部的平移距离即假定值、第一旋转矩阵及第一平移矩阵，再计算第二旋转矩阵，平移矩阵计算部基于假定值、第一旋转矩阵及第一平移矩阵，再计算第二平移矩阵，平移距离计算部基于假定值和再计算出的第二旋转矩阵及第二平移矩阵，在第二拍摄位置得到的图像上计算至少一个对特征点确定的核线，在核线上求出与特征点的一致度。并且，优选的是，变更假定值并反复进行一致度的计算，通过选出一致度最高的核线来确定第二拍摄位置，再计算平移距离。
优选的是，平移距离计算部以多个特征点中的检测对应点的特征点的组合、或用于检测对应点的条件不同的多个条件来预先计算平移距离，三维数据计算部对第一方向和第二方向中的另一方的方向与基线长向量的前端的距离的最小值进行比较，使用以最小值小的条件计 算出的平移距离。
三维数据例如是被摄体的实际空间上的尺寸或被摄体的三维模型数据。
本发明的图像处理装置具备存储部、特征点检测部、对应点检测部、旋转矩阵计算部、平移矩阵计算部、平移距离计算部及三维数据计算部。存储部存储通过一个或两个立体相机在第一拍摄位置和第二拍摄位置分别拍摄到的图像，该立体相机具有对被摄体进行拍摄的第一摄像部和相对于第一摄像部隔开预定的基线长配置且对包含第一摄像部拍摄的被摄体的至少一部分的范围进行拍摄的第二摄像部。特征点检测部从在第一拍摄位置通过第一摄像部及第二摄像部拍摄被摄体而得到的两张图像中的至少任一张图像检测多个特征点。对应点检测部分别对于在第二拍摄位置通过第一摄像部及第二摄像部拍摄被摄体而得到的两张图像，检测与特征点对应的对应点。旋转矩阵计算部基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的朝向为基准，计算表示第二拍摄位置的第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示第二拍摄位置的第二摄像部的旋转方向及旋转量的第二旋转矩阵。平移矩阵计算部基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的位置为基准，计算表示第二拍摄位置的第一摄像部的平移移动方向的第一平移矩阵和表示第二拍摄位置的第二摄像部的平移移动方向的第二平移矩阵。平移距离计算部基于第一旋转矩阵、第二旋转矩阵、第一平移矩阵、第二平移矩阵及基线长，计算以第一拍摄位置的第一摄像部或第二摄像部为基准的第二拍摄位置的第一摄像部或第二摄像部的平移距离。三维数据计算部基于平移距离，计算被摄体的三维数据。
本发明的三维测定系统具备一个或两个立体相机和上述图像处理装置。立体相机具有对被摄体进行拍摄的第一摄像部和相对于第一摄像部隔开预定的基线长配置且对包含第一摄像部拍摄的被摄体的至少 一部分的范围进行拍摄的第二摄像部。
优选的是，立体相机是车载相机。
本发明的三维测定方法使用一个或两个立体相机来求出被摄体的三维数据，该立体相机具有对被摄体进行拍摄的第一摄像部和相对于第一摄像部隔开预定的基线长配置且对包含第一摄像部拍摄的被摄体的至少一部分的范围进行拍摄的第二摄像部，三维测定方法具备特征点检测步骤、对应点检测步骤、旋转矩阵计算步骤、平移矩阵计算步骤、平移距离计算步骤及三维数据计算步骤。在特征点检测步骤中，从在第一拍摄位置通过第一摄像部及第二摄像部拍摄被摄体而得到的两张图像中的至少任一张图像检测多个特征点。立体相机是具有对被摄体进行拍摄的第一摄像部和相对于第一摄像部隔开预定的基线长配置且对包含第一摄像部拍摄的被摄体的至少一部分的范围进行拍摄的第二摄像部的相机。在对应点检测步骤中，分别对于通过立体相机在与第一拍摄位置不同的第二拍摄位置拍摄被摄体而得到的两张图像，检测与特征点对应的对应点。在旋转矩阵计算步骤中，基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的朝向为基准，计算表示第二拍摄位置的第一摄像部的旋转方向及旋转量的第一旋转矩阵和表示第二拍摄位置的第二摄像部的旋转方向及旋转量的第二旋转矩阵。在平移矩阵计算步骤中，基于特征点和对应点，以第一拍摄位置的第一摄像部或第二摄像部的位置为基准，计算表示第二拍摄位置的第一摄像部的平移移动方向的第一平移矩阵和表示第二拍摄位置的第二摄像部的平移移动方向的第二平移矩阵。在平移距离计算步骤中，基于第一旋转矩阵、第二旋转矩阵、第一平移矩阵、第二平移矩阵及基线长，计算以第一拍摄位置的第一摄像部或第二摄像部为基准的第二拍摄位置的第一摄像部或第二摄像部的平移距离。在三维数据计算步骤中，基于平移距离，计算被摄体的三维数据。
发明效果
根据本发明，从使用基线长确定的两个摄像部在两个拍摄位置分别拍摄而得到的图像，计算拍摄它们的各摄像部间的距离(相当于巨大的立体相机的基线长)，因此不进行校准，而且，不使用基准被摄体，仅通过拍摄要测定三维数据的被摄体而得到的图像，就能够进行高精度的三维测定。
附图说明
图1是三维测定装置的说明图。
图2是测定部的框图。
图3是表示旋转矩阵、平移矩阵、及平移距离的说明图。
图4是表示平移距离的任意性的说明图。
图5是表示三维测定的步骤的流程图。
图6是表示特征点的概要的说明图。
图7是表示对应点检测的概要的说明图。
图8是表示检索第二拍摄位置B的原理的说明图。
图9是表示将三维数据显示于显示器的情况的说明图。
图10是表示基线长向量与T1a-T2a平面的关系的说明图。
图11是表示第二实施方式的三维测定的步骤的流程图。
图12是表示在第三实施方式中计算的旋转矩阵及平移矩阵和平移距离的说明图。
图13是表示在第三实施方式中检索第二拍摄位置的原理的说明图。
图14是表示第三实施方式的更优选的三维测定步骤的流程图。
图15是表示第三实施方式的更优选的三维测定步骤的流程图。
图16是表示第三实施方式的变形例的三维测定步骤的流程图。
图17是表示第三实施方式的变形例的三维测定步骤的流程图。
图18是表示另一三维测定步骤的流程图。
图19是表示核线的例子的说明图。
图20是表示沿着核线计算一致度的情况的说明图。
图21是表示进行使用了核线的三维测定时的测定部的结构的框 图。
图22是表示三维测定系统的框图。
图23是表示具备多个立体相机的三维测定系统的框图。
图24是表示使用车载相机作为立体相机的例子的说明图。
具体实施方式
[第一实施方式]
如图1所示，三维测定装置10具备第一摄像部11、第二摄像部12、测定部15、显示器16等。即，三维测定装置10在所谓的立体相机上搭载测定部15，根据拍摄到的图像能够计算被摄体的三维数据。而且，三维测定装置10紧凑地形成为简单地挪动的程度(以往的简单的立体相机程度)。
第一摄像部11和第二摄像部12分别在三维测定装置10的左右配置，拍摄光轴L1、L2平行。基线长BL的长度在三维测定装置10的制造时精密地确定，在进行使用了基于第一、第二摄像部11、12的拍摄图像的三维测定的情况下，基线长BL为已知量。此外，基线长BL是第一摄像部11与第二摄像部12的配置间隔，更具体而言，是拍摄光轴L1、L2的间隔。在拍摄光轴L1、L2为非平行的情况下，例如各摄像部11、12的主点的间隔为基线长BL。
另外，第一摄像部11与第二摄像部12的拍摄范围至少一部分重复，第一摄像部11与第二摄像部12在重复的拍摄范围内同时拍摄同一被摄体，输出左右存在视差的1对图像。此外，在本说明书中，被摄体表示测定三维数据的对象。因此，以下，在通过第一摄像部11和第二摄像部12分别得到的图像中均映现出测定三维数据的被摄体，但是也可以在重复的拍摄范围内捕捉其他的结构物(建筑物等)，并以此为基准，而计算仅映现于通过第一摄像部11(或第二摄像部12)得到的图像中的被摄体的三维数据。
第一摄像部11具备摄像透镜11a、影像传感器11b等。摄像透镜11a使被摄体的图像成像于影像传感器11b。虽然省略图示，但是在摄像透镜11a中包含光圈、可动透镜及用于使它们动作的凸轮、齿轮等，能够进行AF或变倍。影像传感器11b例如是CMOS或CCD等，将通过摄像透镜11a而成像在摄像面上的被摄体的像按照各像素进行光电转换，由此将被摄体的图像向测定部15输出。
第二摄像部12具备摄像透镜12a、影像传感器12b等。摄像透镜12a、影像传感器12b与第一摄像部11的摄像透镜11a、影像传感器11b相同。但是，第一摄像部11和第二摄像部12的各部无需为严格相同的结构，可以分别不同。第二摄像部12将拍摄而得到的图像向测定部15输出的情况也与第一摄像部11同样。
此外，第一摄像部11及第二摄像部12的各部的动作由未图示的CPU等按照预定的程序来控制。而且，三维测定装置10具备未图示的图像处理电路、存储器、A/D转换电路等，第一摄像部11及第二摄像部12输出的图像在实施了A/D转换、白平衡校正、γ校正等各种图像处理之后向测定部15输入。
测定部15在至少两个不同的拍摄位置处，基于通过第一摄像部11及第二摄像部12拍摄而得到的4种图像，计算被摄体的三维数据。测定部15计算的三维数据例如是2点间距离(长度、高度、宽度等)、曲线的长度、曲率、面积、体积、位置坐标等实际空间内的尺寸等、将被摄体由线框或多边形表示的假想空间上的三维模型数据。测定部15按照设定而计算它们中的1个或多个来作为三维数据。而且，测定部15按照设定将计算的三维数据显示于显示器16。例如，测定部15将实际空间内的被摄体的尺寸等与拍摄到的图像重叠地显示于显示器16。而且，测定部15将拍摄到的图像与计算的三维数据建立关联地存储于存储装置(未图示的存储器或拆装自如的媒体卡等)。向显示器16的显示是任意的，在将计算的三维数据预先存储以便在其他装置(计算 机等)中能够使用的情况下，可以不在显示器16上显示三维数据。
此外，测定部15对三维数据的计算需要通过在至少2个以上的不同的拍摄位置拍摄被摄体的图像。因此，以下，在第一拍摄位置A和第二拍摄位置B这两个部位进行被摄体的拍摄，得到4种图像PAL、PAR、PBL、PBR。第一下标表示拍摄位置，第二下标表示摄像部(第一摄像部11产生的图像为L，第二摄像部12产生的图像为R)。例如，图像PAL是在第一拍摄位置A通过第一摄像部11得到的图像，图像PAR是在第一拍摄位置A通过第二摄像部12得到的图像。同样，图像PBL是在第二拍摄位置B通过第一摄像部11得到的图像，图像PBR是在第二拍摄位置B通过第二摄像部12得到的图像。在测定部15中，使用这4种图像PAL、PAR、PBL、PBR中的至少3个图像来计算被摄体的三维数据。
如图2所示，测定部15具备特征点检测部21、对应点检测部22、旋转矩阵计算部23、平移矩阵计算部24、平移距离计算部25、三维数据计算部26。
特征点检测部21检测多个被输入的图像的特征点，将坐标等特征点的信息向对应点检测部22、旋转矩阵计算部23、平移矩阵计算部24输入。特征点例如是被摄体的角(拐角)、线段的端点、交叉点、分支点等。检测它们中的哪个等特征点检测部21检测的特征点的具体的种类任意。而且，特征点检测部21进行的特征点检测处理的算法任意，例如，为了检测拐角作为特征点，可以使用例如Moravec或Harris算法。
此外，三维数据的计算需要至少8点的特征点，因此以检测8点以上的特征点的方式选定特征点的种类。而且，在检测到的特征点小于8点的情况下，特征点检测部21变更检测的特征点的种类或用于检测特征点的算法，必然检测8点以上的特征点。当然，在即使变更特征点的种类或检测算法也无法检测8点的特征点的情况下，通知出错，催促使用的图像的变更(或拍摄的重新进行)。
虽然也受到具体的被摄体的形状等的影响，但是在多数情况下，特征点检测部21检测8点以上的多个特征点。因此，特征点检测部21从检测到的多个特征点选出使用的特征点为8点～十几点左右。在检测到多个特征点时，特征点检测部21选出的特征点的个数只要为8点以上即可，可以任意。虽然可以使用检测到的全部的特征点，但是之后进行的对应点的检测等需要较长的时间，因此优选在能够确保精度的范围内如上所述地选出少数的特征点来使用。
对应点检测部22当从特征点检测部21接受到特征点的信息时，从与检测到特征点的图像不同的图像分别检测与各特征点对应的对应点。对应点检测部22进行的对应点检测处理的算法任意，可以使用例如块匹配法或KLT跟踪法等。通过块匹配法，在检测对应点的情况下，从检测到特征点的图像切出包含特征点的预定尺寸的部分图像，一边将该部分图像进行放大(缩小)或使该部分图像旋转，一边与检测对应点的图像进行比较，将一致度(也称为类似度)高的部位检测为对应点。将对应点检测部22检测到的对应点的坐标等对应点的信息向旋转矩阵计算部23和平移矩阵计算部24输入。
另外，对应点检测部22在1次三维测定中，从两个图像来检测对应点。例如，在通过特征点检测部21从图像PAL或图像PAR的一方来检测到特征点的情况下，对应点检测部22从图像PBL及图像PBR检测对应点。在本实施方式中，说明与该模式对应的例子。另一方面，在通过特征点检测部21从图像PAL和图像PAR分别检测到特征点的情况下，从图像PBL或图像PBR的任一方来检测与图像PAL的特征点对应的对应点，从另一方的图像来检测与图像PAR的特征点对应的对应点。这是后述的第三实施方式的情况(参照图14、图15)。这些模式的差异通过设定能够变更。
旋转矩阵计算部23基于检测到特征点的图像及检测到的特征点 的信息、检测到对应点的图像及检测到的对应点的信息，以拍摄检测到特征点的图像的摄像部的位置为基准，计算表示拍摄检测到对应点的图像的摄像部的旋转方向及旋转量的旋转矩阵。
例如图3所示，旋转矩阵计算部23基于图像PAL的特征点和图像PBL的对应点，计算表示以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第一摄像部11的旋转方向及旋转量的旋转矩阵R1a。
旋转矩阵R1a例如使用水平面内的旋转角θ和从铅垂方向的旋转角这两个参数来表示。当然也可以确定在实际空间上相互正交的X轴、Y轴、Z轴，使用绕上述各轴的旋转角α、β、γ来表示旋转矩阵R1a。由θ及表示的旋转矩阵R1a与由α～γ表示的旋转矩阵R1a虽然表示的方法不同但实质上相同。
同样，旋转矩阵计算部23基于图像PAL的特征点和图像BPR的对应点，计算表示以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第二摄像部12的旋转方向及旋转量的旋转矩阵R2a。此外，在图3中由于是俯视性地图示，因此旋转矩阵R1a、R2a可看做表示相同的旋转，但是三维测定装置10在铅垂方向上也旋转时，旋转矩阵R1a、R2a不同，旋转矩阵R2a由与旋转矩阵R1a不同的旋转角θ2、表示。在仅沿水平方向旋转的情况下旋转矩阵R1a、R2a相等。这样，将旋转矩阵计算部23计算出的旋转矩阵R1a、R2a向平移距离计算部25输入。
此外，根据检测到特征点的图像及检测到的特征点的信息、检测到对应点的图像及检测到的对应点的信息来计算旋转矩阵的具体的方法例如可以使用日本特开平9-237341号公报记载的方法。
平移矩阵计算部24基于检测到特征点的图像及检测到的特征点的信息、检测到对应点的图像及检测到的对应点的信息，以拍摄检测到特征点的图像的摄像部的位置为基准，计算表示拍摄检测到对应点 的图像的摄像部的平移移动的方向的平移矩阵。
具体而言，平移矩阵计算部24基于图像PAL的特征点和图像PBL的对应点，计算表示以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第一摄像部11的平移移动方向的平移矩阵T1a(参照图3)。但是，平移矩阵T1a仅能够计算标准化的信息而不包含平移距离的信息。
同样，平移矩阵计算部24基于图像PAL的特征点和图像BPR的对应点，计算表示以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第二摄像部12的方向的平移矩阵T2a。平移矩阵T2a表示第一摄像部11和第二摄像部12的位置关系，因此严格来说未表示第一摄像部11、第二摄像部12的移动，但是在本说明书中，将第一拍摄位置A的摄像部(第一摄像部11或第二摄像部12)和第二摄像部B的摄像部的位置关系称为平移移动。而且，将第一拍摄位置A和第二拍摄位置B的各摄像部间的距离称为平移距离。平移矩阵T2a被标准化且不包含平移距离的信息的情况与平移矩阵T1a同样。
这样，将平移矩阵计算部24计算出的平移矩阵T1a、T2a向平移距离计算部25输入。
根据检测到特征点的图像及检测到的特征点的信息、检测到对应点的图像及检测到的对应点的信息来计算平移矩阵的具体的方法与旋转矩阵的计算方法同样，可以使用例如日本特开平9-237341号公报记载的方法。而且，在本说明书中为了进行说明而分别设为旋转矩阵计算部23和平移矩阵计算部24，但旋转矩阵和平移矩阵基本同时地成对地计算。因此，旋转矩阵计算部23和平移矩阵计算部24是作为整体而计算旋转矩阵及平移矩阵的一体的电路等。
如上所述，旋转矩阵表示旋转方向和旋转量，相对于此，平移矩 阵仅表示平移移动的方向，因此仅用一组旋转矩阵和平移矩阵(R1a和T1a、或R2a和T2a)无法确定与第一拍摄位置A的摄像部相对的第二拍摄位置B的摄像部。具体而言，如图4所示，通过平移矩阵T1a来确定第一摄像部11的平移移动方向，通过旋转矩阵R1a来确定第一摄像部11相对于平移移动方向的旋转方向及旋转角度，但是平移距离未定，因此第二拍摄位置B的位置存在任意性。
因此，三维测定装置10具备使用2组旋转矩阵和平移矩阵来计算第一拍摄位置A的摄像部和第二拍摄位置B的摄像部间的平移距离的平移距离计算部25。平移距离计算部25使用旋转矩阵R1a和平移矩阵T1a、及旋转矩阵R2a和平移矩阵T2a来计算以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第一摄像部11的平移距离D1a(参照图3)。当计算平移距离D1a时，通过平移距离D1a、旋转矩阵R1a、R2a及平移矩阵T1a、T2a，第二拍摄位置B的摄像部相对于第一拍摄位置A的摄像部的位置或朝向的任意性消失，因此以第一拍摄位置A的第一摄像部11为基准的第二拍摄位置B的第二摄像部12的平移距离D2也自动确定。而且，以第一拍摄位置A的第二摄像部12为基准的第二拍摄位置B的第一、第二摄像部11、12的平移距离(未图示)也同样地自动确定。虽然先计算平移距离D1a，但是当然也可以先计算平移距离D2。将平移距离计算部25计算出的平移距离D1a、D2向三维数据计算部26输入。
三维数据计算部26基于下述数学式1的式子，将图像PAL上的坐标(u、v)与实际空间上的坐标(X、Y、Z)建立对应。“w”是图像PAL与图像PBL的视差，“f”是拍摄图像PAL时的焦点距离，“p”是影像传感器11b的像素间距。视差由特征点与对应点的像素坐标之差来表示。例如，在第一拍摄位置A和第二拍摄位置B中仅使三维测定装置10沿水平方向旋转的情况下，是特征点的u坐标与对应点的u坐标之差(w＝u特-u对)。此外，通过将平移距离D1a、视差“w”、焦点距离“f”、像素间距“p”置换成适当的参数，使用数学式1能够将图像PBL、图 像PBR上的坐标转换成实际空间上的坐标。
[数学式1]
XYZ=u×D1awv×D1awfp×D1aw]]>
三维数据计算部26使用如上述那样根据图像PAL上的坐标计算的实际空间上的坐标，计算被摄体的三维数据。而且，在计算特征点间的长度等实际空间上的尺寸等时，三维数据计算部26进行将计算出的尺寸等与图像PAL重叠的合成处理，并显示于显示器16。而且，在利用三维数据计算部26计算三维模型数据时，将三维模型数据显示于显示器16。
此外，具体而言，测定部15的各部21～26由存储器、各种运算电路、和对这些电路等的动作进行总括控制的CPU及控制用程序构成。形成各部21～26的电路等可以是在各部21～26中共用一部分或全部的结构。
说明如上述那样构成的三维测定装置10的作用。如图5所示，使用三维测定装置10从第一拍摄位置A和第二拍摄位置B拍摄对三维数据进行测定的被摄体，取得4张图像PAL、PAR、PBL、PBR(拍摄步骤S10)。此时，在第一摄像部11与第二摄像部12的重复的拍摄范围内，优选使被摄体处于尽量近的位置。这是因为，被摄体距离越远，后面计算的三维数据的分辨率越下降，尤其是图像的进深方向的分辨率的下降显著。具体而言，拍摄的被摄体优选处于1～3m以内。被摄体距离只要处于该程度的范围内，在进深方向上，相对于被摄体距离也能得到1％左右的分辨率。
当得到4张图像PAL、PAR、PBL、PBR时，首先，从图像PAL检测特征点(特征点检测步骤S11)。具体而言，如图6所示，当被摄体H1、H2处于图像PAL时，特征点检测部21检测上述被摄体H1、H2的拐角等来分别作为特征点F1～F14。而且，特征点F1～F14全部为14点，因此选出三维数据的计算所使用的8点的特征点。例如，选出特征点F1、F3、F4、F8、F9、F11、F13、F14。
当这样检测及选出特征点时，对应点检测部22从图像PBL及图像PBR中检测对应点(对应点检测步骤S12)。具体而言，如图7所示，对应点检测部22从检测特征点的图像PAL中切出包含特征点F1的图像PAL的部分图像31，一边将部分图像31适当放大或使部分图像31旋转，一边与图像PBL的部分进行比较。并且，将一致度最高的部分检测为对应点C1。同样，分别检测其他的选出的特征点F3、F4、F8、F9、F11、F13、F14的对应点C3、C4、C8、C9、C11、C13、C14。而且，同样，对应点检测部22从图像PBR中检测对应点。
此外，由于拍摄位置及拍摄的朝向产生的视差的存在，在图像PAL和图像PBL中，各图像内的被摄体H1、H2的位置或朝向不同，因此在图像PBL中有时无法检测与选出的特征点对应的对应点。例如，特征点F2或特征点F5(参照图6)未映现在图像PBL中，因此在图像PBL中无法检测这些特征点的对应点。而且，即使一致度最高，也会将与特征点完全无关的部分检测为对应点。这样，在无法检测对应点的情况下，或者最高的一致度不满足预定值的情况下，重新选出特征点，对于新选出的特征点，再次检测对应点。
当检测到对应点时，基于特征点和对应点来计算旋转矩阵及平移矩阵(步骤S13、14)。步骤S13、14分别既是旋转矩阵计算步骤，也是平移矩阵计算步骤。
在步骤S13中，基于图像PAL的特征点和图像PBL的对应点的各图像内坐标，计算旋转矩阵R1a和平移矩阵T1a。而且，在步骤S14中，基于图像PAL的特征点和图像PBR的对应点的各图像内坐标，计算旋转矩阵R2a和平移矩阵T1a。即，通过步骤S13、S14，分别对于第一拍摄位置A的第一摄像部11与第二拍摄位置B的第一摄像部11的对(第一对)、第一拍摄位置A的第一摄像部11与第二拍摄位置B的第二摄像部12的对(第二对)计算旋转矩阵和平移矩阵。
当计算出旋转矩阵R1a、R2a及平移矩阵T1a、T2a时，平移距离计算部25使用它们，检索第二拍摄位置B的基线长向量32(参照图8)的位置(步骤S15)。而后，基于求出的第二拍摄位置B的基线长向量32的位置来计算平移距离D1a(步骤S16)。步骤S15及步骤S16是平移距离计算步骤。
如图8所示，基线长向量32具有基线长BL的长度和通过旋转矩阵R1a、R2a确定的朝向，是以第二拍摄位置B的三维测定装置10的第一摄像部11和第二摄像部12分别为基点32a及前端32b的向量。平移距离计算部25以第一拍摄位置A的第一摄像部11为基准而将基线长向量32的基点32a放置于平移矩阵T1a所表示的直线(以下，称为T1a方向)上的任意的点，以第一拍摄位置A的第一摄像部11为基准而计算平移矩阵T2a所表示的直线(以下，称为T2a方向)与前端32b的距离。并且，求出T2a方向与前端32b的距离最小的基线长向量32的基点32a及前端32b的坐标。
T1a方向及T2a方向分别表示第二拍摄位置B的第一摄像部11和第二摄像部12存在的方向，T1a方向与T2a方向的间隔随着从第一拍摄位置A分离而变宽。然而，基线长BL的长度不变，因此在将基线长向量32的基端32a放置在T1a方向上的任意的位置而假定第二拍摄位置B的第一摄像部11的位置时，若该位置为真正的第二拍摄位置B，则表示第二拍摄位置B的第二摄像部12的位置的基线长向量32的前端32b 应处于T2a方向上。
即，如箭头b1及箭头b3所示，若基线长向量32的基端32a相对于第一拍摄位置A放置得过近或过远，则前端32b从T2a方向离开，因此若一边使基端32a的位置在T1a方向上变化，一边计算前端32b与T2a方向的距离，则如箭头b2所示，能够将前端32b最接近T2a方向(理想的情况是与T2a方向一致)的位置判别为第二拍摄位置B。
若这样确定第二拍摄位置B的位置，则能确定第二拍摄位置B的第一摄像部11和第二摄像部12的位置、以第一拍摄位置A的第一摄像部11为基准的各摄像部的平移距离D1a、D2。即，基线长向量32的基端32a是第二拍摄位置B的第一摄像部11的位置，前端32b是第二拍摄位置B的第二摄像部12的位置，因此从第一拍摄位置A的第一摄像部11到基端32a的长度为平移距离D1a，到前端32b的长度为平移距离D2。
如上所述，当求出平移距离D1a、D2时，三维数据计算部26使用平移距离D1a、拍摄图像PAL时的焦点距离“f”、视差“w”、影像传感器11b的像素间距“p”，按照上述数学式1的式子将图像PAL内的坐标与实际空间坐标建立对应，由此计算被摄体H1、H2的三维数据(三维数据计算步骤S17)。并且，三维数据计算部26将计算的三维数据显示于显示器16(显示步骤S18)。例如图9所示，在计算特征点间的距离来作为三维数据的情况下，使特征点间的距离的显示与图像PAL重叠，显示于显示器16。
如上所述，三维测定装置10具备基线长BL已知的第一摄像部11及第二摄像部12，使用通过该第一摄像部11及第二摄像部12从两个部位的拍摄位置拍摄被摄体的图像PAL、PBL、PBR，由此计算三维测定装置10的移动前后的位置关系(平移距离D1a、D2)及三维数据。因此，三维测定装置10无需如专利文献1、2那样为了形成巨大的立体相机 而事先进行高精度的校准，也无需如专利文献3那样同时拍摄基准被摄体。即，三维测定装置10仅通过一边自由地挪动一边拍摄被摄体，就能够简单且高精度地计算被摄体的三维数据。
另外，三维测定装置10在三维数据的计算中，将图像PAL与图像PBL、图像PAL与图像PBR分别成对使用，计算旋转矩阵或平移矩阵。这等于第一拍摄位置A的第一摄像部11与第二拍摄位置B的第一摄像部11的对、第一拍摄位置A的第一摄像部11与第二拍摄位置B的第二摄像部12的对实质上形成巨大的立体相机。并且，这些对的基线长(平移距离D1a、D2)比基线长BL更长。因此，三维测定装置10能够高精度地计算三维数据。
[第二实施方式]
在上述第一实施方式中，在正确地求出基线长向量32并将基线长向量32的基端32a放置在T1a方向上时，以前端32b与T2a方向基本一致的基线长向量32的位置的存在为前提。然而，在原本未正确求出基线长向量32的情况下，即使前端32b与T2a方向的距离变得最小，该位置也不表示第二拍摄位置B。
如图10所示，基线长向量32有时会相对于通过T1a方向和T2a方向而确定的面(以下，称为T1a-T2a平面)发生扭转。例如，在图10中一边使基端32a在T1a方向上移动，一边计算前端32b与T2a方向的距离σ1～σ5时，距离σ3最小。因此，在上述第一实施方式中，将前端32b与T2a方向的距离为σ3的基线长向量32的位置判别为第二拍摄位置B。
然而，原本基线长向量32应处于T1a-T2a平面内，因此可以说是基线长向量32的朝向或T1a-T2a平面的至少任一个错误，或误差大。这样的情况下，当然即使前端32b与T2a方向的距离变得最小，该基线长向量32的位置也不表示第二拍摄位置B。而且，在σ1～σ5之中虽说最小，距离σ3有时也是较大的值。这样，在基线长向量32从T1a-T2a平 面浮起的情况下，需要重新计算旋转矩阵R1a、R2a或平移矩阵T1a、T2a。这是因为，如上所述基线长向量32通过旋转矩阵R1a、R2a来确定，T1a-T2a平面通过平移矩阵T1a、T2a来确定。
因此，例如图11所示，在求出表示第二拍摄位置B的基线长向量32的位置的情况下，将该前端32b和T2a方向的距离的最小值σmin与阈值σTH进行比较，由此检查旋转矩阵R1a、R2a或平移矩阵T1a、T2a的可靠性(可靠性检查步骤S21)。在最小值σmin比预定阈值σTH小的情况下(σmin<σTH)，基线长向量32大致处于T1a-T2a平面内，因此求出的基线长向量32的位置可靠，基于该基线长向量32的位置进行平移距离D1a、D2的计算等(与第一实施方式相同的步骤S16～S18)。
另一方面，在最小值σmin为预定阈值σTH以上的情况下(σmin≥σTH)，判断为基线长向量32从T1a-T2a平面浮起，变更条件而重新检测图像PBL及图像PBR的对应点(对应点再检测步骤S22)。而后，基于重新检测的对应点，设为新的旋转矩阵R1a、R2a或平移矩阵T1a、T2a，使用它们来计算表示第二拍摄位置B的基线长向量32的位置(与第一实施方式相同的步骤S13～S16)。
这样，改变条件而再检测对应点，由此若能提高对应点检测的精度，则旋转矩阵R1a、R2a或平移矩阵T1a、T2a的误差减少。若旋转矩阵R1a、R2a或平移矩阵T1a、T2a的精度提高，则能够将最小值σmin抑制得比阈值σTH小，因此结果是能够高精度地计算平移距离、三维数据。而且，能够防止求出错误的第二拍摄位置B、结果是计算出误差大的三维数据的情况。
此外，在重新检测对应点的情况下进行变更的条件例如是变更使用的特征点的组合的情况、改变部分图像31的大小的情况、改变部分图像31的放大率或缩小率(放大缩小率)的情况、为了加快处理而未进行部分图像31的放大或旋转地检测出对应点的情况下也进行部分图像 31的放大或旋转的情况、变更对应点检测的算法的情况等中的任一个或它们的组合。
另外，在上述第二实施方式中重新检测对应点，但也可以从特征点的检测起重新进行。在重新进行特征点的计算的情况下，可以重新选出从先前检测的特征点选出的特征点的组合，也可以变更检测特征点的算法而检测新的特征点。可以如上述第二实施方式那样在尝试了对应点的再检测之后，在仅通过对应点的再检测无法将最小值σmin抑制得比阈值σTH小的情况下，进行特征点的再检测。反之，也可以先尝试特征点的再检测，在仅通过特征点的再检测无法将最小值σmin抑制得比阈值σTH小的情况下，尝试对应点的再检测。
[第三实施方式]
在上述第一、第二实施方式中，使用图像PAL和图像PBL、PBR，由此使用对于第一拍摄位置A的第一摄像部11和第二拍摄位置B的第一摄像部11的对的旋转矩阵R1a及平移矩阵T1a、对于第一拍摄位置A的第一摄像部11和第二拍摄位置B的第二摄像部12的对的旋转矩阵R2a及平移矩阵T2a，但也可以使用对于其他的对计算出的旋转矩阵或平移矩阵。而且，全部4种的对中用于三维数据的计算的2种的对是任意的。
例如图12所示，对于第一拍摄位置A的第一摄像部11和第二拍摄位置B的第一摄像部11的对来计算旋转矩阵R1a和平移矩阵T1a，对于第一拍摄位置A的第二摄像部12与第二拍摄位置B的第二摄像部12的对来计算旋转矩阵R2b和平移矩阵T2b。并且，使用这些旋转矩阵R1a、R2b及平移矩阵T1a、T2b，计算平移距离D1a、D2b，进一步能够计算三维数据。
在该例子中，T1a方向与T2b方向交叉，但如图13所示，表示第二拍摄位置B的基线长向量32的检索方法与第一、第二实施方式同样。 即，越从真正的第二拍摄位置B离开，基线长向量32的前端32b与T2b方向的距离越分离，因此能够将该距离变得最小的基线长向量32的位置判别为第二拍摄位置B的位置。
这样，为了利用对于第一拍摄位置A的第一摄像部11与第二拍摄位置B的第一摄像部11的对、第一拍摄位置A的第二摄像部12与第二拍摄位置B的第二摄像部12的对的旋转矩阵R1a、R2b及平移矩阵T1a、T2b，需要从图像PAL及PAR分别计算特征点，从图像PBL检测与图像PAL的特征点对应的对应点，从图像PBR检测与图像PAR的特征点对应的对应点。因此，在利用旋转矩阵R1a、R2b及平移矩阵T1a、T2b的情况下，与第一实施方式的情况相比，虽然特征点步骤增加，但是难以受到特征点检测或对应点检测的误差的影响。例如，在第一实施方式的情况下，若特征点检测或对应点检测存在误差，则该误差的大小直接会导致三维数据的计算误差。另一方面，在如上述那样利用旋转矩阵R1a、R2b及平移矩阵T1a、T2b的情况下，分别检测成为旋转矩阵R1a及平移矩阵T1a的基础的特征点及对应点、成为旋转矩阵R2b及平移矩阵T2b的基础的特征点及对应点，因此即使一方存在与上述相同的量的误差，只要另一方没有误差，就能够将三维数据的计算误差抑制成大致一半程度。
另外，旋转矩阵R1a、R2b及平移矩阵T1a、T2b特别优选如下地利用。如图14及图15所示，首先与第一实施方式同样，使用图像PAL和图像PAR、PBR来计算旋转矩阵R1a、R2a及平移矩阵T1a、T2a，计算平移距离D1a、D2(S10～S16)。接着，从图像PAR检测特征点，选出使用的特征点(第二特征点检测步骤S31)，并从图像PBR检测与该图像PAR的特征点对应的对应点(第二对应点检测步骤S32)。并且，基于图像PAR的特征点和图像PBR的对应点，计算旋转矩阵R2b和平移矩阵T2b(步骤S33)。步骤S33是第二旋转矩阵计算步骤，是第二平移矩阵计算步骤。使用如此计算出的旋转矩阵R2b和平移矩阵T2b、先前在步骤S14中计算出的旋转矩阵R1a和平移矩阵T1a，检索与第二拍摄位置B对应的基 线长向量32的位置(S34)，根据求出的与第二拍摄位置B对应的基线长向量32的位置来计算平移距离D1a(S35)。
计算出的平移距离D1a是第一拍摄位置A的第一摄像部11和第二拍摄位置B的第一摄像部11的距离，但是使用的图像的组合(旋转矩阵及平移矩阵)不同，因此与先前在步骤S16中计算出的值不同。因此，以下，为了区别而将在步骤S34、S35中计算的平移距离标记为平移距离D1b。
三维数据计算部26将如上述那样改变使用的图像的组合而计算的应表示相同距离的两个平移距离D1a和平移距离D1b与预定的阈值DTH进行比较(S36)。在平移距离D1a与平移距离D1b之差小于阈值DTH的情况下(|D1a-D1b|<DTH)，三维数据计算部26使用平移距离D1a来计算三维数据，显示于显示器16(S17、S18)。这是因为，若通过2种方法计算的相同长度的误差小，则能够判断为原来的计算方法可靠。
另一方面，在平移距离D1a与平移距离D1b之差为阈值DTH以上的值的情况下(|D1a-D1b|≥DTH)，判断为平移距离D1a和平移距离D1b中的至少一方的误差大，如第二实施方式那样变更对应点的检测条件(S37)。而后，以变更后的条件再检测对应点，重新计算旋转矩阵、平移矩阵、以及平移距离D1a及平移距离D1b。在再检测对应点时变更的条件与第二实施方式同样。而且，如上所述，也可以再计算特征点的情况等与第二实施方式同样。
如上述那样，若利用旋转矩阵R1a、R2b及平移矩阵T1a、T2b，则不仅能够简单地计算平移距离，而且旋转矩阵R1a、R2b及平移矩阵T1a、T2b也能够用于三维数据的计算精度的检查，因此有效。
此外，在上述第三实施方式中，将平移距离D1a与平移距离D1b进行了比较，但是也可以将使用了平移距离D1a的三维数据与使用平移 距离D1b计算出的三维数据进行比较。三维数据的比较例如是同一特征点的实际空间坐标的比较、同一特征点间距离的比较等。
此外，在上述第三实施方式中，在平移距离D1a与平移距离D1b之差小于阈值DTH的情况下，基于平移距离D1a来计算三维数据，但是也可以使用平移距离D1b来计算三维数据。
此外，在上述第三实施方式中，利用了第一拍摄位置A的第一摄像部11和第二拍摄位置B的第一摄像部11的第一对、第一拍摄位置A的第一摄像部11和第二拍摄位置B的第二摄像部12的第二对、第一拍摄位置A的第二摄像部12和第二拍摄位置B的第二摄像部12的第三对的旋转矩阵及平移矩阵，但是为了计算平移距离D1a而使用的两对和为了计算平移距离D1b而使用的两对任意。当然，也可以使用第一拍摄位置A的第二摄像部12和第二拍摄位置B的第一摄像部11的第四对。但是，为了计算平移距离D1a而使用的两对中的一对与为了计算平移距离D1b而使用的两对中的一对必须通用。
此外，在上述第三实施方式中，利用2种方法计算相同的平移距离D1a、D1b，在它们的差大的情况下，再检测对应点，但也可以如图16及图17所示，将成为计算平移距离D1a、D1b的基础的基线长向量32的前端32基线长向量32的前端32与T2a方向、T2b方向的距离的最小值σa、σb进行比较(S41)。此时，例如，在最小值σa比最小值σb小的情况下(σa<σb)，误差更小的平移距离D1a可靠，基于平移距离D1a来计算三维数据(S42)。另一方面，在最小值σa为最小值σb以上的值的情况下(σa≥σb)，误差更小的平移距离D1b可靠，基于平移距离D1b来计算三维数据(S43)。这样一来，能够防止计算出误差大的三维数据，并且与再检测对应点等的情况相比，能够迅速地计算三维数据。
而且，在上述变形例中，将计算旋转矩阵及平移矩阵的摄像部的对形成为2种类，但也可以在使用的特征点的组合、用于检测对应点 的条件不同的两个条件下计算平移距离D1a、D1b，将计算上述平移距离D1a、D1b时的最小值σa与最小值σb进行比较。
此外，在上述第二、第三实施方式中，在判断为三维数据的计算精度不良的情况下，进行对应点检测或特征点检测，以同一方法重新进行三维数据的计算，但也可以取而代之地利用与上述第一～第三实施方式完全不同的方法重新进行三维数据的计算。而且，在即使重新进行对应点检测或特征点检测而三维数据的计算精度也未提高时，优选利用其他的方法来重新进行三维数据的计算。
作为其他的方法例如是图18所示的方法。具体而言，首先，从通过第一拍摄位置A的第一摄像部11得到的图像PAL来检测特征点(S51)，在通过第二拍摄位置B的第一摄像部11得到的图像PBL中检测该对应点(S52)。而后，使用检测到的特征点和对应点来计算旋转矩阵R1a和平移矩阵T1a(S53)。该步骤S51～S53的特征点检测、对应点检测、及旋转矩阵和平移矩阵的计算可以省略。而且，也可以改变检测条件而执行步骤S54及S55，在步骤S53中计算旋转矩阵R1a和平移矩阵T1a。
接着，将平移距离假定为任意值“d”，使用该平移距离的假定值d(以下，称为假想平移距离d)、旋转矩阵R1a、平移矩阵T1a，计算第二拍摄位置B的第二摄像部12相对于第一拍摄位置A的第一摄像部11的旋转矩阵r1和平移矩阵t2(S54)。而且，使用如此求出的旋转矩阵r1、平移矩阵t2、假想平移距离“d”，在图像PBR上计算表示从第一拍摄位置A的第一摄像部11向预定的特征点的视线的核线(S55)。如图19所示，核线能够向各特征点引出，例如，核线E1、E10、E13是通过特征点F1、F10、F13的核线。图像PBR的核线是将这样的核线在图像PBR上描绘的直线。
接着，沿着计算的核线，计算与预定的特征点的一致度(S56)。并 且，一边改变假想平移距离“d”，一边反复进行上述步骤S55及步骤S56的核线的计算和一致度的计算，由此选出一致度最高的核线(S57)。
具体而言，如图20所示，当一边将假想平移距离“d”改变成d1～d4一边计算特征点F10的核线E10时，假想平移距离为d1时的核线E10[d1]、假想平移距离为d2时的核线E10[d2]、假想平移距离为d3时的核线E10[d3]、假想平移距离为d4时的核线E10[d4]分别不同。虽然本来的核线应通过特征点，但是由于为了计算核线而使用的平移距离为假想值，因此当假想平移距离“d”与真正的平移距离“d”不同时，相应地，通过从图像PBR上的对应点C10分离的位置。因此，当分别沿着核线E10[d1]～E10[d4]而将包含特征点E10的部分图像31与图像PBR进行比较时，在通过特征点E10的对应点C10的核线E10[d2]上，存在一致度最高的点。如上所述，核线本来通过特征点，因此可以推定为存在一致度最高的点的核线E10[d2]是假想平移距离“d”正确的本来的核线。此外，在图20中，虽然为了说明而记载了对应点C10，但是无需检测对应点C10。一致度的计算相当于对应点C10的检测。
若这样选出一致度最高的核线E10[d2]，则能够将为了计算该核线E10[d2]而使用的假想平移距离d2推定为真正的平移距离，因此能够使用假想平移距离d2计算三维数据(S57)。
此外，为了如上所述地使用核线来求出平移距离，如图21所示，需要在测定部15预先设置核线计算部41和一致度评价部42。核线计算部41进行使用了假想平移距离“d”和旋转矩阵r2a及平移矩阵t2a的核线的计算(S55)。一致度评价部42进行通过核线计算部41计算的核线上的一致度的计算、一致度最高的核线的选出(S56～S57)。使用了假想平移距离“d”的旋转矩阵r2a和平移矩阵t2a的计算(S54)分别只要通过旋转矩阵计算部23和平移矩阵计算部24进行即可。
此外，在上述第一～第三实施方式中，三维测定装置10具备第一 摄像部11和第二摄像部12，而且也内置有测定部15，但它们也可以分离。即，如图22所示，可以通过具备第一摄像部11和第二摄像部12的立体相机51、具备测定部15的图像处理装置52来构成三维测定系统53。这种情况下，立体相机51除了必须具备基线长BL已知的两个摄像部(第一摄像部11和第二摄像部12)之外，其他的结构任意。而且，图像处理装置52例如是通过CPU、各种运算电路等来构成测定部15的计算机，除了测定部15之外，还具备例如用于从立体相机51接受图像PAL、PAR、PBL、PBR的接口、至少暂时存储这些图像的存储器54、显示通过测定部15计算出的三维数据的显示器55等。
另外，在如上述那样将立体相机与图像处理装置分离而形成为三维测定系统时，如图23所示，可以通过2台立体相机51a、51b和图像处理装置52来构成三维测定系统56。并且，可以在第一拍摄位置A中使用一方的立体相机51a来拍摄被摄体，在第二拍摄位置B中使用另一方的立体相机51b来拍摄被摄体。在图像处理装置52中，使用像这样在两个拍摄位置A、B分别利用不同的立体相机51a、51b拍摄到的图像，也能够计算三维数据。立体相机51a、51b优选为同机种，但是若基线长BL相等(或者可以使基线长BL对应于另一方)，则可以使用不同的机种。而且，1个三维测定系统可以具备3台以上的立体相机。这种情况下，选择性地使用在3个以上的拍摄位置拍摄到的图像中的在两个拍摄位置拍摄到的图像，能够计算三维数据。
而且，在如上述那样将三维测定装置10分离成立体相机51和图像处理装置52而设置的三维测定系统10中，如图24所示，可以将立体相机51形成为车载相机。这种情况下，通过机动车57在被摄体H1、H2的周边一边行驶一边拍摄，然后，将拍摄的图像取入到图像处理装置52，能够计算被摄体H1、H2的三维数据。这样，若将立体相机51设为车载相机，则能够有效利用移动速度的优点，容易且精密地得到被摄体的三维数据。但是，即使在将立体相机51设为车载相机的情况下，也无需形成为专利文献1那样的巨大的立体相机，能够使用基线 长BL已知的紧凑的立体相机51，且无需精密地测定配置或朝向。立体相机51只要以仅能够拍摄被摄体H1、H2的方式进行车载即可。因此，在由于机动车57的朝向等而未将被摄体良好地收进第一摄像部11与第二摄像部12的重复的拍摄范围内的情况下，只要适当地调节立体相机51的位置或朝向即可。因此，没有机动车57的大小、道路的朝向、立体相机的朝向的调节的困难度等产生的缺点。当然，也可以将包含测定部15的三维测定装置10自身进行车载。
此外，在上述第一～第三实施方式中，虽然三维测定装置10的基线长BL不变，但也可以使基线长可变。但是，三维数据的计算所使用的全部的图像必须以相同的基线长进行拍摄。而且，至少在计算三维数据的情况下，变化的基线长BL必须已知。而且，为了避免三维数据的测定精度的劣化，变化的基线长BL需要精密地测定成三维数据的计算所需的程度。
此外，在上述第一～第三实施方式中，将基线长向量32的基端32a放置在T1a方向上，通过计算前端32b和T2a方向的距离来确定第二拍摄位置B，但即使将前端32a放置在T2a方向上，通过计算基端32a与T1a方向的距离也能够确定第二拍摄位置B。而且，也可以将基线长向量32的基端32a和前端32b相反地定义。
此外，在上述第一～第三实施方式中，第一摄像部11与第二摄像部12的各拍摄光轴L1、L2平行，但也可以将第一摄像部11和第二摄像部12相对地倾斜配置，使各拍摄光轴L1、L2为非平行。这种情况下，计算三维数据的运算变得繁杂，但是基本的原理与上述第一～第三实施方式相同。具体而言，当基线长向量32在T1a方向上移动的情况下，只要根据放置基点的位置与拍摄光轴L1、L2所成的角度来适当地放大或缩小基线长向量32，进行第二拍摄位置B的检索即可。
此外，在上述实施方式中，第一摄像部11和第二摄像部12同时 进行拍摄，但是第一摄像部11和第二摄像部12的拍摄时机无需严格同时。只要拍摄位置、三维测定装置10的倾斜等在看作不变化的范围内能够基本同时地进行拍摄即可，例如也可以通过第一摄像部11和第二摄像部12依次进行拍摄。
标号说明
10 三维测定装置
11 第一摄像部
12 第二摄像部
15 测定部
21 特征点检测部
22 对应点检测部
23 旋转矩阵计算部
24 平移矩阵计算部
25 平移距离计算部
26 三维数据计算部
31 部分图像
32 基线长向量
41 核线计算部
42 一致度评价部
51 立体相机
52 图像处理装置