校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf

上传人:32 文档编号:1652122 上传时间:2018-07-01 格式:PDF 页数:33 大小:8.56MB
返回 下载 相关 举报
摘要
申请专利号:

CN201180017756.1

申请日:

2011.04.01

公开号:

CN102822621A

公开日:

2012.12.12

当前法律状态:

撤回

有效性:

无权

法律详情:

发明专利申请公布后的视为撤回IPC(主分类):G01C 3/00申请公布日:20121212|||实质审查的生效IPC(主分类):G01C 3/00申请日:20110401|||公开

IPC分类号:

G01C3/00; G01B11/00; G01C3/06

主分类号:

G01C3/00

申请人:

富士胶片株式会社

发明人:

石山英二; 增田智纪

地址:

日本东京

优先权:

2010.04.06 JP 2010-087519

专利代理机构:

北京天昊联合知识产权代理有限公司 11112

代理人:

陈源;李铭

PDF下载: PDF下载
内容摘要

通过消除无用的计算从而缩短了计算时间来选择适当的校准数据。在根据立体图像测量待测目标的三维位置之前,将对应于图像拍摄光学系统的聚焦位置的校准数据施加给立体图像。在选择校准数据时,根据从缩小的立体图像获得的像差计算物距,并将其定义为对应于聚焦位置的估计聚焦距离,其中,选择了校准数据以使得将可应用的距离范围设置成包括估计的聚焦距离。每个视点图像被缩小到这样的范围内:该范围使得能够识别施加了针对对应于校准数据的每个基准聚焦距离设置的可应用距离范围中的哪个范围。

权利要求书

1.一种校准数据选择装置,其特征在于包括:
图像获取单元,用于获取由具有多个拍摄光学系统的成像设备从
多个不同点拍摄的多个视点图像;
校准数据输入单元,用于输入与所述多个拍摄光学系统的多个基
准聚焦距离分别对应的校准数据;
图像缩小单元,用于分别以第一缩小比率使所述多个视点图像缩
小,所述第一缩小比率所处的范围使得所述多个视点图像的清晰度不
小于对应于最高距离分辨率的清晰度,其中根据对应于所述校准数据
的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多
个设置距离区域来确定所述最高距离分辨率,所述最高距离分辨率用
于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系
统聚焦的目标对象的物距;
距离确定单元,用于根据相关处理获取通过所述图像缩小单元所
缩小的所述多个视点图像之间的对应点,用于根据所获取的对应点的
视差确定到所述多个拍摄光学系统聚焦的所述目标对象的物距;
校准数据选择器,用于以以下方式从所述多个校准数据中选择校
准数据:使得所述距离确定单元所确定的所述物距落在所述设置距离
区域内。
2.如权利要求1所述的校准数据选择装置,其特征在于,进一步
包括聚焦区获取单元,用于在所述多个视点图像中指定聚焦区;
其中,所述距离确定单元使用所述聚焦区获取单元所指定的所述
聚焦区中的所述对应点的视差确定所述物距。
3.如权利要求2所述的校准数据选择装置,其特征在于,所述距
离确定单元进行操作以获取所述聚焦区获取单元所指定的所述聚焦区
中的对应点。
4.如权利要求1所述的校准数据选择装置,其特征在于,进一步
包括视差检测器,其根据所述距离确定单元针对所述多个视点图像整
体所获取的所述对应点的所述视差存在的分布,检测与针对所述多个
拍摄光学系统的焦点状态所估计的距离对应的视差;
其中,所述距离确定单元根据所述视差检测器检测的所述视差获
取所述物距。
5.如权利要求1所述的校准数据选择装置,其特征在于,所述图
像缩小单元在所述多个视点图像中设置沿所述多个拍摄光学系统的布
置的第一方向上的第一缩小比率,并且在垂直于所述第一方向的第二
方向上设置所述多个视点图像的小于所述第一缩小比率的第二缩小比
率。
6.如权利要求5所述的校准数据选择装置,其特征在于,进一步
包括相关窗口校正单元,用于根据所述第一缩小比率和所述第二缩小
比率调节所述距离确定单元的所述相关处理中使用的相关窗口的纵横
比。
7.如权利要求1所述的校准数据选择装置,其特征在于,进一步
包括焦距获取单元,用于获取所述多个拍摄光学系统的焦距,其中所
述多个拍摄光学系统在改变所述焦距时使得能够在所述成像设备中拍
摄视差图像;
其中所述校准数据获取单元根据所述焦距获取针对所述多个拍摄
光学系统的多个焦距中每一个的校准数据;
所述图像缩小单元根据一个范围内的缩小比率设置第一缩小比
率,在所述范围内,使得所述多个视点图像的所述清晰度不小于对应
于最高距离分辨率的所述清晰度,其中根据与用于所述焦距获取单元
获取的焦距的所述校准数据对应的所述基准聚焦距离、以及根据与所
述基准聚焦距离相关联的设置距离区域来确定所述最高距离分辨率;
所述校准数据选择器选择与所述距离确定单元所确定的所述物距
和所述焦距获取单元获取的焦距相对应的校准数据。
8.如权利要求1所述的校准数据选择装置,其特征在于,所述图
像缩小单元包括缩小比率确定单元,用于获取成像分辨率,以根据包
括基线长度、焦距和拍摄的像素间距的所述成像设备的基本信息并根
据分别针对所述多个基准聚焦距离未缩小的所述多个视点图像之间的
视差测量距离,用于根据对应于所述校准数据的基准聚焦距离和与其
相关联的设置距离区域获取分别用于所述基准聚焦距离的距离分辨
率,并且用于根据所述成像分辨率和所述距离分辨率确定第一缩小比
率。
9.如权利要求8所述的校准数据选择装置,其特征在于,所述缩
小比率确定单元执行校正,使得具有会聚角的所述多个拍摄光学系统
的光轴以近似方式彼此平行,从而获取所述成像分辨率。
10.一种三维位置测量设备,其特征在于,包括:
如权利要求1-9中任一所述的校准数据选择装置;
录入单元,用于将所述校准数据选择装置所选择的校准数据施加
到输入的所述多个视点图像以校正所述多个视点图像;
运算处理单元,用于根据所述录入单元所校正的所述多个视点图
像之间的视差确定所述目标对象的三维位置信息。
11.一种校准数据选择方法,其特征在于包括:
图像获取步骤,用于获取由具有多个拍摄光学系统的成像设备从
不同点拍摄的多个视点图像;
校准数据获取步骤,用于获取与所述多个拍摄光学系统的多个基
准聚焦距离分别对应的校准数据;
图像缩小步骤,用于分别以第一缩小比率使所述多个视点图像缩
小,所述第一缩小比率所处的范围使得所述多个视点图像的清晰度不
小于对应于最高距离分辨率的清晰度,其中根据对应于所述校准数据
的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多
个设置距离区域来确定所述最高距离分辨率,所述最高距离分辨率用
于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系
统聚焦的目标对象的物距;
距离确定步骤,用于根据相关处理获取通过所述图像缩小步骤所
缩小的所述多个视点图像之间的对应点,用于根据所获取的对应点的
视差确定到被所述多个拍摄光学系统聚焦的所述目标对象的物距;
校准数据选择步骤,用于以以下方式从所述多个校准数据中选择
校准数据:使得所述确定步骤所确定的所述物距落在所述设置距离区
域内。
12.一种校准数据选择程序,其特征在于,使得计算机执行如权利
要求11所述的图像获取步骤、所述校准数据获取步骤、所述图像缩小
步骤、所述距离确定步骤和所述校准数据选择步骤。

说明书

校准数据选择装置、选择方法、选择程序以及三维位置测量设备

技术领域

本发明涉及校准数据选择装置、选择方法、选择程序和用于在
测量三维位置时使用视差图像选择校准数据的三维位置测量设备。

背景技术

已知立体相机作为三维位置测量设备用于测量目标对象的三维
信息。相机拍摄的一对视点图像构成视差图像。根据该对视点图像中
对应点的视差,获得目标对象的三维位置,即目标对象上的给定点
Pi在三维空间中的坐标(Xi,Yi,Zi)。

为了高精度测量三维位置,需要从视点图像消除作为从拍摄光
学系统的特性得到的分量的失真,例如像差。同样,必须根据拍摄光
学系统在拍摄时的正确焦距、位置关系、方向等信息,校正视点图像。
在分析视点图像之前,与视点图像相关联地校正根据拍摄光学系统的
特性创建的校准数据。在焦距可调的拍摄光学系统中,必须根据拍摄
时的聚焦位置选择校准数据并将其应用于视点图像,这是因为该特性
随着拍摄光学系统的聚焦位置改变。

在上述方式中为了根据聚焦位置选择校准数据,必须在拍摄时
指定聚焦位置。作为指定的方法,已知有根据移动聚焦透镜的步进电
动机的步进位置指定的方法(专利文献1)。

为了获得视点图像之间的视差,根据相关性处理检查视点图像
中像素之间的相关性,从而根据相关特性在视点图像中搜索相同的拍
摄目标点,即对应点。根据视点图像的清晰度的程度,相关处理的计
算成本会较高。即使清晰度的微小提高,计算成本也显著地增加。由
此,考虑了距离分辨率随着在距目标对象的距离方面的接近而变得更
高的事实。视点图像被分成多个距离区域的区。以清晰度随着这些区
的距离的接近而降低的方式来转换这些区。已知这样的一种装置,其
中在降低计算成本时获得针对整个视点图像所需的距离分辨率
(range resolution)(专利文献2)。

现有文献

专利文献

专利文献1:日本专利公开No.2008-241491

专利文献2:日本专利公开No.2001-126065

发明内容

本发明要解决的问题

顺便提及,如专利文献1所披露的,施加到步进电动机的驱动脉
冲用于根据步进电动机的步进位置指定焦点位置。然而,这并非优选
的,因为如果在步进电动机中出现临时步进失调或者如果拍摄光学系
统出现震动而与驱动脉冲无关地使透镜位置移动,则无法检测到正确
的聚焦位置。尽管可以借助直接检测透镜位置的编码器来检测正确的
焦点位置,但是问题在于提供这种机构无法适用于适于许多用户的立
体相机,这是因为配件数量或成本会增加。

同样,可以考虑另一方法,其中在不对视点图像施加校准数据或
在对视点图像施加了校准数据的适当的数据之后,借助从视点图像获
得的视差来指定拍摄光学系统的聚焦的聚焦距离。可以根据聚焦距离
检测聚焦位置。然而,由于浪费较长的处理时间,该方法没有效率,
这是因为相比选择校准数据所需的距离分辨率,以更高的距离分辨率
执行了处理。在降低计算成本时,根据距离区域改变清晰度的专利文
献2的方法是有效的。然而,该方法仅可用于特定距离分布的视点图
像,而不能应用于各种场景中创建的视点图像。

根据上述问题作出本发明,其目的是提供能够不浪费计算地根据
视差图像从校准数据中选择适当数据的校准数据选择装置、选择方法、
选择程序和三维位置测量设备。

解决问题的方式

为了实现上述目的,根据本发明的校准数据选择装置包括图像获
取单元,用于获取由具有多个拍摄光学系统的成像设备从多个不同点
拍摄的多个视点图像;校准数据输入单元,用于输入与所述多个拍摄
光学系统的多个基准聚焦距离分别对应的校准数据;图像缩小单元,
用于分别以第一缩小比率缩小所述视点图像,该第一缩小比率所处的
范围使得所述多个视点图像的清晰度不小于对应于最高距离分辨率的
清晰度,其中根据对应于所述校准数据的所述多个基准聚焦距离和与
所述多个基准聚焦距离分别相关联的多个设置距离区域来确定最高距
离分辨率,所述最高距离分辨率用于确定所述多个设置距离区域中的
哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距;距离确
定单元,用于根据相关处理获取通过所述图像缩小单元所缩小的所述
视点图像之间的对应点,用于根据所获取的对应点的视差确定到所述
多个拍摄光学系统聚焦的所述目标对象的物距;和校准数据选择器,
用于以以下方式从多个校准数据中选择校准数据:使得所述距离确定
单元所确定的所述物距落在所述设置距离区域内。

优选地,聚焦区获取单元在视点图像中指定聚焦区。所述距离确
定单元使用所述聚焦区获取单元所指定的所述聚焦区中的所述对应点
的所述视差确定所述物距。

优选地,距离确定单元进行操作来获取聚焦区获取单元所指定的
聚焦区中的对应点。

而且优选地,视差检测器根据所述距离确定单元针对所述多个视
点图像整体所获取的所述对应点的所述视差存在的分布,检测与针对
所述多个拍摄光学系统的焦点状态所估计的距离对应的视差。所述距
离确定单元根据所述视差检测器检测的所述视差获取所述物距。

而且优选地,图像缩小单元在视点图像中设置沿拍摄光学系统的
布置的第一方向上的第一缩小比率,并且在垂直于第一方向的第二方
向上设置视点图像的小于第一缩小比率的第二缩小比率。

优选地,相关窗口校正单元根据第一和第二缩小比率调节距离确
定单元的相关处理中使用的相关窗口的纵横比。

而且优选地,焦距获取单元获取多个拍摄光学系统的焦距,该多
个拍摄光学系统在改变焦距时使得能够在成像设备中拍摄视差图像。
校准数据获取单元根据焦距获取针对拍摄光学系统的多个焦距中每一
个的校准数据。图像缩小单元从一个范围内的缩小比率设置第一缩小
比率,在该范围内,使得视点图像的清晰度不小于对应于最高距离分
辨率的清晰度,其中根据与用于焦距获取单元获取的焦距的校准数据
对应的基准聚焦距离、以及根据与所述基准聚焦距离相关联的设置距
离区域来确定对应于最高距离分辨率。校准数据选择器选择与距离确
定单元所确定的物距和焦距获取单元获取的焦距对应的校准数据。

优选地,而且图像缩小单元包括缩小比率确定单元,用于获取成
像分辨率,从而根据包括基线长度、焦距和拍摄的像素间距的成像设
备的基本信息并根据分别针对多个基准聚焦距离未缩小的视点图像之
间的视差测量距离,用于根据对应于校准数据的基准聚焦距离和与其
相关联的设置距离区域获取分别用于基准聚焦距离的距离分辨率,并
且用于根据成像分辨率和距离分辨率确定第一缩小比率。

而且优选地,缩小比率确定单元执行校正,使得具有会聚角的多
个拍摄光学系统的光轴以近似方式彼此平行,从而获取成像分辨率。

而且,根据本发明的三维位置测量设备包括:如上构成的校准数
据选择装置;录入单元,用于将校准数据选择装置选择的校准数据施
加到输入的视点图像以校正所述视点图像;以及运算处理单元,用于
根据录入单元校正的多个视点图像之间的视差确定目标对象的三维位
置信息。

根据本发明的校准数据选择方法包括:图像获取步骤,用于获取
由具有多个拍摄光学系统的成像设备从不同点拍摄的多个视点图像;
校准数据获取步骤,用于获取与所述多个拍摄光学系统的多个基准聚
焦距离分别对应的校准数据;图像缩小步骤,分别以第一缩小比率缩
小所述视点图像,所述第一缩小比率所处的范围使得所述视点图像的
清晰度不小于对应于最高距离分辨率的清晰度,其中根据对应于所述
校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相
关联的设置距离区域而确定最高距离分辨率,所述最高距离分辨率用
于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系
统聚焦的目标对象的物距;距离确定步骤,用于根据相关处理获取通
过所述图像缩小步骤所缩小的所述多个视点图像之间的对应点,用于
根据所获取的对应点的视差确定到被所述多个拍摄光学系统聚焦的所
述目标对象的物距;和校准数据选择步骤,用于以以下方式从多个校
准数据中选择校准数据:使得所述距离确定步骤所确定的所述物距落
在所述设置距离区域内。

而且,根据本发明的校准数据选择程序使得计算机执行如上所述
的图像获取步骤、校准数据获取步骤、图像缩小步骤、距离确定步骤
和校准数据选择步骤。

发明效果

根据本发明,减小了其中能够检测针对对应于校准数据的各个基
准聚焦距离而确定的任一设置距离区域的范围内减小各个视点图像。
根据从缩小的视点图像获得的视差获取了目标对象的物距,从而选择
了对应于物距的校准数据。结果,在无浪费处理的情况下通过缩短处
理时间能够选择适合的校准数据。

附图说明

图1是示出了三维位置测量设备的框图;

图2是示出了与多个焦距对应的校准数据集和各个校准数据的
设置距离区域的一个示例的示意图;

图3是示出了测量分辨率的示意图;

图4是示出了测量分辨率与远距离侧的物距之间的关系以及与
缩小比率的关系的曲线图;

图5是示出了测量分辨率与近距离侧的物距之间的关系以及与
缩小比率的关系的曲线图;

图6是示出了从校准数据的选择到输出3D数据的处理的流程
图;

图7是示出了检测面部区来指定聚焦区的示例的重要组件的构
造的框图;

图8是示出了其中检测具有较大量的高频分量的区域的示例的
重要组件的构造的框图;

图9是示出了根据视差存在的分布指定用于确定估计聚焦距离
的视差的示例的重要组件的构造的框图;

图10是示出了三维位置测量设备根据校准数据获得相机信息的
框图;

图11是示出了根据校准数据创建相机信息的条件的示意图;

图12是示出了对应于多个焦距的三维位置测量设备的框图;

图13是示出了从对应于多个焦距时校准数据的选择到输出3D
数据的处理的流程图;

图14是示出了与多个焦距对应的校准数据集和各个校准数据的
设置距离区域的一个示例的示意图;

图15是示出了三维位置测量设备的构造的框图,其中根据水平
方向上的缩小比率分别地确定垂直方向上的缩小比率;

图16是示出了通过考虑会聚角确定缩小比率的示例的重要组件
的构造的框图;

图17是示出了会聚角的示意图;

图18是示出了针对聚焦区专门执行相关处理的示例的重要组件
的构造的框图;

图19是示出了其中专门针对从面部区确定的聚焦区执行相关处
理的示例的重要组件的构造的框图;

图20是示出了其中专门针对利用较大量的高频分量确定的聚焦
区而执行相关处理的框图;

图21是示出了在拍摄立体图像时估计和输出聚焦距离的聚焦距
离估计单元的框图;

图22是示出了在拍摄立体图像时估计和输出聚焦距离时的处理
的流程图。

具体实施方式

[第一实施例]

在图1中,示出了实施本发明的三维位置测量设备。三维位置测
量设备10从借助立体相机拍摄目标对象所形成的立体图像测量目标对
象的三维位置信息,或者分析并提取目标对象上的给定点Pi在三维空
间中的坐标(Xi、Yi、Zi)。在提取位置信息之前,在拍摄目标对象时
执行处理任务从而估计拍摄光学系统的聚焦的距离(本文称为聚焦距
离)。根据用于按照估计的聚焦距离去除拍摄光学系统的失真的校准
数据,来校正立体图像。例如由计算机构成三维位置测量设备10。通
过在计算机中运行用于估计聚焦距离并测量三维位置的处理的程序,
来实现相关组件。

立体图像输入单元11针对目标对象提取立体相机所创建的立体
图像。公知的立体相机包括左右侧的两个拍摄光学系统,通过拍摄光
学系统从右和左视点拍摄目标对象,并且输出立体图像作为视差图像。
立体图像包括从左视点拍摄的左视点图像和从右视点拍摄的右视点图
像。立体图像输入单元11提供有分配了标签信息的立体图像,该标签
信息是指示立体相机聚焦的立体图像中的区域的聚焦区。注意,拍摄
光学系统的布置方向不限于水平方向,例如可以是垂直方向。而且,
图像可以是视差图像,其包括从三个或更多视点拍摄的视点图像。

相机信息输入单元12获得已拍摄了待输入立体图像的立体相机
的相机信息(基本信息)。对于相机信息,输入作为右和左拍摄光学
系统之间间距的基线长度、焦距和像素间距。注意,相机信息的各种
值的精度对于确定稍后将描述的估计聚焦距离来说可以较低。

初始准备的校准数据集提供给校准数据集输入单元13。待输入的
校准数据集对应于已拍摄待输入的立体图像的立体相机。校准数据集
包括用于消除拍摄光学系统的失真及其会聚角的影响的多个校准数
据。

根据聚焦位置、即透镜位置,拍摄光学系统的失真等是不同的。
针对多个位置事先准备校准数据作为基准。作为对应于校准数据的基
准的聚焦距离(下文称为基准聚焦距离)分别与校准数据相关联。聚
焦距离的信息与校准数据一起输入到校准数据集输入单元13。基准聚
焦距离为如上所述的拍摄光学系统的聚焦距离。根据作为拍摄光学系
统的基准的聚焦位置确定该距离。基准聚焦距离与作为基准的聚焦位
置相关。

针对连续聚焦距离创建校准数据是不实际的。如图2所示,例如,
与分别地设置的几个基准聚焦距离相对应地创建校准数据。使得校准
数据对应于除了对应于基准聚焦距离之外的距离,并且对应于针对基
准聚焦距离确定的设置距离区域内的聚焦距离。在该实施例中,三维
位置测量设备10针对基准聚焦距离确定设置距离区域。在三维位置测
量设备10中,使用基准聚焦距离之间的中间值作为设置距离区域内的
边界值。一组校准数据的设置距离区域是从近距离侧的边界值到远距
离侧的边界值。在这些边界值之间确定一个基准聚焦距离。

在图2的示例中,准备了与四个基准聚焦距离(50cm、1m、2m
和5m)对应的校准数据C1-C4。针对根据基准聚焦距离“50cm”的校准
数据C1,三维位置测量设备10具有从特写(close up)距离到距离
“75cm”的设置距离区域。距离“75cm”的边界值为校准数据C1和C2的
各个基准聚焦距离的中间值。

针对对应于“1m”的基准聚焦距离的校准数据C2,设置距离区域是
从“75cm”的距离到“1.5m”的距离,其中上述“75cm”的距离以及校准数
据C2和C3之间的“1.5m”的中间值为边界值。类似地,对于校准数据
C3,设置距离区域是从“1.5m”的距离到“3.5m”的距离。对于校准数据
C4,设置距离区域是从“3.5m”的距离到无穷大的距离。

设置设置距离区域的方法不限于以上方法。例如,可以与校准数
据一起预定校准数据的设置距离区域,并且与校准数据一起将设置距
离区域输入到三维位置测量设备10。同样,可以手动输入设置距离区
域。

用于所需分辨率的运算处理单元15与用于成像分辨率的运算处
理单元16、缩小比率确定单元17和图像缩小单元18一起构成图像缩
小单元。运算处理单元15从输入校准数据集提取基准聚集距离,并且
针对各个基准聚焦距离确定所需的分辨率。所需的分辨率被确定作为
距离分辨率,该距离分辨率用于找到哪个设置距离区域包括到拍摄光
学系统所聚焦的目标对象的物距。距离分辨率为对应于一个像素间距
的三维空间中(在(右侧或左侧或上侧或下侧)平面上和在深度上)
的长度。确定的所需分辨率被发送到缩小比率确定单元17。

在使用相机信息和输入视点图像的所有像素确定三维位置时,运
算处理单元16确定成像分辨率作为深度方向的测量分辨率(距离分辨
率)。即使基线长度、焦距和图像传感器上的像素间距在拍摄时相同,
但是根据到目标对象的物距,成像分辨率不同。运算处理单元16利用
校准数据的基准聚焦距离作为物距,分别确定与基准聚焦距离相对应
的成像分辨率。成像分辨率被发送到缩小比率确定单元17。

缩小比率确定单元17根据来自运算处理单元15的所需分辨率和
来自运算处理单元16的成像分辨率来操作,并且确定用于缩小视点图
像的清晰度的一个范围内的缩小比率,使得视点图像的清晰度不低于
根据校准数据的基准聚焦距离及其相关联的设置距离区域确定的基于
最高距离分辨率的清晰度。确定缩小比率使得在使用缩小的视点图像
获得目标对象的物距时的距离分辨率满足所需分辨率中的最高所需分
辨率,并且将获得最可能的缩小效果。在本实施例中,从作为整数的
值K获得最可能的缩小效果的缩小比例,其中缩小比率为“1/K”。

图像缩小单元18以通过缩小比率确定单元17确定的缩小比率缩
小各个视点图像从而降低视点图像的清晰度。在用于缩小的处理中,
缩小视点图像,使得对于视点图像的水平方向(视差方向)和与其垂
直的垂直方向上的像素来说,缩小后的像素数与缩小前的像素数的比
率等于缩小比率。例如,以“1/K”作为缩小比率。缩小后的一个像素为
缩小之前的视点图像中包含“K×K”像素的区域在平均值。同样,通过
根据基于缩小比率的数量进行的稀疏处理可以缩小视点图像。

第一运算处理单元21执行包括相关处理和视差确定的第一运算
处理。在相关处理中,被图像缩小单元18处理缩小之后的视点图像被
处理用于相关处理,从而在右侧视点图像中搜索与左侧视点图像的基
准点(像素)对应的对应点(像素)。在视差确定中,确定由相关处
理检测到的基准点及其对应点之间的视差。第一运算处理的结果提供
给距离估计单元22。以基准点及其对应点之间的平移量(像素数)的
形式获得视差。

聚焦区获取单元23读取和分析分配给输入立体图像的标签信息,
并且获得聚焦区。区转换器24将聚焦区获取单元23在缩小之前获得
的立体图像中聚焦区的坐标根据缩小比率转换成缩小立体图像中的坐
标。将转换后的聚焦区提供给距离估计单元22。

距离估计单元22和第一运算处理单元21构成距离确定单元。距
离估计单元22根据从缩小视点图像中的聚焦区获得的视差来操作,确
定到聚焦区中记录的目标对象一部分的物距,并且将其输出作为估计
的聚焦距离。对于确定估计的聚焦距离,一起使用了像素间距、焦距、
基线长度和视点图像的缩小比率与来自第一运算处理单元21的视差。

校准数据选择器26从分别输入的校准数据中选择与估计的聚焦
距离相关联的校准数据作为校准数据集。对于选择校准数据,校准数
据选择器26参考了与校准数据相关联的设置距离区域,从而选择了其
中估计的聚焦距离位于设置距离区域内的校准数据。由此,选择在拍
摄立体图像时与拍摄光学系统的聚焦位置相关联的校准数据。

校准数据录入单元31将校准数据选择器26选择的校准数据应用
于未缩小的视点图像,从而消除拍摄光学系统的失真及其会聚角的影
响。第二运算处理单元32执行包括相关处理和视差确定的第二运算处
理。第二运算处理的这些处理与第一运算处理的那些处理相同,但是
其针对未缩小的视点图像来执行。第二运算处理的结果提供给3D数据
转换器33。

3D数据转换器33根据作为左侧视点图像的基准点的像素和右侧
视频图像中与其对应的点的像素,确定3D数据作为包括目标对象的距
离的三维位置信息。输出接口34将例如立体图像的3D数据记录到记
录介质。输出方法不限于该方法,也可以是例如输入到监视器的方法。

现在描述缩小比率的确定。从立体相机到测量点的物距L由下式
(1)表示:

L=(D·f)/(B·d)

...(1)

其中,“D”为用于拍摄的立体相机的基线长度,“f”为焦距,“B”
为像素间距,“d”为视差。

可以通过将视差乘以像素间距来获得对应于视差的长度。如果缩
小视点图像,则可能借助通过将相机信息的像素间距除以缩小比率所
确定的值获得该长度。因此,满足“P=B·d0=K·B·d1”的关系,其
中“P”为对应于视差的长度,“B”为相机信息的像素间距,“1/K”为视点
图像的缩小比率,“d0”为缩小前的视差而“d1”为缩小后的视差。

如公知那样,如果测量点在远距离方向上平移,则视差变小,如
果测量点在近距离方向上平移,则视差变大。针对给定的物距,令测
量分辨率为在一个像素的视差变化时距离增加或减小的变化量。如图3
所示,物距L与远距离侧具有小一个像素的较小视差的测量点T1的距
离之间的差为远距离侧的测量分辨率R1。物距L与远距离侧具有大一
个像素的较大视差的测量点T2的距离之间的差为近距离侧的测量分辨
率R2。这可以表达在下式(2)和(3)中。可以通过基于利用立体相
机的基线长度D、焦距f、像素间距B和物距L的式(1)的关系的下
式(2′)和(3′)来表达测量分辨率R1和R2。

R1=[(D·f)/(B·(d-1))]-[(D·f)/(B·d)]

...(2)

=[L/(1-(B·L)/(D·f))]–L

...(2′)

R2=[(D·f)/(B·d)]-[(D·f)/(B·(d+1))]

...(3)

=L-[L/(1+(B·L)/(D·f))]

...(3′)

根据拍摄时的基线长度、焦距、像素间距和物距,可以将成像分
辨率确定作为从上述式(2′)和(3′)获得的远距离侧和近距离侧的测
量分辨率。各个基准聚焦距离被用作物距,所以能够针对各个基准聚
焦距离获得远距离侧的成像分辨率和近距离侧的成像分辨率。

另一方面,为判断待测量的物距是否落在给定校准数据的设置距
离区域内,以基准聚焦距离作为物距通过上述方式获得的远距离侧的
测量分辨率需要为Rf或更低,近距离侧的测量分辨率需要为Rc或更
低,其中Rf为根据校准数据的基准聚焦距离与设置距离区域的上限之
间的差,Rc为根据校准数据的基准聚焦距离与设置距离区域的下限之
间的差。因此针对给定的基准聚焦距离,基准聚焦距离与包括基准聚
焦距离的设置距离区域的上限之间的差为远距离侧的所需分辨率。基
准聚焦距离与包括基准聚焦距离的设置距离区域的下限之间的差为近
距离侧的所需分辨率。由此,可以针对各个基准聚焦距离获得远距离
侧和近距离侧的所需分辨率。

确定缩小比率作为成像分辨率与使用相同基准聚焦距离的相同分
辨率时的所需分辨率的比率的最大值(=成像分辨率/所需分辨率)。简
而言之,针对各个基准聚焦距离获得远距离侧的成像分辨率与远距离
侧的所需分辨率的比率。针对各个基准聚焦距离获得近距离侧的成像
分辨率与近距离侧的所需分辨率的比率。确定最高的一个比率为缩小
比率。

根据缩小比率的下降进一步降低测量分辨率(=“1/K”)。然而,
通过以上述方式确定缩小比率,缩小的立体图像可以满足与基准聚焦
距离之一相对应的所需分辨率。通过上述方式针对等于“1/K”的缩小比
率将值K设置为整数来确定缩小比率,以简化缩小图像的处理,其中
可以最小化立体图像的分辨率从而提高相关处理的效率。

注意,为了满足针对基准聚焦距离中任一的所需分辨率,所确定
的缩小比率为根据本示例的缩小中的效果最好的一个。然而,在确定
缩小比率时不必使得缩小的效果最好。

在图4和5中,示出了从立体相机到测量点之间的物距L与物距
L处的测量分辨率之间的关系的一个示例。甚至在不缩小视点图像的情
况下,也可以根据物距L的增加来缩小测量分辨率。根据缩小导致的
测量分辨率降低的影响随着物距L的增加而增大。而且,随着缩小比
率的降低存在测量分辨率减小的趋势。

符号L1-L4指示对应于图2所示的校准数据C1-C4的基准聚焦距
离。图4和5中的符号“o”指示所需分辨率。关于远距离侧校准数据C1
和C2所需的分辨率,如果缩小比率小于“1/45”,则在基准聚焦距离处
满足所需分辨率“250mm”和“500mm”。然而,对于校准数据C3,如果
缩小比率小于“1/45”,则在基准聚焦距离处不满足所需分辨率
“1,500mm”。

关于近距离侧校准数据C2和C3所需的分辨率,如果缩小比率小
于“1/32”,则在基准聚焦距离处满足所需分辨率“250mm”和“500mm”。
然而,对于校准数据C4,如果缩小比率小于“1/18”,则在基准聚焦距
离处不满足所需分辨率“1,500mm”。结果,确定“1/18”被确定为缩小比
率,这是因为成像分辨率与所需分辨率的比率作为缩小比率最大。

参考图6描述上述构造的操作。首先,使用校准数据集输入单元
13输入校准数据集,其针对拍摄用于测量三维位置的立体图像的立体
相机而准备。随后使用相机信息输入单元12输入立体相机的相机信息。

在输入校准数据集和相机信息时,提取与各个校准数据对应的基
准聚焦距离。根据基准聚焦距离,运算处理单元15获得与基准聚焦距
离相对应的远距离侧和近距离侧两者的所需分辨率。同样,从基准聚
焦距离和相机信息获得与基准聚焦距离相对应的远距离侧和近距离侧
两者的成像分辨率。

根据各个所需分辨率和成像分辨率,缩小比率确定单元17确定视
点图像的缩小比率。此时,针对各个基准聚焦距离,缩小比率确定单
元17获得远距离侧的成像分辨率与远距离侧的所需分辨率的比率以及
近距离侧的成像分辨率与近距离侧的所需分辨率的比率。确定最高的
一个比率为缩小比率。

在立体图像输入单元11输入视点图像时,将视点图像发送到图像
缩小单元18和校准数据录入单元31。以缩小比率确定单元17所确定
的缩小比率来缩小图像缩小单元18中的视点图像。在视点图像中,减
小像素数和清晰度。增大了像素间距从而降低了测量分辨率。

以上述方式缩小的视点图像被发送到第一运算处理单元21并且
在第一运算处理中处理其整个区域。通过相关处理搜索对应点从而获
得针对检测到的对应点的基准点的视差。随着视点图像缩小,比输入
视点图像的相关处理更短时间地完成了相关处理。尽管校准数据在第
一运算处理中没有施加到视点图像,但是可以在无大故障的情况下搜
索对应点,这是因为由于缩小了视点图像,甚至在不存在校准数据时,
对拍摄光学系统或其会聚角的失真的影响也较小。获得的对应点的位
置信息及其视差的信息被发送到距离估计单元22。

同样,由聚焦区获取单元23通过分析分配给立体图像的标签信息
获得的聚焦区被区转换器24转换成各个缩小视点图像中的坐标,并且
被发送到距离估计单元22。

在输入第一运算操作和以上述方式转换的聚焦区的结果的状态
下,距离估计单元22根据相机信息和转换的聚焦区中检测到的对应点
的视差确定到视差的目标对象一部分的物距。输出该物距作为估计的
聚焦距离。

在估计的聚焦距离被发送到校准数据选择器26时,从各个校准数
据中选择其中估计的聚焦距离包括在设置距离区域中的校准数据。

在选择的校准数据被发送到校准数据录入单元31时,向未缩小的
各个视点图像施加校准数据,从而消除用于拍摄的立体相机中拍摄光
学系统的失真。如前所述,根据从各个缩小视点图像获得的估计的聚
焦距离选择校准数据。由此,由于通过上述方式进行选择,得以将适
当选择的校准数据施加到视点图像。

第二运算处理单元32在第二运算处理中处理施加了校准数据之
后的视点图像。针对各视点图像中的像素,借助包括目标对象的距离
的三维位置信息,来根据第二运算处理的结果确定3D数据。将3D数
据记录到记录介质。

为了测量来自同一立体相机连续拍摄的立体图像的三维位置信
息,可以使用通用校准数据和相机信息。可以仅输入立体图像而不输
入数据和信息。

在上述实施例中,根据分配给立体图像的标签信息指定聚焦区作
为立体相机聚焦的一部分。然而,聚焦区的指定不限于该方法。例如,
可以通过分析视点图像来指定聚焦区。根据分析视点图像的方法可以
是根据检测面部区或包含较大量的高频分量的区的方法。

在图7的示例中,使用面部区。面部区检测器41检测视点图像中
的各个面部区。面部区选择器41选择检测到的面部区中的任何一个并
且指定为聚焦区。选择为聚焦区的该面部区可以是面部区中靠近视点
图像的中央的一个、面部区中最大的一个等。在拍摄人像时这是有用
的,因为通常是对人脸聚焦。

在图8的示例中,利用了聚焦区中高频分量增加的特征。视点图
像被分成几个区。高频分量区检测器43检查各个分割区中高频分量的
量,并且根据最大量的高频分量指定分割区之一作为聚焦区。

不同于利用聚焦区的指定,可以根据对立体相机的聚焦状态的估
计的距离指定视差。在图9的实施例中,视差分配检测器44检查第一
运算处理单元21获得的整个视点图像区的视差的分布,并且根据基于
该分布针对聚焦状态而估计的距离指定例如针对该视差的视差模值。
可以使用视差的中间值等而不是视差的模值。同样,可以检查距离的
分布而不是视差。

注意在图7-9中仅示出重要部分。在描述中去除了剩余部分。

[第二实施例]

描述第二实施例,其中从校准数据获得相机信息。该实施例除了
下文描述的其他部分之外与第一实施例相同。基本上为相同组件分配
了相同标号,从而省略进一步的描述。

在图10所示的实施例中,用于相机信息的运算处理单元51被提
供作为相机信息获取单元来取代相机信息输入单元。各个校准数据由
校准数据集输入单元13输入到运算处理单元51。运算处理单元51分
析校准数据,并且提取并输出相机信息。

如图11所示,通过与失真参数相关的立体参数矩阵和立体图像中
的像素位置来表示校准数据,所述失真参数用于将拍摄光学系统的失
真表达为三维空间的坐标。运算处理单元51分析该校准数据并且将校
准数据分成离散参数,以提取右侧和左侧拍摄光学系统的位置(原点
坐标)和像素焦距。根据右侧和左侧拍摄光学系统的各个部分确定基
线长度。像素焦距为通过将拍摄光学系统的焦距除以像素间距获得的
值(dividend)(焦距/像素间距)。即使在三维位置测量中的焦距和像
素间距之间没有分离的情况也没有问题。

运算处理单元51根据各个校准数据获得基线长度和像素焦距,并
且输出通过对它们求平均确定的平均基线长度和平均像素焦距作为相
机信息。根据拍摄光学系统的聚焦位置,校准数据之间存在细微差别。
根据校准数据获得的相机信息在精确的意义上是不准确的。然而,为
了选择校准数据的目的,根据具有缩小测量分辨率的视点图像获得估
计的聚焦距离时不会有问题。注意,可以使用中间值而非平均值。例
如,根据选择的校准数据获得的基线长度和像素焦距可以用作第二运
算处理单元32和3D数据转换器33中的基本信息。

[第三实施例]

与使用变焦透镜作为拍摄光学系统的立体相机对应地描述第三实
施例。该实施例除了下文描述的其他部分之外与第一实施例相同。基
本上为相同的组件分配了相同标号,从而省略进一步的描述。在第三
实施例中,针对拍摄光学系统在广角端和长焦端中任一个的焦距设置
来描述拍摄立体图像的构造。可以将该实施例应用于其他焦距,并且
可应用于三个或更多的焦距。

图12示出了第三实施例的三维位置测量设备10的构造。图13示
出了处理步骤。立体图像提供给立体图像输入单元11,该立体图像不
仅分配有拍摄立体图像使用的拍摄光学系统的聚焦区还有焦距作为标
签信息。焦距获取单元53从输入的立体图像的标签信息获得并输出专
门使用的焦距。在该实施例中,焦距获取单元53获得长焦端和广角端
中任一个的焦距。

相机信息输入单元12接收作为相机信息的基线长度、像素间距和
长焦端和广角端的焦距的输入。在示出一个示例的图14中,校准数据
集输入单元13接收校准数据集的输入,其中针对焦距准备了用于各个
基准聚焦距离的校准数据。

运算处理单元15针对各个校准数据的焦距和各个基准聚焦距离
确定远距离侧和近距离侧的所需分辨率。运算处理单元16根据相机信
息针对各个焦距以及针对各个基准聚焦距离确定远距离侧和近距离侧
的成像分辨率。按照与第一实施例的缩小比率确定单元17类似的方式,
用于缩小比率的运算处理单元54根据针对各个焦距的所需分辨率和成
像分辨率确定缩小比例。由此,确定长焦端和广角端的缩小比率。缩
小比率被写入存储器54a。

将从立体图像的标签信息提取的焦距提供给缩小比率选择器55。
响应于焦距的输入,缩小比率选择器55从存储器54a提取与焦距相对
应的缩小比率,并且将缩小比率发送给图像缩小单元18、区转换器24
和第一运算处理单元21。随后以以下方式缩小视点图像:满足基于拍
摄输入的立体图像所用的焦距的所需分辨率,并且使得缩小效果最大。
根据视点图像获得估计的聚焦距离。

校准数据选择器26选择与从立体图像的标签信息获得的焦距对
应的校准数据和距离估计单元22获得的估计的聚焦距离。将选择的校
准数据应用于各个视点图像。

[第四实施例]

描述第四实施例,其中相互分离地确定视点图像的垂直和水平缩
小比率。该实施例除了下文描述的其他部分之外与第一实施例相同。
基本上,为相同组件分配了相同标号,从而省略进一步的描述。

在图15中,用于水平方向缩小比率的比率确定单元61与缩小比
率确定单元17相同,不同之处在于其确定输出作为视点图像的水平方
向缩小比率(本文称为水平缩小比率)的缩小比率。在该实施例中,
通过在视点图像上取右侧和左侧拍摄光学系统的布置方向为水平方
向、取在视点图像上与水平方向垂直的方向中为垂直方向来进行描述。

用于垂直方向缩小比率的比率输入单元62被提供并操作用于输
入垂直方向上的缩小比率(本文称为垂直方向缩小比率)。图像缩小
单元18在水平缩小中根据来自比率确定单元61的水平缩小比率、在
垂直缩小中根据来自比率输入单元62的垂直缩小比率来缩小各个视点
图像。类似地,对于聚焦区,在水平缩小中根据水平缩小比率并且在
垂直缩小中根据垂直缩小比率来缩小区转换器24获得的聚焦区的大小
从而调节纵横比。

如果水平缩小比率不同于垂直缩小比率,则窗口尺寸校正单元63
根据各个缩小比率校正相关处理中使用的相关窗口的尺寸。进行校正
以满足“Wv=Wh·Qv/Qh”,其中Wv为相关窗口的垂直尺寸,Wh为
相关窗口的水平尺寸,Qv为垂直缩小比率,而Qh为水平缩小比率。

检测深度方向上的距离差别,来作为布置拍摄光学系统的视差方
向上的平移量。测量分辨率受到水平方向上的缩小影响,而不受垂直
方向上的缩小影响。因此,缩小比率被确定为用于在垂直方向比水平
方向缩小更多,使得在不影响测量分辨率的情况下可以进一步减少处
理时间。

在以上实施例中,输入了垂直缩小比率的绝对值。然而,可以输
入垂直缩小比率与水平缩小比率的相对值。同样,可以自动将垂直缩
小比率设置为比水平缩小比率缩小更多,而不是输入垂直缩小比率。

[第五实施例]

描述第五实施例,其中在考虑会聚角情况下确定成像分辨率。该
实施例除了下文描述的其他部分之外与第一实施例相同。基本上,为
相同组件分配了相同标号,从而省略进一步的描述。

在图16所示的实施例中,提供了用于会聚角校正的校正设置单元
67。根据与基线长度一同作为相机信息输入的立体图像的会聚角,校
正设置单元67校正用于在运算处理单元16中确定成像分辨率的运算
处理。

在该实施例中,如果在如图17所示的光轴PL和PR之间不平行
情况下给出拍摄光学系统68L和68R之间的会聚角,校正设置单元67
校正像素间距以确定成像分辨率。令“B0”为校正之前图像传感器69L
和69R的像素间距。令“B1”为校正之后的像素间距。校正设置单元67
根据“B1=B0·cos(θ/2)”执行校正。由此,在以倾角(θ/2)从立体相机
的前端观看时,通过将图像传感器69L和69R的像素间距B0转换成
明显像素间距B1来确定成像分辨率。

在以上描述中,校正了像素间距。然而,可以校正像素的平移量
来确定成像分辨率。如果存在会聚角θ,则在“d=(f/B)·tanθ”条件下测
量距离为无穷大(L=∞),其中“d”为像素的平移量,“f”为拍摄光学
系统的焦距而“B”为像素间距。同样,如果拍摄光学系统的光轴平行而
不存在会聚角,则测量距离无穷大时,“d=0”。简而言之,像素的平移
量在存在会聚角θ的情况下比没有会聚角的情况下要大。通过校正该平
移量可以解决不存在会聚角的情况。因此,可以根据“d1=d0-
(f/B)·tanθ”使用校正的像素的平移量d1来确定成像分辨率,其中“d0”
为像素在校正之前的平移量,而“d1”为像素在校正之后的平移量。

以上实施例并未用于严格消除会聚角的影响,但是可以充分有效
地实施从而确定用于获得估计的聚焦距离的成像分辨率。在用于具有
人眼的立体观测的立体拍摄的立体相机中,会聚角被分配给立体相机
以易于立体观测。这些实施例在处理来自这种立体相机的立体图像时
是有效的。

[第六实施例]

描述第六实施例,其中指定一个区来执行相关处理并且确定视差。
该实施例除了下文描述的其他部分之外与第一实施例相同。基本上,
为相同组件分配了相同标号从而省略进一步的描述。在图18中,仅示
出了重要组件,而省略了其余组件。在图19和20中,类似地示出了
各组件。

如图18所示,提供了用于运算处理区的区设置单元68。区设置
单元68使得第一运算处理单元21执行相关处理的任务并且仅针对视
点图像中由区转换器24转换成缩小了的区的聚焦区确定视差。由此,
缩短了搜索对应点或获得视差的处理时间。

在本实施例中,相关处理和视差确定的区被限制于从标签信息指
定的聚焦区。然而,可以以图19和20的方式使用该实施例,用于借
助聚焦区指定在视点图像中检测或选择的面部图像或者具有最大量高
频分量的区。

[第七实施例]

针对在拍摄立体图像时估计和输出聚焦距离的聚焦距离估计单元
的示例,描述第七实施例。该实施例除了下文描述的其他部分之外与
第一实施例相同。基本上,为相同组件分配了相同标号从而省略进一
步的描述。

图21示出了聚焦距离估计单元。通过输入立体相机拍摄的立体图
像或者输入立体相机的相机信息,聚焦距离估计单元70估计和输出拍
摄立体图像时立体相机的拍摄光学系统的聚焦距离。

与立体相机的拍摄光学系统可以设置的焦点位置对应的基准聚焦
距离输入到距离步幅输入端口71。例如,如果通过在对应于物距50cm、
60cm、80cm、1m、1.2m、1.5m等的焦点距离逐步地移动立体相机的
拍摄光学系统来调节聚焦,则输入那些物距作为基准聚焦距离。

将用于立体相机的聚焦的区信息提供给聚焦区输入端口72。如果
控制立体相机聚焦在图像框的中央,则输入到聚焦区输入端口72的区
信息为视点图像中央区的坐标。

输出接口73输出距离估计单元22确定的估计的聚焦距离,例如
将其记录到记录介质。

在图22所示的实施例中,在输入各个基准聚焦距离和立体相机的
相机信息时确定缩小比率。以缩小比率来缩小输入的立体图像(各个
视点图像)。随后针对缩小的立体图像执行相关处理和视差确定从而
获得视差值。根据缩小来使用与被输入和转换的聚焦区内对应的视差
值之一确定物距,并且输出作为估计的聚焦距离。

可以与立体相机一起使用上述聚焦距离估计单元70。对于该结构,
在立体相机中提供存储器,用于存储各个基准聚焦距离、相机信息和
聚焦区。可以从存储器提取信息,或者直接从存储器输入立体图像。
对于将聚焦距离估计单元70与立体相机结合进行拍摄,针对拍摄之间
聚焦区的变化事件,可以获得拍摄时确定的聚焦区。同样,可以在检
测焦点位置的立体相机中并入聚焦距离估计单元70的功能,而取代检
测拍摄光学系统的焦点位置的编码器。

在上述第一到第六实施例中,描述了三维位置测量设备作为示例。
然而,可以使用包括选择校准数据的功能来构建校准数据选择装置。
在实施例中,在设备中确定缩小比率。然而,可以利用校准数据集创
建缩小比率并且与校准数据集一起输入缩小比率。同样,可以在不冲
突的情况下将上述实施例的结构组合。

标号的描述

10  三维位置测量设备

11  立体图像输入单元

12  相机信息输入单元

13  校准数据集输入单元

17  缩小比率确定单元

18  图像缩小单元

21  第一运算处理单元

22  距离估计单元

26  校准数据选择

校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf_第1页
第1页 / 共33页
校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf_第2页
第2页 / 共33页
校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf_第3页
第3页 / 共33页
点击查看更多>>
资源描述

《校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf》由会员分享,可在线阅读,更多相关《校准数据选择装置、选择方法、选择程序以及三维位置测量设备.pdf(33页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102822621 A(43)申请公布日 2012.12.12CN102822621A*CN102822621A*(21)申请号 201180017756.1(22)申请日 2011.04.012010-087519 2010.04.06 JPG01C 3/00(2006.01)G01B 11/00(2006.01)G01C 3/06(2006.01)(71)申请人富士胶片株式会社地址日本东京(72)发明人石山英二 增田智纪(74)专利代理机构北京天昊联合知识产权代理有限公司 11112代理人陈源 李铭(54) 发明名称校准数据选择装置、选择方法、选择程序以及三维位置。

2、测量设备(57) 摘要通过消除无用的计算从而缩短了计算时间来选择适当的校准数据。在根据立体图像测量待测目标的三维位置之前,将对应于图像拍摄光学系统的聚焦位置的校准数据施加给立体图像。在选择校准数据时,根据从缩小的立体图像获得的像差计算物距,并将其定义为对应于聚焦位置的估计聚焦距离,其中,选择了校准数据以使得将可应用的距离范围设置成包括估计的聚焦距离。每个视点图像被缩小到这样的范围内:该范围使得能够识别施加了针对对应于校准数据的每个基准聚焦距离设置的可应用距离范围中的哪个范围。(30)优先权数据(85)PCT申请进入国家阶段日2012.10.08(86)PCT申请的申请数据PCT/JP2011/。

3、058427 2011.04.01(87)PCT申请的公布数据WO2011/125937 JA 2011.10.13(51)Int.Cl.权利要求书2页 说明书13页 附图17页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 13 页 附图 17 页1/2页21.一种校准数据选择装置,其特征在于包括:图像获取单元,用于获取由具有多个拍摄光学系统的成像设备从多个不同点拍摄的多个视点图像;校准数据输入单元,用于输入与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据;图像缩小单元,用于分别以第一缩小比率使所述多个视点图像缩小,所述第一缩小比率所处的范围使得。

4、所述多个视点图像的清晰度不小于对应于最高距离分辨率的清晰度,其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定所述最高距离分辨率,所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距;距离确定单元,用于根据相关处理获取通过所述图像缩小单元所缩小的所述多个视点图像之间的对应点,用于根据所获取的对应点的视差确定到所述多个拍摄光学系统聚焦的所述目标对象的物距;校准数据选择器,用于以以下方式从所述多个校准数据中选择校准数据:使得所述距离确定单元所确定的所述物距落在所述设置距离区域内。2.如权利要求。

5、1所述的校准数据选择装置,其特征在于,进一步包括聚焦区获取单元,用于在所述多个视点图像中指定聚焦区;其中,所述距离确定单元使用所述聚焦区获取单元所指定的所述聚焦区中的所述对应点的视差确定所述物距。3.如权利要求2所述的校准数据选择装置,其特征在于,所述距离确定单元进行操作以获取所述聚焦区获取单元所指定的所述聚焦区中的对应点。4.如权利要求1所述的校准数据选择装置,其特征在于,进一步包括视差检测器,其根据所述距离确定单元针对所述多个视点图像整体所获取的所述对应点的所述视差存在的分布,检测与针对所述多个拍摄光学系统的焦点状态所估计的距离对应的视差;其中,所述距离确定单元根据所述视差检测器检测的所述。

6、视差获取所述物距。5.如权利要求1所述的校准数据选择装置,其特征在于,所述图像缩小单元在所述多个视点图像中设置沿所述多个拍摄光学系统的布置的第一方向上的第一缩小比率,并且在垂直于所述第一方向的第二方向上设置所述多个视点图像的小于所述第一缩小比率的第二缩小比率。6.如权利要求5所述的校准数据选择装置,其特征在于,进一步包括相关窗口校正单元,用于根据所述第一缩小比率和所述第二缩小比率调节所述距离确定单元的所述相关处理中使用的相关窗口的纵横比。7.如权利要求1所述的校准数据选择装置,其特征在于,进一步包括焦距获取单元,用于获取所述多个拍摄光学系统的焦距,其中所述多个拍摄光学系统在改变所述焦距时使得能。

7、够在所述成像设备中拍摄视差图像;其中所述校准数据获取单元根据所述焦距获取针对所述多个拍摄光学系统的多个焦距中每一个的校准数据;所述图像缩小单元根据一个范围内的缩小比率设置第一缩小比率,在所述范围内,使得所述多个视点图像的所述清晰度不小于对应于最高距离分辨率的所述清晰度,其中根据权 利 要 求 书CN 102822621 A2/2页3与用于所述焦距获取单元获取的焦距的所述校准数据对应的所述基准聚焦距离、以及根据与所述基准聚焦距离相关联的设置距离区域来确定所述最高距离分辨率;所述校准数据选择器选择与所述距离确定单元所确定的所述物距和所述焦距获取单元获取的焦距相对应的校准数据。8.如权利要求1所述的。

8、校准数据选择装置,其特征在于,所述图像缩小单元包括缩小比率确定单元,用于获取成像分辨率,以根据包括基线长度、焦距和拍摄的像素间距的所述成像设备的基本信息并根据分别针对所述多个基准聚焦距离未缩小的所述多个视点图像之间的视差测量距离,用于根据对应于所述校准数据的基准聚焦距离和与其相关联的设置距离区域获取分别用于所述基准聚焦距离的距离分辨率,并且用于根据所述成像分辨率和所述距离分辨率确定第一缩小比率。9.如权利要求8所述的校准数据选择装置,其特征在于,所述缩小比率确定单元执行校正,使得具有会聚角的所述多个拍摄光学系统的光轴以近似方式彼此平行,从而获取所述成像分辨率。10.一种三维位置测量设备,其特征。

9、在于,包括:如权利要求1-9中任一所述的校准数据选择装置;录入单元,用于将所述校准数据选择装置所选择的校准数据施加到输入的所述多个视点图像以校正所述多个视点图像;运算处理单元,用于根据所述录入单元所校正的所述多个视点图像之间的视差确定所述目标对象的三维位置信息。11.一种校准数据选择方法,其特征在于包括:图像获取步骤,用于获取由具有多个拍摄光学系统的成像设备从不同点拍摄的多个视点图像;校准数据获取步骤,用于获取与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据;图像缩小步骤,用于分别以第一缩小比率使所述多个视点图像缩小,所述第一缩小比率所处的范围使得所述多个视点图像的清晰度不小于对应于。

10、最高距离分辨率的清晰度,其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定所述最高距离分辨率,所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距;距离确定步骤,用于根据相关处理获取通过所述图像缩小步骤所缩小的所述多个视点图像之间的对应点,用于根据所获取的对应点的视差确定到被所述多个拍摄光学系统聚焦的所述目标对象的物距;校准数据选择步骤,用于以以下方式从所述多个校准数据中选择校准数据:使得所述确定步骤所确定的所述物距落在所述设置距离区域内。12.一种校准数据选择程序,其特征在于,使得计算机。

11、执行如权利要求11所述的图像获取步骤、所述校准数据获取步骤、所述图像缩小步骤、所述距离确定步骤和所述校准数据选择步骤。权 利 要 求 书CN 102822621 A1/13页4校准数据选择装置、 选择方法、 选择程序以及三维位置测量设备技术领域0001 本发明涉及校准数据选择装置、选择方法、选择程序和用于在测量三维位置时使用视差图像选择校准数据的三维位置测量设备。背景技术0002 已知立体相机作为三维位置测量设备用于测量目标对象的三维信息。相机拍摄的一对视点图像构成视差图像。根据该对视点图像中对应点的视差,获得目标对象的三维位置,即目标对象上的给定点Pi在三维空间中的坐标(Xi,Yi,Zi)。。

12、0003 为了高精度测量三维位置,需要从视点图像消除作为从拍摄光学系统的特性得到的分量的失真,例如像差。同样,必须根据拍摄光学系统在拍摄时的正确焦距、位置关系、方向等信息,校正视点图像。在分析视点图像之前,与视点图像相关联地校正根据拍摄光学系统的特性创建的校准数据。在焦距可调的拍摄光学系统中,必须根据拍摄时的聚焦位置选择校准数据并将其应用于视点图像,这是因为该特性随着拍摄光学系统的聚焦位置改变。0004 在上述方式中为了根据聚焦位置选择校准数据,必须在拍摄时指定聚焦位置。作为指定的方法,已知有根据移动聚焦透镜的步进电动机的步进位置指定的方法(专利文献1)。0005 为了获得视点图像之间的视差,。

13、根据相关性处理检查视点图像中像素之间的相关性,从而根据相关特性在视点图像中搜索相同的拍摄目标点,即对应点。根据视点图像的清晰度的程度,相关处理的计算成本会较高。即使清晰度的微小提高,计算成本也显著地增加。由此,考虑了距离分辨率随着在距目标对象的距离方面的接近而变得更高的事实。视点图像被分成多个距离区域的区。以清晰度随着这些区的距离的接近而降低的方式来转换这些区。已知这样的一种装置,其中在降低计算成本时获得针对整个视点图像所需的距离分辨率(range resolution)(专利文献2)。0006 现有文献0007 专利文献0008 专利文献1:日本专利公开No.2008-2414910009 。

14、专利文献2:日本专利公开No.2001-126065发明内容0010 本发明要解决的问题0011 顺便提及,如专利文献1所披露的,施加到步进电动机的驱动脉冲用于根据步进电动机的步进位置指定焦点位置。然而,这并非优选的,因为如果在步进电动机中出现临时步进失调或者如果拍摄光学系统出现震动而与驱动脉冲无关地使透镜位置移动,则无法检测到正确的聚焦位置。尽管可以借助直接检测透镜位置的编码器来检测正确的焦点位置,但是问题在于提供这种机构无法适用于适于许多用户的立体相机,这是因为配件数量或成说 明 书CN 102822621 A2/13页5本会增加。0012 同样,可以考虑另一方法,其中在不对视点图像施加校。

15、准数据或在对视点图像施加了校准数据的适当的数据之后,借助从视点图像获得的视差来指定拍摄光学系统的聚焦的聚焦距离。可以根据聚焦距离检测聚焦位置。然而,由于浪费较长的处理时间,该方法没有效率,这是因为相比选择校准数据所需的距离分辨率,以更高的距离分辨率执行了处理。在降低计算成本时,根据距离区域改变清晰度的专利文献2的方法是有效的。然而,该方法仅可用于特定距离分布的视点图像,而不能应用于各种场景中创建的视点图像。0013 根据上述问题作出本发明,其目的是提供能够不浪费计算地根据视差图像从校准数据中选择适当数据的校准数据选择装置、选择方法、选择程序和三维位置测量设备。0014 解决问题的方式0015 。

16、为了实现上述目的,根据本发明的校准数据选择装置包括图像获取单元,用于获取由具有多个拍摄光学系统的成像设备从多个不同点拍摄的多个视点图像;校准数据输入单元,用于输入与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据;图像缩小单元,用于分别以第一缩小比率缩小所述视点图像,该第一缩小比率所处的范围使得所述多个视点图像的清晰度不小于对应于最高距离分辨率的清晰度,其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定最高距离分辨率,所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距;距离确定单。

17、元,用于根据相关处理获取通过所述图像缩小单元所缩小的所述视点图像之间的对应点,用于根据所获取的对应点的视差确定到所述多个拍摄光学系统聚焦的所述目标对象的物距;和校准数据选择器,用于以以下方式从多个校准数据中选择校准数据:使得所述距离确定单元所确定的所述物距落在所述设置距离区域内。0016 优选地,聚焦区获取单元在视点图像中指定聚焦区。所述距离确定单元使用所述聚焦区获取单元所指定的所述聚焦区中的所述对应点的所述视差确定所述物距。0017 优选地,距离确定单元进行操作来获取聚焦区获取单元所指定的聚焦区中的对应点。0018 而且优选地,视差检测器根据所述距离确定单元针对所述多个视点图像整体所获取的所。

18、述对应点的所述视差存在的分布,检测与针对所述多个拍摄光学系统的焦点状态所估计的距离对应的视差。所述距离确定单元根据所述视差检测器检测的所述视差获取所述物距。0019 而且优选地,图像缩小单元在视点图像中设置沿拍摄光学系统的布置的第一方向上的第一缩小比率,并且在垂直于第一方向的第二方向上设置视点图像的小于第一缩小比率的第二缩小比率。0020 优选地,相关窗口校正单元根据第一和第二缩小比率调节距离确定单元的相关处理中使用的相关窗口的纵横比。0021 而且优选地,焦距获取单元获取多个拍摄光学系统的焦距,该多个拍摄光学系统在改变焦距时使得能够在成像设备中拍摄视差图像。校准数据获取单元根据焦距获取针对拍。

19、摄光学系统的多个焦距中每一个的校准数据。图像缩小单元从一个范围内的缩小比率设置第一缩小比率,在该范围内,使得视点图像的清晰度不小于对应于最高距离分辨率的清说 明 书CN 102822621 A3/13页6晰度,其中根据与用于焦距获取单元获取的焦距的校准数据对应的基准聚焦距离、以及根据与所述基准聚焦距离相关联的设置距离区域来确定对应于最高距离分辨率。校准数据选择器选择与距离确定单元所确定的物距和焦距获取单元获取的焦距对应的校准数据。0022 优选地,而且图像缩小单元包括缩小比率确定单元,用于获取成像分辨率,从而根据包括基线长度、焦距和拍摄的像素间距的成像设备的基本信息并根据分别针对多个基准聚焦距。

20、离未缩小的视点图像之间的视差测量距离,用于根据对应于校准数据的基准聚焦距离和与其相关联的设置距离区域获取分别用于基准聚焦距离的距离分辨率,并且用于根据成像分辨率和距离分辨率确定第一缩小比率。0023 而且优选地,缩小比率确定单元执行校正,使得具有会聚角的多个拍摄光学系统的光轴以近似方式彼此平行,从而获取成像分辨率。0024 而且,根据本发明的三维位置测量设备包括:如上构成的校准数据选择装置;录入单元,用于将校准数据选择装置选择的校准数据施加到输入的视点图像以校正所述视点图像;以及运算处理单元,用于根据录入单元校正的多个视点图像之间的视差确定目标对象的三维位置信息。0025 根据本发明的校准数据。

21、选择方法包括:图像获取步骤,用于获取由具有多个拍摄光学系统的成像设备从不同点拍摄的多个视点图像;校准数据获取步骤,用于获取与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据;图像缩小步骤,分别以第一缩小比率缩小所述视点图像,所述第一缩小比率所处的范围使得所述视点图像的清晰度不小于对应于最高距离分辨率的清晰度,其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的设置距离区域而确定最高距离分辨率,所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距;距离确定步骤,用于根据相关处理获取通过所述图像缩小步骤所缩小。

22、的所述多个视点图像之间的对应点,用于根据所获取的对应点的视差确定到被所述多个拍摄光学系统聚焦的所述目标对象的物距;和校准数据选择步骤,用于以以下方式从多个校准数据中选择校准数据:使得所述距离确定步骤所确定的所述物距落在所述设置距离区域内。0026 而且,根据本发明的校准数据选择程序使得计算机执行如上所述的图像获取步骤、校准数据获取步骤、图像缩小步骤、距离确定步骤和校准数据选择步骤。0027 发明效果0028 根据本发明,减小了其中能够检测针对对应于校准数据的各个基准聚焦距离而确定的任一设置距离区域的范围内减小各个视点图像。根据从缩小的视点图像获得的视差获取了目标对象的物距,从而选择了对应于物距。

23、的校准数据。结果,在无浪费处理的情况下通过缩短处理时间能够选择适合的校准数据。附图说明0029 图1是示出了三维位置测量设备的框图;0030 图2是示出了与多个焦距对应的校准数据集和各个校准数据的设置距离区域的一个示例的示意图;0031 图3是示出了测量分辨率的示意图;说 明 书CN 102822621 A4/13页70032 图4是示出了测量分辨率与远距离侧的物距之间的关系以及与缩小比率的关系的曲线图;0033 图5是示出了测量分辨率与近距离侧的物距之间的关系以及与缩小比率的关系的曲线图;0034 图6是示出了从校准数据的选择到输出3D数据的处理的流程图;0035 图7是示出了检测面部区来指。

24、定聚焦区的示例的重要组件的构造的框图;0036 图8是示出了其中检测具有较大量的高频分量的区域的示例的重要组件的构造的框图;0037 图9是示出了根据视差存在的分布指定用于确定估计聚焦距离的视差的示例的重要组件的构造的框图;0038 图10是示出了三维位置测量设备根据校准数据获得相机信息的框图;0039 图11是示出了根据校准数据创建相机信息的条件的示意图;0040 图12是示出了对应于多个焦距的三维位置测量设备的框图;0041 图13是示出了从对应于多个焦距时校准数据的选择到输出3D数据的处理的流程图;0042 图14是示出了与多个焦距对应的校准数据集和各个校准数据的设置距离区域的一个示例的。

25、示意图;0043 图15是示出了三维位置测量设备的构造的框图,其中根据水平方向上的缩小比率分别地确定垂直方向上的缩小比率;0044 图16是示出了通过考虑会聚角确定缩小比率的示例的重要组件的构造的框图;0045 图17是示出了会聚角的示意图;0046 图18是示出了针对聚焦区专门执行相关处理的示例的重要组件的构造的框图;0047 图19是示出了其中专门针对从面部区确定的聚焦区执行相关处理的示例的重要组件的构造的框图;0048 图20是示出了其中专门针对利用较大量的高频分量确定的聚焦区而执行相关处理的框图;0049 图21是示出了在拍摄立体图像时估计和输出聚焦距离的聚焦距离估计单元的框图;005。

26、0 图22是示出了在拍摄立体图像时估计和输出聚焦距离时的处理的流程图。具体实施方式0051 第一实施例0052 在图1中,示出了实施本发明的三维位置测量设备。三维位置测量设备10从借助立体相机拍摄目标对象所形成的立体图像测量目标对象的三维位置信息,或者分析并提取目标对象上的给定点Pi在三维空间中的坐标(Xi、Yi、Zi)。在提取位置信息之前,在拍摄目标对象时执行处理任务从而估计拍摄光学系统的聚焦的距离(本文称为聚焦距离)。根据用于按照估计的聚焦距离去除拍摄光学系统的失真的校准数据,来校正立体图像。例如由计算机构成三维位置测量设备10。通过在计算机中运行用于估计聚焦距离并测量三维位置的处理的程序。

27、,来实现相关组件。说 明 书CN 102822621 A5/13页80053 立体图像输入单元11针对目标对象提取立体相机所创建的立体图像。公知的立体相机包括左右侧的两个拍摄光学系统,通过拍摄光学系统从右和左视点拍摄目标对象,并且输出立体图像作为视差图像。立体图像包括从左视点拍摄的左视点图像和从右视点拍摄的右视点图像。立体图像输入单元11提供有分配了标签信息的立体图像,该标签信息是指示立体相机聚焦的立体图像中的区域的聚焦区。注意,拍摄光学系统的布置方向不限于水平方向,例如可以是垂直方向。而且,图像可以是视差图像,其包括从三个或更多视点拍摄的视点图像。0054 相机信息输入单元12获得已拍摄了待。

28、输入立体图像的立体相机的相机信息(基本信息)。对于相机信息,输入作为右和左拍摄光学系统之间间距的基线长度、焦距和像素间距。注意,相机信息的各种值的精度对于确定稍后将描述的估计聚焦距离来说可以较低。0055 初始准备的校准数据集提供给校准数据集输入单元13。待输入的校准数据集对应于已拍摄待输入的立体图像的立体相机。校准数据集包括用于消除拍摄光学系统的失真及其会聚角的影响的多个校准数据。0056 根据聚焦位置、即透镜位置,拍摄光学系统的失真等是不同的。针对多个位置事先准备校准数据作为基准。作为对应于校准数据的基准的聚焦距离(下文称为基准聚焦距离)分别与校准数据相关联。聚焦距离的信息与校准数据一起输。

29、入到校准数据集输入单元13。基准聚焦距离为如上所述的拍摄光学系统的聚焦距离。根据作为拍摄光学系统的基准的聚焦位置确定该距离。基准聚焦距离与作为基准的聚焦位置相关。0057 针对连续聚焦距离创建校准数据是不实际的。如图2所示,例如,与分别地设置的几个基准聚焦距离相对应地创建校准数据。使得校准数据对应于除了对应于基准聚焦距离之外的距离,并且对应于针对基准聚焦距离确定的设置距离区域内的聚焦距离。在该实施例中,三维位置测量设备10针对基准聚焦距离确定设置距离区域。在三维位置测量设备10中,使用基准聚焦距离之间的中间值作为设置距离区域内的边界值。一组校准数据的设置距离区域是从近距离侧的边界值到远距离侧的。

30、边界值。在这些边界值之间确定一个基准聚焦距离。0058 在图2的示例中,准备了与四个基准聚焦距离(50cm、1m、2m和5m)对应的校准数据C1-C4。针对根据基准聚焦距离“50cm”的校准数据C1,三维位置测量设备10具有从特写(close up)距离到距离“75cm”的设置距离区域。距离“75cm”的边界值为校准数据C1和C2的各个基准聚焦距离的中间值。0059 针对对应于“1m”的基准聚焦距离的校准数据C2,设置距离区域是从“75cm”的距离到“1.5m”的距离,其中上述“75cm”的距离以及校准数据C2和C3之间的“1.5m”的中间值为边界值。类似地,对于校准数据C3,设置距离区域是从。

31、“1.5m”的距离到“3.5m”的距离。对于校准数据C4,设置距离区域是从“3.5m”的距离到无穷大的距离。0060 设置设置距离区域的方法不限于以上方法。例如,可以与校准数据一起预定校准数据的设置距离区域,并且与校准数据一起将设置距离区域输入到三维位置测量设备10。同样,可以手动输入设置距离区域。0061 用于所需分辨率的运算处理单元15与用于成像分辨率的运算处理单元16、缩小比率确定单元17和图像缩小单元18一起构成图像缩小单元。运算处理单元15从输入校准数据集提取基准聚集距离,并且针对各个基准聚焦距离确定所需的分辨率。所需的分辨说 明 书CN 102822621 A6/13页9率被确定作。

32、为距离分辨率,该距离分辨率用于找到哪个设置距离区域包括到拍摄光学系统所聚焦的目标对象的物距。距离分辨率为对应于一个像素间距的三维空间中(在(右侧或左侧或上侧或下侧)平面上和在深度上)的长度。确定的所需分辨率被发送到缩小比率确定单元17。0062 在使用相机信息和输入视点图像的所有像素确定三维位置时,运算处理单元16确定成像分辨率作为深度方向的测量分辨率(距离分辨率)。即使基线长度、焦距和图像传感器上的像素间距在拍摄时相同,但是根据到目标对象的物距,成像分辨率不同。运算处理单元16利用校准数据的基准聚焦距离作为物距,分别确定与基准聚焦距离相对应的成像分辨率。成像分辨率被发送到缩小比率确定单元17。

33、。0063 缩小比率确定单元17根据来自运算处理单元15的所需分辨率和来自运算处理单元16的成像分辨率来操作,并且确定用于缩小视点图像的清晰度的一个范围内的缩小比率,使得视点图像的清晰度不低于根据校准数据的基准聚焦距离及其相关联的设置距离区域确定的基于最高距离分辨率的清晰度。确定缩小比率使得在使用缩小的视点图像获得目标对象的物距时的距离分辨率满足所需分辨率中的最高所需分辨率,并且将获得最可能的缩小效果。在本实施例中,从作为整数的值K获得最可能的缩小效果的缩小比例,其中缩小比率为“1/K”。0064 图像缩小单元18以通过缩小比率确定单元17确定的缩小比率缩小各个视点图像从而降低视点图像的清晰度。

34、。在用于缩小的处理中,缩小视点图像,使得对于视点图像的水平方向(视差方向)和与其垂直的垂直方向上的像素来说,缩小后的像素数与缩小前的像素数的比率等于缩小比率。例如,以“1/K”作为缩小比率。缩小后的一个像素为缩小之前的视点图像中包含“KK”像素的区域在平均值。同样,通过根据基于缩小比率的数量进行的稀疏处理可以缩小视点图像。0065 第一运算处理单元21执行包括相关处理和视差确定的第一运算处理。在相关处理中,被图像缩小单元18处理缩小之后的视点图像被处理用于相关处理,从而在右侧视点图像中搜索与左侧视点图像的基准点(像素)对应的对应点(像素)。在视差确定中,确定由相关处理检测到的基准点及其对应点之。

35、间的视差。第一运算处理的结果提供给距离估计单元22。以基准点及其对应点之间的平移量(像素数)的形式获得视差。0066 聚焦区获取单元23读取和分析分配给输入立体图像的标签信息,并且获得聚焦区。区转换器24将聚焦区获取单元23在缩小之前获得的立体图像中聚焦区的坐标根据缩小比率转换成缩小立体图像中的坐标。将转换后的聚焦区提供给距离估计单元22。0067 距离估计单元22和第一运算处理单元21构成距离确定单元。距离估计单元22根据从缩小视点图像中的聚焦区获得的视差来操作,确定到聚焦区中记录的目标对象一部分的物距,并且将其输出作为估计的聚焦距离。对于确定估计的聚焦距离,一起使用了像素间距、焦距、基线长。

36、度和视点图像的缩小比率与来自第一运算处理单元21的视差。0068 校准数据选择器26从分别输入的校准数据中选择与估计的聚焦距离相关联的校准数据作为校准数据集。对于选择校准数据,校准数据选择器26参考了与校准数据相关联的设置距离区域,从而选择了其中估计的聚焦距离位于设置距离区域内的校准数据。由此,选择在拍摄立体图像时与拍摄光学系统的聚焦位置相关联的校准数据。0069 校准数据录入单元31将校准数据选择器26选择的校准数据应用于未缩小的视点说 明 书CN 102822621 A7/13页10图像,从而消除拍摄光学系统的失真及其会聚角的影响。第二运算处理单元32执行包括相关处理和视差确定的第二运算处。

37、理。第二运算处理的这些处理与第一运算处理的那些处理相同,但是其针对未缩小的视点图像来执行。第二运算处理的结果提供给3D数据转换器33。0070 3D数据转换器33根据作为左侧视点图像的基准点的像素和右侧视频图像中与其对应的点的像素,确定3D数据作为包括目标对象的距离的三维位置信息。输出接口34将例如立体图像的3D数据记录到记录介质。输出方法不限于该方法,也可以是例如输入到监视器的方法。0071 现在描述缩小比率的确定。从立体相机到测量点的物距L由下式(1)表示:0072 L=(Df)/(Bd)0073 .(1)0074 其中,“D”为用于拍摄的立体相机的基线长度,“f”为焦距,“B”为像素间距。

38、,“d”为视差。0075 可以通过将视差乘以像素间距来获得对应于视差的长度。如果缩小视点图像,则可能借助通过将相机信息的像素间距除以缩小比率所确定的值获得该长度。因此,满足“P=Bd0=KBd1”的关系,其中“P”为对应于视差的长度,“B”为相机信息的像素间距,“1/K”为视点图像的缩小比率,“d0”为缩小前的视差而“d1”为缩小后的视差。0076 如公知那样,如果测量点在远距离方向上平移,则视差变小,如果测量点在近距离方向上平移,则视差变大。针对给定的物距,令测量分辨率为在一个像素的视差变化时距离增加或减小的变化量。如图3所示,物距L与远距离侧具有小一个像素的较小视差的测量点T1的距离之间的。

39、差为远距离侧的测量分辨率R1。物距L与远距离侧具有大一个像素的较大视差的测量点T2的距离之间的差为近距离侧的测量分辨率R2。这可以表达在下式(2)和(3)中。可以通过基于利用立体相机的基线长度D、焦距f、像素间距B和物距L的式(1)的关系的下式(2)和(3)来表达测量分辨率R1和R2。0077 R1=(Df)/(B(d-1)-(Df)/(Bd)0078 .(2)0079 =L/(1-(BL)/(Df)L0080 .(2)0081 R2=(Df)/(Bd)-(Df)/(B(d+1)0082 .(3)0083 =L-L/(1+(BL)/(Df)0084 .(3)0085 根据拍摄时的基线长度、焦距、像素间距和物距,可以将成像分辨率确定作为从上述式(2)和(3)获得的远距离侧和近距离侧的测量分辨率。各个基准聚焦距离被用作物距,所以能够针对各个基准聚焦距离获得远距离侧的成像分辨率和近距离侧的成像分辨率。0086 另一方面,为判断待测量的物距是否落在给定校准数据的设置距离区域内,以基准聚焦距离作为物距通过上述方式获得的远距离侧的测量分辨率需要为Rf或更低,近距离侧的测量分辨率需要为Rc或更低,其中Rf为根据校准数据的基准聚焦距离与设置距离说 明 书CN 102822621 A10。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 测量;测试


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1