一种物体表面重建的系统和方法.pdf

上传人:a*** 文档编号:1878203 上传时间:2018-07-19 格式:PDF 页数:15 大小:2.50MB
返回 下载 相关 举报
摘要
申请专利号:

CN201210332221.X

申请日:

2011.01.27

公开号:

CN102831642A

公开日:

2012.12.19

当前法律状态:

授权

有效性:

有权

法律详情:

专利权人的姓名或者名称、地址的变更IPC(主分类):G06T 17/00变更事项:专利权人变更前:深圳泰山在线科技有限公司变更后:深圳泰山体育科技股份有限公司变更事项:地址变更前:518054 广东省深圳市高新技术产业园南区方大大厦4楼变更后:518054 广东省深圳市高新技术产业园南区方大大厦4楼|||授权|||实质审查的生效IPC(主分类):G06T 17/00申请日:20110127|||公开

IPC分类号:

G06T17/00; G02B26/08

主分类号:

G06T17/00

申请人:

深圳泰山在线科技有限公司

发明人:

师丹玮

地址:

518054 广东省深圳市高新技术产业园南区方大大厦4楼

优先权:

专利代理机构:

北京品源专利代理有限公司 11332

代理人:

马晓亚

PDF下载: PDF下载
内容摘要

本发明涉及一种物体表面重建的系统和方法,所述系统包括:照明组件,包括光源和镜面反射装置,用于在目标区域形成线阵状的结构光图案;图像传感器,用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案的投影图像;控制器,用于控制图像传感器的曝光区域与镜面反射装置反射的结构光的投影区域同步;以及数据处理单元,实时接收并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计算出目标区域内物体的三维点云数据。本发明根据需要在目标区域内投射出预设的结构光图案,并控制图像传感器同步曝光来拍摄目标区域内至少部分区域的投影图像,与基准图像比较计算出目标区域内物体的三维深度数据,从而获取运动物体的实时运动数据。

权利要求书

1.一种物体表面重建的系统,其特征在于,包括:
照明组件,包括光源和镜面反射装置,所述镜面反射装置用于通过调整镜
面姿态,将所述光源发出的光线反射到目标区域形成线阵状的结构光图案;
图像传感器,用于逐步曝光以拍摄所述目标区域内至少部分区域的线阵状
图案的投影图像;
控制器,用于控制所述图像传感器的曝光区域与所述镜面反射装置反射的
结构光的投影区域同步;
数据处理单元,与所述图像传感器连接,实时接收所述结构光图案的投影
图像,并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计
算出所述目标区域内物体的三维点云数据。
2.根据权利要求1所述的物体表面重建的系统,其特征在于,所述光源采
用点光源时,所述镜面反射装置采用二维振镜;所述光源采用线光源时,所述
镜面反射装置采用一维振镜。
3.根据权利要求2所述的物体表面重建的系统,其特征在于,所述一维振
镜或二维振镜采用MEMS振镜。
4.根据权利要求2所述的物体表面重建的系统,其特征在于,所述数据处
理单元首先分别计算出所述投影图像和所述基准图像线阵中每条线条的坐标数
组;然后,利用线条坐标数组计算线条的位移量;最后,通过以下公式计算结
构光图案位移值为ΔXn的目标点的距离z;
X = B × f L z = B × f Δ X n + X ]]>
其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。
5.根据权利要求4所述的物体表面重建的系统,其特征在于,所述数据处
理单元在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;
或者所述数据处理单元在结构光线条宽度方向,直接计算线宽的中心坐标作为
线条的坐标。
6.一种物体表面重建的方法,其特征在于,包括以下步骤:
S1、通过控制镜面反射装置,将光源发出的光线反射到目标区域并形成线
阵状的结构光图案;
S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构
光图案的投影图像,且控制所述图像传感器的曝光区域与所述镜面反射装置反
射的结构光的投影区域同步;
S3、实时接收所述结构光图案的投影图像,并获取所述投影图像和预先拍
摄的基准图像中的位移值,计算出所述目标区域内物体的三维点云数据。
7.根据权利要求6所述的物体表面重建的方法,其特征在于,所述步骤
S1中所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述光源采用
线光源时,所述镜面反射装置采用一维振镜。
8.根据权利要求7所述的物体表面重建的方法,其特征在于,所述步骤
S1中所采用的一维振镜或二维振镜为MEMS振镜。
9.根据权利要求6所述的物体表面重建的方法,其特征在于,
其中,所述步骤S3进一步包括:
S31、分别计算出所述投影图像和所述基准图像线阵中每条线条的坐标数
组;
S32、利用线条坐标数组计算线条的位移量;
S33、通过以下公式计算结构光图案位移值为ΔXn的目标点的距离z;
X = B × f L z = B × f Δ X n + X ]]>
其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。
10.根据权利要求9所述的物体表面重建的方法,其特征在于,所述步骤
S31包括:
在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或

在结构光线条宽度方向,直接计算线宽的中心坐标作为线条坐标。

说明书

一种物体表面重建的系统和方法

本申请为申请日为2011年1月27日、申请号为201110029945.2、名称为“一
种物体表面重建的系统和方法”的发明专利申请的分案申请。

技术领域

本发明涉及三维立体图像重建技术,更具体地说,涉及一种物体表面重建
的系统和方法。

背景技术

点云数据是利用三维扫描设备对物体表面进行直接采样而得到的点,这些点
是三维模型表面最初的,也是最直接的表示。通过分析点云数据,可以对模型
的几何表面进行重建。

物体点云获取的方法很多,常见的方法有利用结构光图像信息来获取点云
数据,也有采用双目可见光图像信息来获取数据。现有基于散斑的方法投影出
来的散斑结构光进行三维重建的方法,其散斑图案在其图案生成器中固定没有
变化,由于散斑的特点,对图像传感器的设备要求较高,且设备的灵活性较差。

发明内容

本发明要解决的技术问题在于,针对现有基于散斑的方法投影出来的散斑
结构光固定不变从而对图像传感器的设备要求较高且设备的灵活性较差的缺
陷,提供一种可以根据需要控制镜面反射装置,从而生成适于测量对象的结构
光图案,并同步控制图像传感器对所需的区域进行扫描的物体表面重建的系统
和方法。

本发明解决其技术问题所采用的技术方案是:构造一种物体表面重建的系
统,其特征在于,包括:

照明组件,包括光源和镜面反射装置,所述镜面反射装置用于通过调整镜
面姿态,将所述光源发出的光线反射到目标区域形成线阵状的结构光图案;

图像传感器,用于逐步曝光以拍摄所述目标区域内至少部分区域的线阵状
图案的投影图像;

控制器,用于控制所述图像传感器的曝光区域与所述镜面反射装置反射的
结构光的投影区域同步;

数据处理单元,与所述图像传感器连接,实时接收所述结构光图案的投影
图像,并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计
算出所述目标区域内物体的三维点云数据。

优选地,所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述
光源采用线光源时,所述镜面反射装置采用一维振镜。

优选地,所述一维振镜或二维振镜采用MEMS振镜。

优选地,所述数据处理单元首先分别计算出所述投影图像和所述基准图像
线阵中每条线条的坐标数组;然后,利用线条坐标数组计算线条的位移量;最
后,通过以下公式计算结构光图案位移值为ΔXn的目标点的距离z;

X = B × f L z = B × f Δ X n + X ]]>

其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。

优选地,所述数据处理单元在结构光线条宽度方向,计算最大灰度值像素
的重心坐标为线条坐标;或者所述数据处理单元在结构光线条宽度方向,直接
计算线宽的中心坐标作为线条的坐标。

本发明还公开了一种物体表面重建的方法,其特征在于,包括以下步骤:

S1、通过控制镜面反射装置,将光源发出的光线反射到目标区域并形成线
阵状的结构光图案;

S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构
光图案的投影图像,且控制所述图像传感器的曝光区域与所述镜面反射装置反
射的结构光的投影区域同步;

S3、实时接收所述结构光图案的投影图像,并获取所述投影图像和预先拍
摄的基准图像中的位移值,计算出所述目标区域内物体的三维点云数据。

优选地,所述步骤S1中所述光源采用点光源时,所述镜面反射装置采用二
维振镜;所述光源采用线光源时,所述镜面反射装置采用一维振镜。

优选地,所述步骤S1中所采用的一维振镜或二维振镜为MEMS振镜。

优选地,其中,所述步骤S3进一步包括:

S31、分别计算出所述投影图像和所述基准图像线阵中每条线条的坐标数
组;

S32、利用线条坐标数组计算线条的位移量;

S33、通过以下公式计算结构光图案位移值为ΔXn的目标点的距离z;

X = B × f L z = B × f Δ X n + X ]]>

其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。

优选地,所述步骤S31包括:

在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或

在结构光线条宽度方向,直接计算线宽的中心坐标作为线条坐标。

实施本发明的物体表面重建的系统和方法,具有以下有益效果:本发明可
以根据需要通过控制镜面反射装置投射出预设的结构光图案,并控制图像传感
器同步曝光获取目标区域内至少部分区域的投影图像,与基准图像进行比较利
用三角测量原理计算出目标区域内物体的三维深度数据,该三维深度数据可以
实时更新,从而获取运动物体的实时运动数据。

附图说明

下面将结合附图及实施例对本发明作进一步说明,附图中:

图1为根据本发明优选实施例的物体表面重建的系统的光路图;

图2为根据本发明优选实施例的物体表面重建的系统拍摄的基准图像的示
意图;

图3为根据本发明优选实施例的物体表面重建的系统拍摄的投影图像的示
意图;

图4为根据本发明优选实施例的物体表面重建的方法流程图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以
理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限
定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的步
骤而非全部过程。

请参阅图1,为根据本发明优选实施例的物体表面重建的系统的光路图。如
图1所示,该实施例提供的物体表面重建的系统主要包括照明组件10、图像传
感器20、数据处理单元30和控制器(图中未示出)。

照明组件10包括光源11和镜面反射装置12。本方案的光源优选采用半导
体激光二级管。

镜面反射装置12可以由控制器控制其镜面姿态,将所述光源11发出的光
线反射到目标区域形成预设的结构光图案。优选地,镜面反射装置可以采用一
维振镜或二维振镜,对应生成的结构光图案分别为线阵状图案或点阵状图案。
光源采用点光源时,镜面反射装置可以采用二维振镜,生成的结构光图案为线
阵状图案或点阵状图案。光源采用线光源时,镜面反射装置可以采用一维振镜,
生成的图案为线阵状图案。此外,当光源采用点光源时,还可以先通过光学元
件将点光源转换为线形光,再通过一维振镜生成线阵状图案。一维振镜或二维
振镜也可以采用MEMS(Micro-Electro-Mechanical Systems,微机电系统)振镜,
转轴式振镜等能够实现控制镜面运动的装置。MEMS是一种全新的必须同时考
虑多种物理场混合作用的研发领域,相对于传统的机械,它们的尺寸更小,最
大的不超过一个厘米,甚至仅仅为几个微米,其厚度就更加微小。采用以硅为
主的材料,电气性能优良,硅材料的强度、硬度和杨氏模量与铁相当,密度与
铝类似,热传导率接近钼和钨。采用与集成电路类似的生成技术,可大量利用
IC生产中的成熟技术、工艺,进行大批量、低成本生产,使性价比相对于传统
“机械”制造技术大幅度提高。一维振镜或二维振镜构成的镜面反射装置中的
镜面121的姿态可以通过控制器进行控制,通过调整镜面121的姿态,将光源
11照射到镜面121上的光线反射到目标区域,并且在目标区域投影形成已设计
结构光的图案.例如二维振镜投射出点阵状图案,一维振镜为线阵状图案。

图像传感器20用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案
的投影图像。由于本发明的系统在首次使用前需要采集一次结构光的基准图像。
在本系统中图像传感器20、镜面反射装置12和光源11的相对位置姿态需要与
在拍摄基准图像时保持不变,这里包括偏移与旋转。如果相对位置出现了变化,
就需要重新采集基准图像。本发明的独特之处在于由控制器控制图像传感器20
的曝光区域与镜面反射装置12反射的结构光的投影区域同步。也就是说,当线
形的结构光逐步投影在目标区域上时,图像传感器12也同时曝光该线形光投影
的区域,因此图像传感器12能够仅在目标区域内至少部分区域,例如预先估计
的目标物体所在的特定区域采集投影图像,而不需要采集所有目标区域内的图
像。并且可以选择配置相对较低的图像传感器来采集线形光的图案。

数据处理单元30与图像传感器20连接,实时接收图像传感器20拍摄的结
构光图案的投影图像,且数据处理单元30内存储有预先拍摄的基准图像,利用
图像算法获取所述投影图像和基准图像中的结构光图案的位移值,计算出所述
目标区域内物体的三维点云数据。因此,数据处理单元30可以进一步包括存储
器31和处理器32,且数据处理单元30还具有输入/输出装置33。其中存储器
31可用于存储在没有目标物体时拍摄的基准图像信息。处理器32则可以通过输
入/输出装置33接收图像传感器拍摄的投影图像,并从存储器31中获取上述基
准图像信息,进行上述计算和处理,获取三维点云数据,实现物体表面点云数
据重建。

下面对本发明的物体表面重建的系统中各个部件的位置结构进行说明。建
立如图1所示的三维坐标系,在此坐标系内对各装置进行安装。图1中坐标系
满足右手定则。

a.坐标系的X轴方向是如图所示初始状态的振镜镜面中心P和图像传感器
的镜头光心C的连线,正方向为CP,即如图1中向上为X轴正方向,其中B
为PC的距离。

b.Z轴方向是穿过镜面中心P,并垂直于镜面,正方向为由镜面中心P指向
目标区域,如图1中向右为Z轴正方向。

c.Y轴方向是按照右手定则进行确定,在图1中为垂直纸面向里。

d.光源11发射出准直激光,激光轴线在平面XPZ上,并且穿过反射面的中
心。激光轴线和Z轴的夹角与目标区域有关,本系统设置为45度。

e.将图像传感器20的光心轴线设置为与Z轴平行,并且保证图像传感器的
视场与投影目标区域存在交集,出射光线转动范围和图像传感器镜头的视角范
围的重叠部分为测量区域。且图像传感器的设备镜头焦距为f。

f.如果该系统的镜面反射装置采用一维振镜,镜面121可以绕XP轴或者绕
YP轴旋转或者振动;如果采用二维振镜,则镜面可以绕两轴同时旋转或者同时
振动。为了获取上述振动特性,可以采用现有的MEMS一维或者二维振镜来实
现,其出射光线转动范围覆盖整个被测物体。

g.图像传感器20的数据通过现有常见的数据传输方式,传输到数据处理单
元30.

下面对本发明的物体表面重建的系统的实现流程和原理进行说明。

1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封
装,例如将光源11和镜面反射装置12集成在一起构成照明组件10。

2)投影图案的设计:由于本发明采用的振镜系统能够利用振镜高速的姿态变
换特性,在目标区域内投射出点阵状,线阵状等等图像。这里主要采用一维振
镜照射出线阵状或者采用二维振镜投射出点阵。

3)采集图像信息步骤:

a.拍摄基准图像。例如,在距离系统L=2000mm处,设置与Z轴垂直的3*3m
标准平面T,选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了
具体的基准图像的距离,但是本发明并不限于此,本领域基础技术人员可以根
据实际情况选取合适的平面拍摄基准图像。利用图像传感器20采集照明组件10
投影出来的线阵状或点状图案在标准平面的成像作为基准图像,并保存在数据
处理单元30的存储器31中。

b.拍摄目标的投影图像。在物体进入目标区域后,投影图案照射到物体表面
上,此时利用图像传感器20采集目标区域的投影图案,例如线阵状图案,发送
到数据处理单元30;

4)表面点云数据重建步骤:

请参阅图2和图3,分别为根据本发明优选实施例的物体表面重建的系统拍
摄的基准图像和投影图像的示意图。如图2所示,该结构光图案为线阵状,线
的高度为H,宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图
3中可以看到当目标物体进入画面时,线阵中目标物体所在区域中的线条将发生
偏移,偏移量为S。所有的投射图案随着距离L的增大,图案会出现朝固定方向
发生偏移,且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小
周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来
计算获得。

a.设采集到的投影图像与基准图像均为m*n个像素的图像。下面以投射的结
构光图案为线阵光为例,对获取的投影图像进行分析,采用点阵状的结构光图
案的分析方法与之相同。

首先,利用图像算法分别计算出投影图像和基准图像中线阵中每条线的坐
标数组Pn(i,j)和Qn(i,j),其中n代表线阵中线的编号,(i,j)是线上每一点的坐标。
在此,由于图像中结构光线条的像素灰度值大于周围像素灰度值,所以能够在
背景中分辨出结构光线条。本发明可以采用阈值分割的办法将结构光线条分割
出来。由于阈值设定的原因,结构光线条宽度可能会由一个或者一个以上的像
素组成,所以可以采用线宽的重心或者线宽内最亮像素坐标来代表结构光线条
的坐标。其中,在第一种方法中,在结构光线条宽度方向,计算最大灰度值像
素的重心坐标,作为线条坐标。第二种方法中,在结构光线条宽度方向,直接
计算线宽的中心坐标,作为线条的坐标。在投影图像和基准图像对齐后分别逐
列的计算出结构光线条的坐标。如果为点阵状图案,则对于点阵中每点的轮廓
超过一个像素的情况,计算按灰度阈值做权重的重心坐标,作为点的坐标。

b.利用线条像素数组计算线条的位移量ΔXn(i,j)=Pn(i,j)-Qn(i,j)。可以将两个
结构光线条对齐逐列的计算坐标的位移值。图3中目标物体区域中线条的偏移
量S与ΔXn(i,j)相对应。

c.利用结构光测量的基本原理,数据处理单元通过以下公式计算结构光图案
位移值为ΔXn的目标点的距离z;

X = B × f L z = B × f Δ X n + X ]]>

其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。投影图案中不同点的
距离z即为计算出来的物体三维点云数据。

由于上述公式中B、f和L可以针对不同大小的目标物体和距离预先设置好,
因此上述公式中的X’为设置好的特定值。当需要针对不同目标物体设计结构光
图案时,只需要调整一维或二维振镜的镜面状态,就可以获得不同的结构光,
例如线阵光或点阵光,还可以对线阵光的线距进行调整,从而便于在采集的投
影图像中识别出目标物体所在的区域。

本发明还相应地提供了一种物体表面重建的方法。请参阅图4,为根据本发
明优选实施例中物体表面重建的方法流程图。如图4所示,该方法S400开始于
步骤S402:

随后,在下一步骤S404中,通过控制镜面反射装置,将光源发出的光线反
射到目标区域并形成预设的结构光图案。该步骤主要采用照明组件来实现,如
图1所示,照明组件10包括光源11和镜面反射装置12。本方案的光源优选采
用半导体激光二级管。

镜面反射装置12可以由控制器控制其镜面姿态,将所述光源11发出的光
线反射到目标区域形成预设的结构光图案。优选地,镜面反射装置可以采用一
维振镜或二维振镜,对应生成的结构光图案分别为线阵状图案或点阵状图案。
光源采用点光源时,镜面反射装置可以采用二维振镜,生成的结构光图案为线
阵状图案或点阵状图案。光源采用线光源时,镜面反射装置可以采用一维振镜,
生成的图案为线阵状图案。此外,当光源采用点光源时,还可以先通过光学元
件将点光源转换为线光,再通过一维振镜生成线阵状图案。一维振镜或二维振
镜也可以采用MEMS(Micro-Electro-Mechanical Systems,微机电系统)振镜,
转轴式振镜等能够实现控制镜面运动的装置。一维振镜或二维振镜构成的镜面
反射装置中的镜面121的姿态可以通过控制器进行控制,通过调整镜面121的
姿态,将光源11照射到镜面121上的光线反射到目标区域,并且在目标区域投
影形成已设计结构光的图案。例如二维振镜投射出点阵状图案,一维振镜为线
阵状图案。

建立如图1所示的三维坐标系,在此坐标系内对各装置进行安装。图1中
坐标系满足右手定则。坐标系的X轴方向是如图所示初始状态的振镜镜面中心
P和图像传感器的镜头光心C的连线,正方向为CP,即如图1中向上为X轴正
方向,其中B为PC的距离。Z轴方向是穿过镜面中心P,并垂直于镜面,正方
向为由镜面中心P指向目标区域,如图1中向右为Z轴正方向。Y轴方向是按
照右手定则进行确定,在图1中为垂直纸面向里。光源11发射出准直激光,激
光轴线在平面XPZ上,并且穿过反射面的中心。激光轴线和Z轴的夹角与目标
区域有关,本方法中设置为45度。如果该方法的镜面反射装置采用一维振镜,
镜面121可以绕XP轴或者绕YP轴旋转或者振动;如果采用二维振镜,则镜面
可以绕两轴同时旋转或者同时振动。为了获取上述振动特性,可以采用现有的
MEMS一维或者二维振镜来实现,其出射光线转动范围覆盖整个被测物体。

随后,在下一步骤S406中,利用图像传感器逐步曝光以拍摄所述目标区域
内至少部分区域的结构光图案的投影图像,且控制所述图像传感器的曝光区域
与所述镜面反射装置反射的结构光的投影区域同步。本发明的独特之处在于由
控制器控制图像传感器20的曝光区域与镜面反射装置12反射的结构光的投影
区域同步。也就是说,当线形的结构光逐步投影在目标区域上时,图像传感器
12也同时曝光该线形光投射的区域,因此图像传感器12能够仅在目标区域内至
少部分区域,例如预先估计的目标物体所在的特定区域采集投影图像,而不需
要采集所有目标区域内的图像。并且可以选择配置相对较低的图像传感器来采
集线形光的图案。

如图1所示,由于本发明的方法在首次使用前需要采集一次结构光的基准
图像,因此在该步骤中图像传感器20、镜面反射装置12和光源11的相对位置
姿态需要与在拍摄基准图像时保持不变,这里包括偏移与旋转。如果相对位置
出现了变化,就需要重新采集基准图像。将图像传感器20的光心轴线设置为与
Z轴平行,并且保证图像传感器的视场与投影目标区域存在交集,出射光线转动
范围和图像传感器镜头的视角范围的重叠部分为测量区域。且图像传感器的设
备镜头焦距为f。图像传感器20的数据通过现有常见的数据传输方式,传输到
数据处理单元30。

随后,在下一步骤S408中,实时接收图像传感器20拍摄的结构光图案的
投影图像,并利用图像算法获取所述投影图像和预先拍摄的基准图像中的位移
值,计算出所述目标区域内物体的三维点云数据。可以采用如图1所示的数据
处理单元来实现该步骤。数据处理单元30与图像传感器20连接,接收图像传
感器20拍摄的结构光图案的投影图像,且数据处理单元30内存储有预先拍摄
的基准图像,利用图像算法获取所述投影图像和基准图像中的结构光图案的位
移值,计算出所述目标区域内物体的三维点云数据。因此,数据处理单元30可
以进一步包括存储器31和处理器32,且数据处理单元30还具有输入/输出装置
33。其中存储器31可用于存储在没有目标物体时拍摄的基准图像信息。处理器
32则可以通过输入/输出装置33接收图像传感器拍摄的投影图像,并从存储器
31中获取上述基准图像信息,进行上述计算和处理,获取三维点云数据,实现
物体表面点云数据重建。

最后,方法S400结束于步骤S410。

下面对本发明的物体表面重建的方法的具体操作过程进行说明。

1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封
装,例如将光源11和镜面反射装置12集成在一起构成照明组件10。

2)投影图案的设计:由于本发明方法采用的振镜系统能够利用振镜高速的姿
态变换特性,在目标区域内投射出点阵状,线阵状等等图像。这里主要采用一
维振镜照射出线阵或者采用二维振镜投射出点阵。

3)采集图像信息步骤:

a.拍摄基准图像。例如,在距离系统L=2000mm处,设置与Z轴垂直的3*3m
标准平面T,选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了
具体的基准图像的距离,但是本发明并不限于此,本领域基础技术人员可以根
据实际情况选取合适的平面拍摄基准图像。利用图像传感器20采集照明组件10
投影出来的线阵状或点阵状图案在标准平面的成像作为基准图像,并保存在数
据处理单元30的存储器31中。

b.拍摄目标的投影图像。在物体进入目标区域后,投影图案照射到物体表面
上,此时利用图像传感器20采集目标区域的投影图案,例如线阵状图案,发送
到数据处理单元30;

4)表面点云数据重建步骤:

请参阅图2和图3,分别为根据本发明优选实施例的物体表面重建的系统拍
摄的基准图像和投影图像的示意图。如图2所示,该结构光图案为线阵,线的
高度为H,宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图3
中可以看到当目标物体进入画面时,线阵中目标物体所在区域中的线条将发生
偏移,偏移量为S。所有的投射图案随着距离L的增大,图案会出现朝固定方向
发生偏移,且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小
周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来
计算获得。

a.设采集到的投影图像与基准图像均为m*n个像素的图像。下面以投射的结
构光图案为线阵光为例,对获取的投影图像进行分析,采用点阵状的结构光图
案的分析方法与之相同。

首先,利用图像算法分别计算出投影图像和基准图像中线阵中每条线的坐
标数组Pn(i,j)和Qn(i,j),其中n代表线阵中线的编号,(i,j)是线上每一点的坐标。
在此,由于图像中结构光线条的像素灰度值大于周围像素灰度值,所以能够在
背景中分辨出结构光线条。本发明可以采用阈值分割的办法将结构光线条分割
出来。由于阈值设定的原因,结构光线条宽度可能会由一个或者一个以上的像
素组成,所以可以采用线宽的重心或者线宽内最亮像素坐标来代表结构光线条
的坐标。其中,在第一种方法中,在结构光线条宽度方向,计算最大灰度值像
素的重心坐标,作为线条坐标。第二种方法中,在结构光线条宽度方向,直接
计算线宽的中心坐标,作为线条的坐标。在投影图像和基准图像对齐后分别逐
列的计算出结构光线条的坐标。如果为点阵状图案,则对于点阵中每点的轮廓
超过一个像素的情况,计算按灰度阈值做权重的重心坐标,作为点的坐标。

b.利用线条像素数组计算线条的位移量ΔXn(i,j)=Pn(i,j)-Qn(i,j)。可以将两个
结构光线条对齐逐列的计算坐标的位移值。图3中目标物体区域中线条的偏移
量S与ΔXn(i,j)相对应。

c.利用结构光测量的基本原理,数据处理单元通过以下公式计算结构光图案
位移值为ΔXn的目标点的距离z;

X = B × f L z = B × f Δ X n + X ]]>

其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设
备镜头焦距,L为选取的基准图像所在的标准平面的距离。投影图案中不同点的
距离z即为计算出来的物体三维点云数据。

由于上述公式中B、f和L可以针对不同大小的目标物体和距离预先设置好,
因此上述公式中的X’为设置好的特定值。当需要针对不同目标物体设计结构光
图案时,只需要调整一维或二维振镜的镜面状态,就可以获得不同的结构光,
例如线阵光或点阵光,还可以对线阵光的线距进行调整,从而便于在采集的投
影图像中识别出目标物体所在的区域。

综上所述,本发明的物体表面重建的系统和方法,首先将光源照射出的点
光或者线光,照射到镜面反射装置上。通过控制镜面反射装置旋转和偏移将光
线反射到目标区域上,形成结构光图案。利用图像传感器获取无物体时目标区
域内标准平面上结构光的图案作为基准图案。在物体进入目标区域后,再利用
图像传感器控制图像传感器的曝光区域与所述镜面反射装置反射的结构光的投
影区域同步,来获取目标区域内至少部分区域的结构光投影图案。将数据存储
到数据处理单元,计算两种图案的位移信息,然后利用三角测量原理计算出物
体的三维深度数据。这种三维深度数据可以实时更新,从而获取运动物体的实
时运动数据。且采用本发明的振镜方式,就可以对同一套设备,根据不同的方
法调整投射出结构光的图案。该方法和系统可以应用到物体的实时重建中,能
够在人机交互的领域使用,如虚拟鼠标,健身的人机交互,博弈的人机界面,
移动装置前方物体的检测,人体运动分析,距离估计和报警,入侵报警等等方
面。

本发明是根据特定实施例进行描述的,但本领域的技术人员应明白在不脱
离本发明范围时,可进行各种变化和等同替换。此外,为适应本发明技术的特
定场合或材料,可对本发明进行诸多修改而不脱离其保护范围。因此,本发明
并不限于在此公开的特定实施例,而包括所有落入到权利要求保护范围的实施
例。

一种物体表面重建的系统和方法.pdf_第1页
第1页 / 共15页
一种物体表面重建的系统和方法.pdf_第2页
第2页 / 共15页
一种物体表面重建的系统和方法.pdf_第3页
第3页 / 共15页
点击查看更多>>
资源描述

《一种物体表面重建的系统和方法.pdf》由会员分享,可在线阅读,更多相关《一种物体表面重建的系统和方法.pdf(15页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102831642 A(43)申请公布日 2012.12.19CN102831642A*CN102831642A*(21)申请号 201210332221.X(22)申请日 2011.01.27201110029945.2 2011.01.27G06T 17/00(2006.01)G02B 26/08(2006.01)(71)申请人深圳泰山在线科技有限公司地址 518054 广东省深圳市高新技术产业园南区方大大厦4楼(72)发明人师丹玮(74)专利代理机构北京品源专利代理有限公司 11332代理人马晓亚(54) 发明名称一种物体表面重建的系统和方法(57) 摘要本发明。

2、涉及一种物体表面重建的系统和方法,所述系统包括:照明组件,包括光源和镜面反射装置,用于在目标区域形成线阵状的结构光图案;图像传感器,用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案的投影图像;控制器,用于控制图像传感器的曝光区域与镜面反射装置反射的结构光的投影区域同步;以及数据处理单元,实时接收并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计算出目标区域内物体的三维点云数据。本发明根据需要在目标区域内投射出预设的结构光图案,并控制图像传感器同步曝光来拍摄目标区域内至少部分区域的投影图像,与基准图像比较计算出目标区域内物体的三维深度数据,从而获取运动物体的实时运动数据。(62)。

3、分案原申请数据(51)Int.Cl.权利要求书2页 说明书9页 附图3页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页 说明书 9 页 附图 3 页1/2页21.一种物体表面重建的系统,其特征在于,包括:照明组件,包括光源和镜面反射装置,所述镜面反射装置用于通过调整镜面姿态,将所述光源发出的光线反射到目标区域形成线阵状的结构光图案;图像传感器,用于逐步曝光以拍摄所述目标区域内至少部分区域的线阵状图案的投影图像;控制器,用于控制所述图像传感器的曝光区域与所述镜面反射装置反射的结构光的投影区域同步;数据处理单元,与所述图像传感器连接,实时接收所述结构光图案的投影图像,并。

4、获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计算出所述目标区域内物体的三维点云数据。2.根据权利要求1所述的物体表面重建的系统,其特征在于,所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述光源采用线光源时,所述镜面反射装置采用一维振镜。3.根据权利要求2所述的物体表面重建的系统,其特征在于,所述一维振镜或二维振镜采用MEMS振镜。4.根据权利要求2所述的物体表面重建的系统,其特征在于,所述数据处理单元首先分别计算出所述投影图像和所述基准图像线阵中每条线条的坐标数组;然后,利用线条坐标数组计算线条的位移量;最后,通过以下公式计算结构光图案位移值为Xn的目标点的距离z;其中,。

5、B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设备镜头焦距,L为选取的基准图像所在的标准平面的距离。5.根据权利要求4所述的物体表面重建的系统,其特征在于,所述数据处理单元在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或者所述数据处理单元在结构光线条宽度方向,直接计算线宽的中心坐标作为线条的坐标。6.一种物体表面重建的方法,其特征在于,包括以下步骤:S1、通过控制镜面反射装置,将光源发出的光线反射到目标区域并形成线阵状的结构光图案;S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像,且控制所述图像传感器的曝光区域与所述镜面反射装置反射。

6、的结构光的投影区域同步;S3、实时接收所述结构光图案的投影图像,并获取所述投影图像和预先拍摄的基准图像中的位移值,计算出所述目标区域内物体的三维点云数据。7.根据权利要求6所述的物体表面重建的方法,其特征在于,所述步骤S1中所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述光源采用线光源时,所述镜面反射装置采用一维振镜。权 利 要 求 书CN 102831642 A2/2页38.根据权利要求7所述的物体表面重建的方法,其特征在于,所述步骤S1中所采用的一维振镜或二维振镜为MEMS振镜。9.根据权利要求6所述的物体表面重建的方法,其特征在于,其中,所述步骤S3进一步包括:S31、分别计算出。

7、所述投影图像和所述基准图像线阵中每条线条的坐标数组;S32、利用线条坐标数组计算线条的位移量;S33、通过以下公式计算结构光图案位移值为Xn的目标点的距离z;其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设备镜头焦距,L为选取的基准图像所在的标准平面的距离。10.根据权利要求9所述的物体表面重建的方法,其特征在于,所述步骤S31包括:在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或者在结构光线条宽度方向,直接计算线宽的中心坐标作为线条坐标。权 利 要 求 书CN 102831642 A1/9页4一种物体表面重建的系统和方法0001 本申请为申请日为2011年1。

8、月27日、申请号为201110029945.2、名称为“一种物体表面重建的系统和方法”的发明专利申请的分案申请。技术领域0002 本发明涉及三维立体图像重建技术,更具体地说,涉及一种物体表面重建的系统和方法。背景技术0003 点云数据是利用三维扫描设备对物体表面进行直接采样而得到的点,这些点是三维模型表面最初的,也是最直接的表示。通过分析点云数据,可以对模型的几何表面进行重建。0004 物体点云获取的方法很多,常见的方法有利用结构光图像信息来获取点云数据,也有采用双目可见光图像信息来获取数据。现有基于散斑的方法投影出来的散斑结构光进行三维重建的方法,其散斑图案在其图案生成器中固定没有变化,由于。

9、散斑的特点,对图像传感器的设备要求较高,且设备的灵活性较差。发明内容0005 本发明要解决的技术问题在于,针对现有基于散斑的方法投影出来的散斑结构光固定不变从而对图像传感器的设备要求较高且设备的灵活性较差的缺陷,提供一种可以根据需要控制镜面反射装置,从而生成适于测量对象的结构光图案,并同步控制图像传感器对所需的区域进行扫描的物体表面重建的系统和方法。0006 本发明解决其技术问题所采用的技术方案是:构造一种物体表面重建的系统,其特征在于,包括:0007 照明组件,包括光源和镜面反射装置,所述镜面反射装置用于通过调整镜面姿态,将所述光源发出的光线反射到目标区域形成线阵状的结构光图案;0008 图。

10、像传感器,用于逐步曝光以拍摄所述目标区域内至少部分区域的线阵状图案的投影图像;0009 控制器,用于控制所述图像传感器的曝光区域与所述镜面反射装置反射的结构光的投影区域同步;0010 数据处理单元,与所述图像传感器连接,实时接收所述结构光图案的投影图像,并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值,计算出所述目标区域内物体的三维点云数据。0011 优选地,所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述光源采用线光源时,所述镜面反射装置采用一维振镜。0012 优选地,所述一维振镜或二维振镜采用MEMS振镜。0013 优选地,所述数据处理单元首先分别计算出所述投影图像和所述。

11、基准图像线阵中说 明 书CN 102831642 A2/9页5每条线条的坐标数组;然后,利用线条坐标数组计算线条的位移量;最后,通过以下公式计算结构光图案位移值为Xn的目标点的距离z;0014 0015 其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设备镜头焦距,L为选取的基准图像所在的标准平面的距离。0016 优选地,所述数据处理单元在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或者所述数据处理单元在结构光线条宽度方向,直接计算线宽的中心坐标作为线条的坐标。0017 本发明还公开了一种物体表面重建的方法,其特征在于,包括以下步骤:0018 S1、通过控制镜面。

12、反射装置,将光源发出的光线反射到目标区域并形成线阵状的结构光图案;0019 S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像,且控制所述图像传感器的曝光区域与所述镜面反射装置反射的结构光的投影区域同步;0020 S3、实时接收所述结构光图案的投影图像,并获取所述投影图像和预先拍摄的基准图像中的位移值,计算出所述目标区域内物体的三维点云数据。0021 优选地,所述步骤S1中所述光源采用点光源时,所述镜面反射装置采用二维振镜;所述光源采用线光源时,所述镜面反射装置采用一维振镜。0022 优选地,所述步骤S1中所采用的一维振镜或二维振镜为MEMS振镜。0023 优选。

13、地,其中,所述步骤S3进一步包括:0024 S31、分别计算出所述投影图像和所述基准图像线阵中每条线条的坐标数组;0025 S32、利用线条坐标数组计算线条的位移量;0026 S33、通过以下公式计算结构光图案位移值为Xn的目标点的距离z;0027 0028 其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设备镜头焦距,L为选取的基准图像所在的标准平面的距离。0029 优选地,所述步骤S31包括:0030 在结构光线条宽度方向,计算最大灰度值像素的重心坐标为线条坐标;或者0031 在结构光线条宽度方向,直接计算线宽的中心坐标作为线条坐标。0032 实施本发明的物体表面重建的系统。

14、和方法,具有以下有益效果:本发明可以根据需要通过控制镜面反射装置投射出预设的结构光图案,并控制图像传感器同步曝光获取目标区域内至少部分区域的投影图像,与基准图像进行比较利用三角测量原理计算出目标区域内物体的三维深度数据,该三维深度数据可以实时更新,从而获取运动物体的实时运动说 明 书CN 102831642 A3/9页6数据。附图说明0033 下面将结合附图及实施例对本发明作进一步说明,附图中:0034 图1为根据本发明优选实施例的物体表面重建的系统的光路图;0035 图2为根据本发明优选实施例的物体表面重建的系统拍摄的基准图像的示意图;0036 图3为根据本发明优选实施例的物体表面重建的系统。

15、拍摄的投影图像的示意图;0037 图4为根据本发明优选实施例的物体表面重建的方法流程图。具体实施方式0038 下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的步骤而非全部过程。0039 请参阅图1,为根据本发明优选实施例的物体表面重建的系统的光路图。如图1所示,该实施例提供的物体表面重建的系统主要包括照明组件10、图像传感器20、数据处理单元30和控制器(图中未示出)。0040 照明组件10包括光源11和镜面反射装置12。本方案的光源优选采用半导。

16、体激光二级管。0041 镜面反射装置12可以由控制器控制其镜面姿态,将所述光源11发出的光线反射到目标区域形成预设的结构光图案。优选地,镜面反射装置可以采用一维振镜或二维振镜,对应生成的结构光图案分别为线阵状图案或点阵状图案。光源采用点光源时,镜面反射装置可以采用二维振镜,生成的结构光图案为线阵状图案或点阵状图案。光源采用线光源时,镜面反射装置可以采用一维振镜,生成的图案为线阵状图案。此外,当光源采用点光源时,还可以先通过光学元件将点光源转换为线形光,再通过一维振镜生成线阵状图案。一维振镜或二维振镜也可以采用MEMS(Micro-Electro-Mechanical Systems,微机电系统。

17、)振镜,转轴式振镜等能够实现控制镜面运动的装置。MEMS是一种全新的必须同时考虑多种物理场混合作用的研发领域,相对于传统的机械,它们的尺寸更小,最大的不超过一个厘米,甚至仅仅为几个微米,其厚度就更加微小。采用以硅为主的材料,电气性能优良,硅材料的强度、硬度和杨氏模量与铁相当,密度与铝类似,热传导率接近钼和钨。采用与集成电路类似的生成技术,可大量利用IC生产中的成熟技术、工艺,进行大批量、低成本生产,使性价比相对于传统“机械”制造技术大幅度提高。一维振镜或二维振镜构成的镜面反射装置中的镜面121的姿态可以通过控制器进行控制,通过调整镜面121的姿态,将光源11照射到镜面121上的光线反射到目标区。

18、域,并且在目标区域投影形成已设计结构光的图案.例如二维振镜投射出点阵状图案,一维振镜为线阵状图案。0042 图像传感器20用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案的投影图像。由于本发明的系统在首次使用前需要采集一次结构光的基准图像。在本系统中图像传感器20、镜面反射装置12和光源11的相对位置姿态需要与在拍摄基准图像时保持不变,这里包括偏移与旋转。如果相对位置出现了变化,就需要重新采集基准图像。本发明的独特之处在于由控制器控制图像传感器20的曝光区域与镜面反射装置12反射的结构光说 明 书CN 102831642 A4/9页7的投影区域同步。也就是说,当线形的结构光逐步投影在目标区。

19、域上时,图像传感器12也同时曝光该线形光投影的区域,因此图像传感器12能够仅在目标区域内至少部分区域,例如预先估计的目标物体所在的特定区域采集投影图像,而不需要采集所有目标区域内的图像。并且可以选择配置相对较低的图像传感器来采集线形光的图案。0043 数据处理单元30与图像传感器20连接,实时接收图像传感器20拍摄的结构光图案的投影图像,且数据处理单元30内存储有预先拍摄的基准图像,利用图像算法获取所述投影图像和基准图像中的结构光图案的位移值,计算出所述目标区域内物体的三维点云数据。因此,数据处理单元30可以进一步包括存储器31和处理器32,且数据处理单元30还具有输入/输出装置33。其中存储。

20、器31可用于存储在没有目标物体时拍摄的基准图像信息。处理器32则可以通过输入/输出装置33接收图像传感器拍摄的投影图像,并从存储器31中获取上述基准图像信息,进行上述计算和处理,获取三维点云数据,实现物体表面点云数据重建。0044 下面对本发明的物体表面重建的系统中各个部件的位置结构进行说明。建立如图1所示的三维坐标系,在此坐标系内对各装置进行安装。图1中坐标系满足右手定则。0045 a.坐标系的X轴方向是如图所示初始状态的振镜镜面中心P和图像传感器的镜头光心C的连线,正方向为CP,即如图1中向上为X轴正方向,其中B为PC的距离。0046 b.Z轴方向是穿过镜面中心P,并垂直于镜面,正方向为由。

21、镜面中心P指向目标区域,如图1中向右为Z轴正方向。0047 c.Y轴方向是按照右手定则进行确定,在图1中为垂直纸面向里。0048 d.光源11发射出准直激光,激光轴线在平面XPZ上,并且穿过反射面的中心。激光轴线和Z轴的夹角与目标区域有关,本系统设置为45度。0049 e.将图像传感器20的光心轴线设置为与Z轴平行,并且保证图像传感器的视场与投影目标区域存在交集,出射光线转动范围和图像传感器镜头的视角范围的重叠部分为测量区域。且图像传感器的设备镜头焦距为f。0050 f.如果该系统的镜面反射装置采用一维振镜,镜面121可以绕XP轴或者绕YP轴旋转或者振动;如果采用二维振镜,则镜面可以绕两轴同时。

22、旋转或者同时振动。为了获取上述振动特性,可以采用现有的MEMS一维或者二维振镜来实现,其出射光线转动范围覆盖整个被测物体。0051 g.图像传感器20的数据通过现有常见的数据传输方式,传输到数据处理单元30.0052 下面对本发明的物体表面重建的系统的实现流程和原理进行说明。0053 1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封装,例如将光源11和镜面反射装置12集成在一起构成照明组件10。0054 2)投影图案的设计:由于本发明采用的振镜系统能够利用振镜高速的姿态变换特性,在目标区域内投射出点阵状,线阵状等等图像。这里主要采用一维振镜照射出线阵状或者采用二维振镜投射出点。

23、阵。0055 3)采集图像信息步骤:0056 a.拍摄基准图像。例如,在距离系统L=2000mm处,设置与Z轴垂直的3*3m标准平面T,选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了具体的基准图像的距离,但是本发明并不限于此,本领域基础技术人员可以根据实际情况选取合适的平面拍摄说 明 书CN 102831642 A5/9页8基准图像。利用图像传感器20采集照明组件10投影出来的线阵状或点状图案在标准平面的成像作为基准图像,并保存在数据处理单元30的存储器31中。0057 b.拍摄目标的投影图像。在物体进入目标区域后,投影图案照射到物体表面上,此时利用图像传感器20采集目标区域的投影图。

24、案,例如线阵状图案,发送到数据处理单元30;0058 4)表面点云数据重建步骤:0059 请参阅图2和图3,分别为根据本发明优选实施例的物体表面重建的系统拍摄的基准图像和投影图像的示意图。如图2所示,该结构光图案为线阵状,线的高度为H,宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图3中可以看到当目标物体进入画面时,线阵中目标物体所在区域中的线条将发生偏移,偏移量为S。所有的投射图案随着距离L的增大,图案会出现朝固定方向发生偏移,且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来计算获得。0060 a.设采。

25、集到的投影图像与基准图像均为m*n个像素的图像。下面以投射的结构光图案为线阵光为例,对获取的投影图像进行分析,采用点阵状的结构光图案的分析方法与之相同。0061 首先,利用图像算法分别计算出投影图像和基准图像中线阵中每条线的坐标数组Pn(i,j)和Qn(i,j),其中n代表线阵中线的编号,(i,j)是线上每一点的坐标。在此,由于图像中结构光线条的像素灰度值大于周围像素灰度值,所以能够在背景中分辨出结构光线条。本发明可以采用阈值分割的办法将结构光线条分割出来。由于阈值设定的原因,结构光线条宽度可能会由一个或者一个以上的像素组成,所以可以采用线宽的重心或者线宽内最亮像素坐标来代表结构光线条的坐标。。

26、其中,在第一种方法中,在结构光线条宽度方向,计算最大灰度值像素的重心坐标,作为线条坐标。第二种方法中,在结构光线条宽度方向,直接计算线宽的中心坐标,作为线条的坐标。在投影图像和基准图像对齐后分别逐列的计算出结构光线条的坐标。如果为点阵状图案,则对于点阵中每点的轮廓超过一个像素的情况,计算按灰度阈值做权重的重心坐标,作为点的坐标。0062 b.利用线条像素数组计算线条的位移量Xn(i,j)=Pn(i,j)-Qn(i,j)。可以将两个结构光线条对齐逐列的计算坐标的位移值。图3中目标物体区域中线条的偏移量S与Xn(i,j)相对应。0063 c.利用结构光测量的基本原理,数据处理单元通过以下公式计算结。

27、构光图案位移值为Xn的目标点的距离z;0064 0065 其中,B为图像传感器与振镜装置的中心的距离,f为所述图像传感器的设备镜头焦距,L为选取的基准图像所在的标准平面的距离。投影图案中不同点的距离z即为计算出来的物体三维点云数据。0066 由于上述公式中B、f和L可以针对不同大小的目标物体和距离预先设置好,因此说 明 书CN 102831642 A6/9页9上述公式中的X为设置好的特定值。当需要针对不同目标物体设计结构光图案时,只需要调整一维或二维振镜的镜面状态,就可以获得不同的结构光,例如线阵光或点阵光,还可以对线阵光的线距进行调整,从而便于在采集的投影图像中识别出目标物体所在的区域。00。

28、67 本发明还相应地提供了一种物体表面重建的方法。请参阅图4,为根据本发明优选实施例中物体表面重建的方法流程图。如图4所示,该方法S400开始于步骤S402:0068 随后,在下一步骤S404中,通过控制镜面反射装置,将光源发出的光线反射到目标区域并形成预设的结构光图案。该步骤主要采用照明组件来实现,如图1所示,照明组件10包括光源11和镜面反射装置12。本方案的光源优选采用半导体激光二级管。0069 镜面反射装置12可以由控制器控制其镜面姿态,将所述光源11发出的光线反射到目标区域形成预设的结构光图案。优选地,镜面反射装置可以采用一维振镜或二维振镜,对应生成的结构光图案分别为线阵状图案或点阵。

29、状图案。光源采用点光源时,镜面反射装置可以采用二维振镜,生成的结构光图案为线阵状图案或点阵状图案。光源采用线光源时,镜面反射装置可以采用一维振镜,生成的图案为线阵状图案。此外,当光源采用点光源时,还可以先通过光学元件将点光源转换为线光,再通过一维振镜生成线阵状图案。一维振镜或二维振镜也可以采用MEMS(Micro-Electro-Mechanical Systems,微机电系统)振镜,转轴式振镜等能够实现控制镜面运动的装置。一维振镜或二维振镜构成的镜面反射装置中的镜面121的姿态可以通过控制器进行控制,通过调整镜面121的姿态,将光源11照射到镜面121上的光线反射到目标区域,并且在目标区域投。

30、影形成已设计结构光的图案。例如二维振镜投射出点阵状图案,一维振镜为线阵状图案。0070 建立如图1所示的三维坐标系,在此坐标系内对各装置进行安装。图1中坐标系满足右手定则。坐标系的X轴方向是如图所示初始状态的振镜镜面中心P和图像传感器的镜头光心C的连线,正方向为CP,即如图1中向上为X轴正方向,其中B为PC的距离。Z轴方向是穿过镜面中心P,并垂直于镜面,正方向为由镜面中心P指向目标区域,如图1中向右为Z轴正方向。Y轴方向是按照右手定则进行确定,在图1中为垂直纸面向里。光源11发射出准直激光,激光轴线在平面XPZ上,并且穿过反射面的中心。激光轴线和Z轴的夹角与目标区域有关,本方法中设置为45度。。

31、如果该方法的镜面反射装置采用一维振镜,镜面121可以绕XP轴或者绕YP轴旋转或者振动;如果采用二维振镜,则镜面可以绕两轴同时旋转或者同时振动。为了获取上述振动特性,可以采用现有的MEMS一维或者二维振镜来实现,其出射光线转动范围覆盖整个被测物体。0071 随后,在下一步骤S406中,利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像,且控制所述图像传感器的曝光区域与所述镜面反射装置反射的结构光的投影区域同步。本发明的独特之处在于由控制器控制图像传感器20的曝光区域与镜面反射装置12反射的结构光的投影区域同步。也就是说,当线形的结构光逐步投影在目标区域上时,图像传感器1。

32、2也同时曝光该线形光投射的区域,因此图像传感器12能够仅在目标区域内至少部分区域,例如预先估计的目标物体所在的特定区域采集投影图像,而不需要采集所有目标区域内的图像。并且可以选择配置相对较低的图像传感器来采集线形光的图案。0072 如图1所示,由于本发明的方法在首次使用前需要采集一次结构光的基准图像,因此在该步骤中图像传感器20、镜面反射装置12和光源11的相对位置姿态需要与在拍摄说 明 书CN 102831642 A7/9页10基准图像时保持不变,这里包括偏移与旋转。如果相对位置出现了变化,就需要重新采集基准图像。将图像传感器20的光心轴线设置为与Z轴平行,并且保证图像传感器的视场与投影目标。

33、区域存在交集,出射光线转动范围和图像传感器镜头的视角范围的重叠部分为测量区域。且图像传感器的设备镜头焦距为f。图像传感器20的数据通过现有常见的数据传输方式,传输到数据处理单元30。0073 随后,在下一步骤S408中,实时接收图像传感器20拍摄的结构光图案的投影图像,并利用图像算法获取所述投影图像和预先拍摄的基准图像中的位移值,计算出所述目标区域内物体的三维点云数据。可以采用如图1所示的数据处理单元来实现该步骤。数据处理单元30与图像传感器20连接,接收图像传感器20拍摄的结构光图案的投影图像,且数据处理单元30内存储有预先拍摄的基准图像,利用图像算法获取所述投影图像和基准图像中的结构光图案。

34、的位移值,计算出所述目标区域内物体的三维点云数据。因此,数据处理单元30可以进一步包括存储器31和处理器32,且数据处理单元30还具有输入/输出装置33。其中存储器31可用于存储在没有目标物体时拍摄的基准图像信息。处理器32则可以通过输入/输出装置33接收图像传感器拍摄的投影图像,并从存储器31中获取上述基准图像信息,进行上述计算和处理,获取三维点云数据,实现物体表面点云数据重建。0074 最后,方法S400结束于步骤S410。0075 下面对本发明的物体表面重建的方法的具体操作过程进行说明。0076 1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封装,例如将光源11和镜面反。

35、射装置12集成在一起构成照明组件10。0077 2)投影图案的设计:由于本发明方法采用的振镜系统能够利用振镜高速的姿态变换特性,在目标区域内投射出点阵状,线阵状等等图像。这里主要采用一维振镜照射出线阵或者采用二维振镜投射出点阵。0078 3)采集图像信息步骤:0079 a.拍摄基准图像。例如,在距离系统L=2000mm处,设置与Z轴垂直的3*3m标准平面T,选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了具体的基准图像的距离,但是本发明并不限于此,本领域基础技术人员可以根据实际情况选取合适的平面拍摄基准图像。利用图像传感器20采集照明组件10投影出来的线阵状或点阵状图案在标准平面的成像。

36、作为基准图像,并保存在数据处理单元30的存储器31中。0080 b.拍摄目标的投影图像。在物体进入目标区域后,投影图案照射到物体表面上,此时利用图像传感器20采集目标区域的投影图案,例如线阵状图案,发送到数据处理单元30;0081 4)表面点云数据重建步骤:0082 请参阅图2和图3,分别为根据本发明优选实施例的物体表面重建的系统拍摄的基准图像和投影图像的示意图。如图2所示,该结构光图案为线阵,线的高度为H,宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图3中可以看到当目标物体进入画面时,线阵中目标物体所在区域中的线条将发生偏移,偏移量为S。所有的投射图案随着距离L的增大,图案会出现朝固定方向发生偏移,且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来计算获得。说 明 书CN 102831642 A10。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1