一种基于达曼光栅的彩色三维轮廓测量装置与方法
技术领域
本发明涉及计算机视觉领域，具体地说是涉及一种测量物体的三维轮 廓和彩色信息的装置与方法。
背景技术
随着三维打印技术的普及，民用级三维轮廓扫描仪的需求日益增长。 传统的光学三维轮廓测量方法，如条纹投影法、光刀扫描法、编码结构光 法等，已经广泛应用于工业生产过程中，然而对于家庭娱乐或者日常办公 而言，传统的光学三维轮廓测量技术通常需要投影仪，或者需要精密的机 电定位装置，不利于扫描仪的小型化和低成本化。衍射光学元件(diffractive optical element，DOE)广泛用于激光光束的整形，也可用于产生三维轮廓 测量所需的结构光，而且具有体积小、批量生产成本低的优点。以色列的 Primesense公司于2005年提出了一种利用特殊DOE产生伪随机散斑的来 进行三维轮廓测量的方法，与微软公司合作推出了Kinect一代体感传感器， 并在民用级三维轮廓测量和动作捕获的市场上取得了巨大的成功。为了与 微软的Kinect争夺市场，Google公司推出了Tango project计划，Apple公 司推出了Itseez3D系列产品，产生结构光的核心器件均为特制的DOE。综 上所述，由于低成本和小体积的需求，采用DOE产生结构光是民用级的 三维扫描仪主流技术路线。由于三维重建算法与结构光的种类密切相关， 因此一种新的可用于三维轮廓测量的结构光的提出总要伴随与之对应的 算法。在众多种DOE中，达曼光栅【在先技术1：H.Dammann and K.Gortler, Opt.Comm.,1971,3(3):312～315】能将入射的一束激光分束分为M×N束激 光(其中M，N为正整数)，且每束激光的光强接近相等。周常河等人提 出了分束比从2×2到64×64的达曼光栅结构参数【在先技术2：C.Zhou,L. Liu,Appl.Opt.,1995,34(26),5961～5969】。王少卿提出通过组合达曼光栅的 方式产生更高分束比【在先技术3：王少卿等，组合达曼光栅，中国发明 专利CN 10256605】。在三维轮廓测量方面，提出了通过一个数码相机和一 个达曼光栅组成的三维轮廓测量方法【在先技术4：王少卿等，】，其结构 光为激光光斑点阵，该方法能够测量表面起伏较小的物体，但在测量表面 起伏较大或是阶跃型轮廓的物体时，由于激光光斑的歧义性(无法分辨图 像上的激光光斑的确切衍射级次)，将无法得到正确的三维轮廓信息。张 军等人提出一种利用达曼光栅产生傅里叶条纹的三维轮廓测量方法【在先 技术5：J.Zhang,C.Zhou and X.Wang,Appl.Opt.,2009,48(19),3709～3715】， 此方法在测量阶跃型物体或是多个物体时会失效，原因是计算三维轮廓时 会遇到相位歧义性的困扰。王少卿等人提出一种结合双目立体视觉和达曼 激光点阵的三维测量方法【在先技术6：王少卿等，基于达曼光栅的物体 三维轮廓测量装置及测量方法，中国发明专利CN 10254347A】，该方法成 功解决了前两种方法遇到的歧义性问题，因此可以用于测量表面轮廓复杂 或是阶跃型轮廓的物体，也可同时测量多个物体，但是该技术并未明确给 出在测量三维轮廓时同时测量被测物的彩色信息的方法。
对于家用娱乐或者普通办公而言，附带颜色信息的三维轮廓能给用户 更好的体验。对于民用级三维轮廓扫描仪而言，彩色数码相机拍摄得到 RGB三色分量足以描述物体的颜色。在三维轮廓测量过程中，投影的结构 光会改变物体表面的颜色，若要同时测量物体的颜色信息，一般通过两种 方法解决：一是投影红外结构光，在用于获取物体颜色信息的彩色数码相 机前加上红外截止滤波片即可；二是通过频闪结构光的方式，先投影结构 光，同时拍摄结构光的图像用于计算三维轮廓，再关闭结构光拍摄彩色图 像用于计算物体的颜色信息。前一种方法只需要保持红外结构光常亮即可， 且理论上最高扫描帧速度可以达到相机的最高帧速度，但是需要额外添加 专门负责拍摄彩色图像的彩色数码相机；后一种方法虽然不需要额外的彩 色相机，但是需要加入频闪电路模块以同步控制相机和投影单元，而且需 要两帧图像才能得到一帧彩色三维点云，因此理论上最高扫描帧速度只能 达到相机最高帧速度的一半。考虑到相机成本的日益降低以及测量人脸时 对用户的友好性，投影红外结构光的方法将会是一个具备竞争力的技术方 案。
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于达曼光栅的彩 色三维轮廓测量装置与测量方法。该装置具有测量精度高、颜色信息准确、 扫描速度快、彩色三维模型重建计算代价小、成本低、结构紧凑等优点。
本发明的技术解决方案如下：
一种基于达曼光栅的彩色三维轮廓测量装置，其特点在于该装置包括： 激光投影单元、两个具有窄带通滤波片的左黑白数码相机和右黑白数码相 机、具有红外截止滤波片的彩色数码相机、相机控制模块、图像处理模块、 数据存储模块和数据传输模块；
所述的激光投影单元包含红外半导体激光器、准直透镜、达曼光栅或 是由数片达曼光栅组合而成的组合达曼光栅，该红外半导体激光器发出的 光束依次经所述的准直透镜、达曼光栅或组合达曼光栅后投影在被测物体 上形成激光光斑陈列；
所述的相机控制模块用于向左黑白数码相机、右黑白数码相机和彩色 数码相机发送同步触发信号，使得左黑白数码相机、右黑白数码相机和彩 色数码相机同步采集被测物体表面图像，并输入所述的图像处理模块；
所述的数据存储模块用于存储经图像处理模块处理后的数据；
所述的数据传输模块将经图像处理模块处理后的数据或数据存储模 块存储的数据传输到云端服务器或者计算机上，传输方式支持有线传输和 无线传输。
所述的激光投影单元还包括扩束透镜。
所述的达曼光栅能将一束红外激光分成M×N束红外激光阵列，该红 外激光阵列投影在物体上即形成激光光斑阵列，其中M和N为正整数。
所述的图像处理模块可集成在计算机上。
所述相机控制模块、图像处理模块、数据存储模块和数据传输模块包 括实现对应功能所需的硬件、软件、算法或其组合。
所述的黑白数码相机用于拍摄红外图像，其镜头或者感光元件上的窄 带通滤波片能够通过从被测物体表面反射的红外激光，而波长不在窄带通 滤光片通光窗口内的光则被过滤掉。
所述的彩色数码相机用于拍摄彩色图像，其镜头或者感光元件上的红 外截止滤波片能够通过可见光并同时过滤掉从被测物体表面反射回来的 红外激光。
所述图像处理模块根据具体测量需求，可以选择以下几种由简到繁的 处理程度：①不对图像做处理；
②仅提取激光光斑，计算激光光斑在图像坐标系下的坐标；
③在②的基础上计算出点云的三维坐标；
④在③的基础上计算出点云的彩色信息。
利用所述的彩色三维轮廓测量装置对彩色三维轮廓进行测量的方法， 其特点在于，该方法包括如下步骤：
步骤1、在装置搭建好后进行一次激光光斑预标定；
步骤2、在测量过程中，使光束投影至被测物体形成激光光斑阵列， 相机控制模块控制三个数码相机同时采集红外图像及彩色图像，并传输至 图像处理模块；
步骤3、经图像处理模块处理后得到物体轮廓的彩色点云；
步骤4、将步骤3得到的物体轮廓的彩色点云存储在数据存储模块上 或通过数据传输模块传输到云端服务器或者计算机上。
所述的步骤1中预标定的具体方法为：
①在暗室中，放置一块平板在装置的最近测量距离Znear，拍摄图像， 记录下两个红外图像和一幅彩色图像里激光光斑的坐标：记左黑白数码相 机所拍得红外图像中第j个激光光斑的质心坐标(uLj,near,vLj,near)，右黑白数 码相机所拍得红外图像中第j个激光光斑的质心坐标(uRj,near,vRj,near)，以及 彩色数码相机所拍得彩色图像中第j个激光光斑的质心坐标(uCj,near, vCj,near)；
②将平板移至装置的最远测量距离Zfar，拍摄图像，记录下两个红外 图像和一幅彩色图像里激光光斑的坐标：记左黑白数码相机所拍得红外图 像中第j个激光光斑的质心坐标(uLj,far,vLj,far)，右黑白数码相机所拍得红外 图像中第j个激光光斑的质心坐标(uRj,far,vRj,far)，以及彩色数码相机所拍得 彩色图像中第j个激光光斑的质心坐标(uCj,far,vCj,far)。
所述的步骤3、图像处理模块处理对图像进行处理，得到物体轮廓的 彩色点云的具体步骤如下：
①对原始图像进行常规图像预处理；
②对预处理后的红外图像进行极线校正；
③对极线校正的红外图像进行激光光斑提取；
④对左红外图像上的每个激光光斑，试图在右红外图像上寻找其匹配 光斑，匹配光斑满足下列条件：
a)两幅红外图像经过极线校正后，左图像里的光斑(uLiL,vLiL)与其在 右图像里的匹配光斑(uRiR,vRiR)具有相同的纵坐标，数学表示为|vLiL-vRiR| <Δv，Δv为适当阈值，单位为像素，在0～2像素间选取；
b)存在一个序号j，满足：
vL iL - ( uL iL - uL j , near ) ( vL j , far - v L j , near ) uL j , far - uL j , near - vL j , near ≤ Δp v , ]]>
vR iR - ( uR iR - uR j , near ) ( vR j , far - v R j , near ) uR j , far - uR j , near - vR j , near ≤ Δp v , ]]>
| ( uL iL - uL j , near ) ( uL j , far - uL j , near ) - ( uR iR - uR j , near ) ( uR j , far - uR j , near ) | < Δ p u . ]]>
其中，Δpv和Δpu为适当阈值，Δpv单位为像素，在0～2像素间选取， Δpu为无量纲参数，在0～0.05间选取。记录匹配光斑对(uLiL,vLiL)与(uRiR, vRiR)和对应序号j；
⑤对每一对匹配的激光光斑采用三角测量原理计算得到描述物体轮 廓的无彩色信息的点云的三维坐标；
⑥对每一对匹配光斑，利用激光光斑预标定，由彩色图像计算出点云 的彩色信息，公式如下：
X j = XC ( ( uC j , near + ( uL iL - uL j , near ) ( uC j , far - uC j , near ) ( uL j , far - uL j , near ) ) , ( vC j , near + ( vL iL - vL j , near ) ( vC j , far - vC j , near ) ( vL j , far - vL j , near ) ) ) , ]]>
其中，X是描述点云彩色信息的RGB分量的任意一个，Xj是序号为j的匹 配光斑所计算得到的点云的彩色信息，XC(uj,vj)是彩色图像上坐标为(uj,vj) 的像素的RGB分量的任意一个。
所述的步骤③激光光斑提取，具体是通过对预处理的红外图像进行阈 值分割，将红外图像中的每一个激光光斑划分为孤立的连通区域，计算两 幅红外图像中图像坐标系下每个连通区域的质心坐标，以此质心坐标表示 每个激光光斑，即左图像的光斑为(uLiL,vLiL)，右图像的光斑为(uRiR,vRiR)。
所得的彩色点云可由数据存储模块存储，也可由数据传输模块传至计 算机或者云端服务器。所述的图像处理中的任一步处理过程甚至是所有计 算过程也可以在计算机或者在云端服务器上进行。
与现有技术相比，本发明的技术效果：
1)利用达曼光栅产生的激光光斑阵列用于物体三维轮廓测量中，并 根据激光光斑阵列的特点进行点云的三维坐标和彩色信息计算，具有测量 精度高、测量速度快和鲁棒性强等特点。
2)采用的达曼光栅具备能量利用率高、体积小和批量生产成本低等 优点，解决了传统光学三维轮廓测量装置中数码投影单元体积大成本高的 问题。
3)具备测量精度高、测量速度快、鲁棒性强、能量利用率高、装置 体积小和成本低等优点，在民用级三维轮廓测量中具有应用价值，也能够 为高精度三维轮廓测量应用方面提供解决方案。
附图说明
图1是本发明的装置示意图。
图2是达曼光栅(或者组合达曼光栅)产生的激光光斑阵列示意图。
图3是激光光斑预标定的示意图。
图4是数据处理流程图。
具体实施方式
下面结合实施例和附图对本发明作进一步说明，但不应以此限制本发 明的使用范围与保护范围。本发明用于测量物体的彩色三维轮廓信息，除 了三维建模外，本发明所获取的彩色三维模型可以用于目标识别、目标跟 踪、动作捕获、人机交互等应用领域。
参阅图1，图1是本发明的装置示意图。由图可见，本发明装置由激 光投影单元1、左黑白数码相机2A、右黑白数码相机2B、一个彩色数码 相机3、相机控制模块5、图像处理模块6、数据存储模块7、数据传输模 块8、窄带通滤波片9和红外截止滤波片10组成。其中所述的激光投影单 元1由红外半导体激光器11，准直透镜12，达曼光栅或是由数片达曼光 栅组合而成的组合达曼光栅13以及扩束透镜14。其中，扩束透镜14不是 必要的。其中，所述的激光投影单元1、左黑白数码相机2A、右黑白数码 相机2B、彩色数码相机3之间的位置关系理论上并无特定要求，具备较高 的灵活性，但是为了提高测量效果，通常将两个黑白数码相机2A、2B对 称地放置在激光投影单元1的两侧，将彩色相机放置在投影单元的正上方 或者正下方。一旦本发明的测量装置的光学部分的具体结构和参数确定后， 将会根据这些具体结构和参数确定此测量装置的测量范围，由最近测量距 离Znear和最远测量距离Zfar来表示，其中测量装置的光学部分包括激光投 影单元1、黑白数码相机2A与2B、彩色数码相机3，其具体结构和参数 包括：三个数码相机2A、2B、3与激光投影单元1之间的位置和角度关系， 数码相机2A、2B、3的视场角，激光投影单元所投影的红外激光阵列的发 散角，等等。
参阅图2，图2是该装置所投影的激光光斑阵列示意图，可以按图2 方式人为给每一个光斑定义其序号。
参阅图3，图3是该装置进行激光光斑预标定的示意图。具体方法为：
①在暗室中，放置一块平板在装置的最近测量距离Znear，拍摄图像， 对红外图像进行极线校正，记录红外图像中每个激光光斑的质心坐 标(uLj,near,vLj,near)、(uRj,near,vRj,near)，以及彩色图像中每个激光光斑 的质心坐标(uCj,near,vCj,near)。
②将平板移至装置的最远测量距离Zfar，拍摄图像，对红外图像进行 极线校正，记录下红外图像中每个激光光斑的质心坐标(uLj,far, vLj,far)、(uRj,far,vRj,far)，以及彩色图像中每个激光光斑的质心坐标 (uCj,far,vCj,far)。
③由于彩色数码相机前有红外截止滤波片，故需要在暗室中通过长曝 光才能得到激光光斑的图像。
测量过程中，将激光光斑阵列投影到物体上，相机控制模块控制相机 以一定的帧速度同步采集图像，黑白数码相机拍摄得到的红外图像记录的 是激光光斑阵列的图像，彩色数码相机拍摄得到的彩色图像记录的是物体 的彩色信息。所得的原始图像传入图像处理模块，其中红外图像用于计算 描述物体轮廓的点云，彩色图像用于计算点云的彩色信息，参阅图4，图 4为数据处理流程图，彩色点云的具体计算方法为：
①如有必要，对红外图像进行常规的预处理。
②对红外图像进行极线校正。
③进行阈值分割，将红外图像上每一个激光光斑划分为独立的连通区 域，求取每个连通区域的质心(ui,vi)，以此质心坐标表示激光光斑， 得到左红外图像中激光光斑的集合{(uLiL,vLiL)}和右红外图像中激 光光斑的集合{(uRiR,vRiR)}。
④双目匹配，即建立{(uLiL,vLiL)}和{(uRiR,vRiR)}之间一一对应关系， 具体方法为：对左红外图像中的任一个激光光斑(uLiL,vLiL)，右红 外图像中与之匹配的激光光斑(uRiR,vRiR)必须满足下述条件：
1)两幅红外图像经过极线校正后，左图像里的光斑(uLiL,vLiL)与 其在右图像里的匹配光斑(uRiR,vRiR)具有相同的纵坐标，数学表示 为|vLiL-vRiR|<Δv，Δv为适当阈值。
2)存在一个序号j，满足：
vL iL - ( uL iL - uL j , near ) ( vL j , far - v L j , near ) uL j , far - uL j , near - vL j , near ≤ Δp v , ]]>
vR iR - ( uR iR - uR j , near ) ( vR j , far - v R j , near ) uR j , far - uR j , near - vR j , near ≤ Δp v , ]]>
| ( uL iL - uL j , near ) ( uL j , far - uL j , near ) - ( uR iR - uR j , near ) ( uR j , far - uR j , near ) | < Δ p u . ]]>
其中Δpv和Δpu为适当阈值。记录匹配光斑对(uLiL,vLiL)与(uRiR,vRiR) 和对应序号j。
④对每一对匹配的激光光斑采用三角测量原理计算得到描述物体轮 廓的无彩色信息的点云。
⑤点云彩色信息计算具体计算公式为：
Xj＝XC(uj,vj)
u j = u C j , near + ( uL iL - uL j , near ) ( uC j , far - uC j , near ) ( uL j , far - uL j , near ) , ]]>
v j = v C j , near + ( vL iL - vL j , near ) ( vC j , far - vC j , near ) ( vL j , far - vL j , near ) ]]>
其中X可以是RGB分量的任意一个，Xj是序号为j的匹配光斑(uLiL, vLiL)与(uRiR,vRiR)所计算得到的点云的彩色信息，以RGB三色分量 表示，XC为彩色图像的RGB三色分量的任意一个。
所得的彩色点云可由数据存储模块存储，也可由数据传输模块传至计 算机或者云端服务器，此彩色点云可以描述物体的彩色三维轮廓也可用作 后续处理。图像处理中的任一步处理过程甚至是所有计算过程也可以在计 算机或者在云端服务器上进行。