部件高度测量方法及其装置技术领域
本发明涉及检测对象物的立体形状的方法及其装置,特别是涉及如下的部
件高度测量方法及其装置,能够根据焦点位置不同的多个图像,检测出任意对
象物的高度形状,并能够基于高度信息生成电子部件搭载设备的调度所需的信
息,且能够将该信息提供给电子部件搭载设备。
背景技术
以往,提出了很多根据检测得到的图像来检测出对象物高度形状的方法。
特别是关于电子部件搭载设备中的部件的高度测量,存在专利文献1中记载的
方式。本方式中,在安装到基板之前从斜下方对由吸嘴等保持的电子部件照射
线状光(line light),从上方检测出来自部件的镜面反射光。测量整个部件的高
度时,能够从横向扫描部件并取得镜面反射光。根据本发明,由于倾斜地向部
件照射线状光,所以线状光沿部件的高度投影,因此如果从上方观察线状光,
根据高度投影位置会错开,从而通过测量错开量能够换算出部件的高度。
另外,根据专利文献2,计算出部件高度,基于该高度信息,即使上表面
有凹凸也能够正确地选择出部件搭载设备的拾取(pick up)装置。
另外,专利文献3中记载了,沿高度方向渐渐移动部件并取得多张图像,
基于该取得的多张图像测量图案的对比度,求出部件的立体形状信息。
专利文献1:日本国专利文献“特开2009-94295号公报”
专利文献2:日本国专利文献“特开2009-302265号公报”
专利文献3:日本国专利文献“特开平3-6350号公报”
在专利文献1所记载的高度测量方法中,由于是从斜方向向部件投影线状
光,对根据部件的高度而变化的反射光进行检测的方式,所以在检测器的检测
范围上产生极限。而且,由于对部件倾斜地进行照明,检测反射光,所以在凹
型部件的情况下,在部件内侧产生照明无法投影、无法检测出反射光的未检测
部,而存在无法测量整个部件的形状的问题。
另外,专利文献2中,根据计算部件的高度的方法,使台座的位置移动至
部件的高度而求出照相机的焦距位置,制作部件的3D图像,但该方法中,照
相机的焦点深度内的部位全部被检测为相同的高度,所以无法检测出微小的凹
凸。并且,没有详细说明该方法。
发明内容
本发明鉴于以上问题点,提供在计测部件的高度时,即使在由壁将周边包
围的凹型部件中,也能够正确计测部件的内侧形状的部件高度测量方法及其装
置。
本发明的部件高度测量方法中,从垂直于在载置面上载置被测量部件并能
够沿被测量部件的高度方向移动的台的载置面的方向,经由物镜向载置于载置
面上的被测量部件投影光图案,使台沿被测量部件的高度方向依次步进移动,
按照各步进移动,经由物镜对投影有光图案的被测量部件进行拍摄,获取光图
案的图像,对按照台的各步进移动进行拍摄而获取的光图案的多个图像进行处
理,获得被测量部件的各部分的高度信息,生成被测量部件的高度图像或包含
高度信息的图像。
而且,本发明的部件高度测量装置中,具备:台单元,其在载置面上载置
被测量部件并能够沿被测量部件的高度方向移动;光图案投影单元,其从垂直
于台单元的载置面的方向,经由物镜向载置在载置面上的被测量部件投影光图
案;拍摄单元,其经由物镜对由该光图案投影单元投影到被测量部件的光图案
的像进行拍摄;以及图像处理单元,对使台单元沿被测量部件的高度方向依次
步进移动并对按照各步进移动由拍摄单元进行拍摄而获取的光图案的像进行
处理,获得被测量部件的各部分的高度信息,生成该被测量部件的高度图像或
包含高度信息的图像。
根据上述的本发明的部件高度测量方法及其装置,不仅能够计测部件外形
也能够计测内侧的形状。并且,具有能够根据高度检测结果计算出体积,从而
能够计算出部件的大致重量的优良效果。
附图说明
图1是表示本发明的一个实施例的包含部件高度测量装置和电子部件搭
载设备的系统构成的框图。
图2是表示本发明的一个实施例的部件高度检测单元的构成的框图。
图3A是表示本发明的一个实施例的掩模图案的俯视图。
图3B是表示本发明的一个实施例的掩模图案投影到摄像元件上的状态的
摄像元件的俯视图。
图3C是表示本发明的一个实施例的拍摄掩模图案的摄像元件的检测波形
的图。
图4是表示本发明的一个实施例的检测光学系统的图,左侧是表示计测开
始时的Z工作台的位置的检测光学系统的主视图,右侧是表示计测结束时Z
工作台的位置的检测光学系统的主视图。
图5是表示本发明的一个实施例的高度运算的处理的流程的流程图。
图6是表示本发明的一个实施例的计算Z位置的对比度的变化量和焦点
位置的方法的图。
图7A是本发明的一个实施例的计测整个检测视场为平面的部件的高度时
的高度图像。
图7B是本发明的一个实施例的计测整个检测视场为平面的部件和小型部
件的高度时的高度图像。
图7C是表示图7A和图7B的剖面波形的图表。
图8是本发明的一个实施例的输入设定画面的主视图。
图9是表示本发明的一个实施例的处理的结果的画面的主视图。
图10是表示本发明的一个实施例的部件高度测量处理的流程的流程图。
图中:
1-检测光学系统,2-控制部,3-运算部,4-设定显示部,5-输出部,
6-计测对象部件,7-试料台,8-Z工作台,9-照明光源,10-透镜,11-
掩模图案,12-目镜,13-半透半反镜,14-物镜,15-目镜,16-检测器,
16a-摄像元件,17-光量调整模块,18-照相机控制模块,19-Z工作台控
制模块,20-图像存储模块,21-高度运算模块,22-噪声滤波器设定模块,
23-像面修正模块,24-重量计算模块,25-计测设定模块,26-计测结果显
示模块,500-部件高度检测单元,501-计算机,502-输入输出单元,503
-电子部件搭载设备。
具体实施方式
以下,根据附图,对本发明的实施例进行说明。
实施例1
图1至图10是实施本发明的部件高度测量方法及其装置的方式的第一个
例子。
图1表示了本实施例的部件高度测量装置100的构成。部件高度测量装置
100具备部件高度检测单元500、计算机501、输入输出单元502而构成,由
部件高度测量装置100获取的数据504发送至电子部件搭载设备503。
部件高度检测装置500由检测光学系统1、能够搭载被测量部件6且能够
沿高度方向移动的Z工作台8、以及试料台7构成。在计算机501通过未图示
的方法搭载有控制部件高度检测装置500及对获取的图像进行运算的程序。输
入输出单元502用于显示控制计算机501的画面以及检测结果等。在计算机
501,部件高度等结果作为数据504能够传送至电子部件搭载设备503。
接下来,在图2以后,详细说明部件高度检测单元500、计算机501、输
入输出单元502。
对部件高度检测单元500的检测光学系统1的构成进行说明。检测光学系
统1具备照明光源9、透镜10、掩模图案11、透镜12、半透半反镜13、物镜
14、目镜15以及照相机16。被测量部件6搭载于试料台7,试料台7通过Z
工作台8可在光轴方向(Z方向)上移动。Z工作台8通过外部控制,能够在
上下方向(Z方向)对其进行控制。
这样的构成中,从照明光源9射出的光透过透镜10之后照射掩膜图案11。
在掩模图案11中形成有由使光透过的部分和遮住光的部分构成的图案,由透
过掩模图案11的光形成的掩膜图案11的像透过透镜12入射至半透半反镜13,
通过半透半反镜13所入射的光量的一半被反射到物镜14的一侧,通过物镜
14,被投影到被测量部件6上。
照明光源9使用例如像LED这样的能够调整光量的光源。来自照射有透
过掩膜图案11的光的被测量部件6的反射光再次透过物镜14入射至半透半反
镜13,所入射的光量的一半透过半透半反镜13,通过目镜15,成像于照相机
16的摄像元件16a上。照相机16使用将多个检测元件(像素)排列为二维状
的面型(area type)摄像元件。此外,物镜14的焦点位置和掩模图案11、摄
像元件16a配置在共轭位置。
图3A至图3C表示了掩模图案11和摄像元件16a的关系。图3A是掩膜
图案11的配置图、图3B是摄像元件16a的配置图、图3C是由摄像元件16a
检测出的情况下的波形。
在图3A中,掩模图案11是将遮光部28和透过部29配置为方格图案或
者棋盘状图案而得到的。图3B表示在摄像元件16a的像素30上投影掩模图
案11的像的状态,在摄像元件16a上投影的掩模图案11的遮光部28和透过
部29的各图案的像的倍率分别被调整为,由照相机16的摄像元件16a的多个
像素30成为1个图案的尺寸。
图3C表示在图3B所示的摄像元件16a的1行(例如图3B的L-L上的
元件群)的输出波形。横轴表示像素,纵轴表示光量。根据被测量部件6的焦
点位置,输出波形变化。例如,若远离焦点位置,则成为像波形33那样的振
幅较小的波形,若焦距接近对焦点,则振幅渐渐地变大成为波形32。并且在
对焦点成为波形31,振幅最大。若远离对焦点位置,则再次从波形32变化为
波形31。此外,掩模图案11的配置也可以不是图示的方格图案状,而是千鸟
格子等,不作特别限定。并且,遮光部28和透过部29的尺寸也不作特别限定,
对于光学系统的分辨率、检测器16的像素尺寸选择效率好的尺寸即可。
计算机501具备控制部2和运算部3。首先,说明控制部2。如图2所示,
控制部2具备光量调整模块17、照相机控制模块18、以及Z工作台控制模块
19。光量调整模块17用于控制检测光学系统1的照明光源9的光量。照相机
控制模块18用于控制检测光学系统1的照相机16的摄像时间、灵敏度等。Z
工作台控制模块19用于控制检测光学系统1的Z工作台8的上下移动范围、
移动步(Step)数,步进距离等。
接下来,说明运算部3。如图2所示,运算部3具备图像存储模块20、高
度运算模块21、噪声滤波器设定模块22、像面修正模块23、以及重量计算模
块24,并进行图像处理和利用所处理的图像信息的运算处理。图像存储部20
用于保存被照相机控制模块18控制的图像。被保存的图像能够被自由地调出。
高度运算模块21利用保存于图像存储部20的多张图像,进行用于根据这些图
像得到被测量部件6的高度信息的运算。
噪声滤波器设定模块22用于在高度运算模块21中设定用于去除噪声的滤
波器,主要进行平面的平滑化。像面修正模块23用于修正通过检测光学系统
1中的物镜14以及目镜15得到的图像的像差,特别是因像面弯曲所产生的检
测图像的畸变。重量计算模块24用于根据由高度运算模块21得到的被测量部
件6的外形形状和预先存储的被测量部件6的密度数据计算出大致的重量。控
制部2和运算部3能够互相进行数据的输入输出。
输入输出单元502具备输入显示部4和输出模块5。输入显示部4显示用
于设定计测条件的计测条件设定画面300(参照图8)和显示计测结果的计测
结果显示画面350(参照图9)。计测条件设定画面300用于在由照相机16拍
摄而得到的图像中输入高度计测所需的范围、检测光量以及Z工作台移动范
围等计测条件。计测结果显示画面350用于显示由高度运算模块21计算出的
被测量部件6的高度、大致重量、以及其他由计测设定模块设定的项目的结果。
输出模块5用于将由输入显示部4显示的计测结果输出到未图示的打印
机、外部存储装置等。
在以上的构成中,在被测量部件6搭载于试料台7的状态下,一边使Z
工作台8的高度渐渐变化,一边用照相机16拍摄投影到被测量部件6的掩模
图案11的像。控制部2的光量调整模块17和照相机控制模块18预先将从照
明光源9射出的照明光的光量以及照相机16的检测灵敏度调整为适当的状态。
在图4的左侧示出移动开始时的Z工作台8的位置,是物镜14的焦点位
置设定在被测量部件6的底面位置的状态。将该位置设为Z1,通过控制部2
的Z工作台制御模块19来控制Z工作台8,使Z工作台8以移动量ΔZ等间
距地进行步进移动。本实施例中,在Z1、Z2、Z2、Z3、Z4、Z5的位置,通
过检测器16获取图像,保存到运算部3的图像存储部20。
在图4的右侧示出移动结束时的Z工作台8的位置,是物镜14的焦点位
置设定在被测定部件6的顶点的状态。将该位置设为Z5。Z工作台8的移动
量设定为包含被测定部件6的高度。由高度运算模块21对保存于图像存储器
20的图像进行运算处理,求出被测量部件6的高度信息。
接下来,使用图5所示的流程图,说明用于在运算模块21中求出被测量
部件6的高度信息的运算处理的详细内容。首先,如上所述,一边使Z工作
台8沿Z方向进行等间距移动,一边获取N张图像Iz(x,y),Z=1…N(S1000)。
使用Z1位置的图像,为了提取图像的边缘进行最优化拉普拉斯处理
(S1001)。该实施例中基于以下的式(式1)计算。
式1
Dz ( x , y ) = L ( x , y ) ⊗ Iz ( x , y ) ]]>
L(x,y)表示拉普拉斯系数。
接下来,为了进行图像的平滑化,基于式(式2)利用n×n的像素进行
(S1002)。
式2
Sz(x,y)表示n×n的RMS(Root Mean Square)平滑化后的图像,判
定是否对全部图像进行了处理(S1003),在全部图像的处理结束的时刻完成预
处理。
接下来,在全部图像范围内,对每个对应于各图像所对应的位置的像素数
据,基于式(式3)进行Z方向的平滑化(S1004)。
式3
Az ( x , y ) = GZ ⊗ Sz ( x , y ) ]]>
GZ表示高斯函数,Az(x,y)表示图像的清晰度。
接下来,利用具有最大对比度的Z位置和其前后的1点,基于式(式4)
进行2次函数插补(S1005)。
式4
(Az-1(x,y),Az(x,y),Az+1(x,y))
图6示出二次函数插补的说明图。横轴是Z位置,纵轴是对比度值。作
为对比度最高的Z位置的Zmax的对比度设为Az(x,y),设为点100。其前
后的Z位置(Zmax-1和Zmax+1)的对比度分别设为Az-1(x,y)和Az
+1(x,y),设为点101、点102。根据该点100、101、102求出进行二次函
数插补后的结果曲线103。该曲线103的最大点的对比度设为Fp,此时的Z
位置设为Zp,将该Zp设定为对焦点。在本实施例中以二次函数插补进行了说
明,但也可以采用三次以上的高次函数插补。只是,即使采用二次函数插补,
在插补精度上也没有问题,所以本实施例中采用了二次函数插补。
对整个视场的像素进行该处理(S1006),输出高度图像(S1007)。另外,
该处理可以采用日本专利特开平3-6350号公报所记载的方式来进行。
运算部3的噪声滤波器设定模块22为了对以上述方式计算出的高度图像
的平坦部进行平滑化,例如可以使用双边滤波器(bilateral filter)。双边滤波器
具有在保存边缘部的状态下模糊图像的特性。因此,在平坦部对噪声平滑化,
边缘部不会变钝而能够正确地表示出部件的外形形状。
接下来,对运算部3的像面修正模块23进行说明。检测光学系统1用于
通过物镜14和目镜15,利用检测器16拍摄被测量部件6的像。一般来说,
这样的光学系统中存在透镜的像差。计测高度时,透镜的像面弯曲的影响最大。
例如计测平面的高度时,有时检测结果不是平面,而是得到凹面状歪曲的结果。
这就是像面弯曲。如果忽略该像面弯曲,则成为在部件的高度上加上了像面弯
曲的结果,无法进行正确的高度计测,因此,通过像面修正模块23来修正检
测光学系统1的像面。
图7A是通过本实施例检测出的平面的高度计测结果的一个例子。是对整
个检测视场为平面的部件200的高度进行计测的结果。图像是高度方向的深浅
图像,浅颜色表示高,深颜色表示低。
图7B是在图7A中使用的平面部件上搭载小型部件201时的高度计测结
果的一个例子。图7C表示将横轴设为宽度,纵轴设为高度的图表。波形202
是图7A的剖面A-A,虽然对象部件200是平面,但是呈中央部突起的弯曲
形状。波形203是图7B的剖面B-B,虽然计测了小型部件201的形状,但
呈整个视场的中央部突起的形状。
若比较波形202和波形203,可知除小型部件201的形状以外的周边几乎
一致。即,该弯曲的形状是光学系统的像面弯曲,与检测的部件无关地产生。
因此,预先调查好由检测光学系统1拍摄得到的图像的像面弯曲的状态,通过
从对象部件的计测结果中去除该预先调查的像面弯曲的影响,从而能够去除像
面弯曲的影响。
该像面修正模块23中,像这样,进行求出根据对对象部件进行拍摄而得
到的图像所求出的计测结果和预先测量的像面弯曲的数据的差的处理。波形
204是在像面修正模块23求出的波形203与波形202的差的结果。像这样在
像面补正模块23中进行像面弯曲的修正,从而去除视场周边的弯曲,能够正
确地求出小型部件201的高度形状。
接下来,对输入输出单元502的输入显示部4中的计测条件设定画面300
进行说明。图8是本实施例的输入显示部4的计测条件设定画面300的一个例
子。计测条件设定画面300具备条件设定区域301、显示检测器16的检测图
像的图像显示区域302、测量开始指示区域306。
在条件设定区域301中,能够设定部件的材质、计测次数、高度计测范围、
检测条件等的备注。图像显示区域302能够显示部件303。另外,配合部件图
像,可设定范围设定光标304、305,可在图像显示画面302内自由地改变大
小、位置、个数。通过运算部3能够进行在该设定范围求出高度的平均值、改
变滤波器处理的条件、求出范围A和范围B的差,求出该范围内的大致重量、
以及其他处理。测量开始指示区域306在完成计测设定后开始测量时使用,若
用光标310点击测量开始指示区域306,则根据后述图10所述的流程,执行
测量。
接下来,对输入输出单元502的显示部4中的计测结果显示画面350进行
说明。图9是本实施例的计测结果显示画面350的一个例子。计测结果显示画
面350具备设定条件显示区域351、照相机图像显示区域352、高度图像显示
区域353、3D图像显示区域354、计测结果显示区域355、高度波形(横剖面)
显示区域356以及高度波形(纵剖面)显示区域357。
设定条件显示区域351用于显示从图8中说明的条件设定区域301输入的
内容。照相机图像显示区域352显示在图8中说明的计测条件设定画面300
进行了条件设定时显示于图像显示区域302的图像、即部件303、范围设定光
标303、304等。在高度图像显示区域353中以深浅图像显示高度方向的变化。
在3D图像显示区域354中从斜方显示高度图像。在计测结果显示区域355
中显示以在设定条件显示区域351中设定的条件进行计测的结果。例如,计测
日、部件的密度、大致重量、表面积、指定部分的高度等。高度波形(横剖面)
显示区域356、高度波形(纵剖面)显示区域357显示用光标358在高度图像
显示区域353中所设定的部分的波形。
接下来,利用图10,对本实施例的高度计测装置的动作流程进行说明。
首先,将被测量部件6搭载到试料台7(S2001)。接下来,使Z工作台8
沿z方向移动,使其停止于照相机图像清晰的位置(S2002),由检测光学系统
1拍摄被测量部件6并获取图像(S2003)。
接下来,在输入显示模块4显示计测条件设定画面300,在条件设定区域
301输入计测条件后,使光标308移动到画面上的测量开始指示区域306后点
击,从而开始测量(S2004)。
首先,Z工作台8沿Z方向移动到部件的底面即试料台7的表面到达检测
光学系统1的焦点位置为止(S2005)。接下来,由检测光学系统1拍摄被测量
部件6并获取图像,保存到图像存储模块20(S2006)。接下来,使Z工作台
8沿Z方向等间距地步进移动,按照各步进移动反复获取被测量部件6的图像
并保存到图像存储模块20(S2006)。在使Z工作台8沿z方向等间距地步进
移动,被测量部件6的顶点到达检测光学系统1的焦点位置的时刻,停止Z
工作台8(S2007)。
接下来,在高度运算模块21中根据图像存储模块20的图像,基于图5
中说明的处理流程实施高度运算(S2008)。进行由其他计测条件设定的项目的
运算、即,利用由噪声滤波器设定模块22设定的噪声滤波器对由高度运算模
块21求出的高度图像进行噪声去除处理,由像面修正模块23对进行该噪声去
除处理后的高度图像实施像面修正处理,由重量计算模块24根据进行像面修
正处理后的高度图像进行计算出被测量部件6的重量的处理(S2009)。
接下来,这些处理结束之后,在输入显示模块4显示计测结果显示画面
350(S2010)。进行显示项目的确认,如果需要,则从输出单元5向未图示的
外部终端输出数据(S2011)。
在上述的实施例中,向计测对象部件投影掩模图案的像,用检测器检测该
图案像,基于图案的对比度的变化,进行高度计测。例如,被测量部件的高度
计测面为梨状表面、或有图案,则能够检测出对比度。可知这样的部件不用投
影掩模图案,利用来自计测对象部件的反射光就能够计测。
以上,基于实施例具体说明了本发明者完成的发明,但本发明不限于上述
实施例,包含各种变形例。例如,在不脱离其宗旨的范围内能够将实施例的构
成的一部分替换为其他的实施例的构成,而且,也能够在某实施例的构成上加
上其他实施例的构成。而且,对于各实施例的构成的一部分,能够追加、删除、
替换其他的公知的构成。