《用于三维计量系统的强度和彩色显示.pdf》由会员分享，可在线阅读，更多相关《用于三维计量系统的强度和彩色显示.pdf（16页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN102334006A43申请公布日20120125CN102334006ACN102334006A21申请号201080009286X22申请日2010021961/15526020090225US61/15520020090225US61/17980020090520USG01B11/2420060171申请人立体光子国际有限公司地址美国马萨诸塞州72发明人RF狄龙TI菲利昂ON克罗格NHK朱德尔74专利代理机构中国专利代理香港有限公司72001代理人马永利蒋骏54发明名称用于三维计量系统的强度和彩色显示57摘要描述了一种用于生成三维（“3D”）计量表面的显示的方法和设备。。
2、所述方法包括在点云坐标空间内确定对象表面的3D点云表示。在摄影机坐标空间内采集对象的图像，并且随后将其从摄影机坐标空间变换到点云坐标空间。将经过变换的图像被映射到所述3D点云表示上，以便生成所述对象表面的写实显示。在一个实施例中，被用来采集用于确定3D点云的图像的计量摄影机也被用来采集对象的图像，从而不用执行坐标空间之间的变换。所述显示包括对于所述表示中的像素或表面单元的灰度或彩色描影。30优先权数据85PCT申请进入国家阶段日2011082486PCT申请的申请数据PCT/US2010/0247022010021987PCT申请的公布数据WO2010/099036EN2010090251IN。
3、TCL19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书5页附图8页CN102334022A1/2页21一种用于生成三维（3D）计量表面的显示的方法，所述方法包括在点云坐标空间内确定对象表面的3D点云表示；在摄影机坐标空间内采集对象的图像；以及将所述图像映射到所述3D点云表示上，以便生成所述对象表面的显示。2权利要求1的方法，还包括在把图像映射到3D点云表示上之前，将所述图像从摄影机坐标空间变换到点云坐标空间。3权利要求1的方法，其中，点云坐标空间和摄影机坐标空间是相同的坐标空间。4权利要求1的方法，其中，所述对象的图像是彩色图像。5权利要求1的方法，其中，所述对象的图像是灰。
4、度图像。6权利要求1的方法，其中，所述3D点云表示是响应于3D计量测量系统与对象之间的相对运动的动态表示。7权利要求1的方法，其中，所述3D点云表示是所述对象表面的丝网表示。8权利要求1的方法，其中，所述3D点云表示是所述对象表面的人工表面表示。9权利要求4的方法，其中，采集彩色图像包括采集对象的多个单色图像，其中每一个单色图像是对于独特波长分布下的对象照明采集的；以及从所述多个单色图像确定彩色图像。10权利要求4的方法，其中，采集彩色图像包括采集对象的双色图像集合，每一个双色图像具有对于由照明源和计量源对所述对象的同时照明的图像数据，对于每一个双色图像的照明源的波长分布不同于对于每一个其他双。
5、色图像的照明源的波长分布，每一个双色图像中的图像数据被用来确定所述对象对于各波长分布中的相应一个波长分布的反射率图像，所述双色图像集合中的图像数据被用来确定所述对象表面的3D点云表示；以及从所述对象的各反射率图像确定彩色图像。11一种用于生成三维（3D）计量表面的显示的设备，其包括用于在点云坐标空间内确定对象表面的3D点云表示的计量系统；被配置成在摄影机坐标空间内采集所述对象表面的图像的成像系统；以及与计量系统和成像系统进行通信的处理器，所述处理器被配置成将所述对象表面的图像映射到所述3D点云表示上，从而生成所述对象表面的显示。12权利要求11的设备，其中，所述处理器被配置成在把图像映射到3D。
6、点云表示上之前，将所述图像从摄影机坐标空间变换到点云坐标空间。13权利要求12的设备，其中，所述处理器包括第一处理器，其被配置成把图像从摄影机坐标空间变换到点云坐标空间；以及第二处理器，其被配置成把所述对象表面的图像映射到3D点云表示上。14权利要求11的设备，其中，所述成像系统是彩色成像系统。15权利要求11的设备，其中，所述成像系统是单色成像系统。16权利要求11的设备，其中，所述计量系统是口内3D成像系统。17权利要求11的设备，其中，所述3D点云表示是响应于计量系统与对象之间的相对运动的动态表示。权利要求书CN102334006ACN102334022A2/2页318权利要求11的设备。
7、，其中，所述成像系统包括单色成像摄影机；多个照明源，每一个均具有独特波长分布；以及与处理器、单色成像摄影机和各照明源进行通信的控制模块，所述控制模块被配置成选择性地激活每一个照明源，并且使得单色成像摄影机能够在由每一个照明源照明对象的期间采集所述对象的多个单色图像，其中，所述处理器基于各单色图像确定所述对象表面的彩色图像，并且把所述彩色图像映射到3D点云表示上，从而生成所述对象表面的彩色显示。19权利要求18的设备，其中，所述成像系统被集成到计量系统中，并且其中所述单色成像摄影机是计量摄影机。20权利要求11的设备，其中，所述成像系统包括单色成像摄影机；多个照明源，每一个均具有独特波长分布；以。
8、及与处理器、单色成像摄影机和各照明源进行通信的控制模块，所述控制模块被配置成选择性地同时激活计量投影源和各照明源中的每一个照明源，并且使得单色成像摄影机能够采集所述对象的多个双色图像，其中每一个双色图像是在由所述计量投影源和照明源的其中之一照明对象的期间采集的，其中，所述处理器基于各双色图像确定所述对象表面的彩色图像，并且把所述彩色图像映射到3D点云表示上，从而生成所述对象表面的彩色显示。21权利要求20的设备，其中，所述成像系统被集成到计量系统中，并且其中所述单色成像摄影机是计量摄影机。权利要求书CN102334006ACN102334022A1/5页4用于三维计量系统的强度和彩色显示000。
9、1相关申请本申请要求保护以下专利申请的较早提交日期的权益并且将它们全文合并在此以作参考2009年2月25日提交的美国临时专利申请序列号NO61/155,200，其标题为“LOFTINGATWODIMENSIONALIMAGEONTOATHREEDIMENSIONALMETROLOGYSURFACE（将二维图像提升到三维计量表面上）”；2009年2月25日提交的美国临时专利申请序列号NO61/155,260，其标题为“INTEGRATINGTRUECOLORIMAGINGINTOATHREEDIMENSIONALMETROLOGYSYSTEM（将真彩色成像集成到三维计量系统中）”；以及2009年。
10、5月20日提交的美国临时专利申请序列号NO61/179,800，其标题为“SHAPEANDSHADETRUECOLORDISPLAYINADYNAMICTHREEDIMENSIONALMETROLOGYSYSTEM（动态三维计量系统中的形状和阴影真彩色显示）”。技术领域0002本发明总体上涉及无接触三维计量的领域，并且更具体地涉及生成对于三维表面测量数据的灰度和彩色显示。背景技术0003已经针对各种应用（比如牙齿和医疗3D成像应用）开发了基于共焦成像、结构化光投影以及条纹干涉的精确无接触三维（“3D”）计量技术。一般来说，这些技术基于采集二维图像集合，并且对所述图像进行处理以便生成表示被测量的。
11、对象的表面上的各点的点云。用户通常难以解释显示在监视器上的3D点云，尤其在所显示的表面的至少一部分处于所显示的表面的另一部分后方的情况下。有经验的用户常常依赖于所引发的显示运动来更好地区别或解释不同的表面层。0004可以对3D点云中的每一点应用人工描影或着色来改进解释。可替换地，可以通过在每一个3D点与其在3D点云中的三个靠近点之间产生三角曲面而生成人工表面。可以对所述三角曲面人工描影或着色以帮助解释。虽然这些技术可以改进正确地解释所显示的3D数据的能力，但是结果得到的图像通常看起来明显不同于对象表面的直接观察。发明内容0005在一个方面，本发明的特征在于一种用于生成3D计量表面的显示的方法。。
12、所述方法包括在点云坐标空间内确定对象表面的3D点云表示。在摄影机坐标空间内采集对象的图像。将所述图像映射到所述3D点云表示上，以便生成所述对象表面的显示。在一个实施例中，在把图像映射到3D点云表示上之前，将所述图像从摄影机坐标空间变换到点云坐标空间。0006在另一方面，本发明的特征在于一种用于生成3D计量表面的显示的设备。所述设备包括计量系统、成像系统以及处理器。所述计量系统在点云坐标空间内确定对象表面的3D点云表示。所述成像系统被配置成在摄影机坐标空间内采集所述对象表面的图像。所述说明书CN102334006ACN102334022A2/5页5处理器与计量系统和成像系统进行通信。所述处理器被。
13、配置成将所述对象表面的图像映射到所述3D点云表示上，从而生成所述对象表面的显示。附图说明0007通过结合附图参考下述描述可以更好地理解本发明的上述和其它优点，在附图中相似的数字指示各个图中相似的结构元件和特征。所述图不一定按比例，反而将重点放在说明本发明的原理上。0008图1是根据本发明的用于生成3D计量表面的显示的设备的一个实施例的框图。0009图2是根据本发明的用于生成3D计量表面的显示的方法的一个实施例的流程图表示。0010图3图示了本领域内已知的无接触3D计量系统的一个示例配置。0011图4图示了根据本发明的一个实施例的图1的成像系统。0012图5图示了根据本发明的另一个实施例的图1的。
14、成像系统。0013图6是根据本发明的用于生成3D计量表面的显示的方法的另一个实施例的流程图表示。0014图7是根据本发明的用于生成3D计量表面的显示的设备的另一个实施例的框图。0015图8是根据本发明的用于生成3D计量表面的显示的方法的另一个实施例的流程图表示。0016图9是根据本发明的用于生成3D计量表面的显示的方法的另一个实施例的流程图表示。具体实施方式0017简短地概括来说，本发明涉及一种用于生成3D计量表面的显示的方法和设备。所述方法包括在点云坐标空间内确定对象表面的3D点云表示。在摄影机坐标空间内采集对象的图像，并且将其映射到所述3D点云表示上，以便生成所述对象表面的显示。如果必要的。
15、话，在所述图像被映射到3D点云表示上之前，将其从摄影机坐标空间变换到点云坐标空间。0018下面将参照如如附图中所示的其各示例性实施例更加详细地描述本教导。虽然结合各个实施例和示例描述了本教导，但是不意图将本教导限制于这样的实施例。相反，正如本领域技术人员将会认识到的那样，本教导包含各种替换、修改以及等效。可以获得这里的教导的本领域普通技术人员将认识到落在如这里所描述的本公开内容的范围内的附加实现方式、修改和实施例以及其他使用领域。0019图1示出了根据本发明的用于生成3D计量表面的显示的设备10的一个实施例。图2是用于生成3D计量表面的显示的方法100的一个实施例的流程图表示。设备10包括与处。
16、理器22进行通信的计量系统14和成像系统18。计量系统14确定（步骤110）被测量的对象26的表面的3D点云表示，并且成像系统18采集（步骤120）对象26的所述表面的二维（“2D”）图像。所述图像可以是具有灰度数据的单色图像。可替换地，所述图像可以是本领域内已知的彩色图像，比如RBG图像。图像数据被引用到摄影机坐标空间，所述摄影机坐标空间通常由成像单元（例如摄影机像素）阵列以及在所述阵列上生成对象的图像的光说明书CN102334006ACN102334022A3/5页6学组件来定义。0020处理器22接收来自计量系统14的3D点云数据以及来自成像系统18的图像数据。处理器22把来自摄影机坐标。
17、空间的表面图像变换（步骤130）到3D点云的坐标空间中，并且把经过变换的图像映射（步骤140）到3D点云表示上。所述3D点云和经过映射的图像在显示模块30上作为单个显示被呈现给用户，从而使得用户能够更加容易地解释对于对象表面的3D测量数据。在一个实施例中，处理器22包括第一处理器和第二处理器。第一处理器执行图像从摄影机坐标空间到3D点云坐标空间的变换（步骤130），并且第二处理器执行经过变换的图像到3D点云表示上的映射（步骤140）。0021可以按照多种格式当中的任一种在用户显示器中呈现3D点云。举例来说，所述3D点云可以被呈现为丝网表面。所述丝网表面通常是通过渲染把所述点云中的每一个3D点与。
18、相邻各3D点连接起来的线而产生的。一般来说，所述丝网表面中的相邻点意味着三个最近点的其中之一。在另一个实施例中，所述3D点云被呈现为本领域内已知的人工表面，其是通过渲染3D点云中的每一点与其三个相邻点之间的三角曲面而产生的。0022各种类型的3D计量系统可以被用来生成3D点云表示，其中包括基于共焦显微镜检查、结构化光图案（其在形状、尺寸、强度和/或颜色方面有变化）的投影以及干涉条纹投影的计量系统。图3示出了无接触计量系统14的一个示例，其包括计量投影源34、计量摄影机38以及计量处理器42，正如本领域内已知的那样。投影源34和摄影机38在位置上相对于彼此固定，以便准确地保持其各自光轴36和40。
19、之间的三角测量角度。投影源34被配置成利用不同的光学图案照明对象26，所述光学图案比如阴影掩模图案或干涉条纹图案。摄影机38是电荷耦合器件（CCD）摄影机或者本领域内已知的其他数字成像摄影机。典型地，由摄影机38采集三个或更多2D图像的集合，其中每一个2D图像对应于对象表面上的不同照明图案或者处于不同位置或相位的共同照明图案。计量处理器42接收来自摄影机38的图像并且对于每一个摄影机像素计算从摄影机38到对象26的距离。所计算的距离被用于生成3D点云数据，其包括处在对应于所述对象表面上的各点的坐标处的3D点。0023在一些实施例中，计量系统14生成动态3D点云表示。举例来说，计量系统14可以是。
20、口内3D成像系统的一部分，其中所述计量系统在测量过程期间关于被测量对象（例如牙齿结构）移动。对于这样的系统，处理多个2D图像集合以便生成一系列部分重叠的3D点云。每一个3D点云通常与一个摄影机坐标空间相关联，该摄影机坐标空间不同于其他3D点云的摄影机坐标空间。计量处理器42利用3D相关技术或本领域内已知的其他技术配准相邻3D点云的重叠区域。因此，每一个相继的3D点云被编织（STITCH）到对应于初始摄影机位置的坐标空间内。0024图4示出了图1中所示的成像系统18的一个实施例，其包括彩色摄影机46、宽带光源50以及与摄影机46、光源50和处理器22进行通信的控制模块54。宽带光源50生成白色光。
21、或者生成其光谱分布足以照明对象26而不会显著更改对象26关于该对象26的真彩色的外观的光。宽带光源50可以是白色发光二极管（LED）。控制模块54关于计量系统14的操作协调宽带光源50和彩色摄影机46的操作。在一些实施例中，希望在计量系统14中的投影源照明对象26时的间隔期间禁用光源50。在替换的实施例中，宽带光源50连续照明对象26而不管投影源的状态如何。优选地，控制模块54将彩色摄影机图像采集与由计量摄影机执行的图像采集同步。在一些实施例中，控制模块54在彩色摄影机46的图像说明书CN102334006ACN102334022A4/5页7采集期间激活宽带光源50，并且在彩色摄影机46未采集。
22、图像时禁用所述宽带光源。0025图5示出了图1的成像系统18的一个实施例，其包括控制模块54、单色摄影机58以及多个照明源62A、62B和62C（概括为62）。控制模块54与单色摄影机58、照明源62和处理器22进行通信。每一个照明源62生成光学照明，其具有关于其他照明源62的波长分布的不同的或独特的波长分布。所述波长分布可以是单个波长（例如由激光源生成的光），窄谱带（例如由LED生成的光），或者更一般地由颜色范围（例如红色、绿色或蓝色光）表征的较宽谱带。举例来说，可以选择性地激活各照明源62以便按照顺序方式用红色光、蓝色光和绿色光照明被测量的对象。在一个优选实施例中，照明源62是LED。在另。
23、一个实施例中，照明源62是每个都具有独特滤色器的宽带光源，以便在光谱上将所述照明限制到独特的波长分布。0026图6是用于生成3D计量表面的显示的方法200的一个实施例的流程图表示。参照图5和图6，计量系统在点云坐标空间内确定（步骤210）对象的3D点云表示。单色摄影机58采集（步骤220）由第一照明源62A照明的所述对象的第一灰度图像。随后，单色摄影机58采集（步骤230）由第二照明源62B照明的所述对象的第二灰度图像，并且采集（步骤240）由第三照明源62C照明的所述对象的第三灰度图像。对各照明源62和单色摄影机58进行校准使得处理器22（参见图1）能够根据对于所有照明源62获得的灰度图像的。
24、组合来计算彩色图像。从而处理器22计算（步骤250）对于所述对象的单个彩色图像，并且将所计算的彩色图像从摄影机坐标空间变换（步骤260）到3D点云的坐标空间。随后把经过变换的彩色图像映射（步骤270）到3D点云表示上。0027虽然示出了三个照明源，但是应当认识到，可以使用其他数目的照明源62，并且可以采集其他数目的灰度图像以便生成对象26的彩色图像。此外，灰度图像的采集定时可以不同于图6中所示出的那些。举例来说，被用来计算彩色图像的各灰度图像的采集可以与计量摄影机的图像采集交织在一起，其中计量摄影机的图像采集被用在测量中以便生成3D点云数据。0028在动态3D计量系统中，灰度图像的采集可以在计。
25、量系统与对象26之间的相对运动期间发生。有利的是，可以对灰度图像或彩色图像应用一种变换，以便使得能够把彩色图像的更加准确地映射到所编织的3D点云上。可以根据相邻的点云配准变换以及系统定时间隔的知识内插所述变换。0029图7示出了根据本发明的用于生成3D计量表面的显示的设备70的另一个实施例，其中仅仅由计量系统14中的单色摄影机74执行图像采集。对象的照明是利用照明模块78实现的，该照明模块78包括控制模块54以及多个前面关于图5所描述的照明源62。如前所述地关于图6的方法200进行灰度图像的采集。使用单个摄影机来获得所有图像，因此点云坐标空间和摄影机坐标空间是相同的坐标空间。因此，坐标空间之间。
26、的彩色图像的变换（步骤260）是不必要的。0030图8是可以利用图7的设备70执行的用于生成3D计量表面的显示的方法300的另一个实施例的流程图表示。根据该方法，采集（步骤310）基于只利用计量投影源34的“单一照明”的第一图像。举例来说，计量投影源34可以利用条纹图案或其他结构化光图案来照明所述对象。随后，在由计量投影源34和各照明源的第一个照明源62A“同时照明”被测量的对象的同时，采集（步骤320）所述对象的第一双色图像。因此通过用来确定说明书CN102334006ACN102334022A5/5页83D点云数据的光和用来确定光谱反射率的光同时照明所述对象。0031方法300继续在计量投。
27、影源34和第二照明源62B的同时照明期间采集（步骤330）所述对象的第二双色图像。随后，在计量投影源34和第三照明源62C的同时照明期间采集（步骤340）第三双色图像。利用由计量摄影机74采集的所述四个图像，确定（步骤350）对于所述对象的照明源62的三个波长分布的反射率强度图像，从而允许把所述条纹图案或结构化光照明与所述三个双色图像有效地分开，并且将其用来确定（步骤360）所述对象的3D点云表示。所述三个反射率图像被用来确定（步骤370）对于所述对象的彩色图像，并且随后将所述彩色图像映射（步骤380）到3D点云表示上。0032本领域技术人员将认识到，采集各个图像的顺序可以不同。此外，在不背离。
28、本发明的范围的情况下，所采集的单一照明和同时照明图像的数目可以不同。0033图9是用于生成3D计量表面的显示的方法400的另一个实施例的流程图表示，所述方法可以利用在其中把图1的成像系统18集成到计量系统14中的设备来执行。除了计量投影仪34（参见图3）之外不使用照明源。投影仪34利用条纹图案来照明对象，比如通过两个相干光辐射束的干涉而生成的干涉条纹图案。采集（步骤410）由所述条纹图案照明的所述对象的三个或更多图像的集合。每一个图像包括处于独特空间相位的所述条纹图案，并且各空间相位在360相位空间内均等地间隔开。根据对于各条纹图像的图像数据计算（步骤420）3D点云。把所述图像集合内的各图像。
29、相加（步骤430），以便生成所述对象的具有空间上不改变的强度分布的图像。举例来说，对于具有0、120和120的条纹相位的三个条纹图像的集合，所有三个图像都被相加，以便生成所述对象表面的灰度反射率图像。将所述反射率图像映射（步骤440）到3D点云表示上，以便生成所述表面的单个灰度显示图像。0034虽然已经参照具体实施例示出并描述了本发明，但是本领域技术人员应当理解的是，在不背离本发明的精神和范围的情况下，可以在其形式和细节方面做出许多改变。说明书CN102334006ACN102334022A1/8页9图1说明书附图CN102334006ACN102334022A2/8页10图2说明书附图CN102334006ACN102334022A3/8页11图3图4说明书附图CN102334006ACN102334022A4/8页12图5说明书附图CN102334006ACN102334022A5/8页13图6说明书附图CN102334006ACN102334022A6/8页14图7说明书附图CN102334006ACN102334022A7/8页15图8说明书附图CN102334006ACN102334022A8/8页16图9说明书附图CN102334006A。