景物深度信息的取得方法与装置.pdf

本发明涉及一种景物深度信息的取得方法与装置，通过此光学装置使不同视场条件的点扩散函数相似性提高，沿着该光学装置光轴上的点扩散函数仍具差异性，使其可通过光轴上点扩散函数在不同物距的变化情形得到景物的深度信息。

1.  一种景物深度信息取得装置，包含：
一光学组件；以及
一编码组件，其中，该编码组件置于行经该光学组件的景物光的路径上，用以调变该光学组件的点扩散函数。

2.  根据权利要求1所述的装置，其中该光学组件可为单一透镜、一透镜组或一反射成像镜组。

3.  根据权利要求1所述的装置，其中该编码组件为波前相位编码组件。

4.  根据权利要求1所述的装置，其中该编码组件为波前振幅编码组件。

5.  根据权利要求1所述的装置，其中该编码组件为波前相位及振幅混合编码组件。

6.  根据权利要求1所述的装置，其中该编码组件为轴对称编码组件。

7.  根据权利要求1所述的装置，其中该编码组件的编码可用相互正交的坐标系统表示。

8.  根据权利要求7所述的装置，其中该编码组件的编码可由方程式W(x，y)＝∑A_nxx²ⁿ+A_nyy²ⁿ+A_lmxyx^ly^m表示，其中x及y分别为该编码组件x轴方向及y轴方向的座标位置、n为正整数、A_nx及A_ny分别为第n项在x轴方向及y轴方向上的系数大小、A_lmxy为xy耦合项的系数大小。

9.  根据权利要求1所述的装置，其中该编码组件可置于该装置的光圈附近、出瞳面、出瞳面附近、入瞳面或入瞳面附近。

10.  根据权利要求1所述的装置，其中该编码组件可为一折射组件或一衍射组件或同时具有上述两者光学性质的组件。

11.  根据权利要求1所述的装置，其中该编码组件与该光学组件合而为一。

12.  一种景物深度信息取得的方法，包含：
通过一光学装置取得一影像；
取得该光学装置至少一点扩散函数信息；以及
扫瞄该取得影像的区域，并根据该点扩散函数信息执行还原比对程序。

13.  根据权利要求12所述的方法，其另包含根据该还原比对程序的结果取得一深度信息。

14.  根据权利要求12所述的方法，其中该点扩散函数信息可通过量测该光学装置或根据该光学装置的设计参数取得。

15.  根据权利要求12所述的方法，其中该还原比对程序可运用维纳滤波器或直接逆转运算。

16.  根据权利要求12所述的方法，其中该还原比对程序可包含均方根差运算。

17.  根据权利要求16所述的方法，其中该还原比对程序另包含将该均方差运算结果与一使用者设定的阈值做比较。

18.  根据权利要求12所述的方法，其中该光学装置具备一波前相位编码组件，其中该波前相位编码可由W(x，y)＝∑A_nxx²ⁿ+A_nyy²ⁿ+A_lmxyx^ly^m表示，其中x及y分别为该编码组件x轴方向及y轴方向的座标位置、n为正整数、A_nx及A_ny分别为第n项在x轴方向及y轴方向上的系数大小、A_lmxy为xy耦合项的系数大小。

景物深度信息的取得方法与装置
技术领域
本发明涉及一种景物深度信息的取得，尤指一种景物深度信息的取得方法与装置。
背景技术
如何撷取实际景物中不同物体的距离或深度信息，在立体显示领域、测距系统或深度形廓显示系统中一直是一个重要的课题。传统的撷取方法与装置可分为“主动式”与“被动式”两种。在“被动式”系统中利用“视差”的概念，其方法主要使用双镜头、多镜头以及类似概念的多孔式光圈取像系统。然而，此类系统需要多个成像镜头、多个影像感测器才能获得立体影像信息。而“主动式”是通过使用一额外主动发射的信号源(通常为一光源)，根据此信号源照射被拍摄物体后飞行时间(time of flight)的差异来求出不同物体的距离或是将特定形式的分布条纹投射至被拍摄物体，并利用此条纹在物体表面的变形程度来评估被拍摄物体间彼此的相对距离。
此外，美国专利第5,521,695号揭示通过特殊设计的光学组件使一个物点在经该光学组件后，于其成像面上会形成四个像点，并通过四个像点的相对位置变化求出被拍摄物体的相对距离。
另一方面，在取像系统中，镜头的点扩散函数(Point Spread Function：PSF)会随着物距的不同而产生变化。因此，可依据此点扩散函数的特性来获得物距信息。然而，镜头的点扩散函数除了随物距不同而产生变化之外，在相同物距但不同视场的情况下，镜头的点扩散函数也将随之改变。因此，欲获得被拍摄物体间的距离差异及其深度信息，后端影像处理时需同时考虑点扩散函数随物距以及视场所造成的影响。
发明内容
本发明提供一种景物深度信息的取得方法及其光学取得装置，其通过具有编码组件的装置，使不同视场条件的点扩散函数相似性提高，而沿着该光学装置光轴上的点扩散函数仍具差异性，进而通过轴上点扩散函数在不同物距的变化情形得到景物的深度信息。
本发明提出一种景物深度信息的光学取得装置，其包含一光学组件及一编码组件。其中，该编码组件置于行经该光学组件的景物光的路径上，用以调变该光学取得装置的点扩散函数。
本发明提出一种景物深度信息的取得方法，其包含：通过一光学取得装置取得一影像；取得该光学取得装置至少一点扩散函数信息；以及扫瞄该影像不同区域并根据该点扩散函数信息执行还原比对程序。
附图说明
图1显示本发明一实施例的景物深度信息取得装置的方块图；
图2A绘示使用光学组件来成像物距为1000mm的景物时，不同视场的点扩散函数的斑点图；
图2B绘示使用深度信息取得装置来成像物距为1000mm的景物时，不同视场的点扩散函数的斑点图；
图3A绘示使用光学组件来成像物距为790mm的景物时，不同视场的点扩散函数的斑点图；
图3B绘示使用深度信息取得装置来成像物距为790mm的景物时，不同视场的点扩散函数的斑点图；
图4A绘示使用光学组件来成像物距为513mm的景物时，不同视场的点扩散函数的斑点图；
图4B绘示使用深度信息取得装置来成像物距为513mm的景物时，不同视场的点扩散函数的斑点图；
图5绘示使用深度信息取得装置(未使用xy耦合项)来成像不同物距景物时，不同像高位置的点扩散函数的斑点图；
图6绘示使用深度信息取得装置(使用xy耦合项)来成像不同物距景物时，不同像高位置的点扩散函数的斑点图；
图7显示相同物距但在不同视场的点扩散函数相似性比较图；
图8显示不同物距下沿深度信息取得装置光轴上点扩散函数相似性比较图；
图9显示本发明实施例的深度信息取得方法的步骤流程图；
图10显示一扫描示意图；
图11A显示物距为1000mm的还原影像；
图11B显示物距为980mm的还原影像；
图11C显示物距为900mm的还原影像；
图11D显示物距为790mm的还原影像；及
图11E显示物距为513mm的还原影像。
主要组件符号说明
100       景物深度信息取得的装置
101       光学组件
102       编码组件
S901-S905 步骤
具体实施方式
图1是根据本发明的一实施例的深度信息取得装置的方块图。入射的景物光线通过深度信息取得装置100后，由感测器所接收。该深度信息取得装置100包含一光学组件101及一编码组件102。此用以成像的光学组件101可为单一透镜、一透镜组或一反射成像镜组等。编码组件102可为一波前相位编码组件、一波前振幅编码组件或一波前相位及振幅混合编码组件，其中，该编码组件102为波前相位编码组件时，其编码方式可为具轴对称的编码方式。该编码组件102的波前编码可用相互正交的座标系统表示。在本实施例中，编码组件102的波前编码以下列方程式表示：
W(x,y)=Σn,l,mAnxx2n+Anyy2n+Almxyxlym,]]>
其中x及y分别为该编码组件x轴方向及y轴方向的座标位置、n为正整数、A_nx及A_ny分别为第n项在x轴方向及y轴方向上的系数大小、A_lmxy为xy耦合项的系数大小。
该编码组件102可放置于深度信息取得装置100的光圈处、光圈处附近、出瞳面、出瞳面附近、入瞳面或入瞳面附近。该编码组件102亦可与光学组件101结合在一起，例如该编码组件102可制作在光学组件101中镜片表面上。结合后的波前编码可以下列方程式表示：
W′(x，y)＝W(x，y)+W₀(x，y)
其中W′(x，y)为深度信息取得装置100加入编码组件102后的波前、W₀(x，y)为深度信息取得装置100未加入编码组件102的波前。本领域技术人员了解上述的W′(x，y)、W(x，y)及W₀(x，y)亦可以壬尼克(zernike)多项式表示。以上所述编码组件102的放置方式是使通过深度信息取得装置100的被撷取景物光的波前在加入此编码组件后所产生的光学波前主要由W(x，y)构成。此外，该编码组件102可为一折射组件或一衍射组件或同时具有上述两者光学性质的组件。
根据本发明的一实施例，光学组件101的有效焦距为10.82mm、F#为5、全视角大小为10.54度。感测器103对角线长度为2mm。相位编码组件102使用上述的波前方程式进行编码，其中n＝2、A_2x＝A_2y＝22.8PI、A_lmxy＝0。
图2A绘示使用光学组件101来成像物距为1000mm的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场的点扩散函数的斑点图(Spot diagram)。图2B绘示使用光学组件101结合相位编码组件102的景物深度信息取得装置100来成像物距为1000mm的景物时，不同视场的点扩散函数的斑点图。
图3A绘示使用光学组件101来成像物距为790mm的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场的点扩散函数的斑点图。图3B绘示使用光学组件101结合相位编码组件102的深度信息取得装置100来成像物距为790mm的景物时，不同视场的点扩散函数的斑点图。
图4A绘示使用光学组件101来成像物距为513mm的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场的点扩散函数的斑点图。图4B绘示使用光学组件101结合相位编码组件102的深度信息取得装置100来成像物距为513mm的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场的点扩散函数的斑点图。
根据本发明的另一实施例，光学组件101的有效焦距为10.82mm、F#为5、全视角大小为10.54度。感测器103对角线长度为2mm。相位编码组件102使用上述的波前方程式进行编码，其中n＝3、A_3x＝A_3y＝12.7PI、A_lmxy＝0。根据本发明的另一实施例，图5绘示使用光学组件101结合相位编码组件102的深度信息取得装置100来成像不同物距(513mm、790mm及1000mm)的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场(即像高位置为0mm、0.7mm及1mm)的点扩散函数的斑点图。
根据本发明的再一实施例，光学组件101的有效焦距为10.82mm、F#为5、全视角大小为10.54度。感测器103对角线长度为2mm。相位编码组件102使用上述的波前方程式进行编码，其中n＝2、A_2x＝A_2y＝19.1PI、A_22xy＝9.55PI。根据本发明的再一实施例，图6绘示使用光学组件101结合相位编码组件102的深度信息取得装置100来成像不同物距(513mm、790mm及1000mm)的景物时，表示为红、绿及蓝光波段的波长656.3nm、波长587.6nm及波长486.1nm的景物光在不同视场(即像高位置为0mm、0.7mm及1mm))的点扩散函数的斑点图。
相比于仅使用光学组件101的点扩散函数，由图2A至图6可以看出本发明实施例的深度信息取得装置100在相同物距但不同视场的情况下，其点扩散函数的外观形状的变异程度相当小。为了近一步确认点扩散函数相似性的改善程度，使用希尔伯特空间角度(Hilbert space angle)进行点扩散函数的相似性计算。图7显示相同物距但在不同视场的点扩散函数相似性比较图(比较基准物距为790mm)。图8显示不同物距下沿着光轴上点扩散函数相似性比较图。从图7中可以看出，本发明实施例的深度信息取得装置100的点扩散函数在不同视场下的相似性提高(在希尔伯特空间角度中，所计算的数值越小代表相似性越高)。另一方面，从图8中可以看出深度信息取得装置100的光轴上点扩散函数在不同物距时仍具备差异性。
此外，可依光学组件101或深度信息取得装置100实际工作时的景物光波长波段，由前述的波前编码方程式设计与光学组件101结合的相位编码组件102，并不限于波长656.3nm、波长587.6nm及波长486.1nm的景物光波段。
为了使本领域通常知识者可以通过本实施例的教导实施本发明，以下搭配上述景物深度信息取得的装置，另提出一方法实施例。
图9根据本发明一实施例的深度信息取得方法的步骤流程图。在步骤S901中使用取得装置100取得不同物距的点扩散函数信息。此些点扩散函数信息可通过量测该装置100或根据装置100在不同物距下的设计参数取得。在步骤S902中储存此些点扩散函数信息。另一方面在步骤S903中取得装置100取得一包含深度信息的影像。接下来，在步骤S904中使用已储存的点扩散函数信息分别针对该影像中不同区域影像执行扫瞄及还原比对程序。图10显示一扫描示意图。藉由一滤波核心(filter kernel)104在X方向及Y方向上移动，以对该影像中不同区域及不同物距之景物101、102及103执行扫瞄及还原比对程序。在此还原比对程序可运用维纳滤波器(Wiener filter)或直接逆转(direct inverse)运算来还原影像。该区域影像还原之后，分别求取该些还原影像的均方根差(mean square error，MSE)并与使用者预先设定的阈值做比较。在步骤S905中即可根据比较结果判断该影像的物距，进而取得其深度信息。此外，在步骤S904中也可采用界线边缘是否分明的方法评价该还原影像品质，进而在步骤S905中判断该影像的物距并取得其深度信息。
根据本发明一实施例，所拍摄景物范围介于513mm与1000mm之间，同时在513，790，900，980以及1000mm处均有一个Lena景物，这些景物除了所在物距不同之外同时也放置于不同视角。图11A显示物距为1000mm的还原影像。图11B显示物距为980mm的还原影像。图11C显示物距为900mm的还原影像。图11D显示物距为790mm的还原影像。图11E显示物距为513mm的还原影像。因为使用物距为1000mm时的点扩散函数信息执行扫瞄及还原比对程序，故相比于其它物距的影像，物距为1000mm的还原效果最佳，其均方根差(MSE)为2.4×10^-7。因此在步骤S905中即可得知此影像的深度的信息为1000mm。
现有技术的系统，其后端影像处理时需同时考虑点扩散函数随物距以及视场所造成的影响。本发明实施例通过具有编码组件102的取得装置100，使其不同视场条件的点扩散函数相似性提高，并保持轴上点扩散函数的差异性，进而通过轴上点扩散函数在不同物距的变化情形得到景物的深度信息。本发明的技术内容及技术特点已揭示如上，然而本领域技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰。因此，本发明的保护范围应不限于实施例所揭示者，而应包括各种不背离本发明的替换及修饰，并为申请专利范围所涵盖。