摄像装置以及摄像方法技术领域
本发明涉及摄像装置以及摄像方法。
背景技术
安装在数字照相机、移动电话机的照相机等摄像装置一般通过在
CCD(Charge Coupled Device:电荷耦合元件)、CMOS
(Complementary Metal Oxide Semiconductor:互补金属氧化物半
导体)等二维摄像元件上对被摄体进行成像而进行摄像处理。近年来,
有时在这种摄像装置中采用被称为WFC(Wavefront Coding:波前编
码)的技术。
此处,使用图10,对采用WFC技术的摄像装置进行说明。图10
是示意性地表示采用WFC技术的以往的摄像装置的光学系统的图。如
图10所示,以往的摄像装置具有光学系统90和摄像元件95。在光学系
统90中配置透镜91~93和作为光波面调制元件的相位板94。
在图10所示的例子中,假设在不存在相位板94的情况下,透镜91~
93使从摄像对象的被摄体发出的光聚光。另一方面,如图10所示的例
子,通过配置相位板94,从而相位板94使从摄像对象的被摄体发出的
光束有规律地分散,使向摄像元件95的受光面的成像变形。由此,摄
像元件95得到焦点偏离的状态的图像(以下,有时记载为“中间图像”)。
而且,摄像装置对被摄像元件95摄像的中间图像实施逆滤波等数字处
理,从而生成被摄体的图像。
通过采用WFC技术的摄像装置得到的中间图像即使在摄像装置与
被摄体之间的相对位置变动的情况下,模糊程度的变动量也较小。例如,
摄像装置与被摄体的距离是H1的情况下的中间图像和摄像装置与被摄
体的距离是H2(>H1)的情况下的中间图像的模糊程度的变动量较小。
采用WFC技术的摄像装置对这样的模糊程度的变动量较小的中间图像
实施数字处理来生成被摄体图像,从而能够扩大景深。
专利文献1:日本特开2008-109542号公报
专利文献2:日本特开2003-235794号公报
非专利文献1:Edward R.Dowski,Jr.,and W.Thomas
Cathey,“Extended depth of field through wave-front
coding”,Applied Optics,vol.34,no 11,pp.1859-1866,April,
1995.
然而,在上述的以往技术中,存在有可能不能够高精度地生成被摄
体图像的问题。关于所述的问题,使用图11~图15具体地进行说明。
图11以及图12是表示图10所示的以往的相位板94的形状例子的图。
其中,图12表示从图11的Z轴方向观察到的相位板94的形状。一般
来说,在采用WFC技术的以往的摄像装置中使用图11以及图12所例
示的形状的相位板94。这样的以往的相位板94的形状例如通过以下的
式(1)表示。
【数1】
z=A(x3+y3) …(1)
上述式(1)所示的“A”是任意的系数。由上述式(1)表示的形
状的相位板94具有与X轴方向和Y轴方向正交的相位分布。具体而言,
通过相位板94的光主要在摄像元件95的受光面中的、与X轴方向和Y
轴方向正交的区域成像。这种相位板94的相位分布例如通过以下的式
(2)表示。
【数2】
P(x,y)=exp(iα(x3+y3)) …(2)
即、包括这种相位板94的光学系统90的PSF(Point Spread
Function:点扩散函数)如图13所示的例子,向X轴方向和Y轴方向
2个方向分散,呈非对称。以往的摄像装置使用具有这种PSF的光学系
统90来获取中间图像,对该中间图像实施数字处理,从而生成被摄体
图像。此时,由于光学系统90的PSF向X轴方向与Y轴方向分散,所
以存在由以往的摄像装置生成的被摄体图像中包含叠影(ghost)的情
况。
对这一点具体地进行说明。首先,在将中间图像设为“h”、将PSF
设为“g”、将被摄体图像设为“f”情况下,在“h”、“g”以及“f”中
以下的关系式(3)成立。
【数3】
f*g=h …(3)
上述式(3)所示的“*”表示卷积运算(convolution)。而且,若
对上述式(3)进行傅里叶变换,则由以下的式(4)表示。
【数4】
F·G=H …(4)
上述式(4)中的、作为对PSF“g”进行傅里叶变换的结果的“G”
是OTF(Optical Transfer Function:光学传递函数),表示成像光
学系统的空间频率传递特性。其中,OTF的绝对值被称为MTF
(Modulation Transfer Function:调制传递函数)。
在以往的摄像装置对中间图像“h”实施数字处理来求出被摄体图
像“f”的情况下,例如对作为对中间图像“h”进行傅里叶变换的结
果的“H”乘以OTF“G”的逆滤波“Hinv”,对乘法结果进行傅里叶
逆变换。具体而言,以往的摄像装置通过进行由以下的式(5)表示的
乘法,计算出傅里叶变换后的被摄体图像“F”。而且,以往的摄像装置
通过对被摄体图像“F”进行傅里叶逆变换,生成被摄体图像“f“。此
外,以下的式(5)所示的逆滤波“Hinv”由以下的式(6)表示。
【数5】
F=Hinv·H …(5)
【数6】
Hinv≈1/G …(6)
此外,以往的摄像装置可以对逆滤波“Hinv”进行傅里叶逆变换来
求出逆影响函数核(kernel)“hinv”,生成被摄体图像“f”。具体而言,
如以下的式(7)所示,以往的摄像装置可以通过进行中间图像“h”与
逆影响函数核“hinv”的卷积运算而生成被摄体图像“f”。
【数7】
f=h*hinv …(7)
此处,在使用图11以及图12所例示的形状的相位板94的WFC中
存在如下的特性,即、至空间频率变成高域为止,MTF不会成为“0”,
即使在焦点位置变动的情况下,MTF的变动量也较小。可是,如图13
所示的例子,以往的光学系统90的PSF向正交的X轴方向与Y轴方向
分散。因此,存在如下的情况,即、通过对PSF“g”进行傅里叶变换
而计算的OTF“G”的绝对值MTF在X轴方向与Y轴方向之间的区域
成为接近于“0”的值。在图13所示的例子中,存在如下的情况,即、
在X轴方向与Y轴方向之间的区域A11等中,MTF成为接近于“0”
的值。
因此,存在如下的情况,即、如图14所示的例子,由上述式(6)
表示的逆滤波“Hinv”在X轴方向与Y轴方向之间的区域中成为较大的
值。其结果,存在如下的情况,即、X轴方向与Y轴方向之间的区域容
易受到噪声的影响,所以被摄体图像“f”的X轴方向与Y轴方向之间
的区域产生叠影。图15表示使用图14所例示的逆滤波所生成的被摄体
图像的一个例子。在图15所示的例子中,在被摄体图像的区域A21~
A26等产生叠影。
如以上所述,在采用WFC技术的以往的摄像装置中,光学系统的
PSF向X轴方向和Y轴方向2个方向分散,所以存在生成的被摄体图
像包含叠影的情况。即、在采用WFC技术的以往的摄像装置中存在不
能够高精度地生成被摄体图像的情况。
发明内容
公开的技术是鉴于上述而完成的,其目的在于提供一种能够高精度
地生成被摄体图像的摄像装置以及摄像方法。
本申请公开的摄像装置在一个方式中,具备光波面调制元件,其使
从被摄体发出的光束分散为3个方向以上;摄像元件,其接受被所述光
波面调制元件分散的光束而进行成像;生成部,其对通过所述摄像元件
进行成像而得到的被摄体像实施与所述分散对应的处理,生成所述被摄
体的图像。
根据本申请公开的摄像装置的一个方式,取得能够高精度地生成被
摄体图像的效果。
附图说明
图1是表示实施例1所涉及的摄像装置的构成例的框图。
图2是表示实施例2所涉及的摄像装置的构成例的框图。
图3是表示实施例2中的相位板的形状例的图。
图4是表示实施例2中的相位板的形状例的图。
图5是表示实施例2中的光学系统所具有的PSF的一个例子的图。
图6是表示实施例2中的逆滤波的一个例子的图。
图7是表示由实施例2所涉及的摄像装置生成的被摄体图像的一个
例子的图。
图8是表示实施例2所涉及的摄像装置中的景深特性的图。
图9是表示实施例2所涉及的摄像装置进行的摄像处理顺序的流程
图。
图10是示意性地表示采用WFC技术的以往的摄像装置的光学系统
的图。
图11是表示图10所示的以往的相位板的形状例子的图。
图12是表示图10所示的以往的相位板的形状例子的图。
图13是表示以往的光学系统所具有PSF的一个例子的图。
图14是表示以往的逆滤波的一个例子的图。
图15是表示以往的被摄体图像的一个例子的图。
具体实施方式
以下,基于附图,对本申请公开的摄像装置以及摄像方法的实施例
详细地进行说明。此外,该实施例不限定本申请公开的摄像装置以及摄
像方法。
实施例1
首先,使用图1,对实施例1所涉及的摄像装置进行说明。图1是
表示实施例1所涉及的摄像装置的构成例的框图。如图1所示,实施例
1所涉及的摄像装置1具有光学系统10、摄像元件20、生成部30。光
学系统10使从摄像对象的被摄体发出的光向摄像元件20入射。具体而
言,光学系统10具有透镜11以及12、和光波面调制元件13。
透镜11使从被摄体发出的光折射。光波面调制元件13使经由透镜
11照射的被摄体的光束分散为3个方向以上,并使分散的光束经由透镜
12入射至摄像元件20。例如,光波面调制元件13使被摄体的光束在摄
像元件20的受光面中的、从任意的位置分散成3个方向以上的区域成
像。
摄像元件20接受被光波面调制元件13分散的光束来进行成像。生
成部30对通过摄像元件20进行成像而得到的被摄体像实施数字处理,
生成被摄体图像。换言之,生成部30从作为中间图像的被摄体像还原
被摄体图像。
这样,实施例1所涉及的摄像装置1使从被摄体发出的光束向3个
方向以上分散,并对分散的光束进行成像。由此,实施例1所涉及的摄
像装置1与图13所示的PSF分散为2个方向的摄像装置相比较,数字
处理时,MTF成为接近于“0”的值的区域较少。即、对于实施例1所
涉及的摄像装置1而言,逆滤波“Hinv”成为较大的值的区域较少,所
以能够减少受到噪声的影响的区域,其结果,能够防止在被摄体图像中
产生叠影。因此,实施例1所涉及的摄像装置1能够高精度地生成被摄
体图像。
实施例2
接下来,在实施例2中,对具有分散成3个方向的PSF的摄像装置
的例子进行说明。以下,按顺序对实施例2所涉及的摄像装置的构成例、
实施例2所涉及的摄像装置的景深特性、以及实施例2所涉及的摄像装
置进行的摄像处理顺序进行说明。
[实施例2所涉及的摄像装置的构成]
首先,使用图2,对实施例2所涉及的摄像装置进行说明。图2是
表示实施例2所涉及的摄像装置的构成例的框图。图2所示的摄像装置
100例如是安装于数字照相机或移动电话机等便携式信息终端的照相
机、安装于图像检查装置的照相机、自动控制用产业照相机等。
如图2所示,实施例2所涉及的摄像装置100具有光学系统110、
摄像元件120、ADC(Analog To Digital Converter:模数变换器)
130、定时控制部140、图像处理部150、信号处理部160、和控制部170。
光学系统110使从摄像对象的被摄体发出的光向摄像元件120入射。
具体而言,光学系统110具有透镜111~113和相位板114。透镜111以
及112使从摄像对象的被摄体发出的光折射。
相位板114例如是光波面调制元件,使经由透镜111以及112照射
的被摄体的光束分散为3个方向。而且,被相位板114分散的光束经由
透镜113在摄像元件120被成像。具体而言,相位板114使被摄体的光
束在摄像元件120的受光面中的、从任意的位置分散成3个方向的区域
成像。
此处,使用图3以及图4,对相位板114的形状进行说明。图3以
及图4是表示实施例2中的相位板114的形状例子的图。图3所示的相
位板114配置为相位板114的XY面与透镜112和透镜113对置。换言
之,相位板114以在Z轴方向上配置透镜112和透镜113的方式插入于
光学系统110。此外,在图3所示的例子中,透镜111以及112位于图
中的上方,透镜113、摄像元件120位于图中的下方。
如图3以及图4所示,相位板114的表面形状是突起的凸部与凹陷
的凹部的组合形成三个的形状。在图3以及图4所示的例子中,相位板
114的表面形状是在XY面的周边,向透镜112位于的方向突起的凸部
和相对于透镜112位于的方向凹陷的凹部的组合形成三个的形状。换言
之,相位板114是在XY面的周边,向接近于透镜112的方向突起的凸
部和向从透镜112离开的方向突起的凸部交替反复地形成3组的形状。
这种相位板114的形状例如通过以下的式(8)表示。
【数8】
z=A(x3+x2y+xy2+y3) …(8)
上述式(8)所示的“A”是任意的系数。由上述式(8)表示的形
状的相位板114具有从XY平面上的任意位置分散成3个方向的相位分
布。具体而言,相位板114的相位分布例如由以下的式(9)表示。
【数9】
P(x,y)=exp(i(α1x3+α2x2y+α3xy2+α4y3)) …(9)
上述式(9)所示的α1、α2、α3、α4是任意的系数。例如,α1是“0.0196”,
α2是“-0.1363”,α3是“-0.0288”,α4是“0.0373”。
实施例2中的相位板114是图3以及图4所例示的形状,具有上述
式(8)所例示的相位分布,所以能够使从被摄体发出的光束分散为3
个方向。
返回到图2的说明,摄像元件120对从光学系统110入射的光束进
行成像。具体而言,摄像元件120经由透镜113接受被相位板114分散
的光束,并对其进行成像。所述的摄像元件120例如是CCD、CMOS
等。此外,通过摄像元件120进行成像而得到的被摄体像通过相位板114
来分散光束,所以是焦点偏离状态的模糊的图像,成为中间图像。
ADC130将从摄像元件120输入的模拟信号的中间图像变换为数字
信号,并将变换为数字信号后的中间图像输出给图像处理部150。定时
控制部140按照信号处理部160的指示对摄像元件120、ADC130的驱
动定时进行控制。
图像处理部150通过对从ADC130输入的数字信号的中间图像实施
数字处理,生成被摄体图像。具体而言,如图2所示,图像处理部150
具有缓存151、存储部152、卷积运算控制部153、和卷积运算部154。
缓存151存储从ADC130输入的数字信号的中间图像。存储部152
存储通过光学系统110的PSF决定的卷积运算用的影响函数核数据。具
体而言,存储部152存储对作为对PSF“g”进行傅里叶变换的结果的
OTF“G”的逆滤波“Hinv”进行傅里叶逆变换而得到的影响函数核数
据“hinv”。例如,存储部152与光学倍率对应地存储影响函数核数据
“hinv”。另外,例如,存储部152与摄像装置100和被摄体的距离信息
对应地存储影响函数核数据“hinv”。
卷积运算控制部153按照控制部170的控制进行用于卷积运算的影
响函数核数据的更换控制等。具体而言,卷积运算控制部153基于由后
述的控制部170在曝光设定时所决定的曝光信息等来选择存储在存储部
152中的影响函数核数据中的、用于卷积运算的影响函数核数据。
卷积运算部154基于被卷积运算控制部153选择的影响函数核数
据,对存储在缓存151中的数字信号的中间图像进行卷积运算,从而生
成被摄体图像“f”。例如,在将中间图像设为“h”、将被卷积运算控制
部153选择的影响函数核数据设为“hinv”的情况下,卷积运算部154
通过进行上述式(7)所示的卷积运算,生成被摄体图像“f”。
此外,在图2中示出了卷积运算部154基于存储在存储部152中的
影响函数核数据对中间图像的数字信号进行卷积运算来生成被摄体图
像的例子。可是,实施例2中的图像处理部150也可以通过进行上述例
子以外的处理来生成被摄体图像。
例如,存储部152也可以与光学倍率等对应地存储上述式(6)所
示的逆滤波“Hinv”。而且,卷积运算控制部153基于由控制部170决定
的曝光信息等从存储在存储部152中的逆滤波中选择运算用的逆滤波。
而且,卷积运算部154使用被卷积运算控制部153选择的逆滤波、和存
储在缓存151中的数字信号的中间图像,进行上述式(5)所示的乘法。
而且,卷积运算部154也可以对所述的乘法结果进行傅里叶逆变换来生
成被摄体图像“f”。
信号处理部160对由图像处理部150生成的被摄体图像进行色彩内
插处理、白平衡、YCbCr变换处理等。另外,信号处理部160将进行
了色彩内插处理等的被摄体图像储存于未图示的存储器等,或者在未图
示的显示部进行显示控制。此外,信号处理部160例如是DSP(Digital
Signal Processor:数字信号处理器)。
控制部170整体控制摄像装置100。具体而言,控制部170对向摄
像元件120供给光的曝光进行控制,或者根据输入给未图示的操作部等
的操作内容来控制ADC130、图像处理部150、以及信号处理部160的
动作。
此处,使用图5~图7,对由图2所示的图像处理部150生成的被
摄体图像进行说明。图5是表示实施例2中的光学系统110所具有的
PSF的一个例子的图。图6是表示实施例2中的逆滤波的一个例子的图。
图7是表示由实施例2所涉及的摄像装置100生成的被摄体图像的一个
例子的图。
如图5所示的例子,光学系统110的PSF分散成3个方向。作为对
这样的PSF进行傅里叶变换的结果的MTF与对分散为正交的2个方向
的PSF进行傅里叶变换的MTF相比较,具有对称性,且成为接近于“0”
的值的区域较少。其结果,如图6所示的例子,实施例2所涉及的摄像
装置100所使用的逆滤波“Hinv”具有对称性。因此,实施例2所涉及
的摄像装置100所使用的逆滤波“Hinv”与图14所示的例子相比较,容
易受到噪声的影响的区域较少。
因此,在由卷积运算部154生成的被摄体图像包含叠影的可能性较
低。图7表示由卷积运算部154生成的被摄体图像的一个例子。如图7
所示,由卷积运算部154生成的被摄体图像与图15所示的被摄体图像
相比较,不产生叠影。因此,实施例2所涉及的摄像装置100能够高精
度地生成被摄体图像。
[景深特性]
接下来,使用图8,对实施例2所涉及的摄像装置100中的景深特
性进行说明。图8是表示实施例2所涉及的摄像装置100中的景深特性
的图。此处,比较实施例2所涉及的摄像装置100、与PSF分散为2个
方向的摄像装置,对景深特性进行说明。
在图8所示的例子中,使摄像装置与被摄体的距离变动为“z1”与
“z2”,将OTF的差的平方和作为评价函数。具体而言,所述的评价函
数EF(Error Function)通过以下的式(10)求出。
【数10】
Ef=∑∑(OTF(z)-OTF(z∞))2/∑∑(OTF(z∞))2 …(10)
如图8所示的例子,像实施例2中的光学系统110那样,分散为3
个方向的PSF与分散为正交的2个方向的PSF相比,与被摄体距离对
应的MTF的差较小。即、实施例2所涉及的摄像装置100与PSF分散
为2个方向的摄像装置相比,能够使景深特性提高。
接下来,使用图9,对实施例2所涉及的摄像装置100进行的摄像
处理的顺序进行说明。图9是表示实施例2所涉及的摄像装置100进行
的摄像处理顺序的流程图。
如图9所示,在摄像装置100,由利用者等进行摄像操作的情况下
(步骤S101肯定),控制部170对摄像元件120进行曝光控制,并且控
制ADC130、图像处理部150以及信号处理部160的动作。
而且,相位板114使经由透镜111以及112照射的被摄体的光束分
散为3个方向(步骤S102)。而且,被相位板114分散的光束经由透镜
113在摄像元件120成像(步骤S103)。由此,摄像装置100能够得到
与摄像对象的被摄体图像对应的中间图像。接着,图像处理部150基于
影响函数核数据对数字信号的中间图像进行卷积运算,从而生成被摄体
图像(步骤S104)。
[实施例2的效果]
如上述,实施例2所涉及的摄像装置100具有PSF分散为3个方向
的光学系统110,所以在数字处理时,MTF成为接近于“0”的值的区
域较少。即、对实施例2所涉及的摄像装置100而言,逆滤波成为较大
的值的区域较少,所以能够减少受到噪声的影响的区域,其结果,能够
防止在被摄体图像产生叠影。因此,实施例2所涉及的摄像装置100能
够高精度地生成被摄体图像。
另外,实施例2所涉及的摄像装置100的相位板114是图3以及图
4所例示的形状,所以能够使从被摄体发出的光束分散为3个方向。
另外,实施例2所涉及的摄像装置100的相位板114具有由上述式
(9)表示的相位分布,所以能够使从被摄体发出的光束分散为3个方
向。
此外,在上述实施例2中示出了使从被摄体发出的光束分散为3个
方向的相位板114的例子。可是,相位板114也可以使从被摄体发出的
光束分散为4个方向以上。这例如通过相位板114的表面形状为在XY
面的周边向透镜112位于的方向突起的凸部和相对于透镜112位于的方
向凹陷的凹部的组合形成四个以上而能够实现。
另外,在上述实施例2中示出了通过将相位板114设为图3以及图
4所例示的形状而使从被摄体发出的光束分散为3个方向的例子。可是,
相位板114只要是使波面变形的元件,可以是任何的元件。例如,相位
板114可以是折射率变化的折射率分布型波面调制透镜那样的光学元
件。
另外,在上述实施例2中示出了光学系统110具有相位板114的例
子。可是,也可以通过使光学系统110的透镜111、透镜112等与相位
板114成为一体,实现使从被摄体发出的光束分散为3个方向。例如,
也可以代替透镜112而使用通过加工透镜表面而使折射率变化的波面调
制复合透镜等,实现使从被摄体发出的光束分散为3个方向。
符号说明
1…摄像装置,10…光学系统,11、12…透镜,13…光波面调制元
件,20…摄像元件,30…生成部,90…光学系统,91…透镜,94…相位
板,95…摄像元件,100…摄像装置,110…光学系统,111、112、113…
透镜,114…相位板,120…摄像元件,130…ADC,140…定时控制部,
150…图像处理部,151…缓存,152…存储部,153…卷积运算控制部,
154…卷积运算部,160…信号处理部,170…控制部