图像处理装置及方法、以及摄像装置.pdf

本发明所涉及的图像处理方法取得经由单一的摄影光学系统进行摄像并被光瞳分割后的相互具有视差的第一图像和第二图像，在用于转换为将第一和第二图像所具有视差量和模糊量变更后的第三和第四图像而在第一和第二图像分别适用的第一和第二转换滤波组中，针对第一和第二图像的每个像素使用与该像素的视差对应的第一和第二转换滤波来进行滤波处理。

1.  一种图像处理装置，其具备：
图像取得单元，取得经由单一的摄影光学系统进行摄像且通过光瞳分割单元进行光瞳分割后的相互具有视差的第一图像和第二图像；
视差取得单元，取得所述取得的第一图像和第二图像的对应的像素间的视差；以及
滤波处理单元，在用于转换为将所述取得的第一图像和第二图像所具有的视差量和模糊量变更后的第三图像和第四图像的、适用于第一图像的第一转换滤波组和适用于第二图像的第二转换滤波组中，针对所述取得的第一图像和第二图像的每个像素，使用与由所述视差取得单元取得的该像素的视差对应的第一转换滤波和第二转换滤波来进行滤波处理。

2.  根据权利要求1所述的图像处理装置，其特征在于，
第三图像和第四图像的对应的像素间的视差量越大，所述滤波处理单元越增大模糊量。

3.  根据权利要求1或2所述的图像处理装置，其中，
所述图像处理装置具备：
数字滤波存储单元，存储与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组；以及
转换滤波计算单元，基于所述存储的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组，算出所述第一转换滤波组和第二转换滤波组，
所述滤波处理单元针对所述取得的第一图像和第二图像的每个像素，基于由所述视差取得单元取得的该像素的视差，从所述算出的第一转换滤波组和第二转换滤波组选择与视差对应的第一转换滤波和第 二转换滤波，使用所选择的第一转换滤波和第二转换滤波来进行滤波处理。

4.  根据权利要求3所述的图像处理装置，其中，
所述转换滤波计算单元将存储于所述数字滤波存储单元中的第一数字滤波组和第二数字滤波组中的任一数字滤波设为T(x,y)，将对该数字滤波T(x,y)进行傅立叶变换后的结果设为T_f(ω_x,ω_y)，将所述第三数字滤波组和第四数字滤波组中的与所述数字滤波T(x,y)对应的数字滤波设为T_w(x,y)，将对该数字滤波T_w(x,y)进行傅立叶变换后的结果设为T_wf(ω_x,ω_y)，利用下式算出在实空间卷积的转换滤波：
F^-1(T_f(ω_x,ω_y)^-1·T_wf(ω_x,ω_y))的振幅成分(其中，F^-1：傅立叶逆变换)。

5.  根据权利要求1～4中任一项所述的图像处理装置，其中，
所述图像处理装置具备：
指定单元，对向所述应该转换的第三图像和第四图像的转换特性进行指定；以及
数字滤波计算单元，算出与所述指定的转换特性对应的第三数字滤波组和第四数字滤波组，
所述转换滤波计算单元使用存储于所述数字滤波存储单元的第一数字滤波组和第二数字滤波组、以及由所述数字滤波计算单元算出的第三数字滤波组和第四数字滤波组，来算出所述第一转换滤波组和第二转换滤波组。

6.  根据权利要求1或2所述的图像处理装置，其中，
所述图像处理装置具备转换滤波存储单元，该转换滤波存储单元存储每个视差的所述第一转换滤波组和第二转换滤波组，其中每个视差的所述第一转换滤波组和第二转换滤波组基于与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像为止的转换特 性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组而算出，
所述滤波处理单元针对所述取得的第一图像和第二图像的每个像素，基于由所述视差取得单元取得的该像素的视差，从所述存储的第一转换滤波组和第二转换滤波组读出与视差对应的第一转换滤波和第二转换滤波，使用所读出的第一转换滤波和第二转换滤波来进行滤波处理。

7.  根据权利要求5所述的图像处理装置，其中，
所述转换滤波存储单元存储在实空间卷积的转换滤波，其中将所述第一数字滤波组和第二数字滤波组中的任一数字滤波设为T(x,y)，将对该数字滤波T(x,y)进行傅立叶变换后的结果设为T_f(ω_x,ω_y)，将所述第三数字滤波组和第四数字滤波组中的与所述数字滤波T(x,y)对应的数字滤波设为T_w(x,y)，将对该数字滤波T_w(x,y)进行傅立叶变换后的结果设为T_wf(ω_x,ω_y)，利用下式算出所述在实空间卷积的转换滤波：
F^-1(T_f(ω_x,ω_y)^-1·T_wf(ω_x,ω_y))的振幅成分(其中，F^-1：傅立叶逆变换)。

8.  根据权利要求1、2、6、或7所述的图像处理装置，其中，
所述图像处理装置具备指定单元，该指定单元对向所述应该转换的第三图像和第四图像的转换特性进行指定，
所述转换滤波存储单元存储每个转换特性的第一转换滤波组和第二转换滤波组，其中每个转换特性的第一转换滤波组和第二转换滤波组基于与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤 波组和第四数字滤波组中与能够由所述指定单元指定的多个转换特性对应的第三数字滤波组和第四数字滤波组而算出，
所述滤波处理单元从所述转换滤波存储单元读出与由所述指定单元指定的转换特性对应的第一转换滤波组和第二转换滤波组来使用。

9.  根据权利要求1或2所述的图像处理装置，其中，
所述图像处理装置具备逆滤波存储单元，该逆滤波存储单元存储与从入射到所述单一的摄影光学系统的光到转换为所述第一图像或第二图像为止的转换特性对应的每个视差的第一数字滤波组或第二数字滤波组的逆滤波组，
所述滤波处理单元使用所述存储的逆滤波组、以及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组作为所述第一转换滤波组和第二转换滤波组。

10.  根据权利要求9所述的图像处理装置，其中，
所述图像处理装置具备：
指定单元，对向所述应该转换的第三图像和第四图像的转换特性进行指定；以及
数字滤波计算单元，算出与所述指定的转换特性对应的第三数字滤波组和第四数字滤波组，
所述滤波处理单元使用由所述数字滤波计算单元算出的第三数字滤波组和第四数字滤波组。

11.  根据权利要求5、8或10所述的图像处理装置，其中，
由所述指定单元所指定的向第三图像和第四图像的转换特性是与所述第一图像和第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个。

12.  根据权利要求5、8、10、或11所述的图像处理装置，其中，
所述第三数字滤波组和第四数字滤波组是以相似形的方式将所述第一数字滤波组和第二数字滤波组放大缩小后的数字滤波组。

13.  根据权利要求3～12中任一项所述的图像处理装置，其中，
所述第三数字滤波组和第四数字滤波组分别是圆形且具有点对称的滤波系数的数字滤波组。

14.  根据权利要求9所述的图像处理装置，其中，
所述滤波处理单元在取得多个转换特性的第三图像和第四图像时，进行在所述取得的第一图像或第二图像的每个像素上乘以与该每个像素的视差对应的第一数字滤波或第二数字滤波的逆滤波的第一运算，并在该第一运算结果上乘以分别与多个转换特性的第三图像和第四图像对应的第三数字滤波和第四数字滤波。

15.  根据权利要求3～14中任一项所述的图像处理装置，其中，
所述第一数字滤波组和第二数字滤波组使用在图像的中心成为相互左右对称且左右对称性对应于光瞳分割方向的像高而变化的数字滤波组。

16.  根据权利要求3～15中任一项所述的图像处理装置，其中，
所述第一数字滤波组和第二数字滤波组使用具有将所述第一图像和第二图像的取得时的所述摄影光学系统所包含的光圈的开口形状分割后的形状的数字滤波组。

17.  根据权利要求3～16中任一项所述的图像处理装置，其中，
所述第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，
所述第一数字滤波组和第二数字滤波组使用对应于所述彩色摄像元件的每种颜色的灵敏度特性而按照每种颜色不同的数字滤波组。

18.  根据权利要求17所述的图像处理装置，其中，
所述第三数字滤波组和第四数字滤波组使用与三原色的彩色图像中的特定的颜色对应的数字滤波组。

19.  根据权利要求1～18中任一项所述的图像处理装置，其中，
所述第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，
所述视差取得单元针对每种颜色算出所述取得的第一图像和第二图像的对应的像素间的视差，
所述滤波处理单元针对每种颜色进行对所述取得的第一图像和第二图像的滤波处理。

20.  一种摄像装置，其具备：
单一的摄影光学系统；
摄像元件，是对通过所述摄影光学系统的不同的第一、第二区域后的被摄体像进行光瞳分割而分别成像的摄像元件，对通过所述第一、第二区域后的被摄体像分别进行光电转换而输出第一图像和第二图像；
所述图像取得单元，取得从所述摄像元件输出的第一图像和第二图像；以及
权利要求1～19中任一项记载的图像处理装置。

21.  一种图像处理方法，其包括：
图像取得工序，取得经由单一的摄影光学系统进行摄像且通过光瞳分割单元进行光瞳分割后的相互具有视差的第一图像和第二图像；
视差取得工序，取得所述取得的第一图像和第二图像的对应的像素间的视差；以及
滤波处理工序，在用于转换为将所述取得的第一图像和第二图像所具有的视差量和模糊量变更后的第三图像和第四图像的、适用于第一图像的第一转换滤波组和适用于第二图像的第二转换滤波组中，针 对所述取得的第一图像和第二图像的每个像素，使用与通过所述视差取得工序取得的该像素的视差对应的第一转换滤波和第二转换滤波来进行滤波处理。

22.  根据权利要求21所述的图像处理方法，还包括：
准备数字滤波存储单元的工序，该数字滤波存储单元存储与从入射到所述单一的摄影光学系统的光到转换为所述第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组；以及
转换滤波计算工序，基于所述存储的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组，算出所述第一转换滤波组和第二转换滤波组，
所述滤波处理工序针对所述取得的第一图像和第二图像的每个像素，基于通过所述视差取得工序取得的该像素的视差，从所述算出的第一转换滤波组和第二转换滤波组选择与视差对应的第一转换滤波和第二转换滤波，使用所选择的第一转换滤波和第二转换滤波来进行滤波处理。

23.  根据权利要求21所述的图像处理方法，其中，
所述图像处理方法还包括准备转换滤波存储单元的工序，该转换滤波存储单元存储每个视差的所述第一转换滤波组和第二转换滤波组，其中每个视差的所述第一转换滤波组和第二转换滤波组基于与从入射到所述单一的摄影光学系统光到转换为所述第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组而算出；
所述滤波处理工序针对所述取得的第一图像和第二图像的每个像素，基于通过所述视差取得工序取得的该像素的视差，从所述存储的 第一转换滤波组和第二转换滤波组读出与视差对应的第一转换滤波和第二转换滤波，使用所读出的第一转换滤波和第二转换滤波来进行滤波处理。

24.  根据权利要求21所述的图像处理方法，其中，
所述图像处理方法还包括准备逆滤波存储单元的工序，该逆滤波存储单元存储与从入射到所述单一的摄影光学系统光到转换为所述第一图像或第二图像为止的转换特性对应的每个视差的第一数字滤波组或第二数字滤波组的逆滤波组，
所述滤波处理工序使用所述存储的逆滤波组、以及与从入射到单一的摄影光学系统的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组作为所述第一转换滤波组和第二转换滤波组。

图像处理装置及方法、以及摄像装置
技术领域
本发明涉及图像处理装置及方法、以及摄像装置，特别涉及对经由单一的摄影透镜拍摄的具有视差的立体视用的图像的视差进行调整的技术。
背景技术
以往，已知有如下那样的单眼3D摄像装置：即利用对通过单一的摄影透镜的左右方向的不同区域后的被摄体像进行光瞳分割而分别成像的相位差CCD(Charge Coupled Device)，对通过各区域后的被摄体像分别进行光电转换，取得对应于焦点偏移量而相互具有相位差的左眼图像和右眼图像(单眼3D图像)(专利文献1)。专利文献1记载的立体摄像装置利用光圈的F值进行单眼3D的左眼图像和右眼图像的视差的调整。
专利文献2记载的图像处理装置算出左右的视点图像间相互对应的像素间的视差量，生成表示视差量的分布的初始的视差映射，从预先规定的表示外形形状和视差量分布的多个视差模板中，通过比较视差映射内的部分区域和视差模板而选择与所述部分区域对应的视差模板，基于由所选择的视差模板所置换的视差映射，生成视点数比左右的视点图像多的多视点图像。另外，在专利文献2的第0048段，记载了也能够将专利文献2所记载的技术适用于单眼3D图像。
专利文献3中，记载了通过使由复眼摄像装置所拍摄的具有视差的左眼图像和右眼图像相互移位而对左眼图像和右眼图像的视差进行调整的技术。
现有技术文献
专利文献
专利文献1：特开2011-199502号公报
专利文献2：特开2011-211551号公报
专利文献3：特开2011-29700号公报
发明内容
发明所要解决的课题
专利文献1记载的单眼3D摄像装置通过对光圈的F值进行调整而进行单眼3D图像的视差的调整，但是该视差的调整仅能够在单眼3D摄像装置的摄像时进行。即，通过对单眼3D图像进行图像处理，不能够生成视差(F值)不同的单眼3D图像。
专利文献2所记载的发明通过对单眼3D图像进行图像处理，能够生成视差不同的左眼图像和右眼图像。然而，生成后的左眼图像和右眼图像，不能成为单眼3D图像。
在此，单眼3D图像是若视差变大则模糊也变大的图像。作为单眼3D图像的优点之一，可以列举出利用3D电视即使摘下3D专用眼镜进行欣赏也几乎不会发生重影的优点(能够作为2D图像欣赏的优点)。
专利文献3记载的左眼图像和右眼图像是利用复眼摄像装置而拍摄的图像，并非单眼3D图像。另外，通过使左眼图像和右眼图像相互移位而对视差进行调整后的图像也并非单眼3D图像。
本发明鉴于这种情形而提出，其目的在于提供一种能够由利用单眼3D图像装置拍摄的单眼3D图像生成将视差量和模糊量联动调整后的期望的立体视用的图像的图像处理装置及方法、以及摄像装置。
用于解决课题的手段
为了达成所述目的，本发明的一方式所涉及的图像处理装置具备：图像取得单元，取得经由单一的摄影光学系统进行摄像且通过光瞳分割单元进行光瞳分割后的相互具有视差的第一图像和第二图像；视差取得单元，取得所取得的第一图像和第二图像的对应的像素间的视差；以及滤波处理单元，在用于转换为将取得的第一图像和第二图像所具有的视差量和模糊量变更后的第三图像和第四图像的、适用于第一图像的第一转换滤波组和适用于第二图像的第二转换滤波组中，针对取得的第一图像和第二图像的每个像素，使用与由视差取得单元取得的该像素的视差对应的第一转换滤波和第二转换滤波来进行滤波处理。
根据本发明的一方式，通过针对第一图像和第二图像的像素的每个进行基于与该像素的视差对应的第一转换滤波和第二转换滤波的滤波处理，能够对视差量和模糊量这两者进行联动调整。
本发明的其他方式所涉及的图像处理装置中，优选的是，第三图像和第四图像的对应的像素间的视差量越大，滤波处理单元越增大模糊量。由此，第三、第四图像能够通过3D显示器而实现立体视，另外，即使摘下3D专用眼镜进行欣赏也几乎不产生重影。
本发明的另一其他方式所涉及的图像处理装置中，具备：数字滤波存储单元，存储与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组；以及转换滤波计算单元，基于存储的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组，算出第一转换滤波组和第二转换滤波组，滤波处理单元针对取得的第一图像和第二图像的每个像素，基于由视差取得单元取得的该像素的视差，从算出的第一转换滤波组和第二转换滤波组选择与视差对应的第一转换滤波和第二转换滤波，使用所选择的第一转换滤波和第二转换滤波来进行滤波处理。
在数字滤波存储单元存储与从入射到单一的摄影光学系统光到转换为第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组。可以根据摄影光学系统、光瞳分割单元和摄像元件等的特性，通过预先模拟或点像的实测而取得所述的第一数字滤波组和第二数字滤波组。
转换滤波计算单元基于第一、第二数字滤波组以及第三、第四数字滤波组而算出用于将第一、第二图像转换为第三、第四图像的第一、第二转换滤波。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，转换滤波计算单元将存储于数字滤波存储单元中的第一数字滤波组和第二数字滤波组中的任一数字滤波设为T(x,y)，将对该数字滤波T(x,y)进行傅立叶变换后的结果设为T_f(ω_x,ω_y)，将第三数字滤波组和第四数字滤波组中的与数字滤波T(x,y)对应的数字滤波设为T_w(x,y)，将对该数字滤波T_w(x,y)进行傅立叶变换后的结果设为T_wf(ω_x,ω_y)，利用下式算出在实空间卷积的转换滤波：
F^-1(T_f(ω_x,ω_y)^-1·T_wf(ω_x,ω_y))的振幅成分(其中，F^-1：傅立叶逆变换)。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，具备：指定单元，对向应该转换的第三图像和第四图像的转换特性进行指定；以及数字滤波计算单元，算出与指定的转换特性对应的第三数字滤波组和第四数字滤波组，转换滤波计算单元使用存储于数字滤波存储单元的第一数字滤波组和第二数字滤波组、以及由数字滤波计算单元算出的第三数字滤波组和第四数字滤波组，来算出第一转换滤波组和第二转换滤波组。
本发明的又一其他方式所涉及的图像处理装置中，具备转换滤波 存储单元，该转换滤波存储单元存储每个视差的第一转换滤波组和第二转换滤波组，其中每个视差的第一转换滤波组和第二转换滤波组基于与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组而算出，滤波处理单元针对取得的第一图像和第二图像的每个像素，基于由视差取得单元取得的该像素的视差，从存储的第一转换滤波组和第二转换滤波组读出与视差对应的第一转换滤波和第二转换滤波，使用所读出的第一转换滤波和第二转换滤波来进行滤波处理。
据此，由于不需要算出第一、第二转换滤波组，因此能够实现用于从第一、第二图像生成第三、第四图像的滤波处理的高速化，但是由于需要预先针对第三、第四图像存储第一、第二转换滤波组，因此在期望的第三、第四图像的数目较多的情况下，存在转换滤波存储单元的存储容量变大的缺点。
本发明的又一其他方式所涉及的图像处理装置中，转换滤波存储单元存储在实空间卷积的转换滤波，其中将第一数字滤波组和第二数字滤波组中的任一数字滤波设为T(x,y)，将对该数字滤波T(x,y)进行傅立叶变换后的结果设为T_f(ω_x,ω_y)，将第三数字滤波组和第四数字滤波组中的与数字滤波T(x,y)对应的数字滤波设为T_w(x,y)，将对该数字滤波T_w(x,y)进行傅立叶变换后的结果设为T_wf(ω_x,ω_y)，利用下式算出在实空间卷积的转换滤波：
F^-1(T_f(ω_x,ω_y)^-1·T_wf(ω_x,ω_y))的振幅成分(其中，F^-1：傅立叶逆变换)。
本发明的又一其他方式所涉及的图像处理装置中，具备指定单元，该指定单元对向应该转换的第三图像和第四图像的转换特性进行指定，转换滤波存储单元存储每个转换特性的第一转换滤波组和第二转 换滤波组，其中每个转换特性的第一转换滤波组和第二转换滤波组基于与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组中与能够由指定单元指定的多个转换特性对应的第三数字滤波组和第四数字滤波组而算出，滤波处理单元从转换滤波存储单元读出与由指定单元指定的转换特性对应的第一转换滤波组和第二转换滤波组来使用。
本发明的又一其他方式所涉及的图像处理装置中，具备逆滤波存储单元，该逆滤波存储单元存储与从入射到单一的摄影光学系统的光到转换为第一图像或第二图像为止的转换特性对应的每个视差的第一数字滤波组或第二数字滤波组的逆滤波组，滤波处理单元使用存储的逆滤波组、以及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组作为第一转换滤波组和第二转换滤波组。
通过在第一图像或第二图像的每个像素上乘以该像素的每个视差的逆滤波，生成将视差量和模糊量消除后的图像，通过对于该图像乘以每个视差的第三数字滤波和第四数字滤波，能够得到第三图像和第四图像。
本发明的又一其他方式所涉及的图像处理装置中，具备：指定单元，对向应该转换的第三图像和第四图像的转换特性进行指定；以及数字滤波计算单元，算出与指定的转换特性对应的第三数字滤波组和第四数字滤波组，滤波处理单元使用由数字滤波计算单元算出的第三数字滤波组和第四数字滤波组。
本发明的又一其他方式所涉及的图像处理装置中，由指定单元所 指定的向第三图像和第四图像的转换特性是与第一图像和第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸和灵敏度特性中的至少一个。
由此，虽然实际上没有拍摄第三、第四图像，但是能够生成将对第一、第二图像进行摄像时的焦距、光圈值、摄像元件的尺寸、和灵敏度特性中的至少一个变更后的情况下得到的第三、第四图像。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第三数字滤波组和第四数字滤波组是以相似形的方式将第一数字滤波组和第二数字滤波组放大缩小后的数字滤波组。基于这些第三数字滤波组和第四数字滤波组转换后的第三、第四图像能够利用3D显示器而实现立体视，另外，即使摘下3D专用眼镜进行欣赏也几乎不产生重影(成为由单眼3D图像装置所拍摄的单眼3D图像)。
本发明的又一其他方式所涉及的图像处理装置中，第三数字滤波组和第四数字滤波组分别是圆形且具有点对称的滤波系数的数字滤波组。该情况下，若摘下3D专用眼镜进行欣赏，则成为重影，但是在模糊较大的情况下等，人眼即使在难以取得像素彼此的对应的情况下(难以进行立体视的情况下)也能够生成立体视容易的第三、第四图像。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，滤波处理单元在取得多个转换特性的第三图像和第四图像时，进行在取得的第一图像或第二图像的每个像素上乘以与该每个像素的视差对应的第一数字滤波或第二数字滤波的逆滤波的第一运算，并在该第一运算结果上乘以分别与多个转换特性的第三图像和第四图像对应的第三数字滤波和第四数字滤波。
利用第一运算生成将视差和模糊消除后的图像，对于该图像的各像素乘以分别与多个转换特性的第三图像和第四图像对应的第三数字 滤波和第四数字滤波而生成第三图像和第四图像，从而使得第一运算1次即可，能够实现计算时间的短缩。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第一数字滤波组和第二数字滤波组使用在图像的中心成为相互左右对称且左右对称性对应于光瞳分割方向的像高而变化的数字滤波组。
在此，第一、第二数字滤波组是与从入射到单一的摄影光学系统的光到转换为第一、第二图像为止的转换特性对应的每个视差的滤波，为了得到适当的第一、第二转换滤波(期望的第三、第四图像)，正确把握在第一、第二图像上施加何种滤波是重要的。并且，被光瞳分割而取得的第一、第二图像中的灵敏度因入射角而不同，因此第一、第二数字滤波在图像的中心中相互具有左右对称，但是左右对称性对应于光瞳分割方向的像高而变化。因此，优选的是，第一、第二数字滤波使用对应于像高而不同的数字滤波。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第一数字滤波组和第二数字滤波组使用具有将第一图像和第二图像的取得时的摄影光学系统所包含的光圈的开口形状分割后的形状的数字滤波组。
第一、第二数字滤波组相当于分别对点像的模糊像(对应于视差而不同的模糊像)进行光瞳分割后的结果，具有将透镜的光圈的开口形状分割后的形状。例如，在光圈开口是圆形的情况下，具有将其2分割后的形状，在光圈开口是多边形的情况下，具有将其2分割后的形状。因此，优选的是，第一、第二数字滤波组与单眼3D图像的摄像时的光圈的开口形状一致。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，第一 数字滤波组和第二数字滤波组使用对应于彩色摄像元件的每种颜色的灵敏度特性而按照每种颜色不同的数字滤波组。
入射到彩色摄像元件的光的相对于入射角的第一、第二灵敏度按照三原色的每种颜色而不同。因此，优选的是，基于这些灵敏度而设计的第一、第二数字滤波针对每种颜色进行设计。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第三数字滤波组和第四数字滤波组使用与三原色的彩色图像中的特定的颜色对应的数字滤波组。由此，能够消除每种颜色的像的形状差异的影响，并能够实现画质的改善。
本发明的又一其他方式所涉及的图像处理装置中，优选的是，第一图像和第二图像是从彩色摄像元件输出的三原色的彩色图像，视差取得单元针对每种颜色算出取得的第一图像和第二图像的对应的像素间的视差，滤波处理单元针对每种颜色进行对取得的第一图像和第二图像的滤波处理。
由于透镜具有色像差，因此对于每种颜色模糊(视差)是不同的。因此，优选的是，针对每种颜色而取得第一、第二图像的对应的像素间的视差，并基于按照每种颜色而不同的视差来进行从第一、第二图像向第三、第四的图像的转换。由此，能够消除三原色的色像差的影响，实现画质的改善。
本发明的又一其他方式所涉及的摄像装置具备：单一的摄影光学系统；摄像元件，是对通过摄影光学系统的不同的第一、第二区域后的被摄体像进行光瞳分割而分别成像的摄像元件，对通过第一、第二区域后的被摄体像分别进行光电转换而输出第一图像和第二图像；图像取得单元，取得从摄像元件输出的第一图像和第二图像；以及上述的任一图像处理装置。
本发明的又一其他方式所涉及的图像处理方法包括：图像取得工序，取得经由单一的摄影光学系统进行摄像且通过光瞳分割单元进行光瞳分割后的相互具有视差的第一图像和第二图像；视差取得工序，取得所取得的第一图像和第二图像的对应的像素间的视差；以及滤波处理工序，在用于转换为将取得的第一图像和第二图像所具有的视差量和模糊量变更后的第三图像和第四图像的、适用于第一图像的第一转换滤波组和适用于第二图像的第二转换滤波组中，针对取得的第一图像和第二图像的每个像素，使用与通过视差取得工序取得的该像素的视差对应的第一转换滤波和第二转换滤波来进行滤波处理。
本发明的又一其他方式所涉及的图像处理方法中，还包括：准备数字滤波存储单元的工序，该数字滤波存储单元存储与从入射到单一的摄影光学系统的光到转换为第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组；以及转换滤波计算工序，基于存储的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组，算出第一转换滤波组和第二转换滤波组，滤波处理工序针对取得的第一图像和第二图像的每个像素，基于通过视差取得工序取得的该像素的视差，从算出的第一转换滤波组和第二转换滤波组选择与视差对应的第一转换滤波和第二转换滤波，使用所选择的第一转换滤波和第二转换滤波来进行滤波处理。
本发明的又一其他方式所涉及的图像处理方法中，还包括准备转换滤波存储单元的工序，该转换滤波存储单元存储每个视差的所述第一转换滤波组和第二转换滤波组，其中每个视差的所述第一转换滤波组和第二转换滤波组基于与从入射到所述单一的摄影光学系统光到转换为所述第一图像和第二图像为止的转换特性对应的每个视差的第一数字滤波组和第二数字滤波组、以及与从入射到单一的摄影光学系统 的光到转换为所述第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组而算出；所述滤波处理工序针对所述取得的第一图像和第二图像的每个像素，基于通过所述视差取得工序取得的该像素的视差，从所述存储的第一转换滤波组和第二转换滤波组读出与视差对应的第一转换滤波和第二转换滤波，使用所读出的第一转换滤波和第二转换滤波来进行滤波处理。
本发明的又一其他方式所涉及的图像处理方法中，还包括准备逆滤波存储单元的工序，该逆滤波存储单元存储与从入射到单一的摄影光学系统光到转换为第一图像或第二图像为止的转换特性对应的每个视差的第一数字滤波组或第二数字滤波组的逆滤波组，滤波处理工序使用存储的逆滤波组、以及与从入射到单一的摄影光学系统的光到转换为第三图像和第四图像为止的转换特性对应的每个视差的第三数字滤波组和第四数字滤波组作为第一转换滤波组和第二转换滤波组。
发明效果
根据本发明，能够从经由单一的摄影光学系统进行摄像并利用光瞳分割单元进行光瞳分割后的相互具有视差的第一图像和第二图像(单眼3D图像)，生成对视差量和模糊量进行联动调整后的期望的立体视用的第三、第四图像。另外，作为期望的第三、第四图像，能够通过对与第一、第二图像不同的摄影光学系统的焦距、光圈值、摄像元件的尺寸、或灵敏度特性中的至少一个进行指定，从而使得虽然实际上没有拍摄第三、第四图像，但是能够生成将对第一、第二图像进行摄像时的焦距、光圈值、摄像元件的尺寸、和灵敏度特性中的至少一个变更后的情况下得得到的第三、第四图像。
附图说明
图1是对本发明所涉及的摄像装置的实施方式进行表示的立体图。
图2是图1所示的摄像装置的后视图。
图3是对图1所示的摄像装置的内部结构的实施方式进行表示的 框图。
图4是为了对利用通常的摄像元件所拍摄的图像、和利用单眼3D用的摄像元件所拍摄的左眼图像和右眼图像进行说明而使用的图。
图5A是对左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的x方向的角度[°]的灵敏度的一例进行表示的图。
图5B是对左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的y方向的角度[°]的灵敏度的一例进行表示的图。
图5C是对与摄像元件16的左眼图像对应的灵敏度特性进行表示的图。
图5D是对与单眼3D用的摄像元件的灵敏度特性对应而创建的半月滤波进行表示的图。
图6是为了对半月滤波的创建方法进行说明而使用的图。
图7是对图6的主要部分放大图和半月滤波进行表示的图。
图8是图6的主要部分放大图，是对摄像元件上的坐标和入射角的关系进行表示的图。
图9A是对在原始的单眼3D图像的左眼图像施加的第一半月滤波的一例进行表示的图。
图9B是对在原始的单眼3D图像的右眼图像施加的第二半月滤波的一例进行表示的图。
图10是为了对生成期望的单眼3D图像时应该在实空间卷积的滤波进行说明而使用的图。
图11A是为了对在期望的单眼3D图像所应该施加的半月滤波的一例进行说明而使用的图。
图11B是为了对在期望的单眼3D图像所应该施加的半月滤波的一例进行说明而使用的图。
图12A是为了对在期望的单眼3D图像所应该施加的半月滤波的其他例进行说明而使用的图。
图12B是为了对在期望的单眼3D图像所应该施加的半月滤波的其他例进行说明而使用的图。
图13A是为了对在期望的单眼3D图像所应该施加的半月滤波的 又一其他例进行说明而使用的图。
图13B是为了对在期望的单眼3D图像所应该施加的半月滤波的又一其他例进行说明而使用的图。
图14是为了对用于指定期望的单眼3D图像的用户界面进行说明而使用的图。
图15是对本发明所涉及的图像处理装置的第一实施方式进行表示的主要部分框图。
图16是对本发明所涉及的图像处理装置的第二实施方式进行表示的主要部分框图。
图17是对本发明所涉及的图像处理装置的第三实施方式进行表示的主要部分框图。
图18A是为了对在期望的单眼3D图像所应该施加的半月滤波的又一其他例进行说明而使用的图。
图18B是为了对在期望的单眼3D图像所应该施加的半月滤波的又一其他例进行说明而使用的图。
图19是为了对在期望的3D图像所应该施加的滤波的又一其他例进行说明而使用的图。
图20A是对从第一单眼3D图像生成多个第二单眼3D图像的情况下的通常过程和计算时间短缩版过程进行表示的概念图。
图20B是对从第一单眼3D图像生成多个第二单眼3D图像的情况下的通常过程和计算时间短缩版过程进行表示的概念图。
图21是为了对与像高对应的第一、第二半月滤波进行说明而使用的图。
图22A是为了对与画面内的位置对应的入射角特性的差异进行说明而使用的图。
图22B是为了对与画面内的位置对应的入射角特性的差异进行说明而使用的图。
图23是对由图22A和图22B所示的入射角特性的差异引起的半月滤波的差异进行表示的图。
图24A是对透镜的光圈的开口形状的一例进行表示的图。
图24B是对透镜的光圈的开口形状的一例进行表示的图。
图24C是对透镜的光圈的开口形状的一例进行表示的图。
图24D是对透镜的光圈的开口形状的一例进行表示的图。
图25A是对左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的x方向的角度[°]的灵敏度的一例进行表示的坐标图。
图25B是对左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的y方向的角度[°]的灵敏度的一例进行表示的坐标图。
图26是对RGB的每种的色像差的一例进行表示的图。
图27是作为摄像装置的其他实施方式的智能电话的外观图。
图28是对智能电话的主要部分构成进行表示的框图。
具体实施方式
以下，利用附图，对本发明所涉及的图像处理装置及方法、以及摄像装置的实施方式进行说明。
[摄像装置]
图1和图2是分别对本发明所涉及的摄像装置的实施方式进行表示的立体图和后视图。该摄像装置10是由摄像元件接受通过透镜后的光并转换为数字信号而记录于记录介质的数码相机，是能够拍摄单眼3D图像和2D图像的单眼3D摄像装置。
如图1所示的那样，摄像装置10在其正面配置有摄影透镜(摄影光学系统)12、闪光灯1等，在上表面配置有快门按钮2、电源/模式开关3、模式拨盘4等。另一方面，如图2所示的那样，在照相机背面，配置3D显示用的3D液晶监视器30、变焦按钮5、十字按钮6、菜单/OK按钮7、再生按钮8、和返回按钮9等。
摄影透镜12由伸缩式的变焦透镜构成，利用电源/模式开关3将照相机的模式设定为摄影模式，从而从照相机主体伸出。闪光灯1主要面向被摄体照射闪光灯光。
快门按钮2由所谓‘半按压’和‘全按压’构成的2段行程式的开关构成。摄像装置10以摄影模式进行驱动时，通过对该快门按钮2进行‘半按压’，而使AE/AF(自动露出调整/自动合焦)动作，通过进行‘全按压’而执行摄影。另外，摄像装置10在由摄影模式进行驱动时，通过‘全按压’该快门按钮2，而执行摄影。
电源/模式开关3兼具作为将摄像装置10的电源置于接通/断开的电源开关的功能、和作为对摄像装置10的模式进行设定的模式开关的功能。电源/模式开关3配置成在‘断开位置’、‘再生位置’、和‘摄影位置’之间滑动自如。摄像装置10使电源/模式开关3滑动而与‘再生位置’或‘摄影位置’一致，从而使得电源成为接通，通过与‘断开位置’一致，而使电源成为断开。并且，通过使电源/模式开关3滑动而与‘再生位置’一致，而设定为‘再生模式’，通过与‘摄影位置’一致而设定为‘摄影模式’。
模式拨盘4作为对摄像装置10的摄影模式进行设定的摄影模式设定单元而发挥功能。利用该模式拨盘4的设定位置，将摄像装置10的摄影模式设定为各种各样的模式。例如，进行平面图像(2D图像)的摄影的‘平面图像摄影模式’，进行立体图像(3D图像)的摄影的‘立体图像摄影模式’，进行动态画面摄影的‘动态画面摄影模式’等。
3D液晶监视器30是能够将立体视图像(左眼图像和右眼图像)作为因为视差栅栏而分别具有预定的指向性的指向性图像而显示的立体显示单元。在将立体视图像输入到3D液晶监视器30的情况下，使3D液晶监视器30的视差栅栏显示层产生由光透过部和光遮蔽部交替地以预定的间距并排的图案构成的视差栅栏，并且在其下层的图像显示面交替地排列而显示对左右的像进行表示的长条状的图像断片。在作为平面图像、用户界面显示面板而利用的情况下，在视差栅栏显示层什么也不显示，在其下层的图像显示面原样显示1张的图像。另外， 3D液晶监视器30的形态不限于此，如果将左眼图像和右眼图像作为立体图像而能够识别地进行显示，则也可以通过使用双凸透镜、偏光眼镜、液晶快门眼镜等专用眼镜而对左眼图像和右眼图像个别地进行观察。
变焦按钮5作为对变焦进行指示的变焦指示单元而发挥功能，由对向望远侧的变焦进行指示的望远按钮5T、和对向广角侧的变焦进行指示的广角按钮5W构成。摄像装置10在摄影模式时，通过对该望远按钮5T和广角按钮5W进行操作，而使得摄影透镜12的焦距变化。另外，在再生模式时，通过对该望远按钮5T和广角按钮5W进行操作，而使得再生中的图像放大、缩小。
十字按钮6是输入上下左右这4方向的指示的操作部，作为从菜单画面选择项目或根据各菜单指示各种设定项目的选择的按钮(光标移动操作单元)而发挥功能。左/右键作为再生模式时的彗差馈送(顺方向/逆方向馈送)按钮而发挥功能。
菜单/OK按钮7是兼具如下功能的操作键：即作为用于进行在3D液晶监视器30的画面上显示菜单的指令的菜单按钮的功能、和作为对选择内容的确定和执行等进行指令的OK按钮的功能。
再生按钮8是用于将所摄影记录的立体图像(3D图像)、平面图像(2D图像)的静止画面或动态画面在3D液晶监视器30上显示的再生模式的按钮。
返回按钮9作为对输入操作的消除、返回一个前的操作状态进行指示的按钮而发挥功能。
[摄像装置的内部结构]
图3是对上述摄像装置10的内部结构的实施方式进行表示的框 图。该摄像装置10将所拍摄的图像记录于存储器卡54，因此装置整体的动作由中央处理装置(CPU)40统一控制。
在摄像装置10设置包含快门按钮2、模式拨盘4、再生按钮8、菜单/OK按钮7、十字按钮6、变焦按钮5、返回按钮9的操作部38。来自该操作部38的信号被输入到CPU40，CPU40基于输入信号对摄像装置10的各电路进行控制，例如，进行透镜驱动控制、光圈驱动控制(光圈驱动部34的控制)、摄影动作控制(CCD控制部32等的控制)、图像处理控制、图像数据的记录/再生控制、3D液晶监视器(LCD)30的显示控制等。
若利用电源/模式开关3将摄像装置10的电源接通，则从未图示的电源部向各模块送电，开始摄像装置10的驱动。
通过摄影透镜12、光圈14等后的光束在作为相位差图像传感器的摄像元件16(摄像单元、图像取得单元)上成像，在摄像元件16蓄积信号电荷。
在此，摄像元件16能够对应于离焦量而取得视差不同的左眼图像和右眼图像(单眼3D图像)，并能够通过对左眼图像和右眼图像进行加算，而也能够取得2D图像。另外，针对摄像元件16的详细留作后述。另外，该实施方式的摄像元件16是CCD图像传感器，但是不限于此，也可以是CMOS(Complementary Metal Oxide Semiconductor)型的图像传感器。
蓄积于摄像元件16的左眼图像和右眼图像的信号电荷基于从定时发生器(未图示)施加的读出信号而作为与信号电荷对应的电压信号而读出。从摄像元件16读出的电压信号被施加于模拟信号处理部18。
模拟信号处理部18以针对从摄像元件16输出的电压信号减轻相 关二重采样处理(以减轻摄像元件的输出信号中所包含的噪声(特别是热噪声)等为目的，采取摄像元件的每1像素的输出信号中所包含的穿通(feedthrough)成分电平和像素信号成分电平的差而得到正确的像素数据的处理)，对各像素每个的R(赤)、G(绿)、B(蓝)信号进行采样保持，施加在放大后的A/D转换器20上。A/D转换器20将顺次输入的R、G、B信号转换为数字的R、G、B信号而输出到图像输入控制器22上。
数字信号处理部24针对经由图像输入控制器22而输入的数字的图像信号，进行偏置处理、包含白平衡校正、灵敏度校正的增益/控制处理、伽玛校正处理、去马赛克算法处理、YC处理、边缘强调处理等预定的信号处理。
另外，数字信号处理部24具备：取得左眼图像和右眼图像的对应的像素间的视差的视差取得单元；从取得的视差创建视差映射的视差映射取得单元；以及根据所取得的左眼图像、右眼图像(第一单眼3D图像)和差映射，使单眼3D图像的视差量和模糊量这两方联动而变更从而生成期望的左眼图像和右眼图像(第二单眼3D图像)的滤波处理单元等。另外，针对在摄像时从取得的第一单眼3D图像生成期望的第二单眼3D图像的图像处理方法的详细留作后述。
由数字信号处理部24处理后的2D或3D的图像数据输入到VRAM(Video Random Access Memory：视频随机访问存储器)50。在VRAM50，包含分别对表示1画面量的2D或3D的图像的图像数据进行记录的A区域和B区域。VRAM50中，将表示1彗差量的2D或3D的图像的图像数据以A区域和B区域交替地进行擦写。VRAM50的A区域和B区域中，从对图像数据进行擦写的一方的区域以外的区域，读出所写入的图像数据。
从VRAM50读出的2D或3D的图像数据在视频编码器28中进行 编码，被输出到设置于照相机背面的3D液晶监视器30。由此，2D或3D的被摄体像连续地在3D液晶监视器30的显示画面上显示。
若存在操作部38的快门按钮2的第一阶段的按下(半按压)，则摄像元件16开始AF动作和AE动作，经由透镜驱动部36使摄影透镜12的聚焦透镜沿光轴方向移动，以聚焦透镜到达合焦位置的方式进行控制。
AF处理部42是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，对左眼图像和右眼图像的至少一方的图像的中的预定的聚焦区域内的图像的高频成分进行提取，通过对该高频成分进行积分而算出表示合焦状态的AF评价值。在该AF评价值极大的透镜位置使摄影透镜12内的聚焦透镜移动而进行AF控制(对比度AF)。
CPU40根据来自变焦按钮5的变焦指令而经由透镜驱动部36使摄影透镜12的变焦透镜沿光轴方向进退动作，使焦距变更。
另外，在快门按钮2的半按压时从A/D转换器20输出的图像数据被取入到AE检测部44。
AE检测部44中，对画面整体的G信号进行积算，或对在画面中央部和周边部附加了不同的权重后的G信号进行积算，并将其积算值输出到CPU40。CPU40利用从AE检测部44输入的积算值，算出被摄体的明亮度(摄影Ev值)，并基于该摄影EV值，利用预定的程序线图确定光圈14的F值和摄像元件16的电子快门(快门速度)。
另外，图3中，46是用于对摄影视场角内的人物的脸进行检测并将包含该脸的区域作为AF区域、AE区域而设定的公知的脸检测电路(例如，日本特开平9-101579号公报)。
另外，47是除了存储照相机控制程序、摄像元件16的缺陷信息、使用于图像处理等的各种的参数和/或表外，还存储用于生成本发明所涉及的第二单眼3D图像的图像处理程序、为了生成第二单眼3D图像而使用的第一和第二半月滤波组(第一、第二数字滤波组)、用于将第一单眼3D图像转换为第二单眼3D图像的第一、第二转换滤波组、作为第一和第二半月滤波组的逆滤波的第一、第二逆滤波组等的ROM(Read Only Memory：只读存储器)或EEPROM(Electronically Erasable and Programmable Read Only Memory：带电可擦写可编程只读存储器)(数字滤波存储单元、转换滤波存储单元、逆滤波存储单元)。另外，针对本发明所涉及的图像处理程序、滤波组等的详细留作后述。
若通过快门按钮2的半按压而使得AE动作和AF动作结束，且存在快门按钮的第二阶段的按下(全按压)，则将对该按下进行应答而从A/D转换器20输出的图像数据从图像输入控制器22输入到存储器(SDRAM：Synchronous Dynamic Random Access Memory：同步动态随机访问存储器)48，并暂时性地进行存储。
在存储器48暂时性地存储的图像数据由数字信号处理部24适当读出，在此，进行包含去马赛克处理(同时化处理；对与原色滤波的排列相伴的色信号的空间性的偏差进行插补而将色信号转换为同时式的处理)、边缘强调的图像处理、以及YC处理(图像数据的亮度数据和色差数据的生成处理)的预定的信号处理。YC处理后的图像数据(YC数据)再次被存储到存储器48。
存储于存储器48的YC数据被输出到压缩扩展处理部26，执行JPEG(Joint Photographic Experts Group：联合图像专家小组)等的预定的压缩处理后，再次存储于存储器48。从存储于存储器48的YC数据(压缩数据)生成图像文件，该图像文件由介质/控制器52读出，并记录于可在摄像装置10上装拆的记录介质(例如，存储器卡)54。
上述结构的摄像装置10具备在3D图像的摄像或再生时从所拍摄的3D图像(第一单眼3D图像)生成期望的3D图像(第二单眼3D图像)的图像处理功能，但是除此以外的部分与以往的摄像装置相同。
[第一、第二数字滤波组(第一、第二半月滤波组)]
接下来，针对适用了本发明所涉及的图像处理方法的单眼3D图像、和第一、第二数字滤波组(第一、第二半月滤波组)，参照图4和图5进行说明。
图4是表示在透镜被焦点调整到物体a的前面的状态下对比焦点位置更靠近前的物体(点光源)如何进行摄影的图，表示利用通常的摄像元件200而拍摄的图像、和利用特殊的摄像元件(单眼3D用的摄像元件)16而拍摄的左眼图像和右眼图像。另外，图4中的摄像元件200和16分别表示从被摄体侧观察的受光面。
摄像元件200中，分别以矩阵状排列的奇数列的像素(称作主像素、A面像素)和偶数列的像素(称作副像素、B面像素)分别沿水平垂直方向以每半间距偏移而配置。由A面像素构成的图像(A面图像)和由B面像素构成的图像(B面图像)分别具有拜尔排列的滤色器。能够从这些A面图像和B面图像生成1张的高分辨率的图像。另外，与摄像元件200的A面像素、B面像素对应而设置的光所入射的开口形成于各像素的中央。另外，在各像素中设置未图示的微透镜。
从摄像元件200得到的比焦点位置更靠近前的点光源的图像成为后焦点，成为与其模糊量相当的直径的圆。
另一方面，摄像元件16中，在A面像素形成的开口和在B面像素形成的开口分别沿左右方向偏倚。在A面像素入射通过透镜的左侧的区域的光，在B面像素入射通过透镜的右侧的区域的光。
由上述结构的单眼3D用的摄像元件16的A面像素构成的图像(A面图像)成为左眼图像，由B面像素构成的图像(B面图像)成为右眼图像。
比从摄像元件16得到的焦点位置更靠近前的点光源的图像成为后焦点，左眼图像和右眼图像分别成为具有与其模糊量相当的直径的半月状。并且，半月状的左眼图像的重心和右眼图像的重心的偏移量成为点光源的图像的视差量。即，如果摄像元件16的特性(每角度的灵敏度)等已知，则可知比焦点位置更靠近前的点光源的图像是相对于点光源卷积了何种左眼用和右眼用的滤波(前述的第一数字滤波和第二数字滤波)。另外，上述第一数字滤波和第二数字滤波成为半月状，以后称作‘第一半月滤波和第二半月滤波’。
另外，图5A示出了左眼图像和右眼图像相对于经由图4所示的透镜而入射到单眼3D用的摄像元件16的光的x方向的角度[°]的灵敏度的一例，图5B示出了左眼图像和右眼图像相对于y方向的角度[°]的灵敏度的一例。
如图5A所示的那样，左眼图像和右眼图像相对于x方向的角度[°]的灵敏度以角度零为中心而成为大致对称，并且灵敏度的峰值位置偏移。另外，如图5B所示的那样，左眼图像和右眼图像相对于y方向的角度[°]的灵敏度一致，灵敏度的峰值位置到达角度零。
若将图5A和图5B所示的x方向和y方向的灵敏度特性相乘，则如图5C所示的那样，得到入射到摄像元件16的光的x方向和y方向的每个角度的灵敏度特性。另外，图5C表示与摄像元件16的左眼图像对应的灵敏度特性。
接下来，如图5D所示的那样，假定仅与点像的模糊量对应的某直 径R的范围的光射到摄像元件16，若将角度换算为摄像元件16的x轴(横方向)、y轴(纵方向)的坐标，则左右的半月滤波的重心间距离(即视差ΔD)和半月滤波的直径R分别能够由下式所表达。
[数学式1]
ΔD=ρ(F)|Lo-L|f2(Lo-f)L]]>
[数学式2]
R=|Lo-L|f2(Lo-f)LF]]>
在此，[数学式1]和[数学式2]中，如图6所示的那样，将实焦距设为f[mm]，将光圈值设为F，将到达合焦位置的合焦距离设为Lo[mm]，将到达被摄体的距离设为L[mm]。另外，ΔD能够使用F的函数ρ(F)，由相对于R的预定的比表达。因此，如果ΔD已知，则可知R的值、当前进行了何种半径/分布的半月滤波。
图7的(a)部和(b)部分别是半月滤波和图6的摄像面近旁的放大图。另外，图6和图7中所示的数学式能够由透镜的公式、和几何性的关系导出。
另外，在算出半月滤波的滤波系数的情况下，如图8所示的那样，若将某坐标设为(Px,Py)，将光向该坐标(Px,Py)的入射角设为(θx,θy)，则关于以下的[数学式3]所示的(x,y)，求出[数学式4]所示的(θx,θy)。
[数学式3]
x2+y2≤(|Lo-L|f22(Lo-f)LF)2]]>
[数学式4]
(θx,θy)=(180πtan-1(2(Lo-f)(L-f)Pxf2|Lo-L|),180πtan-1(2(Lo-f)(L-f)Pyf2|Lo-L|))]]>
基于由[数学式4]所求得的入射角(θx,θy)，通过代入图5C所示的每个角度的灵敏度特性，而算出半月滤波的滤波系数。此时，优选的是，通过将各滤波系数除以滤波系数的总而对滤波系数进行标准化。
如上述的那样，针对每个视差ΔD而创建左右的半月滤波，与视差ΔD附加关联而存储于ROM(EEPROM)47。虽然优选的是，预先在外部进行半月滤波的创建，将所创建的半月滤波存储于ROM47，但是也可以在数字信号处理部24内创建并存储于ROM47。
另外，[数学式1]中，视差ΔD由绝对值所表达，但是比合焦距离Lo更靠近前的物体的视差和比合焦距离Lo更靠向里侧的物体的视差的视差方向(符号)相反。因此，针对每个视差的大小和视差方向而创建左右的半月滤波，存储于ROM47。
图9A和图9B表示分别存储于ROM47的、分别与左眼图像和右眼图像有关的每个视差ΔD的半月滤波(第一、第二半月滤波组)的一例。
[转换滤波]
接下来，针对用于将由摄像装置10所拍摄的具有视差的左眼图像 和右眼图像(第一单眼3D图像)转换为期望的左眼图像和右眼图像(第二单眼3D图像)的转换滤波进行说明。
如图10所示的那样，在第一单眼3D图像的摄像时的焦距是f的情况下，作为第二单眼3D图像，设为由焦距f的n倍的焦距(n×f)的摄影透镜进行摄像的情况下而得到的图像。
基于预先存储于ROM47的半月滤波(与焦距f对应的第一、第二半月滤波)和焦距(n×f)，算出所述[数学式1]和[数学式2]所示的视差ΔD和直径R分别成为n的平方倍的与第二单眼3D图像对应的半月滤波(第三、第四半月滤波)。即，算出第一、第二半月滤波的n的平方倍的相似形的第三、第四半月滤波。
在此，如图10所示的那样将在第一单眼3D图像的左眼图像上施加的第一半月滤波设为T_L(x,y)，将对第一半月滤波T_L(x,y)进行傅立叶变换后的结果设为T_Lf(ω_x,ω_y)。另一方面，将在第二单眼3D图像的左眼图像所应该施加的第三半月滤波设为T_LW(x,y)，将对第三半月滤波T_LW(x,y)进行傅立叶变换后的结果设为T_LWf(ω_x,ω_y)。该情况下，针对视差ΔD的左眼图像的每个像素，由下式算出应该在实空间卷积的滤波(以下，称作‘转换滤波’)
[数学式5]
F^-1(T_Lf(ω_x,ω_y)^-1·T_LWf(ω_x,ω_y))的振幅成分，
其中，F^-1：傅立叶逆变换。
对应于存储于每个视差的第一半月滤波而算出该转换滤波(第一转换滤波)。也同样算出使用于第二单眼3D图像的右眼图像的转换的第二转换滤波。
另外，优选的是，如果决定期望的第二单眼3D图像，则预先根据 视差而算出与第一、第二半月滤波组对应的第一、第二转换滤波组。
使用如此算出的第一、第二转换滤波组，将第一单眼3D图像转换为第二单眼3D图像。即，针对第一单眼3D图像的左眼图像、右眼图像的每个像素，使用与该像素的视差ΔD对应的第一转换滤波和第二转换滤波而进行滤波处理，从而针对第一单眼3D图像的像素间的每个视差，生成将该视差量和模糊量这两者联动转换后的第二单眼3D图像。
＜由本发明所设计的半月滤波的实施方式＞
关于在第一单眼3D图像上施加何种半月滤波时，如何设计在期望的第二单眼3D图像所应该施加的半月滤波，存在各种各样的指针。在以下所示的实施方式中，设计与使焦距为2倍的情况下、使光圈的F值为一半的情况下、使摄像元件尺寸为1.5倍的情况下的视差量和模糊量相当那样的半月滤波。
[使焦距为2倍时的半月滤波]
图11A表示在某视差ΔD的第一单眼3D图像的左眼像素上施加的第一半月滤波，图11B表示使摄影透镜的焦距f为2倍的情况下而得到的第二单眼3D图像的、与所述第一半月滤波对应的第三半月滤波。
如图11B所示的那样，将第三半月滤波设计为视差ΔD和直径R分别成为4倍的与第一半月滤波成相似形的滤波。这是因为如下原因：通过将2f代入[数学式1]和[数学式2]中的f，从而使得视差ΔD和直径R分别成为4(＝2×2)倍。
由此，期望的第二单眼3D图像的视差ΔD被放大4倍，同时与视差对应的模糊量(直径R)也被放大4倍。
[使光圈的F值为一半(1/2)时的半月滤波]
图12A表示在某视差ΔD的第一单眼3D图像的左眼像素上施加的第一半月滤波，图12B表示使光圈14的F值为一半的情况下而得到的第二单眼3D图像的与所述第一半月滤波对应的第三半月滤波。
如图12B所示的那样，第三半月滤波的由F值的函数ρ(F)所表达的视差ΔD成为ρ(0.5F)/ρ(F)倍，直径R成为2倍。
由此，期望的第二单眼3D图像的视差ΔD被放大到ρ(0.5F)/ρ(F)倍，同时，与视差对应的模糊量(直径R)被放大到2倍。
[将摄像元件尺寸设为1.5倍时的半月滤波]
图13A表示在某视差ΔD的第一单眼3D图像的左眼像素上施加的第一半月滤波，图13B表示使摄像元件尺寸为1.5倍的情况下得到的第二单眼3D图像的与所述第一半月滤波对应的第三半月滤波。
如图13B所示的那样，将第三半月滤波设计为视差ΔD和直径R分别成为2.25倍的与第一半月滤波成相似形的滤波。若摄像元件尺寸成为1.5倍，则实质上与焦距f成为1.5倍相当。因此，在[数学式1]和[数学式2]中的f中代入1.5f，从而使得视差ΔD和直径R分别成为2.25(＝1.5×1.5)倍。
由此，期望的第二单眼3D图像的视差ΔD被放大2.25倍，同时与视差对应的模糊量(直径R)也被放大为2.25倍。
[期望的单眼3D图像(第二单眼3D图像)的指定单元]
接下来，针对根据实际所拍摄的第一单眼3D图像生成期望的第二单眼3D图像的情况下的对期望的第二单眼3D图像进行指示的指示单元(用户界面)进行说明。
单眼3D图像的摄像或再生时，从实际所拍摄的第一单眼3D图像生成期望的第二单眼3D图像时，对摄像装置10的菜单/OK按钮7等进行操作，在3D液晶监视器30的菜单设定画面上，选择从基于本发明的第一单眼3D图像生成第二单眼3D图像的功能。
利用该功能的选择，3D液晶监视器30的画面过渡到图14的(a)部所示的那样对焦距、F值、或摄像元件尺寸进行选择的画面。在此，通过十字按钮6的上下键进行操作，能够对焦距、F值、或摄像元件尺寸的其中任一个进行选择。
在选择了焦距、F值、或摄像元件尺寸的其中任一个后，如果对菜单/OK按钮7进行操作，则3D液晶监视器30的画面过渡到图14的(b)部所示的那样对所选择的项目的倍率进行设定的画面。另外，在图14的(b)部，示出了对使该焦距f相对于第一单眼3D图像的摄像时的焦距f为几倍进行设定的画面。
在该画面显示时，通过对十字按钮6的上下键进行操作，使数字上下(updown)，从而能够选择任意的倍率。倍率的选择后，若对菜单/OK按钮7进行操作，则所选择的倍率确定，并且过渡到图14的(a)部所示的画面。
如此，通过对焦距、F值、或摄像元件尺寸的其中任何一个或多个进行倍率的设定，能够对从第一单眼3D图像生成的期望的第二单眼3D图像进行指定。
另外，作为对期望的第二单眼3D图像进行指定的用户界面，不限于该实施方式，也能够考虑各种的实施方式，例如，在3D液晶监视器30具有对基于触摸操作的指示输入进行受理的触摸面板的情况下，也可以设计为，通过触摸面板上的操作而对期望的单眼3D图像进行指 定。
＜图像处理装置＞
接下来，对根据由摄像装置10所摄影的原始的第一单眼3D图像、或从存储器卡54读出的原始的第一单眼3D图像，生成期望的第二单眼3D图像的图像处理装置(主要相当于数字信号处理部24、CPU40、ROM47)进行说明。
以下所示的第一实施方式至第三实施方式中，分别从第一单眼3D图像生成的第二单眼3D图像是相同的，但是预先存储的滤波的种类和运算内容相异。
[第一实施方式]
图15是对本发明所涉及的图像处理装置的第一实施方式进行表示的主要部分框图。
图15中，摄像装置10的数字信号处理部24具有滤波处理部240-1。滤波处理部240-1具备卷积运算部242、244、转换滤波计算部246、和半月滤波计算部248。
原始的第一单眼3D图像的左眼图像100L、右眼图像100R分别被加到卷积运算部242、244。在卷积运算部242、244的其他的输入中加上由转换滤波计算部246算出的第一转换滤波F_L、第二转换滤波F_R，卷积运算部242、244分别通过进行2输入的卷积运算，而生成使左眼图像100L、右眼图像100R的对应的2个像素的视差量和模糊量联动而变更后的期望的第二单眼3D图像的左眼图像120L、右眼图像120R的对应的2个像素。
在此，转换滤波计算部246如以下所示的那样算出左眼图像100L、右眼图像100R的对应的2个的像素的视差量，和在第二单眼3D图像 上施加的与所设计的半月滤波对应的第一转换滤波F_L、第二转换滤波F_R，并将这些输出到卷积运算部242、244。
CPU40遍及画面整体算出与原始的第一单眼3D图像的左眼图像100L和右眼图像100R对应点彼此的像素的偏移(视差)，并创建对与画面位置对应的视差进行表示的视差映射130。
优选的是，左眼图像100L和右眼图像100R的对应点(特征点)，采用在左眼图像100L和右眼图像100R的图像间其特征能够唯一地特定的所有的点。
左眼图像100L和右眼图像100R的图像间特征一致的特征点的检测中，例如能够适用区块匹配法。区块匹配法对从左眼图像100L和右眼图像100R中的一方的图像(左眼图像100L)将任意像素按照基准切分后的预定的区块尺寸的区块、和另一方的图像(右眼图像100R)的区块的一致度进行评价，将区块间的一致度成为最大时的右眼图像100R的区块的基准的像素设为与左眼图像100L的任意像素对应的右眼图像100R的像素。
作为对区块匹配法中的区块间的一致度进行评价的函数，存在利用例如各区块内的像素的亮度差的平方和(SSD)的函数(SSD模块匹配法)。
并且，能够通过对表示右眼图像100R的像素的位置和右眼图像100R上的对应的像素的像素间的偏移量和偏移方向的视差(偏移方向能够由正负表示)进行求取，而创建视差映射130。另外，视差映射130的创建也可以由数字信号处理部24进行。
半月滤波存储部470是对在原始的左眼图像100L、右眼图像100R上施加的与视差对应的第一半月滤波、第二半月滤波(图9A和图9B 等所示的第一、第二半月滤波组)进行存储的部分，与ROM47的一部分的存储部对应。
半月滤波计算部248算出用于在期望的第二单眼3D图像的左眼图像120L、右眼图像120R施加的第三、第四半月滤波组，且从半月滤波存储部470输入第一、第二半月滤波组，并且，输入与由包含操作部38的用户界面所指示的向期望的第二单眼3D图像的转换特性对应的信息(第二单眼3D图像的焦距f、F值，或摄像元件尺寸相对于第一单眼3D图像的摄像时的焦距f、F值，或摄像元件尺寸的倍率)，基于这些输入的第一、第二半月滤波组和与向第二单眼3D图像的转换特性相关的信息，算出第三、第四半月滤波组(图11A～图13B参照)。
转换滤波计算部246基于从半月滤波存储部470输入的第一、第二半月滤波组和由半月滤波计算部248算出的第三、第四半月滤波组，利用前述的[数学式5]，针对每个视差ΔD算出第一、第二转换滤波。在此，优选的是，将所算出的每个视差ΔD的第一、第二转换滤波(第一、第二转换滤波组)暂时存储于未图示的内部存储器。
转换滤波计算部246从视差映射130取得左眼图像100L的任意像素和与该像素对应的右眼图像100R的像素的视差，从预先算出并存储的第一、第二转换滤波组取得与该取得的视差对应的第一、第二转换滤波，并将第一、第二转换滤波分别输出到卷积运算部242、244。
卷积运算部242通过进行以左眼图像100L的任意像素为基准的、和第一转换滤波相同内核尺寸的多个像素与第一转换滤波的卷积运算，从而算出与任意像素对应的左眼图像120L上的像素，同样，卷积运算部244通过进行以与左眼图像100L的任意像素对应的右眼图像100R的对应像素为基准的、和第二转换滤波相同内核尺寸的多个像素与第二转换滤波的卷积运算，而算出右眼图像100R的对应像素的左眼图像120L上的像素。
原始的第一单眼3D图像的左眼图像100L基于右眼图像100R的所有的对应像素，进行上述滤波处理，从而能够生成第二单眼3D图像的左眼图像120L、右眼图像120R。
[第二实施方式]
图16是对本发明所涉及的图像处理装置的第二实施方式进行表示的主要部分框图。
另外，图16中，针对与图15共通的部分附加相同的符号，省略其详细的说明。
图16中，摄像装置10的数字信号处理部24具有滤波处理部240-2。滤波处理部240-2具备卷积运算部242、244，和转换滤波读出部250。
转换滤波存储部472是对与由第一实施方式的转换滤波计算部246算出的第一、第二转换滤波组相同的第一、第二转换滤波组进行存储的部分，与ROM47的一部分的存储部对应。优选的是，该转换滤波存储部472预先对多个种类(与能够由用户界面指定的向期望的第二单眼3D图像的转换特性对应的信息别的多个种类)的第一、第二转换滤波组进行存储。另外，能够利用与第一实施方式的转换滤波计算部246的外部设备等算出这些的第一、第二转换滤波组，并将其算出结果存储于转换滤波存储部472。
转换滤波读出部250从转换滤波存储部472读出适当的第一、第二转换滤波F_L、F_R，分别输出到卷积运算部242、244，且将与由包含操作部38的用户界面所指示的向期望的第二单眼3D图像的转换特性对应的信息输入，并且从视差映射130输入视差。
转换滤波读出部250基于与向期望的第二单眼3D图像的转换特性 对应的信息而从存储于转换滤波存储部472的多个种类的第一、第二转换滤波组决定所使用的第一、第二滤波组。另一方面，从视差映射130取得左眼图像100L的任意像素和与该像素对应的右眼图像100R的像素的视差，从所述决定的第一、第二滤波组读出与该取得的视差对应的第一、第二的转换滤波，将读出的第一、第二转换滤波分别输出到卷积运算部242、244。
根据第二实施方式，由于设计为预先在转换滤波存储部472存储多个种类的第一、第二转换滤波组，因此能够省略用于算出第一、第二转换滤波组的运算处理，但是作为转换滤波存储部472需要存储容量大的存储器。
[第三实施方式]
图17是对本发明所涉及的图像处理装置的第三实施方式进行表示的主要部分框图。
另外，图17中，对于与图15共通的部分附加相同的符号而省略其详细的说明。
图17中，摄像装置10的数字信号处理部24具有滤波处理部240-3。滤波处理部240-3具备进行卷积运算的第一运算部260、262，第二运算部264、266，逆滤波读出部268，和半月滤波计算部248。
转换滤波如[数学式5]所示的那样，具有F^-1(T_Lf(ω_x,ω_y)^-1·T_LWf(ω_x,ω_y))的振幅成分的滤波系数。基于该转换滤波的滤波处理能够分为基于F^-1(T_Lf(ω_x,ω_y)^-1)的卷积运算、和基于F^-1(T_LWf(ω_x,ω_y))的卷积运算。
前者的F^-1(T_Lf(ω_x,ω_y)^-1)是第一半月滤波的逆滤波，后者的F^-1(T_LWf(ω_x,ω_y))是第三半月滤波。
第三实施方式中，针对左眼图像100L、右眼图像100R的对应的每个像素，进行施加与视差对应的第一、第二逆滤波的第一运算，针对该运算结果进行施加第三、第四半月滤波的第二运算。第一运算是指生成消除了原始的第一单眼3D图像的视差和模糊后的模糊消除图像，第二运算是指针对模糊消除图像施加与从入射到摄影透镜12光到转换为期望的第二单眼3D图像的转换特性对应的、每个视差的第三、第四半月滤波从而生成左眼图像120L、右眼图像120R。
逆滤波存储部474是对从存储于半月滤波存储部470的第一、第二半月滤波组算出的第一、第二逆滤波组进行存储的部分，与ROM47的一部分的存储部对应。能够从第一、第二半月滤波组利用外部设备等算出第一、第二逆滤波组，并将其算出结果存储于逆滤波存储部474。
逆滤波读出部268从视差映射130取得左眼图像100L的任意像素和与该像素对应的右眼图像100R的像素的视差，并从逆滤波存储部474读出作为与该取得的视差对应的第一、第二半月滤波的逆滤波的第一、第二逆滤波，分别输出到第一运算部260、262。
第一运算部260进行以左眼图像100L的任意像素为基准的、和第一逆滤波相同内核尺寸的多个像素与第一逆滤波的卷积运算。同样，第二运算部262进行以与左眼图像100L的任意像素对应的右眼图像100R的对应像素为基准的、和第二逆滤波相同内核尺寸的多个像素与第二逆滤波的卷积运算。将这些运算结果(将模糊等消除后模糊消除图像)分别输出到第二运算部264、266。
在第二运算部264、266的其他的输入中加上在由半月滤波计算部248算出的第三、第四半月滤波组中的与由视差映射130得到的当前视差对应的第三、第四半月滤波，第二运算部264、266通过进行由第一运算部260、262所算出的模糊消除图像和第三、第四半月滤波的卷积 运算，而算出左眼图像120L、右眼图像120R上的各像素。
根据第三实施方式，与第一实施方式相比不需要第一、第二转换滤波组的算出，因此能够实现运算处理的高速化。另外，根据第三实施方式，需要存储第一、第二逆滤波组，与需要存储多个种类的第一、第二转换滤波组的第二实施方式相比，能够使逆滤波存储部474的存储容量较小。
另外，由第一运算部260、262算出的模糊消除图像变得相同。为此，优选的是，仅使用左眼图像100L、右眼图像100R的其中任一方而生成模糊消除图像，将所生成的模糊消除图像分别输出到第二运算部264、266。
[第三、第四半月滤波以外的实施方式]
从图11A到图13B所示的实施方式中，将在第一单眼3D图像上施加的第一、第二半月滤波放大缩小为相似形，而设计与期望的第二单眼3D图像对应的第三、第四半月滤波，但是也能够与第一、第二半月滤波无关系地设计第三、第四半月滤波。
图18A表示在某视差ΔD的第一单眼3D图像的左眼像素上施加的第一半月滤波，图18B表示变化单眼3D用的摄像元件的灵敏度特性时而得到的第二单眼3D图像的、与所述第一半月滤波对应的第三半月滤波。
如图18B所示的那样，第三半月滤波中，虽然模糊量(直径R)没有变化，但是灵敏度特性与不同的摄像元件对应，因此F的函数ρ(F)变化为函数ρ'(F)。其结果为，即使第三半月滤波与第一半月滤波的模糊量(直径R)相同，也能够赋予不同的视差ΔD。
另外，作为灵敏度特性不同的摄像元件，能够假定理想性的摄像 元件，例如，虽然根据图5A所示的左眼图像和右眼图像的灵敏度特性产生与入射角对应的串扰，但是也能够设计与没有串扰的灵敏度特性的摄像元件对应的第三、第四半月滤波。
图19的(a)部分别表示在某视差ΔD的第一单眼3D图像的左眼像素上施加的第一、第二半月滤波，图19的(b)部分别表示与第一、第二半月滤波对应的第三、第四滤波。
图11A和图11B、图12A和图12B、图13A和图13B、以及图18A和图18B所示的实施方式中，为了避免重影发生，将作为目标的滤波设为半月滤波，但是在模糊较大的情况下等，人眼中难以进行像素彼此的对应的情况下(难以进行立体视的情况下)，优选的是，使由人眼看上去比较自然更加优先于重影发生的回避。
图19的(b)部所示的第三、第四滤波分别为圆形且具有其中心的滤波系数最高的点对称的滤波系数。
如图19的(b)部所示的那样，利用以圆形的第三、第四滤波为目标的滤波，能够使模糊为圆形，即使在模糊的口径较大的情况下等也能够生成自然的能够立体视的图像。另外，计算方法等作为目标的滤波与半月滤波时同样。
[从一个第一单眼3D图像生成多个第二单眼3D图像的方法]
接下来，针对从一个原始的第一单眼3D图像生成多个第二单眼3D图像的情况下的实施方式进行说明。
图20A和图20B是分别表示从原始的第一单眼3D图像生成多个第二单眼3D图像的情况下的2组的过程(通常过程和计算时间短缩版过程)的概念图。
图20A所示的通常过程与图15所示的第一实施方式相当。通常过程中，设计为，视差强调等的程度在生成不同的第二单眼3D图像的每次，针对第一单眼3D图像，进行在实空间中卷积转换滤波的计算处理([数学式5]所示的运算)。该通常的过程中，为了与多个期望的第二单眼3D图像对应而分别算出转换滤波，因此需要多次进行转换滤波的计算处理，计算量变多。
图20B所示的计算时间短缩版过程与图17所示的第三实施方式相当。计算时间短缩版过程中，首先，生成从原始的第一单眼3D图像消除了视差和模糊后的模糊消除图像。能够通过在第一单眼3D图像的左眼图像或右眼图像上施加作为第一半月滤波或第二半月滤波的逆滤波的第一逆滤波或第二逆滤波，而生成该模糊消除图像。
第一逆滤波是将[数学式5]中的前级的F^-1(T_Lf(ω_x,ω_y)^-1)的振幅成分设为滤波系数的滤波。由于该逆滤波的算出运算仅1次即可、或者逆滤波是第一单眼3D图像中固有的滤波，因此能够通过预先运算并存储从而省略逆滤波的运算。
接下来，针对一个模糊消除图像施加分别与多个第二单眼3D图像对应的第三、第四半月滤波。第三半月滤波是将[数学式5]中的后段的F^-1(T_LWf(ω_x,ω_y))的振幅成分设为滤波系数的滤波，能够通过将第一半月滤波放大为相似形而得到。
根据图20B所示的计算时间短缩版过程，与图20A所示的通常过程相比，转换滤波的算出变得不必要，能够缩短计算时间。特别是在生成视差连续地变化的多数的第二单眼3D图像，作为视差连续地变化的3D动态画面而被显示的情况下较为有效。
＜第一、第二半月滤波的正确的把握＞
在原始的单眼3D图像上施加的第一、第二半月滤波，如图9A和 图9B所示那样对应于视差而滤波尺寸不同，除视差以外还依存于各种的参数。
以下，所示的实施方式中，对第一、第二半月滤波正确地进行把握，并实现以此为基础而生成的期望的图像的画质的改善。
[与像高对应的第一、第二半月滤波]
如图21所示的那样，半月滤波的形状对应于像高而不同。即，在原始的单眼3D图像上施加的第一、第二半月滤波在像高零(图像中心)中，如果摄像元件的灵敏度特性左右对称，则如图9A和图9B所示的那样成为左右对称。光瞳分割方向中的像高较高的位置中，第一、第二半月滤波的左右对称性变化，第一、第二半月滤波的形状例如成为由通过从圆的中心沿左右方向偏移的位置的直线而将圆分割为2个后的形状。
以下，针对第一、第二半月滤波因像高而发生变化的理由进行说明。
如图22A和图22B所示的那样，画面中央的物体中的入射角和画面端部的物体中的入射角不同，例如相对于画面中央的物体中的入射角是-15°～15°，画面端部的物体中的入射角成为-7°～23°。
由此，如图23所示的那样，与画面中央的物体中的左眼图像和右眼图像的入射角特性成为左右对称相对，画面端部的物体中的左眼图像和右眼图像的入射角特性不成为左右对称。其结果为，相对于画面中央(像高零)的物体中的第一、第二半月滤波成为左右对称，画面端部(像高较高的位置)的物体中的第一、第二半月滤波在形状方面产生差异。
因此，优选的是，预先对与像高对应的第一、第二半月滤波进行 求取。并且，在从原始的第一单眼3D图像向期望的第二单眼3D图像的转换时，使用与滤波处理的对象的像素的像高对应的第一、第二半月滤波。
由此，能够消除由像高引起的像的形状差异的影响，实现画质的改善。
[与光圈的开口形状对应的第一、第二半月滤波]
图24A和图24B表示由4张的光圈叶片构成的透镜的光圈，图24C和图24D表示由6张的光圈叶片构成的透镜的光圈。
图24A和图24C分别表示将透镜的光圈全开后的开放光圈的状态，该光圈开口的形状成为圆形。并且，若使图24A所示的透镜的光圈从开放光圈收缩，则如图24B所示的那样光圈开口成为四边形。若将图24C所示的透镜的光圈从开放光圈收缩，则图24D所示的那样光圈开口成为六边形。
模糊的形依赖于光圈的形状。在如开放光圈的那样光圈开口是圆形的情况下，点像以圆形模糊，将此在左右进行光瞳分割的单眼3D图像上模糊为半月状(图4参照)。
因此，优选的是，第一、第二半月滤波与单眼3D图像的摄像时的光圈的开口形状对应。即，在如图24A和图24C所示的那样光圈开口的形状是圆形的情况下，第一、第二半月滤波设为半月状。另一方面，在如图24B所示的那样光圈开口的形状是四边形的情况下，第一、第二半月滤波设为三角形，在如图24D所示的那样光圈开口的形状是六边形的情况下，设为将六边形左右2分割后的形状。
即，按照每个光圈级数把握光圈的形状，第一、第二半月滤波适用于与单眼3D图像的摄像时的光圈的开口形状一致的滤波。另外，透 镜的光圈的开口形状不限于该实施方式，存在各种的形状，有时也成为星型的光圈。
如此，通过使用与光圈的开口形状一致的第一、第二半月滤波，能够消除由光圈的开口形状引起的像的形状差异的影响，并能够实现画质的改善。
[与三原色的颜色对应的第一、第二半月滤波]
图25A和图25B分别是对左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的x方向的角度[°]的灵敏度、以及左眼图像和右眼图像相对于y方向的角度[°]的灵敏度的一例进行表示的坐标图。
左眼图像和右眼图像相对于x方向的角度[°]的灵敏度对于赤(R)、绿(G)、蓝(B)这三原色的每种颜色不同。
如图5中所说明的那样，左眼图像和右眼图像相对于入射到单眼3D用的摄像元件的光的角度的灵敏度而求取第一、第二半月滤波，但是由于对于RGB的每种灵敏度不同，因此优选为针对RGB的每中求取第一、第二半月滤波。
数字信号处理部24(滤波处理部)中，使用对于原始的单眼3D图像分别针对RGB的每种而求得的第一、第二半月滤波，针对RGB的每种生成期望的单眼3D图像。上述RGB的每种的滤波处理可以在与摄像元件16的滤色器排列对应的RGB数据(RAW数据)的阶段进行，也可以设计为针对去马赛克算法处理后的RGB数据而进行。
由此，能够消除RGB的每种的像的形状差异的影响，实现画质的改善。
另外，在如上述的那样针对RGB的每种求取在原始的单眼3D图像上施加的第一、第二半月滤波的情况下，期望的单眼3D图像上所应该施加的第三、第四半月滤波并非是将RGB的每种的第一、第二半月滤波放大为相似形后的滤波，优选设为与RGB共通(例如G像素用)的第三、第四半月滤波。
由此，能够对各色的重心偏移(视差)进行校正，并能够消除RGB的每种的像的形状差异的影响，实现画质的改善。
[与色像差对应的图像处理]
透镜通常具有称作轴上色像差的像差。图26表示RGB的每种的色像差的一例。
在是该色像差较大的透镜的情况下，若由RGB的特定的一色或从RGB信号生成的亮度信号算出原始的单眼3D图像的视差ΔD，则同一距离上的被摄体的偏离，对于每种颜色其视差ΔD会成为不同的结果。
因此，针对RGB的每种把握其视差ΔD，创建RGB每种的视差映射。数字信号处理部24(滤波处理部)中，对于原始的单眼3D图像分别针对RGB的每种颜色信号进行处理，在生成将视差放大了的期望的单眼3D图像时使用的视差映射使用针对每种颜色所生成的视差映射。并且，使用与每种RGB对应的视差映射而生成期望的单眼3D图像。
由此，能够在期望的单眼3D图像的生成时消除RGB的每种的色像差的影响，并能够实现画质的改善。
另外，优选的是，在对于原始的单眼3D图像分别针对RGB的每个色信号进行处理时，使用前述的那样RGB的每种的第一、第二半月滤波，在期望的单眼3D图像所应该施加的第三、第四半月滤波设为 RGB共通(例如G像素用)的第三、第四半月滤波。
作为摄像装置10的其他的实施方式，例如能够列举出具有照相机功能的手机、智能电话、PDA(Personal Digital Assistants：个人数字助理)、便携式型游戏机。以下，以智能电话为例进行列举，并参照图面详细地进行说明。
＜智能电话的结构＞
图27是对作为摄像装置10的其他的实施方式的智能电话500的外观进行表示的图。图27所示的智能电话500具有平板状的壳体502，并具备在壳体502的一方的面作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备扬声器531、麦克风532、操作部540、和照相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独立的结构，或具有折叠构造、滑动单元的结构。
图28是对图27所示的智能电话500的结构进行表示的框图。如图28所示的那样，作为智能电话的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、照相机部541、存储部550、外部入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590、和主控制部501。另外，作为智能电话500的主要的功能，具备进行经由基站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510利用主控制部501的指示，而相对于收纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据和/或流数据等的接收。
显示输入部520是通过主控制部501的控制而对图像(静止画面 像和动态图像)、文字信息等进行显示从而视觉地向用户传递信息并且对与所显示的信息对应的用户操作进行检测的所谓的触摸面板，具备显示面板521和操作面板522。优选的是，在欣赏所生成的3D图像的情况下，显示面板521是3D显示面板。
显示面板521是将LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电致发光显示器)等作为显示装置而使用的器件。操作面板522对显示面板521的显示面上所显示的图像可视觉认知地进行载置，是对由用户的指、尖笔进行操作的1个或多个坐标进行检测的装置。若利用用户的指、尖笔对该装置进行操作，则将因为操作而产生的检测信号输出到主控制部501。接下来，主控制部501基于所接收的检测信号，对显示面板521上的操作位置(坐标)进行检测。
虽然如图27所示的那样智能电话500的显示面板521和操作面板522成为一体而构成显示输入部520，但是操作面板522成为对显示面板521完全地进行覆盖那样的配置。在采用该配置的情况下，操作面板522也可以对于显示面板521以外的区域也具有对用户操作进行检测功能。换言之，操作面板522也可以具备关于与显示面板521重合的重叠部分的检测区域(以下，称作显示区域)、和关于与此以外的显示面板521不重合的外边缘部分的检测区域(以下，称作非显示区域)。
另外，虽然也可以使显示区域的大小和显示面板521的大小完全一致，但是也没有必要必须使两者一致。另外，操作面板522也可以具备外边缘部分、和除此以外的内侧部分这2个感应区域。此外，根据壳体502的大小等而适当设计外边缘部分的宽度。此外，另外，作为由操作面板522所采用的位置检测方式，能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、和静电电容方式等，也能够采用其中任一种方式。
通话部530具备扬声器531和麦克风532，将通过麦克风532而输入的用户的声音转换为能够由主控制部501处理的声音数据而输出到主控制部501，对利用无线通信部510或外部入输出部560接收的声音数据进行解码而从扬声器531输出。另外，如图27所示的那样，例如，能够将扬声器531安装在与设置有显示输入部520的面相同的面，并将麦克风532安装在壳体502的侧面。
操作部540是使用键开关等的硬件键，是对来自用户的指示进行受理的器件。例如，如图28所示的那样是如下那样的按压按钮式的开关：操作部540安装在智能电话500的壳体502的显示部的下部、下侧面，若利用手指等按下则成为接通，若使手指离开则通过弹簧等的恢复力而成为断开状态。
存储部550对如下内容进行存储：即主控制部501的控制程序和/或控制数据；包含用于生成将本发明所涉及的视差放大缩小后的期望的单眼3D图像的图像处理程序的应用软件；第一、第二半月滤波组；第一、第二转换滤波组；第一、第二逆滤波组；与通信对方的名称、电话号码等附加对应后的地址数据；所发送接收的电子邮件的数据；利用Web浏览下载的Web数据；以及所下载的内容数据，并且对流数据等暂时性地进行存储。另外，存储部550由智能电话内置的内部存储部551和具有装拆自如的外部存储器插槽的外部存储部552所构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(hard disk type)、多媒体卡微型(multimedia card micro type)、卡型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory：随机访问存储器)、ROM(Read Only Memory：只读存储器)等的存储介质而实现。
外部入输出部560起到与智能电话500连结的所有的外部设备的界面的作用，用于通过通信等(例如，通用串行总线(USB)，IEEE1394 等)、或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association(红外数据协会)：IrDA)(注册商标)，UWB(Ultra Wideband：超宽带)(注册商标)，紫蜂(ZigBee)(注册商标)等)与其他的外部设备直接或间接地连接。
作为与智能电话500连结的外部设备，例如具有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储器卡(Memory card)、SIM(Subscriber Identity Module Card：用户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、音频/视频I/O(Input/Output)端子而连接的外部音频/视频机器、无线连接的外部音频/视频设备、有线/无线连接的智能电话、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部入输出部设计为能够将从这种外部设备受理了传送后的数据传递到智能电话500的内部的各结构要素，并能够将智能电话500的内部的数据传送到外部设备。
GPS接收部570利用主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号接收，执行基于所接收的多个GPS信号的测位运算处理，对该智能电话500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部入输出部560(例如无线LAN)取得位置信息时，也能够使用该位置信息对位置进行检测。
运动传感器部580，例如由于具备3轴的加速度传感器等，因此能够利用主控制部501的指示对智能电话500的物理性的移动进行检测。通过对智能电话500的物理性的移动进行检测，能够检测智能电话500的移动方向、加速度。并能够将该检测结果输出到主控制部501。
电源部590利用主控制部501的指示向智能电话500的各部供给 存储于蓄电池(未图示的)的电力。
主控制部501具备微处理器，利用存储部550所存储的控制程序、控制数据而动作，对智能电话500的各部总括地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
利用存储部550所存储的应用软件使得主控制部501动作从而实现应用处理功能。作为应用处理功能，例如，具有：对外部入输出部560进行控制而与对置的机器进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能、和从本发明所涉及的2D图像生成3D图像的功能等。
另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止画面像、动态图像的数据)而将映射在显示输入部520显示的、等图像处理功能。所谓图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理从而将图像在显示输入部520上显示的功能。
此外，主控制部501执行针对显示面板521的显示控制和对通过操作部540、操作面板522后的用户操作进行检测的操作检测控制。
利用显示控制的执行，主控制部501对用于启动应用软件的图标、滚动条等的软件键进行显示，或显示用于创建电子邮件的窗口。另外，所谓滚动条，是指对于没有完全收纳到显示面板521的显示区域的较大的图像等用于对使图像的显示部分移动的指示进行受理的软件键。
另外，通过操作检测控制的执行，主控制部501对经由操作部540的用户操作进行检测，对经由操作面板522针对上述图标的操作、针对上述窗口的输入栏的文字列的输入进行受理，或者对经由滚动条的 显示图像的滚动请求进行受理。
此外，通过操作检测控制的执行，主控制部501具备对针对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的与显示面板521不重叠的外边缘部分(非显示区域)进行判定，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501对针对操作面板522的手势操作进行检测，根据所检测的手势操作，能够执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹对多个位置同时进行指定、或将这些组合而从多个位置针对至少一个描绘轨迹的操作。
照相机部541使用CMOS(Complementary Metal Oxide Semiconductor：互补性金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合设备)等摄像元件进行电子摄影的数码相机，具备与图3的框图所示的功能同等的功能。另外，照相机部541能够利用主控制部501的控制，将由摄像所得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group：联合图像专家小组)等的压缩后的图像数据，记录于存储部550，或经由外部输入输出部560、无线通信部510而输出。在图27所示的智能电话500中，将照相机部541安装于与显示输入部520相同的面，但是照相机部541的安装位置不限于此。也可以将照相机部541安装于显示输入部520的背面，或者安装多个照相机部541。另外，在安装多个照相机部541的情况下，能够通过对提供摄影的照相机部541进行切换而单独地进行摄影，或同时使用多个照相机部541而进行摄影。
另外，照相机部541能够用于智能电话500的各种功能。例如，能够在显示面板521显示由照相机部541取得的图像，和/或作为操作 面板522的操作输入的一个能够利用照相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够对来自照相机部541的图像进行参照而对位置进行检测。此外，也能够参照来自照相机部541的图像，不使用3轴的加速度传感器或与3轴的加速度传感器并用，而判断智能电话500的照相机部541的光轴方向、和/或判断当前的使用环境。不用说，也能够在应用软件内利用来自照相机部541的图像。
此外，能够在静止画面或动态画面的图像数据附加由GPS接收部570取得的位置信息、由麦克风532取得的声音信息(也可以利用主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580取得的姿势信息等而记录于存储部550，或者也能够通过外部入输出部560、无线通信部510而输出。
[其他]
本发明不限于根据原始的单眼3D图像的静止画面创建期望的3D的静止画面的情况，在从单眼3D图像的动态画面生成期望的3D的动态画面的情况下也能够适用。
另外，摄像装置10、智能电话500包含对2D图像、单眼3D图像进行摄像并且从实际摄像的原始的单眼3D图像生成期望的3D图像的本发明所涉及的图像处理装置，但是本发明不限于此。例如，在利用外部设备、通信取得原始的单眼3D图像，从所取得的单眼3D图像生成期望的3D图像的图像处理装置(例如个人计算机、数位板PC等)中也能够适用本发明。该情况下，需要另行取得在原始的单眼3D图像上施加的第一、第二半月滤波组的信息等。
另外，本实施方式中，为了从原始的单眼3D图像得到期望的3D图像而进行实空间区域中的空间滤波，但是也可以进行频率区域中的频率滤波。
此外，本发明不限于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种的变形是不言自明的。
符号说明
10…摄像装置，12…摄影透镜，14…光圈，16…摄像元件，24…数字信号处理部，30…3D液晶监视器，40…中央处理装置(CPU)，47…ROM(EEPROM)，48…存储器，100L，120L…左眼图像，100R，120R…右眼图像，130…视差映射，240-1，240-2，240-3…滤波处理部，242、244…卷积运算部，246…转换滤波计算部，248…半月滤波计算部，250…转换滤波读出部，260、262…第一运算部，264、266…第二运算部，268…逆滤波读出部，470…半月滤波存储部，472…转换滤波存储部，474…逆滤波存储部，500…智能电话