三维摄像装置、摄像元件、透光部、及图像处理装置.pdf

本发明提供一种三维摄像装置，其包括：具有第1透光区域(1L)及第2透光区域(1R)的透光部(1)；具有多个单位块的摄像元件(2a)；成像部(3)；以及基于从摄像元件(2a)输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示第1透光区域(1L)的分光透过率的函数表示为TL(λ)、将表示第2透光区域(1R)的分光透过率的函数表示为TR(λ)、将表示第1种像素的分光透过率的函数表示为T1(λ)、将表示第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。

权利要求书一种三维摄像装置，具备：
透光部，其具有第1透光区域及第2透光区域；
摄像元件，其配置为接受透过了所述透光部的光，该摄像元件在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块；
成像部，其在所述摄像元件的摄像面上形成像；以及
图像处理部，其基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像，
对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，
TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，
TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。
根据权利要求1所述的三维摄像装置，其中，
TL(λ)＝T1(λ)且TR(λ)＝T2(λ)成立。
根据权利要求2所述的三维摄像装置，其中，
TL(λ)、TR(λ)、T1(λ)、T2(λ)为周期函数。
根据权利要求1～3中任一项所述的三维摄像装置，其中，
所述第1种像素包括第1感光单元、及与所述第1感光单元对置配置的第1透过滤光器，
所述第2种像素包括第2感光单元、及与所述第2感光单元对置配置的第2透过滤光器，
T1(λ)是表示所述第1透过滤光器的分光透过率的函数，
T2(λ)是表示所述第2透过滤光器的分光透过率的函数。
根据权利要求4所述的三维摄像装置，其中，
各单位块还包括第3种像素及第4种像素，
所述第3种像素包括第3感光单元、及与所述第3感光单元对置配置且有选择地使第1颜色成分的光透过的第3透过滤光器，
所述第4种像素包括第4感光单元、及与所述第4感光单元对置配置且有选择地使第2颜色成分的光透过的第4透过滤光器，
所述图像处理部利用从所述第3种像素及所述第4种像素输出的光电变换信号来生成颜色信息。
根据权利要求1～3中任一项所述的三维摄像装置，其中，
所述第1种像素包括多个感光单元、及与所述多个感光单元各自对置配置且分光透过率特性互不相同的多个透过滤光器，
所述第2种像素包括一个感光单元、及与所述一个感光单元对置配置的一个透过滤光器，
T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，
T2(λ)是表示所述第2种像素所包含的所述一个透过滤光器的分光透过率的函数。
根据权利要求6所述的三维摄像装置，其中，
所述第1种像素所包含的所述多个透过滤光器构成为有选择地使互不相同的颜色成分的光透过。
根据权利要求7所述的三维摄像装置，其中，
所述第1种像素所包含的所述多个感光单元的个数及所述多个透过滤光器的个数均为3个，
在所述多个透过滤光器之中，构成为：第1透过滤光器有选择地使红色的颜色成分的光透过，第2透过滤光器有选择地使绿色的颜色成分的光透过，第3透过滤光器有选择地使蓝色的颜色成分的光透过。
根据权利要求1～3中任一项所述的三维摄像装置，其中，
所述第1种像素具有多个感光单元、及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，
所述第2种像素具有多个感光单元、及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，
T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，
T2(λ)是表示所述第2种像素所包含的所述多个透过滤光器的分光透过率的总和的函数。
根据权利要求9所述的三维摄像装置，其中，
所述第1及第2种像素均具有第1～第N感光单元、及与所述第1～第N感光单元分别对置配置的第1～第N透过滤光器，其中N为3以上的整数，
所述第1种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使第1～第N颜色成分的光透过，
所述第2种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使所述第1～第N颜色成分的光透过，
所述第1种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性和所述第2种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性不同，其中i为1～N的整数。
根据权利要求10所述的三维摄像装置，其中，
N＝3，
所述第1～第3颜色成分分别为红色、绿色、蓝色。
根据权利要求1～11中任一项所述的三维摄像装置，其中，
所述图像处理部基于从所述第1及第2种像素输出的所述信号来生成彩色多视点图像。
根据权利要求1～12中任一项所述的三维摄像装置，其中，
该三维摄像装置还具有对从所述摄像元件输出的信号进行保存的记录部，
所述图像处理部基于所述记录部所保存的所述信号来生成所述多视点图像。
一种摄像元件，其被利用于权利要求1～13中任一项所述的三维摄像装置中。
一种透光部，其被利用于权利要求1～13中任一项所述的三维摄像装置中。
一种图像处理装置，其基于从三维摄像装置输出的信号来生成图像，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值，其中，
该图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。

说明书三维摄像装置、摄像元件、透光部、及图像处理装置
技术领域
本申请涉及利用一个光学系统与一个摄像元件来生成多视点图像的单眼式三维摄像技术。
背景技术
近年来，利用了CCD或CMOS等固体摄像元件(以下有时称为“摄像元件”。)的数码相机或数码放映机的高功能化、高性能化令人瞠目结舌。尤其是，由于半导体制造技术的进步，固体摄像元件中的像素构造的微细化也正在发展。结果，实现了固体摄像元件的像素及驱动电路的高集成化。因而，在短短的几年之间，摄像元件的像素数从100万像素左右显著地增加为1000万像素以上。进而，通过摄像而得的图像的质量也飞跃地提高。另一方面，对于显示装置而言，借助薄型的由液晶或等离子构成的显示器，不占地方且高分辨率，从而高对比度的显示成为可能，实现了较高的性能。这种影像的高品质化的趋势从二维图像向三维图像扩展。最近，虽然需要偏光眼镜，但正在开始开发高画质的三维显示装置。
对于三维摄像技术而言，作为具有简单构成的典型的方式，有以下的方式：利用由2台照相机构成的摄像系统而分别取得右眼用的图像及左眼用的图像。在这种所谓的双眼摄像方式中，由于利用的是2台照相机，故摄像装置变得大型，成本也会升高。因而，正在研究利用一台照相机来取得具有视差的多个图像(以下有时称为“多视点图像”。)的方式(单眼摄像方式)。
例如，在专利文献1中公开了利用透过轴的方向互相正交的2枚偏光板和旋转的偏光滤光器的方式。图13是表示基于该方式的摄像系统的构成的示意图。摄像装置具备：0度偏光的偏光板11、90度偏光的偏光板12、反射镜13、半反射镜14、圆形的偏光滤光器15、使圆形的偏光滤光器15旋转的驱动装置16、光学透镜3、取得由光学透镜成像的像的摄像装置9。在此，半反射镜14将透过偏光板11后被反射镜13反射的光反射，使透过偏光板12之后的光透过。根据以上的构成，分别透过被配置于互相分离开的场所的偏光板11、12之后的光经由半反射镜14、圆形的偏光滤光器15、及光学透镜3，然后入射到摄像装置9，由此可取得图像。该方式中的摄像原理为：通过使圆形的偏光滤光器15旋转，从而以各自的定时捕捉入射到2枚偏光板11、12的每一枚中的光，取得具有视差的2个图像。
然而，在上述方式中，由于一边使圆形的偏光滤光器15旋转、一边拍摄因时间分割而不同位置的图像，故存在无法同时取得具有视差的2个图像的课题。再有，由于利用机械式驱动，故在耐久性方面会存在问题。而且，由于利用偏光板11、12及偏光滤光器15来接受全部的入射光，故也存在摄像装置9接受的光量(受光量)也会下降50％以上的课题。
与上述方式相对，在专利文献2中公开了不利用机械式驱动而同时取得具有视差的2个图像的方式。基于该方式的摄像装置利用反射镜将从2个入射区域入射的光聚光，通过用2种偏光滤光器交替地排列而成的摄像元件进行受光，从而不利用机械式驱动部就能取得具有视差的2个图像。
图14是表示该方式的摄像系统的构成的示意图。该摄像系统具有：透过轴的方向互相正交的2个偏光板11、12；反射镜13；光学透镜3；以及摄像元件2。摄像元件2在其摄像面上具备多个像素10、与像素一一对应地配置的偏光滤光器17、18。偏光滤光器17、18在所有像素上交替地排列。在此，偏光滤光器17、18的透过轴的朝向分别和偏光板11、12的透过轴的朝向一致。
根据以上的构成，入射光透过偏光板11、12并被反射镜13反射，通过光学透镜3之后入射到摄像元件1的摄像面。分别透过偏光板11、12之后入射到摄像元件1的光，分别透过偏光滤光器17、18，然后被与偏光滤光器17、18对置的像素进行光电变换。在此，若将由分别通过偏光板11、12后入射到摄像元件1的光而形成的图像分别称为右眼用图像、左眼用图像，则右眼用图像、左眼用图像分别由与偏光滤光器17、18对置的像素组而得到。
如此，在专利文献2所公开的方式中，不再利用专利文献1所公开的旋转的圆形的偏光滤光器，而是在摄像元件的像素上交替地配置透过轴的方向互相正交的2种偏光滤光器。由此，与专利文献1的方式相比，虽然分辨率会下降到1/2，但利用一个摄像元件可同时取得具有视差的右眼用图像与左眼用图像。然而，在该技术中，也与专利文献1的技术同样，由于入射光透过偏光板及偏光滤光器之际光量会减少，故摄像元件的受光量大幅度减少。
针对摄像元件的受光量下降这一问题，在专利文献3中公开了以一个摄像元件可取得具有视差的多个图像和通常图像的技术。根据该技术，通过在取得具有视差的2个图像时和取得通常图像时机械式替换构成要素的一部分，从而利用一个摄像元件就能取得具有视差的2个图像和通常图像。取得具有视差的2个图像之际，在光路上配置2个偏光滤光器这一点和专利文献2所公开的技术相同。另一方面，取得通常图像之际，以机械的方式从光路取下偏光滤光器。通过采用这种机构，从而可获得具有视差的多个图像和光利用率高的通常图像。
在上述的专利文献1～3所公开的方式中，虽然利用的是偏光板或偏光滤光器，但作为其他探讨，也有利用滤色器的方式。例如，在专利文献4中公开了利用滤色器来同时取得具有视差的2个图像的方式。图15是示意地表示专利文献4所公开的摄像系统的图。摄像系统具备：透镜3、透镜光圈19、配置了透过波段不同的2个滤色器20a、20b的光束限制板20、感光薄膜21。在此。滤色器20a、20b例如是分别使红色系、蓝色系的光透过的滤光器。
根据以上的构成，入射光透过透镜3、透镜光圈19、及光束限制板20之后在感光薄膜上成像。此时，在光束限制板20中的2个滤色器20a、20b中，分别只透过红色系、蓝色系的光。结果，在感光薄膜上可形成由分别透过了这2个滤色器的光构成的品红色系的颜色的像。在此，由于滤色器20a、20b的位置不同，故在感光薄膜上形成的像会产生视差。在此，若根据感光薄膜来制作照片，并使用将红色薄膜及蓝色薄膜分别作为右眼用及左眼用而粘贴在一起的眼镜，则可观看具有纵深感的图像。如此，根据专利文献4所公开的技术，可使用2个滤色器来生成多视点图像。
专利文献4所公开的技术可在感光薄膜上成像来制作具有视差的多个图像，而专利文献5中公开了将具有视差的图像变换为电信号来取得的技术。图16是示意地表示该技术中的光束限制板的图。在该技术中，利用的是在与摄像光学系统的光轴垂直的平面上设置有透过红色光的R区域22R、透过绿色光的G区域22G、透过蓝色光的B区域22B的光束限制板22。通过用具有红色用的R像素、绿色用的G像素、蓝色用的B像素的彩色摄像元件来接受透过了这些区域的光，从而可取得由透过了各区域的光形成的图像。
再有，专利文献6也公开了利用与专利文献5同样的构成来取得具有视差的多个图像的技术。图17是示意地表示专利文献6所公开的光束限制板的图。在该技术中，也可通过使入射光透过被设于光束限制板23上的R区域23R、G区域23G、B区域23B，来制作具有视差的图像。
专利文献7也同样地公开了利用相对于光轴对称地配置且颜色互不相同的一对滤光器来生成具有视差的多个图像的技术。作为一对滤光器而利用红色的滤光器及蓝色的滤光器，由此探测红色光的R像素观测透过红色滤光器后的光，探测蓝色光的B像素观测透过蓝色滤光器后的光。由于红色滤光器与蓝色滤光器的位置不同，故R像素所接受的光的入射方向和B像素所接受的光的入射方向互不相同。结果，用R像素观测到的图像和用B像素观测到的图像成为视点互不相同的图像。通过按照每个像素从这些图像中求取对应点，从而可计算视差量。根据计算出的视差量和照相机的焦点距离信息，可求取从照相机到被摄体为止的距离。
专利文献8公开了根据利用光圈而取得的2个图像来求取被摄体的距离信息的技术，这些光圈安装了口径尺寸互不相同的2枚滤色器(例如红色与蓝色)，或者将颜色不同的2枚滤色器相对于光轴而安装于左右对称的位置上。该技术中，在观测分别透过口径尺寸互不相同的红色及蓝色的滤色器后的光的情况下，按每种颜色观测到的模糊程度是不同的。因而，与红色及蓝色的滤色器分别对应的2个图像根据被摄体的距离而成为模糊程度不同的图像。通过从这些图像中求取对应点并对模糊的程度进行比较，从而可获得从照相机到被摄体为止的距离信息。另一方面，在观测分别透过相对于光轴而被安装到左右对称的位置上且颜色不同的2枚滤色器之后的光的情况下，按每种颜色观测到的入射光的方向是不同的。因而，与红色及蓝色的滤色器分别对应的2个图像就成为具有视差的图像。通过从这些图像中求取对应点并求取对应点间的距离，从而可获得从照相机到被摄体为止的距离信息。
根据上述的专利文献4～8所示出的技术，通过在光束限制板上配置RGB的滤色器，从而可生成具有视差的图像。然而，由于利用了光束限制板，故入射光量会减少。再有，为了提高视差的效果，需要将RGB的滤色器配置到互相分离开的位置上，缩小这些部件的面积，但这样一来入射光量会进一步减少。
针对以上的技术，在专利文献9中公开了可利用配置有RGB的滤色器的光圈来获得具有视差的多个图像和在光量上没有问题的通常图像的技术。在该技术中，在闭合了光圈的状态下仅接受透过RGB滤色器的光，在打开了光圈的状态下从光路中剔除RGB的滤色器区域，因此可将入射光全部接受。由此，在闭合了光圈的状态下可取得具有视差的图像、而在打开了光圈的状态下可获得光利用率高的通常图像。
在先技术文献
专利文献
专利文献1：JP特开昭62‑291292号公报
专利文献2：JP特开昭62‑217790号公报
专利文献3：JP特开2001‑016611号公报
专利文献4：JP特开平2‑171737号公报
专利文献5：JP特开2002‑344999号公报
专利文献6：JP特开2009‑276294号公报
专利文献7：JP特开2010‑38788号公报
专利文献8：JP特开2010‑79298号公报
专利文献9：JP特开2003‑134533号公报
发明内容
‑发明所要解决的技术问题‑
根据现有技术，虽然可生成多视点图像，但由于利用的是偏光板或滤色器，故入射到摄像元件的光量有所减少。为了确保入射光量，需要将偏光部分或滤色器区域从光路上剔除的机构，在现有技术中不利用那种机构则无法同时获得多视点图像和光利用率高的图像。
本发明的实施方式提供一种不利用机械式驱动就能够取得光利用率高的多视点图像的摄像技术。
用于解决技术问题的方案
为了解决上述课题，本发明的一形态涉及的三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；在所述摄像元件的摄像面形成像的成像部；以及基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。
本发明的一形态涉及的摄像元件被利用于上述的三维摄像装置中。
本发明的一形态涉及的透光部被利用于上述的三维摄像装置中。
本发明的一形态涉及的图像处理装置基于从三维摄像装置输出的信号来生成图像，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过了所述透光部的光且在摄像面上排列有各自包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部。在此，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数表示为TL(λ)、将表示所述第2透光区域的分光透过率的函数表示为TR(λ)、将表示所述第1种像素的分光透过率的函数表示为T1(λ)、将表示所述第2种像素的分光透过率的函数表示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。所述图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。
上述的一般且特定的形态可利用系统、方法、及计算机程序来安装，或者能够利用系统、方法及计算机程序的组合来实现。
‑发明效果‑
根据本发明的实施方式，通过利用具有透过率比现有的滤色器更高的多个透光区域的透光部，从而不利用机械式驱动就能生成光利用率高的多视点图像。
附图说明
图1是示意地表示透光部及摄像元件的单位块的一例的图。
图2A是表示2个透光区域的分光透过率特性的一例的曲线图。
图2B是表示2个透过滤光器的分光透过率特性的一例的曲线图。
图3是表示透光部及摄像元件的单位块的其他例的图。
图4是表示示例性的实施方式1中的摄像装置的整体构成的框图。
图5是表示示例性的实施方式1中的透光板、光学透镜、及摄像元件的概略构成的示意图。
图6是示例性的实施方式1中的透光板的主视图。
图7是示例性的实施方式1中的摄像元件的基本色构成图。
图8是表示示例性的实施方式1中的透光板的分光透过率特性的图。
图9是示例性的实施方式2中的摄像元件的基本色构成图。
图10是示例性的实施方式3中的摄像元件的基本色构成图。
图11是表示示例性的实施方式3中的摄像元件的颜色要素的分光透过率特性的图。
图12是表示示例性的实施方式3中的透光板的分光透过率特性的图。
图13是专利文献1中的摄像系统的构成图。
图14是专利文献2中的摄像系统的构成图。
图15是专利文献4中的摄像系统的构成图。
图16是专利文献5中的光束限制板的外观图。
图17是专利文献6中的光束限制板的外观图。
具体实施方式
本发明的示例性的实施方式的概要如下所述。
(1)本发明的一形态涉及的三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；被配置为接受透过所述透光部之后的光的摄像元件，该摄像元件在摄像面上排列有分别包括第1种像素及第2种像素的多个单位块；在所述摄像元件的摄像面上形成像的成像部；以及基于从所述第1种像素及所述第2种像素输出的光电变换信号来生成多视点图像的图像处理部。对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数示为TL(λ)、将表示所述第2透光区域的分光透过率的函数示为TR(λ)、将表示所述第1种像素的分光透过率的函数示为T1(λ)、将表示所述第2种像素的分光透过率的函数示为T2(λ)时，TL(λ)≠TR(λ)且T1(λ)≠T2(λ)成立，TL(λ)、TR(λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。
(2)在一实施方式中，TL(λ)＝T1(λ)TR(λ)＝T2(λ)成立。
(3)在项目(2)所述的三维摄像装置的某一形态中，TL(λ)、TR(λ)、T1(λ)、T2(λ)为周期函数。
(4)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素包括第1感光单元及与所述第1感光单元对置配置的第1透过滤光器，所述第2种像素包括第2感光单元及与所述第2感光单元对置配置的第2透过滤光器，T1(λ)是表示所述第1透过滤光器的分光透过率的函数，T2(λ)是表示所述第2透过滤光器的分光透过率的函数。
(5)在项目(4)所述的三维摄像装置的某一形态中，各单位块还包括第3种像素及第4种像素，所述第3种像素包括第3感光单元及与所述第3感光单元对置配置且有选择地使第1颜色成分的光透过的第3透过滤光器，所述第4种像素包括第4感光单元及与所述第4感光单元对置配置且有选择地使第2颜色成分的光透过的第4透过滤光器，所述图像处理部利用从所述第3种像素及所述第4种像素输出的光电变换信号来生成颜色信息。
(6)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素包括：多个感光单元；以及与所述多个感光单元的每一个对置配置且分光透过率特性互不相同的多个透过滤光器，所述第2种像素包括：一个感光单元；以及与所述一个感光单元对置配置的一个透过滤光器，T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，T2(λ)是表示所述第2种像素所包含的所述一个透过滤光器的分光透过率的函数。
(7)在项目(6)所述的三维摄像装置的某一形态中，所述第1种像素所包含的所述多个透过滤光器构成为有选择地使互不相同的颜色成分的光透过。
(8)在项目(7)所述的三维摄像装置的某一形态中，所述第1种像素所包含的所述多个感光单元的个数及所述多个透过滤光器的个数均为3个，构成为：所述多个透过滤光器之中第1透过滤光器有选择地使红颜色成分的光透过、第2透过滤光器有选择地使绿颜色成分的光透过、第3透过滤光器有选择地使蓝颜色成分的光透过。
(9)在项目(1)～(3)中任一项所述的三维摄像装置的某一形态中，所述第1种像素具有：多个感光单元；以及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，所述第2种像素具有：多个感光单元；以及与所述多个感光单元对置配置且分光透过率特性互不相同的多个透过滤光器，T1(λ)是表示所述第1种像素所包含的所述多个透过滤光器的分光透过率的总和的函数，T2(λ)是表示所述第2种像素所包含的所述多个透过滤光器的分光透过率的总和的函数。
(10)在项目(9)所述的三维摄像装置的某一形态中，所述第1及第2种像素均具有：第1～第N(N为3以上的整数)感光单元；以及分别与所述第1～第N感光单元对置配置的第1～第N透过滤光器，所述第1种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使第1～第N颜色成分的光透过，所述第2种像素所包含的所述第1～第N透过滤光器构成为分别有选择地使所述第1～第N颜色成分的光透过，所述第1种像素所包含的第i(i为1～N为止的整数)透过滤光器的所述第i颜色成分中的分光透过率特性和所述第2种像素所包含的第i透过滤光器的所述第i颜色成分中的分光透过率特性是不同的。
(11)在项目(10)所述的三维摄像装置的某一形态中，N＝3，所述第1～第3颜色成分分别为红色、绿色、蓝色。
(12)在项目(1)～(11)中任一项所述的三维摄像装置的某一形态中，所述图像处理部基于从所述第1及第2种像素输出的所述信号来生成彩色的多视点图像。
(13)在项目(1)～(12)中任一项所述的三维摄像装置的某一形态中，还具有保存从所述摄像元件输出的信号的记录部，所述图像处理部基于所述记录部所保存的所述信号来生成所述多视点图像。
(14)本发明的一形态涉及的摄像元件被利用于项目(1)～(13)中任一项所述的三维摄像装置中。
(15)本发明的一形态涉及的透光部被利用于项目(1)～(13)中任一项所述的三维摄像装置中。
(16)本发明的一形态涉及的图像处理装置是基于从三维摄像装置输出的信号来生成图像的图像处理装置，该三维摄像装置具备：具有第1透光区域及第2透光区域的透光部；配置为接受透过所述透光部之后的光且在摄像面上排列有分别包括第1种像素及第2种像素的多个单位块的摄像元件；以及在所述摄像元件的摄像面形成像的成像部。在此，对于可见光的波长λ而言，在将表示所述第1透光区域的分光透过率的函数示为TL (λ)、将表示所述第2透光区域设为分光透过率的函数示为TR (λ)、将表示所述第1种像素的分光透过率的函数示为T1(λ)、将表示所述第2种像素的分光透过率的函数示为T2(λ)时，TL (λ)≠TR (λ)且T1(λ)≠T2(λ)成立，TL (λ)、TR (λ)、T1(λ)、T2(λ)在红色、绿色、蓝色的各波段内均分别具有至少1个极大值及极小值。所述图像处理装置基于从所述第1及第2种像素输出的光电变换信号来生成多视点图像。
以下，在对本发明的具体实施方式进行说明之前，首先简单地说明本发明的实施方式中的基本原理。在以下的说明中，有时将表示图像的信号或者信息仅称为“图像”。
本发明实施方式涉及的三维摄像装置(以下仅称为“摄像装置”。)具备：具有2个透光区域的透光部；在摄像面上排列有各自包括至少2种像素的多个单位块的摄像元件；在摄像元件的摄像面上形成像的成像部；以及基于从摄像元件输出的信号来生成多视点图像的图像处理部。
图1是示意地表示摄像装置中的透光部1、摄像元件的一个单位块所包含的2个像素50‑1、50‑2的构成例的图。其中，省略了成像部等其他构成要素的图示。在图1所示的构成例中，像素50‑1包括感光单元60‑1、以及与其对置地配置于光入射侧的透过滤光器40‑1。同样地，像素50‑2包括感光单元60‑2、以及与其对置地配置于光入射侧的透过滤光器40‑2。如此，在本说明书中，将一个感光单元及与其对置配置的一个透过滤光器的组合称为“像素”。
图1所示的透光部1具有2个透光区域1L、1R。透光区域1L、1R的透过率的波长依赖性(以下称为“分光透过率”。)互不相同，虽然不是完全透明的，但具有也使红色(R)、绿色(G)、蓝色(B)的任一波段(颜色成分)的光透过的特性。
2个感光单元60‑1、60‑2接受入射光并输出与所接受到光的强度相应的电信号(以下称为“光电变换信号”或者“像素信号”。)。与感光单元60‑1、60‑2对置的透过滤光器40‑1、40‑2具有截止入射光的一部分的特性。透过滤光器40‑1、40‑2的分光透过率特性也互不相同，虽然不是完全透明的，但具有也使红色(R)、绿色(G)、蓝色(B)的任一波段的光透过的特性。
图2A是表示透光区域1L、1R的分光透过率特性的一例的曲线图，图2B是表示透过滤光器40‑1、40‑2的分光透过率特性的一例的曲线图。在这些曲线图中，横轴表示波长、纵轴表示透过率。另外，关于横轴的波长，仅示出可见光的波段、即400nm～700nm附近的范围。图2A中，将波长设为λ，将表示透光区域1L、1R的透过率的函数分别表示为TL(λ)、TR(λ)。再有，在图2B中，将表示透过滤光器40‑1、40‑2的透过率的函数分别表示为T1(λ)、T2(λ)。在此，将约400nm～约500nm定义为蓝色的波段、将约500nm～约600nm定义为绿色的波段、将约600nm～约700nm定义为红色的波段。其中，该定义说到底只是为了方便而已，将哪一波段定义为哪种颜色是可以任意地确定的。
如图2A所示，TL(λ)、TR(λ)互不相同，在红色、绿色、蓝色的各波段内均具有极大值及极小值。同样地，如图2B所示，T1(λ)、T2(λ)互不相同，在红色、绿色、蓝色的各波段内均具有极大值及极小值。如此，本发明实施方式所利用的透光区域1L、1R、及透过滤光器40‑1、40‑2具有与现有技术中利用的滤色器相异的分光透过率特性。
只要各分光透过率特性为：TL≠TR且T1≠T2成立，TL、TR、T1、T2的任一个在红色、绿色、蓝色的各波段内都具有极大值及极小值的特性，则并未限于图2A、2B所示的特性。其中，从提高光利用率的观点出发，TL、TR、T1、T2能够设计为例如对于任一颜色成分而言都能平均地成为50％以上的透过率。
根据以上的构成，基于从2个感光单元60‑1、60‑2输出的光电变换信号，能生成多视点图像。在以下的说明中，将从感光单元60‑1、60‑2输出的光电变换信号分别表示为W1s、W2s。再有，将透过透光区域1L后入射到感光单元60‑1、60‑2的光所感受的透过率的积分分别表示为W1Ls、W2Ls。同样地，将透过透光区域1R后入射到感光单元60‑1、60‑2的光所感受的透过率的积分分别表示为W1Rs、W2Rs。即，W1Ls、W2Ls、W1Rs、W2Rs分别用以下的式1～4来表示。
[数1]
W1Ls＝k∫TL(λ)T1(λ)dλ(1)
[数2]
W1Rs＝k∫TR(λ)T1(λ)dλ(2)
[数3]
W2Ls＝k∫TL(λ)T2(λ)dλ(3)
[数4]
W2Rs＝k∫TR(λ)T2(λ)dλ(4)
在此，入射光是无彩色的，即可忽略入射光的强度的波长依赖性，假定可见光以外的光成分被红外线截止滤光器等除去。再有，k为比例系数，积分区间为可见光的波段(例如400nm～700nm)。
还有，在假定为透光区域1L、1R、及透过滤光器40‑1、40‑2完全透明的情况下，将表示通过透光区域1L、1R后入射到一个感光单元的光的强度的信号分别表示为IMG(L)、IMG(R)。在此，因为感光单元60‑1、60‑2的空间尺寸是微小的，两者是接近的，所以假定为入射到感光单元60‑1、60‑2的光的强度大致相等。这样一来，IMG(L)、IMG(R)分别相当于从透光区域1L、1R的位置观察到被摄体时的图像的一部分。因此，如果针对图像生成所利用的所有像素来求取IMG(L)、IMG(R)，则可获得多视点图像。
如果忽略比例系数，则利用矩阵，可用以下的式5来表示光电变换信号W1s、W2s。
[数5]