图像摄取装置.pdf

图像摄取设备包括：图像摄取镜头部分；根据被检测的光获取图像摄取数据的图像摄取设备；布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备的多个图像摄取像素而提供；由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，其中，在图像摄取设备上，在与每个微透镜相应的像素区内，聚光元件之间的间距小于像素尺寸，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于像素尺寸。

1、  一种图像摄取装置，包括：
图像摄取镜头部分；
根据所检测的光获取图像摄取数据的图像摄取设备；
微透镜阵列部分，布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备的多个图像摄取像素而提供；以及
由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，
其中，在图像摄取设备上，在相应于每个微透镜的像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸。

2.  根据权利要求1的图像摄取装置，其中，
在与每个微透镜相应的每个像素区内，聚光元件的中心位置与在每个微透镜的中心区内的图像摄取像素的像素中心位置相一致，并随着移向每个微透镜的外围区而逐渐从所述图像摄取像素的像素中心位置偏离。

3.  根据权利要求1的图像摄取装置，进而包括：
图像处理部分，用于对由图像摄取设备获取的图像摄取数据进行预定的图像处理。

4.  根据权利要求1的图像摄取装置，其中，
图像摄取镜头部分包括光圈，并满足下列的公式(1)，
p＝(m×s)×{L/(L+f)}     (1)
在此，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上分配给每个微透镜的图像摄取像素的数量(整数)，L是在光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。

5.  根据权利要求1的图像摄取装置，其中，
图像摄取镜头部分包括光圈，以及
图像摄取设备包括：
图像高度校正部分，用于对由图像摄取设备获得的图像摄取数据进行图像高度校正，以使得在预定方向上的、由每个微透镜在图像摄取设备上生成的图像的图像尺寸等于在预定方向上的图像摄取像素的像素尺寸的整数倍。

6.  根据权利要求5的图像摄取装置，其中，
图像高度校正部分通过使用由下列公式(2)和(3)表示的校正因子k对图像摄取数据进行图像高度校正，
k＝β×{L/(L+f)}   (2)
β＝(m×s)/p       (3)
其中，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上分配给每个微透镜的图像摄取像素的数量(整数)，L是在光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。

图像摄取装置
技术领域
本发明涉及便用微透镜阵列的图像摄取装置。
背景技术
已经提出和研制了各种各样的图像摄取装置。已经提出了若干图像摄取装置，这些装置对由成像或摄取图像而得到的图像摄取数据进行预定图像处理，以便输出图像摄取数据。
例如，国际专利公开No.06/039486和Ren.Ng等的题为“Light FieldPhotography with a Hand-Held Plenoptic Camera”的斯坦福(Stanford)技术报告CTSR 2005-02中，就提出了使用称为“光场摄像术”的技术的图像摄取装置。这样的图像摄取装置包括图像摄取镜头、微透镜阵列、图像摄取设备和图像处理部分，以及在图像摄取镜头中含有中心部分中包括单孔径(aperture)的光圈(aperture stop)。在这样的配置中，通过图像摄取设备而得到的图像摄取数据包括在感光面上的光的强度分布以及光的行进方向的信息。因此，图像处理部分能够重构或再现从任意视点或任意方向(以下简称为视野)上观看的图像。
将由实施“光场摄像术”技术的摄影设备(light field camera，光场摄像机)得到的图像作为图像组输出，在此图像组中，例如，如像在国际专利公开No.06/039486中的图11所示的那样，将多个圆形图像排列在阵列中。该圆形图像相当于这样的一个图像(以下称为单元图像)，它是根据摄像镜头的出瞳形状，由每个微透镜在固态图像摄取设备的表面上生成的。
此外，通常，以预定间距为行列中的每个像素布置了固态图像摄取装置的感光部分。由于诸如传输区的电路部分是布置在每个像素的感光部分的周围，所以进入这个区域的光并不对图像摄取产生影响。因此，在大多数的固态图像摄取设备中布置了聚光部分(如像光折射部分)，它聚进入到除了感光部分以外的区域中的光，以便将光引导到感光部分中，从而获得较高的灵敏度。
在此情况下，如果在光学系统的光轴中心周围直接在每个像素上布置如像片上透镜之类的光折射装置，能有效地会聚大多数的光线。然而，主要的光线倾斜于远离光轴的外围区域中。因此，例如，如像在日本专利No.2600250和3170847中所描述的那样，进行图像高度校正，以使得片上透镜之间的间距小于像素间距，并使得片上透镜的中心位置和每个像素的像素中心位置之间的间隙随着与光轴相距的距离而逐渐增加。
发明内容
在上述“光场摄像机”中，将微透镜阵列布置在图像摄取镜头的成像面位置上，从而对于具有聚光性能的光折射装置(如像配置在固态图像摄取设备的光线入射侧上的片上透镜)光线的入射角大大不同于在相关技术中的图像摄取装置的情况。因此，如上所述，在其中进行图像高度校正的相关技术中的固态图像摄取装置被直接或无任何变化地安装在“光场摄像机”内的情况下，由于光量损失而引起单元图像中的亮度梯度的产生或信噪比(S/N比)的降低。因此，摄取图像的图像质量就会下降。
在获取图像摄取数据以包含关于光的行进方向的信息的情况下，希望提供能够根据图像摄取数据改进图像的图像质量的图像摄取装置。
根据本发明的实施例，提供了一种图像摄取装置，包括：图像摄取镜头部分；根据所检测的光获取图像摄取数据的图像摄取设备；微透镜阵列部分，布置在图像摄取镜头部分的焦面上，位于图像摄取镜头部分和图像摄取设备之间，包括多个微透镜，每个微透镜相应于图像摄取设备中的多个图像摄取像素而提供；由多个聚光元件构成的聚光部分，每个聚光元件会聚进入到图像摄取设备的每个图像摄取像素中的光，其中，在图像摄取设备上，在与每个微透镜相应的像素区内，聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸。
在根据本发明的具体实施例的图像摄取设备中，在微透镜阵列部分上形成由图像摄取镜头部分进行图像摄取的物体的图像。然后，进入到微透镜阵列部分中的光线到达图像摄取设备，并由分配给每个微透镜的多个图像摄取像素来检测，并由此得到包含关于光的行进方向的信息的图像摄取数据。在此情况下，在与每个微透镜相应的每个像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于在图像摄取像素中预定方向上的像素尺寸，因此，在与每个微透镜相应的像素区内，防止了由于入射光的倾斜而在每个微透镜的中心区周围的图像摄取像素和外围区周围的图像摄取像素之间产生的亮度梯度。
在根据本发明的实施例的图像摄取设备中，优选地，在与每个微透镜相应的每个图像区内，聚光元件的中心位置与在每个微透镜的中心区内的图像摄取像素的像素中心位置相一致，并随着移向每个微透镜的外围区而逐渐从图像摄取像素的像素中心位置偏离。在这样的配置中，还考虑图像摄取镜头部分的视角和主光线的倾斜，以便提高每个像素区内的入射光线的聚光效率，并进而改进图像摄取数据的S/N(信噪比)。
在根据本发明的具体实施例的图像摄取设备中，在上述的图像摄取镜头部分包括光圈情况下，优选地满足下列的公式(1)。在这样的配置中，如果在微透镜之间的间距满足下列的公式(1)，则避免在图像摄取设备的感光面上的图像高度偏差出现在由图像摄取设备得到的图像摄取数据中。因此，在通过使用这样的图像摄取数据生成重构图像时，可以生成适合的重构图像。
p＝(m×s)×{L/(L+f)}        (1)
在此，p是微透镜之间的间距，s是在预定方向上的像素尺寸，m是在预定方向上的分配给每个微透镜的图像摄取像素的数量(整数)，L是光圈和微透镜阵列部分之间的距离，f是每个微透镜的焦距。
在根据本发明的具体实施例的图像摄取设备中，在上述图像摄取镜头部分包括光圈的情况下，该图像摄取设备可以包括图像高度校正部分，用于对由图像摄取设备获得的图像摄取数据进行图像高度校正，以使得在预定方向上的由每个微透镜在图像摄取设备上生成的图像的图像尺寸等于在预定方向上的图像摄取像素的像素尺寸的整数倍。在这样的配置中，在通过图像高度校正而得到的图像摄取数据中，不管光圈的位置如何，都不会发生在图像摄取设备的感光面上的图像高度偏差。因此，当使用通过这样的图像高度校正而得到的图像摄取数据来获取重构图像时，不管主镜头(图像摄取镜头部分)的光圈的位置如何。都可以获得合适的重构图像。
在根据本发明的具体实施例的图像摄取设备中，在与每个微透镜相应的像素区内，在聚光部分中的聚光元件之间的间距小于在图像摄取像素中预定方向上的像素尺寸，并且，在分别与微透镜相应的像素区之间的边界区内，聚光元件之间的间距大于图像摄取像素中预定方向上的像素尺寸，因此，在与每个微透镜相应的像素区内，可以防止由于入射光线的倾斜而引起的亮度梯度。因此，在获取图像摄取数据以便包括关于光的行进方向信息在内的情况下，可以根据图像摄取数据来改进图像质量。
通过下面的描述，本发明的上述和其他目的、特征和优点将会变得更加清楚。
附图说明
图1根据本发明的第一实施例示出了图像摄取装置的整体结构。
图2是图1所示的光圈的平面示意图。
图3是示于图1中的微透镜阵列的平面示意图。
图4是布置在图像摄取设备的感光面上的滤色镜的平面示意图。
图5是微透镜阵列、片上透镜和图像摄取设备的布置的例子的局部示意图。
图6是微透镜阵列、片上透镜和图像摄取设备的另一个布置的例子的局部示意图。
图7是图1所示的图像处理部分的配置例子的功能方块图。
图8A和8B是平面图，说明在微透镜阵列和图像摄取设备中的图像摄取模式。
图9是示意性的透视图，说明由图像处理部分进行的图像处理的例子。
图10是用于说明由图像处理部分进行的再聚焦演算处理的局部示意图。
图11是再聚焦演算处理中再聚焦面的确定位置的例子的局部示意图。
图12是再聚焦演算处理中再聚焦面的确定位置的另一个例子的局部示意图。
图13是图11所示的再聚焦演算处理中的排序处理的例子的平面示意图。
图14是图12所示的再聚焦演算处理中的排序处理的另一个例子的平面示意图。
图15是一个图例，用于根据本发明的第二实施例来说明比较例的图像摄取装置中的图像高度偏差。
图16是示意图，用于根据本发明的第二实施例来说明比较例的图像摄取装置中的图像高度偏差。
图17示出了根据本发明的第三实施例的图像处理部分的配置例子的功能方块图。
具体实施方式
以下将参照附图来详细说明本发明的推荐实施例。
第一实施例
图1根据本发明的第一实施例示出了图像摄取装置(图像摄取装置1)的整体结构。图像摄取装置1摄取物体2的图像，以输出图像摄取数据Dout。按从靠近物体2较近的侧开始的顺序，图像摄取装置1包括图像摄取镜头11，光圈10，微透镜阵列12，片上透镜18和图像摄取设备13。图像摄取装置1也包括图像处理部分14，图像摄取设备驱动部分15和控制部分16。
图像摄取镜头11是主镜头，用于摄取物体的图像，并包括例如用在视频摄像机、静止照相机和类似设备中的典型的图像摄取镜头。
光圈10是图像摄取镜头11的光学光圈。例如，如图2所示，光圈10在它的中心部分有一个圆形开孔部分10A。如下面将要详细说明的那样，通过光圈10A的全部光线都保持有光线行进方向的信息。布置光圈10和微透镜阵列12并使它们之间具有距离L。
例如，如图3所示，在微透镜阵列12中，将多个微透镜12-1以矩阵形式二维排列(微透镜12-1之间的间距为p12)，并将微透镜阵列12布置在图像摄取镜头11的图像生成面上(在图中用标号f1来表明图像摄取镜头11的焦距)。每个微透镜12-1的平面形状都是圆形的，并且每个微透镜12-1都由液晶透镜、液体透镜、衍射透镜或类似部件组成。
图像摄取设备13检测或接收来自微透镜阵列12的光，以便获取图像摄取数据D0，并将图像摄取设备13布置在微透镜阵列12的焦面上(在图中用标号f2来表明微透镜阵列12的焦距)。图像摄取设备13包括二维图像摄取设备，例如，以矩阵形式二维排列的多个CCD(电荷耦合器)或多个CMOS(互补型的金属-氧化物-半导体器件)。
在这样的图像摄取设备13的感光面(更靠近微透镜阵列12的面)上，以矩阵形式二维排列了M×N(在此，M和N都是整数)个图像摄取像素(下面将要说明像素P)，并将多个像素P分配给在微透镜阵列12中的一个微透镜12-1。在感光面上的像素P的数量为M×N＝3720×2520＝9374400。分配给每个微透镜12-1的像素数(m×n)与重构图像的任意视场的分辨率相关，因此，重构图像的任意视场的分辨率随着m和n的值而增加。另一方面，(M/m)和(N/n)的值与重构图像的像素数(分辨率)相关，因此，重构图像的像素数随着(M/m)和(N/n)的值而增加。于是，在重构图像的任意视场的分辨率和像素数之间存在着一个折衷关系。
在图像摄取设备13的感光面上，二维地为每个像素P(在图1中未示出)布置了如图4所示的滤色镜。滤色镜17是具有Bayer布置的滤色镜(原色滤光镜)，其中，红(R)、绿(G)、蓝(B)三个原色的滤色镜(红色滤光器17R，绿色滤光器17G，蓝色滤光器17B)按照R:G:B＝1:2:1的比例，并以方格模式来排列。将这样的滤色镜17布置在图像摄取设备13的感光面上，并由此图像摄取设备13所获取的图像摄取数据D0变为与滤色镜17的颜色相应的多个颜色(在此情况下为三个原色)的像素数据(彩色像素数据)。
片上透镜18起着聚光部分的作用，它将进入图像摄取设备13的光聚集到每个图像摄取像素中(下面将要说明每个像素P)，并在图像摄取设备13的感光面上相应于每个像素P来布置。
例如，如图5(在光轴外围区13C周围的区域中的示意性的断面结构，这个区域相应于微透镜阵列12的光轴的外围区(即入射光的主光线L0基本上沿着光轴行进的区域))和图6(在图像摄取设备13的像素外围区13E周围的区域中的示意性的断面结构，(这个区域的入射光的主光线L0相对于光轴有一定程度的倾斜))所示，在片上透镜18中，在图像摄取设备13上，在与每个微透镜12-1相应的像素区内，片上透镜18中的聚光元件之间的间距(pitch)p18小于在像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，片上透镜18中的聚光元件之间的间距p18大于在像素P中的预定方向上的像素尺寸s。
在图5和图6所示的两种情况下，在与每个微透镜12-1相应的每个像素区内，片上透镜18的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的像素中心位置相一致，并随着移向每个微透镜12-1的外围区而逐渐从像素P的像素中心位置偏离。
通过加到抗蚀材料上的模式(pattem)转移处理生成片上透镜18。因此，如果将光掩模(photomask)之间的间距(pitch)设置为上述的间距(在片上透镜12中聚光元件之间的间距p18)，则生成上述的片上透镜18。
图像处理部分14对由图像摄取设备13获取的图像摄取数据D0进行随后将要说明的预定图像处理(图像处理包括排序(sort)处理)，并输出通过进行图像处理而得到的图像摄取数据Dout。更具体地说，例如，图像处理部分14利用称为“光场摄像术(Light Field Photography)”的技术进行再聚焦(refocus)演算处理。由此，图像处理部分14生成了聚焦在任意焦点上的图像(基于图像摄取数据Dout的重构图像)。下面将详细说明图像处理部分14的配置和再聚焦演算处理的操作。
图像摄取设备驱动部分15驱动图像摄取设备13，并控制图像摄取设备13的感光操作。
控制部分16控制图像处理部分14和图像摄取设备驱动部分15的操作，并包括如像微型计算机或类似的设备。
随后，将参照图7详细说明图像处理部分14的结构。图7示出了图像处理部分14的功能方块图。
图像处理部分14包括缺陷校正部分141、箝位(clamp)处理部分142、内插处理部分143、排序部分144、噪声消减部分145、边缘增强部分146、白平衡调整部分147、伽玛校正部分148。
缺陷校正部分141校正含于图像摄取数据D0中的、如像漏失或无效之类的缺陷(由图像摄取设备13中的异常而引起的缺陷)。箝位处理部分142进行在通过缺陷校正部分141进行的缺陷校正而得到的图像摄取数据上设置每个像素数据的黑电平(black level)的处理(箝位处理)。
内插处理部分143在由箝位处理部分142提供的图像摄取数据上进行内插处理，例如，在典型的Bayer布置上进行去嵌镶(demosaic)处理或类似的处理，以便获得图像摄取数据D1。
排序部分144在由内插处理部分143提供的图像摄取数据D1上进行预定的排序处理(分类像素数据的处理处理)，以便获得图像摄取数据D2。在进行这样的排序处理时，生成了聚焦在上述任意焦点上的重构图像。下面将要详细说明由排序部分144进行的排序处理的操作。
噪声消减部分145进行减少噪声的处理(例如，减少在暗处或感光度不足的地方摄取图像时所产生的噪声)，这些噪声含于由排序部分144提供的图像摄取数据D2之中。边缘增强部分146进行边缘增强处理，这就是在由噪声消减部分145提供的图像摄取数据上增强图像边缘的处理。
白平衡调整部分147在由边缘增强部分146提供的图像摄取数据上进行调整色彩平衡的处理(白平衡调整处理)，(调整和设置图像摄取数据，以使得红像素数据、绿像素数据和蓝像素数据的数目彼此相等)，在此，这样的色彩平衡可受到器件间个体差别——诸如图像摄取设备13的光谱灵敏度上的差别，滤色镜17的透射特性方面的差别或照明条件——的影响。
伽玛校正部分148在由白平衡调整部分147提供的图像摄取数据上进行预定的伽玛校正(色调和对比度校正)，以便获取图像摄取数据Dout。
下面，将参照图1到14来详细说明根据本实施例的图像摄取装置1的功能和作用。
首先，参照图1到4以及图7到14来说明图像摄取装置1的基本功能。
例如，在图像摄取装置1中，根据如图8A所示的每个微镜头12-1的形状(圆形)，在微透镜阵列12上生成由图像摄取镜头11拍摄到的物体2的图像。然后，进入微透镜阵列12的入射光线通过微透镜阵列12到达图像摄取设备13上，以及例如，如图8B所示，由感光区13-1来检测入射光线，在此感光区上投射光圈的圆形，并通过图像摄取设备13来获取图像摄取数据D0。此时，根据入射光线的入射方向，在图像摄取设备13中的不同位置上，检测射到微透镜阵列12上的入射光线。更具体地说，根据分配给每个微透镜12-1的像素P的位置来确定光线的入射方向。其中布置了分配给每个微透镜12-1的像素P的区域(重构像素区13D)与重构图像的一个像素相对应。
其次，将在图像摄取设备13中得到的图像摄取数据输入到图像处理部分14中。然后，在图像处理部分14中，在图像摄取数据D0上进行预定的图像处理(例如，上述的再聚焦演算处理)，从而，将通过图像处理得到的图像摄取数据Dout作为图像摄取装置1的输出数据(重构图像的图像数据)输出。
现在，参照图9到14来详细说明由图像处理部分14执行的图像处理操作(再聚焦演算处理操作)的基本部分。
首先，如图9所示，在图像摄取镜头11的图像摄取镜头面上定义矩形坐标系统(u，v)，并在图像摄取设备13的图像摄取面上定义矩形坐标系统(x，y)。将在图像摄取镜头11的图像摄取镜头面和图像摄取设备13的图像摄取面之间的距离定义为“F”。然后，用四维函数L_F(x，y，u，v)来代表通过图像摄取镜头11和图像摄取设备13的光线L1。从而，将关于光线L1行进方向的信息以及关于光线L1的位置的信息记录到图像摄取设备13中。换句话说，通过分配给每个微透镜12-1的多个像素P的排列来确定光线的入射方向。
如图10所示，在确定了图像摄取镜头面110、图像摄取面130和再聚焦平面120之间的位置关系的情况下(确定再聚焦平面120以便满足F’＝αF)，用下列公式(1)来代表再聚焦平面120上的坐标(s，t)的图像摄取面130上的检测强度LF。此外，在再聚焦平面120上得到的图像EF’(s，t)是通过整合上述的相对于透镜孔径的检测强度LF而得到的值，所以用下列的公式(2)来代表图像EF’(s，t)。因此，在根据公式(2)来进行再聚焦计算操作时，根据通过进行图像处理而得到的图像摄取数据Dout来重构聚焦在任意焦点(再聚焦平面120)上的图像。
数学公式1
L F ′ ( s , t , u , v ) = L ( α · F ) ( s , t , u , v ) ]]>
        = L F ( u + s - u α , v + t - v α , u , v ) ]]>
        = L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v } ]]>
                    .......(1)
E F ′ ( s , t ) = 1 F ′ 2 ∫ ∫ L F ′ ( s , t , u , v ) dudv ]]>
        = 1 α 2 F 2 ∫ ∫ L F { u ( 1 - 1 α ) + s α , v ( 1 - 1 α ) + t α , u , v } dudv ]]>
                   .......(2)
更具体地说，在图像处理部分14中，如图5所示，缺陷校正部分141校正由图像摄取设备13提供的图像摄取数据D0中的缺陷，以及箝位(clamp)处理部分142在图像摄取数据D0上进行箝位处理。然后，内插处理部分143在图像摄取数据D0上进行内插处理，排序部分144进行像素数据D1的排序处理。从而，从图像摄取数据D1产生了图像摄取数据D2。
在此情况下，当要由图像处理部分14通过再聚焦演算处理来生成下述重构图像时，进行其中例如有选择地提取图11所示的光线的排序处理，其中，该重构图像的焦点位置被确定位于照相时所确定的焦点位置(微透镜阵列12的位置)的后面(即更远侧上)。换句话说，在图像摄取镜头11和徵透镜阵列12之间生成其焦点位置被确定位于照相时所确定的焦点位置的后面的图像。这样，会聚了一次的光线又再散开，该光线根据其行进方向通过不同的微透镜阵列而到达图像摄取设备13上。因此，例如，如图13所示，对各个像素数据进行排序处理，以便从多个彼此不同的重构像素区13D中有选择地提取与这样的光线相应的像素数据D10。
另一方面，当要由图像处理部分14通过再聚焦演算处理来生成下述重构图像时，进行其中例如有选择地提取图12中所示的光线的排序处理，其中，该重构图像的焦点位置被确定位于照相时所确定的焦点位置(微透镜阵列12的位置)的前面(即更近侧上)。换句话说，在徵透镜阵列12后面生成其焦点位置被确定位于照相时所确定的焦点位置的前面的图像。这样，在图像摄取装置1中不生成图像，并且光线根据其传播的方向通过不同的微透镜阵列而到达图像摄取设备13上。因此，例如，如图14所示，对各个像素数据进行排序处理，以便从多个彼此不同的重构像素区13D中有选择地提取与这样的光线相应的像素数据D10。
下面，如图7所示，噪声消减部分145对通过这样的排序处理而得到的图像摄取数据D2进行噪声消减处理，以及边缘增强部分146对图像摄取数据D2进行边缘增强处理，然后，将图像摄取数据D2提供给白平衡调整部分147。由此，得到调整过其色彩平衡的图像摄取数据。然后，伽玛校正部分148对由白平衡调整部分147提供的图像摄取数据进行伽玛校正，以及从图像处理部分14中输出该图像摄取数据作为图像摄取数据Dout。由此，根据图像摄取数据Dout来重构聚焦在任意焦点(再聚焦面120)上的图像。
然后，参照图5和图6，下面将详细说明根据本实施例的图像摄取装置1的特性功能。
在根据本实施例的图像设取设备1中，考虑到在微透镜阵列12中的光折射，相应于图像摄取设备13的每个像素P而形成的片上透镜18(具有聚光性能的光折射装置)的中心位置从像素P的像素中心位置上偏离，例如，如图5和图6所示。
更具体地说，在与每个微透镜12-1相应的像素区内，在片上透镜18中的聚光元件之间的间距p18小于像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，在片上透镜18中的聚光元件之间的间距p18大于像素P中的预定方向上的像素尺寸s。由此，在与每个微透镜12-1相应的像素区内，就能避免由于入射光线倾斜而在微透镜12-1的中心区周围的像素P和在其外围区周围的像素之间产生的亮度梯度。
此外，在图5和图6所示的两种情况下，在与每个微透镜12-1相应的每个像素区内，片上透镜18中的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的中心位置相一致，并随着移向每个微透镜12-1的外围区而逐渐从像素P的像素中心位置偏离。由此，因为还考虑到图像摄取镜头11的视角以及主光线L0的倾斜，提高了在每个像素区内的入射光的聚光效率，并改进了图像摄取数据D0的S/N比率(信号噪声比)。
如上所述，在本实施例中，在与每个微透镜12-1相应的像素区内，在片上透镜18中的聚光元件之间的间距p18小于在像素P中的预定方向上的像素尺寸s，并且，在分别与微透镜12-1相应的像素区之间的边界区内，在片上透镜18中的聚光元件之间的间距p18大于在像素P中的预定方向上的像素尺寸s。因此，在与每个微透镜12-1相应的像素区内，就能避免由于入射光的倾斜而引起的亮度梯度。因此，在获取图像摄取数据以便包括光的行进方向信息在内的情况下，能够改进基于图像摄取数据的图像的图像质量。
此外，在与微透镜12-1相应的每个像素区内，片上透镜18的聚光元件的中心位置与在每个微透镜12-1的中心区内的像素P的像素中心位置相一致，并从靠近像素P的像素中心位置上逐渐地向着每个微透镜12-1的外围区移动。由于还考虑到图像摄取镜头11的视角以及主光线L0的倾斜，因此提高在每个像素区内的入射光的聚光效率，并改进图像摄取数据D0的S/N比率(信号噪声比)。这样，能进而改进基于图像摄取数据的图像的图像质量。
此外，由图像摄取设备13通过使用具有图4所示的Bayer布置的滤色镜17来摄取彩色图像，由图像处理部分14中的内插处理部分143来进行色彩内插处理(例如，在一个或多个单元图像中的去嵌镶(demosaic)处理)。在相关技术的图像摄取装置中，由于在单元图像中产生的亮度梯度，可能不能适当地进行色彩内插处理，从而可能会引起色移(color shift)或色彩不均匀。相反，在根据本实施例的图像摄取装置1中，在拍摄这样的彩色图像时，可以防止色移或色彩不均匀的出现，并可以改进色彩的再现性。
第二实施例
下面，将说明本发明的第二实施例。使用与第一实施例相同的标号来表明相同的部件，在此不再加以说明。
在根据本实施例的微透镜阵列12中，当微透镜12-1之间的间距为“p12”时，在图像摄取设备13的图像摄取像素(下面将要说明的像素P)的预定方向上的像素尺寸是“s”，在预定方向上分配给每个微透镜12-1的像素的数量为“m”(整数)，在光圈10和微透镜12-1之间的距离为“L”，以及每个微透镜12-1的焦距是“f2”时，可以用下面的公式(11)来代表微透镜12-1之间的间距p12。
p12＝(m×s)×{L(L+f2)}    (11)
现在，参照图15和16，通过与比较例的比较来详细说明根据本实施例的图像摄取装置的特性功能。图15和16示出了在根据比较例的图像摄取装置(包含微透镜阵列102，而不是在图像摄取装置1中的微透镜阵列12，微透镜阵列102中的微透镜12-1之间的间距p12不满足上述公式(1))中、在出现了图像高度偏差的情况下(即图像高度偏差量Δ>0的情况下)的图像摄取状态。
首先，例如，如图15所示，在作为主镜头的图像摄取镜头11的光圈10的位置与图像摄取镜头11的主点P0有某些距离的情况下，如果进入微透镜阵列12的入射光的主光线L0相对于光轴有某种程度的倾斜(在主光线L0不在图像摄取镜头11的主点上的情况下)，依据光圈10的位置，根据微透镜12-1的形状(圆形)在图像摄取设备13上形成的图像(单元图像)之间的间距如图中箭头所示的那样，从位置P1移动到位置P2。
由此，例如，如图16所示，在图像摄取设备13的感光面(更靠近于微透镜阵列12的一侧上的平面)上出现了图像高度偏差量为Δ(在点Pd和点Pe之间的距离)的图像高度偏差。用下面的公式(12)和(13)来表示图像高度偏差量Δ，在此，在光轴和主光线L0之间的倾角是“θ”，在微透镜阵列102上形成的主光线L0的图像的图像高度(在点Pb和点Pf之间的距离)是“y”，在光圈10和微透镜阵列12之间的距离(在点Pa和点Pb之间的距离)是“L”，微透镜阵列12的焦距(在点Pb和点Pc之间的距离)是“f2”。此外，用下面的公式(14)来表示在微透镜阵列12上的图像高度y和在图像摄取设备13上形成的单元图像的图像高度(在点Pc和点Pe之间的距离)之间的比率。
tanθ＝(y/L)＝(Δ/f2)   (12)
Δ＝{(y×f2)/L}        (13)
(y+Δ)/y＝(L+f2)/L     (14)
这样，在图15和16所示的根据比较例的图像摄取装置中，由于在微透镜阵列102中的微透镜12-1之间的间距p12不满足上述公式(11)，因此出现了图像高度偏差，其大小为由上述的公式(12)和(13)所代表的图像高度偏差量Δ。换句话说，如上所述，即使在由图像摄取设备13得到的图像摄取数据D0包含光行进方向信息和光强度分布信息的情况下，微透镜12-1之间的间距p12也不等于图像摄取设备13的像素P的整数倍。因此，在预定方向上分配给每个微透镜12-1的像素P的数目就会发生变化，并且，在图像处理部分14中，不能得到如像再聚焦图像或任意视点图像之类的重构图像。
另一方面，在根据本实施例的图像摄取装置1中，在微透镜阵列12中，微透镜12-1之间的间距满足上述公式(11)。从而，根据上述比较例的图像高度校正因子的值(相当于上述公式14的逆)恒等于“1”。因此，在由图像摄取设备13得到的图像摄取数据D0中，防止了在图像摄取设备13的感光面(在更靠近微透镜阵列12一侧上的平面)上出现图像高度偏差(图像高度偏差量为Δ的图像高度偏差)。
如上所述，在本实施例中，微透镜12-1之间的间距p12满足上述公式(11)。这样，在由图像摄取设备13得到的图像摄取数据D0中，可以防止在图像摄取设备13的感光面上出现图像高度偏差。因此，当通过使用这样的图像摄取数据D0由图像处理部分14形成重构图像时，除了能有在第一实施例中的效果而外，还可以形成适合的重构图像。
此外，与下面将描述的第三实施例不同，在本实施例中，无需配置用于进行图像高度校正的图像高度校正部分(下面将要说明的图像高度校正部分149)，并且仅仅通过设置微透镜12-1之间的间距p12就实现了本实施例，因此，除非当设计微透镜12-1之间的间距时所确定的光圈10的位置被变动，否则能够容易地形成适合的重构图像。
第三实施例
下面，将说明本发明的等三实施例。本实施例的图像摄取装置具有与第二实施例的图像摄取装置相同的结构，而不同之处在于，该图像摄取装置包含下面将要说明的图像处理部分14A，而不是根据第二实施例的图像摄取装置的图像处理部分14，而且，代替在第二实施例中所述的微透镜阵列12，在本实施例中提供其中微透镜12-1之间的间距p12不满足上述公式(11)的微透镜阵列(对应于上述的微透镜阵列102)。因此，使用与第二实施例相同的标号来标记相同的部件，不再加以说明。
图17图示了用在根据本实施例的图像摄取装置中的图像处理部分(图像处理部分14)的功能方块图。图像处理部分14A配置不同于在第一实施例中所述的图像处理部分14之处在于，在内插处理部分143和排序部分144之间布置了图像高度校正部分149。
图像高度校正部分149在由图像摄取设备13获得的图像摄取数据(更具体地说，是通过由内插处理部分143进行内插处理而得到的图像摄取数据D1)上进行图像高度校正，以使得与每个微透镜12-1相应的图像摄取设备13上生成的图像(单元图像)在预定方向上的图像尺寸(相当于微透镜12-1之间的间距p12)等于图像摄取设备13的像素P在预定方向上的像素尺寸s的整数倍。由此，通过图像高度校正得到图像摄取数据D3，并将图像摄取数据D3提供给排序部分144。更具体地说，图像高度校正部分149通过使用由下列公式(15)和(16)代表的校正因子k在图像摄取数据D1上进行图像高度校正(图像高度校正部分149通过用校正因子k乘以图像摄取数据D1来得到图像摄取数据D3)。在此，在β＝1的情况下，根据公式(16)成立p12＝m×s。
K＝β×{L/(L+f2)}      (15)
B＝(m×s/p12)         (16)
在此配置中，在本实施例中，图像高度校正部分149在图像摄取数据D1上进行图像高度校正，以使得与微透镜12-1相应的图像摄取设备13上生成的图像(单元图像)在预定方向上的图像尺寸(对应于微透镜12-1之间的间距p12)等于像素P在预定方向上的像素尺寸s的整数倍。这样，在通过这样的图像高度校正得到的图像摄取数据D3上，不管光圈10的位置(在光圈10和微透镜阵列12之间的距离L)如何，在图像摄取设备13的感光面(在更靠近微透镜阵列12的一侧上的平面)上都不会出现图像高度偏差(图像高度偏差量为Δ的图像高度偏差)。因此，在图像处理部分14A使用通过进行图像高度校正而得到的图像摄取数据D3来生成重构图像时，如像在第二实施例的情况中那样，除了具有第一实施例的效果而外，不管主透镜(图像摄取透镜11)的光圈位置如何，都能够生成适合的重构图像。
在此，虽然是参照第一、第二和第三实施例来说明本发明的，但是，本发明并不限于这些实施例，并可以对其进行各种修改。
例如，在第二实施例中，说明了微透镜12-1之间的间距p12满足上述公式(11)的情况，在第三实施例中，说明了由图像高度校正部分149来进行图像高度校正的情况。然而，例如，可以将在第二和第三实施例中说明的配置组合起来。更具体地说，微透镜12-1之间的间距p12可以满足上述公式(11)，以及可以由图像高度校正部分149来进行图像高度校正。
此外，在上述实施例中，说明了作为图像摄取装置的部件的图像处理部分14和14A。然而，图像处理部分并非必须布置在图像摄取装置中。更具体地说，图像处理部分可以安装在除了图像摄取装置之外的设备例如PC(个人计算机)或类似的设备中，并可将在图像摄取装置中得到的图像摄取数据传送给PC，以便在PC中对图像摄取数据进行图像处理。
此外，在上述实施例中，可将光圈安装在图像摄取镜头的图像侧(出射侧)上。然而，本发明并非仅限于此，也可以将光圈安装在图像摄取镜头的对象侧(入射侧)上或图像摄取镜头中。
在上述实施例中，将片上透镜18作为在每个像素P的光线入射侧上形成的聚光部分的例子来加以描述的。然而，可以由任何其它的光折射结构、光导结构或类似的结构来实现这样的聚光部分。
在上述实施例中，作为滤色镜的例子，描述了具有Bayer布置的滤色镜，其中，红(R)、绿(G)、蓝(B)三个原色的滤色镜按照R:G:B＝1:2:1的比例以方格模式布置。然而，也可以使用具有任何其它配置的滤色镜。例如，可用具有如此配置的滤色镜(互补滤色镜)，在此配置中，将四个互补色(即黄(Y)、深红(M)、蓝绿(C)和绿(G))的滤色镜(即黄滤色镜、深红滤色镜、蓝绿滤色镜和绿滤色镜)按照Y:M:C:G＝1:1:1:1的比例以方格模式布置。
在上述的实施例中，作为图像摄取数据中的像素数据的内插处理的例子，描述了去镶嵌(demasaic)处理处理；然而，也可以进行任何其它的内插处理。
在上述的实施例中，作为在图像处理部分14中进行的包含排序处理的图像处理的例子，描述了使用“光场摄影术”的再聚焦运算处理。然而，包括这样的排序处理在内的图像处理并非仅限于此，例如，还可以使用焦点模糊处理、场的深度调整处理或类似的处理。
本领域普通技术人员应当了解，只要在所附的权利要求或其等同的范围内，可以根据设计要求和其它因素进行各种各样的修改、组合、次级组合和变更。