摄像装置和摄像方法 技术领域 本发明涉及摄像装置和摄像方法。
本申请基于 2009 年 3 月 30 日在日本申请的特愿 2009-083276 号主张优先权， 并 将其内容援引与此。
背景技术 近年来， 高画质的数字照相机和数字摄像机 ( 以下， 称为数字相机 ) 得到急速普 及。此外， 伴随着数字相机的小型化、 薄型化， 在便携电话终端等中搭载了小型的高画质数 字相机。代表数字相机的摄像装置由摄像元件、 成像光学系统 ( 镜头光学系统 )、 图像处理 器、 缓冲存储器、 闪存 ( 卡型存储器 )、 图像监视器以及控制这些部件的电路和机械机构等 构成。摄像元件中通常使用 CMOS(Complementary Metal Oxide Semiconductor) 传感器或 CCD(Charge Coupled Device) 传感器等的固体电子器件。对在摄像元件上成像的光量分 布进行光电变换， 所得到的电信号由图像处理器和缓冲存储器进行信号处理。作为图像处 理器使用 DSP(Digital Signal Processor) 等。此外， 作为缓冲存储器使用 DRAM(Dynamic Random Access Memory) 等。 所拍摄的图像记录存储在卡型闪存等中， 记录存储的图像能够 显示在监视器上。
使得在摄像元件上成像的光学系统， 通常为了除去像差而由几个非球面透镜构 成。此外， 在具备光学变焦功能的情况下， 则需要改变组合透镜的焦距、 透镜与摄像元件之 间间隔的驱动机构 ( 促动器 )。随着摄像装置的高画质化、 高功能化的要求， 摄像元件进行 着多像素化、 高清晰化， 成像光学系统进行着更低像差、 高精度化， 并且进行着变焦功能、 自 动聚焦功能、 手抖修正功能等的高功能化。伴随于此， 出现了摄像装置变大难以小型化、 薄 型化的问题。
为了解决这种问题， 提出了如下方案， 通过在成像光学系统中采用复眼构造、 或者 组装液晶透镜或液体透镜等非固体透镜， 由此使摄像装置小型化、 薄型化。例如， 提出了如 下的摄像透镜装置， 由配置成平面状的固体透镜阵列、 液晶透镜阵列、 一个摄像元件构成 ( 例如专利文献 1)。该摄像透镜装置如图 36 所示那样， 由透镜系统和一个摄像元件 2003 构成， 该透镜系统具有固定焦距的透镜阵列 2001、 相同数目的可变焦型的液晶透镜阵列 2002， 该摄像元件 2003 对通过该透镜系统成像的光学像进行摄像。通过该结构将与透镜阵 列 2001 的数目相同的图像分割在单一的摄像元件 2003 上进行成像。 对由该摄像元件 2003 得到的多个图像， 在运算装置 2004 中进行图像处理， 重新构成整个图像。此外， 从该运算装 置 2004 检测聚焦信息， 经由液晶驱动装置 2005 驱动液晶透镜阵列 2002 的各液晶透镜， 来 进行自动聚焦。这样， 在专利文献 1 的摄像透镜装置中， 通过组合液晶透镜和固体透镜， 实 现了自动聚焦功能和变焦功能， 且实现了小型化。
此外， 还已知一种由一个非固体透镜 ( 液体透镜、 液晶透镜 )、 固体透镜阵列、 一个 摄像元件构成的摄像装置 ( 例如专利文献 2)。该摄像装置如图 37 所示那样， 由液晶透镜 2131、 复眼光学系统 2120、 图像合成器 2115、 驱动电压运算部 2142 构成。与专利文献 1 相
同， 该摄像装置在单一的摄像元件 2105 上形成与透镜阵列的数目相同的图像， 然后通过图 像处理重新构成图像。这样， 在专利文献 2 的摄像装置中， 通过组合一个非固体透镜 ( 液体 透镜、 液晶透镜 ) 和固体透镜阵列， 以小型、 薄型的方式实现了调焦功能。
此外， 已知一种方法， 在由作为摄像元件的检测器阵列和摄像透镜阵列构成的具 有子像素分辨率的薄型相机中， 改变二个副相机上的图像的相对的位置偏差， 从而增大合 成图像的分辨率 ( 例如专利文献 3)。在该方法中， 在一个的副相机中设置光圈， 由该光圈 遮挡一半像素的光， 从而解决了无法基于被摄体距离改善分辨率的问题。 此外， 在专利文献 3 中， 组合了能够从外部提供电压来控制焦距的液体透镜， 改变焦距的同时图像的成像位置 和像素的相位也改变， 从而增大了合成图像的分辨率。这样， 在专利文献 3 的薄型相机中， 通过组合摄像透镜阵列和具有遮光部件的摄像元件， 实现了合成图像的高清晰化。 此外， 通 过在摄像透镜阵列和摄像元件中组合液体透镜， 从而实现了合成图像的高清晰化。
此外， 已知一种图像生成方法和装置， 基于多个摄像单元的图像信息， 针对其立体 图像的视差小的特定区域进行超清晰插值处理， 将图像映射至空间模型 ( 例如专利文献 4)。在该装置中解决了如下问题， 即： 基于由多个摄像单元所拍摄的图像， 在生成视点变换 图像的过程中进行的空间模型生成中， 贴附在远处的空间模型的图像数据欠缺清晰度。
先行技术文献 专利文献 专利文献 1 ： JP 特开 2006-251613 号公报 专利文献 2 ： JP 特开 2006-217131 号公报 专利文献 3 ： JP 特表 2007-520166 号公报 专利文献 4 ： JP 特表 2006-119843 号公报发明概要 发明要解决的问题
但是， 在专利文献 1 ～ 3 的摄像透镜装置中， 由于光学系统与摄像元件相对位置的 调整精度影响到画质， 因此存在在组装时需要正确地调整光学系统与摄像元件的相对位置 的问题。此外， 在仅以机械精度调整相对位置的情况下， 需要高精度的非固体透镜等， 由此 存在成本变高的问题。此外， 即便在装置组装时正确地调整了光学系统和摄像元件的相对 位置， 但由于使用时间的变化等光学系统与摄像元件的相对位置发生变化， 有时出现画质 劣化。虽然再次进行位置调整的话画质会变好， 但存在必需进行与组装时同样的调整的问 题。再有， 在具备多个光学系统和摄像元件的装置中， 由于调整的位置较多， 因此还存在需 要很长的作业时间的问题。
此外， 在专利文献 4 的图像生成方法及其装置中， 为了生成视点变换图像， 需要生 成正确的空间模型， 但存在难以按照立体图像高精度地取得空间模型这种的立体的信息的 问题。 特别在立体图像的视差小的远处的图像中， 受到图像的亮度变化或噪声的影响等， 难 以按照立体图像高精度地取得空间模型这种的立体信息。因此， 即便生成了在立体图像的 视差小的特定区域中进行过超清晰处理的图像， 也难以高精度地向空间模型映射。
发明内容本发明是鉴于这种情况提出的， 其目的在于提供一种摄像装置和摄像方法， 为了 实现高画质的摄像装置， 容易进行光学系统与摄像元件的相对位置的调整， 而无需人工对 其操作。
此外， 本发明的目的在于提供一种能够与立体图像的视差无关也就是与摄影距离 无关地生成高画质且高清晰的二维图像的摄像装置和摄像方法。
解决问题的手段
(1) 基于本发明的一个方面的摄像装置具备 ： 多个摄像元件 ； 多个固体透镜， 在所 述多个摄像元件的各个摄像元件上成像 ； 多个光轴控制部， 对分别入射至所述多个摄像元 件的光的光轴方向进行控制 ； 多个影像处理部， 将所述多个摄像元件各自输出的光电变换 信号变换为影像信号 ； 立体图像处理部， 基于所述多个影像处理部变换之后的多个影像信 号， 进行立体匹配处理， 由此求出每个像素的偏移量， 并生成将超过所述多个摄像元件的像 素间距的偏移量以所述像素间距标准化之后的合成参量 ； 和影像合成处理部， 基于所述立 体图像处理部所生成的所述合成参量， 对所述多个影像处理部各自变换的所述影像信号进 行合成， 由此生成高清晰影像。
(2) 此外， 基于本发明的一个方面的摄像装置还可以具备立体图像噪声降低处理 部， 该立体图像噪声降低处理部基于由所述立体图像处理部生成的所述合成参量， 降低所 述立体匹配处理中使用的视差图像的噪声。
(3) 此外， 在基于本发明的一个方面的摄像装置中， 所述影像合成处理部， 可以基 于由所述立体图像处理部生成的所述视差图像， 仅对规定区域进行高清晰化。
(4) 此外， 基于本发明的一个方面的摄像方法， 其包括 ： 对分别入射至多个摄像元 件的光的光轴方向进行控制， 将所述多个摄像元件各自输出的光电变换信号变换为影像信 号， 基于变换之后的多个影像信号， 进行立体匹配处理， 由此求出每个像素的偏移量， 并生 成将超过所述多个摄像元件的像素间距的偏移量以所述像素间距标准化之后的合成参量， 基于所述合成参量对所述影像信号进行合成， 由此生成高清晰影像。
发明的效果
根据本发明， 由于具备多个摄像元件、 在所述多个摄像元件的各个摄像元件上成 像的多个固体透镜、 对分别入射至所述多个摄像元件的光的光轴方向进行控制的多个光轴 控制部， 因此其效果在于， 容易进行光学系统和摄像元件相对位置的调整， 而不需要人工作 业， 能够实现高画质的摄像装置。特别是由于能够进行控制将入射的光的光轴设定在摄像 元件面上的任意位置， 因此能够简单地进行光学系统和摄像元件之间的位置调整， 能够实 现高画质的摄像装置。此外， 由于基于摄像对象和多个光轴控制部的相对位置控制光轴的 方向， 因此能够在摄像元件面的任意位置进行光轴设定， 能够实现焦点调整范围广的摄像 装置。
由于摄像装置具备 ： 多个摄像元件 ； 多个固体透镜， 在多个摄像元件的各个摄像 元件上成像 ； 多个光轴控制部， 对分别入射至多个摄像元件的光的光轴方向进行控制 ； 多 个影像处理部， 将多个摄像元件各自输出的光电变换信号变换为影像信号 ； 立体图像处理 部， 基于多个影像处理部变换之后的多个影像信号， 进行立体匹配处理， 由此求出每个像素 的偏移量， 并生成将超过多个摄像元件的像素间距的偏移量以像素间距标准化之后的合成 参量 ； 和影像合成处理部， 基于立体图像处理部所生成的合成参量， 对多个影像处理部各自变换的影像信号进行合成， 由此生成高清晰影像， 因此， 能够与立体图像的视差无关地、 也 就是与摄影距离无关地生成高画质且高清晰的二维图像。
此外， 根据本发明， 由于还具备立体图像噪声降低处理部， 该立体图像噪声降低处 理部基于由立体图像处理部生成的合成参量， 降低立体匹配处理中使用的视差图像的噪 声， 因此能够除去立体匹配处理中的噪声。
此外， 根据本发明， 由于影像合成处理部可基于由立体图像处理部生成的视差图 像， 仅对规定区域进行高清晰化， 因此能实现高清晰化处理的高速化。 附图说明
图 1 是表示本发明的第 1 实施方式所涉及的摄像装置的结构框图。 图 2 是图 1 所示的第 1 实施方式所涉及的摄像装置的单位摄像部的详细结构图。 图 3A 是第 1 实施方式所涉及的液体透镜的正面图。 图 3B 是第 1 实施方式所涉及的液体透镜的剖面图。 图 4 是说明第 1 实施方式所涉及的摄像装置中使用的液晶透镜的功能的示意图。 图 5 是说明第 1 实施方式所涉及的摄像装置的液晶透镜的示意图。 图 6 是说明图 1 所示的第 1 实施方式所涉及的摄像装置的摄像元件的示意图。 图 7 是摄像元件的详细结构图。 图 8 是表示图 1 所示的摄像装置的整体结构的框图。 图 9 是第 1 实施方式所涉及的摄像装置的影像处理部的详细框图。 图 10 是第 1 实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框 图 11 是第 1 实施方式所涉及的摄像装置的影像处理的控制部的详细框图。 图 12 是说明控制部的动作的一例的流程图。 图 13 是表示图 12 所示的子像素影像合成高清晰化处理的动作的说明图。 图 14 是说明高清晰判定的一例的流程图。 图 15 是说明控制电压变换处理的一例的流程图。 图 16 是说明相机校准的一例的流程。 图 17 是说明单位摄像部的相机校准的示意图。 图 18 是说明多个单位摄像部的相机校准的示意图。 图 19 是说明多个单位摄像部的相机校准的其他的示意图。 图 20 是表示摄像装置的摄像的情况的示意图。 图 21 是说明高清晰的子像素的示意图。 图 22 是说明高清晰的子像素的其他的示意图。 图 23A 是表示摄像对象 ( 被摄体 ) 和成像的关系的说明图。 图 23B 是表示摄像对象 ( 被摄体 ) 和成像的关系的说明图。 图 23C 是表示摄像对象 ( 被摄体 ) 和成像的关系的说明图。 图 24A 是说明摄像装置的动作的示意图。 图 24B 是说明摄像装置的动作的示意图。 图 25A 是由于安装误差摄像元件偏离安装时的示意图。6图。
102365859 A CN 102365880
说明书5/23 页图 25B 是由于安装误差摄像元件偏离安装时的示意图。 图 26A 是表示光轴偏移控制的动作的示意图。 图 26B 是表示光轴偏移控制的动作的示意图。 图 27A 是表示摄像距离和光轴偏移的关系的说明图。 图 27B 是表示摄像距离和光轴偏移的关系的说明图。 图 28A 是表示摄像距离和光轴偏移的关系的说明图。 图 28B 是表示摄像距离和光轴偏移的关系的说明图。 图 29A 是表示基于纵深和光轴偏移的像偏移的效果的说明图。 图 29B 是表示基于纵深和光轴偏移的像偏移的效果的说明图。 图 30 是说明生成每个像素的并进参量的一例的流程图。 图 31 是表示平行立体结构的情况下的极线的一例的说明图。 图 32 是表示平行立体结构的情况下的基于区域匹配的一例的说明图。 图 33 是表示视差图像的一例的说明图。 图 34 是其他实施方式所涉及的摄像装置的影像处理的影像合成处理部的详细框 图 35 是说明噪声除去的一例的流程图。 图 36 是表示现有的摄像装置的结构框图。 图 37 是表示其他现有的摄像装置的结构框图。图。
具体实施方式
以下， 参照图像对本发明的实施方式进行详细说明。图 1 是表示本发明的第 1 实 施方式所涉及的摄像装置的整体结构的功能框图。图 1 所示的摄像装置 1 具备 6 个系统的 单位摄像部 2 ～ 7。单位摄像部 2 由摄像透镜 8 和摄像元件 14 构成。同样， 单位摄像部 3 由摄像透镜 9 和摄像元件 15 构成。单位摄像部 4 由摄像透镜 10 和摄像元件 16 构成。单 位摄像部 5 由摄像透镜 11 和摄像元件 17 构成。单位摄像部 6 由摄像透镜 12 和摄像元件 18 构成。单位摄像部 7 由摄像透镜 13 和摄像元件 19 构成。各摄像透镜 8 ～ 13 使来自摄 影对象的光分别在对应的各摄像元件 14 ～ 19 上成像。图 1 所示的符号 20 ～ 25 表示入射 至各摄像元件 14 ～ 19 的光的光轴。
以下， 以单位摄像部 3 为例说明信号的流程。由摄像透镜 9 所成的像， 通过摄像元 件 15 进行光电变换， 将光信号变换为电信号。由摄像元件 15 变换之后的电信号， 通过影像 处理部 27 基于预先设定的参量变换至影像信号。影像处理部 27 将变换之后的影像信号输 出至影像合成处理部 38。影像合成处理部 38 中， 输入将从其他的单位摄像部 2、 4 ～ 7 输出 的电信号由所对应的各影像处理部 26、 27 ～ 31 进行变换处理之后的影像信号。在影像合 成处理部 38 中， 将各单位摄像部 2 ～ 7 中拍摄的 6 个影像信号取得同步的同时合成为一个 影像信号， 作为高清晰影像输出。在此， 影像合成处理部 38 基于后述的立体图像处理的结 果合成高清晰影像。此外， 影像合成处理部 38 在所合成的高分辨率影像低于预先设定的判 定值的情况下， 基于其判定结果生成控制信号， 输出至 6 个控制部 32 ～ 37。各控制部 32 ～ 37 基于所输入的控制信号， 进行所对应的各摄像透镜 8 ～ 13 的光轴控制。然后， 影像合成 处理部 38 再次进行高清晰影像的判定。如果该判定结果良好， 则影像合成处理部 38 输出高清晰影像， 如果判定结果不佳则反复进行控制摄像透镜 8 ～ 13 的动作。
接下来， 参照图 2 对图 1 所示的单位摄像部 3 的摄像透镜 9 以及控制该摄像透镜 9 的控制部 33 的详细结构进行说明。单位摄像部 3 由液晶透镜 ( 非固体透镜 )301 和光学透 镜 ( 固体透镜 )302 构成。此外， 控制部 33 由控制施加于液晶透镜 301 的电压的 4 个电压 控制部 33a、 33b、 33c、 33d 构成。电压控制部 33a、 33b、 33c、 33d 基于影像合成处理部 38 生 成的控制信号决定施加于液晶透镜 301 的电压， 以控制液晶透镜 301。 图 1 所示的其他的单 位摄像部 2、 4 ～ 7 摄像透镜 8、 10 ～ 13 以及控制部 32、 34 ～ 37， 也是与摄像透镜 9 和控制 部 33 相同的结构， 因此在此省略其详细说明。
接下来， 参照图 3A 和图 3B， 说明图 2 所示的液晶透镜 301 的结构。图 3A 是第 1 实 施方式中的液晶透镜 301 的正面图。图 3B 是第 1 实施方式中的液晶透镜 301 的剖面图。
本实施方式中的液晶透镜 301 由透明的第 1 电极 303、 第 2 电极 304、 透明的第 3 电极 305、 液晶层 306、 第 1 绝缘层 307、 第 2 绝缘层 308、 第 3 绝缘层 311、 第 4 绝缘层 312 构 成。
液晶层 306 配置在第 2 电极 304 与第 3 电极 305 之间。第 1 绝缘层 307 配置在第 1 电极 303 与第 2 电极 304 之间。第 2 绝缘层 308 配置在第 2 电极 304 与第 3 电极 305 之 间。第 3 绝缘层 311 配置在第 1 电极 303 的外侧。第 4 绝缘层 312 配置在第 3 电极 305 的 外侧。 在此， 第 2 电极 304 具有圆形的孔， 如图 3A 的俯视图所示， 由纵横分割出的 4 个电 极 304a、 304b、 304c、 304d 构成。各个电极 304a、 304b、 304c、 304d 能够独立地施加电压。此 外， 液晶层 306 按照与第 3 电极 305 对置的方式使液晶分子向一个方向定向， 通过在夹着液 晶层 306 的电极 303、 304、 305 之间施加电压， 以进行液晶分子的定向控制。此外， 在绝缘层 308 中， 为了大口径化例如采用几百 μm 左右厚度的透明的玻璃 ( 状物 ) 等。
作为一例以下示出液晶透镜 301 的尺寸。第 2 电极 304 的圆形孔的尺寸约为 φ2mm。第 2 电极 304 与第 1 电极 303 的间隔为 70μm。第 2 绝缘层 308 的厚度为 700μm。 液晶层 306 的厚度为 60μm。在本实施方式中， 第 1 电极 303 与第 2 电极 304 设定为不同的 层， 但也可以形成在同一面上。在这种情况下， 第 1 电极 303 的形状设定为尺寸小于第 2 电 极 304 的圆形孔的圆形， 配置在第 2 电极 304 的孔位置， 在第 2 电极 304 的分割部分设置电 极取出部。此时， 第 1 电极 303 和构成第 2 电极的电极 304a、 304b、 304c、 304d， 能够分别独 立地进行电压控制。通过采用这种构成， 能够减少整体的厚度。
接下来， 说明图 3A 和图 3B 所示的液晶透镜 301 的动作。在图 3A 和图 3B 所示的 液晶透镜 301 中， 在透明的第 3 电极 305 与由铝薄膜等构成的第 2 电极 304 之间施加电压。 与此同时， 也在第 1 电极 303 与第 2 电极 304 之间施加电压。由此， 能够在具有圆形孔的第 2 电极 304 的中心轴 309 形成轴对象的电场梯度。由于这样形成的圆形电极的边沿周围的 轴对象的电场梯度， 使得液晶层 306 的液晶分子在电场梯度的方向定向。其结果因液晶层 306 的定向分布的变化， 异常光的折射率分布从圆形电极的中心至周边发生变化， 由此能够 使其发挥透镜的作用。通过向第 1 电极 303、 第 2 电极 304 施加电压， 从而能够自由地改变 该液晶层 306 的折射率， 能够自由地进行凸透镜或凹透镜等光学特性的控制。
在本实施方式中， 在第 1 电极 303 与第 2 电极 304 之间施加 20Vrms 的有效电压， 在第 2 电极 304 与第 3 电极 305 之间施加 70Vrms 的有效电压， 在第 1 电极 305 与第 3 电
极 305 之间施加 90Vrms 的有效电压， 从而使其作为凸透镜发挥作用。在此， 液晶驱动电压 ( 各电极间施加的电压 ) 是正弦波或者占空比为 50％的矩形波的交流波形。所施加的电压 值由有效电压 (rms ： root mean square value) 表示。例如， 100Vrms 的交流正弦波是具有 ±144V 的峰值的电压波形。此外， 作为交流电压的频率例如使用 1kHz。再有， 在构成第 2 电极 304 的电极 304a、 304b、 304c、 304d 与第 3 电极 305 之间分别施加不同的电压。由此， 施加同一电压时成为轴对称的折射率分布， 相对于具有圆形孔的第 2 电极中心轴 309 成为 轴偏移的非对称的分布， 可得到从入射光前进的方向偏离的效果。 在这种情况下， 通过适当 改变在分割出的第 2 电极 304 与第 3 电极 305 之间施加的电压， 能够改变入射光的偏离方 向。例如， 在电极 304a 与电极 305 之间、 电极 304c 与电极 305 之间分别施加 70Vrms， 在电 极 304b 与电极 305 之间、 电极 304d 与电极 305 之间分别施加 71Vrms， 从而符号 309 示出的 光轴位置偏移至符号 310 示出的位置。其偏移量例如为 3μm。
图 4 是说明液晶透镜 301 的光轴偏移功能的示意图。 如前所述， 对电极 304a、 304b、 304c、 304d 的每一个， 控制在构成第 2 电极的电极 304a、 304b、 304c、 304d 与第 3 电极 305 之 间施加的电压。 由此， 能够使摄像元件的中心轴和液晶透镜的折射率分布的中心轴偏移。 这 相当于相对摄像元件面 A01 透镜在其 xy 面内偏移。因此， 能够使入射至摄像元件的光线在 其 u、 v 面内偏向。
图 5 表示图 2 所示的单位摄像部 3 的详细结构。单位摄像部 3 中的光学透镜 302 由 2 个光学透镜 302a、 302b 构成。液晶透镜 301 配置在光学透镜 302a 与 302b 之间。光学 透镜 302a、 302b 分别由一个或多个的透镜构成。从物体面 A02( 参照图 4) 入射的光线由配 置在液晶透镜 301 的物体面 A02 侧的光学透镜 302a 聚光， 以光点变小之后的状态入射至液 晶透镜 301。此时， 入射至液晶透镜 301 的光线的入射角度相对于光轴处于近乎平行的状 态。从液晶透镜 301 射出的光线由配置在液晶透镜 301 的摄像元件 15 侧的光学透镜 302b 在摄像元件 15 面上成像。通过采用这种结构， 能够减小液晶透镜 301 的直径， 能够减小施 加于液晶透镜 301 的电压、 增大透镜效果， 通过使第 2 绝缘层 308 的厚度变薄由此减小透镜 的厚度。
在图 1 所示的摄像装置 1 中， 采用针对一个摄像元件配置一个摄像透镜的结构。 但 是， 也可以构成为在液晶透镜 301 中在同一基板上构成多个第 2 电极 304， 使多个液晶透镜 一体化。也就是说， 液晶透镜 301 中的第 2 电极 304 的孔部分相当于透镜。因此， 在一个基 板上配置多个第 2 电极 304 的图案， 从而各第 2 电极 304 的孔部分具有透镜效果。因此， 配 合多个摄像元件的配置， 在同一基板上配置多个第 2 电极 304， 从而能够以一个液晶透镜单 元对应所有的摄像元件。
此外， 在上述的说明中， 液晶层的层数为 1 层。但是， 通过使一层的厚度变薄从而 以多层构成液晶层， 能够确保相同程度的聚光性的同时还能改善响应性。这是基于液晶层 越厚则响应速度越差的特征。 此外， 在由多层构成液晶层的情况下， 通过改变各液晶层之间 的偏振光的方向， 针对入射至液晶透镜的光线能够在所有的偏振光方向获得透镜效果。再 有， 尽管作为一例例示了电极分割数为 4 分割的类型， 但也可以根据打算移动的方向改变 电极的分割数。
接下来， 参照图 6 和图 7 对图 1 所示的摄像元件 15 的结构进行说明。本实施方式 中的摄像装置 1 的摄像元件， 作为一例使用 CMOS 摄像元件。在图 6 中， 摄像元件 15 由二维排列的像素 501 构成。本实施方式的 CMOS 摄像元件的像素尺寸为 5.6μm×5.6μm， 像素 间距为 6μm×6μm， 有效像素数为 640( 水平 )×480( 垂直 )。在此， 像素是摄像元件进行 的摄像动作的最小单位。通常， 一个像素对应一个光电变换元件 ( 例如， 光电二极管 )。在 5.6μm 角的像素尺寸之中， 存在具有一定面积 ( 空间上的宽度 ) 的受光部， 像素将入射至受 光部的光进行平均化和积分求出光的强度， 并变换为电信号。进行平均化的时间由电子式 或机械式的快门等控制， 其动作周期一般与摄像装置 1 输出的视频信号的帧频率一致， 例 如 60Hz。
图 7 表示摄像元件 15 的详细结构。 CMOS 摄像元件 15 的像素 501 中， 由放大器 516 对光电二极管 515 进行光电变换之后的信号电荷进行放大。各像素的信号通过由垂直扫描 电路 511 和水平扫描电路 512 控制开关 517， 从而按照垂直水平地址方式被选择， 作为电压 或电流经由 CDS518(Correlated Double Sampling)、 开关 519、 放大器 520 作为信号 S01 被 取出。开关 517 与水平扫描线 513 以及垂直扫描线 514 连接。CDS518 是进行相关二重采样 的电路， 能够抑制由放大器 516 等产生的随机噪声之中的 1/f 噪声。对于像素 501 以外的 像素也具有相同的结构和功能。此外， 由于 CMOS 逻辑 LSI 制造工艺的应用能够进行大量生 产， 为此较之于具有高电压逻辑电路的 CCD 图像传感器是更为廉价， 并且因为元件小所以 耗电少， 在原理上不会发生污点 (smear) 和发白 (blooming)， 以上便是 CMOS 摄像元件的优 点。本实施方式中， 尽管使用了黑白的 CMOS 摄像元件 15， 但也可以使用分别在各像素安装 了 R、 G、 B 滤色器的彩色的 CMOS 摄像元件。使用按照方格花纹反复配置 R、 G、 G、 B 的拜尔构 造， 能够简单地以一个摄像元件实现彩色化。 接下来， 参照图 8 对摄像元件 1 的整体构造进行说明。在图 8 中， 对于图 1 所示 的相同的部分附于相同的符号， 并省略其说明。在图 8 中， 符号 P001 是对摄像装置 1 的处 理动作进行总控制的 CPU(Central Processing Unit)， 有时也称为微型控制器 ( 微型计算 机 )。符号 P002 是由非易失性存储器构成的 ROM(Read Only Memory)， 存储 CPU·P001 的 程序和各处理部所需的设定值。符号 P003 是 RAM(Random Access Memory)， 存储 CPU 的 暂时的数据。符号 P004 是 VideoRAM， 主要用于存储运算过程中的影像信号、 图像信号， 由 SDRAM(Synchronous Dynamic RAM) 等构成。
图 8 中 作 为 CPU·P001 的 程 序 保 存 用 具 有 RAM·P003， 作为图像保存用具有 VideoRAM·P004， 但也可以采用将例如 2 个 RAM 模块统一于 VideoRAM·P004 的结构。符号 P005 是系统总线， 连接着 CPU·P001、 ROM·P002、 RAM·P003、 VideoRAM·P004、 影像处理部 27、 影像合成处理部 38、 控制部 33。 此外， 系统总线 P005 还连接于后述影像处理部 27、 影像 合成处理部 38、 控制部 33 的各模块的内部模块。CPU·P001 作为主机控制系统总线 P005， 双向流动影像处理、 图像处理和光轴控制中所需的设定数据。
例如， 在将影像合成处理部 38 的运算过程中的图像保存在 VideoRAM· P004 中时， 使用该系统总线 P005。也可以将需要高速传输速度的图像信号用的总线、 和低速的数据总 线设定为不同的总线。在系统总线 P005 连接与未图示的 USB 或闪存卡这种的外部设备的 接口、 作为取景器的液晶显示器的显示驱动控制器。
影像合成处理部 38 针对从其他影像处理部输入的信号 S02 进行影像合成处理， 作 为信号 S03 输出至其他控制部， 或作为视频信号 S04 输出至外部。
接下来， 参照图 9 和图 10 说明影像处理部 27 和影像合成处理部 38 的处理动作。
图 9 是表示影像处理部 27 的结构框图。 在图 9 中， 影像处理部 27 具有影像输入处理部 601、 修正处理部 602、 校正参量存储部 603。影像输入处理部 601 从单位摄像部 3 取入影像信 号， 实施例如拐点 (knee) 处理和伽马处理等信号处理， 还实施白平衡控制。影像输入处理 部 601 的输出被输出至修正处理部 602， 基于后述的校准步骤得到的校正参量实施失真的 修正处理。例如， 修正处理部 602 对因摄像元件 15 的安装误差引起的失真进行校正。校正 参量存储部 603 是 RAM(Random Access Memory)， 存储着校准值 ( 校正值 )。从修正处理部 602 输出的完成修正的影像信号输出至影像合成处理部 38。校正参量存储部 603 中所存储 的数据例如在摄像装置 1 的电源接通时， 由 CPU· P001( 图 8) 进行更新。或者， 也可以使校 正参量存储部 603 为 ROM(Read Only Memory)， 在工场出货时通过校准步骤确定保存数据， 并将其存储在 ROM 中。
影像输入处理部 601、 修正处理部 602 以及校正参量存储部 603 分别连接于系统 总线 P005。例如， 影像输入处理部 601 的上述的伽马处理的特性保存在 ROM·P002 中。影 像输入处理部 601 基于 CPU·P001 的程序， 经由系统总线 P005 接收 ROM·P002( 图 8) 所 保存的数据。此外， 修正处理部 602 将运算过程中的图像数据经由系统总线 P005 写入 VideoRAM·P004， 或者从 VideoRAM·P004 中读出。在本实施方式中， 使用了黑白的 CMOS 摄 像元件 15， 但也可以使用彩色的 CMOS 摄像元件。 在使用彩色的 CMOS 摄像元件的情况下， 例 如在摄像元件 1 是拜尔构造时， 由影像处理部 61 实施拜尔插值处理。 图 10 是表示影像合成处理部 38 的结构框图。影像合成处理部 38 具有合成处理 部 701、 合成参量存储部 702、 判定部 703、 立体图像处理部 704。
合成处理部 701 对多个单位摄像部 2 ～ 7( 图 1) 的摄像结果 ( 从影像处理部输入 的信号 S02) 进行合成处理。通过合成处理部 701 的合成处理， 如后面所述那样能够改善图 像的分辨率。合成参量存储部 702 例如保存着基于通过后述校准导出的单位摄像部间的三 维坐标而求出的图像偏移量的数据。判定部 703 基于影像合成结果生成输出至控制部的信 号 S03。立体图像处理部 704 基于多个的单位摄像部 2 ～ 7 的各摄像图像求出每个像素的 偏移量 ( 每个像素的偏移参量 )。此外， 立体图像处理部 704 基于摄像条件 ( 距离 )， 求出 按照摄像元件的像素间距标准化之后的数据。
合成处理部 701， 以该偏移量为基准使图像偏移然后进行合成。判定部 703 通过 对合成处理的结果例如进行傅里叶变换， 检测影像信号的高频分量的功率。在此， 例如假 设合成处理部 701 进行 4 个单位摄像部的合成处理的情况。假定摄像元件为宽 VGA(854 像素 ×480 像素 )。此外， 假定作为影像合成处理部 38 的输出的视频信号 S04 是高清信 号 (1920 像素 ×1080 像素 )。在该情况下， 由判定部 703 进行判定的频带大致从 20MHz 至 30MHz。宽 VGA 的影像信号能够再现的影像频率的频带上限， 大致为 10MHz 至 15MHz。使用 该宽 VGA 信号， 通过由合成处理部 701 进行合成处理， 可复原出 20MHz 至 30MHz 的成分。在 此， 摄像元件是宽 VGA。主要由摄像透镜 8 ～ 13( 图 1) 构成的摄像光学系统， 需要具备不会 使高清信号的频带劣化的特性。
影像合成处理部 38 对控制部 32 ～控制部 37 进行控制， 使得该合成后的视频信号 S04 的频带 ( 在上述例子中为 20MHz 至 30MHz 的成分 ) 的功率为最大。为了进行频率轴下 的判定， 判定部 703 进行傅里叶变换处理， 判定其结果的特定频率以上 ( 例如 20MHz) 的能 量大小。超过摄像元件的频带的影像信号频带的复原效果， 因在像素的大小决定的范围内
对摄像元件上所成的像进行取样时的相位而变化。为了将该相位设定为最佳状态， 使用控 制部 32 ～ 37 对摄像透镜 8 ～ 13 进行控制。具体而言， 控制部 33 对摄像透镜 9 具备的液晶 透镜 301 进行控制。通过控制施加于液晶透镜 301 的分割出的电极 304a、 304b、 304c、 304d 的电压的平衡， 如图 4 所示那样摄像元件面上的图像移动。控制结果的理想状态是各个单 位摄像部的摄像结果的取样相位在水平、 垂直、 倾斜方向彼此偏移像素尺寸的 1/2。在处于 这种理想状态的情况下， 作为傅里叶变换的结果的高频带成分的能量最大。 也就是说， 控制 部 33 通过进行液晶透镜的控制、 以及其结果的合成处理的判定的反馈环， 使得傅里叶变换 的结果的能量最大。
在该控制方法中， 以来自影像处理部 27 的影像信号为基准， 经由控制部 33 以外的 控制部 32、 34 ～ 37( 图 1) 来控制摄像透镜 2、 摄像透镜 4 ～ 7( 图 1)。该情况下， 摄像透镜 2 由控制部 32 控制光轴相位。对于其他的摄像透镜 4 ～ 7 也同样地控制光轴相位。通过 进行比各摄像元件的像素小的尺寸下的相位的控制， 可使由摄像元件平均化的相位的偏移 最佳化。 也就是说， 将由像素对摄像元件上所成的像进行取样时的取样相位， 控制在对于通 过光轴相位的控制进行高清晰化而言理想的状态。 其结果能够合成高清晰且高画质的影像 信号。判定部 703 对合成处理结果进行判定， 如果能够合成高清晰且高画质的影像信号， 则 维持其控制值， 合成处理部 701 将高清晰且高画质的影像信号作为信号 S04 进行视频输出。 另一方面， 如果不能合成出高清晰且高画质的影像信号， 则再次进行摄像透镜的控制。 这里， 为了使摄像元件 1 的像素和摄像对象的成像的相位为像素的尺寸以下， 而 命名并定义了子像素， 但分割像素的子像素的构造在摄像元件上实际是不存在的。 此外， 影 像合成处理部 38 的输出例如是视频信号 S04， 向未图示的显示器输出， 或者输出至未图示 的图像记录部并记录在磁带或 IC 卡中。 合成处理部 701、 合成参量存储部 702、 判定部 703、 立体图像处理部 704， 分别连接于系统总线 P005。合成参量存储部 702 由 RAM 构成。例如， 存储部 702 在摄像装置 1 的电源接通时， 由 CPU·P001 经由系统总线 P005 进行更新。此 外， 合成处理部 701 将运算过程中的图像数据经由系统总线 P005 写入 VideoRAM·P004， 或 者从 VideoRAM·P004 中读出。
立体图像处理部 704， 求出按照每个像素的偏移量 ( 每个像素的偏移参量 ) 和每个 像素的像素间距进行标准化之后的数据。 这在拍摄的影像的一个画面之中以多个图像偏移 量 ( 每个像素的偏移量 ) 来合成影像的情况下、 具体而言在打算拍摄交点位于从摄影距离 近的被摄体至远的被摄体的影像的情况下是有效的。 也就是说， 能够拍摄景深较深的影像。 相反在一个画面中应用一个图像偏移量而不是每个像素的偏移量的情况下， 能够拍摄景深 较浅的影像。
接下来， 参照图 11 说明控制部 33 的结构。在图 11 中， 控制部 33 具有电压控制部 801、 液晶透镜参量存储部 802。电压控制部 801 按照从影像合成处理部 38 的判定部 703 输 入的控制信号， 对摄像透镜 9 具备的液晶透镜 301 的各电极的电压进行控制。被控制的电 压是以从液晶透镜参量存储部 802 输出的参量值为基准， 由电压控制部 801 决定的。通过 这种处理， 液晶透镜 301 的电场分布可被理想地控制， 如图 4 所示那样控制光轴。其结果在 取入相位被修正的状态下在摄像元件 15 中进行光电变换。通过这种控制， 像素的相位被理 想地进行控制。其结果， 可改善视频输出信号的分辨率。如果控制部 33 的控制结果为理想 的状态， 则作为判定部 703 的处理的傅里叶变换的结果的能量检测为最大。为了达到这种
状态， 控制部 33 构成基于摄像透镜 9、 影像处理部 27、 影像合成处理部 38 的反馈环， 按照使 得高频的能量最大的方式控制液晶透镜。 电压控制部 801、 液晶透镜参量存储部 802 分别连 接于系统总线 P005。液晶透镜参量存储部 802 例如由 RAM 构成， 在摄像装置 1 的电源接通 时， 由 CPU·P001 经由系统总线 P005 进行更新。
此外， 图 9 ～图 11 所示的校正参量存储部 63、 合成参量存储部 702 以及液晶透镜 参量存储部 802， 也可以使用相同的 RAM 或 ROM， 形成按照存储的地址进行区分使用的结构。 此外， 也可以是使用 ROM·P002 或 RAM·P003 的一部分地址的结构。
接下来， 说明摄像装置 1 的控制动作。图 12 是表示摄像装置 1 的动作的流程图。 在此， 表示在影像合成处理中使用影像的空间频率信息的一例。首先， 当 CPU· P001 指示控 制处理开始时， 修正处理部 602 从校正参量存储部 603 读取校正参量 ( 步骤 S901)。修正处 理部 602 基于所读取的校正参量， 进行各个单位摄像部 2 ～ 7 的修正 ( 步骤 S902)。该修正 是后述的除去每个单位摄像部 2 ～ 7 的失真。
接下来， 合成处理部 701 从合成参量存储部 702 读取合成参量 ( 步骤 S903)。此 外， 立体图像处理部 704 求出按照每个像素的偏移量 ( 每个像素的偏移参量 ) 以及摄像元 件的像素间距标准化之后的数据。然后， 合成处理部 701 基于读取的合成参量、 和按照每个 像素的偏移量 ( 每个像素的偏移参量 ) 以及摄像元件的像素间距标准化之后的数据， 执行 子像素影像合成高清晰化处理 ( 步骤 S904)。 如后面所述， 合成处理部 701 基于以子像素为 单位的相位不同的信息构筑高清晰图像。
接下来， 判定部 703 实行高清晰判定 ( 步骤 S905)， 判定是否为高清晰 ( 步骤 S906)。判定部 703 在内部保持着判定用的阈值， 判定高清晰的程度， 并将该判定结果的信 息分别输出至控制部 32 ～ 37。各控制部 32 ～ 37 在实现了高清晰的情况下不改变控制电 压， 作为液晶透镜参量保持同一值 ( 步骤 S907)。另一方面， 在步骤 S906 中， 判定为不是高 清晰的情况下， 控制部 32 ～ 37 改变液晶透镜 301 的控制电压 ( 步骤 S908)。CPU· P001 管 理控制结束条件， 例如判定摄像装置 1 的电源关断的条件是否成立 ( 步骤 S909)。在步骤 S909 中如果控制结束条件不满足， 则 CPU· P001 返回至步骤 S903 反复上述的处理。另一方 面， 在步骤 S909 中， 如果满足了控制结束条件， CPU·P001 结束图 12 所示的流程图的处理。 此外， 控制结束条件也可以设定为在摄像装置 1 的电源关断时预先使高清晰判定次数为 10 次， 反复进行指定次数的步骤 S903 ～ S909 的处理。
接下来， 参照图 13 对图 12 所示的子像素影像合成高清晰化处理 ( 步骤 S904) 的 动作进行说明。 图像尺寸、 倍率、 转动量和偏移量是合成参量 B01， 在合成参量读取处理 ( 步 骤 S903) 中从合成参量存储部 702 读出。基于合成参量 B01 的图像尺寸和倍率， 决定坐标 B02。此外， 基于坐标 B02、 合成参量 B01 的转动量和偏移量来进行变换运算 B03。
在此， 假设从 4 个单位摄像部得到一个高清晰图像的情况。基于由各个单位摄像 部拍摄的 4 个图像 B11 ～ B14， 使用转动量和偏移量的参量在一个坐标系 B20 重叠。然后， 根据 4 个图像 B11 ～ B14、 和基于距离的权重系数进行滤波运算。例如， 作为滤波器使用三 次方 ( 近似三次 ) 滤波器。根据处于距离 d 的像素所取得的权重 w 如下式。
w ＝ 1-2×d2+d3 (0 ≤ d ＜ 1)
＝ 4-8×d+5×d2-d3(1 ≤ d ＜ 2)
＝ 0(2 ≤ d)接下来， 参照图 14 对图 12 所示的判定部 703 进行的高清晰判定处理 ( 步骤 S905) 的详细动作进行说明。首先， 判定部 703 提取定义范围的信号 ( 步骤 S1001)。例如在将以 帧为单位的一个画面设定为定义范围的情况下， 由未图示的帧存储器模块预先存储一画面 的信号。例如， 如果是 VGA 分辨率， 则一个画面是由 640×480 像素组成的二维的信息。针 对该二维信息， 判定部 703 执行傅里叶变换， 将时间轴的信息变换为频率轴的信息 ( 步骤 S1002)。接下来， 通过 HPF(High pass filter ： 高通滤波器 ) 提取高频信号 ( 步骤 S1003)。 例如， 假设摄像元件 9 是纵横比为 4 ∶ 3、 60fgs(Frame Per Second)( 逐行 ) 的 VGA 信号 (640 像素 ×480 像素 )、 作为影像合成处理部的输出的视频输出信号为 Quad-VGA 的情况。 假设 VGA 信号的界限分辨率约为 8MHz、 在合成处理中再现 10MHz ～ 16MHz 的信号的情况。 在 该情况下， HPF 例如具有使 10MHz 以上的成分通过的特性。判定部 703 将该 10MHz 以上的信 号与阈值进行比较来进行判定 ( 步骤 S1004)。例如， 在将傅里叶变换之后的结果的 DC( 直 流 ) 成分设为 1 的情况下， 将 10MHz 以上的能量阈值设定为 0.5， 与该阈值进行比较。
在上述的说明中， 说明了以某分辨率的摄像结果的 1 帧的图像为基准进行傅里叶 变换的情况。但是， 在以行为单位 ( 水平同步反复的单位， 如果是高清信号， 则为有效像素 数 1920 像素单位 ) 对定义范围进行定义的情况下， 不需要帧存储器模块， 能够减小电路规 模。在这种情况下， 例如如果是高清信号， 则可以例如按照行数的 1080 次反复实行傅里叶 变换， 综合以行为单位的 1080 次的阈值比较判定， 来判定一个画面的高清晰度。此外， 也可 以使用几帧的以画面为单位的阈值比较判定结果来判定。这样， 以多个判定结果为基础进 行综合判定， 从而能够除去突发的噪声的影响等。此外， 在阈值判定中， 既可以使用固定的 阈值， 也可以适当变更阈值。 也可以另行提取要判定的图像的特征， 以其结果为基础来切换 阈值。例如， 可以通过直方图检测来提取图像的特征。此外， 也可以与过去的判定结果相关 联地变更当前的阈值。
接下来， 参照图 15 对图 12 所示的控制部 32 ～ 37 执行的控制电压变更处理 ( 步 骤 S908) 的详细动作进行说明。 在此， 虽然以控制部 33 的处理动作为例进行说明， 但控制部 32、 34 ～ 37 的处理动作也同样。首先， 电压控制部 801( 图 11)， 从液晶透镜参量存储部 802 读出当前的液晶透镜的参量值 ( 步骤 S1101)。然后， 电压控制部 801 更新液晶透镜的参量 值 ( 步骤 S1102)。作为液晶透镜参量事先掌握过去的历史记录。例如， 针对当前的 4 个电 压控制部 33a、 33b、 33c、 33d， 将电压控制部 33a 的电压按照过去的历史记录每间隔 5V 提高 至 40V、 45V、 50V 的情况下， 判定为历史记录和本次都不是高清晰， 因此判定为应该进一步 提高电压。并且， 一边保持电压控制部 33b、 电压控制部 33c、 电压控制部 33d 的电压值， 一 边将电压控制部 33a 的电压更新至 55V。这样， 依次更新提供给 4 个液晶透镜的电极 304a、 304b、 304c、 304d 的电压值。此外， 作为历史记录更新液晶透镜参量的值。
通过以上的处理动作， 以子像素为单位对多个单位摄像部 2 ～ 7 的摄像图像进行 合成， 进而判定其高清晰的程度， 并按照维持高清晰性能的方式变更控制电压。由此， 能够 实现高画质的摄像装置 1。通过对分割出的电极 304a、 电极 304b、 电极 304c、 电极 304d 施 加不同的电压， 可改变以摄像元件的像素对通过摄像透镜 8 ～ 13 在摄像元件上所成的像进 行取样时的取样相位。 该控制的理想状态是各个单位摄像部的摄像结果的采样相位彼此在 水平、 垂直、 倾斜方向偏移像素尺寸的 1/2。由判定部 703 进行是否是理想状态的判定。
接下来， 参照图 16 说明相机校准的处理动作。该处理动作例如是在摄像装置 1 的工场生产时进行的处理， 在摄像装置的电源接通时通过同时按下多个操作按键等特定操作 来执行。该相机校准处理由 CPU· P001 执行。首先， 调整摄像装置 1 的作业者准备图案间距 已知的格子图案或方格花纹的测试图， 一边改变姿势和角度一边以格子图案的 30 种姿势 进行摄像以取得图像 ( 步骤 S1201)。接下来， CPU·P001 按照每个单位摄像部 2 ～ 7 对该 摄像图像进行解析， 导出每个单位摄像部 2 ～ 7 的外部参量值、 内部参量值 ( 步骤 S1202)。 例如， 如果是被称为针孔相机模型的一般的相机模型， 则外部参量值中， 相机的姿势在三维 下的转动信息和平移信息的 6 个为外部参量。同样， 内部参量是 5 个。导出这种的参量的 处理是校正 ( 校准 ) 处理。在一般的相机模型中， 外部参量是相对于世界坐标表示相机姿 势的横摇、 纵摇、 滚动的三轴向量和表示平行移动成分的平移向量的三轴成分的合计 6 个 参量。此外， 内部参量为 5 个， 分别是相机的光轴与摄像元件相交的图像中心 (u0、 v0)、 在 摄像元件上假设的坐标的角度和纵横比、 焦距。
接下来， CPU· P001 将所得到的参量存储在校正参量存储部 603 中 ( 步骤 S1203)。 如前所述， 通过在单位摄像部 2 ～ 7 的修正处理 ( 图 12 所示的步骤 S902) 中使用该参量， 单位摄像部 2 ～ 7 各自的相机失真得到修正。也就是说， 有时本来是直线的格子图案因相 机失真而变为曲线被摄像到， 这种情况下通过该相机校准处理导出用于将其复原至直线的 参量， 以进行单位摄像部 2 ～ 7 的修正。 接下来， CPU· P001 将单位摄像部 2 ～ 7 间的参量作为单位摄像部 2 ～ 7 间的外部 参量导出 ( 步骤 S1204)。然后， 更新在合成参量存储部 702 以及液晶透镜参量存储部 802 中存储的参量 ( 步骤 S1205、 S1206)。该值在子像素影像合成高清晰化处理 S904、 和控制电 压变更 S908 中使用。
此外， 这里示出了摄像装置 1 内的 CPU·P001 或微型计算机具备相机校准功能的 情况。但是， 也可以例如另行准备个人计算机， 并在该个人计算机上执行同样的处理， 仅将 所得到的参量下载至摄像装置 1 中。
接下来， 参照图 17 对单位摄像部 2 ～ 7 的相机校准的原理进行说明。在此， 针对 相机的投影的情况使用图 17 所示的针孔相机模型。在针孔相机模型中， 到达图像平面的光 通过作为所有透镜的中心的一点的针孔 C01， 在与图像平面 C02 交叉的位置成像。此外， 将 以下坐标系称为图像坐标系， 在该坐标系中， 将光轴与图像平面 C02 的交点设为原点， 配合 相机元件的配置轴取得 X 轴和 Y 轴的。此外， 将如下的坐标系称为相机坐标系， 在该坐标系 中， 将相机的透镜中心设为原点， 将光轴设为 Z 轴， 平行于 X 轴和 Y 轴取得 X 轴和 Y 轴。在 此， 对于表示空间的坐标系的世界坐标系 (Xw， Yw， Zw) 下的三维坐标 M ＝ [X， Y， Z]T 和作为其 投影的图像坐标系 (x， y) 上的点 m ＝ [u， v]T， 按照 (1) 式那样将其关联起来。
在 (1) 式中， A 是内部参量矩阵， 是如下的 (2) 式那样的矩阵。
在 (2) 式中， α、 β 是由像素的大小和焦距的积构成的比例系数。(u0， v0) 是图像中心， γ 是表示图像的坐标轴的失真的参量。此外， [R t] 是外部参量矩阵， 是将 3×3 的 旋转矩阵 R 和平行移动矩阵 t 排列之后的 4×3 矩阵。
在 Zhang 的校准方法中， 一边移动贴有已知图案的平板一边拍摄 (3 次以上 ) 图 像， 能够求出内部参量、 外部参量、 透镜失真参量。在该方法中， 将校准平面 C03( 图 17) 设 定为世界坐标系的 Zw ＝ 0 的平面进行校准。由 (1) 式示出的校准平面 C03 的点 M 和拍摄 该平面的图像上的对应的点 m 之间的关系， 能够按照下面的 (3) 式进行改写。
平面上的点与图像上的点之间的关系是 3×3 的单应 (homography) 矩阵 H， 能够如 (4) 式那样进行记述。
H ＝ A[r1 r2 t]… (4)当提供一个校准平面 C03 的图像时， 就得到一个单应矩阵 H。当得到该单应矩阵 H ＝ [h1 h2 h3] 时， 由 (4) 式可得到 (5) 式。
[h1 h2 h3] ＝ λA[r1 r2 t] … (5)
由于 R 是旋转矩阵， 因此 r1 和 r2 正交。因此， 得到以下所示的与内部参量相关的 2 个限制公式 (6) 式、 (7) 式。 T -T -1
h1 A A h2 ＝ 0 … (6) T -T -1 T -T -1
h1 A A h1 ＝ h2 A A h2 … (7) -T -1
如 (8) 式所示那样， A A 是 3×3 的对象矩阵， 包含 6 个未知数， 针对 1 个 H 能够 建立 2 个公式。因此， 只要得到 3 个以上的 H 就能够决定内部参量 A。在此， 因为 A-TA-1 具 有对象性， 所以如 (9) 式那样定义将由以下的 (8) 式表示的 B 的要素排列之后的向量 b。
b ＝ [B11 B12 B22 B13 B23 B33]T … (9)
在将单应矩阵 H 的第 i 列向量设为 hi ＝ [hi1 hi2 hi3]T、 (i ＝ 1， 2， 3) 时， 通过以下 T 的 (10) 式来表示 hi Bhj。
此外， (10) 式中的 Vij 由以下的 (11) 式表示。 vij ＝ [hi1hj1 hi1hj2+hi2hj1 hi2hj2 hi3hj1+hi1hj3 hi3hj2+hi2hj3 hi3hj3]T… (11)
由此， (6) 式和 (7) 式将成为以下的 (12) 式那样。
如果得到 n 个图像， 则通过累积 n 个上述的式子， 能够得到以下的 (13) 式。
Vb ＝ 0 … (13)
在此， V 是 2n×6 的矩阵。由此， b 作为对应于 VTV 的最小固有值的固有向量求出。 在该情况下， 尽管在 n ≥ 3 时能够直接得到与 b 相关的解， 但是在 n ＝ 2 时， 通过设定内部 参量中的 γ ＝ 0， 从而将使 [0 10 0 0 0]b ＝ 0 代入 (13) 式中来求出解。此外， 如果 n ＝ 1 则仅能够求出 2 个内部参量。因此， 例如通过仅将 α 和 β 设为未知， 将剩余的内部参量 设为已知， 来进行求解。如果求出 b 进而求出 B， 则基于 B ＝ μA-TA 通过 (14) 式可计算出 相机的内部参量。
此外， 如果由此求出内部参量， 则针对外部参量， 通过 (5) 式而得到以下的 (15)式。
通过将至此求得的参量作为初始值的非线性最小二乘法来对参量进行最优化， 能 够得到最佳的外部参量。
如上述， 在所有的内部参量未知的情况下， 使用从不同的视点将内部参量固定的 状态下拍摄的 3 个以上的图像， 从而能够进行相机校准。此时， 一般图像个数越多则参量估 计精度越高。此外， 在用于校准的图像之间的转动小的情况下误差变大。
接下来， 参照图 18、 图 19， 说明基于相机校准中求得的表示相机 ( 摄像装置 ) 的位 置、 姿势的参量， 以子像素的精度将各图像中拍摄相同区域的区域对应起来的方法。
图 18 中表示由作为基本的摄像元件 15( 将此称为基本相机 D01) 和与其相邻的摄
像元件 16( 将此称为相邻相机 D02) 将对象物体面 D03 上的点 M 经由液晶透镜 D04、 D05 向 各摄像元件 15、 16 上的点 m1 和 m2 投影 ( 摄影 ) 的情况。
此外， 图 19 是使用图 17 所示的针孔相机模型来图示图 18 的情况。在图 19 中， 符 号 D06 表示作为基本相机 D01 的相机透镜的中心的针孔。符号 D07 表示作为相邻相机 D02 的相机透镜的中心的针孔。 此外， 符号 D08 表示基本相机 D01 的图像平面， Z1 表示基本相机 D01 的光轴。此外， 符号 D09 表示相邻相机 D02 的图像平面， Z2 表示相邻相机 D02 的光轴。
世界坐标系上的点 M 与图像坐标系上的点 m 之间的关系， 因相机的移动性等使用 中心射影矩阵 P 来表示时， 通过 (1) 式能够按照以下的 (16) 式来表示。
m ＝ PM … (16)
通过使用计算出的 P， 能够描述三维空间中的点与二维空间平面上的点之间的对 应关系。在图 19 所示的结构中， 将基本相机 D01 的中心射影矩阵设为 P1， 将相邻相机 D02 的中心射影矩阵设为 P2。 为了从图像平面 D08 上的点 m1 求出与该点对应的图像平面 D09 上 的点 m2， 使用以下的方法。
(1) 基于 (16) 式， 根据以下的 (17) 式来从 m1 求出三维空间的点 M。由于中心射 影矩阵 P 是 3×4 的矩阵， 因此使用 P 的伪逆矩阵来求出。 -1 T T
M ＝ (P1 P1) P1 m1 … (17)
(2) 由计算出的三维位置， 通过以下的 (18) 式， 使用相邻相机的中心射影矩阵 P2 求出相邻图像的对应点 m2。
m2 ＝ P2((P1TP1)-1P1Tm1) … (18)
由于相机参量 P 具有模拟的值， 因此计算出的基本图像和相邻图像的对应点 m2 以 子像素为单位求出。 由于在使用相机参量的对应点匹配中， 已经求出相机参量， 因此其优点 在于仅通过矩阵计算就能够迅速计算出对应点。
接下来， 对透镜的失真和相机校准进行说明。 至此， 尽管按照将透镜视为一点的针 孔模型进行了说明， 但是实际上由于透镜具有有限的大小， 因此存在无法以针孔模型进行 说明的情况。以下针对这种情况下的失真的修正进行说明。在使用凸透镜的情况下， 由于 入射光发生折射而产生失真。将针对这种放射方向的失真的修正系统设为 k1、 k2、 k5。此外， 在透镜与摄像元件不是平行配置的情况下， 产生切线方向的失真。将针对其法线方向的失 真的修正系统设为 k3、 k4。将这些的失真称为失真像差。在此， 失真修正式能够表示为以下 的式 (19)、 式 (20)、 式 (21)。
在此， (xu， yu) 是没有歪曲像差的理想透镜的摄像结果的图像坐标。(xd、 yd) 是有 歪曲像差的透镜的图像坐标。 对于其坐标的坐标系， 双方都是前述的图像坐标系 X 轴、 Y 轴。此外， r 是从图像中线至 (xu， yu) 的距离。图像中心由上述的内部参量 u0、 v0 来确定。如果 假定以上模型， 并通过校准导出系数 k1 ～ k5 和内部参量， 则可求出基于有无失真的成像坐 标的差， 进而修正因实物透镜引起的失真。
图 20 是表示摄像装置 1 的摄像情况的示意图。由摄像元件 15 和摄像透镜 9 构成 单位摄像部 3 对摄像范围 E01 进行摄像。由摄像元件 16 和摄像透镜 10 构成的单位摄像部 4， 对摄像范围 E02 进行摄像。由两个单位摄像部 3、 4 对大致相同的摄像范围进行摄像。例 如在摄像元件 15、 16 的配置间隔为 12mm， 单位摄像部 3、 4 的焦距为 5mm， 距摄像范围的距离 为 600mm， 单位摄像部 3、 4 的光轴彼此平行的情况下， 摄像范围 E01、 E02 的不同的范围的区 域约为 3％左右。这样， 对同一部分进行摄像后通过合成处理部 38 进行高清晰化处理。
接下来， 参照图 21、 图 22 对摄像装置 1 的高清晰化进行说明。
此外， 图 21 的波形 1 表示被摄体的轮廓。图 21 的波形 2 表示由单一的摄像装置 拍摄的结果。图 21 的波形 3 表示由单一的摄像装置拍摄的结果。图 21 的波形 4 表示合成 处理部的输出。
在图 21 中， 横轴表示空间的宽度。该空间的宽度表示现实的空间的情况、 和摄像 元件上的假设空间宽度的情况的双方。 由于如果使用外部参量和内部参量它们彼此之间能 够进行变换或换算， 因此上述的双方是相同意义的。 此外， 在视为从摄像元件依次读出的影 像信号的情况下， 图 21 的横轴取时间轴。在这种情况下， 在显示器进行显示时， 由于在观察 者的眼中认为是空间的宽度， 因此在为影像信号的时间轴的情况下与空间的宽度也是相同 意义的。图 21 的纵轴是振幅、 强度。由于以摄像元件的像素对物体发射光的强度进行光电 变换之后作为电压电平输出， 因此也可以视为振幅。
图 21 的波形 1 是现实空间下的物体轮廓。以摄像元件的像素的宽度对该轮廓即 物体的反射光强度进行积分。因此， 由单位摄像部 2 ～ 7， 像图 21 的波形 2 那样进行读取。 作为一例， 该积分使用 LPF(Low Pass Filter ： 低通滤波器 ) 进行。图 21 的波形 2 中的箭 头 F01 是摄像元件的像素宽度。图 21 的波形 3 是由不同的单位摄像部 2 ～ 7 拍摄的结果， 以图 21 的波形 3 中的箭头 F02 所示的像素的宽度对光进行积分。如图 21 的波形 2、 图 21 的波形 3 所示， 由摄像元件的分辨率 ( 像素的尺寸 ) 决定的宽度以下的反射光的轮廓 ( 分 布 )， 无法在摄像元件中进行再现。
但是， 本实施方式的特征在于， 在图 21 的波形 2、 图 21 的波形 3 中在双方的相位关 系中使其具有偏移量。 具有这种的偏移量来取入光， 并在合成处理部中进行最佳合成， 从而 能够再现图 21 的波形 4 所示的轮廓。从图 21 的波形 1 ～波形 4 可知， 最能够再现图 21 的 波形 1 的轮廓的是图 21 的波形 4， 与相当于图 21 的波形 4 的箭头 F03 的宽度的摄像元件像 素尺寸的性能等效。在本实施方式中， 使用多个以液晶透镜为代表的非固体透镜和由摄像 元件构成的单位摄像部， 能够得到超过上述平均化 ( 使用 LPF 的积分 ) 的析像界限的视频 输出。
图 22 是表示 2 个单位摄像部的相对的相位关系的示意图。在后级的图像处理中 进行高清晰化的情况下， 优选摄像元件的采样相位的相对关系是等间隔的。 在此， 所谓采样 与取样为相同意义， 是指取出离散的位置处的模拟信号的处理。在图 22 中， 假设使用 2 个 单位摄像部的情况。因此， 其相位关系如图 22 的状态 1 所示， 理想的是 0.5 像素尺寸 G01 的相位关系。如图 22 的状态 1 所示， 在 2 个单位摄像部中分别入射光 G02。但是， 由于摄像距离、 摄像装置 1 的组装的关系， 会出现图 22 的状态 2 和图 22 的 状态的情况。 在这种情况下， 即便仅使用平均化之后的影像信号进行图像处理运算， 对于已 经按照图 22 的状态 2、 图 22 的状态 3 的相位关系进行平均化的信号而言， 将不能复原。因 此， 需要按照图 22 的状态 4 所示那样对图 22 的状态 2、 图 22 的状态 3 的相位关系进行高精 度控制。在本实施方式中， 如箭头 G03、 G04 所示那样， 通过基于图 4 所示的液晶透镜的光轴 偏移来实现该控制。 通过以上的处理， 由于总是确保理想的相位关系， 因此能够向观察者提 供最佳的图像。
在此， 图 22 中对一维的相位关系进行了说明。例如， 使用 4 个单位摄像部分别设 定水平、 垂直、 倾斜 45 度的各方向的一维偏移， 从而通过图 22 所示的动作能够进行二维空 间的相位控制。此外， 例如使用 2 个单位摄像部， 相对于基准的单位摄像部在二维 ( 水平、 垂直、 水平 + 垂直 ) 上对其中一个的单位摄像部进行相位控制， 从而也可以实现二维的相位 控制。
例如， 假设使用 4 个单位摄像部对大致相同的摄像对象 ( 被摄体 ) 进行摄像从而 得到 4 个图像的情况。以某图像为基准， 对各个图像进行傅里叶变换从而在频率轴判定特 征点， 计算针对基准图像的转动量和偏移量， 使用该旋转量和偏移量进行内插滤波处理， 从 而能够得到高清晰图像。例如， 如果摄像元件的像素数为 VGA(640×480 像素 )， 则由 4 个 VGA 的单位摄像部可得到 Quad-VGA(1280×960 像素 ) 的高清图像。
在上述的内插滤波处理中， 例如使用三次方 ( 近似三次 ) 法。这是基于距内插点 的距离进行加权的处理。摄像元件 1 的分辨率界限是 VGA， 但摄像透镜具有使 Quad-VGA 的 频带通过的能力， VGA 以上的 Quad-VGA 的频带成分可作为折返失真 ( 混叠 ： aliasing) 以 VGA 分辨率被摄像。使用该折返失真通过影像合成处理可复原 Quad-VGA 的高频带成分。
图 23A ～图 23C 是表示摄像对象 ( 被摄体 ) 与成像的关系的图。
此外， 在图 23B 中， 符号 I01 表示像的光强分布图。符号 I02 表示 P1 的对应点。符 号 I03 表示摄像元件 M 的像素。符号 I04 表示摄像元件 N 的像素。
在图 23B 中， 如符号 I05 所示， 由于对应点和像素的相位关系， 因此按照像素进行 平均化的光束量不同， 利用该信息可实现高清晰化。此外， 如符号 I06 所示， 通过图像移动 使对应点彼此重叠。
在图 23C 中， 符号 I02 表示 P1 的对应点。在图 23C 中， 如符号 I07 所示， 进行由液 晶透镜实施的光轴偏移。
在图 23A ～图 23C 中， 以忽略透镜失真的针孔模型为基础。对于透镜失真较小的 摄像装置， 能够以该模型进行说明， 能够仅以几何光学进行说明。在图 23A 中， P1 是摄像对 象， 距离摄像装置为摄像距离 H。针孔 O、 O’ 相当于 2 个单位摄像部的摄像透镜。图 23A 是 表示由摄像元件 M、 N 的 2 个单位摄像部对一个像进行摄像的情况的示意图。图 23B 表示在 摄像元件的像素上 P1 的像成像的情况。这样， 可确定像素和所成的像的相位。该相位由摄 像元件彼此的位置关系 ( 基线长 B)、 焦距 f、 摄像距离 H 决定。
也就是说， 有时因摄像元件的安装精度而与设计值有所不同， 此外关系也会因摄 像距离而变换。 在这种情况下， 通过某个组合会如图 23C 那样出现彼此相位一致的情况。 图 23B 的光强度分布示意表示针对某宽度的光的强度。在摄像元件中针对这种光的输入在像 素的宽度范围内进行平均化。如图 23B 所示那样， 由 2 个单位摄像部以不同的相位取入的情况下， 相同的光强度分布以不同的相位被平均化。 因此， 在后级的合成处理中能够再现高 频带成分 ( 例如， 如果是摄像元件是 VGA 分辨率， 则是 VGA 分辨率以上的高频带 )。在此， 由 于使用 2 个单位摄像部， 因此理想的是有 0.5 像素的相位偏移。
但是， 当像图 23C 那样相位一致时， 由各自的摄像元件所取得的信息是相同的， 不 能实现高清晰化。因此， 如图 23C 所示， 通过光轴偏移将相位控制在最佳状态， 从而实现高 清晰化。通过进行图 14 的处理来实现最佳的状态。优选相位关系是所使用的单位摄像部 的相位为等间隔的。 在本实施方式中， 由于具有光轴偏移功能， 因此能够通过来自外部的电 压控制实现这种最佳的状态。
图 24A 和图 24B 是说明摄像装置 1 的动作的示意图。图 24A 和图 24B 图示了通过 由 2 个单位摄像部构成的摄像装置进行摄像的情况。此外， 在图 24A 中， 符号 Mn 表示摄像 元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
为了方便说明， 各个摄像元件以像素为单位放大进行记载。由 u、 v 的二维定义摄 像元件的平面， 图 24A 相当于 u 轴的剖面。摄像对象 P0、 P1 处于相同摄像距离 H。P0 的像 分别在 u0、 u’ 0 处成像。u0、 u’ 0 是以各自的光轴为基准的摄像元件上的距离。在图 24A 中， 由于 P0 处于摄像元件 M 的光轴上， 因此 u0 ＝ 0。此外， P1 的各个像距光轴的距离为 u1、 u’ 1。在此， P0、 P1 在摄像元件 M、 N 上成像的位置的、 针对摄像元件 M、 N 的像素的相对的相 位左右了像偏移的性能。该关系由摄像距离 H、 焦距 f、 摄像元件的光轴间的距离即基线长 B 来决定。
在图 24A 和图 24B 中， 各自成像的位置也就是 u0 和 u’ 0 偏移了像素尺寸的一半。 u0( ＝ 0) 位于摄像元件 M 的像素的中心。相对于此， u’ 0 在摄像元件 N 的像素的周边成像。 也就是说， 出现了偏离了像素尺寸的半个像素的关系。u1 和 u’ 1 也同样地偏移了半个像素 的尺寸。图 24B 是通过对各自拍摄的图像的同一图像之间进行运算， 来复原和生成一个图 像的动作的示意图。Pu 表示 u 方向的像素尺寸， Pv 表示 v 方向的像素尺寸。在图 24B 中， 以四边形示出的区域表示像素。在图 24B 中， 出现了彼此偏移了像素的一半的关系， 是用于 实现像偏移从而生成高清晰图像的理想的状态。
相对于图 24A 和图 24B， 图 25A 和图 25B 是例如由于安装误差摄像元件 N 较设计偏 离了像素尺寸的一半而安装的情况的示意图。
此外， 在图 25A 中， 符号 Mn 表示摄像元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
此外， 在图 25B 中， 由四边形示出的区域表示像素。此外， 符号 Pu 表示 u 方向的像 素尺寸， Pv 表示 v 方向的像素尺寸。
在该情况下， u1 和 u’ 1 相互的关系相对于各自摄像元件的像素为相同的相位。在 图 25A 中， 双方都在相对于像素靠左侧的位置成像。u0( ＝ 0) 和 u’ 0 的关系也同样。因此， 如图 25B 那样彼此的相位大致一致。
图 26A 和图 26B 是相对于图 25A 和图 25B 使本实施方式的光轴偏移动作时的示意 图。
此外， 在图 26A 中， 符号 Mn 表示摄像元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
此外， 在图 26B 中， 由四边形示出的区域表示像素。此外， 符号 Pu 表示 u 方向的像素尺寸， 符号 Pv 表示 v 方向的像素尺寸。
图 26A 中的光轴偏移 J01 这种的针孔 O’ 向右方向的移动， 是其动作的像。这样， 使用光轴偏移部件使针孔 O’ 偏离， 从而相对于摄像元件的像素能够控制摄像对象成像的位 置。由此， 如图 26B 那样能够实现理想的相位关系。
接下来， 参照图 27A 和图 27B 对摄像距离和光轴偏移的关系进行说明。
此外， 在图 27A 中， 符号 Mn 表示摄像元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
此外， 在图 27B 中， 由四边形示出的区域表示像素。此外， 符号 Pu 表示 u 方向的像 素尺寸， 符号 Pv 表示 v 方向的像素尺寸。
图 27A 和图 27B 说明从以摄像距离 H0 拍摄 P0 的状态将被摄体切换至处于距离 H1 的物体 P1 的情况的示意图。在图 27A 中， 由于假设 P0、 P1 分别在摄像元件 M 上的光轴上， 因此 u0 ＝ 0， 此外 u1 ＝ 0。关注于 P0、 P1 在摄像元件 N 上成像时的、 摄像元件 B 的像素与 P0、 P1 的像之间的关系。P0 在摄像元件 M 的像素的中心成像。相对于此， 在摄像元件 N 中， 在像素的周围成像。因此， 可以说拍摄到 P0 时是最佳的位置关系。图 27B 是表示被摄体为 P1 时的各个摄像元件的相位关系的示意图。 如图 27B 那样将被摄体变更至 P1 之后， 彼此的 相位大致一致。 因此， 如图 28A 的符号 J20 所示那样， 在被摄体 P1 摄像时， 通过光轴偏移部件移动 光轴， 能够如图 28B 所示那样控制在理想的相位关系， 能够实现基于像偏移的高清晰化。
此外， 在图 28A 中， 符号 Mn 表示摄像元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
此外， 在图 28B 中， 由四边形示出的区域表示像素。此外， 符号 Pu 表示 u 方向的像 素尺寸， 符号 Pv 表示 v 方向的像素尺寸。
在此， 为了得到摄像距离的信息， 另行设置测量距离的测距部件即可。或者， 也可 以由本实施方式的摄像装置测量距离。在一般的测量等中例如使用多个相机 ( 单位摄像 部 ) 测量距离。其测距性能与作为相机间的距离的基线长和相机的焦距成正比例， 与距测 距物体的距离成反比例。
假设例如由 8 眼结构即 8 个单位摄像部构成本实施方式的摄像装置。在测量距离 也就是距被摄体的距离为 500mm 的情况下， 8 眼相机中的各自的光轴间距离 ( 基线长 ) 较短 的 4 个相机分配给摄像、 像偏移处理， 由剩余的各个基线长较长的 4 个相机测量距被摄体的 距离。此外， 在测量与被摄体的距离较远的 2000mm 的情况下， 使用 8 眼来进行像偏移的高 清晰处理。在进行测距的情况下， 例如也可通过对拍摄的图像的分辨率进行解析来判定模 糊 ( 虚化 ) 量， 从而估计距离的处理来进行。如上述那样， 在与被摄体的距离为 500mm 的情 况下， 也可以并用 TOF(Time of Flight) 这种的其他测距部件来提高测距的精度。
接下来， 参照图 29A 和图 29B， 对基于纵深和光轴偏移的像偏移的效果进行说明。
此外， 在图 29A 中， 符号 Mn 表示摄像元件 M 的像素。此外， 符号 Nn 表示摄像元件 N 的像素。
此外， 在图 29B 中， 横轴表示距中心的距离 ( 单位 ： 像素 )， 纵轴表示 Δr( 单位 ： mm)。
图 29A 是表示将纵深 Δr 考虑在内拍摄 P1、 P2 时的示意图。各自距光轴的距离的
差 (u1-u2) 为 (22) 式。
(u1-u2) ＝ Δr×u1/H … (22)
在此， u1-u2 是由基线长 B、 摄像距离 H、 焦距 f 决定的值。在此， 使这些的条件 B、 H、 f 固定视为常数。此外， 假定通过光轴偏移部件使其处于理想的光轴关系。Δr 和像素的 位置 ( 在摄像元件上所成的像距光轴的距离 ) 的关系成为 (23) 式那样。
Δr ＝ (u1-u2)×H/u1 … (23)
也就是说， Δr 与 u1 处于反比例的关系。此外， 图 29B 作为一例假定像素尺寸 6μm、 摄像距离 600mm、 焦距 5mm 的情况， 导出了纵深引起的影响收敛在一个像素的范围内 的条件。 在纵深引起的影响收敛在一个像素的范围内的条件下， 可充分得到像偏移的效果。 因此， 例如使视场角变窄等， 如果通过应用程序分开使用， 则能够避免基于纵深的像偏移的 性能劣化。
如图 29A 和图 29B 所示， 在 Δr 较小 ( 景深浅 ) 的情况下， 在一个画面中应用同一 图像偏移量进行高清晰化处理即可。 对于 Δr 较大 ( 景深较深 ) 的情况， 参照图 27A、 图 27B 和图 30 进行说明。图 30 是表示图 10 所示的立体图像处理部 704 的处理动作的流程图。在 图 27A、 图 27B 中， 由具有某基线长的多个摄像元件的像素进行的采样的相位偏离， 因摄像 距离而变化。 因此， 为了在某个摄像距离下进行高清晰化， 需要根据摄像距离改变图像偏移 量。例如， 在被摄体具有较大的纵深的情况下， 即便在某距离是最佳的相位差， 但该相位在 其他距离下不是最合适的。也就是说， 需要针对每个像素改变偏移量。在此， 由 (24) 式表 示摄像距离和在摄像元件上成像的点的移动量。
u0-u1 ＝ f×B×((1/H0)-(1/H1)) … (24)
立体图像处理部 704( 参照图 10)， 求出按照这些每个像素的偏移量 ( 每个像素的 偏移参量 ) 和摄像元件的像素间距标准化之后的数据。立体图像处理部 704 使用基于预 先求出的相机参量修正之后的 2 个摄像图像进行立体匹配 ( 步骤 S3001)。通过立体匹配 求出图像中的对应的特征点， 据此计算每个像素的偏移量 ( 每个像素的偏移参量 )( 步骤 S3002)。接下来， 立体图像处理部 704 比较每个像素的偏移量 ( 每个像素的偏移参量 ) 和 摄像元件的像素间距 ( 步骤 S3003)。 该比较结果为每个像素的偏移量小于摄像元件的像素 间距的情况下， 将每个像素的偏移量用作合成参量 ( 步骤 S3004)。 另一方面， 在每个像素的 偏移量大于摄像元件的像素间距的情况下， 求出按照摄像元件的像素间距标准化之后的数 据， 将该数据用作合成参量 ( 步骤 S3005)。 基于在此求出的合成参量进行影像合成， 由此能 够与摄像距离无关地得到高清晰化图像。
在此， 对立体匹配进行说明。所谓立体匹配是以一个图像为基准相对于该图像中 的位置 (u， v) 的像素， 从其他图像中搜索相同的空间点的投影点的处理。相机投影模型 中所需的相机参量预先通过相机校准求出。因此， 对应点的搜索能够限定在直线 ( 极线 ： epipolar line) 上。特别是本实施方式那样平行地设定各单位摄像部的光轴的情况下， 如 图 31 所示， 极线 K01 成为相同的水平线上的直线。
这样， 由于相对于基准图像的另一个图像上的对应点被限定在极线 K01 上， 因此 在立体匹配中仅在该极线 K01 上进行搜索即可。这对于降低匹配的误差提高处理速度是较 重要的。此外， 图 31 的左侧的四边形表示基准图像。
作为具体的搜索方法， 存在基于区域的匹配 (area-based matching) 和基于特征的匹配 (feature-based matching) 等。如图 32 所示， 基于区域的匹配使用模板求出对应 点。此外， 图 32 的左侧的四边形表示基准图像。
另一方面， 基于特征的匹配提取各图像的边沿或角部等的特征点， 并求出该特征 点彼此之间的对应。
作为求出更正确的对应点的方法， 存在被称为多基准线立体的方法。这是利用基 于更多的相机的多个立体图像对而不仅仅是利用基于一组相机的立体匹配的方法。 相对于 作为基准的相机， 利用各种长度、 方向的基线 ( 基准线 ) 的立体相机的对， 得到立体图像。 多 个图像对中的视差例如在平行立体的情况下， 各视差通过分别除以基线长， 由此成为对应 于纵深方向的距离的值。 因此， 对表示从各立体图像对得到的立体匹配的信息、 具体而言是 针对各个视差 / 基线长的对应的可能性的 SSD(Sum of Squared Differences) 等的评价函 数求和， 由此决定最可能的对应位置。也就是说， 如果研究针对各视差 / 基线长的 SSD 的和 即 SSSD(Sum of SSD) 的变化， 可发现更加明确的最小值。因此， 能够降低立体匹配的对应 误差， 且能够提高估计精度。此外， 在多基准线立体中， 还能够减轻在某个相机中看到的部 分在其他的相机中隐藏在物体的阴影中从而看不见的遮挡 (occlusion) 的问题。
图 33 表示视差图像的一例。图 33 的图像 1 是原图像 ( 基准图像 )。图 33 的图 像 2 是求出针对图 33 的图像 1 的各像素的视差的结果的视差图像。对于视差图像， 图像的 亮度越高则视差越大， 也就是说摄像物处于靠近相机的位置。 另一方面， 亮度越低则视差越 小， 也就是说表示摄像物处于远离相机的位置。
接下来， 参照图 34 对立体图像处理中的噪声除去进行说明。图 34 是表示进行立 体图像处理中的噪声除去时的影像合成处理部 38 的结构的框图。图 34 所示的影像合成处 理部 38 与图 10 所示的影像合成处理部 38 的不同点在于， 设置了立体图像噪声降低处理部 705。参照图 35 中的立体图像处理中的噪声除去的处理动作的流程图， 说明图 34 所示的影 像合成处理部 38 的动作。在图 35 中， 步骤 S3001 ～ S3005 的处理动作与图 30 所示的立体 图像处理部 704 进行的步骤 S3001 ～ S3005 相同。立体图像噪声降低处理部 705 在步骤 S3105 中求出的每个像素的合成参量的偏移量是与相邻的周围的合成参量的偏移量有很大 差异的值的情况下， 置换为相邻的像素的偏移量的频度最高值， 由此进行噪声除去 ( 步骤 S3106)。
再次参照图 33 对处理量的降低动作进行说明。使用立体图像处理部 704 中求出 的合成参量， 通常对图像整体进行高清晰化。但是， 例如仅对图 33 的图像 1 的脸部的部分 ( 视差图像的亮度高的部分 ) 进行高清晰化， 而背景的山的部分 ( 视差图像的亮度低的部 分 ) 不进行高清晰化， 从而能够降低处理量。该处理如上述那样能够从视差图像中提取有 脸部的图像部分 ( 距离近、 视差图像的亮度高的部分 )， 使用该图像部分的图像数据和由立 体图像处理部求出的合成参数同样地进行高清晰化。因为由此能够降低耗电， 所以在使用 电池等工作的便携设备中是有效的。
如以上所说明那样， 通过液晶透镜的光轴偏移控制， 能够将个别摄像装置得到的 影像信号合成为高清晰的影像。此外， 在现有技术中由于摄像元件上的串扰而产生画质劣 化， 难以进行高清晰化。但是， 根据本实施方式的摄像装置， 通过控制入射至摄像元件的光 的光轴能够消除串扰， 能够实现可得到高画质的图像的摄像装置。 此外， 在现有的摄像装置 中， 通过图像处理取入摄像元件上所成的像， 因此需要使摄像元件的分辨率大于所需的摄像分辨率。 但是， 在本实施方式的摄像装置中， 能够进行将入射至摄像元件的光的光轴设定 在任意位置的控制， 而不仅仅是控制液晶透镜的光轴方向。因此， 能够减小摄像元件的尺 寸， 可搭载于要求轻薄短小的便携终端等中。 此外， 能够与摄影距离无关地生成高画质且高 清晰的二维图像。再有， 能够除去因立体匹配引起的噪声， 能够提高高清晰处理的速度。
产业上的可利用性
本发明能够适用于 ： 与立体图像的视差无关地、 也就是与摄影距离无关地生成高 画质且高清晰的二维图像的摄像装置。
附图符号的说明 ：
1 摄像装置
2～7 单位摄像部
8 ～ 13 摄像透镜
14 ～ 19 摄像元件
20 ～ 25 光轴
26 ～ 31 影像处理部
32 ～ 37 控制部
38 影像合成处理部