摄像设备、摄像系统和焦点检测方法 【技术领域】
本发明涉及一种摄像设备、摄像系统和焦点检测方法，尤其涉及一种数字静止照相机、摄像机和卤化银照相机等摄像设备、摄像系统和焦点检测方法。
背景技术
在摄像装置的焦点检测和调整中，作为使用通过摄像透镜的光束的一般方法，使用对比度检测方法和相位差检测方法。在使用图像传感器作为焦点检测传感器的摄像机和数字静止照相机中，通常使用对比度检测方法。该方法关注图像传感器的输出信号，尤其关注高频成分的信息(对比度信息)，并且将摄像透镜的位置(在该位置，评价值达到最大)的信息设置为聚焦位置。然而，由于需要在细微移动摄像透镜时确定评价值，并需要保持摄像透镜移动直到认为评价值已达到最大时为止，因而还被称为爬山检测方法的对比度检测方法不适于高速焦点调整操作。
另一方面，在使用卤化银胶片的单镜头反光照相机中通常使用相位差检测方法，并且相位差检测方法是对自动调焦(AF)单镜头反光照相机的实际使用最有贡献的技术。根据相位差检测方法，将通过摄像透镜的出射光瞳的光束分成两个光束，并且通过一对焦点检测传感器分别接收分割得到的这两个光束。通过检测根据所接收的光量输出的信号之间的差，或者换句话说，通过检测分割光束的方向上的相对位置偏移量，直接确定摄像透镜在调焦方向上的离焦量。因此，一旦通过焦点检测传感器执行累积操作，则可以获得离焦量和离焦方向，从而使得可以进行高速焦点调整操作。
通常，为了获得与分割得到的两个光束中的每一个相对应的信号，在摄像光路中设置具有快速复原机构的半镜或反光镜等光路分割机构，并且在光路分割机构后设置焦点检测光学系统和AF传感器。
然而，为了使用相位差检测方法进行焦点检测，需要设置焦点检测光学系统，以使得即使当摄像透镜的出射光瞳或图像高度发生变化或者变焦位置发生变化等时，分割得到的两个光束也不会发生渐晕(vignette)。特别地，在可以装配具有不同的出射光瞳位置、直径和渐晕度的多个摄像透镜的照相机系统中，为了在没有渐晕的情况下进行焦点检测，需要许多限制。因此，存在不能设置宽焦点检测区域和不能通过基线长度扩大(base-line length extension)提高分割得到的两个光束的精度等的问题。
考虑上述情况，日本特开平03-214133号公报公开了一个例子，在该例子中，在基于摄像透镜的出射光瞳的信息等校正由焦点检测光束的渐晕所引起的、要转换成焦点检测信号的光量的减少之后，进行焦点检测。根据该例子，即使当存在轻微渐晕时，也可以进行使用相位差方法的焦点检测，因此可以进行宽范围焦点检测和通过基线长度扩大的高精度焦点检测。
近年来，还公开了一种技术，在该技术中，为了消除对专用AF传感器的需要，并且为了实现高速相位差AF，对于图像传感器设置相位差检测功能。
例如，根据日本特开2000-156823号公报，通过使光接收部的感光度区域相对片上微透镜的光轴偏移，对于图像传感器的一些光接收元件(像素)设置光瞳分割功能。使用这些像素作为焦点检测像素，并且这些像素以与摄像像素组之间的规定间隔配置，以进行相位差焦点检测。配置焦点检测像素的部分对应于不存在摄像像素的部分，因此使用来自周边摄像像素的信息通过插值生成图像信息。利用该例子，可以在摄像面处进行使用相位差方法的焦点检测，从而实现高速且高精度的焦点检测。
然而，日本特开平03-214133号公报和日本特开2000-156823号公报存在以下问题。
根据日本特开平03-214133号公报，基于摄像透镜侧的信息，校正由摄像透镜的渐晕所引起的、要转换成焦点检测信号的光量的减少。然而，渐晕度不仅根据摄像透镜侧的信息，而且还根据照相机侧的制造误差而改变。特别地，在单镜头反光照相机中，由于通过焦点检测光学系统进行复杂的转换和光路的分离，因而由此导致的制造误差大。因此，甚至当仅基于摄像透镜侧的信息来校正光量的减少时，在焦点检测的结果中也发生误差。
根据日本特开2000-156823号公报，由于使用片上微透镜和光接收部之间地相对位置关系实现光瞳分割，因而出现如下问题：光瞳分割由于片上微透镜的制造误差而经受大的偏移。在这类使用片上微透镜的光瞳分割中，位于微透镜下几微米处的光接收部逆投影至位于几十至几百毫米远处的摄像透镜的出射光瞳，结果，成像倍率变得非常大。因此，片上微透镜的微小制造误差可能导致大的偏移，从而导致焦点检测光束的显著渐晕，并且使得不可能进行焦点检测。
【发明内容】
考虑到上述情况而作出了本发明，并且本发明提供一种即使在由于制造误差而在焦点检测光束中导致渐晕时也高精度地使用相位差方法的焦点检测。
根据本发明，一种摄像设备，包括：图像传感器，其包括多个焦点检测像素对，所述多个焦点检测像素对对通过摄像透镜的不同区域的各对光束进行光电转换并且输出图像信号对；存储单元，用于存储与所述摄像透镜的光轴和所述焦点检测像素对的中心轴之间的相对偏移有关的偏移信息；校正单元，用于基于所述偏移信息和所述摄像透镜的出射光瞳信息，校正所述图像信号对的信号水平，以补偿入射至各所述焦点检测像素对的各像素的光量的不平衡；以及焦点检测单元，用于使用由所述校正单元校正后的图像信号对来检测所述摄像透镜的焦点。
此外，根据本发明，一种摄像系统，包括：根据如上所述的摄像设备；以及能够从所述摄像设备卸下的镜头单元，其中，所述偏移信息存储在所述摄像设备中，所述出射光瞳信息存储在所述镜头单元中，并且所述出射光瞳信息从所述镜头单元传送至所述摄像设备。
此外，根据本发明，一种摄像设备中的焦点检测方法，包括以下步骤：通过包括在图像传感器中的多个焦点检测像素对，对通过摄像透镜的不同区域的各对光束进行光电转换，并且输出图像信号对；获取与所述摄像透镜的光轴和所述焦点检测像素对的中心轴之间的相对偏移有关的偏移信息；校正步骤，用于基于所述偏移信息和所述摄像透镜的出射光瞳信息，校正所述图像信号对的信号水平，以补偿入射至各所述焦点检测像素对的各像素的光量的不平衡；以及使用在所述校正步骤中校正后的图像信号对来检测所述摄像透镜的焦点。
此外，通过以下参考附图对典型实施例的说明，本发明的特征将显而易见。
【附图说明】
图1是示出根据本发明实施例1的照相机的结构的框图；
图2是从摄像透镜侧观察时根据本发明实施例1的图像传感器的光接收像素的平面图；
图3A和3B是用于示出根据本发明实施例1的摄像像素的结构的图；
图4A和4B是用于示出根据本发明实施例1的焦点检测像素的结构的图；
图5是用于示出根据本发明实施例1的图像传感器的周边部分中的焦点检测像素的结构的图；
图6A和6B是用于示出根据本发明实施例1在摄像透镜的垂直方向上分割光瞳的焦点检测像素的结构的图；
图7是示意性示出根据本发明实施例1的焦点检测结构的图；
图8是示出根据本发明实施例1的焦点检测信号的图；
图9是概念性示出根据本发明实施例1由焦点检测像素实现的光瞳分割功能的图；
图10是分层CMOS传感器芯片的示意图；
图11是示出发生了微透镜对齐误差的图4A和4B所示的结构的图；
图12是示出发生了微透镜对齐误差的图5所示的结构的图；
图13A和13B是从图像传感器侧观察时发生了微透镜对齐误差的出射光瞳的图；
图14A和14B是从图像传感器侧观察时发送了微透镜对齐误差的出射光瞳的图；
图15是示出入射光瞳和出射光瞳之间的关系的图；
图16是示出图像传感器和依赖于图像传感器的相应图像高度的出射光瞳形状的图；
图17是示出根据本发明实施例1用于校正焦点检测信号的结构的框图；
图18是示出根据本发明实施例1用于校正焦点检测信号的过程的流程图；
图19是示出焦点检测像素的图像高度h和光量比C之间的关系的图；
图20是用于示出根据本发明实施例2的焦点检测像素的结构的图；
图21A和21B是从图像传感器侧观察时根据本发明实施例2的出射光瞳的图；
图22是示出根据本发明实施例3的照相机系统的结构的框图；
图23是示出根据本发明实施例3用于校正焦点检测信号的结构的框图；
图24是示出根据本发明实施例4的照相机系统的结构的框图；以及
图25是示出根据本发明实施例4的焦点检测单元和各种可互换镜头的出射光瞳之间的关系的概念图。
【具体实施方式】
将根据附图详细说明本发明的优选实施例。
实施例1
图1是示出根据本发明实施例1的照相机的结构的框图，并且，作为例子，图1示出包括图像传感器的照相机机体和摄像透镜100一体化的数字静止照相机。
在图1中，L表示摄像透镜100的光轴。附图标记101表示布置在摄像透镜100前端的第一透镜组，并且保持第一透镜组以使得其能够在光轴方向上往复移动。附图标记102表示光圈快门，其中，光圈快门102通过调整其孔径来调整摄像时的光量，并且光圈快门102具有调整拍摄静止图像时的曝光时间的功能。附图标记103表示第二透镜组。光圈快门102和第二透镜组103在光轴方向上整体往复移动，并且与第一透镜组101的往复移动联合，实现变倍功能(变焦功能)。
附图标记105表示通过在光轴方向上往复移动来进行焦点调整的第三透镜组。附图标记106表示作为用于减少所拍摄的图像中的假彩色和波纹的光学元件的光学低通滤波器。附图标记107表示包括CMOS图像传感器和CMOS图像传感器的外围电路的图像传感器。在图像传感器107中，在由横向m个像素和纵向n个像素所形成的光接收像素区域上，以片上的方式形成以拜耳排列所设置的原色滤波器。
附图标记111表示变焦致动器，变焦致动器111通过转动凸轮筒(未示出)，以在光轴方向上移动第一透镜组101、光圈快门102和第二透镜组103，从而进行变倍操作。附图标记112表示光圈快门致动器，光圈快门致动器112通过控制光圈快门102的孔径调整拍摄光量，并且控制拍摄静止图像时的曝光时间。附图标记114表示进行用于在光轴方向上往复移动第三透镜组105的焦点调整的调焦致动器。
附图标记115表示用于在摄像时照明被摄体的电子闪光灯，并且优选使用利用氙气管的闪光照明装置，但是还可以使用包括连续发光的LED的照明装置。附图标记116表示AF辅助光发射单元，AF辅助光发射单元116通过光投射透镜将具有规定开口模式的掩模的图像投射至被摄域，以提高暗被摄体或低对比度被摄体的焦点检测能力。
附图标记121表示控制摄像设备内的照相机的各种操作的CPU。CPU 121包括例如计算单元、ROM、RAM、A/D转换器、D/A转换器和通信接口电路等。CPU 121基于存储在ROM中的规定程序，驱动摄像设备的各种电路，并且执行AF、摄像、图像处理和记录等一系列操作。
附图标记122表示控制电子闪光灯115以与摄像操作同步发光的电子闪光灯控制电路。附图标记123表示控制AF辅助光发射单元116以与焦点检测操作同步发光的辅助光驱动电路。附图标记124表示图像传感器驱动电路，图像传感器驱动电路124控制图像传感器107的成像操作，并且将所获取的模拟图像信号转换成数字信号，以将该数字信号发送至CPU 121。附图标记125表示图像处理电路，图像处理电路125对图像传感器107所获取的图像进行γ转换、颜色插值和JPEG压缩等处理。
附图标记126表示调焦驱动电路，调焦驱动电路126基于焦点检测结果驱动和控制调焦致动器114，并且通过在光轴方向上往复移动第三透镜组105进行焦点调整。附图标记128表示光圈快门驱动电路，光圈快门驱动电路128驱动和控制光圈快门致动器112，以控制光圈快门102的孔径。附图标记129表示响应于摄影者的变焦操作驱动变焦致动器111的变焦驱动电路。
附图标记131表示LCD等显示器，显示器131显示关于摄像设备的摄像模式的信息、摄像之前的预览图像、摄像之后的确认图像和焦点检测时的焦点状态显示图像等。附图标记132表示操作开关组，操作开关组132包括电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关等。附图标记133表示记录拍摄的图像的、可拆卸的闪速存储器。
图2是从摄像透镜100侧观察时图1的图像传感器107的光接收像素的平面图，其中，在光接收像素上形成被摄体图像。附图标记20表示在图像传感器107上所形成的包括横向m个像素和纵向n个像素的整个像素区域，并且以附图标记21表示像素部分中的一个部分。在每一像素部分中，以片上的方式形成拜耳排列形式的原色滤波器，也就是说，重复配置包括四个像素的2×2像素组。为了简化该附图，仅在图2的左上侧示出由10×10像素形成的像素部分，并且省略其它像素部分。
图3A、3B、4A和4B是示出图2所示的像素部分的摄像像素和焦点检测像素的结构的图。在实施例1中，采用拜耳排列，也就是说，在包括四个像素的2×2像素组中，对角配置具有G(绿色)光谱灵敏度的两个像素，并且对角配置具有R(红色)光谱灵敏度的一个像素和具有B(蓝色)光谱灵敏度的一个像素。并且，在这些拜耳块之间配置具有后面所述的结构的焦点检测像素。
图3A和3B示出摄像像素的配置和结构。图3A是2×2摄像像素的平面图。图3B示出沿着图3A的A-A线所截取的横断面图。ML表示布置在每一像素的前表面上的片上微透镜。CFR表示R(红色)滤色器，并且CFG表示G(绿色)滤色器。将图像传感器107的光电转换元件示意性示出为PD(光电二极管)。CL(接触层)是用于形成传送图像传感器107内的各种信号的信号线的配线层。将摄像透镜100示意性示出为TL(拍摄透镜)，并且L表示摄像透镜TL的光轴。应该注意，图3A和3B是示出图像传感器107的中心附近的像素，即摄像透镜TL的轴附近的像素的结构的图。
将摄像像素的片上微透镜ML和光电转换元件PD配置成能够尽可能有效地接收通过摄像透镜TL的光束。换句话说，摄像透镜TL的出射光瞳(EP)和光电转换元件PD相对于微透镜ML相互处于共轭关系，并且光电转换元件被设计成具有大的有效面积。光束30示出这一状态，并且通过光电转换元件PD接收通过出射光瞳EP的整个区域的光束。在图3B中，说明了进入R像素的光束，但是G像素和B(蓝色)像素也具有相同结构。
图4A和4B示出用于在摄像透镜TL的水平方向(横向)上分割光瞳的焦点检测像素的配置和结构。如这里所使用的，水平方向是指图2所示的图像传感器107的长边方向。图4A是包括焦点检测像素的2×2像素的平面图。当获得记录或观看用图像的信号时，通过G像素获取亮度信息的主要成分。这是因为人的图像识别特性对这类亮度信息敏感。因此，如果G像素丢失，则可能感觉到图像质量的劣化。另一方面，R像素或B像素是用于获取颜色信息(色差信息)的像素，但是因为人的视觉特性对这类颜色信息不敏感，因而，即使丢失少量用于获取颜色信息的像素，也不大可能识别出图像质量的劣化。因为这个原因，在实施例1中，保留2×2像素中的G像素作为摄像像素，并且以焦点检测像素代替R和B像素。在图4A中，以SHA和SHB表示这样的焦点检测像素对。
图4B示出沿着图4A的A-A线所截取的横断面图。微透镜ML和光电转换元件PD具有与图3B所示的摄像像素的结构相同的结构。与图3A和3B一样，图4A和4B也是示出图像传感器107的中心附近的像素，即摄像透镜TL的轴附近的像素的结构的图。
在实施例1中，由于不使用来自焦点检测像素的信号来生成图像，因而代替颜色分离滤色器，在焦点检测像素上布置透明膜CFW(白色)。另外，配线层CL的开口在单个方向上从微透镜ML的中心线偏移，从而使得通过图像传感器107分割光瞳。具体地，像素SHA的开口OPHA从微透镜ML的中心线向右侧偏移41HA的量，从而接收通过位于摄像透镜TL的光轴L左侧的出射光瞳区域EPHA的光束40HA。类似地，像素SHB的开口OPHB从微透镜ML的中心线向左侧偏移41HB的量，从而接收通过位于摄像透镜TL的光轴L右侧的出射光瞳区域EPHB的光束40HB。通过图4B清晰可见，偏移量41HA等于偏移量41HB。
在水平方向上有规律地配置如上所述配置的像素SHA，并且将通过一组像素SHA所获取的被摄体图像定义为图像A。同样地，在水平方向上还有规律地配置像素SHB，并且将通过一组像素SHB所获取的被摄体图像定义为图像B。利用这一结构，通过检测图像A和图像B的相对位置，可以检测被摄体图像的离焦量。
如图4B中一样，图5也是沿着图4A的A-A线所截取的横断面图，但是图5示出与位于图像传感器107的周边部分中的焦点检测像素有关的结构。在周边部分中，为了光瞳分割，配线层CL的开口OPHA和OPHB以与图4B不同的方式从微透镜ML偏移。以开口OPHA作为例子，开口OPHA偏移从而使得大体半球状的微透镜ML的中心与用于连接开口OPHA的中心和出射光瞳区域EPHA的中心的线相一致。这样，几乎与轴上的像素一样，可以对周边部分中的像素进行光瞳分割。
具体地，像素SHA的开口OPHA从微透镜ML的中心线向左侧偏移51HA的量，从而接收通过位于摄像透镜TL的光轴L左侧的出射光瞳区域EPHA的光束50HA。类似地，像素SHB的开口从微透镜ML的中心线向左侧偏移51HB的量，从而接收通过位于摄像透镜TL的光轴L右侧的出射光瞳区域EPHB的光束50HB。从图5明显可知，将偏移量51HB设置成大于偏移量51HA。至此，作为例子说明了水平方向的周边部分中的偏移，但是，还可以使用相同方法，在垂直方向的周边部分以及在水平和垂直方向两者的周边部分上实现光瞳分割。
利用焦点检测像素对SHA和SHB，可以对在摄像画面的横向上具有亮度分布的被摄体例如纵线进行焦点检测，但是，不能对在纵向上具有亮度分布的横线进行焦点检测。为了解决该问题，可以采用提供在摄像透镜的垂直方向(纵向)上实现光瞳分割的像素的结构。
图6A和6B示出用于在摄像透镜的纵向上分割光瞳的焦点检测像素的配置和结构。如这里所使用的，“垂直方向”和“纵向”是指图2所示的图像传感器107的短边方向。图6A是包括焦点检测像素的2×2像素的平面图。与图4A一样，保留G像素作为摄像像素，并且以焦点检测像素代替R和B像素。在图6A中，以SVC和SVD表示焦点检测像素。
图6B示出沿着图6A的A-A线所截取的横断面图。除图4B的焦点检测像素具有用于在横向上分割光瞳的结构而图6B的焦点检测像素具有用于在纵向上分割光瞳的结构以外，图6B所示的像素的结构与图4B所示的像素的结构相同。像素SVC的开口OPVC从微透镜ML的中心线向下侧偏移61VC的量，从而接收通过位于摄像透镜TL的光轴L上侧的出射光瞳区域EPVC的光束60VC。类似地，像素SVD的开口OPVD从微透镜ML的中心线向上侧偏移61VD的量，从而接收通过位于摄像透镜TL的光轴L下侧的出射光瞳区域EPVD的光束60VD。通过图6A和6B清楚可知，由于如图4A和4B中一样，图6A和6B示出图像传感器107的轴附近的像素的结构，因而偏移量61VC和偏移量61VD相等。
在垂直方向上有规律地配置如上所述配置的像素SVC，并且将通过一组像素SVC所获取的被摄体图像定义为图像C。同样地，还在垂直方向上有规律地配置像素SVD，并且将通过一组像素SVD所获取的被摄体图像定义为图像D。利用这一结构，通过检测图像C和图像D的相对位置，可以检测在垂直方向上具有亮度分布的被摄体图像的离焦量。同样，在纵向上的光瞳分割的情况下，对于位于周边部分的焦点检测像素，使用图5所述的方法进行光瞳分割，因此这里省略对其的说明。
由于焦点检测像素对SHA和SHB以及焦点检测像素对SVC和SVD不具有颜色信息，因而，在形成拍摄图像时，使用相邻像素的信号进行插值计算来创建信号。因此，通过在图像传感器107中离散地而不是连续地配置焦点检测像素对，拍摄图像的质量不会降低。
如以上参考图3A～6B所述，图像传感器107不仅用作图像传感器，而且还用作本发明的焦点检测单元。
图7是示意性示出根据本发明的焦点检测结构的图。图像传感器107包括多个焦点检测单元901，每一焦点检测单元901均包括第一焦点检测像素901a和第二焦点检测像素901b，一起用来实现光瞳分割。焦点检测单元901具有图4A所示的结构，并且焦点检测像素901a对应于像素SHA，焦点检测像素901b对应于像素SHB。图像传感器107还包括用于对由摄像透镜100所形成的被摄体图像进行光电转换的多个摄像像素。
CPU 121包括合成单元902、连接单元903和计算单元904。另外，CPU 121在图像传感器107的摄像面上分配多个部分(区域)CST，以包括多个焦点检测单元901。CPU 121可以适当地改变部分CST的大小、配置和数量等。合成单元902针对图像传感器107上所分配的多个部分CST中的各个部分CST，通过合成来自第一焦点检测像素901a的输出信号，进行用于获得相当于一个像素的第一合成信号的处理。合成单元902还针对各个部分CST，通过合成第二焦点检测像素901b的输出信号，进行用于获得相当于一个像素的第二合成信号的处理。连接单元903针对多个部分CST，通过连接第一合成信号进行用于获得第一连接信号的处理，并且通过连接第二合成信号进行用于获得第二连接信号的处理。这样，对于第一焦点检测像素901a和第二焦点检测像素901b，获得连接信号，在该连接信号中，连接数量与部分的数量相对应的像素的合成信号。计算单元904基于第一连接信号和第二连接信号，计算成像光学系统的离焦量。如上所述，由于合成在相同光瞳分割方向上配置在各部分中的焦点检测像素的输出信号，因而，即使当通过各个焦点检测单元所获得的亮度水平小时，也可以充分获得被摄体的亮度分布。
在图7中，给出了在水平方向上分割光瞳的例子，但是，这同样可应用于在垂直方向上分割光瞳的情况。
图8示出由焦点检测单元901、合成单元902和连接单元903形成的并被输入至图7的计算单元904的焦点检测信号对(图像信号对)的例子。在图8的曲线图中，横轴表示像素在配置所连接的信号的像素的方向上的位置，并且纵轴表示信号强度。图8所示的焦点检测信号是通过感测单个垂直线所获得的信号。焦点检测信号IMGA是由焦点检测像素901a形成的信号，并且焦点检测信号IMGB是由焦点检测像素901b形成的信号。这里，由于图1所示的摄像透镜100相对于图像传感器107向后焦点侧偏移，因而焦点检测信号IMGA向左侧偏移，并且焦点检测信号IMGB向右侧偏移。
通过利用已知的相关计算等计算焦点检测信号IMGA和IMGB的偏移量，可以获得摄像透镜100的离焦量，因此调焦变得可能。因为偏移量的计算众所周知，因而这里省略对其的说明。作为例子，使用透镜向后焦点侧偏移的情况对图8进行了说明，但是，当透镜向前焦点侧偏移时，横向反转焦点检测信号IMGA和IMGB的偏移方向。
图9是概念性示出通过图像传感器107的焦点检测像素实现的光瞳分割功能的图。TL表示摄像透镜，107表示图像传感器，OBJ表示被摄体，并且IMG表示被摄体图像。
如参考图3A和3B所述，摄像像素接收通过摄像透镜TL的整个出射光瞳区域EP的光束。另一方面，如参考图4A～6B所述，焦点检测像素具有光瞳分割功能。具体地，图4A和4B的像素SHA接收通过从摄像面向透镜的后端看位于左侧的光瞳的光束LHA，或者换句话说，图4A和4B的像素SHA接收通过图4A和4B的光瞳EPHA的光束。类似地，像素SHB、SVC和SVD分别接收通过出射光瞳区域EPHB、EPVC和EPVD的光束。由于焦点检测像素分布在图像传感器107的整个区域上，因而同样可以在整个摄像区域中进行焦点检测。利用上述结构，可以在图像传感器107的宽范围上使用相位差方法进行焦点检测。
以上在不考虑制造误差的情况下说明了理想状态下的焦点检测系统的情况，但是，实际上，由于制造误差等可变因素，在焦点检测出射光瞳区域EPHA、EPHB、EPVC和EPVD中将发生大的偏移。因此，在本发明中，预先存储这类偏移信息，并且通过校正焦点检测信号，进行高精度的焦点检测。下面将进行详细说明。
通常，通过在硅片上层叠多个层，制造CMOS传感器等图像传感器。图10是示意性示出包括在图1的图像传感器107中的分层CMOS传感器芯片的图。在CMOS传感器芯片中，在形成光电二极管和晶体管的下层上形成衬垫绝缘层，以形成单位像素。接着，选择性地去除衬垫绝缘层以暴露下层的金属配线。使用金属配线将晶体管连接至外部元件。根据电路的大小，形成多个这类配线和绝缘层。在图10中，作为配线/绝缘层11共同示出它们。也就是说，在配线/绝缘层11中还包括图4A～6B的配线层CL。
随后，涂布有色光致抗蚀剂，并且对所得到的有色光致抗蚀剂进行曝光和显影，以形成滤色器层12。接着，形成微透镜平坦化层13，从而可以形成均一的微透镜。然后，在微透镜平坦化层13上涂布光致抗蚀剂，并且对其进行曝光和显影以形成图案化光致抗蚀剂。接着，热处理图案化光致抗蚀剂以使光致抗蚀剂回流，从而形成穹状微透镜14的层。如上所述，逐层制造CMOS传感器芯片，因此在层间发生制造误差。微透镜14相对于配线/绝缘层11的位置精度依赖于形成图案化光致抗蚀剂的半导体制造设备的对齐精度。也就是说，这类对齐误差导致微透镜ML相对于图4A～6B所示的配线层CL的偏移。通常，微透镜ML和光电二极管PD之间的距离为几微米。同时，以几十毫米为单位表示从微透镜ML到摄像透镜100的出射光瞳的距离。因此，光学成像倍率为几万倍。例如，如果发生0.1微米的对齐误差，则导致出射光瞳的几毫米的非常大的偏移，从而导致焦点检测精度极大下降。
图11示出图4B所示的用于在摄像透镜的水平方向(横向)上分割光瞳的焦点检测像素，其中，在微透镜ML中在水平方向上发生了对齐误差。在图11中，微透镜ML向左偏移DML的量，并且以虚线表示的微透镜ML示出没有对齐误差时的位置(图4B)。也就是说，将图11的偏移量DML与图4B的偏移量41HA相加，并从图4B的偏移量41HB减去图11的偏移量DML，结果，像素SHA的开口OPHA从微透镜ML的中心线向右偏移111HA的量。同样地，像素SHB的开口OPHB从微透镜ML的中心线向左偏移111HB的量。因此，像素SHA和SHB分别接收对应于出射光瞳区域EPHA和EPHB的光束110HA和110HB，出射光瞳区域EPHA和EPHB从摄像透镜TL的光轴L偏移DEP的量。
图12示出图5所示的图像传感器107的周边部分中的焦点检测像素，其中，与图11中一样，在微透镜ML中发生了对齐误差。如图10所述，由于逐层制造CMOS传感器芯片，因此微透镜对齐误差不根据图像传感器107上的位置而改变，因此是恒定的。因此，如果发生如图11所示的量为DML的对齐误差，则同样在图12中，与如通过虚线微透镜ML所示的没有误差的情况(图5)相比，微透镜ML偏移相同量DML。也就是说，从图5的偏移量51HA和51HB减去图12的偏移量DML，结果，像素SHA的开口OPHA从微透镜ML的中心线向右偏移121HA的量。同样地，像素SHB的开口OPHB从微透镜ML的中心线向左偏移121HB的量。因此，像素SHA和SHB分别接收对应于出射光瞳区域EPHA和EPHB的光束，其中，出射光瞳区域EPHA和EPHB从摄像透镜TL的光轴L偏移DEP的量。
对于图6B所述的用于在垂直方向上分割光瞳的焦点检测像素，发生这类误差的方向与该图的平面垂直，因此，横断面的光瞳分割状态没有发生任何改变。因此，这里省略参考附图对其的详细说明。尽管在作为微透镜ML的对齐误差的偏移DEP的情况下进行了上述说明，然而，在实际照相机中，还涉及图像传感器107的平行轴偏移和倾斜偏移等装配对齐误差。然而，对于偏移DEP，微透镜ML的对齐误差最显著。
图13A、13B、14A和14B是从图像传感器107侧观察时与图4B、6B或11所示的图像传感器107的轴附近的像素相对应的出射光瞳EP的图。图13A和14A示出微透镜ML中存在误差的状态，并且图13B和14B示出没有误差的状态。
在图13A中，焦点检测出射光瞳区域EPHA、EPHB、EPVC和EPVD的中心LAF位于从摄像透镜TL的光轴L偏移DEP的量的位置。LAF用作本发明的焦点检测单元的中心轴，并且DEP对应于中心轴偏移。如图13A所示，以右斜线区域130HA和130HB表示出射光瞳EP与焦点检测出射光瞳区域EPHA和EPHB重叠的公共区域，即焦点检测所使用的光束实际通过的区域。在这种情况下，由于中心轴偏移DEP，因而右斜线区域130HA和130HB在作为光瞳分割方向的水平方向上相互不对称。
另一方面，如图13B所示，当在微透镜ML中没有误差时，光轴L和焦点检测单元的中心轴LAF一致。因此，焦点检测光束通过的右斜线区域131HA和131HB在水平方向上沿中心轴LAF对称。
图14A和14B示出与图13A和13B的相同的图，但是关注于在垂直方向上分割出射光瞳EP的焦点检测出射光瞳区域EPVC和EPVD。以右斜线区域140VC和140VD表示摄像透镜TL的出射光瞳EP与焦点检测出射光瞳区域EPVC和EPVD重叠的公共区域。在这种情况下，由于中心轴偏移DEP，右斜线区域140VC和140VD均横向偏移，但是它们在作为光瞳分割方向的垂直方向上沿光轴L或中心轴LAF相互垂直对称的同时横向偏移。
尽管在水平方向上发生中心轴偏移DEP的情况下进行了以上说明，但是，当在垂直方向上或者在水平和垂直方向上也发生这类偏移时，可以以上述相同的方式确定焦点检测光束通过的斜线区域。
图13A、13B、14A和14B集中说明了图像传感器107的中心附近的像素，但是，在周边部分中，除这类偏移以外，摄像透镜TL的出射光瞳EP因图像高度而改变。图15是示出这类变化的图，在图15中，为了简化附图，将摄像透镜100示出为入射光瞳ENTP和出射光瞳EP。入射光瞳ENTP和出射光瞳EP与图像传感器107相距不同距离，并且具有不同直径，进入图像传感器107的光束必须通过这两个圆。因此，进入图像传感器107的光轴L附近以外的像素部分的光束不仅受出射光瞳EP的影响，而且还受入射光瞳ENTP的影响。
图16是示出图像传感器107和依赖于图像传感器107的相应图像高度的出射光瞳形状的图。在图16中，EPC表示轴上的出射光瞳形状，并且下标T、B、L和R分别表示上侧、下侧、左侧和右侧的图像高度。并且，例如，通过组合T和L，以EPTL表示左上角处的出射光瞳形状。通过图16清晰可知，随着相对图像传感器107的中心的图像高度增大，出射光瞳形状变得越来越小。因此，在实施例1中，将焦点检测区域设置成图16中以虚线表示的区域160，在区域160中，出射光瞳形状在全变焦/调焦位置改变相对小。另外，通过以远心光学系统代替摄像透镜100，可以进行能够进一步检测摄像画面的边缘的良好焦点检测，其中，在远心光学系统中，即使在图像传感器107的边缘处，出射光瞳形状也变化小。
如上所述，通过组合由微透镜对齐误差导致的中心轴偏移和依赖于图像高度的摄像透镜的出射光瞳形状的变化，确定图13A、13B、14A和14B的斜线部分所表示的、焦点检测光束通过的出射光瞳的出射光瞳区域。在相位差焦点检测方法中，当在出射光瞳区域中发生这类变化时，出现以下三个主要问题。
(1)进入各焦点检测像素对的各像素的光量的不平衡。
(2)由于光瞳分割方向上的线分布的变化而导致的焦点检测信号的失真。
(3)由于基线长度的变化而导致的离焦量的检测误差。
其中，越接近聚焦位置，(2)和(3)影响越小，并且，理论上在聚焦位置完全消除，因此，通过设计焦点检测算法等在调焦时间占用稍多一些时间，可以减少对最终调焦精度的影响。然而，问题(1)对计算离焦量的相关计算的精度影响较大。因此，在实施例1中，对于问题(1)，通过校正焦点调整信号对的信号水平以补偿光量的不平衡，实现高精度的使用相位差方法的焦点检测。
图17是示出设置在图7的CPU 121中的、实施例1中用于校正焦点检测信号对的计算单元904的详细内部结构的框图。在图17中，由计算单元904的校正单元170对图7的连接单元903所形成的焦点检测信号进行包括对问题(1)的校正的校正，并且此后，将该焦点检测信号输入至相关计算单元171。
与CPU 121连接的闪速存储器133存储形成焦点检测信号的像素的像素不均一感光度信息175、根据摄像透镜100的图像高度所生成的出射光瞳信息176和根据微透镜对齐误差所生成的中心轴偏移信息177。像素不均一感光度信息175和中心轴偏移信息177是在照相机的制造处理期间写入的信息。出射光瞳信息176预先包含无误差设计值下的信息。
图18是示出根据本发明实施例1用于校正焦点检测信号的过程的流程图。首先，在步骤S181和S182，校正单元170对所输入的一对焦点检测信号进行两阶段校正。然后，相关计算单元171进行从步骤S183至S186的处理。
在步骤S181，基于存储在闪速存储器133中的像素不均一感光度信息175，通过将各像素的输出值数据乘以用于校正不均一感光度的系数，校正各像素的不均一感光度。
在步骤S182，对于形成焦点检测信号对的各对像素，根据出射光瞳信息176和中心轴偏移信息177，计算图13A和14A所述的斜线区域的面积。然后，将与计算出的面积相对应的系数与各像素的输出值相乘，以校正光量。这里，如果对于各像素进行这一面积计算，则由于计算量太大，因而焦点检测需要很长时间。为了解决该问题，采用下面的方法来减少计算量。
图19示出横轴表示焦点检测像素对的图像高度h且纵轴表示焦点检测像素对的光量比C的图。如这里所使用的，“光量比C”是指图4A和4B的焦点检测像素SHB相对于焦点检测像素SHA的光量比。190表示在不存在图13B和14B所述的制造误差时的光量比，其中，当h＝0时，光量比C＝1.0。在将光量比定义为C0的情况下，可以作为图像高度h的函数，以下面的公式(1)表示190所表示的光量比。
C0＝f(h) …(1)
191表示由微透镜对齐误差DML等导致发生了制造误差时的光量比。焦点检测像素对表现出相同光量的图像高度发生偏移。如果将该偏移量定义为hERR，则当h＝hERR时，C＝1.0。由于整个曲率也根据hERR而变化，因而可以通过下面的公式(2)表示光量比，其中，将光量比191定义为CERR，并且图像高度h和偏移量hERR是变量。
CERR＝f(h-hERR)·g(hERR) …(2)
在根据实施例1的照相机中，摄像透镜100的出射光瞳的变化围绕光轴L旋转对称，但是，图像传感器107的焦点检测像素的结构不旋转对称。因此，代替图像高度h，通过以(x，y)代替与图像传感器107的焦点检测像素的轴的距离并且以(xERR，yERR)代替由制造误差引起的偏移距离，可以将公式(2)改写成下面的公式(3)。
C(xERR，yERR)＝f(x-xERR，y-yERR)·g(xERR，yERR)…(3)
在上述结构中，作为出射光瞳信息176预先存储f(x，y)，并且作为中心轴偏移信息177预先存储(xERR，yERR)和g(xERR，yERR)。然后，通过将焦点检测信号乘以基于使用公式(3)计算出的光量比C(xERR，yERR)的系数，计算量减少的校正变得可能。这里，对于制造误差(xERR，yERR)，这类微透镜对齐误差是主要的。根据图10所述的制造方法，对齐误差在各晶片中是均一的偏移。因此，通过在照相机的制造过程中管理各CMOS传感器芯片的这类对齐误差，可以消除对各装置检查对齐误差的需要，结果，可以缩短该过程。制造误差(xERR，yERR)的其它例子包括当在照相机中装配图像传感器107时可能发生的平行轴偏移和倾斜偏移等位置对齐误差。
当上述所存储的信息根据摄像透镜的变焦或调焦位置变化时，将变焦或调焦位置适当分组，并且存储划分后的各位置组的信息。应该注意，假定实施例1的摄像透镜100是出射光瞳不因变焦或调焦而发生变化的摄像透镜。
在步骤S183，在对焦点检测信号进行随后的处理之前，判断由校正单元170校正后的焦点检测信号是否足够可靠。具体地，通过分析图像的对比度成分等进行这一判断。
步骤S184是在判断为焦点检测信号可靠时所进行的处理，在步骤S184，进行数字滤波器处理，以去除计算不需要的频率成分。步骤S185是在判断为焦点检测信号不可靠时所进行的处理。在这种情况下，进行不可能进行调焦时的处理，如通知用户不可能进行调焦这一情况，并且结束该处理。
最后，在步骤S186，通过已知的相关计算计算图像偏移量。然后，如图17所示，基于计算出的图像偏移量，计算摄像透镜100的焦点偏移量，或者换句话说，计算离焦量。
利用上述结构，即使当由于微透镜对齐误差导致焦点检测出射光瞳区域的中心轴偏移时，通过使用校正单元校正焦点检测信号，也可以实现高精度的焦点检测。尽管说明了用于使用实施例1的校正单元仅校正以上列出的问题(1)～(3)中的问题(1)的结构，但是还可以使用实施例1的结构校正问题(2)和(3)。如此，即使在离焦时，也可以进行更精确的焦点检测。
实施例2
接着说明本发明的实施例2。
实施例2与实施例1的不同在于，实施例2可以处理下面的情况：在摄像透镜100中，光瞳距离根据变焦或调焦位置显著变化。
图20是示出这一情况的图，并且示出与图11所示的实施例1的焦点检测像素相对应的焦点检测像素。在图20中，EP1表示摄像透镜100的变焦位置处于远摄端时的出射光瞳，并且EP2表示摄像透镜100的变焦位置处于广角端时的出射光瞳。在远摄端和广角端之间，出射光瞳在图20中虚线所表示的范围中变化。
如上所述，在实施例2中，不仅出射光瞳的直径根据摄像透镜100的变焦位置而改变，而且从微透镜到出射光瞳的距离也改变，或者换句话说，出射光瞳距离也改变。因此，在出射光瞳EP1和EP2之间，由微透镜ML对齐误差DML所导致的出射光瞳区域EPHA1和EPHB1的偏移DEP1以及出射光瞳区域EPHA2和EPHB2的偏移DEP2不同。
图21A和21B是从图像传感器107侧观察时图20的图像传感器107的轴附近的像素的出射光瞳的图，其中，图21A示出远摄端侧，并且图21B示出广角端侧。焦点检测出射光瞳区域EPHA1和EPHB1的中心LAF1以及焦点检测出射光瞳区域EPHA2和EPHB2的中心LAF2分别位于从摄像透镜TL的光轴L偏移DEP1和DEP2的量的位置。这里，LAF1和LAF2分别用作出射光瞳EP1和EP2中的焦点检测单元的中心轴，并且DEP1和DEP2对应于中心轴偏移。以右斜线区域210HA1和210HB1以及211HA2和211HB2分别表示出射光瞳EP1与焦点检测出射光瞳区域EPHA1和EPHB1重叠的公共区域、以及出射光瞳EP2与焦点检测出射光瞳区域EPHA2和EPHB2重叠的公共区域，即焦点检测实际使用的光束通过的区域。
通过这些斜线区域清晰可见，焦点检测像素对的光量比在远摄端侧和广角端侧不同。这是因为，除出射光瞳从EP1改变成EP2以外，中心轴偏移还从DEP1改变成DEP2。尽管图20、21A和21B说明了图像传感器107的轴附近的像素的情况，但是，在周边部分中，中心轴偏移的变化程度不同。因此，需要以与出射光瞳距离的变化相关联的格式存储中心轴偏移信息，而不是如实施例1中一样，存储关于一个出射光瞳的中心轴偏移信息。
具体地，如果将从图像传感器107到出射光瞳的距离定义为l，则作为距离l和像素位置(x，y)的函数，可以通过下面的公式(4)和(5)表示图像传感器107的任意像素位置(x，y)处的中心轴偏移(xERR，yERR)。
xERR＝h(l，x) …(4)
yERR＝i(l，y) …(5)
通过作为中心轴偏移信息将h(l，x)和i(l，y)预先存储在照相机中，并且将计算出的(xERR，yERR)代入实施例1的公式(3)，则可以校正光量。当在照相机的制造过程期间写入h(l，x)和i(l，y)时，在多个图像高度测量至如图20所示的两个出射光瞳EP1和EP2的距离处的中心轴偏移DEP1和DEP2。如此，可以容易地确定h(l，x)和i(l，y)。在实施例2中，由于出射光瞳根据变焦位置而改变，因而还可以配置为对于各变焦位置存储公式(3)的f(x，y)和g(xERR，yERR)。
如上所述，在实施例2中，作为与摄像透镜100的出射光瞳距离的变化相关联的格式的信息，将中心轴偏移信息存储在照相机中，结果，即使在装配具有大的光瞳距离变化的摄像透镜的照相机中，也可以进行精度良好的焦点检测。以由于摄像透镜的变焦而导致的光瞳距离的变化作为例子进行了上述说明，但是本发明的实施例2还可应用于可以装配具有不同出射光瞳的多个摄像透镜的照相机系统。
实施例3
接着说明本发明的实施例3。
实施例3示出将实施例1的焦点检测单元应用于照相机系统的例于。
图22是示出根据实施例3的照相机系统的结构的框图。以与实施例1的相同的附图标记所表示的组件具有相同功能，因此这里省略对其的说明。在图22中，220表示照相机机体，221表示可从照相机机体220卸下的可互换镜头，并且连接它们以使得能够通过I/F单元222和223进行信息通信。可互换镜头221包括CPU 224，CPU 224进行各种计算处理，并且与驱动摄像透镜100的变焦、调焦和光圈快门等的驱动电路225连接。驱动电路225与致动器226连接。此外，如在照相机机体220中一样，在可互换镜头221中还包括可以重写各种信息的闪速存储器227。
图23是与本实施例有关的图22的框图的一部分的框图，以更详细地示出该部分。在图23中，在中心虚线的右侧示出照相机机体220，并且在中心虚线的左侧示出可互换镜头221(镜头单元)。与实施例1的不同在于：照相机机体220的闪速存储器133仅包括像素不均一感光度信息175和中心轴偏移信息177，并且可互换镜头221的闪速存储器227包括出射光瞳信息176。因此，即使当装配不同类型的镜头作为可互换镜头221时，也可以通过I/F单元222和223获取该镜头的出射光瞳信息176。
假定将实施例3应用于可以装配具有不同出射光瞳直径和距离的多个摄像透镜的照相机系统，因此优选以如实施例2所述的格式存储中心轴偏移信息177。为了降低闪速存储器133的容量，有效的是使用各种可互换镜头的典型出射光瞳距离处的中心轴偏移信息177，但是显然根据实施例2的方法更加精确。利用上述结构，通过利用校正单元170进行实施例1或2所述的校正，即使在照相机系统中，也可以实现高精度的焦点检测。
实施例4
接着说明本发明的实施例4。
与实施例1相比，实施例4示出将本发明应用于照相机系统的例子，其中，该照相机系统包括相位差方法的二次成像式焦点检测单元。
图24是示出根据实施例4的照相机系统的结构的框图。以与实施例1～3的相同的附图标记所表示的组件具有相同功能，因此这里省略对其的说明。在图24中，照相机机体220包括相位差方法的二次成像式焦点检测单元240。因此，不同于实施例1，图像传感器107是仅包括图3A和3B所示的像素的、摄像专用的图像传感器。在可互换镜头221的摄像透镜100和图像传感器107之间布置主镜241和副镜242，以分割和极化通过摄像透镜100的光束。
首先，将主镜241配置为半镜，半镜向上侧反射通过摄像透镜100的光束中的一部分，并且允许其余光束通过。由主镜241反射的光束进入取景器光学系统243，从而使得用户可以观察被摄体图像，其中，取景器光学系统243包括调焦屏、聚光透镜、五棱镜和目镜透镜组。另一方面，通过副镜242向下侧反射通过主镜241的光束，并且该光束进入焦点检测单元240。通过已知的快速复原机构配置主镜241和副镜242，从而使得在摄像时可以将它们从光路移开。
焦点检测单元240是相位差方法的二次成像式焦点检测单元，并且具有包括场透镜、一对二次成像透镜和一对光接收传感器等的已知结构，因此这里省略对其的说明。
图25是示出焦点检测单元240和各种可互换镜头的出射光瞳之间的关系的概念图，并且是省略了图24的主镜241和副镜242的分解图。在图25中，EPL1表示一个可互换镜头的出射光瞳，并且EPL2表示另一可互换镜头的出射光瞳。L1和L2表示这些可互换镜头的光轴，并且，由于这两个光轴重叠，因而在图25中，将它们示出为单条线。250表示作为可互换镜头的焦点面的一次成像面，其布置在光学上相当于图24的图像传感器107的摄像面的位置。焦点检测单元240布置在一次成像面250的后面，其中，以长短虚线表示焦点检测单元240的中心轴251。
由于制造误差，因而中心轴251从光轴L1和L2偏移，从而产生出射光瞳EPL1上的中心轴偏移DEPL1以及出射光瞳EPL2上的中心轴偏移DEPL2。也就是说，这表示：当焦点检测单元240的中心轴251偏移时，在可以装配具有不同出射光瞳的各种摄像透镜的照相机系统中，中心轴偏移根据出射光瞳距离而改变。因此，通过在照相机中以与这类出射光瞳距离相关联的格式预先存储中心轴偏移信息，可以通过实施例2中所述的方法，进行高精度的焦点检测。
通过主镜241或副镜242的位置误差、或者焦点检测单元240的场透镜的制造误差等，可以发生实施例4中所述的中心轴偏移。为了解决该问题，公开了几种方法，在这些方法中，设置调整焦点检测单元240的中心轴偏移的机构，以在装配/制造焦点检测单元240的过程中进行调整，但是，通过使用实施例4，可以消除对这类结构的需要，从而实现降低成本的效果。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。