固态成像器件和驱动控制方法 【技术领域】
本发明涉及固态成像器件和驱动控制方法，更具体而言，涉及如下这样的固态成像器件和驱动控制方法：其在防止像素灵敏度任何降低的同时，允许使用子采样读取来高速地执行成像。
背景技术
存在朝着具有更大量像素的CMOS(互补金属氧化物半导体)图像传感器加速发展的趋势。对于CMOS图像传感器来说，图像传感器的像素的数目越大，则其花费了越长的时间来获得一个屏幕(一幅图像)，因此，难以高速地执行成像。
用来在不改变分辨率的情况下(在不降低分辨率的情况下)执行高速成像的方法包括使用诸如加法处理之类的信号处理。然而，该信号处理必须适用于高帧速率，而这种用途的信号处理电路是昂贵的。进一步，由于该方法需要额外的存储器，因此其导致成本增加。
在这种情形下，通过利用CMOS图像传感器具有对于每一像素的随机访问能力的这一事实，子采样读取广泛地用作为以低成本执行高速成像的方法(例如，见JP-A-2008-167003(专利文献1))。
子采样(sub-sampling)读取是这样的成像方法：在该方法中，读出以矩阵形式排列的多个像素，以使得将处于预定间隔的某些像素被跳过(被子采样)，并且，由通过使子采样继续存在而读出的像素来形成一个屏幕。由于读出的像素的数目减少，因此尽管使分辨率下降，但是可以实现改善的帧速率。
【发明内容】
然而，当通过对要读取的像素进行子采样而以牺牲分辨率来以高帧速率执行高速成像时，由于缩短了用于每一像素的曝光时间，因此出现像素灵敏度(在像素处接收到的光量)降低的问题。
在此情形下，期望防止当使用子采样读取来高速执行成像时降低像素的灵敏度。
根据本发明的实施例，提供了如下这样的固态成像器件，其包括：像素阵列部分，其由以矩阵形式排列的、包括光电转换元件的多个像素形成；以及控制部件，其用于选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间。当以1/Q(Q为正整数)的子采样率执行子采样读取时，控制部件提供持续Q帧时段的曝光时间，以便对所述像素阵列部分每一行中的像素进行曝光。
在第p-1帧(p＞1)之后的第p帧中，所述控制部件可以使得对所述像素阵列部分的、排除已经在第p-1帧中执行了快门操作和读出操作的行之后的行执行快门操作和读出操作。
所述控制部件可以使得在Q帧时段中对所述像素阵列部分的所有行执行快门操作和读出操作。
可以在预定输出行上输出通过所述读出操作所读出的像素的像素数据。所述器件可以还包括信号处理部件，其用于计算和输出在所述像素阵列部分的垂直方向上最接近于所述输出行的两个读出行的像素数据的加权和。
所述固态成像器件可以是列A/D转换型的。
根据本发明的另一实施例，提供了用于固态成像器件的驱动控制方法，所述固态成像器件具有：像素阵列部分，其由以矩阵形式排列的、包括光电转换元件的多个像素形成；以及控制部件，其用于选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以便控制像素的曝光时间。所述方法包括以下步骤：选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以使得当以1/Q的子采样率执行子采样读取时，提供持续Q帧时段的曝光时间用于对所述像素阵列部分每一行中的像素进行曝光。
在本发明的实施例中，选择性地控制基于逐行而对所述像素阵列部分的像素执行的快门操作和读出操作，以使得当以1/Q的子采样率执行子采样读取时，提供持续Q帧时段地曝光时间以便对所述像素阵列部分每一行中的像素进行曝光。
所述固态成像器件可以是独立的器件，可替换地，其可以是用于形成成像装置的一部分的内部器件。
根据本发明的实施例，当使用子采样读取来高速执行成像时，可以防止像素灵敏度的任何降低。
【附图说明】
图1是示出根据本发明实施例的CMOS图像传感器的实施例的示例性配置的图；
图2是示出CMOS图像传感器中的R、G和B滤色器的排列示例的图示；
图3是用于说明(1，3)子采样的图示；
图4是用于说明(3，1)子采样的图示；
图5是用于说明全像素读出和曝光时间之间的关系的图示；
图6是在根据现有技术的1/2读出模式下执行的快门操作和读出操作的时序图；
图7是图1所示的CMOS图像传感器所执行的(1，3)读出中涉及的快门操作和读出操作的时序图；
图8是仅示出曝光时间的、图6的修改型式；
图9是示出根据现有技术的(1，7)子采样模式下的曝光时间的图；
图10是示出图1所示的CMOS图像传感器的(1，7)子采样模式下的曝光时间的图；
图11是示出图1所示的CMOS图像传感器的(3，5)子采样模式下的曝光时间的图；
图12是示出采用了本发明的另一CMOS图像传感器的示例性配置的图；
图13是示出采用了本发明的又一CMOS图像传感器的示例性配置的图；
图14是用于说明用以校正垂直方向上的图像偏移(offset)的处理的图；
图15是用于说明(1，15)子采样的图示；
图16是示出输出经校正的像素数据的行的图示；
图17是示出当输出行是GB行时所执行的校正处理的图示；以及
图18是示出当输出行是GR行时所执行的校正处理的图示。
【具体实施方式】
[CMOS图像传感器框图]
图1示出根据本发明实施例的CMOS图像传感器(固态成像器件)的实施例的示例性配置。
图1所示的CMOS图像传感器11包括定时控制电路12、行扫描电路13、像素阵列部分14、列处理部分15、列扫描电路16和水平输出线17。
定时控制电路12基于具有预定频率的主时钟，将预定操作所需要的时钟信号和定时信号提供给行扫描电路13和列扫描电路16。例如，定时控制电路12将用于控制在像素处所执行的快门操作和读出操作的定时信号提供给行扫描电路13和列扫描电路16。
行(垂直)扫描电路13在预定的定时，将用于控制像素信号的输出的信号依次提供给在像素阵列部分14的垂直方向上所布置的像素行。
像素阵列部分14包括以具有n行和m列的矩阵形式所排列的像素21(即，像素211，1至21m，n)、n条水平信号线221至22n和m条垂直信号线231至23m。
虽然未示出，但是像素211，1至21m，n均包括光电转换元件(如，光电二极管)、传输晶体管、复位晶体管和放大晶体管。传输晶体管将光电转换元件所获得的电荷传输给FD(浮空扩散，floating diffusion)单元。复位晶体管对FD部分上的电位进行复位。放大晶体管根据FD部分上的电位输出像素信号。晶体管的操作受控于通过水平信号线221至22n而从行扫描电路13提供的信号。不同于采用了三个晶体管的上述配置，可以使用包括被提供用于选择像素的选择晶体管的四个晶体管来配置每一像素21
像素211，1至21m，n根据通过各个水平信号线221至22n而从行扫描电路13提供的信号，将依据在光电转换元件上所累积的电荷的像素信号输出至各个垂直信号线231至23m。
水平信号线221至22n将各个水平行的像素21、或像素211，1至21m，n连接到行扫描电路13。具体而言，像素211，1至21m，1连接到水平信号线221，而像素211，2至21m，2连接到水平信号线222。类似地，本描述适用于直至与像素211，n至21m，n连接的水平信号线22n。
垂直信号线231至23m将各个垂直行的像素21(或像素211，1至21m，n)连接至列处理部分15。具体而言，像素211，1至211，n连接到垂直信号线231，而像素212，1至212，n连接至垂直信号线232。类似地，本描述适用于直至与像素21m，1至21m，n连接的垂直信号线23m。
因此，像素211，1至211，n根据在其光电转换元件上累积的电荷，将像素信号输出到垂直信号线231。像素212，1至212，n根据在其光电转换元件上累积的电荷，将像素信号输出到垂直信号线232。类似地，本描述适用于直至像素21m，1至21m，n，其根据在其光电转换元件上累积的电荷而将像素信号输出到垂直信号线23m。
列处理部分15包括平行地排列的m个ADC(模数转换器)241至24m。ADC241至24m分别连接至垂直信号线231至23m。
ADC 241至24m对通过垂直信号路231至23m而从像素211，1至21m，n提供的像素信号执行CDS(相关双采样)处理和A/D转换处理。
具体而言，垂直信号线231连接至ADC 241，并且，ADC 241对通过垂直信号路231而从像素211，1至211，n提供的像素信号执行CDS处理和A/D转换处理。垂直信号线232连接至ADC 242，并且ADC 242对通过垂直信号路232而从像素212，1至212，n提供的像素信号执行CDS处理和A/D转换处理。类似地，本描述适用于直至ADC 24m，其对通过垂直信号路23m而从像素21m，1至21m，n提供的像素信号执行CDS处理和A/D转换处理。
ADC 241至24m的每个暂时存储经A/D转换的像素数据，并且在列扫描电路16所执行的控制下，将该数据输出到水平输出线17。
列(水平)扫描电路16使得将存储在ADC 241至24m中的像素数据以预定定时被依次输出到水平输出线17。
水平输出线17连接至DSP(数字信号处理器)等，其被提供在水平输出线17的下游以用于图像处理，并且，水平输出线17将从ADC 241至24m输出的像素数据输出至下游。
具有上述配置的CMOS图像传感器11是其中针对每一列像素提供ADC的所谓的列A/D型CMOS图像传感器。
在图1所示的CMOS图像传感器11的每一像素211，1至211，n处，提供了用于红(R)、绿(G)或蓝(B)中的任一个的滤色器，并且，在每一像素21处接收红、绿或蓝光。
[像素布置和配置]
图2示出CMOS图像传感器11的R、G和B滤色器的示例性配置。
图2所示的RGB布置为所谓的贝尔(Bayer)布置。Bayer布置是这样的布置：在该布置中，各自包括一个红滤色器、两个绿滤色器和一个蓝滤色器的颜色阵列重复地排列在行方向和列方向上。
例如，像素211，1、212，1、211，2和212，2用作由图2的虚线所表示的一组，并且，该组像素中的像素211，1是用于接收红光的像素。在行方向上邻近像素211，1的像素212，1和邻近像素211，1的像素211，2是用于接收绿光的像素，而像素212，2是用于接收蓝光的像素。沿行方向与列方向重复地排列与包括像素211，1、212，1、211，2和212，2的该组像素相同的颜色阵列。
虽然上面已经描述了本实施例的CMOS图像传感器11采用了Bayer色彩布置，但是本发明不限于这种布置。
具有上述配置的CMOS图像传感器11能够进行基于全像素读出(all-pixelreadout)的成像，其中，根据全像素读出，依次读出像素阵列部分14的所有像素211，1至21m，n。传感器还能够进行基于子采样读取(即，在以预定间隔跳过某些像素的情况下读出像素21的读出方法)的成像。
全像素读出是这样的方法，根据其，以预定顺序(如光栅扫描顺序)依次读出在像素阵列部分14的所有像素211，1至21m，n处的光电转换元件中所累积的电荷。全像素读出允许利用像素阵列部分14的所有像素211，1至21m，n来以高分辨率执行成像。
根据子采样读取，由于在读出期间跳过了像素阵列部分14的像素211，1至21m，n中的预定像素，因而，生成一幅图像所需要的时间比全像素读出情况下的该时间更短。因此，当期望高速地执行成像、或者以低功耗执行成像时，尽管子采样读取提供了低分辨率，但是子采样读取是有利的。
依据所采用的子采样率，子采样读出包括1/2子采样或1/4子采样。子采样率是在垂直方向上读出的行数与总行数的比率，而不是读出(或跳过)的像素数与总像素数的比率。例如，1/2子采样是用于将在垂直方向上读取的行数减少至总行数的1/2的子采样读取。1/4子采样是用于将在垂直方向上读取的行数减少至总行数的1/4的子采样读取。
[子采样读取的示例]
现在将参考图3，描述作为1/2子采样的一种型式的(1，3)子采样。
例如，根据(1，3)子采样所读出的第一像素或者该方案的起始点是像素211，1。在读出像素211，1之后，要读出的下一像素是通过将读出位置沿行方向从像素211，1移位一个像素所到达的像素212，1(在图2中，像素212，1在其右侧与像素211，1相邻)。在读出像素212，1后，要读出的下一像素是通过将读出位置沿行方向从像素212，1移位三个像素所获得的像素215，1。在读出像素215，1后，要读出的下一像素是通过将读出位置沿行方向从像素215，1移位一个像素所获得的像素216，1。此后，类似地，通过将读出位置移位一个像素和三个像素的交替移位量，读出像素21，直至第一行末尾处的像素21m，1。
当完成了第一行中的像素21的读出时，以与第一行相同的方式，读出第二行的像素211，2至21m，2。具体而言，在读出位置以一个像素和三个像素的交替移位量进行移位的情况下，依次读出该行中的像素21。
当完成了第二行中的像素21的读出时，以与第一行相同的方式，读出第五行的像素211，5至21m，5，其是通过在垂直方向上将读出位置从第二行移位三行所到达的。具体而言，在读出位置以一个像素和三个像素的交替移位量进行移位的情况下，依次读出该行中的像素21。即，也在垂直方向上使用一个像素和三个像素的交替移位量来选择要读出的像素。
即，项“(1，3)子采样”的数字1和3表示：为了到达要读出的下一像素或行而要进行的移位量在1和3之间进行交替。
根据(1，3)子采样所读出的像素数在垂直和水平方向两者上是根据全像素读出所读出的像素数的1/2。因此，(1，3)子采样可达到的分辨率是全像素读出可达到的分辨率的1/4。当采用列A/D转换方法时，帧速率仅与所读出的行数成反比，(1，3)子采样可达到的帧速率是全像素读出可达到的帧速率的两倍。
如从图3中显而易见的那样，当采用(1，3)子采样时，各自包括要读出的两行的行组与各自包括要跳过的两行的行组在垂直方向上交替。在垂直方向上交替要读出的两行和要跳过的两行的原因在于：CMOS图像传感器11采用了Bayer配置。
具体而言，在Bayer配置中，各自包括交替布置的G和B像素21的GB行与各自包括交替布置的G和R像素21的GR行被排列为使得在垂直方向上彼此交替。因此，当从GB行和与其相邻的GR行读出电荷时，必须将它们作为一组对待。为此，进行设置，以使得要读出的两个连续行和要跳过的两个连续行彼此交替。
所需要的仅仅是防止连续地读出彼此相邻的GB行或GR行，并且，并不需要读出所有对彼此相邻的GB行和GR行。因此，使用(3，1)子采样，也可以实现1/2子采样。
现在参考图4，描述(3，1)子采样。
项“(3，1)子采样”的数字3和1表示要读出的像素21之间的间隔(像素数)。因此，当读出的第一像素(开始点)是像素211，1时，要读出的下一像素是通过在行方向上将读出位置从像素211，1移位三个像素(在图4中向右)所到达的像素214，1。在读出像素214，1之后，要读出的下一像素是通过在行方向上将读出位置从像素214，1移位一个像素(在图4中向右)所到达的像素215，1。在读出像素215，1之后，要读出的下一像素是通过在行方向上将读出位置从像素215，1移位三个像素所到达的像素218，1。此后，在读出位置移位一个像素和三个像素的交替移位量的情况下，类似地读出像素21，直至第一行末尾处的像素21m，1。
也在垂直方向上使用一个像素和三个像素的交替移位量来选择要读出的像素。因此，当完成了第一行中的像素21的读出时，依次对通过在垂直方向上将读出操作进行三行的另一移位所到达的第四行中的像素21、通过将读出操作进行一行的另一移位所到达的第五行中的像素21、通过将读出操作进行三行的另一移位所到达的第八行中的像素21、以及通过将读出操作进行一行的另一移位所到达的第九行中的像素21执行读出。类似地，针对随后的行重复该操作。
根据(3，1)子采样所读出的像素数在垂直和水平方向两者上是根据全像素读出所读出的像素数的1/2。因此，(3，1)子采样可达到的分辨率是全像素读出可达到的分辨率的1/4。
虽然未示出，但是类似地，1/4子采样包括四种变型，即：(1，7)子采样、(3，5)子采样、(5，3)子采样和(7，1)子采样，其采用了选择要读出的像素的不同方式。
现在描述读出操作和曝光时间之间的关系。
[全像素读出和曝光时间之间的关系]
首先，将对作为本实施例的讨论基础的、全像素读出和曝光时间之间的关系进行描述。
图5是全像素读出期间的快门操作和读出操作的时序图。
参考图5，垂直同步信号VS是在帧开始处的预定时段内为高电平的信号。因此，垂直同步信号VS变为高电平的时间和该信号随后变为高电平的时间之间的时段是处理一帧所需要的时段(在下文中，称为“一帧时段”)。全像素读出中所涉及的一帧时段用Tv来表示。
水平同步信号HS是在每一行的开始处的预定时段内为高电平的信号。因此，水平同步信号HS变为高电平的时间和该信号随后变为高电平的时间之间的时段是处理一行所需要的时段(一个水平时段)，并且用Ts表示该时段。
将曝光时间维持为最大所需要的是：刚好在下一快门操作之前的瞬间，执行跟随在快门操作之后的读出操作。因此，当假设在一帧时段期间对每一行执行快门操作和读出操作的每一个一次，并且基本上同时执行快门操作和读出操作，最大曝光时间等于一帧时段Tv。
在实践中，除了确定实际曝光时间的快门操作之外，还可以执行作为模糊(blooming)的对策的快门操作。然而，将在未执行这种额外快门操作的假设下来描述本实施例。针对快门操作方法，使用了滚动(rolling)快门方法(其中，执行了快门操作的像素21随着时间经过基于逐行被移位)，而不是全局(global)快门方法(其中，对在像素阵列部分14处二维布置的所有像素21同时执行快门操作)。
例如，在全像素读出的情况下，在时刻t11(其为第p帧(p＞1)的开始)处执行读出第一行中的像素21的操作。具体而言，在时刻t11处，对第一行中的像素21执行用于读出在第p帧之前的第p-1帧中所累积的电荷的读出操作(或结束曝光的操作)。在时刻t11之后的一个水平时段Ts后到来的时刻t12，对第一行中的像素21执行用于将所累积的电荷复位的快门操作(或开始曝光的操作)。在时刻t12，对第二行中的像素21执行用于读出在第(p-1)帧中所累积的电荷的读出操作。
在随后的时刻t13，执行针对第二行中的像素21的快门操作和针对第三行中的像素21的读出操作。
类似地，在每次经过一个水平时段Ts时，在移位要处理的各行的同时，同时分别执行针对预定行的快门操作、以及针对该预定行之后的行的读出操作。
在当第(p+1)帧开始时的时刻t21，对第n行(未示出)中的像素21执行快门操作，并且，还执行用于读出在(p+1)帧之前的第p帧中、在第一行的像素21处累积的电荷的读出操作。在随后的时刻t22，执行针对第一行中的像素21的快门操作以及针对第二行中的像素21的读出操作。
类似地，在每次经过一个水平时段Ts时，在移位待处理的行的同时，同时分别执行针对预定行的快门操作以及针对该预定行之后的各行的读出操作。
如从上述描述中显而易见的那样，在全像素读出模式下，已经在第p帧中执行快门操作的像素21的曝光时间ExptAp是直到在第(p+1)帧中执行读出操作为止的时段。当读出操作和快门操作之间的时段(一个水平时段Ts)被忽略时，该曝光时间ExptAp等于如上所述的一帧时段Tv。由于曝光时间在每帧中保持相同，因此在下文中将用没有下标(诸如“p”)的缩写“ExptA”来表示全像素读出模式下的曝光时间。
现在描述根据现有技术的1/2子采样模式下的曝光。
[根据现有技术的(1，3)子采样与曝光时间之间的关系]
图6是在(1，3)子采样模式(其为1/2子采样模式的一种型式)下执行的快门操作和读出操作的时序图。
如上所述，在(1，3)子采样模式下，当结束了在第一行中的像素21的读出时，读出在垂直方向上从第一行移位一行的第二行中的像素21。当结束了第二行中的像素21的读出时，对在垂直方向上进一步移位了三行的第五行中的像素21执行读出。
因此，在作为第p帧的开始的时刻t41，对第一行中的像素21执行读出操作，并在随后的时刻t42，对像素执行快门操作。在时刻t42，还执行用于读出第二行中的像素21的操作。
在随后的时刻t43，执行对于第二行中的像素21的快门操作以及对于第五行中的像素21的读出操作。
此后，将读出位置依次移位至按照上述那样确定的第六行、第九行、第十行等，以使得对行执行快门操作，同时对要读出的下一行执行读出操作。
在作为第(p+1)帧的开始的时刻t51，执行对于第n行(未示出)上的像素21的快门操作以及对于第一行中的像素21的读出操作。在随后的时刻t52，执行对于第一行中的像素21的快门操作以及对于第二行中的像素21的读出操作。
此后，在每次经过一个水平时段Ts时，所处理的位置移位一个像素或者三个像素，其中移位量以所列出的顺序交替。因此，与要读出的下一行的读出操作同时地执行对于按照上述那样所确定的行的快门操作。
结果，在(1，3)子采样模式下要经受快门操作和读出操作的行数是全像素读出模式下所读出的行数的1/2。因此，(1，3)子采样模式下的一帧时段Tv2是全像素读出模式下的一帧时段Tv的一半(Tv2＝Tv/2)。即，此模式下的帧速率是全像素读出模式下的帧速率的两倍。
在全像素读出模式下，像素21的曝光时间ExptBp(其为第p帧中的快门操作与第p+1帧中的读出操作之间的时段)是曝光时间ExptAp的1/2。因此，(1，3)子采样模式具有作为曝光时间ExptA的1/2的曝光时间ExptB。
如由此所述的那样，由于根据现有技术的(1，3)子采样包括较短的帧时段以及较短的曝光时间，因此，像素具有较低的灵敏度(或接收更小的光量)。
[使用CMOS图像传感器11的(1，3)子采样和曝光时间之间的关系]
在上述情形下，CMOS图像传感器11执行如图7所示的(1，3)子采样，以便通过实现与全像素读出模式下类似的曝光时间，来防止像素灵敏度的任何降低，尽管减少了每帧时间的持续时间。
图7示出了CMOS图像传感器11执行的(1，3)子采样中所涉及的快门操作和读出操作的时序图。
当CMOS图像传感器11执行(1，3)子采样时，在作为第p帧的开始的时刻t61，对第一行中的像素21执行读出操作，而在随后的时刻t62，执行对于第一行中的像素21的快门操作。
在随后的时刻t63，执行对于第二行中的像素21的快门操作以及对于第五行中的像素21的读出操作。
类似地，读出位置依次移位至第六行、第九行、第十行等，以使得与对于要读出的下一行的读出操作同时执行对于如由此所述那样确定的行的快门操作。
即，第p帧中所执行的操作与根据参考图6所述的现有技术的(1，3)子采样模式下的那些操作相同。
然而，就第(p+1)帧中所执行的操作而言，CMOS图像传感器11所执行的(1，3)子采样与根据现有技术的(1，3)子采样不同。
在第(p+1)帧中，对除了已经在第(p+1)帧之前的第p帧中执行了快门操作和读出操作的行之外的行执行快门操作和读出操作。
具体而言，在作为第(p+1)帧的开始的时刻t71，对第(n-1)行(未示出)中的像素21执行快门操作，并且对第三行中的像素21执行读出操作。在随后的时刻t72，执行对于第三行中的像素21的快门操作以及对于第四行中的像素21的读出操作。
在随后的时刻t73，执行对于第四行中的像素21的快门操作以及对于第七行中的像素21的读出操作。在随后的时刻t74，执行对于第七行中的像素21的快门操作以及对于第八行中的像素21的读出操作。
同时，在第(p+1)帧中，在已经于第p帧中执行了快门操作和读出操作的各行中的像素21处继续曝光。
在随后的第(p+2)帧中，在时刻t81，对第(n-3)行(未示出)上的像素21执行快门操作，并且对第一行上的像素执行读出操作。在随后的时刻t82，执行对于第一行中的像素21的快门操作以及对于第二行中的像素21的读出操作。
在随后的时刻t83，执行对于第二行中的像素21的快门操作以及对于第五行中的像素21的读出操作。在随后的时刻t84，执行对于第五行中的像素21的快门操作以及对于第六行中的像素21的读出操作。
在第(p+2)帧中，在已经于第(p+1)帧中执行了快门操作和读出操作的各行中的像素21处继续曝光。
如上所述，当CMOS图像传感器11执行1/2子采样时，要经受快门操作和读出操作的像素阵列部分14的各行像素在每帧被切换呈现(render)，并且，在两帧的帧时段中对像素阵列部分14的所有行的像素执行快门操作和读出操作。
第p帧的曝光时间ExptCp是持续两帧的时段，即，在第p帧中执行快门操作之后直到在第p+2帧中执行读出操作为止所经过的时段。由于曝光时间ExptCp是一帧时段Tv2的两倍，因此，其等于全像素读出模式下的一帧时段Tv。即，曝光时间ExptCp等于曝光时间ExptAp。因此，当CMOS图像传感器11执行1/2子采样时，可以为每一行中的像素21提供与全像素读出模式下相同的曝光时间，因此，可以防止像素灵敏度的任何降低。
虽然已经通过在1/2子采样的情况下示例根据本实施例的读出控制(驱动控制)而对其进行了描述，但是可以将这种控制用于其他模式的子采样读取，如1/4子采样和1/8子采样。现在，将在将实施例应用于1/4子采样的假设下对其进行描述。
[全像素读出模式下的曝光时间]
图8是通过将图6修改为仅示出曝光时间而获得的图6中所示的全像素读出模式下的快门操作和读出操作的时序图的一种型式。
在图8中，省略了水平同步信号HS。为了描述简便起见，在图8中使用了更具体的帧指定，即，第一帧等。这同样适用于稍后描述的图9-11。
如上面参考图5所述的那样，当执行全像素读出时，在曝光时间ExptA(＝ExptA1＝ExptA2)内，对像素阵列部分14的任一行进行曝光，并且当忽略了读出操作和快门操作之间的时段(一个水平时段Ts)时，该曝光时间近似等于一帧时间Tv。
[根据现有技术的(1，7)子采样模式下的曝光时间]
图9以与图8相同的方式示出根据现有技术的(1，7)子采样模式下的曝光时间。
在根据现有技术的(1，7)子采样模式下，在对第一和第二行执行了快门操作和读出操作之后，处理跳过第三至第八行，来对第九和第十行执行快门操作和读出操作。此后，处理类似地进行来依次对第17行、第18行、第25行、第26行等执行快门操作和读出操作。
因此，要经受根据现有技术的(1，7)子采样模式下的快门操作和读出操作的行数是全像素读出模式下的行数的1/4。因此，此模式下的一帧时段Tv4是全像素读出模式下的一帧时段Tv的1/4(Tv4＝Tv/4)。即，(1，7)子采样模式下的帧速率是全像素读出的帧速率的四倍。
当对每行执行读出操作和快门操作时，在曝光时间ExptD内对该行进行曝光，其中，当忽略了与该行关联的读出操作和快门操作之间的时段时，曝光时间ExptD等于(1，7)子采样模式下的一帧时间Tv。在图9中，曝光时间ExptD1、ExptD2、ExptD3、ExptD4等分别是第一帧、第二帧、第三帧、第四帧等的曝光时间ExptD。
如由此描述的那样，在根据现有技术的(1，7)子采样模式下，(1，7)子采样模式下的一帧时段和因此的曝光时间如同全像素读出模式下的一帧时段和曝光时间的1/4那么短，这导致像素灵敏度的相应降低。
[CMOS图像传感器11的(1，7)子采样模式下的曝光时间]
图10以与图8相同的方式，示出了CMOS图像传感器11的(1，7)子采样模式下的曝光时间。
当CMOS图像传感器11执行(1，7)子采样模式时，在第一帧的帧时段Tv4中，在第一行、第二行、第九行、第十行、第17行、第18行、第25行、第26行等依次执行快门操作和读出操作。
在第二帧的帧时段Tv4中，依次在第三行、第四行、第11行、第12行、第19行、第20行、第27行、第28行等执行快门操作和读出操作。
在第三帧的帧时段Tv4中，依次在第五行、第六行、第13行、第14行、第21行、第22行、第29行、第30行等执行快门操作和读出操作。
在第四帧的帧时段Tv4中，依次在第七行、第八行、第15行、第16行、第23行、第24行、第31行、第32行等执行快门操作和读出操作。
在第五帧的帧时段Tv4中，再次在第一行、第二行、第九行、第十行、第17行、第18行、第25行、第26行等依次执行快门操作和读出操作。
结果，在曝光时间ExptF(其是全像素读出模式下的一帧时间Tv4的四倍、或者等于一帧时间Tv)内，对要经受快门操作和读出操作的每一行进行曝光。因此，该曝光时间等于曝光时间ExptA。在图9中，曝光时间ExptF1、ExptF2、ExptF3、ExptF4等分别是在第一帧、第二帧、第三帧、第四帧等处开始的曝光时间ExptF。
因此，由于CMOS图像传感器11执行的(1，7)子采样读取提供了持续四帧的曝光时间，因此，即使执行1/4子采样，也可以为每一像素21提供具有与全像素读出模式下的持续时间相同的持续时间的曝光时间。因此，可以防止像素灵敏度的任何降低。
[CMOS图像传感器11的(3，5)子采样模式下的曝光时间]
图11是以与图8相同的方式示出CMOS图像传感器11的(3，5)子采样模式下的曝光时间的图。
如上所述那样，在(3，5)子采样模式下，为了获得要读出的下一行而要进行的移位量(像素的数目)在3和5之间重复交替
当CMOS图像传感器11执行(3，5)子采样模式时，在第一帧的帧时段Tv4中，对第一行、第四行、第九行、第12行、第17行、第20行、第25行、第28行等依次执行快门操作和读出操作。
在第二帧的帧时段Tv4中，对第三行、第六行、第11行、第14行、第19行、第22行、第27行、第30行等依次执行快门操作和读出操作。
在第三帧的帧时段Tv4中，对第五行、第八行、第13行、第16行、第21行、第24行、第29行、第32行等依次执行快门操作和读出操作。
在第四帧的帧时段Tv4中，对第二行、第七行、第十行、第15行、第18行、第23行、第26行、第31行等依次执行快门操作和读出操作。
在第五帧的帧时段Tv4中，再次对第一行、第四行、第九行、第12行、第17行、第20行、第25行、第28等依次执行快门操作和读出操作。
结果，当CMOS图像传感器11执行(3，5)子采样读取时，正如图10所示的(1，7)子采样模式下的曝光时间那样，在曝光时间ExptF(其等于全像素读出模式下的一帧时间Tv)内，对每一行进行曝光。
因此，当CMOS图像传感器11执行作为1/4子采样的另一示例的(3，5)子采样读取时，在CMOS图像传感器11的每一像素21处可以实现与全像素读取模式下的曝光时间相同的曝光时间。因此，可以防止像素灵敏度的任何降低。
即使当使用如上所述的子采样率1/2和1/4或者诸如1/8的其他子采样率时，CMOS图像传感器11执行的读出控制(在下文中可被称为根据本实施例的读出控制)也允许实现与全像素读出模式下相同的曝光时间。
如上所述，当CMOS图像传感器11以1/Q(Q是正整数)的子采样率执行子采样读取时，执行读出控制(驱动控制)，以便为像素阵列部分14的每一行中的像素21提供持续Q帧的曝光时间。结果，可以实现与全像素读出模式下的曝光时间相同的曝光时间，而与所采用的子采样率无关。
虽然已经将上述实施例描述为提供了等同于全像素读出模式下的最大曝光时间Tv的曝光时间的示例，但是即使在比一帧时间Tv更短的曝光时间的情况下，CMOS图像传感器11也可以执行类似的读出控制。
为了描述简单起见，假设上述实施例仅涉及用于确定曝光时间的快门操作，而排除了作为对抗模糊等的措施所执行的其他快门操作。然而，即使当作为对抗模糊等的措施来执行快门操作时，也可以类似地执行读出控制。
[体现本发明的CMOS图像传感器的其他示例]
在实施例的上述描述中，已经说明了CMOS图像传感器11(其为体现列A/D转换方法的固态成像器件)能够实现与全像素读出模式下的曝光时间相同的曝光时间，而与所采用的子采样率无关。然而，根据本实施例的读出控制不限于体现列A/D转换方法的固态成像器件，可以将该控制用于如图12和13所示的CMOS图像传感器或固态成像器件。
图12示出作为可以执行根据本实施例的读出控制的另一固态成像器件的CMOS图像传感器71的示例性配置。
相互对应的图12和1中所示的传感器的部分用同样的附图标记来表示，并且下面将不加以描述。
图12的CMOS图像传感器71包括CDS处理部分81(代替图1的列处理部分15)。CMOS图像传感器71还包括作为来自水平输出线17的输出的目的地而提供的ADC 82。
在图1的CMOS图像传感器11中，m个ADC 241至24m平行地排列为列处理部分15。在CMOS图像传感器71中，m个CDS 911至91m平行排列。
图1所示的ADC 241至24m对从像素211，1至211，n提供的像素信号执行CDS处理和A/D转换处理，并输出所得到的信号。图12中的CDS 911至91m对从像素211，1至211，n提供的像素信号仅执行CDS处理，并且将所得到的信号输出。
已经接收了CDS处理的像素信号在列扫描电路16所执行的控制下，通过水平输出线17而随后被提供给ADC 82。ADC 82对提供至其的、经CDS处理的像素信号执行A/D转换，并且将所得到的像素数据输出。
即，图12的CMOS图像传感器71是所谓的列CDS型的CMOS图像传感器，其中，为每列像素排列CDS。
图13示出作为可以执行根据本实施例的读出控制的又一固态成像器件的CMOS图像传感器101的示例性配置。
图13的CMOS图像传感器101是通常的CMOS图像传感器，相互对应的图13和1中的传感器的部分用同样的附图标记来表示，并且下面将不加以描述。
图13仅示出了像素阵列部分14的一部分像素(即，像素21m，n-1和21m，n)。图13还示出了形成像素21m，n的光电转换元件111m，n、传输晶体管112m，n、FD部分113m，n、复位晶体管114m，n和放大晶体管115m，n，在图1中省略了传感器11的对应部分。
行扫描电路13通过行选择信号线121n而连接到复位晶体管114m，n的漏极。行扫描电路13分别通过传输选择信号线122n和复位选择信号线123n而连接至传输晶体管112m，n的栅极和复位晶体管114m，n的栅极。
光电转换元件111m，n对入射光执行光电转换，以便获得具有与光量对应的电荷量的信号电荷，并且该元件累积此信号电荷。传输晶体管112m，n连接在光电转换元件111m，n和FD部分113m，n之间，以便将累积在光电转换元件111m，n中的信号电荷传输至FD部分113m，n。FD部分113m，n将所传输的信号电荷转换为信号电压，并且将该电压提供给放大晶体管115m，n的栅极。
复位晶体管114m，n连接在FD部分113m，n和行选择信号线121n之间，该晶体管具有将FD部分113m，n上的电位复位至像素电源的电位(如，3.3V)的功能。放大晶体管115m，n连接在电源线124和垂直信号线23m之间，并且，该晶体管将FD部分113m，n上的电位进行放大，并且将得到的电位输出至垂直信号线23m。
在CMOS图像传感器101中，水平选择开关131m排列在垂直信号线23m的末端与水平信号线17之间，具有经由电阻器132所提供的反馈的运算放大器133排列在水平信号线17的末端。即，具有经由电阻器132所提供的反馈的运算放大器133将垂直信号线23m和水平信号线17上的电位固定为某一电位(Vbias)。降低电源电路134向像素21m，n提供的电源电压，以使得像素21m，n处的放大晶体管115m，n线性地操作。结果，以电流模式从像素21输出像素信号。
虽然此示例性配置包括为了降低提供给像素21的电源电压而并入到传感器中的电源电路134，但是本发明不限于这种配置。例如，可以通过减小放大晶体管115m，n的阈值电压Vth，来使得像素21m，n处的放大晶体管115m，n线性地操作。
图12所示的CMOS图像传感器71的行扫描电路13和列扫描电路16以及图13所示的CMOS图像传感器101可以受控于定时控制电路12，以使得在图像传感器中也执行根据本实施例的读出控制。结果，当CMOS图像传感器71和101执行基于子采样读取的高速成像时，也可以提供与全像素读出模式下的曝光时间相同的曝光时间。
[对抗垂直偏移的措施]
当执行根据本实施例的读出控制时，在两个连续帧的图像之间可能出现垂直方向上的偏移。例如，当如图7所示那样执行1/2子采样时，即使当通过对同一固定(不运动)对象进行成像而获得第p帧的图像和第(p+1)帧的图像时，它们在垂直方向上也彼此偏移了两个像素。
例如，可以通过如图14所示那样在CMOS图像传感器11的下游排列DSP 201以执行用于校正图像偏移的处理(如手抖动校正)来解决该问题。预先知道的是，CMOS图像传感器11将取决于所采用的子采样率，而输出在垂直方向上彼此偏移了若干像素的图像。因此，可以连同用于表示图像彼此偏移了若干像素的控制信息一起输出像素数据。
可替换地，CMOS图像传感器11可以在由传感器自身校正了这种垂直偏移的情况下输出图像，而不依赖于在该CMOS图像传感器11的下游所提供的DSP 201等。
现在，通过在执行(1，15)子采样(其为1/8子采样的一个型式)的情况下示例CMOS图像传感器11所执行的用于校正可归因于根据本实施例的读出控制的图像偏移的处理，来对该处理进行描述。
[(1，15)子采样的操作]
首先，将参考图15简要描述(1，15)子采样。
在(1，15)子采样的情况下，为了到达要读出的下一行而要产生的移位量(像素的数目)在1和15之间重复交替。
例如，在第(α+1)帧中，对第一行、第二行、第17行、第18行、第33行、第34行等依次执行快门操作和读出操作。
在下一帧或第(α+2)帧中，对第三行、第四行、第19行、第20行、第35行、第36行等依次执行快门操作和读出操作。
在第(α+3)帧中，对第五行、第六行、第21行、第22行、第37行、第38行等依次执行快门操作和读出操作。
此后，类似地执行快门操作和读出操作，并且在第(α+8)帧中，对第15行、第16行、第31行、第32行、第47行、第48行等依次执行快门操作和读出操作。
在第(α+9)帧中，再次对第一行、第二行、第17行、第18行、第33行、第34行等依次执行快门操作和读出操作。
当对第(α+1)帧和第(α+8)帧(其为就读出位置而言距彼此最远的帧的组合)之间对应的读出位置进行比较时，在垂直方向上存在15像素的差异。即，就图像的重心的位置而言，在输出图像之间存在15/2＝7.5像素的偏移。
[CMOS图像传感器11所执行的图像偏移校正处理]
在校正了输出图像之间的可归因于子采样读取的任何偏移之后，CMOS图像传感器11将输出图像的图像数据输出。
[用于输出校正处理之后的图像数据的行]
CMOS图像传感器11在固定行输出像素数据，以使得输出图像的重心处于相同的位置，而与帧无关。即，在固定行输出像素数据，而与读出像素数据的行无关。例如，CMOS图像传感器11在第一行、第九行、第17行、第25行和第33行输出像素数据，以使得在相等间隔的行输出像素数据。此外，CMOS图像传感器11使用第一行、第17行和第33行作为用于输出GB行的像素数据的输出行，并且使用第九行和第25行作为用于输出GR行的像素数据的输出行。根据相同的规则，还输出排除在图示之外的各行的数据。
现在将对作为图16所示的输出行中的像素数据所输出的值进行描述。
例如，当在与读出数据的行不同的行上输出像素数据时，CMOS图像传感器11计算在垂直方向上最接近于输出行的两个读出行的像素数据的加权和，并且输出该计算结果。加权和是通过根据输出行和读出行之间的距离(行的数目)来执行像素数据的加权加法而获得的值。
当在同一行读出和输出像素数据时，CMOS图像传感器11按照其原样输出所读取的像素数据。
在诸如(1，15)子采样的1/8子采样模式下，如上面参考图15所述，存在读出像素数据的八种式样(pattern)的行。因此，同样以八种不同的方式计算加权和(包括直接输出和)。然而，由于预先连同输出行一起确定要读出的行的位置和读取顺序，因此也可以预先确定用于计算加权和的表达式。例如，在诸如(1，7)子采样的1/4子采样模式下，存在读出像素数据的四种式样的行，因此，以四种不同的方式计算加权和。
[对用作输出行的GB行所执行的校正处理]
现在将参考图17，对当GB行用作输出行时所执行的校正处理进行描述。
将在第17行用作输出行的假设下进行描述。
在第(α+1)帧中，由于在与读出数据相同的行输出像素数据，因此CMOS图像传感器11将从第17行读出的像素数据按照其原样输出。
在第(α+2)帧中，在与读出数据的行不同的行输出像素数据。因此，CMOS图像传感器11计算从作为在读出式样上最接近于第17行的两个读出行的第三行和第19行读出的像素数据的加权和，并且在第17行输出计算结果。
读出行之一(即，第三行)与作为输出行的第17行间隔14行。另一读出行(即，第19行)与作为输出行的第17行间隔两行。因此，使用下列表达式来计算在17行上输出的经校正的像素数据Pout，其中，P3表示从第三行读出的像素数据，而P19表示从第19行读出的像素数据。
POUT=(2P3+14P1916)]]>
可以认为，经校正的像素数据POUT是在输出行的位置中的、通过对从第三行读出的像素数据P3和从第19行读出的像素数据P19进行线性插值而得到的值。
在第(α+3)帧中，CMOS图像传感器11计算从第五行以及第21行读出的像素数据的加权和，并且在第17行输出计算结果。
通过下列表达式获得CMOS图像传感器11所输出的经校正的像素数据POUT，其中，P5表示从第五行读出的像素数据，而P21表示从第21行读出的像素数据。
POUT=(4P5+12P2116)]]>
在第(α+4)帧中，CMOS图像传感器11计算从第七行以及第23行读出的像素数据的加权和，并且在第17行输出计算结果。
在第(α+5)帧中，CMOS图像传感器11计算从第九行以及第25行读出的像素数据的加权和，并且在第17行输出计算结果。
在第(α+6)帧中，CMOS图像传感器11计算从第11行以及第27行读出的像素数据的加权和，并且在第17行输出计算结果。
在第(α+7)帧中，CMOS图像传感器11计算从第13行以及第29行读出的像素数据的加权和，并且在第17行输出计算结果。
在第(α+8)帧中，CMOS图像传感器11计算从第15行以及第31行读出的像素数据的加权和，并且在第17行输出计算结果。
在第(α+9)帧中，由于像素数据输出行和读出行再次彼此一致，因此，CMOS图像传感器11将从第17行读出的像素数据按照其原样进行输出。
[对用作输出行的GR行所执行的校正处理]
现在将参考图18，对当GR行用作输出行时所执行的校正处理进行描述。
将在假设第25行用作输出行的情况下进行描述。
在第(α+1)帧中，在与读出像素数据的行不同的行输出像素数据。因此，CMOS图像传感器11计算从作为在读出式样上最接近于第25行的两个读出行的第18行和第34行读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+2)帧中，CMOS图像传感器11计算从第20行以及第36行(未示出)读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+3)帧中，CMOS图像传感器11计算从第22行以及第38行(未示出)读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+4)帧中，CMOS图像传感器11计算从第24行以及第40行(未示出)读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+5)帧中，CMOS图像传感器11计算从第10行以及第26行读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+6)帧中，CMOS图像传感器11计算从第12行以及第28行读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+7)帧中，CMOS图像传感器11计算从第14行以及第30行读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+8)帧中，CMOS图像传感器11计算从第16行以及第32行读出的像素数据的加权和，并且在第25行输出计算结果。
在第(α+9)帧中，CMOS图像传感器11再次计算从第18行以及第34行读出的像素数据的加权和，并且在第25行输出计算结果。
如上所述，CMOS图像传感器11对通过执行根据本实施例的读出控制所输出的图像进行如上所述的校正处理以输出图像。因此，可以获得没有其重心的帧间垂直偏移的输出图像。
结果，不需要在图像传感器的下游所提供的DSP 201(图14)来执行用于校正垂直偏移的处理。因此，由于可以使DSP完全专注于其它的图像处理，所以降低了对于DSP的处理负载。只参考CMOS图像传感器11，即使当使用子采样读取来高速地执行成像时，其也可以提供与全像素读出模式下的曝光时间相同的曝光时间。此外，图像传感器可以通过校正垂直方向上的任何偏移来输出高质量的图像。
可以通过信号处理电路来执行用于校正垂直方向上的偏移的上述校正处理，所述信号处理电路例如可以被提供在图1所示的CMOS图像传感器11中的水平输出线17的下游。显然，上述CMOS图像传感器71或101可以执行上述的校正处理。
本申请包含与2009年1月7日和2009年4月20日分别向日本专利局提交的日本优先权专利申请JP 2009-001513和JP 2009-101636中公开的主题相关的主题，其全部内容通过引用的方式合并于此。
本领域技术人员应理解，取决于设计需求和其他因素，可以发生各种修改、组合、部分组合以及变更，只要其在所附权利要求或其等效物的范围内即可。