信号处理设备、信号处理方法和信号处理程序.pdf

本公开涉及一种能够对通过使用可见光和红外光捕获的图像进行更精确的颜色再现的信号处理设备、信号处理方法和信号处理程序。首先，获取通过顺序色差方式从图像传感器输出的多个像素信号，已经通过滤色器阵列的光进入所述图像传感器，所述滤色器阵列包括多个互补色滤色器。然后，对所述多个像素信号设置参数，使得从用于使用所述多个像素信号来计算色差信号的计算式中消去与预定红外波长对应的项。之后使用所述参数来计算通过所述多个像素信号的加法处理而获得的亮度信号和通过所述多个像素信号之间的减法处理而获得的色差信号。

权利要求书1.  一种信号处理设备，包括：色差信号计算器，配置为计算通过执行多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号，所述计算是使用根据所述多个像素信号来计算色差信号的计算式来对通过色差顺序方式从图像传感器输出的所述多个像素信号进行的，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器，所述计算式应用消去所述计算式中的与预定红外波长对应的项的参数。2.  根据权利要求1所述的信号处理设备，其中，通过对从图像传感器输出的所述多个像素信号的信号强度值中的每个进行标准化，使得所述多个像素信号与预定红外波长对应的信号强度比与所述多个互补色滤色器在所述预定红外波长中的灵敏度比相等，基于标准化的信号强度值中的每个来将所述参数设置为消去所述计算式中的与所述预定红外波长对应的项的值。3.  根据权利要求2所述的信号处理设备，还包括色差信号放大器，配置为对由色差信号计算器计算的色差信号进行放大。4.  根据权利要求3所述的信号处理设备，还包括：原色信号计算器，配置为根据亮度信号和色差信号计算原色信号，所述原色信号是红色信号、绿色信号和蓝色信号，其中，原色信号计算器用每个原色信号中包括的亮度信号的固定系数来计算每个原色信号。5.  根据权利要2所述的信号处理设备，其中，基于图像传感器的光谱响应特性来获得所述多个互补色滤色器在所述预定红外波长中的 灵敏度比。6.  根据权利要求2所述的信号处理设备，其中，根据由图像传感器使用所述预定红外波长的光源而捕获的图像，计算整个图像的色差信号的平均值，并且所述参数被设置为使得色差信号的平均值变为零。7.  根据权利要求1所述的信号处理设备，其中，红外波长是投射的红外光的波长。8.  一种信号处理设备，包括：色差信号转换器，配置为将多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号，所述转换是使用根据所述多个像素信号来计算色差信号的计算式来对从图像传感器输出的所述多个像素信号进行的，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器，所述计算式应用消去所述计算式中的与预定红外波长对应的项的参数。9.  一种信号处理方法，包括：获取通过色差顺序方式从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器；对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数；以及之后使用应用所述参数的计算式来计算通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。10.  一种信号处理方法，包括：获取从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器；对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数；以及之后使用应用所述参数的计算式将所述多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。11.  一种用于使计算机执行以下处理的信号处理程序：获取通过色差顺序方式从图像传感器输出的多个像素信号的处理，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器；对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数的处理；以及之后使用应用所述参数的计算式来计算通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号的处理。12.  一种用于使计算机执行以下处理的信号处理程序：获取从图像传感器输出的多个像素信号的处理，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器；对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数的处理；以及之后使用应用所述参数的计算式将所述多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号的处理。

说明书信号处理设备、信号处理方法和信号处理程序
技术领域
本公开涉及一种适用于图像捕获设备(诸如在夜间基于红外光照射来捕获图像的监控照相机和民用便携式摄像机)的信号处理设备、信号处理方法和信号处理程序。
背景技术
监控照相机一般具有两种功能，这两种功能是在白天捕获图像的白天模式和在夜间捕获图像的夜间模式。白天模式是捕获正常的彩色图像的功能。另一方面，在夜间模式下，为了在夜间在黑暗的环境中捕获图像，投射红外光(红外线)并捕获该红外光的反射光。以这种方式，即使在没有可见光的环境下，也可以获取清晰的图像(在下文中称为红外图像)。
然而，在通过与可见光不同的红外光捕获图像中，不能获取颜色信息。因此，图像通常基于红外光的明亮度以灰色或绿色的单色显示在显示设备上。
另一方面，监控照相机用于在监控区中监视可疑人员或可疑物体。为了标识它们，颜色信息(诸如人的衣服的颜色和车辆的颜色)是极其重要的。然而，当在黑暗时间(诸如夜间)通过正常颜色模式捕获图像时，噪声和对象的信号强度处于同一水平而难以区分它们。
为了解决这些问题，使用以上提及的通过红外光照射的夜间模式。然而，通过红外光照射而获得的图像是无法区分对象的颜色的单色图像，尽管该图像与在白天捕获的图像一样清晰。
此外，除了监控照相机之外，数字摄像机、便携式摄像机等也具有在黑暗时间通过红外光照射来捕获图像的功能。在这样的设备中，需要给红外图像着色来获得自然图像。
关于上述问题，例如，专利文献1公开了用于当由于环境而导致不存在可见光时对红外图像增添颜色的技术。就该技术而言，具有不同波长的三种类型的红外光被用作将要投射在对象上的红外光，以基于物质(树脂)对红外光的反射特性与该物质对可见光的反射特性之间的差异(相关性)来估计对象的颜色。然而，就该技术而言，通过使用多个光源及其光谱系统，很有可能会提高成本，并且颜色估计精度不足够高。
另一方面，当使用在环境中略有余留的可见光时，可以通过设计信号处理方法来用常规的照相机系统在一定程度上执行颜色再现。作为该技术的例子，在数字照相机中，提出了用于在通过在黑暗时间投射红外光而捕获的图像(夜间摄影)上再现自然颜色的技术(例如，参见专利文献2)。在该技术中，当照相机检测到照相机系统变为夜间模式时，使用与在正常彩色图像捕获模式下使用的参数表不同的参数表。该参数表用于白平衡调整。从而即使当可见光和红外光混合时也执行适当的颜色再现。
引文列表
专利文献
专利文献1：日本特开No.2011-50049
专利文献2：日本特开No.2005-130317
发明内容
本发明要解决的问题
然而，就所述技术而言，因为对包括可见光和红外光的分量的混合信号执行与正常颜色信号处理类似的处理，所以引起由于红外信号分量所致的颜色偏移和对整个画面着色等，难以正确地执行颜色再现。而且，没有充分地考虑各种光源下的鲁棒性(对于环境变化的抵抗性)。
在上述情况下，期望一种用于对通过使用可见光和红外光而捕获的图像更正确地执行颜色再现的技术。
问题的解决方案
在本公开的一方面，首先，获取通过色差顺序方式从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器。然后，对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数。之后，使用应用所述参数的计算式来计算通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。
在本公开的另一方面，首先，获取从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器。然后，对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数。之后，使用应用所述参数的计算式将所述多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。
在本公开的一个方面和其他方面，在根据从图像传感器输出的多个像素信号来计算色差信号的计算式中，设置消去与预定红外波长对应的项的参数。通过使用该计算式，可以从色差信号排除与目标红外波长对应的信号分量。
本发明的效果
在根据本公开的实施例中的至少一个中，可以改进颜色饱和度和色调再现精度，并且可以对通过使用可见光和红外光而捕获的图像更精确地执行颜色再现。
附图说明
图1是示出使用配备有常规的互补色滤色器的图像传感器的图像捕获设备的示例性配置的功能框图。
图2是例示图像传感器所配备的互补色滤色器的示图。
图3A和3B是例示在夜间模式下捕获图像的示图。图3A示出在夜间模式下捕获图像所使用的光的波长，图3B示出IR截止滤光器的光谱透射特性。
图4是示出配备有互补色滤色器的图像传感器的光谱响应特性的例子的示图。
图5是示出根据本公开的第一实施例的图像捕获设备的示例性配置的框图。
图6是示出使用配备有常规的原色滤色器的图像传感器的图像捕获设备的示例性配置的功能框图。
图7是示出根据本公开的第二实施例的图像捕获设备的示例性配置的框图。
图8是示出配备有原色滤色器的图像传感器的光谱响应特性的例子的示图。
图9是示出根据本公开的第三实施例的图像捕获设备的示例性配置的框图。
图10是示出计算机的硬件的示例性配置的框图。
具体实施方式
在下文中，将描述实现本公开的技术的配置的例子(在下文中称为“实施例”)。在本说明书和附图中，通过将相同的标号分配给具有基本相同的功能或配置的构成要素来省略冗余描述。描述的次序如下：
1.介绍性描述
2.第一实施例(信号处理器：应用于配备有互补色滤色器的图像传感器的实施例的例子)
3.第二实施例(信号处理器：应用于配备有原色滤色器的图像传感器的实施例的例子)
4.第三实施例(信号处理器：配备有降噪器的实施例的例子)
5.第四实施例(当仅有环境红外光存在时的情况的例子)
<1.介绍性描述>
本公开是在对红外线照射图像进行着色的信号处理设备中在各种光源下都可以更精确地执行颜色再现的技术，该红外线照射图像是在可见光略有余留的环境下通过夜间模式捕获的。
在下文中，在描述本公开的技术之前，将描述目前的用于对在黑暗环境下通过使用投射红外光而捕获的图像执行颜色再现的技术。将描述如下内容：例如，在使用配备有包括多个互补色滤色器的滤色器阵列(分色滤色器)的图像传感器的图像捕获设备中，当用常规的信号处理步骤以及信号处理对包括可见光和红外光的分量的混合信号进行处理时所引起的问题。在以下描述中，包括多个互补色滤色器的滤色器阵列也被称为分色滤色器。
图1是示出使用配备有常规的互补色滤色器的图像传感器的图像捕获设备的示例性配置的功能框图。图2是例示互补色滤色器的示图。
图1中所示的图像捕获设备100是使用颜色补偿型图像传感器113的照相机系统(诸如通用监控照相机和通用数字照相机)，颜色补偿型图像传感器113包括设置在前表面上的滤色器阵列112。在图2中所示的滤色器阵列112上，四种颜色，即黄色(Ye)、青色(Cy)、品红(Mg)和绿色(G)的互补色滤色器布置在预定位置上。
图像捕获设备100包括：光学透镜111、图像传感器113、缺陷校正/噪声去除器114、YC1C2提取器115以及RGB计算器116，图像传感器113的前表面上设置有滤色器阵列112。此外，图像捕获设备100包括白平衡单元117、伽玛校正器118、YCbCr转换器119和色度校正器120。
图像传感器113使用与每个像素对应的光电转换元件来对已经通过滤色器阵列112的互补色滤色器的每种颜色分量光进行光电转换，并将转换的信号作为像素信号输出。使用CCD、CMOS等的成像元件可应用于图像传感器113。通常，配备有滤色器阵列112的图像传感器113采用色差顺序方式来读取信号以使得能够进行NTSC方式的隔行读取。在色差顺序方式中，在垂直方向上相邻的像素彼此相加之 后从图像传感器113读取像素数据。此时，通过从偶数隔行场的读取移动一行来执行奇数隔行场的读取。从而，例如在偶数场中，(Mg+Cy)和(Ye+G)的信号以及(Cy+G)和(Mg+Ye)的信号每隔一行交替地输出。
如图1中所示，在缺陷校正之后，缺陷校正/噪声去除器114对读取的信号执行噪声去除等，YC1C2提取器115根据计算式(1-1)中所示的计算式来计算亮度信号Y和色差信号C1、C2。色差信号C1、C2可以是伪色差信号Cb、Cr。在下文中，亮度信号Y缩写为“Y”或“信号Y”。类似地，色差信号C1和色差信号C2分别缩写为“C1”或“信号C1”和“C2”或“信号C2”。
(数学公式1-1)
Y＝Mg+Cy+Ye+G
C1＝(Mg+Cy)-(Ye+G)＝2B-G
C2＝(Mg+Ye)-(Cy+G)＝2R-G
通过简单地将与四种类型的互补色滤色器对应的信号相加来转换信号Y，通过在列方向上相邻的两种类型的信号相减来计算信号C1、C2。假定在原色信号中，红色信号是R，绿色信号是G，蓝色信号是B，Mg＝R+B，Ye＝R+G，而Cy＝B+G，则C1＝2B–G，C2＝2R–G，因此，C1和C2分别大致对应于YCbCr颜色空间中的Cb、Cr。
针对滤色器阵列112的每一个2×2矩阵(G,Cy,Ye,Mg)计算数据Y、C1和C2。然而，因为针对每一行仅计算数据C1和C2中的某一个，所以通过从上行和下行的每个数据值进行插值来确定其他数据。
接着，RGB计算器116将以上信号Y、C1、C2转换为信号R、G、B(原色分离)。通常使用计算式(1-2)中所示的转换计算式。这等同于计算式(1-1)的联立计算式关于R、G和B的解。
(数学公式1-2)
R＝0.1*Y-0.1*C1+0.4*C2
G＝0.2*Y-0.2*C1-0.2*C2
B＝0.1*Y+0.4*C1-0.1*C2
如稍后所描述的，在这些计算式中，特征点如下：Y的系数在R和G以及B和G之间已翻倍。当对包括可见光和红外光的分量的混合信号进行处理时，这一点引起问题。白平衡单元117对由RGB计算器116计算的信号R、G、B执行颜色校正。然后，伽玛校正器118、YCbCr转换器119和色度校正器120对信号R、G、B进行处理，最后，这些信号R、G、B输出到图像捕获设备100的外部。
接着，下面将描述当使用上述常规的图像捕获设备100对包括可见光和红外光的分量的混合信号进行处理时引起的问题。
图3A和3B是例示在夜间模式下捕获图像的示图。图3A示出在夜间模式下捕获图像所使用的光的波长。图3B示出IR截止滤色器的光谱透射特性。
通常，在监控照相机等的白天模式下，通过配备具有650nm左右的截止频率的红外截止滤色器(IR截止滤色器)，红外光分量被去除。然而，在夜间模式下，因为IR截止滤色器被取下，所以包括可见光和红外光的分量的混合信号被图像传感器113接收。红外光被分为环境中存在的余光分量(环境红外光)和从照相机系统发射的投射红外光分量(图3A)。
现在，为了简化以下描述，假定环境中存在的红外分量为零，并且可见光分量和投射红外光分量这两种类型被图像传感器113接收。这通常通过使用如图3B中所示的IR截止滤色器来实现，该IR截止滤色器具有透射具有投射红外光的周围波长的光的带。此外，假定通过滤色器阵列112的互补色滤色器(Mg、Ye、Cy、G)的650nm或更小的可见光的信号强度值为Mg_v、Ye_v、Cy_v和G_v，而通过互补色滤色器(Mg、Ye、Cy、G)的投射红外光分量的信号强度值为Ip_m、Ip_y、Ip_c和Ip_g。还假定投射红外波长是通常使用的850nm的红外光。
如上所述，互补色滤色器的像素的信号分量用Mg＝Mg_v+Ip_m、Ye＝Ye_v+Ip_y、Cy＝Cy_v+Ip_c和G＝G_v+Ip_g表示。当以图1中所示的步骤处理这些信号时，以上信号由YC1C2提取器115使用计算式(1-1)来转换，以表示为计算式(1-3)。
(数学公式1-3)
Y＝(Mg_v+Ye_v+Cy_v+G_v)+(Ip_m+Ip_y+Ip_c+Ip_g)
C1＝(Mg_v+Cy_v)-(Ye_v+G_v)+(Ip_m+Ip_c)-(Ip_y+Ip_g)
C2＝(Mg_v+Ye_v)-(Cy_v-G_v)+(Ip_m+Ip_y)-(Ip_c+Ip_g)
图4是示出配备有互补色滤色器的图像传感器113的光谱响应特性的例子的示图。水平轴表示入射光的频率，垂直轴表示标准化的光谱响应。
当关注集中于850nm的投射红外波长的光谱响应特性时，因为互补色滤色器的灵敏度比直接对应于Ip_m、Ip_c、Ip_y和Ip_g的信号强度比，所以通过光谱响应特性，互补色滤色器的灵敏度比被大致表示为Ip_m＝1.02*Ip_y＝1.18*Ip_c＝1.20*Ip_g＝Ip。通过使用上述表示，计算式(1-3)中的Y、C1、C2如下计算。
Y＝(Mg_v+Ye_v+Cy_v+G_v)+3.66*Ip＝Y_v+3.66*Ip
C1＝(Mg_v+Cy_v)-(Ye_v+G_v)+0.04*Ip＝C1_v+0.04*Ip
C2＝(Mg_v+Ye_v)-(Cy_v+G_v)+0.3*Ip＝C2_v+0.3*Ip
这里，Y_v、C1_v和C2_v分别表示Y、C1和C2中的可见光的分量。
就以上计算式而言，投射红外光分量(Ip)主要叠加在Y分量上，并且不均等地分布到颜色信号C1、C2。
接着，当RGB计算器116用计算式(1-2)对以上信号Y、C1、C2进行处理时，如下转换这些信号：
R＝Rv+0.482*Ip
G＝Gv+0.664*Ip
B＝Bv+0.352*Ip
这里，Rv、Gv和Bv是仅可见光的分量。
Rv＝0.4*(C2_v)+0.1*(Y_v-C1_v)
Gv＝0.2*(Y_v-C1_v-C2_v)
Bv＝0.4*(C1_v)+0.1*(Y_v-C2_v)
如上所述，投射红外光分量(Ip)的系数在R、G和B中是不同的，最后，不均等地分布到R、G和B。在以上计算结果中，相对于R和B分别为约1.4倍和约1.9倍的强度值的红外光分量被分布到G。
然后，白平衡单元117对由RGB计算器116计算的信号R、G、B执行白平衡处理。当红外光信号和可见光信号混合在将被处理的信号中时，通常执行简单的校正以与灰度世界(R＝G＝B)一致(例如，参见专利文献2)。例如，如果像素信号仅是红外光分量，则所有像素中的R、G和B的信号强度比相同而使整个画面成为灰色。另一方面，如果像素信号仅是颜色信号，则可以执行与正常的颜色处理类似的颜色再现。
然而，当像素信号仅是红外光信号时的R、G和B的最优增益值不同于当像素信号仅是颜色信号时的R、G和B的最优增益值。因此，当像素信号是包括红外光和可见光的分量的混合信号时，不能获得同时对这两者最优化的增益值。因此，根据红外信号和可见光信号的强度比，R、G、B的增益值被设置为当独立地对R、G、B中的每个执行白平衡处理时计算的收敛值(最优值)的大约中间值。
例如，假定对可见光进行最优化的白平衡增益值是R＝0.8、G＝1.0、并且B＝1.2。另一方面，基于通过计算RGB的计算式(计算式1-2)而得到的红外光信号的系数的比率，针对投射红外光的白平衡的最优值为R＝1.4、G＝1.0、B＝1.9。然后，针对这些混合信号计算最终校正值(增益值)，如果红外光和可见光的亮度值基本相等，则白平衡增益值收敛到近似中间值R＝1.1、G＝1.0、B＝1.55。因此，信号R、B被设置为从可见光的最优增益值分别偏移38％((1.4－1.1)/0.8)、29％((1.9－1.55)/1.2)的值。
在这种情况下，使原本要变为灰色的红外信号分量变成彩色，而 对可见光信号执行针对原始颜色的偏移的颜色再现。最后，在最终图像中整个图像变成彩色，在对象中图像的色调偏移，而这些是使图像质量劣化的因素。
<2.第一实施例>
本公开的第一实施例可以解决关于使用配备有互补色滤色器的图像传感器的图像捕获装置而捕获的图像的、当对包括红外光和可见光的分量的混合信号执行常规的信号处理时引起的以上问题。在下文中，将描述应用于图像捕获设备(诸如监控照相机或民用便携式摄像机)的、执行根据第一实施例的颜色再现技术的信号处理设备的例子。
[图像捕获设备的示例性配置]
图5是示出根据本公开的第一实施例的图像捕获设备的示例性配置的框图。
图5中所示的图像捕获设备1是使用图像传感器13的通用照相机系统，诸如监控照相机或数字摄像机，在图像传感器13的前表面上设置有颜色补偿型滤色器阵列12。
图像捕获设备1包括：光学透镜11、图像传感器13、缺陷校正/噪声去除器14、信号处理器15和存储器15M，在图像传感器13的前表面上设置有滤色器阵列12。图像捕获设备1还包括白平衡单元16、伽玛校正器17、YCbCr转换器18和色度校正器19。
图像传感器13是将从光学透镜11接收的(可见光和投射红外光的)光转换为电信号的光电转换电路。通常使用利用CCD、CMOS等的成像元件。在图像传感器13的前表面上，设置有滤色器阵列12。滤色器阵列12包括按与图像传感器13中的像素的光电转换元件对应的矩阵布置的、四种颜色(例如，黄色(Ye)、青色(Cy)、品红(Mg)和绿色(G))的互补色滤色器(参见图2)。图像传感器13使用对应像素的光电转换元件来对已经通过滤色器阵列12的互补色滤色器的每种颜色分量光进行光电转换，并将转换的信号作为像素信号输出。
在图像传感器13中，与像素对应的多个光电转换元件二维地布置，并且每个像素的光电转换元件对已经通过互补色滤色器的每种颜 色分量光进行光电转换，并将转换的信号作为像素信号(模拟信号)输出。滤色器阵列12中所包括的每个互补色滤色器的布置位置与图像传感器13的像素的布置位置对应。换句话说，在每个像素中，创建具有Ye、Cy、Mg和G的颜色中的任何一种的像素信号。
图像传感器13例如以作为NTSC方式的规范的60fps(场/秒)的帧率读取信号。从图像传感器13输出的像素信号(图像信号)通过A/D转换器(未示出)从模拟信号转换为数字信号，并且被输出到缺陷校正/噪声去除器14。
缺陷校正/噪声去除器14对由于图像传感器13或光学系统而导致的像素信号(图像信号)的缺陷和噪声进行校正。
信号处理器15根据通过色差顺序方式从图像传感器13输出的多个像素信号来计算亮度信号Y和色差信号C1、C2，将色差信号C1、C2乘以增益，并计算原色信号R、G、B。信号处理器15包括YC1C2计算器21、C1C2增益单元22和RGB计算器23。
YC1C2计算器21是色差信号计算器的例子。YC1C2计算器21获取与通过色差顺序方式从图像传感器13输出的每种颜色对应的多个像素信号。在根据像素信号计算色差信号的计算式中，YC1C2计算器21针对这些像素信号从存储器15M获取消去与预定红外波长对应的项的参数。然后，通过使用应用该参数的计算式，执行像素信号的加法处理，并计算亮度信号Y。此外，执行像素信号之间的减法处理，并计算色差信号C1、C2。
例如如下设置以上参数。首先，对与各种颜色对应的并且从图像传感器13输出的像素信号的信号强度值中的每个进行标准化，使得像素信号在预定红外波长中的信号强度比等于互补色滤色器在预定红外波长中的灵敏度比。然后，在以上计算式中，基于每个标准化的信号强度来设置消去与预定红外波长对应的项的值。稍后将描述用于设置参数的方法。
C1C2增益单元22是色差信号放大器的例子。C1C2增益单元22以预定放大程度对YC1C2计算器21计算的色差信号C1、C2进行放 大。
RGB计算器23是原色信号计算器的例子。RGB计算器23根据亮度信号Y和色差信号C1、C2计算原色信号R、G、B(图像信号)(原色分离)。在这个处理中，固定每个原色信号中所包括的亮度信号Y的系数，并且计算原色信号。然后，RGB计算器23将计算的每个原色信号输出到白平衡单元16。
白平衡单元16对从信号处理器15的RGB计算器23输出的每个原色信号执行白平衡调整处理，使得关于白色对象的RGB的每种颜色的信号水平变为相同。例如，对从所有像素获得的信号进行积分，并且执行校正以变为R＝G＝B。
伽玛校正器17沿着伽玛曲线对从白平衡单元16输出的每种颜色的图像信号值进行校正。
YCbCr转换器18对每种颜色的图像信号执行矩阵处理，将信号转换为信号Y和色差信号Cb、Cr，并将该信号分离为亮度分量和色度分量。
色度校正器19通过对从YCbCr转换器18输出的色度分量(Cb、Cr)乘以预定色度增益来对该色度分量(Cb、Cr)执行色调校正(色度校正)。然后，色度校正器19将信号Y和色度校正后的色差信号Cb、Cb输出到后级。
存储器15M是非易失性存储部件。存储器15M存储例如根据从图像传感器13输出的像素信号来计算色差信号的计算式中的、消去与预定红外波长对应的项的参数。
[信号处理器的功能]
(YC1C2计算器21)
在下文中，将详细描述信号处理器15中所包括的每个块的功能。
首先，在YC1C2计算器21中，使用计算式(2-1)作为计算信号Y、C1、C2的计算式。与常规计算式(1-1)的不同之处在于将参数s、t中的每个设置为第二项的系数。这里，参数s、t中的每个均被确定为使得如计算式(2-2)中所示的波长为850nm的投射红外光的信号分量关 于色差信号C1、C2变为零。
(数学公式2-1)
Y＝Mg+Cy+Ye+G
C1＝(Mg+Cy)-s*(Ye+G)
C2＝(Mg+Ye)-t*(Cy+G)
(数学公式2-2)
C1＝(Mg_v+Cy_v)-s*(Ye_v+G_v)+(Ip_m+Ip_c)-s*(Ip_y+Ip_g)
C2＝(Mg_v+Ye_v)-t*(Cy_v+G_v)+(Ip_m+Ip_y)-t*(Ip_c+Ip_g)
这里，在计算式(2-2)中，为了使作为投射红外光分量的第三项和后面的项变为零，如下设置s和t：
s＝(Ip_m+Ip_c)/(Ip_y+Ip_g)
t＝(Ip_m+Ip_y)/(Ip_c+Ip_g)
如上所述，因为投射红外光分量的信号强度比Ip_m、Ip_y、Ip_c以及Ip_g与850nm的互补色滤色器的光谱响应特性比一致，所以最后，与光谱响应特性相比，参数s、t可以被更唯一地确定。例如，图4的光谱响应特性显示出Ip_m＝1.02*Ip_y＝1.18*Ip_c＝1.20*Ip_g＝Ip，并且大致地，s＝1.05，t＝1.2。如上所述，通过设置参数s、t，色差信号C1、C2可以表示为以下计算式(2-3)。
(数学公式2-3)
C1＝(Mg_v+Cy_v)-s*(Ye_v+G_v)
C2＝(Mg_v+Ye_v)-t*(Cy_v+G_v)
如计算式(2-3)中所示，红外光分量可以从色差信号C1、C2去除。这里，C1、C2的可见光分量由于参数s、t而偏离原始值，但是后级的RGB计算器23对这些值执行颜色调整。
作为用于计算实际参数s、t的方法，从配备有滤色器阵列12的图像传感器13的光谱响应特性读取投射红外光分量的信号强度比Ip_m、Ip_y、Ip_c和Ip_g，从而计算参数。作为用于进一步改进精度 的方法，图像捕获设备1(图像传感器13)获取仅用投射红外光的光源捕获的图像，计算整个图像的Y、C1、C2的平均值，并设置参数s、t，使得C1和C2变为零。作为图像捕获设备(照相机系统)的校准，这个处理需要由配备有相同的图像传感器13的图像捕获设备之一或者由每一个图像捕获设备执行一次。
此外，设置以上参数s、t可以由YC1C2计算器21执行，或者可以预先由诸如控制图像捕获设备1中的整个块的微计算机的运算处理设备(未示出)执行。参数s、t的设置数据存储在存储器15M中，并且通过YC1C2计算器21适当地读取。参数s、t的数据可以存储在YC1C2计算器21中。
(C1C2增益单元22)
接着，在YC1C2计算器21的后级的C1C2增益单元22中，将色差信号C1、C2乘以增益系数a(a>0)(计算式2-4)而放大这些信号(C1’、C2’)。
(数学公式2-4)
C1’＝a*C1
C2’＝a*C2
(RGB计算器23)
接着，RGB计算器23计算信号R、G、B。这里，计算RGB的计算式的例子在计算式(2-5)中示出。在该计算式中，与计算式(1-2)不同，Y的系数被设置成为相同的。在该例子中，Y的系数为1，但是可以是其他任何一个值。此外，Y的系数可以存储在存储器15M中，并且可以通过RGB计算器23适当地读取。
(数学公式2-5)
R＝Rv+3.66*Ip
G＝Gv+3.66*Ip
B＝Bv+3.66*Ip
这里，Rv、Gv、Bv如下。
Rv＝Y_v+1.0*C2’_v
Gv＝Y_v-0.5*C2’_v-0.5*C1’_v
Bv＝Y_v+2.0*C1’_v
然而，C1’_v和C2’_v分别是C1’和C2’的可见光分量。
换句话说，当将计算式(2-5)与常规计算式(1-2)进行比较时，本实施例中的红外光的分量均等地分布到R、G和B。之后，类似于常规例子，由白平衡单元16执行颜色校正。然后，伽玛校正器17、YCbCr转换器18、色度校正19等执行处理。最后，信号输出到图像捕获设备1的外部。此外，已经被执行了上述处理的图像信号可以存储在存储器15M或者具有大容量的存储设备(未示出)中。
第一实施例总结为下列段落(1)至(3)。
(1)YC1C2计算器21通过设置参数s、t来从信号C1、C2去除红外光分量。
(2)C1C2增益单元22通过调整已经从其去除了红外光分量的信号C1、C2的增益来执行可见光和红外光的强度调整。
(3)RGB计算器23通过使信号Y的系数统一来将红外光分量均等地分布到信号R、G、B。
通过(1)、(2)和(3)中的这些处理，可以针对使用配备有互补色滤色器的图像传感器的图像捕获设备而捕获的图像改进颜色再现精度和在各种环境下的鲁棒性。
在以上(1)中，在根据像素信号计算信号C1、C2的计算式中，设置消去与预定红外波长对应的项的参数，并且使用该计算式计算信号C1、C2。因此，因为目标红外光的信号分量可以从信号C1、C2排除，所以可以改进颜色饱和度和色调再现精度。
当在信号处理器15的后级执行白平衡处理时，以上(2)中所描述的处理是有利的。尽管白平衡的平衡点是基于红外光和可见光的强度比来加权的，但是可以通过改变已经去除了红外光分量的信号C1、C2的增益来调整强度比。通常，在夜间模式下捕获图像时，假定可见光是微弱的。因此，在从图像传感器13输出的信号分量中，红外光分 量是占支配地位的，而有可能收敛到红外光分量的最优的平衡点上。然而，通过将可见光分量(C1、C2)乘以增益，可以使可见光分量(C1、C2)更接近可见光的平衡点。此外，通过在(1)的以上处理中从信号C1、C2去除红外光分量，可以对可见光分量执行增益处理。
在以上(3)中，通过将包括红外光分量的信号Y均等地分布到信号R、G、B，可以避免由于红外光分量而导致的色调偏移。换句话说，通过后级的白平衡单元16，类似于常规例子，平衡点被设置到可见光分量和红外光分量的最优增益值的中间。然而，因为红外光分量已经被设置为灰色的(R＝G＝B)，所以对于当红外光与可见光混合时的每个增益值，可以减小与最优增益值的偏移。例如，在常规例子的光源中，可见光的最优增益值为R＝0.8、G＝1.0并且B＝1.2，而红外光的最优增益值为R＝1.0、G＝1.0并且B＝1.0。因此，如果这两种光的强度值基本上相等，则最终增益值为R＝0.9、G＝1.0并且B＝1.1，并且红外光和可见光与目标最优值的偏移约为10％。
通过以上一系列操作，对于包括可见光和红外光的分量的混合信号，在不对偏向于这些信号中的任一个的白平衡进行最优化的情况下，可以收敛到将这两个信号折中的平衡点上。因此，可以改进对具有偏置的发射光谱的各种照明条件(可见光)的鲁棒性。
(1)、(2)和(3)中的以上处理不一定按顺序执行。例如，可以仅执行(1)中的处理，或者可以执行至少包括(1)中的处理的组合处理。换句话说，在(1)中的处理中，通过从信号C1、C2去除红外光分量，可以改进颜色再现精度和各种环境下的鲁棒性。例如，组合处理可以是(1)、(1)+(2)、(1)+(2)+(3)以及(1)+(3)，可以获得以上在(1)至(3)中所描述的效果之中的至少一种效果。
<3.第二实施例>
在第二实施例中，与在第一实施例中所描述的信号处理类似的技术应用于使用配备有原色滤色器的图像传感器的图像捕获设备。
在使用原色滤色器的滤色器阵列中，通常使用按Bayer法布置的红色(R)、绿色(G)和蓝色(B)的原色滤色器。在Bayer布置中， 例如，作为第一颜色分量的滤色器G布置成方格图案，并且作为第二或第三颜色分量的滤色器R和B交替地布置在每一行上除了布置滤色器G之外的位置上。
图6是示出使用配备有常规的原色滤色器的图像传感器的图像捕获设备的示例性配置的功能框图。
图6中所示的图像捕获设备150包括：光学透镜111、图像传感器113、缺陷校正/噪声去除器114和去马赛克处理器121，在图像传感器113的前表面上设置有原色型滤色器阵列112A。此外，图像捕获设备150包括白平衡单元117、伽玛校正器118、YCbCr转换器119和色度校正器120。
图像传感器113使用对应像素的光电转换元件来对已经通过滤色器阵列112A的原色滤色器的每种颜色分量光(R、G、B)进行光电转换，并将转换的信号作为像素信号输出。
去马赛克处理器121通过估计不在像素信号中的颜色分量来对从缺陷校正/噪声去除器114输出的图像信号(马赛克图像)的每个像素的像素信号执行估计的颜色分量的插值处理(去马赛克)。在图像传感器113的每个像素中，因为仅可以获得与R、G和B中的任何一个对应的一种颜色的数据，所以通过使用周边像素的像素信号执行运算操作来对其他颜色数据进行插值。
如上所述，在常规的信号处理中，在对从图像传感器113读取的信号R、G、B执行缺陷校正等之后，通过去马赛克处理将R、G、B的信号数据分布到每个像素，然后执行白平衡。通过这些处理，因为类似于使用互补色滤色器的第一实施例的处理的例子，红外光分量不均等地分布到R、G和B，所以由白平衡处理得到的增益有可能从可见光和红外光的最优增益值中的每个偏移。
另一方面，在本实施例中，在执行去马赛克处理之后，信号R、G、B类似于第一实施例那样被转换为信号Y、C1、C2，然后执行白平衡处理。
图7是示出根据本公开的第二实施例的图像捕获设备的示例性配 置的框图。
如图7中所示的图像捕获设备1A包括：光学透镜11、图像传感器13、缺陷校正/噪声去除器14、去马赛克处理器31、信号处理器15A和存储器15M，在图像传感器13的前表面上设置有滤色器阵列12A。此外，图像捕获设备1包括白平衡单元16、伽玛校正器17、YCbCr转换器18和色度校正器19。
滤色器阵列12A对应于滤色器阵列112A，并且例如原色滤色器按Bayer布置。图像传感器13使用对应像素的光电转换元件来对已经通过滤色器阵列12A的原色滤色器的每种颜色分量光(R、G、B)进行光电转换，并将转换的信号作为像素信号输出。
去马赛克处理器31通过估计不在像素信号中的颜色分量来对从缺陷校正/噪声去除器14输出的图像信号(马赛克图像)的每个像素的像素信号执行估计的颜色分量的插值处理(去马赛克)。
信号处理器15A将与去马赛克处理器31输入的每种颜色(R、G、B)对应的像素信号转换为亮度信号Y和色差信号C1、C2，将色差信号C1、C2乘以增益，并将这些信号转换为原色信号R、G、B。信号处理器15A包括YC1C2转换器32、C1C2增益单元22和RGB转换器34。
YC1C2转换器32将与去马赛克处理器31输入的每种颜色(R、G、B)对应的像素信号转换为亮度信号Y和色差信号C1、C2。
RGB转换器34将通过C1C2增益单元22乘上了增益的色差信号C1、C2转换为原色信号R、G、B。然后，RGB转换器34将每个原色信号输出到白平衡单元16。
[信号处理器的功能]
(YC1C2转换器32)
在下文中，将详细描述信号处理器15A中所包括的每个块的功能。
首先，如计算式(3-1)中所示，YC1C2转换器32根据波长为850nm的投射红外光的光谱响应特性，对去马赛克处理器31输入的信号R、G、B执行标准化(R’、G’、B’)。图8是示出配备有原色滤色器的 图像传感器的光谱响应特性的例子的示图。
(数学公式3-1)
R’＝u*R
G’＝v*G
B’＝w*B
然后，基于计算式(3-2)对标准化的信号R’、G’、B’计算亮度信号Y和色差信号C1、C2。在根据第一实施例的计算式(2-2)中，已经描述了计算式的每个项，即可见光的信号强度值是Mg_v、Ye_v、Cy_v和G_v，互补色滤色器(Mg、Ye、Cy、G)的投射红外光分量的信号强度值是Ip_m、Ip_y、Ip_c和Ip_g。将不重复该描述。
(数学公式3-2)
Y＝0.3*R’+0.6*G’+0.1*B’
C1＝B’-Y
C2＝R’-Y
这里，类似于第一实施例的计算式(2-3)中的参数s、t，设置参数u、v、w使得在计算式(3-2)中所示的色差信号C1、C2中波长为850nm的投射红外光的信号分量变为零。投射红外光分量Ip从而集中在信号Y上，并且在信号C1、C2中被抵消。
然后，C1C2增益单元22将色差信号C1、C2乘以增益系数a(a>0)(计算式3-3)，信号被放大(C1’、C2’)。
(数学公式3-3)
C1’＝a*C1
C2’＝a*C2
(RGB转换器34)
之后，RGB转换器34将色差信号C1、C2转换为原色信号R、G、B。对于信号R、G、B中的每个，红外光分量Ip均等地分布到已经被转换的信号R、G、B(计算式3-4)。换句话说，类似于第一实施例，(计算式3-4)中的Y的系数被设置成为相同的。
(数学公式3-4)
R＝Y+1.4*C2’
G＝Y-0.3*C2’-0.7*C1’
B＝Y+1.7*C1’
之后，类似于常规例子，白平衡单元16执行颜色校正。利用该配置，可以通过白平衡使红外光分量的最优值变成灰色(R＝G＝B)。
就上述第二实施例而言，类似于第一实施例，对于通过使用配备有原色滤色器的图像传感器的图像捕获设备而捕获并获取的、包括红外光和可见光的分量的混合信号，可以改进颜色再现精度和对各种光源的鲁棒性。
参数u、v、w的以上设置可以由YC1C2转换器32执行，或者可以预先由诸如图像捕获设备1中的微计算机的运算处理设备(未示出)执行。参数u、v、w的设置数据存储在存储器15M中，并且通过YC1C2转换器32适当地读取。参数u、v、w的数据可以存储在YC1C2转换器32中。
<4.第三实施例>
第二实施例是针对在第一实施例和第二实施例中计算的色差信号C1、C2的后级的处理。
在常规的信号处理中的后级的信号处理中，类似于正常的照相机信号处理，通过伽玛系数、线性矩阵系数、孔径控制等处理将信号输出到外部。然后，因为假定原始图像是在诸如黑暗环境的低照度下捕获的，所以图像具有很多颜色噪声。因此，在正常照相机信号的类似处理中，可能再现具有很多粒状颜色噪声的图像。为了解决这个问题，本实施例对色差信号C1、C2应用大面积降噪滤波器。
图9是示出根据本发明的第三实施例的图像捕获设备的示例性配置的框图。
如图9中所示的图像捕获设备1B类似于第一实施例，是使用配备有互补色滤色器的图像传感器的图像捕获设备。
图像捕获设备1B包括：光学透镜11、图像传感器13、缺陷校正 /噪声去除器14、信号处理器15B和存储器15M，在图像传感器13的前表面上设置有滤色器阵列12。此外，图像捕获设备1包括白平衡单元16、伽玛校正器17、YCbCr转换器18和色度校正器19。
信号处理器15B根据通过色差顺序方式从图像传感器13输出的像素信号来计算亮度信号Y和色差信号C1、C2，对色差信号C1、C2执行降噪处理，并计算原色信号R、G、B。信号处理器15B包括：YC1C2计算器21、C1C2增益单元22、RGB计算器23和降噪器40。关于从图像传感器13读取信号数据、计算Y、C1和C2以及C1和C2增益，这些处理类似于第一实施例那样执行。
降噪器40仅对色差信号C1、C2执行图像缩小和图像放大，并且在该过程中执行大面积降噪处理。降噪器40包括图像缩小器41、块平均滤波器42、图像放大器43和像素平均滤波器44。
降噪器40在图像缩小器41中创建例如相对于C1C2增益单元22输入的色差信号C1、C2的1/8大小的缩小图像。换句话说，64个像素成块为一个像素。在创建缩小图像时，原始图像的8*8像素的块的简单平均可以是缩小像素值，或者该块中的加权像素值的平均可以是缩小像素值。
接着，块平均滤波器42将3*3平均滤波器应用于缩小图像的每个像素。通过该平均处理，缩小图像的边缘不明显。
之后，为了使缩小图像返回原始图像大小，图像放大器43对块分割并放大图像。为了转换为原始图像大小，简单地将缩小图像的像素值应用于8*8像素的像素值，并创建边长为8倍的图像。
然而，就该图像原样来说，8*8像素块的边界是清晰的。因此，像素平均滤波器44进一步将5*5像素平均滤波器应用于通过图像放大器43放大的图像以平滑地改变边界处的像素值。
以这种方式，平均后的信号C1、C2与信号Y同时传送到RGB计算器23。随后的处理类似于第一实施例中的处理。
通过第三实施例的上述信号处理，可以高效率地使分布在图像的大面积中的颜色噪声平均化并且创建颜色噪声极小的图像。大面积噪 声滤波器通常损害图像的细节再现。然而，在本实施例中，因为降噪处理仅对色差信号C1、C2执行，所以最终图像的分辨率没有受损。此外，通过使用缩小图像作为大面积噪声滤波器，可以减小当信号处理合并到硬件中时的行缓冲(line buffer)。
<5.第四实施例>
在上述第一实施例至第三实施例中，已经描述了只有投射红外光分量作为红外光存在、而由环境引起的红外光不存在的情况。相反，当不存在投射红外光而仅存在环境红外光时，所述处理是适用的。
在第一实施例的(1)中的处理中，不能完全从信号C1、C2消去红外光分量。然而，利用第一实施例中所描述的校准方法，通过计算参数s、t使得在信号C1、C2中目标红外光分量更接近于0(零)，可以排除目标红外光的影响。作为校准技术，通过为图像捕获设备配备截止可见光并且仅透射红外光的滤光器，只有来自环境光的红外光被接收。然后，指定信号强度强的红外光波长，并排除红外光的影响。
该技术适用于在夜间的夜间模式下通过在不投射红外光的情况下接收环境红外光来提高灵敏度的时候。另一方面，在白天的白天模式下捕获图像时，该技术适用于作为当通过没有IR截止滤光器的图像捕获设备来捕获图像时改进颜色再现的方法。当使用图3B中所示的IR截止滤光器时，在白天捕获图像时，大约850nm的环境红外光透射通过该滤光器。然而，通过应用这些实施例，可以排除大约850nm的红外光的影响。
此外，本公开可以具有如下配置。
(1)一种信号处理设备，包括：
色差信号计算器，配置为计算通过执行多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号，所述计算是使用根据所述多个像素信号来计算色差信号的计算式来对通过色差顺序方式从图像传感器输出的所述多个像素信号进行的，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器，所述计算式应用消去所述计算 式中的与预定红外波长对应的项的参数。
(2)根据(1)所述的信号处理设备，其中，通过对从图像传感器输出的所述多个像素信号的信号强度值中的每个进行标准化，使得所述多个像素信号与预定红外波长对应的信号强度比与所述多个互补色滤色器在所述预定红外波长中的灵敏度比相等，基于标准化的信号强度值中的每个来将所述参数设置为消去所述计算式中的与所述预定红外波长对应的项的值。
(3)根据(1)或(2)所述的信号处理设备，还包括色差信号放大器，配置为对由色差信号计算器计算的色差信号进行放大。
(4)根据(1)至(3)中任一项所述的信号处理设备，还包括：
原色信号计算器，配置为根据亮度信号和色差信号计算原色信号，所述原色信号是红色信号、绿色信号和蓝色信号，其中，
原色信号计算器用每个原色信号中包括的亮度信号的固定系数来计算每个原色信号。
(5)根据(2)至(4)中任一项所述的信号处理设备，其中，基于图像传感器的光谱响应特性来获得所述多个互补色滤色器在所述预定红外波长中的灵敏度比。
(6)根据(2)至(4)中任一项所述的信号处理设备，其中，根据由图像传感器使用所述预定红外波长的光源而捕获的图像，计算整个图像的色差信号的平均值，并且所述参数被设置为使得色差信号的平均值变为零。
(7)根据(1)至(6)中任一项所述的信号处理设备，其中，红外波长是投射的红外光的波长。
(8)一种信号处理设备，包括：
色差信号转换器，配置为将多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号，所述转换是使用根据所述多个像素信号来计算色差信号的计算式来对从图像传感器输出的所述多个像素信号进行的，已经通过滤色器阵列的光入射到所述图像传感器上， 所述滤色器阵列包括多个原色滤色器，所述计算式应用消去所述计算式中的与预定红外波长对应的项的参数。
(9)一种信号处理方法，包括：
获取通过色差顺序方式从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器；
对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数；以及
之后使用应用所述参数的计算式来计算通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。
(10)一种信号处理方法，包括：
获取从图像传感器输出的多个像素信号，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器；
对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数；以及
之后使用应用所述参数的计算式将所述多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号。
(11)一种用于使计算机执行以下处理的信号处理程序：
获取通过色差顺序方式从图像传感器输出的多个像素信号的处理，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个互补色滤色器；
对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数的处理；以及
之后使用应用所述参数的计算式来计算通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号的处理。
(12)一种用于使计算机执行以下处理的信号处理程序：
获取从图像传感器输出的多个像素信号的处理，已经通过滤色器阵列的光入射到所述图像传感器上，所述滤色器阵列包括多个原色滤色器；
对所述多个像素信号设置消去根据所述多个像素信号来计算色差信号的计算式中的与预定红外波长对应的项的参数的处理；以及
之后使用应用所述参数的计算式将所述多个像素信号转换为通过执行所述多个像素信号的加法处理而获得的亮度信号和通过执行所述多个像素信号之间的减法处理而获得的色差信号的处理。
如上所述，根据上述实施例的图像捕获设备执行提取图像的整体结构的图像处理。通过该图像处理提取的信息可以应用于用于改进图像质量的处理，还可以作为配备有提取图像的整体结构的块的设备，不仅应用于数字照相机，而且也应用于的其他设备。这样的设备包括图像捕获设备，例如，数字静止照相机以及显示设备(例如，打印机和显示器)。此外，信息还可以应用于对图像进行处理或编辑的设备或计算机程序。
[计算机的硬件的示例性配置]
实施例中的上述一系列处理不仅可以由硬件执行，而且还可以由软件执行。当这一系列处理系列由软件执行时，使用将组成该软件的程序合并到专用硬件中的计算机或者安装了执行各种功能的程序的计算机来执行这些处理。例如，这些处理可以由安装了组成期望软件的程序的通用个人计算机来执行。
图10是示出通过程序来执行以上一系列处理的计算机的硬件的示例性配置的框图。
在该计算机中，CPU 201、只读存储器(ROM)202和RAM 203通过总线204相互连接。
总线204连接到输入/输出接口205。输入/输出接口205连接到输入单元206(例如，键盘、鼠标和麦克风)、输出单元207(例如，显示器和扬声器)、存储单元208(例如，硬盘和非易失性存储器)、通信单元209(例如，网络接口)、以及驱动可移动介质211(例如， 磁盘、光盘、磁光盘或半导体存储器)的驱动器210。
在具有以上配置的计算机中，通过经由输入/输出接口205和总线204将记录在例如存储单元208中的程序加载到RAM 203中，并由CPU 201执行该程序来执行这一系列处理。
由计算机(CPU 201)执行的程序通过存储在作为封装介质的可移动介质211(诸如磁盘(包括软盘)、光盘(例如，紧凑盘只读存储器(CD-ROM)、数字多功能盘(DVD))、磁光盘或半导体存储器)中来提供，或者通过有线/无线电传输介质(诸如局域网、互联网或数字卫星广播)来提供。
该程序可以通过将可移动介质211安装到驱动器210来经由输入/输出接口205安装到存储单元208。该程序可以经由有线/无线电传输介质通过通信单元209接收该程序来安装到存储单元208。此外，该程序可以预先安装到ROM 202和存储单元208。
由计算机执行的程序可以按本文中所描述的时间顺序执行，或者也可以并行地执行或者在需要的定时(例如，当执行调用时)执行。
本公开不限于上述实施例，并且可以在不脱离本公开的范围和精神的情况下做出各种修改和应用例子。
换句话说，因为实施例的上述例子是本公开的优选的具体例子，所以给出了各种技术上优选的限制。然而，本公开的技术范围不限于这些实施例，除非在每个描述中特别陈述了本公开的限制。例如，在以上描述中所提及的使用材料及其使用量、处理时间、处理次序和每个参数的数值条件仅仅是优选例子。此外，在用于描述的每个图中，尺寸、形状和布置关系仅仅表示概要。
符号列表
1,1A,1B 图像捕获设备
12  滤色器阵列(互补色滤色器)
12A 滤色器阵列(原色滤色器)
13  图像传感器
15,15A,15B 信号处理器
15M 存储器
16  白平衡单元
21  YC1C2计算器(色差信号计算器)
22  C1C2增益单元(色差信号放大器)
23  RGB计算器(原色信号计算器)
32  YC1C2转换器(色差信号转换器)
33  C1C2增益单元(色差信号放大器)
34  RGB转换器
40  降噪器
41  图像缩小器
42  块平均滤波器
43  图像放大器
44  像素平均滤波器