图像处理方法和装置 【技术领域】
本发明涉及图像处理方法和图像处理装置。
背景技术
以往，在市场中正在销售将具有固态存储元件的存储卡作为记录媒体、记录静止图像、活动图像的电子相机等拍摄装置，另外，在市场上还销售在拍摄时具有自动白平衡校正功能的电子相机。
如果使用这些电子相机，则即便由于拍摄场所的光源不同而使得所拍摄图像的色平衡混乱，也会自动特定光源颜色来执行色平衡校正，尽管拍摄者没有意识到光源颜色，也会以适当的颜色进行拍摄(例如，参见专利文献特开2000-350232号公报)。
在这种已有的电子相机等拍摄装置中的自动白平衡校正方法中，从所拍摄的图像中提取出被认为是白的部分，通过调整提取出的白部分的色平衡，从而对图像整体的色平衡进行校正。但是，在从所拍摄的图像中提取出白部分时会错误地将彩色误检测为白，从而存在校正处理后的图像的色平衡不适当的问题。
【发明内容】
本发明是鉴于上述缺陷而作出的，目的在于能够更适当地执行对所拍摄图像中所期望颜色的部分的检测。
为了实现上述目的，本发明地图像处理方法，其特征在于，具有：第1摄像步骤，不利用投光单元执行投光地对被摄体进行拍摄，并获取第1图像；第2摄像步骤，利用所述投光单元执行投光地对所述被摄体进行拍摄，并获取第2图像；以及，提取步骤，基于所述第1图像和所述第2图像，提取所述第1图像中的特定颜色的象素。
本发明的图像处理装置，其特征在于，包含：含有多个象素的摄像单元；投光单元；以及提取单元，基于所述拍摄单元对相同的被摄体不经所述投光单元执行投光而拍摄的第1图像、以及经所述投光单元执行投光而拍摄的第2图像，提取所述第1图像中的特定颜色的象素。
根据其他结构，本发明的图像处理方法，其特征在于，具有：计算步骤，在拍摄静止图像之前的期间，获取不经投光单元执行投光而由摄像单元拍摄的第1图像、以及经过投光单元执行投光而拍摄的第2图像，基于所述第1图像和所述第2图像，计算为了执行白平衡校正所使用的数据；以及调整步骤，在拍摄所述静止图像后，基于为了执行所述白平衡校正而使用的数据，来执行所述静止图像的白平衡调整。
本发明的图像处理装置，其特征在于，包含：含有多个象素的摄像单元；投光单元；计算部，在拍摄静止图像之前的期间，获取不经所述投光单元执行投光而由所述摄像单元拍摄到的第1图像、以及经过所述投光单元执行投光而拍摄到的第2图像，并基于所述第1图像和所述第2图像，计算为了执行白平衡校正所使用的数据；以及调整部，在拍摄所述静止图像后，基于为了执行所述白平衡校正而使用的数据，来执行所述静止图像的白平衡调整。
通过以下参照附图所作的说明，将会使本发明的其他特征及优点更加清晰。在附图中，对相同或相似的结构赋予相同的参考标记。
【附图说明】
附图包含于说明书内，并构成其一部分，其表示了本发明的实施方式，并与说明的内容一起用于说明本发明的原理。
图1是表示本发明一实施方式的图像处理装置结构的框图。
图2是本发明一实施方式中的图像处理装置的主程序的流程图。
图3是本发明一实施方式中的图像处理装置的主程序的流程图。
图4是本发明一实施方式中的测距·测光·测色处理的流程图。
图5是本发明一实施方式中的拍摄处理的流程图。
图6是本发明一实施方式的记录处理的流程图。
图7是本发明一实施方式的AWB控制处理的流程图。
图8A～图8C图示了本发明一实施方式的白提取处理之概要。
图9A～图9C图示了本发明一实施方式的白提取处理之概要。
图10图示了原色滤色镜的配置例以及本发明一实施方式中的白提取处理的处理单位的一个例子。
【具体实施方式】
以下，将参照附图来详细说明本发明的最佳实施方式。
图1图示了本发明实施方式中的图像处理装置的结构。
在图1中，100是本实施方式的图像处理装置。图像处理装置100也可以是数字相机、数字摄像机、带照相机的便携式终端(包含带照相机的便携式电话)中的任何一种。在实施方式中，说明了图像处理装置100是数字相机的情况。
在图像处理装置100内，10是拍摄镜头，12是具有光圈功能的快门，14是将光学图像转换为电信号的摄像元件，16是将摄像元件14的模拟信号输出转换为数字信号的A/D变换器。
18是将时钟信号和控制信号等分别提供给摄像元件14、A/D变换器16、D/A变换器26的定时发生电路，它受存储控制器22和系统控制部50的控制。
20是图像处理部，对来自A/D变换器16的图像数据或来自存储器控制部22的图像数据执行规定的象素内插处理和色变换处理等。图像处理部20使用从A/D变换器16输出的图像数据来执行规定的运算处理，基于所得到的运算结果，系统控制部50对曝光控制部40以及测距控制部42执行TTL(Through The Lens)方式的自动对焦(AF)处理、自动曝光(AE)处理、预闪光(EF)处理。另外，图像处理部20使用从A/D变换器16输出的图像数据来执行规定的运算处理，基于所得到的运算结果还执行TTL方式的自动白平衡(AWB)处理。
22是存储控制部，用于控制A/D变换器16、定时发生电路18、图像处理部20、图像显示存储器24、D/A变换器26、存储器30、以及压缩扩展部32。从A/D变换器16输出的图像数据，经由图像处理部20、存储控制部22，或者仅仅经由存储控制部22而被写入到图像显示存储器24或存储器30内。
24是图像显示存储器，26是D/A变换器，28是具有LCD(液晶显示器)等的图像显示部。写入到图像显示存储器24内的显示用的图像数据经由D/A变换器26而显示于图像显示部28内。
如果逐次显示使用图像显示部28拍摄的图像数据，则能够实现电子取景器功能。图像显示部28可能利用系统控制部50的指示来实现显示的ON或OFF。在使图像显示部28的显示为OFF的情况下，能够大幅降低图像处理装置100的功耗。图像显示部28能够按照来自系统控制部50的指示来显示与聚焦、相机抖动(日文：手振れ)、闪光灯充电、快门速度、光圈值、曝光修正等有关的信息。
30是用于存储所拍摄的静止图像、活动图像的存储器，它具有存储规定张数的静止图像、规定时间的活动图像的充分的存储容量。由此，在连续拍摄多张静止图像的连拍或全景拍摄的情况下，能够高速且大量地将图像写入存储器30内。存储器30也可以用作系统控制器50的作业区域。
32是这样一种压缩扩展部，它具有：按照规定的图像压缩方法(自适应离散余弦变换(ADCT)等)对从存储器30读出的图像数据进行图像压缩，并将经过图像压缩后的图像数据写入存储器30的功能，以及对从存储器30读出的图像数据进行扩展，将扩展后的图像数据写入存储器30的功能。
40是用于控制具有光圈功能的快门12的曝光控制部，通过与闪光灯48联动而具有闪光灯调节功能。42是控制拍摄镜头10之聚焦的测距控制部，44是控制拍摄镜头10的缩放之缩放控制部，46是控制用于保护透镜的档板(バリア)102的操作的档板控制部。48是闪光灯，它还具有AF辅助光的投光功能、闪光灯调光功能。曝光控制部40和测距控制部42是使用TTL方式进行控制的，按照上述方式，系统控制器50基于利用图像处理部20对来自A/D变换器16的图像数据进行运算后的运算结果，对曝光控制部40和测距控制部42进行控制。
50是控制图像处理装置100整体的系统控制部，52是存储系统控制部50的操作用常量、变量、程序等之存储器。
54是响应系统控制器50中的程序的执行，使用文字、图像、语音等向用户通知操作状态或消息等的显示装置或扬声器等通知部，在图像处理装置100的操作部附近容易识别的位置上设置单个或多个位置。例如可以利用LCD、LED、发音元件等的组合来构成。通知部54将其一部分功能设置在光学取景器104内。
在LCD等内显示的、显示部54的显示内容中，有单拍/连拍拍摄显示、自拍显示、压缩率显示、记录象素数显示、记录张数显示、剩余的可拍摄张数显示、快门速度显示、光圈值显示、曝光校正显示、闪光灯显示、防红眼显示、总体拍摄显示、峰鸣器设置显示、钟表用电池余量显示、电池余量显示、错误显示、由多位数字组成的信息显示、记录媒体200和210的装卸状态显示、通信I/F操作显示、日期·时刻显示等。
作为显示部54的显示内容中的、在光学取景器104内显示的内容，还有聚焦显示、相机抖动警告显示、闪光灯充电显示、快门速度显示、光圈值显示、曝光校正显示等。
56是可电擦除·记录的非易失性存储器，例如使用EEPROM等。
60、62、64以及70是用于输入系统控制部50的各种操作指示的操作单元，通过由开关、转盘、触摸面板、视线检测而产生的指示(pointing)、语音识别装置等中的单个或多个组合而构成。
这里，进行对这些操作单元的具体说明。
60是模式转盘开关，能够切换设置电源关闭、自动拍摄模式、拍摄模式、全景拍摄模式、再现模式、多画面再现·删除模式，以及PC连接模式等各种功能模式。
62是快门开关SW1，在未图示的快门按钮的操作中途变为ON，指示开始AF(自动聚焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理、EF(预闪光)处理等操作。
64是闪光灯开光SW2，由于未图示的快门按钮的操作完毕而变为ON，指示开始将从摄像元件14读出的信号经由A/D变换器16、存储控制部22写入存储器30的曝光处理、使用图像处理部20和存储控制部22中的运算的显像处理、从存储器30中读出图像数据并在压缩扩展部32内执行图像压缩、并将图像数据写入记录媒体200或210内的记录处理等一连串的处理操作。
70是由各种按钮和触摸面板等构成的操作部。有菜单按钮、设置按钮、总体/非总体切换按钮、多画面再现换页按钮、闪光灯设置按钮、单拍/连拍/自拍切换按钮、菜单移动+(PLUS)按钮、菜单移动-(MINUS)按钮、再现图像移动+(PLUS)按钮、再现图像-(MINUS)按钮、拍摄画质选择按钮、曝光校正按钮、日期/时间设置按钮等。
66是后述的检测白象素时使用的用于将光投射到被摄体上的投光装置。
80是电源控制部，它由电池检测电路、DC-CD转换器、用于切换通电方框的开关电路等构成，用于执行有无安装电池、电池种类、电池剩余量的检测，并基于检测结果以及系统控制部50的指示，来控制DC-DC转换器，并将必要的电压在必要的期间提供给包含记录媒体的各部。
82、84是连接器，86是由碱性电池和锂电池等初级电池、NiCd电池和NiMH电池、Li电池等次级电池、AC适配器(adapter)等构成的电源。
90和94是与存储卡和硬盘等记录媒体的接口，92和96是与存储卡和硬盘等记录媒体相连接的连接器，98是检测是否在连接器92和/或96上安装有记录媒体200或210的记录媒体检测部。
另外，在本实施方式中，以安装记录媒体的接口和连接器采用2个系统的情况进行说明。但是，毋庸置疑，安装记录媒体的接口和连接器也可以由具有单个或多个系统的结构来构成。也可以组合具有不同规格的接口和连接器来构成。
作为接口和连接器，也可以使用符合PCMCIA卡和CF(compactflash)(注册商标)卡等规格的来构成。使用符合PCMCIA和CF卡等规格的部件来构成接口90和94还有连接器92和96的情况下，通过连接LAN卡和调制解调卡、USB卡、IEEE1394卡、P1284卡、SCSI卡、PHS等通信卡等各种通信卡，能够与其他计算机和打印机等外围设备之间传送图像数据和附属于图像数据的管理信息等。
102是作为通过蒙上包含图像处理装置100的镜头10的摄像部来防止摄像部污损的保护装置之档板(バリア)。
104是光学取景器，没有图像显示部28的电子取景器功能，可以仅仅使用光学取景器来执行拍摄。在光学取景器104内设置了通知部54的一部分功能，例如，聚焦显示、手部抖动警告显示、闪光灯充电显示、快门速度显示、光圈值显示、曝光校正显示等。
110是通信部，其具有RS232C、USB、IEEE1394、P1284、SCSI、调制解调器、LAN、无线通信等各种通信功能。
112是通过通信部110将图像装置100与其他设备相连的连接器，或者在无线通信的情况下为天线。
200和210是存储卡和硬盘等记录媒体。记录媒体200和210具有分别由半导体存储器和磁盘等构成的记录部202和212、与图像处理装置100的接口204和214、与图像处理装置100执行连接的连接器206和216。
接下来，参照图2～图6，来说明具有本实施方式的上述结构之图像处理装置100的操作。
图2和图3是用于说明本实施方式的图像处理装置100的主程序之流程图。
在图2中，由于电池交换等电源投入，系统控制部50对标志和控制变量等执行初始化(步骤S101)、将图像显示部28的图像显示初始设置为OFF状态(步骤S102)。
接下来，在步骤S103中，系统控制部50判断模式转盘60的设置位置，如果模式转盘60被设置为电源OFF，则各显示部的显示变更为结束状态，档板(バリア)102关闭以保护摄像部，将包含标志和控制变量等的必要参数和设置值、设置模式记录在非易失性存储器56内，在利用电源控制部80来执行切断包含图像显示部28的图像处理装置100各部不需要的电源等规定结束处理之后(步骤S105)，返回步骤S103。
在步骤S103中，如果将模式转盘60设定为其他模式，则系统控制部50根据所选模式来执行相应处理(步骤S104)。如果结束处理则返回步骤S103。
在步骤S103中，如果将模式转盘60设置为拍摄模式，则转到步骤S106。
在步骤S106中，系统控制部50利用电源控制部80来判断由电池等构成的电源86的剩余量和操作情况是否在图像处理装置100的操作上存在问题，如果有问题(在步骤S106中为NO)，则在使用通知部54利用图像、语音来执行规定的警告显示后(步骤S108)返回步骤S103。
另一方面，若电源86不存在问题(步骤S106内为YES)，则系统控制部50判断记录媒体200或210的操作状态是否在图像处理装置100的操作特别是针对记录媒体200或210的图像数据的记录再现操作上存在问题，若有问题(步骤S107中为NO)，则在使用通知部504通过图像或语音来执行规定的警告显示后(步骤S108)，返回步骤S103。
若在记录媒体200或210的操作状态内没有问题(步骤S107中为YES)，则使用通知部54利用图像和语音向用户通知图像处理装置100的各种设置状态(步骤S109)。在图像显示部28的图像显示为ON的情况下，也可使用图像显示部28利用图像和语音向用户通知图像处理装置100的各种设置状态。
接下来，在步骤S116中，系统控制电路50将所拍摄的图像数据设置为逐次显示的全图像(through)显示状态。
在全图像状态中，通过将经由摄像元件14、A/D变换器16、图像处理电路20、存储控制电路22而逐次写入图像显示存储器24内的数据，经由存储控制部22、D/A变换器26而逐次显示于图像显示部28上，从而实现电子取景器功能。
但是，如上所述，在利用系统控制部50的指示将图像显示部28设置为OFF的情况下，不执行全图像。
在步骤S119中，检验快门开关SW1的状态，若快门开关SW1为OFF，则返回步骤S103。若快门开关SW1为ON，则转到步骤S120。在步骤S120中，系统控制部50在执行测距处理、并将透镜10的焦点聚焦到被摄体上的同时，执行测光处理以决定光圈值和快门时间。测光结果，若必要则设置闪光灯标志，还执行闪光灯的设置。在该步骤S120中执行的测距·测光·测色处理的细节将在后面使用图4来说明。
在结束测距·测光·测色处理(步骤S120)后，转到步骤S121。
在下一个步骤S121中，若不按压快门开关SW2，并释放了快门开关SW1(在步骤S122中为OFF)，则返回步骤S103。在不按压快门开关SW2(步骤S121中为OFF)，快门开关SW1保持为ON不变的情况下(步骤S122中为ON)，返回步骤S121。若按压快门开关SW2(在步骤S121中为ON)，则转到步骤S123。
在步骤S123中，系统控制部50经由摄像元件14、A/D变换器16、图像处理部20、存储控制部22，或从A/D变换器16直接经由存储控制部22，实行由将拍摄的图像数据写入存储器30内的曝光处理、以及，使用存储控制部22且根据需要使用图像处理部20将写入到存储器30内的图像数据读出以执行各种处理的显像处理构成的拍摄处理。在步骤S123中执行的拍摄处理的细节将参照图5在下文进行说明。
步骤S123的拍摄处理结束后，转到步骤S124，系统控制部50读出写入到存储器30内的拍摄图像数据，在使用存储控制部22且根据需要使用图像处理部20来执行各种图像处理、并使用压缩扩展部32执行了与所设置模式相应的图像压缩处理后，执行将图像数据写入到记录媒体200或210内的记录处理(S124)。该步骤S124中的记录处理的细节将会使用图6在下文进行说明。
若步骤S124的记录处理结束，则在步骤S125中研究快门开关SW2的状态，若为OFF则返回到步骤S103，若为ON则转到步骤S126，以确定是否设置为连拍模式。若不设置连拍模式，则返回步骤S125，等待释放快门开关SW2后返回步骤S103，若设置为连拍则返回步骤S123执行接下来的拍摄。
图4表示了图3的步骤S120中的测距·测光·测色处理的详细流程图。
在步骤S201中，系统控制部50读出来自摄像元件14的电荷信号，经由A/D变换器16，将图像数据逐次读入到图像处理部20。图像处理部20使用该逐次读入的图像数据，执行在TTL方式的AE处理、EF处理、AF处理中使用的规定运算。
如上所述，这里的各处理对所拍摄的全部象素数中根据需要特定的部分进行必要位置的切取提取，以用于运算。由此，在TTL方式的AE、EF、AWB、AF各处理中，可以对每种不同的用于检测中央以及左右方向的被摄体各自的聚焦位置的评价模式执行最适当的运算。
系统控制部50使用图像处理部20中的运算结果，在判断曝光(AE)合适之前(步骤S202中变为YES之前)，只用曝光控制部40来执行AE控制(步骤S203)。在步骤S204中，系统控制部50使用通过步骤S203的AE控制所得到的测量数据来判断是否有必要使用闪光灯，若有必要则设置闪光灯标志，对闪光灯48进行充电后(步骤S205)，返回步骤S201。若不必使用闪光灯，则原样返回步骤S201。
若判断出曝光(AE)合适(步骤S202中为YES)，则将测量数据或设置参数存储在系统控制电路50的内部存储器或存储器52内。
接下来，系统控制部50在使用图像处理部20中的运算结果以及利用AE控制得到的测量数据判断出白平衡为适当之前(步骤S206中为NO期间)，使用图像处理部20来调节色处理的参数，执行AWB控制(步骤S207)。下文将参照图7对该AWB控制进行详细说明。
若判断出白平衡为适当的情况下(在步骤S206中为YES)、则将白平衡校正数据(白平衡增益)存储在系统控制部50的内部存储器或存储器52内，之后转到步骤S208。
在步骤S208中，例如，为了根据白平衡校正数据之RGB的各增益求出亮度色差，并使用求出的亮度色差，在系统控制部50使用通过AE控制以及AWB控制而得到的测量数据判断出测距(AF)为聚焦之前(步骤S208中NO期间)，使用测距控制部42来执行AF控制(步骤S209)。
若判断为测距(AF)为聚焦(步骤S208中为YES)，则将测量数据以及/或设置参数存储在系统控制电路50的内部存储器或存储器52内，之后，结束测距·测光·测色处理程序S120。
图5表示图3的步骤S123中的拍摄处理的详细流程图。
如图4所说明的那样，系统控制部50根据存储于系统控制部50的内部存储器或存储于存储器52内的测光数据，来控制曝光控制部40，并按照光圈值来开放具有光圈功能的快门12(步骤S301)，之后，开始摄像元件14的曝光(步骤S302)。
接下来，利用闪光灯标志来判断是否需要闪光灯48(步骤S303)，在需要的情况下，转到步骤S304，使闪光灯48发光。若不需要，则不使闪光灯48发光，并转到步骤S305。
系统控制部50根据测光数据等待摄像元件14的曝光结束(步骤S305)。在曝光时间结束后，转到步骤S306，以关闭快门12。读出来自摄像元件14的电荷信号，经由A/D变换器16、图像处理部20、存储控制部22，或者是从A/D变换器16直接经由存储控制部22，将图像数据写入存储器30(步骤S307)。
在步骤S310中，在根据设置的拍摄模式而顺序执行了色处理后，将结束处理的图像数据写入存储器30。
若结束了一连串的处理，则结束拍摄处理程序(步骤S120)。
图6表示图3的步骤S124的记录处理的详细流程图。
系统控制部50使用存储控制部22且根据需要使用图像处理部20，读出写入到存储器30内的图像数据，利用压缩扩展部32执行了与设置模式相应的图像压缩处理后(步骤S402)，经由接口90或94、连接器92或96，向存储卡或compact flash(注册商标)卡等记录媒体200或210写入经过图像压缩的图像数据(步骤S403)。若对于记录媒体的写入结束后，则结束记录处理程序(步骤S124)。
图7表示图4的步骤S207中的AWB控制处理的详细流程图。
在步骤S501中，系统控制部50读出来自于摄像元件14的电荷信号，经由A/D变换器16，将拍摄图像数据读入图像处理部20。使用该读入的图像数据，使用图像处理电路20中的运算结果和步骤S203中获得的光圈和快门速度信息，来计算被摄体亮度。若被摄体亮度小于或等于规定值(步骤S502中为YES)，则利用投光装置66将光投射给被摄体(步骤S503)，读出来自于摄像元件14的电荷信号，经由A/D变换器16，将拍摄图像数据读入图像处理部20(步骤S504)。
接下来，在步骤S505中，求出在步骤S501中获取的投光前图像与在步骤S504中获取的投光后的图像间之差。这里，就各象素而言，执行投光后图像的象素值-投光前图像的象素值的减法运算。
在摄像元件14为原色滤色镜所覆盖的情况下，若设利用该减法运算所求出的各色差为ΔR、ΔG、ΔB，则通过该差是否落入各个规定范围内而能够提取出特定颜色，但是，这里由于是白平衡控制，因此，仅仅对检测出白色象素(以下称为“白象素”)的情况进行说明。
为了特定白色，在预先出厂前，使投光装置向基准白色的物体发光，获取其图像，将R、G、B各色的基准电平Rw、Gw、Bw存储在非易失性存储器56内。在步骤S506内，从非易失性存储器56中读出基准电平Rw、Gw、Bw，在步骤S507中，若步骤S505中求出的差ΔR、ΔG、ΔB基于由下式(1)规定的基准电平Rw、Gw、Bw而收敛于规定范围内，则该象素色被判断为白色，并将其作为白象素而提取出。
0.9xRw＜ΔR＜1.1xRw
0.9xGw＜ΔG＜1.1xGw
0.9xBw＜ΔB＜1.1xBw ……(1)
在图8A～图9C中表示了从上述步骤S505到步骤S507的处理的概念。
图8A～图9C表示非易失性存储器56内存储的基准电平Rw、Gw、Bw均等(1∶1∶1)的情况。
图8A～图8C表示白色被摄体的情况，图8A是投光前图像的象素信号，图8B是投光后图像的象素信号，图8C是投光后图像和投光前图像的象素信号差，即表示图8B的象素信号之内投光装置66的反射光分量。如此，由于图8C所示的象素信号的差与非易失存储器56内存储的在白色被摄体上发光时的反射光电平Rw、Gw、Bw基本一致(分别处于满足上式(1)的范围内)，因此，能够将作为对象的象素判断为白。
另一方面，图9A～图9C表示彩色被摄体的情况。与图8A～图8C相同，图9A是投光前图像的象素信号，图9B是投光后图像的象素信号，图9C是投光后图像和投光前图像的象素信号差，即表示图9B的象素信号之内投光装置66的反射光分量。这种情况下，由于图9C所示的发光前和发光后象素信号的差与存储于非易失存储器56内的在白色被摄体上发光时的反射光电平Rw、Gw、Bw不一致(ΔR位于式(1)的范围内，ΔR和ΔB处于范围外)，因此，将作为对象的象素判断为不是白。
系统控制电路50对图像中的全部象素执行上述白判断处理，提取出白象素，之后转到步骤S509。
摄像元件14例如被如图10所示的拜耳模式排列的原色滤色镜覆盖的情况下，也可以不按逐个象素而是按用粗框包围的R、G、G、B的每4个象素执行一次判断。并不仅仅限于每4个象素，象素的组合也可以通过滤色镜的排列来适当地改变。不用说，也可以执行色内插，在各象素全部具有R、G、B数据后，执行上述的白象素提取。
另一方面，在步骤S502中，当判断出被摄体亮度大于或等于规定值时(步骤S502中为NO)，则由于外光的影响变大而有可能得不到充足的投光装置66的反射光，因此，在步骤S508中，不执行投光，利用以往的方法来提取白象素，之后，转到步骤S509。
在步骤S509中，针对每种颜色求取将在步骤S507或S508中提取出的白象素全部加在一起后得到的积分值Rsum、Gsum、Bsum。接着，在步骤S510中，根据白象素的积分值利用下式(2)求出白平衡增益Rgain、Ggain、Bgain。
Rgain＝Rsum/((Rsum+Gsum+Bsum)/3)
Ggain＝Gsum/((Rsum+Gsum+Bsum)/3)
Bgain＝Bsum/((Rsum+Gsum+Bsum)/3) ……(2)
在步骤S510中求出白平衡增益后，返回图4的步骤S207。使用在步骤S510中求出的白平衡增益利用下式(3)将RGB信号变换为YCrCb信号。
YCrCb=abcdefghijklR×RgainG×GgainB×Bgain---......(3)]]>
在上式(3)中，a～l是由CCD的光谱灵敏度决定的常数。若在步骤S507和S508中提取出的白象素的CrCb信号都为0，则由于可以说白象素能够正确地被再现为白，因此，判断为白平衡处理是适当的。
在步骤是206内判断为白平衡适当的情况下，将其存储于系统控制部50的内部存储器或存储器52内，以便在拍摄时在图5的步骤S310中的色处理中使用。
如此，通过以该三色白平衡增益为基础来执行图像处理(白平衡校正)，能够得到适当的白平衡的图像。
白平衡校正值的求取方法并不仅限于上述方法，也可以使用其他方法。例如，我们考虑在预先将对应于光源色温的白平衡校正值存储于非易失性存储器56内，使用步骤S507或步骤S508中提取出的白象素的、不使用投光装置66进行投光而得到的象素信号(例如图8A所示的信号)来以公知方法检测光源色温，并根据检测出的色温来选择白平衡校正值的方法。
在上述实施方式的说明中，若亮度小于规定值就通过以上方法来改变白象素提取处理方法，但是，在充分得到投光装置66的发光量时，通常也可以执行使投光装置66发光来执行白象素的提取。
在上述实施方式中，在步骤S207中计算出白平衡增益，但是，在步骤S207中，也可以求出所拍摄的被摄体中的白区域，在拍摄静止图像后使用其结果，根据静止图像计算出白平衡增益。
在上述实施方式中，为了提取白平衡用的规定颜色的象素而提取白象素，但是不用说，提取并不仅限于白象素，也可通过将Rw、Gw、Bw设置为所期望的值来提取所希望的彩色象素，来调整彩色的色平衡。
<其他实施方式>
本发明既可应用于由一个设备构成的装置(例如数字静态相机、数字摄像机等)，又可应用于由多个设备(例如主机、接口设备、摄像头等)构成的系统。
不用说，本发明是将实现前述的实施方式之功能的软件程序直接或间接地提供给系统或装置，并由系统或装置的计算机读出所提供的程序代码，通过执行该程序代码来实现上述功能。这种情况下，如果系统或装置具有程序功能，则实施方式并不仅限于程序。
如此，由于由计算机来实现本发明的功能，因此，安装于计算机内的程序代码构成了本发明。换言之，本发明的权利要求书也包含用于实现本发明功能的计算机程序。
这种情况下限于系统或装置具有程序的功能，程序也可以利用称之为目标代码、由解释程序执行的程序、或者是提供给操作系统的脚本·数据的任何一种方式来执行。
作为为了提供程序而能够利用的记录媒体，包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM以及DVD-R)等。
作为提供程序的方法，客户机使用浏览器连接到互联网上的网站上，本发明的计算机程序或程序的自动安装压缩文件能够安装于硬盘等记录媒体内。也能够通过本发明的程序将构成程序的程序代码分割为多个文件，通过从不同的网站下载文件来提供。即，对多个用户下载能够利用计算机来执行本发明功能的程序文件之WWW(WorldWide Web)服务器也包含于本发明的权利要求书内。
将本发明的程序加密后，存储于CD-ROM等记录媒体内，将该记录媒体分发给用户，以许可满足规定条件的用户经由互联网从网站上下载解读密钥信息，这样，用户也可以使用密钥信息来解读被加密的程序。由此，将程序安装到用户计算机上。
在计算机上运行的操作系统等通过执行计算机读出的程序代码，不仅实现了前述的实施方式的功能，还基于该程序代码的指示来执行实际处理的一部分或全部，不用说，还包含利用该处理来实现前述实施方式的功能的情况。
另外，功能扩展卡和功能扩展单元内具有的CPU等，在从记录媒体读出的程序代码被写入到插入到计算机内的功能扩展卡和连接到计算机上的功能扩展单元内所具有的存储器内后，基于该程序代码的指示来执行实际处理的一部分或全部，不用说，还包含利用该处理来实现前述实施方式的功能的情况。
本发明并不限于上述实施方式，也可以不脱离本发明的精神和范围而实现各种变更和变形。因此，本发明由附加的权利要求来定义，不受特定实施方式的显示。