可显示实时预览图像的摄像装置 本申请基于和要求在2008年5月23日提交的日本在先专利申请JP特願2008-135413的优先权，在这里援引该申请的整体内容而供参考。
【技术领域】
本发明涉及具有显示电子取景器等的被摄体的机构的摄像装置、该摄像装置的显示控制程序和显示控制方法。
背景技术
作为过去的摄像装置，下述的结构是公知的。
对正方形的图像进行摄影，将其转换为数字图像数据，根据纵/横切换机构的状态，将截取了正方形的图像数据的纵或横的一部分区域记录于图像存储器中。该结构的一个实例，在JP专利第2882391号中公开。
指定被摄体图像上的第1点和第2点，指定修整(trimming)位置，基于第1点与第2点的纵向或横向中的一个尺寸和横纵比，设定修整(trimming)范围。该结构的一个例子，在JP专利第3372989号文献中公开。
但是，在JP专利第2882391号文献记载的技术中，由于将截取了正方形的图像数据的纵或横的一部分区域记录于图像存储器中，故无法事先确认在已截取的部分是否包括用户所希望的图像部分。由此，会出现已截取的部分不包括所希望的图像部分的情况，而无法存储包括用户所希望的图像部分的图像。
另一方面，在JP专利第3372989号文献记载的技术中，可在修整范围内，包括用户所希望的图像部分，或记录用户所希望形状的图像范围。但是，在摄影时，指定被摄体图像上的第1点和第2点来进行指定修整位置的操作是较复杂的，不能够容易指定用户所希望的图像部分的图像范围。
【发明内容】
本发明的一个方面在于提供一种摄像装置，其包括：
对被摄体的图像进行拍摄的摄像单元；
存储单元；
显示单元；以及
处理器，其通过对由上述摄像单元所拍摄的上述图像进行图像处理，而生成具有第1图像尺寸的第1图像和具有第2图像尺寸的第2图像，并一边控制上述存储单元，以便记录上述第1图像，一边控制上述显示单元，以便显示上述第2图像作为由上述图像单元所拍摄的上述图像的实时预览图像。
本发明的另一方面在于提供一种控制摄像装置的方法，该摄像装置包括：
对被摄体的图像进行拍摄的摄像单元；
存储单元；以及
显示单元，
上述方法包括：
通过对由上述摄像单元所拍摄的上述图像进行图像处理，而生成具有第1图像尺寸的第1图像和具有第2图像尺寸的第2图像；以及
一边控制上述存储单元，以便记录上述第1图像，一边控制上述显示单元，以便显示上述第2图像作为由上述图像单元所拍摄的上述图像的实时预览图像。
本发明的再一方面在于提供一种计算机可读取的介质，其包括程序用的一系列地命令组，该程序可通过搭载于摄像装置中的计算机系统来运行，上述摄像装置包括：
对被摄体的图像进行拍摄的摄像单元；
存储单元；以及
显示单元；
上述程序包括：
通过对由上述摄像单元所拍摄的上述图像进行图像处理，而生成具有第1图像尺寸的第1图像和具有第2图像尺寸的第2图像；以及
一边控制上述存储单元，以便记录上述第1图像，一边控制上述显示单元，以便显示上述第2图像作为由上述图像单元所拍摄的上述图像的实时预览图像。
【附图说明】
参照附图，对实现本发明的各特征的基本结构进行具体描述。附图和相应的描述用于说明本发明的实施例，并不构成对本发明的范围的限定。
图1为本发明的一个实施方式的数字照相机的俯视图，图1(b)为背视图；
图2为上述实施方式的摄像装置的电路结构的方框图；
图3为表示上述实施方式的整体处理步骤的流程图；
图4为接着图3的流程图；
图5为表示上述实施方式的显示例的图；
图6为表示光学&数字联动的变焦处理(1)的流程图；
图7为表示通过光学&数字联动的变焦处理(1)获得的具体数值的图；
图8为表示光学&数字联动的变焦处理(2)的流程图；
图9为表示通过光学&数字联动的变焦处理(2)获得的具体数值的图；
图10为表示画质变差程度小的数字变焦处理的子流程的流程图；
图11为表示摄像元件的电路结构例的图；
图12为表示变焦镜头系统的结构例和光学变焦倍率、视野扩展率的关系的图；
图13为表示另一显示画面例的图；
图14为表示其它另一显示画面例的图；
【具体实施方式】
参照附图，对根据本发明的各实施例进行详细描述。技术方案请求保护的发明的范围不应当限制于附图示出的示例和下面的描述。
图1(a)为本发明的一个实施方式的数字照相机100的俯视图，图1(b)为背视图。在该数字照相机100的主体101中，在其前面，设置了摄像镜头102。另外，在顶面上，设置了电源开关103、快门钮(释放钮)104、变焦杆105、摄影模式拨盘106、普通拨盘107。在背面上，设置了光学取景器108、OK键109、光标键110、显示键111、菜单键112、以及显示部79。另外，通过模式拨盘106的操作，设定在后述的流程图中所示的各种模式，在设定各种模式的状态下，对光标键110和OK键109进行操作，由此，可选择该模式中的选择分项。另外，显示部79由LCD面板形成，还兼用再现显示已记录的静止图像和运动图像的监视器的功能。
图2为数字照相机100的电路结构的方框图。该数字照相机100具有高速连续摄影功能，如图2所示的那样，具有控制电路2。在控制电路2中，设置有CPU3；和经由数据总线4，分别与CPU3连接的接口5、声音输入输出电路6、输入电路7、存储卡接口8、USB控制器9、输入输出接口10、输入输出端口12及13、HDD接口14。在声音输入输出电路6上，经由放大器17和D/A转换器18连接了麦克风16，并且，经由放大器20和D/A转换器21连接了扬声器19。在输入电路7上，连接了设置有各种操作键、开关等的操作输入部22，在存储卡接口8上，连接了以可自由装卸的方式设置的图像存储介质25。USB控制器9与USB端子26连接，输入输出接口10经由通信控制器29，与具有天线27的无线LAN发送接收部28连接。
在上述输入输出端口12上，连接了焦点镜头驱动部32、变焦镜头驱动部33、光圈驱动部34和快门驱动部35，并且经由闪光灯驱动电路37连接了闪光灯36，经由检测电路39连接了测光/测距传感器38。在上述输入输出端口13上，分别经由检测电路41、43连接了检测该数字照相机100的上下方向的晃动(pitch)的角速度传感器(Y/Pitch)40，和检测左右方向(Yaw)的角速度传感器(X/Yaw)42。在HDD接口14上，连接了HDD存储装置46。HDD存储装置46具有磁盘介质47，并且具有电动机48、电动机驱动器49、微机部50、VC电动机51、前置放大器52、读/写通道+CODEC53、HDD控制部54等。
另外，在控制电路2上，经由电源控制部45连接了电池44，电源控制部45通过控制电路2来控制，将来自电池44的电力供给各部分。另外，在上述数据总线4上连接了声音CODEC(编码器/解码器)15、程序存储器23和数据存储器24。声音CODEC15对声音信号进行编码处理，并且对声音数据进行解码处理。程序存储器23存储了后述的流程图所示的控制电路2动作用的程序，数据存储器24预先存储了各种数据，并且存储了图像数据以外的其它的数据。
另一方面，在包括变焦镜头和广角镜头的摄像光学系统55的后方光轴上，设置了摄像元件56，并且在摄像光学系统55中，插有通过上述光圈驱动部34驱动的光圈57和通过上述快门驱动部35驱动的快门58。另外，上述焦点镜头驱动部32驱动摄像光学系统55中的焦点镜头，且变焦镜头驱动部33以驱动变焦镜头的方式构成。
上述摄像元件56可进行并行读取等的高速读取，具有图像传感部59、水平扫描部60、垂直扫描部61、P/S转换部62。在该摄像元件56上，连接了DSP部63。在DSP部63中，具有用于对从摄像元件56的P/S转换部62获取的图像信号进行处理的S/P转换部64、缓存器65、WB修正部66、调整尺寸(resize)/像素插值部67、彩色插值部68、轮廓修正部69、γ修正部70、矩阵电路部71，并且具有用于控制上述垂直扫描部61的周期的控制器73、上述缓存器65、和图像识别处理·数字信号处理部72。
上述矩阵电路部71和图像识别处理·数字信号处理部72经由图像数据总线74，与缓存器75、图像CODEC(编码器/解码器)76、运动图像CODEC(编码器/解码器)77和显示驱动电路78连接，图像数据总线74与上述控制电路2的接口5连接。图像识别处理·数字信号处理部72将已摄影的多个图像进行数字处理后合成，缓存器75暂时保存静止图像CODEC76和运动图像CODEC77进行编码处理和解码处理时的图像数据，显示驱动电路78(取景器)驱动显示部79。
图3和图4表示本实施方式的处理步骤的一系列的流程图。控制电路2根据保存于程序存储器23中的程序，执行该流程图所示的处理。首先，判断是否设定了静止图像摄影模式(步骤S101)，在未设定时，进入后述的图4的步骤S119。
在设定了静止图像摄影模式时，根据用户的操作输入部22的操作，设定记录于图像存储介质25中的图像的尺寸即记录图像尺寸(横：XR，纵：YR)、纵横比等(步骤S102)。接着，在设定了摄影模式、摄影条件等之后(步骤S103)，设定广角取景器的选择，或取景器视野扩展率WR(％)(步骤S104)。
图5为表示该步骤S104的设定动作的说明图。如图5(a)所示的那样，通常时的实时预览图像(例如，实时预览图像、镜头透射图像、通过图像等)范围为视野扩展率100％，根据光标键110的操作，该图5(d)的视野扩展率可自由改变到横200％、纵200％。接着，通过光标键110的操作，对100％～200％×200％进行选择，并通过对OK键109进行操作，从而设定取景器的视野扩展率WR(％)。
另外，对图5(d)的图像为未进行数字变焦处理的图像，即变焦倍率“1”的图像，为按照(d)、(c)、(b)、(a)的顺序，数字变焦倍率增大的图像。显然，图5(d)的最大的视野扩展率200％×200％的图像是在摄像元件56的摄像范围内可进行摄像的范围。
如果像这样设定取景器视野扩展率WR(％)，则根据显示写入图像尺寸(Xd，Yd)和已设定的视野扩展率WR(％)，通过下式，来设定输出到显示部79的图像的尺寸即输出图像尺寸(XOUT，YOUT)(步骤S 105)。
XOUT＝(WR/100)·Xd
YOUT＝(WR/100)·Yd
在此，显示写入图像尺寸(Xd，Yd)为在未选择广角取景器的通常的摄影时被写入缓存器75中，且经由显示驱动电路78转送给显示部79的图像的纵横尺寸(像素数)，输出图像尺寸(XOUT，YOUT)为在执行了该步骤S105的处理之后被写入缓冲存储器75中，且经由显示驱动电路78转送给显示部79的图像的纵横尺寸。
于是，采用由用户所设定的视野扩展率WR(％)，使显示写入图像尺寸(Xd，Yd)成为(WR/100)倍，并通过将其作为输出图像尺寸(XOUT，YOUT)，使输出图像尺寸(XOUT，YOUT)成为显示写入图像尺寸(Xd，Yd)的(WR/100)倍。此时，由于WR≥100，故输出图像尺寸(XOUT，YOUT)成为显示写入图像尺寸(Xd，Yd)以上的值。即，如果WR＝200％，则
XOUT＝(200/100)·Xd＝2Xd
YOUT＝(200/100)·Yd＝2Yd
接着，根据摄像全图像尺寸(XF，YF)和上述输出图像尺寸(XOUT，YOUT)，通过下述例举式，来设定数字变焦倍率(DZ)的界限(DZMAX)(步骤S106)。
(例)
DZMAX＝XF/XOUT
或DZMAX＝YF/YOUT
在此，摄像全图像尺寸(XF，YF)为可通过摄像元件56进行摄像的最大的图像尺寸。因此，输出图像尺寸(XOUT，YOUT)越大，数字变焦倍率(DZ)的界限(DZMAX)越小。
接着，控制电路2在判断是否有变焦操作(步骤S107)，“有”时，执行变焦处理(或，进一步执行画质变差程度小的数字变焦处理)(步骤S108)。另外，在后述的流程图中，对在该步骤S108的画质变差程度小的数字变焦处理的具体内容进行说明。
然后，根据实时预览图像尺寸(X’，Y’)，来设定调整尺寸率(IPx＝Xd/X’，IPy＝Yd/Y’)，进行调整尺寸/插值处理，转换成由显示写入图像尺寸(Xd，Yd)构成的显示写入图像数据(步骤S109)。
在此，实时预览图像尺寸(X’，Y’)为显示于显示部79中的实时预览图像的纵横尺寸。因此，显示写入图像尺寸(Xd，Yd)成为可在显示部79中全画面显示的尺寸。
此外，按照显示写入图像尺寸(Xd，Yd)、取景器视野扩展率WR(％)、数字变焦倍率(DZ)，执行实时预览图像显示处理(写入显示RAM中)。此时，在与上述步骤S102中所设定的记录图像尺寸(XR，YR)相应的显示区域内显示框，另外，显示视野扩展率，并且在上述摄影区域内为彩色显示，在摄影区域外转换为单色显示(步骤S110)。
于是，通过该S110的处理，如图5(a)～(d)所示的那样，在显示部79中，显示“100％”、“125％×15％”等的视野扩展率791，在与记录图像尺寸(XR，YR)相应的显示区域内显示框792，另外，摄影区域内793为彩色显示，摄影区域外794为单色显示。
由此，用户可通过辨认所显示的视野扩展率791、所显示的摄影区域内793和摄影区域外794，判断目前所设定的视野扩展率是否合适，即，是否应当设定更大的视野扩展率，或是否应当设定更小的视野扩展率。
此外，用户可通过辨认框792或进行了彩色的摄影区域793内的实时预览图像部分，一边辨认在摄影区域793中是否包括所希望的图像部分，一边进行静止图像摄影。
另外，如图5(b)～(d)所示的那样，在对摄影区域外794的实时预览图像部分进行显示时，优选在该摄影区域外794，显示“※在摄影时记录该框内”的字符串。由此，即使使用者为初学者，仍可识别是记录了摄影区域793内的实时预览图像的图像部分的情况，可一边确认是否在摄影区域793中包括所希望的图像部分，一边进行摄影。
接着，控制电路2判断是否对释放钮104进行了半按下操作(或，AF/AE锁定操作)(步骤S111)，在未进行操作时，返回到步骤S107。在对释放钮104进行了半按下操作时，执行测光处理、AF/AE锁定处理(步骤S112)、等待锁定按钮104的完全按下(步骤S113)。
如果进行了释放钮104的完全按下操作，则控制电路2执行曝光、摄影处理，根据数字变焦倍率(DZ)，将进行了区域选择的图像以不进行相加的方式来读取(步骤S114)。即，从摄像元件56，以不进行像素相加的方式，读取相当于包括图5所示的摄影区域793和摄影区域外794的图像的图像(进行了区域选择的图像)。于是，在步骤S114中读取的图像中，包括了相当于摄影区域793的图像部分和相当于摄影区域外794的图像部分。
接着，将在该步骤S114中所读取的图像作为摄影图像(X”，Y”)，从该摄影图像(X”，Y”)的中央，根据取景器视野扩展率WR(％)，通过下式，提取图像尺寸(X2，Y2)的摄影区域内的摄像图像数据(步骤S115)。
X2＝X”÷(WR/100)
Y2＝Y”÷(WR/100)
另外，针对该图像尺寸(X2，Y2)的提取图像，根据在上述步骤S102中所设定的记录图像尺寸(XR，YR)，设定下述调整尺寸率(IPx，IPy)，进行记录用的调整尺寸处理，且根据需要，进行插值处理(步骤S116)。
IPx＝XR/X2
IPy＝YR/Y2
接着，在显示部79中预览显示了该已调整尺寸的摄影图像、或进行了记录前的预览显示后(步骤S117)，进行编码处理和压缩编码处理，将其记录于存储介质(图像存储介质25，或磁盘介质47)中(步骤S118)。即，根据在上述步骤S103中所设定的摄影条件，来控制摄像元件56和DSP部63，进行曝光和摄影动作，获得静止记录用的高分辨率的被摄体摄像信号。接着，通过图像CODEC(编码器/解码器)76，编码处理成与JPEG规格等相应的压缩编码数据或RAW数据等的非压缩的编码数据等，并记录于图像存储介质25或磁盘介质47中。
此时，由于记录于存储介质中的图像，如上所述，是用户一边辨认框792或彩色显示的摄影区域内793的实时预览图像部分，一边对释放钮104进行操作而摄影到的图像，所以，确实包括所希望的图像部分，因此，可容易地对包括所希望的图像部分的图像范围进行摄像、记录。
另一方面，作为步骤S101中的判断的结果，在未设定静止图像摄影模式时，从该步骤S101进入图4的步骤S119。控制电路2判断是否设定了运动图像摄影模式，在未设定时，转移到其它的模式处理(步骤S120)。
在设定了运动图像摄影模式时，根据由用户对操作输入部22的操作，来设定记录于图像存储介质25中的运动图像的1帧的尺寸即记录图像尺寸(横：XR，纵：YR)、纵横比等(步骤S121)。接着，在设定了运动图像摄影的摄影条件之后(步骤S122)，对广角取景器的选择、或取景器视野扩展率WR(％)进行设定(步骤S123)。该步骤S123中的设定动作与根据图5而说明的上述步骤S104的情况相同。
如果设定了取景器视野扩展率WR(％)，则根据在上述步骤S121中所设定的记录图像尺寸(XR，YR)、和在上述步骤S123中所设定的视野扩展率WR(％)，通过下式，来设定输出到显示部79的图像的尺寸即输出图像尺寸(XOUT，YOUT)(步骤S124)。
XOUT＝(WR/100)·XR
YOUT＝(WR/100)·YR
因此，输出图像尺寸(XOUT，YOUT)为记录图像尺寸(XR，YR)的(WR/100)倍，此时，由于WR＞100，所以，输出图像尺寸(XOUT，YOUT)为记录图像尺寸(XR，YR)以上的值。即，如果WR＝200％，则输出图像尺寸(XOUT，YOUT)为：
XOUT＝(200/100)·XR＝2XR
YOUT＝(200/100)·YR＝2YR
接着，与上述步骤S106的处理相同，根据摄像全图像尺寸(XF，YF)和上述输出图像尺寸(XOUT，YOUT)，通过下述例举式，来设定数字变焦倍率(DZ)的界限(DZMAX)(步骤S125)。
(例)
DZMAX＝XF/XOUT
或DZMAX＝YF/YOUT
此外，控制电路2判断是否有变焦操作(步骤S126)，在“有”时，执行变焦处理(或，进一步进行画质变差程度小的数字变焦处理)(步骤S127)。另外，在后述的流程图中，对该步骤S127中的画质变差程度小的数字变焦处理的具体内容进行描述。
接着，执行实时预览图像/运动图像的摄像处理，根据数字变焦倍率(DZ)，以所选择的加法运算模式，读取已进行区域选择的图像(步骤S128)。即，以预先选择的加法运算模式，从摄像元件56对相当于包括图5所示的摄影区域内793和摄影区域外794的图像的图像(进行了区域选择的图像)一边进行像素相加，一边对其进行读取。
然后，控制电路2判断是否压下了摄影开始按钮(释放钮104)、或是否在运动图像摄影中(步骤S129)，在该判断为“否”的场合，进入步骤S132。另外，在压下了摄影开始按钮或处于动作摄影中时，将在上述步骤S128中所读取的图像作为尺寸(X’，Y’)的摄影图像，从该尺寸(X’，Y’)的摄影图像中，根据取景器视野扩展率WR(％)，通过下式提取尺寸(X2，Y2)的摄影区域的摄像图像数据(步骤S130)。
X2＝X’÷(WR/100)
Y2＝Y’÷(WR/100)
另外，将该图像尺寸(X2，Y2)的提取图像数据依次输出给运动图像CODEC(编码器/解码器)77，执行运动图像的编码/压缩编码处理，以及向存储介质的记录处理(步骤S131)。即，根据在上述步骤S122中设定的运动图像摄影的摄影条件，控制摄像元件56和DSP部63，进行曝光和摄影动作，获得运动图像记录用的高分辨率的被摄体摄像信号。接着，通过图像CODEC(编码器/解码器)77，进行与MPEG4、H264/AVC等的压缩方式相对应的压缩编码处理，按照AVI、MP4等的文件格式，记录于图像存储介质25或磁盘介质47中。
此外，针对上述图像尺寸(X’，Y’)的摄像帧图像，根据在上述步骤S105中所说明的显示写入图像尺寸(Xd，Yd)，设定下述调整尺寸率(IPx，IPy)，进行记录用的调整尺寸处理，并进行显示用的调整尺寸/插值处理(步骤S132)。
IPx＝Xd/X’
IPy＝Yd/Y’
接着，执行运动图像用的实时预览图像显示处理(写入显示RAM中)，此时，与在上述步骤S121中所设定的记录图像尺寸(XR，YR)相应的摄影区域内显示框，另外，显示视野扩展率，并且在上述摄影区域内为彩色显示，在摄影区域外转换为单色显示(步骤S133)。
于是，通过在该S133的处理，如图5(a)～(d)所示的那样，在显示部79中，显示“100％”、“125％×125％”等的视野扩展率791，在与记录图像尺寸(XR，YR)相应的显示区域内显示框792，另外，在摄影区域内793为彩色显示，在摄影区域外794为单色显示。
因此，用户可通过辨认框792或彩色显示的摄影区域内793内的实时预览图像部分，一边辨认是否包括所希望的图像部分，一边进行运动图像摄影。
(变焦处理1)
图6(a)为表示在上述步骤S108和步骤S128中执行的变焦处理的第1处理例即光学&数字联动的变焦处理(1)的流程图。在该流程图的处理的开始时，就静止图像来说，在图3、图4所示的主流程的步骤S105的处理中，如图6(b)所示的那样，设定了
XOUT＝(WR/100)·Xd
YOUT＝(WR/100)·Yd
针对运动图像，在步骤S124的处理中，设定了
XOUT＝(WR/100)·XR
YOUT＝(WR/100)·YR
另外，在上述步骤S106或步骤S125的处理中，设定了下述数字变焦的限度DZMAX。
DZMAX＝XF/XOUT
或DZMAX＝YF/YOUT
在该状态下，判断是否有变焦操作(步骤S201)，如果有变焦操作，则按照取景器视野扩展率WR(％)的设定，通过下式，换算总变焦变率Z(步骤S202)。按照Z＝OpZ×DZ÷(WR/100)(其中，OpZ：摄像光学系统5的光学变焦倍率)，在WR＝100％时，Z＝OpZ×DZ。
接着，根据针对变焦杆105的变焦操作(变焦操作量)ΔZ，通过下式，来调节总变焦倍率(Z)(步骤S203)。Z＝Z±ΔZ。
然后，判断是否满足Z＜OpZmin(OpZmin：光学变焦倍率最小值)，或是否满足Z＜1(步骤S204)。在该步骤S204的判断为“是”、且总变焦倍率Z小于OpZmin、或小于1时，设定为数字变焦倍率DZ＝1、和光学变焦倍率OpZ＝OpZmin×(WR/100)(步骤S205)。
接着，按照该已设定的光学变焦倍率OpZ，执行光学变焦处理，控制变焦镜头驱动部33，来驱动变焦镜头(步骤S206)。接着，在选择AF框(在具有多个AF框时，预先被选择的AF框)或视野中央，执行AF处理，对焦点镜头驱动部32进行控制，来驱动焦点镜头(步骤S207)。然后，按照设定DZ，转移到后述的(画质变差程度小的)数字变焦处理子流程(步骤S208)。
另一方面，在步骤S204的判断为“否”、且总变焦倍率在OpZmin以上、或1以上时，判断是否满足“Z＞{OpZmax÷(WR/100)}”(OpZmax：光学变焦倍率最大值)(步骤S209)。在该判断为“否”、且总变焦倍率Z为小于光学变焦倍率最大值Zmax除以(WR/100)而得到的值的值时，根据总变焦倍率Z的调整，设定对光学变焦倍率(OpZ)进行优先调整的DZ＝1和OpZ＝Z×(WR/100)(步骤S210)，进入上述步骤S206。
此外，在步骤S209的判断为“是”时，设定为OpZ＝OpZmax(步骤S211)。接着，判断数字变焦功能是否被设定在“开(ON)”(步骤S212)，在未设定在“开”时，设定DZ＝1(步骤S213)，进入上述步骤S206。在数字变焦功能设定在“开”的场合，根据总变焦倍率Z的调整，对调整数字变焦倍率(DZ)的DZ＝(WR/100)×Z/OpZmax进行设定(步骤S214)。
然后，判断在该步骤S214中所设定的DZ是否超过数字变焦倍率最大值DZmax(步骤S215)，在未超过时，进入上述步骤S206。但是，在超过时，将所设定的数字变焦倍率DZ限制于数字倍率最大值DZ(步骤S216)，进入上述步骤S206。
因此，根据以上的光学&数字联动的变焦处理(1)，当总变焦倍率(Z)在光学变焦倍率(OpZ)的动作范围内(Zmin≤Z≤{OpZmax÷(WR/100)})时，可按照优先对光学变焦倍率(OpZ)进行调整(设DZ＝1，OpZ＝Z×(WR/100))的方式进行控制，可在OpZmin～OpZmax的范围内调整OpZ。
此外，在总变焦倍率(Z)超过考虑到视野扩展率(WR)的光学变焦倍率(OpZ)的最大值(Z＞{OpZmax÷(WR/100)})时，在光学变焦倍率(OpZ)保持在最大值的状态(OpZ＞OpZmax)下数字变焦功能设定在“开”时，能以根据总变焦倍率(Z)的调整，来调整数字变焦倍率(DZ)的方式进行控制。然后，DZ在1～OpZmax的范围内调整。
由此，如图7中所列举的那样，在光学变焦(×1～5倍)、摄像全图像尺寸(XF＝2880，YF＝2160)、显示写入尺寸(Xd＝640，Yd＝480)、(在运动图像时，记录运动图像尺寸(XR＝640，YR＝480))时，将获得图示的数值。
然后，按照如此设定的光学变焦倍率(OpZ)，来驱动变焦镜头进行光学变焦处理，或在选择AF框或视野中央，根据从该区域的摄像信号所检测出的高频分量或对比度值等的聚焦检测信息，来驱动焦点镜头进行AF。另外，按照上述所设定的数字变焦倍率(DZ)，根据通过后述的“画质变差程度小的数字变焦处理子流程”而读取的摄像图像数据，进行实时预览图像的显示处理。
(变焦处理2)
图8(a)为表示在上述步骤S108和步骤S128中进行的变焦处理的第2处理例的光学&数字联动的变焦处理(2)的流程图。即使在基于该流程图的处理的开始之际，就静止图像来说，在图3、图4所示的流程中的步骤S105的处理中，如图8(b)所示的那样，仍设定了
XOUT＝(WR/100)·Xd
YOUT＝(WR/100)·Yd
，就运动图像来说，在步骤S124的处理中，设定了
XOUT＝(WR/100)·XR
YOUT＝(WR/100)·YR
另外，在上述步骤S106或步骤S125的处理中，设定了下述数字变焦的限度DZMAX。
DZMAX＝XF/XOUT
或DZMAX＝YF/YOUT
在该状态下，判断是否有变焦操作(步骤S301)，如果有变焦操作，则按照取景器视野扩展率WR(％)的设定，通过下式，对总变焦倍率Z进行换算(步骤S302)。
Z＝OpZ×DZ÷(WR/100)
(其中，OpZ：摄像光学系统55的光学变焦倍率)，因此，在WR＝100％时，Z＝OpZ×DZ。
接着，根据对变焦杆105的变焦操作(变焦操作量)ΔZ，按照下式，来调整总变焦倍率(Z)(步骤S303)。
Z＝Z±ΔZ
然后，判断是否满足Z＜1(步骤S304)。在该步骤S304的判断为“是”、且总变焦倍率Z小于1时，设定为光学倍率OpZ＝OpZmin、和数字变焦倍率DZ＝1×(WR/100)(步骤S305)。
接着，按照该已设定的光学变焦倍率OpZ，执行光学变焦处理，对变焦镜头驱动部33进行控制，来驱动变焦镜头(步骤S306)。另外，在选择AF框(在具有多个AF框时，预先被选择的AF框)或视野中央，执行AF处理，对焦点镜头驱动部32进行控制，来驱动焦点镜头(步骤S307)。然后，按照设定DZ，转移到后述的(画质变差程度小的)数字变焦处理子流程(步骤S308)。
另一方面，在步骤S304的判断为“否”、且总变焦倍率Z在1以上时，判断是否满足Z＞DZmax(步骤S309)。在该判断为“否”、且总变焦倍率Z为在数字变焦倍率最大值DZmax以下的值时，根据总变焦倍率Z的调整，设定优先对数字变焦倍率(DZ)进行调整的OpZ＝OpZmin、DZ＝(WR/100)×Z/OpZmin(在步骤S310)，进入上述步骤S306。
另外，在步骤S309的判断为“是”是，根据Z的调整，设定对光学变焦倍率(OpZ)进行调整的DZ＝DZmax、OpZ＝(WR/100)×Z/DZmax(步骤S311)。然后，判断在该步骤S311中所设定的OpZ是否满足OpZ≥OpZmax的关系(步骤S312)，在不满足时，即在光学变焦倍率OpZ小于光学变焦倍率最大值OpZmax时，进入上述步骤S306。但是，在满足时，即在光学变焦倍率OpZ在光学变焦倍率最大值OpZmax以上时，将所设定的光学变焦倍率OpZ限制在光学变焦倍率最大值OpZmax(步骤S313)，进入上述步骤S306。
因此，根据以上的光学&数字联动的变焦处理(2)，可进行如下的控制：根据变焦操作，对总变焦倍率(Z)进行调整设定(Z＝±ΔZ)，根据总变焦倍率(Z)的调整，当总变焦倍率(Z)在数字变焦倍率(DZ)的动作范围内(1≤Z≤DZmax)时，优先对数字变焦倍率(DZ)进行调整(OpZ＝OpZmin、和DZ＝(WR/100)×Z/Dmax)，且OpZ可在OpZmin～OpZmax的范围内调整。
由此，如图9中列举所示的那样，在光学变焦(×1～5倍)、摄像全图像尺寸(XF＝2880，YF＝2160)、显示写入尺寸(Xd＝640，Yd＝480)、(在运动图像时，记录图像尺寸(XR＝640，YR＝480))时，将获得图示的数值。
((画质变差程度小)变焦处理)
图10(a)表示在上述步骤S208和步骤S308执行的((画质变差程度小的)数字变焦处理子流程的流程图。首先，如下面的例子所示的那样，设定切换步骤级数(整数)i，和初始的加法运算数(整数)m＝m(i)、n＝n(i)(步骤S401)。
(例)设定为i＝3、m(i)＝m3、n(i)＝n3。
另外，读入被设定为数字变焦倍率(DZ)的中央位置(XC，YC)(步骤S402)。然后，，根据摄像元件的全图像尺寸(XF，YF)和输出图像尺寸(XOUT，YOUT)，如下所示地设定各级的加法运算读出的加法运算数m(i)、n(i)中的(画质不变差的)数字变焦倍率DZ的限度(切换倍率)DZL(i)(步骤S403)。
DZL(i)＝INT{XF/m(i)}/XOUT，
或DZL(i)＝INT{YF/n(i)}/YOUT
因此，如图10(b)所示的那样，在例如XF＝2880、YF＝2160、XOUT＝640、YOUT＝480时，
如果m1＝n1＝1、m2＝n2＝2、m3＝n3＝3、...，则
加法运算数m1时的限度倍率DZL1＝INT(2880/1)/640＝4.5；
加法运算数m2时的限度倍率DZL2＝INT(2880/2)/640＝2.25；
加法运算数m3时的限度倍率DZL3＝INT(2880/3)/640＝1.5；
加法运算数m4时的限度倍率DZL4＝INT(2880/4)/640＝1.125；
…。
接着，判断数字变焦倍率(DZ)是否满足“1≤DZ≤DZL(i)”的关系(步骤S404)。在该步骤S404的判断为“是”时，将加法运算数设定为m＝m(i)、n＝n(i)(步骤S405)。因此，如图10(c)中列举的那样，在XF＝2880、YF＝2160、XOUT＝640、YOUT＝480时，
在初始加法运算数从i＝3、m＝n＝3开始时，加法运算数如下述设定，
在DZ＝1～1.5倍时，m＝n＝3(3×3的加法运算读取)；
在DZ＝1.5～2.25倍时，m＝n＝2(2×2的加法运算读取)；
在DZ＝2.25～4.5倍时，m＝n＝1(1×1不进行加法运算而读取)。
接着，根据数字变焦倍率(DZ)和中央位置(XC、YC)，如下所述地设定选择读取区域的图像尺寸(X，Y)、读取范围(X1～X2、Y1～Y2)(步骤S406)：
X＝INT(XF/DZ)，Y＝INT(YF/DZ)；
X1＝XC-X/2，X2＝XC+X/2；
Y1＝YC-Y/2，Y2＝YC+Y/2；
其中，在X1＜0时，X1＝0、X2＝X；
在Y1＜0时，Y1＝0、Y2＝Y；
在X2＞XF时，X1＝XF-X、X2＝XF；
在Y2＞YF时，Y1＝YF-Y、Y2＝YF；
于是，如图10(d)所示的那样，例如在XF＝2880、YF＝2160、DZ＝1.2倍时，则
X＝INT(XF/DZ)＝(2880/1.2)＝2400；
F＝INT(YF/DZ)＝(2160/1.2)＝1800；
下面按照加法运算数(m，n)，从摄像元件对读取范围(X1～X2，Y1～Y2)的图像信号进行加法运算后(或以不进行加法运算的方式)，将其进行读取，并将图像尺寸(X’，Y’)＝(X/m，Y/n)的图像信号读入到DSP部63中(步骤S407)。然后，输出上述尺寸(X’，Y’)的图像数据(步骤S408)。
于是，如图10(e)所示的那样，例如在DZ＝1.2倍、加法运算数m＝3、n＝3时，
X’＝X/m＝(2400/3)＝800；
Y’＝Y/n＝(1800/3)＝600；
获得800×600的像素的(3×3)加法运算图像。
另一方面，在步骤S404的判断为“否”时，递减“i”的值(步骤S409)，判断该递减后的“i”的值是否在“1”以上(步骤S410)。在i≥1、且递减后的“i”为正值的期间，从步骤S410返回到上述步骤S403。然后，代入递减后的“i”的值，执行步骤S403的处理，由此，在步骤S404的判断为“是”时，执行上述步骤S405以后的处理。
但是，当通过步骤S409的递减，而“i”的值变为“0”时，步骤S410的判断变为“否”。此时，结束数字变焦处理、或进行错误处理(步骤S411)。然后，在m和n中设定加法运算数的最小值“1”，执行上述步骤S406以后的处理。
(摄像元件)
在上述摄像元件56，例如，在由CCD摄像传感器构成时，不使因入射光而在光电二极管中产生的信号电荷放大，而照原样地通过垂直和水平的CCD转送通路被依次转送，并在输出电路中，首次通过FD(FloatingDiffusion)放大器被放大为信号电压后，进行输出。从CCD输出的摄像信号通过CDS电路(相关二重取样电路)，进行噪声去除和取样&保持处理，通过AGC(自动增益控制)放大器被放大，通过ADC(A/D转换器)被转换为数字摄像信号后，输出给DSP(信号处理电路)。
另一方面，当摄像元件由CMOS(互补型金属-氧化膜半导体)摄像传感器构成时，在如图2所示的那样的普通的APS(放大型像素传感器)型的CMOS传感器中，针对包括光电二极管的每个单位像素电路内置了放大元件(放大器)，由光电二极管进行光电转换后的信号电荷通过像素电路内放大器被暂时放大，并能将通过来自垂直扫描电路的行地址选择信号和来自水平扫描电路的列选择信号以XY地址方式选择的每个像素的摄像信号，从输出中依次作为电压或电流而取出。即使不像CCD那样依次取出，在CMOS传感器中，仍可按照任意的顺序只取出任意的像素或区域的摄像信号，因此，在通过数字变焦处理而只截取出规定区域来进行读取时，可高速地读取。
另外，在CCD中，尽管由于照原样转送信号电荷，因而抗托影(smear)、抗噪声的能力较弱，但是，在CMOS传感器中，针对每个像素以随机访问的方式读取，且各像素电路进行了电分离，因此，抗传送噪声的能力强，另外，与CMOS，LSI等一样，具有如下优点：以相同的制造工艺，在摄像传感部的周边，将各种的CMOS电路或加法运算电路等的数字逻辑电路等进行高集成化处理，而较容易地一起制作。而其相反一面，在CMOS传感器中，尽管曾存在如下问题：每个像素的放大器的暗值等，即由于各个元件偏差而造成的固定模式噪声(FPN)或暗电流、KTC噪声较大，但是，形成(与CCD相同)采用埋入光电二极管和FD放大器的结构，可降低暗电流和KTC噪声，通过在按每个列信号线并列地并行的列电路中所设置的柱(Column)型的CDS/ADC电路等，可减去将光电二极管复位的前后的信号来去除固定模式噪声，并针对每个列电路，组装积分型或巡回型、逐次型等的AD转换器，从而使通过数字信号的摄像信号输出也变得容易。
在本实施方式的数字照相机100所采用的摄像元件中，优选采用图11所示的摄像元件200，以便能进行选择任意的尺寸的图像区域来读取区域内的像素的摄像信号的选择读出处理。即，该摄像元件200包括与定时发生电路201连接的垂直扫描电路202和水平扫描电路203以及列电路部204，并且具有并行/串行转换部250，编码器205。在列电路部204中，设置了将CDS电路206、A/D转换电路207、像素加法运算电路208为一组的多个电路，且分别连接了列信号线209。另一方面，在垂直扫描电路202中，连接了行选择线(地址线)210和转送TC线(行读取线)211以及行复位线212。另外，在摄像传感部213中，设置了多个单位像素电路214，各单位像素电路214由上述列信号线209、行选择线(地址线)210、转送TC线(行读取线)211、与行复位线212连接的光电二极管215等构成。
因此，在该摄像元件200中，按照下述方式构成，该方式为：在列电路部204的CDS电路206、A/D电路207的后级，设置了通过数字信号，将相邻的相同颜色(滤色器)的多个像素的信号进行加法运算的像素加法运算电路208，由此，在数字变焦时，可读取按任意的每个行列对选择区域内的像素数据进行了规定的多个像素量的加法运算后的摄像信号，且在实时预览图像或运动图像摄影中，即使为高速率，仍可转换为图像数据量小的摄像信号来进行输出。
另外，已进行了选择读取的选择区域的摄像信号，以及进一步进行了像素加法运算的摄像信号，虽然从列电路部204的CDS电路206、A/D电路207中，依次输出由水平扫描电路202的列选择信号所选择的列信号，但此时，可与高速时钟同步地作为并列的数字信号而输出、或对并行的数字信号进行编码处理，并通过并行/串行转换电路进行转换后，作为串行的数字摄像信号而输出，能以高速帧频向DSP转送并输出高分辨率的摄像信号。
(DSP部)
在摄像元件56为CMOS摄像传感器时，如果在CMOS传感器内置的CDS/ADC电路中，进行噪声去除和数字转换，从相同内置的高速输出电路，将以并行或串行的数字信号所转送的摄像信号输入到DSP部63中，则DSP部63首先进行白色平衡调整、彩色平衡调整，然后，被设置于摄像元件56的前面，按照马赛克状的“拜耳(Bayer)排列”、或在水平/垂直方向上以2个像素单位的反复周期而错开排列的Green相间R/B色差线依次方式等、RGB原色滤色器等彩色滤色器排列，针对每个像素仅具有1个色成分，但是，其它的色差成分的像素值也根据附近周边的像素值进行像素插值(Pixel Signal Interpolation)后来求取(彩色插值处理)，然后，针对每个像素，转换为具有每个RGB色差成分的灰度值的数字图像数据。
另外，在彩色插值之前，根据需要，有时还进行通过调整尺寸/插值处理电路将图像尺寸转换为不同图像尺寸的分辨率转换处理(ResolutionConversion)。例如，为了将实时预览图像或再现图像写入video RAM或显示驱动器内的显示RAM区域中，以便显示于取景器或图像监视器中，进行转换为规定的图像尺寸(VGA尺寸等)的调整尺寸处理、或插值处理(Interpolation)。或者，在摄影记录时，为了按照所需的记录图像尺寸进行记录，对设定记录图像尺寸的图像，进行缩小/放大处理、调整尺寸/插值处理或分辨率转换处理。在进行调整尺寸处理或插值处理时，图像容易模糊或分辨率容易降低，因此，优选同时进行非鲜艳滤光处理(Unsharpness Filtering)等轮廓强调滤光运算或图像鲜明化滤光处理等。另外，在DSP部63中，在通过γ修正电路而进行灰度修正后的RGB系的数字图像信号暂时被存储于缓存器中之后，在LCD监视器等电子取景器中进行再现显示，或在彩色矩阵电路中，从RGB系转换为YUV系/YCbCr系等规定的色空间的图像信号，通过图像CODEC，压缩/编码处理为JPEG静止图像数据、MPEG4或H264运动图像数据等。
(广角变焦镜头)
在像素数量降低时，由于进行间隔拉长或压缩插值，故摄影画角未变化，但是，在广角取景器时，截取出小的画角范围。在变焦镜头时，由于可摄影的画角的范围变窄，故产生广角摄影困难、成为偏到望远侧的变焦系统的问题。由此，如果将通常使用的取景器显示的视野扩展率的范围设为125～200％的范围，则据此，可通过与比通常稍向广角侧移动了1/1.25～1/2左右的变焦镜头系统相组合，从而能解决上述问题。
图12表示变焦镜头系统的结构例与光学变焦倍率、视野扩展率的关系。若最常使用的为视角率WR＝125％左右，则例如，在1/2型摄像元件的5倍光学变焦系统中，当通常的焦点距离＝6.2～32mm(由35mm薄膜换算，为约35～175mm)时，可设定为在W端的焦点距离为6.2mm÷(141/100)＝4.4mm以下的广角、即焦点距离为4.4～22mm(按照35mm薄膜换算，为24.8～124mm)的变焦系统。
另外，此时，也可设置下述的显示控制机构，其中，代替实际的焦点距离，而计算出摄影画角(角度)或35mm胶片(film)换算的焦点距离等，并将其显示于显示部79中。
此外，还可按照下述方式进行控制的控制机构，该方式为：使通常时的变焦镜头的动作范围可在稍靠近望远侧的范围动作，反之，在广角取景器中，根据取景器视野扩展率，使变焦动作范围在靠近广角侧的范围动作。同样，在广角取景器时，也可设置下述的设定机构，其以与通常时实质上基本相同的摄影范围(画角)的方式，根据取景器视野扩展率，自动地设定变焦焦点距离或光学变焦倍率。
由此，可根据取景器视野扩展率，来设定合适的光学变焦倍率。
(其它的实施方式)
另外，在本实施方式中，在显示部79中，通过单一画面显示实时预览图像，但是，也可按照图13和图14所示的显示方式显示实时预览图像。即，在图13的显示方式中，如图13(a)所示的那样，在显示部79中，进行实时预览图像的聚焦选择显示，选择聚焦位置，根据图13(b)所示的实时预览图像或摄影图像数据的尺寸，截取出图13(c)所示的显示图像的尺寸，并且截取出以聚焦位置为中心的规定范围，并将其放大。接着，如图13(d)所示的那样，将上述所截取出的尺寸的显示图像作为显示实时预览图像来进行显示，并且与其重叠后，通过聚焦位置的放大显示，进行焦点确认用的放大显示。因此，用户可通过辨认焦点确认用的放大显示，高精度地确认焦点是否已对准。
此外，也可如图14(a)所示的那样，不需要由用户来选择焦点位置，而通过多个倍率，用其它画面显示图像的中心部，或如图14(b)所示的那样，识别非被摄体人物，而重叠显示所识别的被摄体人物部分。
可见，本发明并不局限于上述的特定实施例，本发明可在不脱离本发明的宗旨和范围的情况下，按照改进的方案实施。本发明可根据上述实施例描述的方案的适当组合方式，以各种形式实施。例如，可从在各实施例中给出的所有部件中，删除一些部件。另外，可按照适当组合的方式使用不同实施例中的部件。