图像处理装置及计算机程序 该申请基于并且主张在前的于2008年9月2日提出申请的日本专利申请No.2008-224709的优先权，和在前的于2009年3月24日提出申请的日本专利申请No.2009-072298的优先权，其全部内容通过引用结合到本文中。
【技术领域】
本发明涉及在图像内提取含有拍摄对象(subject)轮廓(contour)的四边形(quadrangle)区域(area)的图像处理装置以及计算机程序。
背景技术
以往，已知有，为了能对摄影图像中包含的拍摄对象图像实行坐标转换等图像处理，具有在图像内提取包含拍摄对象的轮廓的四边形区域功能、即轮廓四边形提取功能的拍摄装置(image capturing device)。这样的拍摄装置利用霍夫变换(Hough transform)，由包含表示拍摄对象的轮廓的边缘像素(edge pixels)的边缘图像(edge image)中检测构成拍摄对象的轮廓的多条直线(straight line)，由检测出的多条直线中确定形成四边形区域的直线，从而提取四边形区域。这种拍摄装置的一个例子在日本国特开2005-267457号公报中公开。
现有的拍摄装置，在边缘图像(edge image)内对检测出的多条直线中的每条计算直线上存在的边缘像素(edge pixels)数，根据计算出的像素数的多少来确定(select)形成四边形区域的直线。但是，根据这样的结构，当提取的四边形区域的大小(size)不清楚时或在一个图像内存在多个拍摄对象图像(subject image)时，会提取出不合格(inadequate)的四边形区域。
此外，在摄影图像中包含多个拍摄对象图像时，现有的拍摄装置按照四边形区域的大小等评价值由高到低的顺序在显示画面上显示多个四边形区域的候补(以下，简记为矩形候补(rectangle candidate))，用户从显示在显示画面上的多个矩形候补中选择图像处理时所利用的矩形候补。但是，根据这样的现有拍摄装置，由于在不同拍摄对象图像间频繁切换矩形候补的显示，或显示与已经选择了矩形候补的拍摄对象图像相关的其他矩形候补，用户不能够顺利地(smoothly)选择矩形候补。
【发明内容】
根据本发明的一个方面，提供一种图像处理装置，包括：
线段检测单元，在图像内检测纵向线段和横向线段；
对边候补作成单元，根据由所述线段检测单位检测出的纵向线段和横向线段，在所述图像内作成构成四边形区域的纵向对边候补和横向对边候补；
矩形候补作成单元，作成多个所述纵向对边候补和横向对边候补的组合，作成以各组合的纵向对边候补和横向对边候补的交点为4个顶点的所述四边形区域作为所述矩形候补；以及
评分单元，根据所述矩形候补与构成(constituting)纵向对边候补以及横向对边候补的线段(line segment)之间的关系(relationship)，计算各个所述矩形候补的概率(likelihood)。
【附图说明】
参照附图说明实现本发明各个特征的大致结构。附图和说明用来说明发明的实施方式，而不是限制本发明。
图1A及图1B是表示构成本发明的第1实施方式的数码照相机的结构的斜视图，图1A主要表示前面的结构，图1B主要表示背面的结构。
图2是表示图1所示的数码照相机的控制系统的结构的模块图。
图3是表示第1实施方式涉及的轮廓矩形提取处理的流程的流程图。
图4A～图4C是表示由图3地步骤S5的处理提取的边缘图像的一个例子的图。
图5是用于说明图3的步骤S5的边缘图像提取处理中采用的索泊尔滤波器(Sobel filter)的结构的图。
图6A及图6B是表示图3的步骤S6的细化/二值化处理后的边缘图像的一个例子的图。
图7A及图7B是表示由图3的步骤S7的标注(labeling)处理得到的线段信息的一个例子的图。
图8是用于说明图3的步骤S8的线段分割处理的概念图。
图9是用于说明图3的步骤S9的线段连接处理的概念图。
图10A及图10B是表示由图3的步骤S10的配对(pairing)处理得到的横向及纵向的对边候补的一个例子的图。
图11是表示图10所示的横向及纵向的对边候补的组合的一个例子的图。
图12是表示由图11所示的横向及纵向的对边候补的组合得到的矩形候补的一个例子的图。
图13是用于说明图3所示的步骤S12的评价(scoring)处理的图。
图14A～图14D是表示按照由图3所示的步骤S12的处理计算出的点数顺序来显示的矩形候补的一个例子的图。
图15是表示根据用户的操作被显示的矩形候补按照点数顺序而转移的情形的图。
图16是表示摄影图像中包含多个拍摄对象的情形的矩形候补的显示例的图。
图17是表示根据所显示的矩形候补针对拍摄对象图像进行图像处理时的处理的流程的图。
图18是表示本发明的第2实施方式涉及的分组处理的流程的流程图。
图19A及图19B是表示用于说明图18所示的步骤S21的处理的矩形候补的一个例子的图。
图20A是表示多个矩形候补的一个例子的图，图20B是表示针对各矩形候补计算出的顶点坐标、重心坐标、以及外周的长度的图。
图21是表示第2实施方式涉及的矩形候补选择处理的流程的流程图。
图22是表示多个矩形候补的一个例子的图。
图23是表示用重心坐标来对图22所示的多个矩形候补进行分组后的结果的图。
图24是表示用重心位置的x坐标和大小来对图22所示的多个矩形候补进行分组后的结果的图。
图25是表示用重心位置的y坐标和大小来对图22所示的多个矩形候补进行分组后的结果的图。
图26是表示选择操作的状态转移的一个例子的图。
【具体实施方式】
参照附图来说明基于本发明的实施方式。所主张的发明的范围不应被限制在附图中阐明的例子和下述说明的例子中。
(第1实施方式)
以下，针对构成本发明第1实施方式的数码照相机的结构详细说明。
首先，参照图1A、图1B，针对构成本发明的第1实施方式的数码照相机(digital camera)1的整体结构进行说明。
如图1A所示，构成本发明的第1实施方式的数码照相机1在大致矩形形状的薄板状(flat box shape)本体(body)(以下，简记为本体)2的前面(front face)具备：摄影镜头3、个体定时灯(timer indicator)4、取景窗5、闪光灯发光部6、以及麦克风部(microphone)7。在本体2上面(top face)的(基于用户)右端侧设置有电源键(power switch)8以及快门键(shutter button)9。摄影镜头3具有使焦点距离连续变化的变焦功能以及AF(AutoFocus)功能，在电源关闭时以及再生模式时缩回至本体2内部。电源键8是在每次接通/断开电源时操作的键，快门键9是在摄影模式时指示摄影计时的键。
如图1B所示，在本体2的背面(back face)，设置有摄影模式(R)键(recording mode key)10、再生模式(P)键(playing mode key)11、电子取景器(EVF)12、扬声器部13、变焦(macro)键14、闪光灯键15、菜单(MENU)键16、环形键17、确定(SET)键18、以及液晶显示部(display unit)19。对于摄影模式键10，通过由电源断开的状态对其进行操作，从而自动接通电源，转换为静止画面的摄影模式，另一方面，通过由电源接通的状态对其反复进行操作，从而循环地设定静止画面和运动画面的摄影模式。在第1实施方式中，静止画面的摄影模式包含如下摄影模式：以规定的曝光时间进行通常摄影操作的单张摄影模式(single shotmode)；采用比单张摄影模式短的曝光时间连续对拍摄对象摄影，合成多个图像帧后生成一张图像的连拍摄影模式(multi shot mode)。
对于再生模式键11，通过由电源断开的状态对其进行操作，从而自动接通电源，转换为再生模式。EVF12是使用液晶画面的目镜型取景器，摄影模式时在液晶画面上显示取景图像(live view image)，另一方面，再生模式时再生显示所选择的图像。对于变焦键14，在静止画面的摄影模式下切换通常摄影和变焦摄影时对其进行操作。对于闪光灯键15，在切换闪光灯发光部6的发光模式时对其进行操作。对于菜单键16，在选择各种菜单项目等时对其进行操作。环形键17是向上下左右各方向的项目选择(itemselection)用的键一体(monolithically)形成的键，位于该环形键17的中央的确定键18，在设定该时刻所选择的项目时对其进行操作。
液晶显示部19由带背景灯的彩色液晶面板构成，在摄影模式时进行取景图像的显示器显示，另一方面，在再生模式时再生显示所选择的图像。另外，液晶显示部19也能取代液晶面板而具备其他的显示设备。虽然未图示，但是在数码照相机1的底面设置有用于装卸作为记录介质而使用的存储卡的存储卡槽、和作为用于与外部个人电脑等连接的串行接口的USB(Universal Serial Bus)接口等。
下面，参照图2、图3说明构成第1实施方式的数码照相机1的拍摄系统以及控制系统的结构。
在构成第1实施方式的数码照相机1中，摄影模式时，在构成摄影镜头3的镜头光学系统32的摄影光轴后方配置的摄影元件、即CCD33由定时发生器(TG)34和垂直驱动器35扫描驱动，输出1画面的与按每固定周期成像的光像相对应的光电转换输出，其中，摄影透镜3由马达(M)31的驱动而使对焦位置和光圈位置移动。该光电转换输出，在模拟形式的信号状态下，按每个RGB的各原色分量，进行适当增益调整，之后，由取样保持电路(S/H：sample-and-hold circuit)36进行取样保持，并由A/D转换器37转换为数字数据，再由彩色处理电路38进行包含像素插补处理及γ补偿处理的彩色处理，从而生成数字值的亮度信号Y及色差信号Cb、Cr，并将其输出至DMA(Direct Memory Access)控制器39。
DMA控制器39采用来自同一彩色处理电路38的复合同步信号、存储器能写入信号、以及时钟信号将彩色处理电路38输出的亮度信号Y以及色差信号Cb、Cr一次写入DMA控制器39内部的缓冲区中，通过DRAM接口(I/F)40向作为缓冲存储器来使用的DRAM41进行DMA传送。控制部42由CPU、固定存储由CPU执行的计算机程序的ROM、以及作为工作存储器来使用的RAM等构成，用来控制数码照相机1整体的操作。
控制部42在将亮度Y以及色差信号Cb、Cr向DRAM41进行DMA传送之后，通过DRAM接口40由DRAM41读出该亮度Y以及色差信号Cb、Crp，并通过VRAM控制器43写入VRAM44。数码视频编码器45通过VRAM控制器43定期由VRAM44读出所述亮度Y以及色差信号Cb、Cr，以这些数据为基础产生视频信号，并输出至EVF12和液晶显示部19。EVF12和液晶显示部19根据来自数码视频编码器45的视频信号进行显示，从而在该时刻根据由VRAM控制器43取得的图像信息实时显示图像。
如此，在EVF12和液晶显示部19中将该时刻的图像作为显示器图像进行实时显示的、所谓取景图像的显示状态下，如果采用进行静止画面摄影的计时来操作快门键9，则产生触发信号。控制部42响应该触发信号停止向DRAM41进行DMA传送在该时刻由CCD33取得的1画面的亮度Y以及色差信号Cb、Cr，以按照适当曝光条件得到的光圈值以及快门速度来驱动CCD33，再次取得1画面的亮度Y以及色差信号Cb、Cr并向DRAM41传送，之后，停止该路径，转移至记录保存的状态。
在该记录保存的状态下，通过DRAM接口40按Y、Cb、Cr的各个组成读出由控制部42写入DRAM41的亮度以及色差信号，并写入图像处理部47，在该图像处理部47中，采用ADCT(Adaptive Discrete CosineTransform：自适应离散余弦变换)、熵编码(entropy coding)方式即哈夫曼(Huffman)编码等处理来压缩数据。然后，由图像处理部47读出得到的符号数据，写入作为数码照相机1的记录介质而自由装卸的存储卡48、或数码照相机1中固定内置的内置存储器(未图示)中的任意一个。然后，伴随亮度Y以及色差信号Cb、Cr的压缩处理、以及向存储卡48或内置存储器写入全压缩数据的结束，控制部42再次起动由CCD33至DRAM41的路径。
控制部42与键输入部(user interface)49、声音处理部50、以及闪光灯驱动部51连接。键输入部49由所述电源键8、快门键9、摄影模式键10、再生模式键11、变焦键14、闪光灯键15、菜单键16、环形键17、确定键18等构成，与这些键操作相附随的信号向直接控制部42发送。声音处理部50包括PCM音源等音源电路，在声音录音时，对由麦克风部7输入的声音信号进行数字化，按照规定的数据文件形式、例如MP3(MPEG-1audio layer 3)标准进行数据压缩，作成声音数据文件，向存储卡48或内置存储器发送，另一方面，在声音再生时，对由存储卡48或内置存储器发送来的声音数据文件进行解压缩，并模拟化，驱动扬声器部(SP)13，扩音播放。闪光灯驱动部51在静止图像摄影时对未图示的闪光灯用的大容量电容器进行充电，之后根据来自控制部42的控制对闪光灯发光部6进行闪光驱动。
具有这样结构的数码照相机1，通过执行入如下所示的轮廓四边形提取处理，从而提取含有拍摄对象的轮廓的四边形区域。以下，参照图3所示的流程图，说明执行该轮廓四边形提取处理时的数码照相机1的操作。
用户通过操作环形键17以及确定键18，从按情景摄影模式之中选择“拍摄照片或文件”、“拍摄白板(white board)等”这样的模式进行摄影。这些模式进行拍摄对象的正面化补偿(skew correction：倾斜补偿)，在图像处理部47取得采用这样的模式摄影的图像，按照能执行轮廓四边形提取处理的计时，开始图3所示的流程图，轮廓四边形提取处理进入步骤S1的处理。另外，以下所示的数码照相机1的操作是通过如下过程来实现的，即，控制部42内的CPU将存储于ROM中的计算机程序加载至RAM，通过执行加载至RAM的计算机程序，从而控制由图像处理部47进行的图像处理。
在步骤S1的处理中，图像处理部47通过对所输入的摄影图像执行失真的补偿处理，从而由镜头光学系统32的镜头特性来补偿失真的摄影图像。由此，步骤S1的处理结束，轮廓矩形提取处理进入步骤S2的处理。
在步骤S2的处理中，图像处理部47将补偿失真后的摄影图像的大小(图像尺寸)缩小至规定的大小。具体来说，图像处理部47计算补偿失真后的摄影图像的大小，根据计算出的大小来缩小摄影图像的纵向及横向的长度，以使摄影图像的大小成为(纵)×(横)：320×240(像素)的大小。由此，步骤S2的处理结束，轮廓四边形提取处理进入步骤S3的处理。
在步骤S3的处理中，图像处理部47将摄影图像的颜色信息的显示形式由位图形式转换为YUV(Y：亮度信号，U：亮度信号与蓝色分量的差，V：亮度信号与红色分量的差)形式。由此，步骤S3的处理结束，轮廓四边形提取处理进入步骤S4的处理。
在步骤S4的处理中，图像处理部47通过将摄影图像的图像数据置于中央(中央值：Median)滤波器中，从而从摄影图像的图像数据中除去噪声分量。所谓本实施方式涉及的中央滤波器，其按照从小到大的顺序来排列3×3(像素)的局部区域中的像素值，并将位于中央的像素值作为区域中央的像素的像素值。由此，步骤S4的处理结束，轮廓矩形提取处理进入步骤S5的处理。
如图4A、图4B、图4C所示，在步骤S5的处理中，图像处理部47提取由除去噪声分量后的图像数据中分别提取出纵(垂直，x)向及横(水平，y)向的边缘之后而得到的边缘图像(edge images)。本实施方式中，图像处理部47采用通过计算图5所示的空间1阶微分来检测轮廓的索泊尔(Sobel)滤波器，提取纵(垂直)向以及横(水平)向各个边缘图像(verticaledge image，horizontal edge image)。由此，步骤S5的处理结束，轮廓四边形提取处理进入步骤S6的处理。
在步骤S6的处理中，如图6A、图6B所示，图像处理部47分别对由步骤S5的处理提取出的纵向以及横向的边缘图像实施细化(thinning)和二值化处理(binarization)。具体来说，图像处理部47检测纵向的边缘图像(vertical edge image)中包含的边缘像素(edge pixels)中满足条件{坐标位置x-1的像素值＜坐标位置x的像素值≥坐标位置x+1的像素值}的坐标位置x的像素。同样地，图像处理部47检测横向的边缘图像(horizontaledge image)中包含的边缘像素(edge pixels)中满足条件{坐标位置y-1的像素值＜坐标位置y的像素值≥坐标位置y+1的像素值}的坐标位置y的像素。然后，在构成边缘图像的像素中，图像处理部47将提取出的坐标位置x、y的像素值设定为255，将这以外的坐标位置的像素值设定为0。由此，步骤S6的处理结束，轮廓四边形提取处理进入步骤S7的处理。
在步骤S7的处理中，图像处理部47通过分别对纵向以及横向的边缘图像进行标注处理，从而作成形成如图7A、图7B所示的拍摄对象的轮廓的纵向以及横向的线段(line segment)信息。在本实施方式中，图像处理部47针对横向的边缘图像，由x＝0的坐标位置开始，一边在x方向上扫描，一边也参照与y方向相邻的像素，从而检测边缘图像中所包含的边缘像素。然后，在检测出边缘像素的情况下，图像处理部47判断所检测出的边缘像素的像素值是否为255、且是否与其他像素相连接，在像素值为255、且未与其他像素相连接的情况下，在x方向上开始含有所检测出的边缘像素的线段的跟踪(trace)。具体来说，图像处理部47针对位于跟踪开始位置的坐标(x，y)的右横处的3点(x+1，y-1)、(x+1，y)、(x+1，y+1)执行跟踪。
然后，图像处理部47在满足如下所示的3个条件中任何一个条件的情况下，给该线段附加特有编号(标注)，结束该线段的跟踪，在继续跟踪的情况下，将存在最后所检测出的边缘像素的x坐标位置设定为下一个跟踪开始位置。
条件1：3点中至少一点已经被标注。
条件2：3点中2点以上是构成边缘图像的像素。
条件3：在跟踪过程中在3点中2次未检测出构成边缘图像的像素。
另一方面，对于纵向的边缘图像，图像处理部47通过由y＝0的坐标位置开始在x方向上扫描，从而检测包含在边缘图像中的边缘像素，对于横向的边缘图像也进行与所进行的处理相同的处理。然后，图像处理部47计算通过跟踪所标注的各线段(line segment)的起点(start point)以及终点(end point)的坐标、倾斜度(由起点和终点求出)、构成线段的各点相对于线段的倾斜度的误差(如果是纵线则是x方向的偏移(displacement)，如果是横线则是y方向的偏移(displacement))的平均、以及误差最大的坐标位置和将其值作为线段信息。由此，步骤S7的处理结束，轮廓四边形提取处理进入步骤S8的处理。
在步骤S8的处理中，图像处理部47参照由步骤S7的处理作成的线段信息，判断是否存在包含相对于线段的倾斜度的误差的最大值为规定值以上的点的线段，在存在包含误差的最大值为规定值以上的点的线段的情况下，如图8所示，在该点(图8所示的例子中为点P)上将线段分割为2条线段。另外，分割点能被附加在分割后长度较短的线段上。此外，图像处理部47在线段长度为第1阈值以上的情况、或分割后的线段的长度为第2阈值以下的情况下不对线段进行分割。然后，图像处理部47在存在分割后的线段的情况下更新线段信息。由此，步骤S8的处理结束，轮廓四边形提取处理进入步骤S9的处理。
在步骤S9的处理中，图像处理部47参照由步骤S8的处理更新的线段信息，按照从长到短的顺序提取规定数目的长度为规定值以上的线段作为连接源线段，如图9所示，在满足以下3个条件的线段(连接目的线段)上连接连接源线段。然后，图像处理部47在连接了连接目的线段和连接源线段之后，由最小二乘法计算通过连接连接目的线段和连接源线段而形成的线段的起点和终点的坐标位置。由此，步骤S9的处理结束，轮廓四边形提取处理进入步骤S10的处理。
条件1：连接源线段和连接目的线段未离开规定值以上。
条件2：连接源线段未完全包含在连接目的线段中。
条件3：当延长连接源线段的起点或终点至连接目的线段时，所延长的部分与连接源线段的起点及终点的位置的误差不足规定值。
在步骤S10的处理中，如图10A及图10B所示，图像处理部47由实施了步骤S8及步骤S9的分割处理以及连接处理的纵向以及横向各个线段(line segment)作成四边形(quadrangle)的对边候补(candidate for a pairof facing edge lines；hereinafter simply referred to as“facing-lines candidate”)(在图10A、图10B所示的例子中，将线段H1和线段H2的配对作为横向的对边候补，将线段V1和线段V2的配对作为纵向的对边候补来表示)。具体来说，图像处理部47分别针对纵向及横向作成多组线段间距离为规定值以上、且一条线段的长度相对于另一条线段的比率处于规定的范围内(例如，1/3～3倍)的线段的配对作为对边候补。由此，步骤S10的处理结束，轮廓四边形提取处理进入步骤S11的处理。
在步骤S11的处理中，如图11所示，图像处理部47分别作成由步骤S10的处理作成的纵向以及横向的对边候补的组合。然后，图像处理部47针对各组合，计算对边候补的4个交点。此时，假设图像处理部47仅采用线段的倾斜度信息，在线段的延长上有交点即可。也就是说，也包括在所检测出的交点上实际未有线段交叉的情形。然后，图像处理部47作成多个以所计算出的4个交点为顶点的如图12所示的矩形候补S。由此，步骤S11的处理结束，轮廓四边形提取处理进入步骤S12的处理。
在步骤S12的处理中，图像处理部47计算由步骤S11的处理作成的矩形候补S的外周的长度L1。外周的长度L1能够通过将构成矩形候补S的4个顶点间的距离相加来计算。此外，图像处理部47，如图13所示，计算纵向以及横向的线段(line segments)L中处于矩形候补S的外周上的部分的长度的总和(total)作为长度L2。然后，图像处理部47采用如下所示的数学式1，计算线段L的长度总和L2相对于矩形候补S的外周的长度L1的比例作为各矩形候补S的点数(score)(矩形区域的概率(likelihood))(评价处理：scoring)。数学式1中，系数P意思是在超出构成矩形候补S的4个顶点(corner points)的线段(例如超出图13所示的区域R1、R2、矩形候补S的外周部而延伸出的线段)存在的情况下，用于减少矩形候补S的点数的处罚(penalty)系数，例如如果线段超出4个顶点的部分是0个，则设定为1.0，如果是1个部分，则设定为0.8，如果是2个部分，则设定为0.64，等。另外，处罚系数不限定为所述例子，例如在拍摄对象为定型，且预先知道纵横比率的情况下，能设为如果越偏离该比率，则处罚系数的值越重(设为1以下)，或者在知道拍摄对象的外周的长度的情况下，能设为与该外周的误差越大，则处罚系数的值越重(设为1以下)等，能为各种应用。由此，步骤S12的处理结束，轮廓矩形提取处理进入步骤S13的处理。
[1-数学式1]
Score＝L2/L1×100×P
在步骤S13的处理中，如图14A～14D所示，图像处理部47按照由步骤S12的处理计算出的点数从高到低的顺序、即概率从高到低的顺序将矩形候补S1～S4中的一个重叠(overlap)在摄影图像上，在液晶显示部19中显示。具体来说，如图15所示，图像处理部47配合用户对环形键17的操作，按照概率从高到低的顺序将矩形候补S1～S4循环地(circularly)显示在液晶显示部19中。另外，在图15所示的例子中，虽然按照概率从高到低的顺序将矩形候补显示在液晶显示部19中，但也能按照点数用色彩区分矩形候补同时显示在液晶显示部19中。
此外，由于有时在图像内存在多个拍摄对象，所以例如也能准备可切换ON/OFF的多个补偿模式，让用户能够选择是否针对多个矩形候补进行选择。具体来说，当多个补偿模式为OFF的情况下，例如如图16所示，图像处理部47配合用户对环形键17的操作，按照概率从高到低的顺序将矩形候补循环地(circularly)显示在液晶显示部19中，对于由用户选择出的矩形候补所围起来的区域的像素进行坐标转换等图像处理，之后，轮廓四边形提取处理结束。此外，当多个补偿模式为ON的情况下，例如如图17所示，图像处理部47配合用户对环形键17的操作，按照概率从高到低的顺序将矩形候补循环地显示在液晶显示部19中(图17中的部分(a)(b))，对于由用户选择出的矩形候补所围起来的区域的像素进行坐标转换等图像处理(图17中的部分(c))后，将未被用户选择的矩形候补作为可能的选择，进一步进行图像处理(图17中的部分(d)(e)(f))。由此，用户就能对多个拍摄对象依次(sequentially)选择正确的矩形候补来进行图像修整。由以上，步骤S13的处理结束，一系列的轮廓四边形提取处理结束。
如以上说明所知，根据构成第1实施方式的轮廓四边形提取处理，图像处理部47由摄影图像检测纵向和横向的线段信息，根据所检测出的纵向和横向的线段信息来作成构成矩形区域的纵向和横向的对边候补(facing-lines candidate)。此外，图像处理部47作成多个纵向的对边候补和横向的对边候补的组合(pairs of the facing-lines candidate for verticaledge lines and the facing-lines candidate for horizontal edge lines)，针对各组合(pairs)作成以纵向的对边候补和横向的对边候补的交点为顶点的矩形区域作为矩形候补S。然后，图像处理部47计算位于矩形候补S的外周上的线段L的长度的总和L2相对矩形候补S的外周的长度L1的比例，来作为各矩形候补S的点数，根据计算结果与摄影图像一起显示矩形候补S。因此，根据这样的轮廓矩形提取处理，能够在考虑所提取出的矩形候补S的概率之后，向用户提示矩形候补S。因此，根据进行所述轮廓四边形提取处理的数码照相机1，能够使用户顺利选择矩形候补S。另外，在所述说明中，作为向用户提示通过轮廓四边形提取处理而生成的多个矩形候补S的方法，以基于色彩区分的重叠显示的提示、基于循环的依次显示的提示为例进行了说明，但是并不特别限定针对用户的多个矩形候补S的提示方法。此外，也能不对用户提示所有由轮廓四边形提取处理所生成的多个矩形候补S，而按照所计算出的点数从高到低的顺序，限制作为提示对象的矩形候补S的数目。该情况下，能够减少提示给用户的矩形候补S的数目，防止用户选择操作的烦杂。
此外，在所述说明中，虽然说明了如下例子，即，向用户提示了由轮廓四边形提取处理所生成的多个矩形候补S之后，由用户选择在后续阶段(ate subsequent stage)作为图像处理的对象的矩形候补S，但是也能在后续阶段根据所计算出的点数来自动(automatically)选择作为图像处理的对象的矩形候补S。该情况下，不必向用户请求选择操作，能够在简化用户操作(simplifying user operation)的同时，使与后续阶段的图像处理相配合的一系列处理顺畅进行。
此外，在轮廓四边形提取处理的后续阶段，作为对所选择出的矩形候补S内的像素进行的图像处理，也能进行基于坐标转换的倾斜补偿处理、图像提取处理、放大/缩小处理、对比调整处理、标注(label)补偿处理等各种图像处理，或这些图像处理的组合。
(第2实施方式)
下面，针对本发明涉及的第2实施方式进行说明。在所述第1实施方式中，在由步骤S11的处理生成多个矩形候补S之后，对各矩形候补S进行评价(步骤S12)，根据评价后的结果依次向用户提示多个矩形候补S(步骤S13)。第2实施方式在如下一点上与第1实施方式不同，即，取代第1实施方式的步骤S12、S13的处理，按以下所说明的方式将多个矩形候补S分组。
第1实施方式所说明的例子是如下情况下的优选例，即，通过选择图像内所包含的拍摄对象、即矩形候补S作为图像处理的对象的图像内的区域的数目为1个至多个的情况。另一方面，第2实施方式中说明的例子是对包含多个以上类似拍摄对象的图像适用的情况(case、situation)下的优选例。作为这种情况下的具体的例子，例如，对相片集(photo album)进行俯视摄影(taking an overview image of)之后由摄影图像提取各照片的情况，对贴有多个备忘录的布告板进行摄影(taking a snapshot of a bulletinboard having a plurality of memos pinned down)之后提取各备忘录的情况等。
第2实施方式涉及的数码照相机1，在通过第1实施方式中所说明的轮廓四边形提取处理(步骤S1～S11)而在1个摄影图像中生成多个矩形候补S之后，通过执行以下的分组处理，根据重心坐标(coordinate of centerof gravity；hereinafter simply referred to as“center position”)以及大小(size)来对多个矩形候补S进行分组。以下，参照图18所示的流程图说明执行该分组处理时的数码照相机1的操作。
图18所示的流程图在所述轮廓四边形提取处理结束的计时处开始，分组处理进入步骤S21的处理。另外，控制部42内的CPU将存储在ROM中的计算机程序加载(load)到RAM中，通过执行加载到RAM中的计算机程序，来控制图像处理部47所进行的图像处理，从而实现如以下所示的数码照相机1的操作。
在步骤S21的处理中，图像处理部47计算各矩形候补S的重心坐标。具体来说，图像处理部47首先如图19A、19B所示计算矩形候补S的4个顶点的坐标(Ax，Ay)、(Bx，By)、(Cx、Cy)、(Dx、Dy)，采用以下所示的数学式2、3计算构成矩形候补S的三角形ABD以及三角形BDC的重心坐标G1、G2(参照图19A)。接着，图像处理部47采用以下所示的数学式4，5计算构成矩形候补S的三角形ABC以及三角形ACD的重心坐标G3、G4(参照图19B)。然后图像处理部47计算连接重心G1、G2的直线以及连接重心G3、G4的直线，计算由以下所示的数学式6所表示的2个直线的交点K(Kx，Ky)作为矩形候补S的重心坐标。更具体来说，在当前由轮廓四边形提取处理如图20A所示在1个摄影图像中生成5个矩形候补S1～S5的情况下，图像处理部47如图20B所示计算矩形候补S1～S5的4个顶点坐标和重心坐标。由此，步骤S21的处理结束，分组处理进入步骤S22的处理。
[2-数学式2]
G1＝((Ax+Bx+Dx)/3，(Ay+By+Dy)/3)
[2-数学式3]
G2＝((Bx+Dx+Cx)/3，(By+Dy+Cy)/3)
[2-数学式4]
G3＝((Ax+Bx+Cx)/3，(Ay+By+Cy)/3)
[2-数学式5]
G4＝((Ax+Cx+Dx)/3，(Ay+Cy+Dy)/3)
[2-数学式6]
Kx＝((G3y-((G4y-G3y)/(G4x-G3x))G3x)-(G1y-((G2y-
G1y)/(G2x-G1x))G1x))/
((G2y-G1y)/(G2x-G1x)-(G4y-G3y)/(G4x-G3x))
Ky＝(((G4y-G3y)/(G4x-G3x))(G1y-((G2y-G1y)/(G2x-
G1x))G1x))-(((G2y-G1y)/(G2x-G1x))(G3y-((G4y-
G3y)/(G4x-G3x))G3x))/
(((G2y-G1y)/(G2x-G1x))-((G4y-G3y)/(G4x-G3x)))
在步骤S22的处理中，图像处理部47针对由步骤S21的处理所计算出的各矩形候补S的重心坐标，判断是否存在XY方向的坐标值的差的绝对值的合计值为规定阈值α的重心坐标的组。具体来说，在对矩形候补S1的重心坐标(X1，Y1)执行处理的情况下，图像处理部47判断是否存在满足数学式：|X1-X2|+|Y1-Y2|≤α的重心坐标(X2，Y2)的组。然后，判断结果中，在XY方向的坐标值的差的绝对值的合计值为规定阈值α以下的重心坐标的组(重心坐标的位置较近的矩形候补的组)存在的情况下，图像处理部47以步骤S23的处理将该重心坐标登录至有关重心坐标的组，之后，使分组处理进入步骤S25的处理中。另一方面，在XY方向的坐标值的差的绝对值的合计值为规定值α以下的重心坐标的组不存在情况下，图像处理部47以步骤S24的处理，作成新的重心坐标的组，将该重心坐标登录至所作成的新的重心坐标的组后，使分组处理进入步骤S25的处理。另外，作为分组的方法，能考虑各种方法，例如能考虑将组特有识别信息附加至重心坐标的属性信息中的方法等。
在步骤S25的处理中，图像处理部47判断是否对由步骤S21的处理计算出的全部重心坐标执行了所述步骤S22的处理。然后，在判别结果为未对由步骤S21的处理计算出的全部重心坐标执行所述步骤S22的处理的情况下，图像处理部47使分组处理返回步骤S22的处理。另一方面，在对由步骤S21的处理计算出的全部重心坐标执行了所述步骤S22的处理的情况下，图像处理部47使分组处理进入步骤S26的处理。
在步骤S26的处理中，图像处理部47采用以下数学式7计算各矩形候补S的外周的长度L。具体来说，在当前如图20A所示生成5个矩形候补S1～S5的情况下，图像处理部47如图20B所示针对各个矩形候补S1～S5来计算外周的长度L。由此，步骤S26的处理结束，分组处理进入步骤S27的处理。
[2-数学式7]
L=((Bx-Ax)^2+(By-Ay)^2)+((Dx-Bx)^2+(Dy-By)^2)+]]>
((Cx-Dx)^2+(Cy-Dy)^2)+((Ax-Cx)^2+(Ay-Cy)^2)]]>
在步骤S27的处理中，图像处理部47针对各重心坐标的组，判断是否包含由步骤S26的处理计算出的外周的长度L不在规定的阈值±β的范围内的矩形候补S。然后，由判断结果，在包含这样的矩形候补S的情况下，图像处理部47以步骤S28的处理，作成新的重心坐标的组(重心坐标的位置较近但大小不同的矩形候补的组)，将与该矩形候补S相对应的重心坐标登录至所作成的新的重心坐标的组中之后，分组处理进入步骤S29的处理。另一方面，在不包含这样的矩形候补S的情况下，图像处理部47使分组处理进入步骤S29的处理。
在步骤S29的处理中，图像处理部47判断是否对所有重心坐标的组都执行了所述步骤S27的处理。然后，由判断结果，在未对所有重心坐标的组执行所述步骤S27的处理的情况下，图像处理部47使分组处理返回步骤S27的处理。另一方面，在对所有重心坐标的组都执行了所述步骤S27的处理的情况下，图像处理部47使一系列的分组处理结束。
通过该分组处理，对1个摄影图像中所包含的所有矩形候补S，根据其重心坐标(center position)和大小(size)来分组。
另外，在所述说明中，说明了如下情况的例子，即，计算矩形候补S的外周的长度L，并利用外周的长度L作为表示在进行矩形候补S的分组时所使用的各矩形候补S的大小(size)的信息。然而，图像处理部47也能代替外周的长度L，例如利用矩形候补S的四边的长度的平均值Z、矩形候补S的内部面积、或矩形候补S的对角线长度的平均值等作为表示大小的信息，进行矩形候补S的分组。
所述数码照相机1在所述分组处理结束后，通过执行以下的矩形候补选择处理，即使在1个摄影图像中存在多个矩形候补S的情况下，用户也能顺利(smoothly)选择所希望的矩形候补S。以下，参照图21所示的流程图，说明执行该选择处理时的数码照相机1的操作。
图21所示的流程图在所述分组处理结束的计时处开始，选择处理进入步骤S31的处理。另外，以下，根据所述轮廓四边形提取处理，如图22所示提取A、B1、B2、C1、C2、D1、D2、E1、E2、F1、F2、G1、G2、H1、H2、I1、I2总计17个矩形候补，采用由所述分组处理如图23、24、25所示根据重心坐标(X，Y)和大小(四边的长度的平均值)Z的组合对这些矩形候补进行分组后得到例子来具体说明选择处理。此外，控制部42内的CPU将存储在ROM中的计算机程序加载到RAM中，通过执行加载在RAM中的计算机程序来实现以下所示的数码照相机1的操作。
在步骤S31的处理中，控制部42判断进否操作了环形键17。然后，在操作环形键17的计时下，选择处理进入步骤S32的处理。
在步骤S32的处理中，为了能识别选择出的矩形候补S，控制部42突出显示(highlight)由环形键17所选择的矩形候补S(补偿候补)。具体来说，在由环形键17选择了图22所示的最大的矩形候补A的情况下，控制部42通过将矩形候补A的框的颜色由白色变为绿色，从而突出显示(highlight)矩形候补A。由此，步骤S32的处理结束，选择处理进入步骤S33的处理。
在步骤S33的处理中，控制部42判断用户是否通过按压操作确定键18将由步骤S32的处理所选择出的矩形候补S决定为补偿候补。由判断结果，在确定键18未被按压操作的情况下，控制部42使选择处理返回至步骤S31的处理。另一方面，确定键18被按压操作的情况下，控制部42使选择处理进入步骤S34的处理。
另外，在图22所示的例子中，在选择矩形候补A的状态下，在用户向下方操作环形键17而不是确定键18的情况下，控制部42根据图24、25所示的分组结果，突出显示矩形候补的大小接近矩形候补A的大小的组(换句话来说，处于Z轴上最接近矩形候补A的组)中所属的矩形候补B1。然后，在突出显示矩形候补B1的状态下，在用户进一步向下方操作环形键17的情况下，控制部42在XY平面内，突出显示与矩形候补B1属于同一个组的矩形候补B2。
另一方面，在矩形候补B1被突出显示的状态下，当用户向右方操作环形键17时，控制部42突出显示Z轴上与矩形候补B1属于同一个组、并且在XY平面上属于与右周边相邻的组(重心坐标位置较近的组)的矩形候补C1。此外，在突出显示矩形候补B1的状态下，当用户向左操作环形键17时，控制部42突出显示Z轴上与矩形候补B1属于同一个组、并且在XY平面上属于与左周边相邻的组(重心坐标位置较近的组)的矩形候补F1。
此外，在突出显示矩形候补C1的状态下，当用户向右操作环形键17时，控制部42突出显示Z轴上与矩形候补C1属于同一个组、并且在XY平面上属于与右周边相邻的组的矩形候补G1。另外，控制部42在Z轴上由1个组向其他组转移的情况下，给出规定的偏移量后，突出显示下一个组内的矩形候补。这是由于，在用户改变矩形候补的大小来搜索时，将大小几乎相同但位置相异的矩形候补作为补偿候补来突出显示也没有意义。具体来说，作为矩形候补B2的下一个，控制部42突出显示矩形候补E1，而不是若干比矩形候补B2小的补偿候补C1、C2或补偿候补G1、G2。以上的状态转移的一个例子如图26图示。
在步骤S34的处理中，图像处理部47计算以由步骤S33的处理决定的矩形候补作为矩形区域的映射变换矩阵，通过将计算出的映射变换矩阵应用于由矩形候补和该矩形候补围起来的像素值，从而生成矩形图像。由此，步骤S34的处理结束，选择处理进入步骤S35的处理。
在步骤S35的处理中，图像处理部47消去由步骤S33的处理决定的矩形候补所属于的重心坐标组中包含的所有重心坐标所对应的矩形候补的显示。由此，步骤S35的处理结束，选择处理进入步骤S36的处理。
在步骤S36的处理中，控制部42判断用户是否通过操作键输入部49而指示了选择操作结束。由判断结果，在未指示选择操作结束的情况下，控制部47使选择处理返回步骤S31的处理。另一方面，在指示了选择操作结束的情况下，控制部42结束一系列的选择处理。
由以上说明可知，根据构成第2实施方式的数码照相机1，图像处理部47根据重心坐标和大小来对多个矩形候补S分组，从多个矩形候补S之中选择图像处理所采用的矩形候补S，根据分组处理的结果，消去选择出的矩形候补S所属于的组内包含的矩形候补S的显示。根据这样的结构，即使在存在多个重心位置和大小有细微不同(differs in small degree)的矩形候补S的情况下，也能够顺利选择用户所希望的矩形候补。
在以上的说明中，虽然说明了数码照相机1作为本发明涉及的第1以及第2实施方式，但是也能将本发明应用于对运动图像进行拍摄的数码摄像机、具有拍摄部分的图像处理装置等中。即，也能由存储卡、USB缆线等取得采用外部拍摄装置拍摄的图像，进行所述实施方式中所示的一系列的轮廓四边形提取处理。此外，在所述实施方式中，按照评分从高到低的顺序来提示矩形候补，在用户选择后进行基于坐标转换的补偿，但是也能从评分较高的矩形候补开始由坐标转换对矩形候补进行补偿，依次提示该补偿结果，由用户选择最优选的矩形候补。
应当明白，本发明并未限定于所述具体实施方式，本发明能够用未脱离本发明意图和范围的组成来表现。本发明能够通过适当组合所述实施方式中所揭示的组成而体现为各种形式。例如，某些组成能够从所述实施方式中的所有组成中删除。更进一步地，不同实施方式中的组成能被适当组合。