收藏
下载资源 加入会员免费下载

图像处理装置、图像处理程序、图像处理方法.pdf

上传人：54 文档编号：1119000 上传时间：2018-04-01 格式：PDF 页数：101 大小：4.75MB
返回 下载 相关 举报
摘要
申请专利号：

CN200780024610.3

 申请日：

2007.06.15
公开号：

CN101480057A

 公开日：

2009.07.08
当前法律状态：

授权

 有效性：

有权
法律详情：

授权|||实质审查的生效|||公开
IPC分类号：

H04N9/07

 主分类号：

H04N9/07
申请人：

奥林巴斯株式会社
发明人：

佐佐木宽
地址：

日本东京
优先权：

2006.6.29 JP 180434/2006; 2007.2.20 JP 039922/2007
专利代理机构：

北京三友知识产权代理有限公司

 代理人：

黄纶伟
PDF下载： PDF下载
内容摘要

一种图像处理装置，其具有：各插补G计算部(203、204、205)，其针对RGB拜尔排列图像中的G像素欠缺位置的X(X为R或B)像素计算多种G插补候选Gt；减法部(209、210、211)，其根据G插补候选Gt计算多种色差候选X-Gt；周边相似度计算部(215、216、217)，其根据色差候选X-Gt和基于相同种类t的G插补候选Gt针对周边位置计算出的X的色差候选X-Gt来计算色差相似度，相应于色差相似度将基于多种G插补候选Gt中的一个G插补候选Gp计算出的色差候选X-Gp选为色差；判定部(218)；和色差选择部(219)，该图像处理装置既能够充分抑制伪色的产生以及析像度的下降，又能够不使饱和度下降地插补欠缺颜色信号。

权利要求书

1.  一种图像处理装置，根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像，其特征在于，上述图像处理装置具有：
插补候选计算单元，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；
色差候选计算单元，其根据计算出的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及
最优色差选择单元，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)为相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算出的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)、和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算出的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)中的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，且1≦p≦M。

2.  根据权利要求1所述的图像处理装置，其特征在于，
上述最优色差选择单元根据上述色差候选X(x0，y0)—Gt(x0，y0)和相对于该色差候选X(x0，y0)—Gt(x0，y0)为相同颜色X的色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度来计算上述色差相似度。

3.  根据权利要求2所述的图像处理装置，其特征在于，
上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与已选择的色差候选X(x0，y0)—Gp(x0，y0)对应的G插补候选Gp(x0，y0)作为该位置(x0，y0)的G像素值来输出。

4.  根据权利要求3所述的图像处理装置，其特征在于，上述图像处理装置还具有：
色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，上述插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算出的该位置的周边的相同颜色的色差来进行插补的处理；以及
RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元计算出的色差、以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。

5.  根据权利要求2所述的图像处理装置，其特征在于，
上述插补候选计算单元具有：
第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；
第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及
第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。

6.  根据权利要求5所述的图像处理装置，其特征在于，
上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，根据以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
            +G(x0，y0+1)}×α
            —{G(x0—2，y0—1)+G(x0—2，y0+1)
            +G(x0+2，y0—1)+G(x0+2，y0+1)
            +G(x0—1，y0—2)+G(x0—1，y0+2)
            +G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。

7.  根据权利要求5所述的图像处理装置，其特征在于，
上述色差候选计算单元具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对X像素进行了频带限制的修正像素XL；上述色差候选计算单元在根据由上述第三插补计算单元计算出的G插补候选来计算色差候选时，采用该修正像素XL。

8.  根据权利要求5所述的图像处理装置，其特征在于，
上述最优色差选择单元具有：
G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及
乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数，上述G插补候选是由上述第三插补计算单元计算的。

9.  根据权利要求5所述的图像处理装置，其特征在于，
上述最优色差选择单元具有选择单元，作为根据由上述第一插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：
在位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选之间未进行加权而计算出的相似度；以及
对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于上下的两个色差候选进行加权而计算出的相似度。

10.  根据权利要求5所述的图像处理装置，其特征在于，
上述最优色差选择单元具有选择单元，作为根据由上述第二插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：
在位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选之间不进行加权而计算出的相似度；以及
对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于左右的两个色差候选进行加权而计算出的相似度。

11.  根据权利要求2所述的图像处理装置，其特征在于，
上述相似度是G像素欠缺位置的色差候选、与位于该G像素欠缺位置的周边的一个以上的相同颜色X且相同种类t的色差候选的差分绝对值和；
上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。

12.  根据权利要求2所述的图像处理装置，其特征在于，
该图像处理装置还具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对上述X(x0，y0)进行了频带限制的XL(x0，y0)；
上述色差候选计算单元根据计算出的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)或XL(x0，y0)—Gt(x0，y0)；
上述最优色差选择单元根据上述相似度，选择基于M种该G插补候选Gt(x0，y0)中的1个G插补候选Gp(x0，y0)或Gq(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)来作为色差，这里，1≦p≦M，1≦q≦M。

13.  根据权利要求12所述的图像处理装置，其特征在于，
上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与选择出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)对应的G插补候选Gp(x0，y0)或Gq(x0，y0)作为该位置(x0，y0)的G像素值来输出。

14.  根据权利要求13所述的图像处理装置，其特征在于，该图像处理装置还具有：
色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，上述插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算出的该位置的周边的相同颜色的色差来进行插补的处理；以及
RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元计算出的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。

15.  根据权利要求12所述的图像处理装置，其特征在于，
上述插补候选计算单元具有：
第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；
第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及
第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。

16.  根据权利要求15所述的图像处理装置，其特征在于，
上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近处的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，基于以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
            +G(x0，y0+1)}×α
            —{G(x0—2，y0—1)+G(x0—2，y0+1)
            +G(x0+2，y0—1)+G(x0+2，y0+1)
            +G(x0—1，y0—2)+G(x0—1，y0+2)
            +G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。

17.  根据权利要求15所述的图像处理装置，其特征在于，
上述最优色差选择单元具有：
G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及
乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数，上述G插补候选是由上述第三插补计算单元计算出的。

18.  根据权利要求15所述的图像处理装置，其特征在于，
上述最优色差选择单元具有选择单元，作为根据由上述第一插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：
在位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选之间未进行加权而计算出的相似度；以及
对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于上下的两个色差候选进行加权而计算出的相似度。

19.  根据权利要求15所述的图像处理装置，其特征在于，
上述最优色差选择单元具有选择单元，作为根据由上述第二插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：
在位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选之间未进行加权而计算出的相似度；以及
对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于左右的两个色差候选进行加权而计算出的相似度。

20.  根据权利要求12所述的图像处理装置，其特征在于，
上述相似度是G像素欠缺位置的色差候选、与位于该G像素欠缺位置周边的一个以上的相同颜色X且相同种类t的色差候选的差分绝对值和；
上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。

21.  一种图像处理程序，用于使计算机执行以下处理，该处理为根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像，该图像处理程序的特征在于，其用于使计算机执行以下步骤：
插补候选计算步骤，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；
色差候选计算步骤，其根据已计算出的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及
最优色差选择步骤，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)为相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算出的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)、和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算出的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)中的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，且1≦p≦M。

22.  一种图像处理方法，用于根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像，其特征在于，该图像处理方法具有以下步骤：
插补候选计算步骤，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；
色差候选计算步骤，其根据计算出的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及
最优色差选择步骤，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)为相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算出的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)、和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算出的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)中的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，且1≦p≦M。

23.  根据权利要求1所述的图像处理装置，其特征在于，
上述最优色差选择单元根据上述色差候选X(x0，y0)—Gt(x0，y0)和相对于该色差候选X(x0，y0)—Gt(x0，y0)为相同颜色X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度、以及基于颜色X^与该色差候选X(x0，y0)—Gt(x0，y0)不同的多个色差候选X＾(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度，来计算上述色差相似度。

24.  根据权利要求23所述的图像处理装置，其特征在于，
上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与已选择的色差候选X(x0，y0)—Gp(x0，y0)对应的G插补候选Gp(x0，y0)作为该位置(x0，y0)的G像素值输出。

25.  根据权利要求24所述的图像处理装置，其特征在于，上述图像处理装置还具有：
色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，上述插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算的该位置的周边的相同颜色的色差来进行插补的处理；以及
RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。

26.  根据权利要求23所述的图像处理装置，其特征在于，
上述插补候选计算单元具有：
第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；
第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及
第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。

27.  根据权利要求26所述的图像处理装置，其特征在于，
上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近处的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，根据以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
            +G(x0，y0+1)}×α
            —{G(x0—2，y0—1)+G(x0—2，y0+1)
            +G(x0+2，y0—1)+G(x0+2，y0+1)
            +G(x0—1，y0—2)+G(x0—1，y0+2)
            +G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。

28.  根据权利要求26所述的图像处理装置，其特征在于，
上述色差候选计算单元具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对X像素进行了频带限制的修正像素XL；上述色差候选计算单元在根据由上述第三插补计算单元计算出的G插补候选来计算色差候选时，采用该修正像素XL。

29.  根据权利要求26所述的图像处理装置，其特征在于，
上述最优色差选择单元具有：
G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及
乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数，上述G插补候选是由上述第三插补计算单元计算的。

30.  根据权利要求23所述的图像处理装置，其特征在于，
上述相似度是相同颜色X且相同种类t的色差候选彼此间的差分绝对值的和；
上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。

31.  根据权利要求23所述的图像处理装置，其特征在于，
该图像处理装置还具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对上述X(x0，y0)进行了频带限制的XL(x0，y0)；
上述色差候选计算单元根据已计算的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)或XL(x0，y0)—Gt(x0，y0)；
上述最优色差选择单元根据上述相似度，选择基于M种该G插补候选Gt(x0，y0)中的1个G插补候选Gp(x0，y0)或Gq(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)，来作为色差，这里，1≦p≦M，1≦q≦M。

32.  根据权利要求31所述的图像处理装置，其特征在于，
上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与选择出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)对应的G插补候选Gp(x0，y0)或Gq(x0，y0)作为该位置(x0，y0)的G像素值来输出。

33.  根据权利要求32所述的图像处理装置，其特征在于，该图像处理装置还具有：
色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，上述插补处理是将上述最优色差选择单元没有计算色差的位置的色差根据该最优色差选择单元所计算的该位置的周边的相同颜色的色差来进行插补的处理；以及
RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算出的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。

34.  根据权利要求31所述的图像处理装置，其特征在于，
上述插补候选计算单元具有：
第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；
第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及
第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。

35.  根据权利要求34所述的图像处理装置，其特征在于，
上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近处的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，基于以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
            +G(x0，y0+1)}×α
            —{G(x0—2，y0—1)+G(x0—2，y0+1)
            +G(x0+2，y0—1)+G(x0+2，y0+1)
            +G(x0—1，y0—2)+G(x0—1，y0+2)
            +G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。

36.  根据权利要求34所述的图像处理装置，其特征在于，
上述最优色差选择单元具有：
G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及
乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数，上述G插补候选是由上述第三插补计算单元计算出的。

37.  根据权利要求31所述的图像处理装置，其特征在于，
上述相似度是相同颜色X且相同种类t的色差候选彼此间的差分绝对值的和；
上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。

说明书

图像处理装置、图像处理程序、图像处理方法
技术领域
本发明涉及由RGB拜尔(bayer)排列图像生成使采样位置同步化的彩色图像的图像处理装置、图像处理程序、图像处理方法。
背景技术
对光学像进行摄像来取得电气的彩色图像的摄像装置主要分为以下两种结构：一种是在一个像素位置上可获得三种颜色(例如，RGB三原色)的信号的3板摄像元件结构的摄像装置；另一种是在每个像素位置上仅能获得三种颜色信号中的一种颜色信号的单板摄像元件结构的摄像装置。
当前市场销售的数字照相机一般采用单板摄像元件结构的摄像装置。另一方面，关于当前市场销售的数字摄像照相机，处于3板摄像元件结构的摄像装置和单板摄像元件结构的摄像装置同时存在的状态。
当将摄像装置作成3板摄像元件结构时，在摄像时在摄像图像的各像素位置上可获得三种颜色信号，所以一般情况下是高画质，不过构造较复杂，部件数也较多，因此价格不菲。
另一方面，当将摄像装置作成单板摄像元件结构时，与3板摄像元件结构相比存在构造简单的优点，但为了取得三种颜色信号，而需要按每一像素将R、G、B滤波器配置为马赛克状(参照本发明的图5所示的拜尔排列)，这样在摄像图像的各个像素位置上只能获得单一色的信号。因此，在这种拜尔排列的单板摄像元件结构的摄像元件中，在各个像素位置中采用周边像素位置的颜色信号来插补欠缺的颜色信号，由此获得每像素的三种颜色信号。
但是，如上所述的拜尔排列将2×2像素作为像素排列的基本单位，在该2×2像素中的一个对角方向上配置2像素的G滤波器，在另一个对角方向上将R滤波器和B滤波器各配置1个像素。因此，G像素的采样密度为R像素的采样密度及B像素的采样密度的2倍的密度。当采用这样的、根据颜色信号而采样密度不同的摄像元件进行摄像时，在边缘等具有高空间频率的摄像区域中，可用G信号来表现的高空间频率，由于R信号和B信号而返回到低频率侧。由此可知，当对每一颜色信号进行插补处理时，在边缘部及其附近等中，有时产生伪色(本来不存在的颜色)。
降低这样的伪色的最简单的方法就是将透镜或光学低通滤波器的特性降低到可再现拜尔排列的R信号或B信号的采样间隔的空间频率，使该空间频率的光学像在摄像元件上成像。但是，当采用该方法时，仅能够获得可再现的空间频率的一半空间频率的摄像图像，从而成为析像度低的模糊图像。因此，一般将光学系统设计成：在摄像元件上成像的光学像的析像度成为在G信号的采样间隔中不产生因返回失真引起的莫尔条纹的空间频率特性。
关于采用这种设计的光学系统、且进行伪色降低的技术，一直以来提出了各种各样的技术。
例如特开平8—237672号公报中记载了如下的技术：即进行将三种颜色(R、G、B)信号的插补位置在水平方向以及垂直方向上都作为像素彼此的中间位置的插补处理。该技术所关注的是当向上述位置进行插补处理时，可以在那奎斯特(Nyquist)频率的一半频率下使R、G、B的各个频率特性近似。该公报所述的技术虽然能够实现伪色降低，但在包含临近那奎斯特频率的频率分量的边缘区域内的伪色抑制是不够的。而且，该公报所述的技术在水平、垂直方向上都是对半像素位置插补像素，所以产生取决于该插补滤波器的频率特性的高频分量的减衰是无法避免的，从而导致析像度降低。
另外，作为与在图像内利用具有均匀特性的滤波器来实现如上述特开平8—237672号公报中的各颜色信号的插补处理不同的其他伪色降低的技术，提出了与图像局部区域的G信号相似度、G信号和R信号的颜色信号间相似度、G信号和B信号的颜色信号间相似度中至少一个的方向依存相适应地切换插补滤波器的方法。
例如，在美国专利第5,382,976号中记载了如下技术：针对欠缺的G信号，计算该G信号的像素位置周边的四个G信号间的水平方向的相似度以及垂直方向的相似度(当参照本发明的图8～图10来进行说明时，垂直相似度＝|G1—G2|以及水平相似度＝|G3—G4|)，仅使用相似度更高的方向的像素来进行插补。然后，根据计算的相似度，从G插补候选{(G1+G2)/2，(G3+G4)/2，(G1+G2+G3+G4)/4}中选择一个G插补候选来作为欠缺的G信号的插补值，该G插补候选由采用了本发明中图8～图10所示的G信号的三个线性插补方法而得到。
但是，在该技术中，例如日本特开平11—275373号公报所述，在水平方向和垂直方向的G信号的相似度相同的情况下，有时选择了(G1+G2+G3+G4)/4而没有进行最优的插补选择，此时存在产生插补误差的问题。
而且，在上述日本特开平11—275373号公报中记载了改进该问题的技术。即，该公报所记载的技术是根据生成插补G信号的像素位置的R信号或B信号、和周边的四个G信号(如本发明中图8～图10所示的G1、G2、G3、G4)的相似度(垂直相似度＝|X—G1|+|X—G2|，水平相似度＝|(X—G3|+|X—G4|，(这里，X是R信号或B信号。))，从垂直插补、水平插补、对这两个插补进行了加权平均后的插补中选择一个。当采用该技术时，具有能够有效降低地无彩色边缘区域的伪色的优点，不过在饱和度高的区域内存在饱和度降低的情况。
伪色在无彩色的边缘区域中能很明显地被检测到。无彩色区域是R信号、G信号和B信号为大致相同值的区域，该区域表示R信号针对G信号的比、以及B信号针对G信号的比大致为1的区域。伪色是由于这些R信号、G信号和B信号之比在进行插补处理后与原本应该取得的比即1不同(背离)而产生的。
上述日本特开平11—275373号公报中所述的技术是从多个预先准备的插补候选中选择R信号针对G信号的比、或B信号针对G信号的比接近1的插补，所以必然能够抑制在无彩色区域内产生伪色。
但是，如果采用该技术，则即使关于R信号针对G信号的比、或B信号针对G信号的比原本就与1不同的有彩色区域，也与无彩色区域相同，选择R信号针对G信号的比、或B信号针对G信号的比接近1的插补，所以具有使有彩色区域中原本应该再现的饱和度降低这样的问题。
举简单的例子对该问题进行说明。即，这里考虑了水平方向的颜色是相同的，在垂直方向上颜色没有变化这样的区域。
关于拜尔排列中的包含R信号的某1行，将R信号的值全部设为固定值200，G信号的值全部设为固定值10。此外，位于该关注行上方的行上的G信号的值全部设为固定值5，位于该关注行下方的行上的G信号的值全部设为固定值45。另外，因为是简单进行说明所以不考虑关注行上下方的行中的B信号。
针对这样具体的数值例，当使用上述日本特开平11—275373号公报中所述的技术时，垂直相似度为|200—5|+|200—45|＝350，水平相似度为|200—10|+|200—10|＝380，由此可判定为垂直相似度高于水平相似度。因此，原本应该选择水平插补，但却选择了垂直插补，在关注行的R信号位置上取得的G信号插补值成为了(5+45)/2＝25。在该情况下，该关注行的色差R—G为200—25＝175，成为小于原本应该再现的色差R—G＝200—10＝190的值，所以导致饱和度降低。
在上述的现有技术中，根据周边的颜色信号，对单板摄像元件所摄像的各像素1颜色的拜尔排列图像插补欠缺颜色信号，在针对各个像素生成具有多个颜色的颜色信号的彩色图像时，有时会在边缘部分中产生伪色，或者为了降低该伪色而产生析像度降低，或者在适用了适应插补方法且该适应插补方法利用了用于抑制这些伪色或析像度降低的像素相关时，产生由误适应导致的画质劣化。这样，在现有技术中无法充分地抑制伪色的产生、析像度的降低以及饱和度的降低。
发明内容
鉴于上述情况，本发明的目的是提供如下图像处理装置、图像处理程序、图像处理方法，即：其可在充分地抑制伪色产生及析像度降低且不使饱和度降低的情况下进行RGB拜尔排列图像中的欠缺颜色信号的插补。
为了实现上述目的，第一发明的图像处理装置，根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像，其特征是图像处理装置具有：插补候选计算单元，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；色差候选计算单元，其根据已计算的M种G插补候选Gt(x0，y0)，来计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及最优色差选择单元，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算出的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)内的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，且1≦p≦M。
根据第一发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的彩色图像。
另外，第二发明的图像处理装置在上述第一发明的图像处理装置中，上述最优色差选择单元根据上述色差候选X(x0，y0)—Gt(x0，y0)、和相对于该色差候选X(x0，y0)—Gt(x0，y0)为相同颜色X的色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度来计算上述色差相似度。
根据第二发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的彩色图像。
而且，第三发明的图像处理装置在上述第二发明的图像处理装置中，上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与已选择的色差候选X(x0，y0)—Gp(x0，y0)对应的G插补候选Gp(x0，y0)作为该位置(x0，y0)的G像素值来输出。
根据第三发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的高析像度的彩色图像。
第四发明的图像处理装置在上述第三发明的图像处理装置中还具有：色差插补单元，在上述最优色差选择单元未计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，该插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算的该位置周边的相同颜色的色差来进行插补的处理；以及RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算出的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。
根据第四发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的高析像度的彩色图像。
第五发明的图像处理装置在上述第二发明的图像处理装置中，上述插补候选计算单元具有：第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。
根据第五发明，准备了对水平边缘、垂直边缘、这些以外的区域适用的插补候选，所以可选择与图像相适应的插补，并且不用依存边缘的方向就能够降低伪色，从而可抑制水平、垂直方向的析像度降低。
第六发明的图像处理装置在上述第五发明的图像处理装置中，上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，根据以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
           +G(x0，y0+1)}×α
           —{G(x0—2，y0—1)+G(x0—2，y0+1)
           +G(x0+2，y0—1)+G(x0+2，y0+1)
           +G(x0—1，y0—2)+G(x0—1，y0+2)
           +G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
根据第六发明，准备了对斜方向的边缘区域适用的插补候选，所以即使对斜方向的边缘也能够进一步降低伪色的产生，从而能够抑制斜方向的析像度降低。
第七发明的图像处理装置在上述第五发明的图像处理装置中，上述色差候选计算单元具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对X像素进行了频带限制的修正像素XL，该上述色差候选计算单元在根据由上述第三插补计算单元计算的G插补候选来计算色差候选时，采用该修正像素XL。
根据第七发明，在将与R像素或B像素相对的频率特性修正为近似于邻接4像素的G像素插补的频率特性之后计算色差，所以能够降低由频率特性的不同而引起的伪色。
第八发明的图像处理装置在上述第五发明的图像处理装置中，上述最优色差选择单元具有：G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及乘法单元，其使根据G插补候选来计算的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数相乘，该G插补候选是由上述第三插补计算单元计算出的。
根据第八发明，可抑制在图像平坦部中由于噪音等导致频繁切换多个G插补候选的误选择而产生的不自然的失真图案。
第九发明的图像处理装置在上述第五发明的图像处理装置中，上述最优色差选择单元具有选择单元，作为根据由上述第一插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：在位于该G像素欠缺位置的周围最附近的8个相同颜色X且相同种类t的色差候选之间不进行加权而计算出的相似度；以及对位于该G像素欠缺位置的周围最附近的8个相同颜色X且相同种类t的色差候选中的位于上下的两个色差候选进行加权而计算出的相似度。
根据第九发明，能够在陡峭的垂直边缘部中更可靠地选择上下邻接G像素插补，所以能够抑制伴随着可在该边缘边界部上误选择时产生的插补的图像劣化。
第十发明的图像处理装置在上述第五发明的图像处理装置中，上述最优色差选择单元具有选择单元，作为根据由上述第二插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：在位于该G像素欠缺位置的周围最附近的8个相同颜色X且相同种类t的色差候选之间不进行加权而计算出的相似度；以及对位于该G像素欠缺位置的周围最附近的8个相同颜色X且相同种类t的色差候选中的位于左右的两个色差候选进行加权而计算出的相似度。
根据第十发明，能够在陡峭的垂直边缘部中更可靠地选择左右邻接G像素插补，所以能够抑制伴随着可在该边缘边界部上误选择时产生的插补的图像劣化。
第十一发明的图像处理装置在上述第二发明的图像处理装置中，上述相似度是G像素欠缺位置的色差候选、与位于该G像素欠缺位置周边的一个以上的相同颜色X且相同种类t的色差候选的差分绝对值和，上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，将该选择单元所选择的色差候选作为色差。
根据第十一发明，既能够将进行硬件化时的电路规模抑制得较小，又能够决定最优的色差和G像素插补。
根据第十二发明的图像处理装置在上述第二发明的图像处理装置中，该图像处理装置还具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对上述X(x0，y0)进行了频带限制的XL(x0，y0)，上述色差候选计算单元根据已计算的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)或XL(x0，y0)—Gt(x0，y0)；上述最优色差选择单元根据上述相似度，选择基于M种该G插补候选Gt(x0，y0)内的1个G插补候选Gp(x0，y0)或Gq(x0，y0)而计算的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)来作为色差，这里，1≦p≦M，1≦q≦M。
根据第十二发明，可抑制从由单板摄像元件摄像的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的彩色图像。
第十三发明的图像处理装置在上述第十二发明的图像处理装置中，上述最优色差选择单元具有G插补值输出单元，将与选择出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)对应的G插补候选Gp(x0，y0)或Gq(x0，y0)，作为该位置(x0，y0)的G像素值来输出。
根据第十三发明，可抑制从由单板摄像元件摄像的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的高析像度的彩色图像。
第十四发明的图像处理装置在上述第十三发明的图像处理装置中还具有：色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，该插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算的该位置周边的相同颜色的色差来进行插补的处理；以及RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算出的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。
根据第十四发明，可抑制从由单板摄像元件摄像的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的高析像度的彩色图像。
第十五发明的图像处理装置在上述第十二发明的图像处理装置中，上述插补候选计算单元具有：第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。
根据第十五发明，准备了对水平边缘、垂直边缘、这些以外的区域适用的插补候选，所以可选择与图像相适应的插补，并且不用依存边缘的方向就能够降低伪色，从而可抑制水平、垂直方向的析像度降低。
第十六发明的图像处理装置在上述第十五发明的图像处理装置中，上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，基于以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
            +G(x0，y0+1)}×α
            —{G(x0—2，y0—1)+G(x0—2，y0+1)
            +G(x0+2，y0—1)+G(x0+2，y0+1)
            +G(x0—1，y0—2)+G(x0—1，y0+2)
+G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
根据第十六发明，准备了对斜方向的边缘区域适用的插补候选，所以即使对斜方向的边缘也能够进一步降低伪色的产生，从而能够抑制斜方向的析像度降低。
第十七发明的图像处理装置在上述第十五发明的图像处理装置中，上述最优色差选择单元具有：G像素变动量计算单元，计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数相乘，该G插补候选是由上述第三插补计算单元计算出的。
根据第十七发明，可抑制在图像平坦部中由于噪音等导致频繁切换多个G插补候选的误选择从而产生的不自然的失真图案。
第十八发明的图像处理装置在上述第十五发明的图像处理装置中，上述最优色差选择单元具有选择单元，作为根据由上述第一插补计算单元计算出的G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：在位于该G像素欠缺位置的周围最附近的8个相同颜色X且相同种类t的色差候选之间不进行加权而计算出的相似度；以及对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于上下的两个色差候选进行加权而计算出的相似度。
根据第十八发明，能够在陡峭的垂直边缘部中更可靠地选择上下邻接G像素插补，所以能够抑制伴随着可在该边缘边界部上误选择时产生的插补的图像劣化。
第十九发明的图像处理装置在上述第十五发明的图像处理装置中，上述最优色差选择单元具有选择单元，作为根据G插补候选而计算出的G像素欠缺位置的色差候选与周边色差候选的相似度，上述选择单元从如下相似度中选择相似性不低的一方的相似度：在位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选之间不用加权就能计算的相似度；以及对位于该G像素欠缺位置的周围最近处的8个相同颜色X且相同种类t的色差候选中的位于左右的两个色差候选进行加权而计算出的相似度。
根据第十九发明，能够在陡峭的垂直边缘部中更可靠地选择左右邻接G像素插补，所以能够抑制伴随着可在该边缘边界部上误选择时产生的插补的图像劣化。
第二十发明的图像处理装置在上述第十二发明的图像处理装置中，上述相似度是G像素欠缺位置的色差候选、与位于该G像素欠缺位置周边的一个以上的相同颜色X且相同种类t的色差候选的差分绝对值和；上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，最优色差选择单元将该选择单元所选择的色差候选作为色差。
根据第二十发明，既能够将进行硬件化时的电路规模抑制得较小，又能够决定最优的色差和G像素插补。
第二十一发明的图像处理程序是用于使计算机执行以下处理的程序，该处理为根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像，该图像处理程序的特征是使计算机执行以下步骤：插补候选计算步骤，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；色差候选计算步骤，其根据已计算的M种G插补候选Gt(x0，y0)，来计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及最优色差选择步骤，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)、和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)中的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，1≦p≦M。
根据第二十一发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的彩色图像。
第二十二发明的图像处理方法是用于根据G(绿)像素的采样密度高于R(红)像素的采样密度及B(蓝)像素的采样密度、且各自的采样位置不同的RGB拜尔排列图像来生成使采样位置同步化的彩色图像的方法，其特征是该图像处理方法具有以下步骤：插补候选计算步骤，其在将上述RGB拜尔排列图像中的位置表示为(x，y)、将欠缺G像素的位置(x0，y0)的R像素或B像素设为X(x0，y0)时，针对该X(x0，y0)，计算M种G插补候选Gt(x0，y0)，这里，x是表示横向的像素位置的整数，y是表示纵向的像素位置的整数，M为2以上的整数，t＝1～M；色差候选计算步骤，其根据已计算的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)；以及最优色差选择步骤，其基于与在计算上述色差候选X(x0，y0)—Gt(x0，y0)时采用的G插补候选Gt(x0，y0)相同种类t的、在周边位置(x0+n，y0+m)上计算的G插补候选Gt(x0+n，y0+m)，根据针对该周边位置(x0+n，y0+m)计算出的X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)、和该色差候选X(x0，y0)—Gt(x0，y0)，计算M种色差相似度，根据该计算的M种色差相似度，来选择基于M种该G插补候选Gt(x0，y0)内的一个G插补候选Gp(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)作为色差，这里，n和m是不同时为0的任意整数，且1≦p≦M。
根据第二十二发明，可抑制从由单板摄像元件拍摄的拜尔排列等的多个颜色信号中伴随欠缺颜色信号的插补而产生的伪色，从而能够获得保持原本应该再现的饱和度的彩色图像。
第二十三发明的图像处理装置在上述第一发明的图像处理装置中，上述最优色差选择单元根据基于上述色差候选X(x0，y0)—Gt(x0，y0)以及相对于该色差候选X(x0，y0)—Gt(x0，y0)为相同颜色X的多个色差候选X(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度、以及基于颜色X＾与该色差候选X(x0，y0)—Gt(x0，y0)不同的多个色差候选X＾(x0+n，y0+m)—Gt(x0+n，y0+m)的相似度，来计算上述色差相似度。
根据第二十三发明，针对色差周边相似度的计算区域内的任意空间频率的像素值变化来进一步降低色差周边相似度的判定错误，从而能够进一步抑制伪色的产生。
第二十四发明的图像处理装置在上述第二十三发明的图像处理装置中，上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与已选择的色差候选X(x0，y0)—Gp(x0，y0)对应的G插补候选Gp(x0，y0)作为该位置(x0，y0)的G像素值输出。
根据第二十四发明还可以针对第二十三发明实现与第三发明同样的效果。
第二十五发明的图像处理装置在上述第二十四发明的图像处理装置中还具有：色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，该插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算出的该位置周边的相同颜色的色差来进行插补的处理；以及RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算出的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。
根据第二十五发明，还可以针对第二十三发明实现与第四发明同样的效果。
第二十六发明的图像处理装置在上述第二十三发明的图像处理装置中，上述插补候选计算单元具有：第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。
根据第二十六发明还可以针对第二十三发明实现与第五发明同样的效果。
第二十七发明的图像处理装置在上述第二十六发明的图像处理装置中，上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，根据以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
+G(x0，y0+1)}×α
—{G(x0—2，y0—1)+G(x0—2，y0+1)
+G(x0+2，y0—1)+G(x0+2，y0+1)
+G(x0—1，y0—2)+G(x0—1，y0+2)
+G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
根据第二十七发明，还可以针对第二十三发明实现与第六发明同样的效果。
第二十八发明的图像处理装置在上述第二十六发明的图像处理装置中，上述色差候选计算单元具有频带限制单元，该频带限制单元计算采用周边的相同颜色X对X像素进行了频带限制的修正像素XL；该上述色差候选计算单元在根据由上述第三插补计算单元计算出的G插补候选来计算色差候选时，采用该修正像素XL。
根据第二十八发明，还可以针对第二十三发明实现与第六发明同样的效果。
第二十九发明的图像处理装置在上述第二十六发明的图像处理装置中，上述最优色差选择单元具有：G像素变动量计算单元，其计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数，该G插补候选是由上述第三插补计算单元计算出的。
根据第二十九发明，还可以针对第二十三发明实现与第八发明同样的效果。
第三十发明的图像处理装置在上述第二十三发明的图像处理装置中，上述相似度是相同颜色X且相同种类t的色差候选彼此间的差分绝对值的和；上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。
根据第三十发明，还可以针对第二十三发明实现与第十一发明几乎相同的效果。
第三十一发明的图像处理装置在上述第二十三发明的图像处理装置中还具有频带限制单元，该频带限制单元计算采用周边的相同颜色X来对上述X(x0，y0)进行了频带限制的XL(x0，y0)；上述色差候选计算单元根据已计算的M种G插补候选Gt(x0，y0)，计算多种色差候选X(x0，y0)—Gt(x0，y0)或XL(x0，y0)—Gt(x0，y0)；上述最优色差选择单元根据上述相似度，选择基于M种该G插补候选Gt(x0，y0)中的1个G插补候选Gp(x0，y0)或Gq(x0，y0)而计算出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)来作为色差，这里，1≦p≦M，1≦q≦M。
根据第三十一发明，还可以针对第二十三发明实现与第十二发明同样的效果。
第三十二发明的图像处理装置在上述第三十一发明的图像处理装置中，上述最优色差选择单元具有G插补值输出单元，该G插补值输出单元将与选择出的色差候选X(x0，y0)—Gp(x0，y0)或XL(x0，y0)—Gq(x0，y0)对应的G插补候选Gp(x0，y0)或Gq(x0，y0)作为该位置(x0，y0)的G像素值来输出。
根据第三十二发明，还可以针对第二十三发明实现与第十三发明同样的效果。
第三十三发明的图像处理装置在上述第三十二发明的图像处理装置中还具有：色差插补单元，在上述最优色差选择单元没有计算出色差的位置是RGB拜尔排列图像中的G像素时对R像素所涉及的色差及B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的R像素时对B像素所涉及的色差进行插补处理，在该位置是RGB拜尔排列图像中的B像素时对R像素所涉及的色差进行插补处理，该插补处理是将上述最优色差选择单元没有计算出色差的位置的色差根据该最优色差选择单元所计算出的该位置周边的相同颜色的色差来进行插补的处理；以及RGB像素计算单元，其根据由上述最优色差选择单元或上述色差插补单元所计算的色差以及与该色差为相同位置的G像素，来计算R像素、G像素及B像素。
根据第三十三发明还可以针对第二十三发明实现与第十四发明同样的效果。
第三十四发明的图像处理装置在上述第三十一发明的图像处理装置中，上述插补候选计算单元具有：第一插补计算单元，其计算上述X像素的上下邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；第二插补计算单元，其计算该X像素的左右邻接的两个G像素的平均值来作为上述M种G插补候选中的1种G插补候选；以及第三插补计算单元，其计算该X像素的上下左右邻接的四个G像素的平均值来作为上述M种G插补候选中的1种G插补候选。
根据第三十四发明可以针对第二十三发明实现与第十五发明同样的效果。
第三十五发明的图像处理装置在上述第三十四发明的图像处理装置中，上述插补候选计算单元还具有第四插补计算单元，该第四插补计算单元采用位于上述X(x0，y0)附近的12个G像素G(x0—1，y0)、G(x0+1，y0)、G(x0，y0—1)、G(x0，y0+1)、G(x0—2，y0—1)、G(x0—2，y0+1)、G(x0+2，y0—1)、G(x0+2，y0+1)、G(x0—1，y0—2)、G(x0—1，y0+2)、G(x0+1，y0—2)、G(x0+1，y0+2)，基于以下公式：
Gt(x0，y0)＝{G(x0—1，y0)+G(x0+1，y0)+G(x0，y0—1)
           +G(x0，y0+1)}×α
           —{G(x0—2，y0—1)+G(x0—2，y0+1)
           +G(x0+2，y0—1)+G(x0+2，y0+1)
           +G(x0—1，y0—2)+G(x0—1，y0+2)
+G(x0+1，y0—2)+G(x0+1，y0+2)}×β，
来计算上述M种G插补候选中的1种G插补候选Gt(x0，y0)，这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
根据第三十五发明，还可以针对第二十三发明实现与第十六发明同样的效果。
第三十六发明的图像处理装置在上述第三十四发明的图像处理装置中，上述最优色差选择单元具有：G像素变动量计算单元，计算G像素欠缺位置的周边的G像素值的变动量，并计算基于该变动量的加权系数；以及乘法单元，其使根据G插补候选计算出的上述G像素欠缺位置的色差候选和周边色差候选的相似度乘以上述加权系数相乘，该G插补候选是由上述第三插补计算单元计算出的。
根据第三十六发明，还可以针对第二十三发明实现与第十七发明同样的效果。
第三十七发明的图像处理装置在上述第三十一发明的图像处理装置中，上述相似度是相同颜色X且相同种类t的色差候选彼此间的差分绝对值的和；上述最优色差选择单元包含选择单元，该选择单元选择一个与M种该相似度中的1个赋予最小值的相似度对应的色差候选，上述最优色差选择单元将该选择单元所选择的色差候选作为色差。
根据第三十七发明，还可以针对第二十三发明实现与第二十发明几乎相同的效果。
附图说明
图1是表示本发明实施方式1的图像处理装置的整体结构的框图。
图2是表示上述实施方式1的G插补色差计算部的结构的框图。
图3是表示上述实施方式1的色差插补处理部的结构的框图。
图4是表示上述实施方式1的RGB计算部的结构的框图。
图5是表示在上述实施方式1中由摄像部的单板摄像元件所拍摄的颜色信号的拜尔排列的图。
图6是表示在上述实施方式1中从G插补色差计算部输出的G信号的二维排列的图。
图7是表示在上述实施方式1中从G插补色差计算部输出的X—Gi信号的二维排列的图。
图8是表示在上述实施方式1中用作欠缺G信号位置的纵向插补的上下方向的邻接G信号在拜尔排列上的位置的图。
图9是表示在上述实施方式1中用作欠缺G信号位置的横向插补的左右方向的邻接G信号在拜尔排列上的位置的图。
图10是表示在上述实施方式1中用作欠缺G信号位置的邻接4像素插补的上下左右方向的邻接G信号在拜尔排列上的位置的图。
图11是表示在上述实施方式1中根据纵向插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
图12是表示在上述实施方式1中根据横向插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
图13是表示在上述实施方式1中根据邻接4像素插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
图14是表示在上述实施方式1及各实施方式中由G插补色差计算部进行的处理概括的流程图。
图15是表示上述实施方式1的图2所示的结构的G插补色差计算部的处理的流程图。
图16是表示本发明实施方式2中的G插补色差计算部的结构的框图。
图17是表示在上述实施方式2中由G变动量计算部使用的G信号在拜尔排列上的位置的图。
图18是表示在上述实施方式2中由G变动量计算部计算的G变动量、和采用邻接4像素插补而计算出的与周边相似度相对的加权系数之间的关系的线图。
图19是表示本发明实施方式3的G插补色差计算部的结构的框图。
图20是表示在上述实施方式3中用作欠缺G信号位置的斜方向插补的周边12像素的G信号在拜尔排列上的位置的图。
图21是表示在上述实施方式3中根据周边12像素插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
图22是表示在上述实施方式3中经由光学低通滤波器而获得的摄像图像等的斜45度方向的频带特性的线图。
图23是表示本发明实施方式4的G插补色差计算部的结构的框图。
图24是表示为了在上述实施方式4的低通滤波器处理部中构成低通滤波器而使用的颜色信号X在拜尔排列上的位置的图。
图25是表示上述实施方式4中的G插补色差计算部的一部分处理的流程图。
图26是表示上述实施方式4中的G插补色差计算部的另一部分处理的流程图。
图27是表示在本发明实施方式5中使用由纵插补求出的Gv而计算出的5×5像素区域的X—Gv及X^—Gv的图。
图28是表示在上述实施方式5中采用由横插补求出的Gh而计算出的5×5像素区域的X—Gh及X^—Gh的图。
图29是表示在上述实施方式5中采用由4像素插补求出的Ga而计算出的5×5像素区域的X—Ga及X^—Ga的图。
图30是在上述实施方式5中表示采用由斜插补求出的Gd来计算的5×5像素区域的X—Gd及X^—Gd的图。
图31是表示在上述实施方式5中使在二维色差空间中由纵插补求出的Gv所涉及的周边局部区域的色差X—Gv或X^—Gv图形化后的状况的线图。
图32是表示在上述实施方式5中使在二维色差空间中由横插补求出的Gh所涉及的周边局部区域的色差X—Gh或X^—Gh图形化后的状况的线图。
图33是表示在上述实施方式5中使在二维色差空间中由4像素插补求出的Ga所涉及的周边局部区域的色差X—Ga或X^—Ga图形化后的状况的线图。
图34是表示在上述实施方式5中使在二维色差空间中由斜插补求出的Gd所涉及的周边局部区域的色差X—Gd或X^—Gd图形化后的状况的线图。
图35是表示在上述实施方式5中在判定区域内存在垂直方向的空间频率高的横条纹图案的例子的图。
图36是表示在上述实施方式5中在针对图35所示的例子采用了上述实施方式1～4的周边色差相似度时在G信号上出现如对照图案的模式的状况的图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。
[实施方式1]
图1至图15表示了本发明的实施方式1，图1是表示图像处理装置的整体结构的框图。
如图1所示，该图像处理装置具有摄像部101、G插补色差计算部102、色差插补处理部103、RGB计算部104和压缩记录部105。
摄像部101虽未图示，不过其结构为具有透镜、红外截止滤波器(IR-CUT Filter)、光学低通滤波器、单板摄像元件(以下简略为「摄像元件」等。)、放大器、A/D转换器和摄像元件控制器。这里，透镜用于使被摄体的光学像在摄像元件上成像。红外截止滤波器用于从通过透镜的光通量中滤除红外区域的光。光学低通滤波器是如下的滤波器：其进行频带限制，以使通过透镜在摄像元件上成像的光学像的析像度成为在G信号的采样间隔中在允许电平以上不会产生由返回失真导致的莫尔条纹的空间频率特性。摄像元件为具有如图5所示的拜尔排列的彩色滤波器的单板式摄像元件，例如由CCD(Charge-Coupled Device：电荷耦合器件)及CMOS(Complementary Metal-Oxide-Semiconductor Transistor互补型金属氧化物半导体)等构成。在此，图5是表示由摄像部101的单板摄像元件摄像的颜色信号的拜尔排列的图。放大器用于模拟放大从该摄像元件输出的信号。A/D转换器用于将该放大器所放大的模拟信号转换为数字信号。摄像元件控制器控制并驱动摄像元件使其进行摄像，在摄像后如后所述那样将从A/D转换器输出的数字信号按颜色分量向G插补色差计算部102输出。
在这样的结构中，经由透镜、红外截止滤波器、光学低通滤波器在单板摄像元件上成像的光，利用如图5所示的拜尔排列的带色彩滤波器的像素进行光电转换。这样进行光电转换后的各像素的电信号经由放大器进行放大，并通过A/D转换器转换为数字信号，然后作为数字的颜色信号Rs、Gs、Bs输出。摄像元件控制器分别将从A/D转换器输出的颜色信号Rs、Gs、Bs分成Rs以及Bs和Gs，并向G插补色差计算部102输出。此外，摄像元件控制器具有针对各颜色信号Rs、Gs、Bs的噪音降低处理功能及白平衡处理功能等，对向G插补色差计算部102输出的Rs、Gs、Bs进行这些处理。
G插补色差计算部102计算与输入的颜色信号Rs、Bs的像素位置对应的插补G像素即Gi、和该像素位置中的色差信号R—Gi、B—Gi。然后，G插补色差计算部102，针对色差信号R—Gi、B—Gi作成如图7所示的二维排列，将该二维排列的色差信号按光栅扫描顺序向色差插补处理部103输出。这里，图7是表示从G插补色差计算部102输出的X—Gi信号的二维排列的图。另外，G插补色差计算部102针对G信号作成如图6所示的二维排列，将该二维排列的G信号按光栅扫描顺序向RGB计算部104输出。这里，图6是表示从G插补色差计算部102输出的G信号的二维排列的图。以下，对该G插补色差计算部102进行更详细的说明。
色差插补处理部103是色差插补单元，在如图7所示的二维排列中，采用周边的相同颜色的色差R—Gi或B—Gi来分别插补在全像素中欠缺的色差R—G、以及在全像素中欠缺的色差B—G，并向RGB计算部104分别输出插补后取得的全像素位置的色差R—G和全像素位置的色差B—G。
RGB计算部104是RGB像素计算单元，根据从色差插补处理部103输入的2种色差信号R—G、B—G和从G插补色差计算部102输入的G信号来计算RGB信号，对该计算的RGB信号进行彩色匹配处理和γ校正处理，计算出Rγ、Gγ、Bγ信号，并将计算出的Rγ、Gγ、Bγ信号向压缩记录部105输出。
压缩记录部105将从RGB计算部104输入的Rγ、Gγ、Bγ信号转换为Y、U、V信号，还将该Y、U、V信号转换为JPEG或MPEG等已进行了高效率压缩编码处理的压缩数据，将该压缩数据保存在记录介质中。
接着，图2是表示G插补色差计算部102的结构的框图。
该G插补色差计算部102具有：存储器201、存储器202、纵插补G计算部203、横插补G计算部204、4像素插补G计算部205、存储器206、存储器207、存储器208、减法部209、减法部210、减法部211、存储器212、存储器213、存储器214、周边相似度计算部215、周边相似度计算部216、周边相似度计算部217、判定部218、色差选择部219、插补G选择部220和存储器221。
为了取得直至可实施欠缺G像素位置的二维插补处理的像素齐备为止的延迟，在存储器201中存储从摄像部101输出的规定行数的颜色信号Rs、Bs，在存储器202中存储规定行数的颜色信号Gs。在图2所示的例中，在存储器201及存储器202内存储的行数至少为3行。
这里，在欠缺G像素位置配置有R像素或B像素，不过归纳这些两个颜色信号记载为X或X像素等，以下进行说明。
纵插补G计算部203是采用如图8所示的纵向的附近G像素，利用插补式Gv＝(G1+G2)/2来计算G插补候选，输出到存储器206进行存储，并且向减法部209输出的插补候选计算单元、即第一插补计算单元。这里，图8是表示作为欠缺G信号位置的纵向插补而采用的上下方向的邻接G信号在拜尔排列上的位置的图。
横插补G计算部204是采用如图9所示的横向的附近G像素，利用插补式Gh＝(G3+G4)/2来计算G插补候选，输出到存储器207进行存储，并且向减法部210输出的插补候选计算单元、即第二插补计算单元。这里图9是表示作为欠缺G信号位置的横向插补而采用的左右方向的邻接G信号在拜尔排列上的位置的图。
4像素插补G计算部205是采用如图10所示的纵横4方向的附近G像素，利用插补式Ga＝(G1+G2+G3+G4)/4来计算G插补候选，输出到存储器208进行存储，并且向减法部211输出的插补候选计算单元、即第三插补计算单元。这里，图10是表示作为欠缺G信号位置的邻接4像素插补而采用的上下左右方向的邻接G信号在拜尔排列上的位置的图。
减法部209是从存储器201输入位于与欠缺G像素相同的位置的X像素，计算色差信号(色差候选)X—Gv，并输出到存储器212进行存储的色差候选计算单元。
减法部210是从存储器201输入位于与欠缺G像素相同的位置的X像素，计算色差信号(色差候选)X—Gh，并输出到存储器213进行存储的色差候选计算单元。
减法部211是从存储器201输入位于与欠缺G像素相同的位置的X像素，计算色差信号(色差候选)X—Ga，并输出到存储器214进行存储的色差候选计算单元。
另外，在之后通过周边相似度计算部215、216、217来计算周边相似度时采用在存储器212、213、214中存储的色差信号。然后，周边相似度计算部215、216、217计算包含3行3列图11～图13所示的同种色差信号(即，在计算色差候选时使用的G插补候选Gv、Gh、Ga、Gd的种类是相同、且相同颜色X的色差信号。因此，例如R—Gv和B—Gv不是同种色差信号。)的附近区域中的色差信号的相似度。因此，为了取得周边相似度计算部215、216、217可实施相似度计算的延迟，存储器212、213、214以及存储器206、207、208能够分别存储至少5行的数据。
这样，在存储器212、213、214中存储有只能够执行色差的周边相似度计算处理的色差信号的时刻，分别从存储器212、213、214向周边相似度计算部215、216、217输出色差信号X—Gv、X—Gh、X—Ga。
周边相似度计算部215是最优色差选择单元、即选择单元，按照下示来计算G像素位置(k，l)中的色差周边相似度Sv(k，l)。
即，周边相似度计算部215首先如图11所示，采用中央的色差信号(X—Gv)k，l(这里，「(X—Gv)k，l」是省略「X(k，l)—Gv(k，l)」记载的公式。以下同样)、及其周边位置的8个色差信号(X—Gv)k-2，l-2、(X—Gv)k，l-2、(X—Gv)k+2，l-2、(X—Gv)k-2，l、(X—Gv)k+2，l、(X—Gv)k-2，l+2、(X—Gv)k，l+2、(X—Gv)k+2，l+2，按照如下来计算第一色差周边相似度候选Sv1(k，l)。这里图11是表示根据纵向插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
Sv1(k，l)＝|(X—Gv)k-2，l-2—(X—Gv)k，l|
           +|(X—Gv)k，l-2—(X—Gv)k，l|
           +|(X—Gv)k+2，l-2—(X—Gv)k，l|
           +|(X—Gv)k-2，l—(X—Gv)k，l|
        +|(X—Gv)k+2，l—(X—Gv)k，l|
        +|(X—Gv)k-2，l+2—(X—Gv)k，l|
        +|(X—Gv)k，l+2—(X—Gv)k，l|
+|(X—Gv)k+2，l+2—(X—Gv)k，l|
而且，周边相似度计算部215采用图11中用粗线包围的部分上的、中央的色差信号(X—Gv)k，l及其周边位置的两个色差信号(X—Gv)k，l-2、(X—Gv)k，l+2来计算差分绝对值和，采用其他色差信号来计算其他差分绝对值和，此外，按照下述对这些差分绝对值和进行加权，从而计算第二色差周边相似度候选Sv2(k，l)。
Sv2(k，l)＝{|(X—Gv)k，l-2—(X—Gv)k，l|
           +|(X—Gv)k，l+2—(X—Gv)k，l|}×P
           +{|(X—Gv)k-2，l-2—(X—Gv)k，l|
           +|(X—Gv)k+2，l-2—(X—Gv)k，l|
           +|(X—Gv)k-2，l—(X—Gv)k，l|
           +|(X—Gv)k+2，l—(X—Gv)k，l|
           +|(X—Gv)k-2，l+2—(X—Gv)k，l|
           +|(X—Gv)k+2，l+2—(X—Gv)k，l|}×Q
这里，P和Q是满足2P+6Q＝8且4≧P>1、1>Q≧0的任意常数。
然后，周边相似度计算部215对如上所述计算的第一色差周边相似度候选Sv1(k，l)和第二色差周边相似度候选Sv2(k，l)进行比较，将值不大于另一方的一方(在不是等值的情况下，为值小的一方)、即相似度不低于另一方的一方(在不是相同相似度的情况下，为相似度高的一方)用作色差周边相似度Sv(k，l)。
这样，将两个色差周边相似度候选Sv1(k，l)、Sv2(k，l)内的、值不大于另一方的一方作为色差周边相似度Sv(k，l)，由此能够与陡峭的纵边缘边界部和缓缓变化的纵边缘边界这两方对应起来，从而可降低判定错误。
同样，周边相似度计算部216是最优色差选择单元、即选择单元，按照如下来计算欠缺G像素位置(k，l)中的色差周边相似度Sh(k，l)。
即，周边相似度计算部216首先如图12所示，采用中央的色差信号(X—Gh)k，l、及其周边位置的8个色差信号(X—Gh)k-2，l-2、(X—Gh)k，l-2、(X—Gh)k+2，l-2、(X—Gh)k-2，l、(X—Gh)k+2，l、(X—Gh)k-2，l+2、(X—Gh)k，l+2、(X—Gh)k+2，l+2，按照如下计算第一色差周边相似度候选Sh1(k，l)。这里，图12是表示根据横向插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
Sh1(k，l)＝|(X—Gh)k-2，l-2—(X—Gh)k，l|
           +|(X—Gh)k，l-2—(X—Gh)k，l|
           +|(X—Gh)k+2，l-2—(X—Gh)k，l|
           +|(X—Gh)k-2，l—(X—Gh)k，l|
           +|(X—Gh)k+2，l—(X—Gh)k，l|
           +|(X—Gh)k-2，l+2—(X—Gh)k，l|
           +|(X—Gh)k，l+2—(X—Gh)k，l|
           +|(X—Gh)k+2，l+2—(X—Gh)k，l|
而且，周边相似度计算部216采用图12中用粗线包围的部分上的、中央的色差信号(X—Gh)k，l及其周边位置的两个色差信号(X—Gh)k-2，l、(X—Gh)k+2，l来计算差分绝对值和，采用其他色差信号来计算其他差分绝对值和，此外，按照以下所示对这些差分绝对值和进行加权，计算第二色差周边相似度候选Sh2(k，l)。
Sh2(k，l)＝{|(X—Gh)k-2，l—(X—Gh)k，l|
           +|(X—Gh)k+2，l—(X—Gh)k，l|}×P
           +{|(X—Gh)k-2，l-2—(X—Gh)k，l|
           +|(X—Gh)k，l-2—(X—Gh)k，l|
           +|(X—Gh)k+2，l-2—(X—Gh)k，l|
           +|(X—Gh)k-2，l+2—(X—Gh)k，l|
           +|(X—Gh)k，l+2—(X—Gh)k，l|
           +|(X—Gh)k+2，l+2—(X—Gh)k，l|}×Q
这里，P和Q是满足2P+6Q＝8且4≧P>1、1>Q≧0的任意常数。
然后，周边相似度计算部216对如上所述计算的第一色差周边相似度候选Sh1(k，l)和第二色差周边相似度候选Sh2(k，l)进行比较，将值不大于一方的一方(在不是等值的情况下，为值小的一方)、即相似度不低于另一方的一方(在不是相同相似度的情况下，相似度高的一方)用作色差周边相似度Sh(k，l)。
这样，将两个色差周边相似度候选Sh1(k，l)、Sh2(k，l)内的、值不大于另一方的一方作为色差周边相似度Sh(k，l)，由此能够与陡峭的横边缘边界部和缓缓变化的横边缘边界这两方对应，从而可降低判定错误。
另外，周边相似度计算部217是最优色差选择单元，按照如下计算欠缺G像素位置(k，l)中的色差周边相似度Sa(k，l)。
即，周边相似度计算部217首先如图13所示，采用中央的色差信号(X—Ga)k，l、及其周边位置的8个色差信号(X—Ga)k-2，l-2、(X—Ga)k，l-2、(X—Ga)k+2，l-2、(X—Ga)k-2，l、(X—Ga)k+2，l、(X—Ga)k-2，l+2、(X—Ga)k，l+2、(X—Ga)k+2，l+2，按照如下计算差分绝对值和，由此来计算色差周边相似度Sa(k，l)。这里，图13是表示根据欠缺G信号位置的邻接4像素插补而计算出的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图。
Sa(k，l)＝|(X—Ga)k-2，l-2—(X—Ga)k，l|
          +|(X—Ga)k，l-2—(X—Ga)k，l|
          +|(X—Ga)k+2，l-2—(X—Ga)k，l|
          +|(X—Ga)k-2，l—(X—Ga)k，l|
          +|(X—Ga)k+2，l—(X—Ga)k，l|
          +|(X—Ga)k-2，l+2—(X—Ga)k，l|
          +|(X—Ga)k，l+2—(X—Ga)k，l|
          +|(X—Ga)k+2，l+2—(X—Ga)k，l|
这样，由周边相似度计算部215、216、217分别计算出的色差周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)被输入到作为最优色差选择单元的判定部218。另外，这里将色差周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)定义为注目色差与周边色差的差分绝对值和，不过还可以取代该定义，而定义为差分平方和。
判定部218对这三种色差周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)的值进行比较，选择一个赋予最小的色差周边相似度的G插补方法，将与选择的插补方法对应的选择信号分别输出到色差选择部219和插补G选择部220。另外，当存在多个最小的色差周边相似度时，判定部218例如按照Sa(k，l)、Sh(k，l)、Sv(k，l)的顺序来决定优先位次的高低，并沿着该优先位次来选择一个G插补方法。
色差选择部219是最优色差选择单元、即选择单元，其根据从判定部218输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的色差候选、即存储在存储器212内的色差候选(X—Gv)k，l、存储在存储器213内的色差候选(X—Gh)k，l、存储在存储器214内的色差候选(X—Ga)k，l中的任意一个来输入，并作为色差向色差插补处理部103输出。更具体地说，色差选择部219在色差周边相似度Sv(k，l)为最小的情况下将(X—Gv)k，l向色差插补处理部103输出，在Sh(k，l)为最小的情况下将(X—Gh)k，l向色差插补处理部103输出，在Sa(k，l)为最小的情况下将(X—Ga)k，l向色差插补处理部103输出。另外，按照图7所示的二维排列中的从左上到右下的光栅扫描顺序，向色差插补处理部103输出色差信号。
另外，插补G选择部220是最优色差选择单元、即G插补值输出单元，其根据从判定部218输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的G插补候选、即存储在存储器206内的G插补候选Gv(k，l)、存储在存储器207内的G插补候选Gh(k，l)、存储在存储器208内的G插补候选Ga(k，l)中的任意一个来输入，并向RGB计算部104输出。更具体地说，插补G选择部220在色差周边相似度Sv(k，l)为最小的情况下将Gv(k，l)向RGB计算部104输出，在色差周边相似度Sh(k，l)为最小的情况下将Gh(k，l)向RGB计算部104输出，在色差周边相似度Sa(k，l)为最小的情况下将Ga(k，l)向RGB计算部104输出。
另外，存储器221用于临时存储作为摄像像素取得的Gs像素的数据。G插补色差计算部102按照从左上到右下的光栅扫描顺序向RGB计算部104输出图6所示的没有欠缺的二维排列的G信号。因此，在按照光栅扫描顺序读出的定时到达之前，存储器221存储Gs像素的数据，在到达该定时之际，将Gs像素的数据向RGB计算部104输出。
接着，图3是表示色差插补处理部103的结构的框图。
色差插补处理部103具有：色差筛选部301、存储器302、存储器303、插补处理部304和插补处理部305。
来自G插补色差计算部102的色差信号X—Gi被输入到色差插补处理部103的色差筛选部301。色差筛选部301在被输入了色差信号X—Gi时，在该色差信号X—Gi为R—Gi的情况下输出到存储器302，在色差信号X—Gi为B—Gi的情况下输出到存储器303。
存储器302在从色差筛选部301被输入了色差信号R—Gi时，存储该色差信号R—Gi。此时，存储器302为具有能够存储用于插补处理色差信号R—Gi的欠缺像素部分所需的行数的存储容量。
同样，存储器303在从色差筛选部301被输入了色差信号B—Gi时，存储该色差信号B—Gi。此时，存储器303为具有能够存储用于插补处理色差信号B—Gi的欠缺像素部分所需的行数的存储容量。
这样，在可开始插补处理的时刻，从存储器302、303向插补处理部304、305分别输出插补处理所需的像素数据。
插补处理部304例如通过采用如下所示的线性插补式来进行色差信号R—G的插补，生成全部像素位置上的色差信号R—G，并向RGB计算部104输出。
( R - G ) x , y = 1 No 1 1 1 ( R - G ) x - 1 , y - 1 ( R - G ) x , y - 1 ( R - G ) x + 1 , y - 1 ( R - G ) x - 1 , y ( R - G ) x , y ( R - G ) x + 1 , y ( R - G ) x - 1 , y + 1 ( R - G ) x , y + 1 ( R - G ) x + 1 , y + 1 1 1 1 ]]>
这里，No是上述3×3矩阵内的非欠缺像素R—Gi的数量。
同样，插补处理部305例如通过采用如下所示的线性插补式来进行色差信号B—G的插补，生成全部像素位置上的色差信号B—G，并向RGB计算部104输出。
( B - G ) x , y = 1 No 1 1 1 ( B - G ) x - 1 , y - 1 ( B - G ) x , y - 1 ( B - G ) x + 1 , y - 1 ( B - G ) x - 1 , y ( B - G ) x , y ( B - G ) x + 1 , y ( B - G ) x - 1 , y + 1 ( B - G ) x , y + 1 ( B - G ) x + 1 , y + 1 1 1 1 ]]>
这里，No是上述3×3矩阵内的非欠缺像素B—Gi的数量。
接着，图4是表示RGB计算部104的结构的框图。
RGB计算部104具有：存储器401、加法部402、加法部403、彩色矩阵处理部404、γ校正部405、γ校正部406和γ校正部407。
来自G插补色差计算部102的G信号被输入到RGB计算部104的存储器401内进行存储。该存储器401用于在从色差插补处理部103输入与G信号为相同像素位置的色差信号R—G以及色差信号B—G之前预先保存该G信号(即，具有延迟用的功能)。
另外，来自色差插补处理部103的色差信号R—G被输入到RGB计算部104的加法部402。于是，加法部402从存储器401读出与已输入的色差信号R—G为相同位置的G信号，使色差信号R—G和G信号相加，由此来生成R信号，并向彩色矩阵处理部404输出。
此外，来自色差插补处理部103的色差信号B—G被输入到RGB计算部104的加法部403。于是，加法部403从存储器401读出与已输入的色差信号B—G为相同位置的G信号，使色差信号B—G和G信号相加，由此来生成B信号，并向彩色矩阵处理部404输出。
然后，存储器401将与由加法部402计算出的R信号以及由加法部403计算出的B信号为相同像素位置的G信号向彩色矩阵处理部404输出。
通过进行这样的处理，各像素位置上的R信号、G信号、B信号可复原。
当输入已复原的R信号、G信号及B信号时，彩色矩阵处理部404将这些信号转换为例如sRGB空间的信号。并且，彩色矩阵处理部404将已转换的R信号向γ校正部405输出，将已转换的B信号向γ校正部406输出，将已转换的G信号向γ校正部407输出。
当从彩色矩阵处理部404输入的转换后的R、G、B信号为例如12位的信号时，γ校正部405、406、407分别对这些信号进行γ校正，而分别生成转换为8位的Rγ信号、Gγ信号、Bγ信号，并向压缩记录部105输出。
之后的压缩记录部105的处理如上所述。
接着，图14是表示由G插补色差计算部102进行的处理概括的流程图。参照该图14所说明的处理不仅对如图2所示的实施方式1中的G插补色差计算部102的结构适用，即使对后述的实施方式2的图16所示的G插补色差计算部102的结构、实施方式3的图19所示的G插补色差计算部102的结构、实施方式4的图23所示的G插补色差计算部102的结构也都适用。因此并非仅依存于特定的实施方式，所以在该图14的说明中适当省略参照符号的记载。
当开始该处理时，首先，将用于存储G信号欠缺位置的G插补候选信号的存储器和用于存储该G信号欠缺位置的色差候选信号的存储器的行数N设为初始值(步骤S1400)，该G信号欠缺位置的色差候选信号是由摄像部101拍摄并存储在存储器内且按照光栅扫描顺序输入到G插补色差计算部102的单板拜尔排列图像中的信号。
接着，对G信号欠缺位置(i，j)采用该欠缺位置周边的G信号来计算M种(M为2以上的整数)G插补候选Gt(i，j)(这里，t＝1～M)，并且由该G信号欠缺位置(i，j)的X(i，j)信号(这里，如上所述，X信号表示R信号或B信号。以下相同)减去上述M种G插补候选Gt(i，j)，由此分别计算M种色差候选(X—Gt)i，j，并存储在存储器中(步骤S1401)。
另外，在该实施方式1及接着说明的实施方式2中M＝3，在后述的实施方式3及实施方式4中M＝4，不过还可以准备多种插补候选。另外，在上述内容中采用线性插补来作为插补方法，但不限于此，还可采用三次插补或其他非线性插补。而且，在上述内容中采用G信号欠缺位置(i，j)周边的G信号来进行插补，但不仅限于此，还可以采用周边的R信号及B信号来进行插补。这样，插补方法不仅限于此，可采用任意的插补方法。
接着，判定N行的处理是否已结束(步骤S1402)，在判定为N行的处理还未结束的情况下返回步骤S1401，进行上述的处理。
另一方面，在步骤S1402中判定为N行的处理已结束的情况下，将行数N按照如下设为用于决定插补G信号和色差信号所需的规定的处理行数(步骤S1403)。
然后，根据在存储器中存储的由G信号欠缺位置(k，l)的相同插补种类t计算出的色差(X—Gt)k，l及其附近D方向(D是1以上的整数，在图11～图13所示的例中，D＝8，即为附近8个方向。)的色差(X—Gt)k+n，l+m(在该实施方式1及后述的实施方式2～4中，n＝—2、0、2，m＝—2、0、2，且n和m不是同时为0，不过还可以采用更广的周边区域的色差)的差分绝对值和(可根据计算差分的方向进行加权)，来计算周边相似度St(k，l)步骤S1404)。这里，周边相似度St(k，l)的值越小，表示相似性越高。
与这样计算的M种的周边相似度St(k，l)(这里，t＝1～M)(另外，该实施方式1中M＝3)的值相比，选择成为最小(相似性最高)的插补种类指数tmin(步骤S1405)。
接着，根据已选择的插补种类指数tmin，将针对G信号欠缺位置(k，1)的插补G信号决定为Gtmin(k，l)，并且将针对该G信号欠缺位置(k，1)的色差信号决定为(X—Gtmin)k，l，将这些信号存储在存储器中(步骤S1406)。
这里，判定N行的处理是否已结束(步骤S1407)，在判定为N行的处理还未结束的情况下，返回步骤S1404，进行上述的处理。
另外，在步骤S1407中判定为N行的处理已结束的情况下，进一步判定作为输出图像的总行数的处理是否已结束(步骤S1408)。
这里，在判定为总行数的处理还未结束的情况下，返回步骤S1401，将存储在存储器内的已不需要的规定行数的Gt、(X—Gt)、St用新计算的值进行置换，并且进行上述的处理。
另一方面，在步骤S1408中判定为总行数的处理已结束的情况下，结束该G插补色差计算处理。
接着，图15是表示图2所示结构的G插补色差计算部102的处理的流程图。
在该G插补色差计算部102中，按照光栅扫描顺序输入由摄像部101拍摄并存储在存储器内的单板拜尔排列图像。然后如上所述，G插补色差计算部102向存储器201存储规定数据量的Rs信号及Bs信号，向存储器202存储规定数据量的Gs信号，该Rs、Bs、Gs信号是按照光栅扫描顺序输入的单板拜尔排列图像内的信号。
这样，在存储器201、202中存储有规定数据量的状态下，将存储欠缺G信号的G插补候选值的存储器206～208的行数N、以及存储欠缺G信号的色差候选值的存储器212～214的行数N设为规定的初始值(该实施方式1中N＝5)(步骤S1500)。
接着，针对G信号欠缺位置(i，j)，由纵插补G计算部203计算如图8所示的上下邻接的G信号的平均值，并作为插补候选Gv(i，j)存储在存储器206中(步骤S1501)，而且，利用减法部209从G信号欠缺位置(i，j)的X(i，j)减去插补候选Gv(i，j)，由此来计算色差候选(X—Gv)i，j，并存储在存储器212中(步骤S1502)。
接着，针对G信号欠缺位置(i，j)，计算如图9所示的左右邻接的G信号的平均值，并作为插补候选Gh(i，j)存储在存储器207中(步骤S1503)，而且，利用减法部210从G信号欠缺位置(i，j)的X(i，j)减去插补候选Gh(i，j)，由此来计算色差候选(X—Gh)i，j，并存储在存储器213内(步骤S1504)。
然后，针对G信号欠缺位置(i，j)，计算如图10所示的上下左右邻接的G信号的平均值，并作为插补候选Ga(i，j)存储在存储器208中(步骤S1505)，而且，利用减法部211从G信号欠缺位置(i，j)的X(i，j)减去插补候选Ga(i，j)，由此来计算色差候选(X—Ga)i，j，并存储在存储器214中(步骤S1506)。
接着，判定N行的处理在此时刻是否已结束(步骤S1507)，在判定为N行的处理还未结束的情况下，返回步骤S1501进行上述的处理。
这样，在步骤S1507中判定为N行的处理已结束的情况下，将N设为1(步骤S1508)。
接着，周边相似度计算部215计算存储在存储器212中的由G信号欠缺位置(k，l)的相同插补种类(是X为相同颜色、G种类相同的Gv)计算的色差(X—Gv)k，l及其附近8个方向的同种色差(X—Gv)k+n，l+m(这里，n＝—2、0、2，m＝—2、0、2，且n和m不是同时为0。)的差分绝对值和作为色差周边相似度候选Sv1(k，l)。并且，周边相似度计算部215对附近8个方向的同种色差(X—Gv)k+n，l+m内的、上下附近的同种色差(X—Gv)k+n，l+m(这里，n＝0，m＝—2、2)进行大的加权来取得差分绝对值和，并计算色差周边相似度候选Sv2(k，l)。然后，周边相似度计算部215根据计算出的色差周边相似度候选Sv1(k，l)和色差周边相似度候选Sv2(k，l)，来计算周边相似度Sv(k，l)(步骤S1509)。
同样，周边相似度计算部216将存储在存储器213内的由G信号欠缺位置(k，l)的相同插补种类(是X为相同颜色、G的种类相同的Gh)计算出的色差(X—Gh)k，l、以及其附近8个方向的同种色差(X—Gh)k+n，l+m(这里，n＝—2、0、2；m＝—2、0、2，且n和m不是同时为0。)的差分绝对值和，作为色差周边相似度候选Sh1(k，l)来计算。而且，周边相似度计算部216对附近8个方向的同种色差(X—Gh)k+n，l+m内的、上下附近的同种色差(X—Gh)k+n，l+m(这里，n＝—2、2，m＝0)进行大的加权来取得差分绝对值和，并计算色差周边相似度候选Sh2(k，l)。然后，周边相似度计算部216根据计算出的色差周边相似度候选Sh1(k，l)和色差周边相似度候选Sh2(k，l)来计算周边相似度Sh(k，l)(步骤S1510)。
而且，同样地，周边相似度计算部217计算存储在存储器214内的由G信号欠缺位置(k，l)的相同插补种类(是X为相同颜色、G的种类相同的Ga)计算出的色差(X—Ga)k，l、以及其附近8个方向的色差(X—Ga)k+n，l+m(这里，n＝—2、0、2，m＝—2，0、2，且n和m不是同时为0。)的差分绝对值和，来作为周边相似度Sa(k，l)(步骤S1511)。
这样计算的各周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)如上所述，其值越小，表示相似性越高。
在如此计算出三个周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)后，首先，对周边相似度Sv(k，l)和周边相似度Sh(k，l)进行比较(步骤S1512)。
这里，当判定为周边相似度Sv(k，l)小于周边相似度Sh(k，l)时，进一步对周边相似度Sv(k，l)和周边相似度Sa(k，l)进行比较(步骤S1514)。
另一方面，当在步骤S1512中判定为周边相似度Sv(k，l)在周边相似度Sh(k，l)以上时，进一步对周边相似度Sh(k，l)和周边相似度Sa(k，l)进行比较(步骤S1513)。
并且，在上述步骤S1514中，当判定为周边相似度Sv(k，l)小于周边相似度Sa(k，l)时，将G信号欠缺位置(k，l)的信号插补值决定为Gv(k，l)，将G信号欠缺位置(k，l)的色差决定为(X—Gv)k，l，并将这些存储到存储器中(步骤S1515)。
另外，当在上述步骤S1514中判定为周边相似度Sv(k，l)在周边相似度Sa(k，l)时，或在上述步骤S1513中判定为周边相似度Sh(k，l)在周边相似度Sa(k，l)以上时，将G信号欠缺位置(k，l)的信号插补值决定为Ga(k，l)，将G信号欠缺位置(k，l)的色差决定为(X—Ga)k，l，并将这些存储到存储器内(步骤S1516)。
此外，当在上述步骤S1513中判定为周边相似度Sh(k，l)小于周边相似度Sa(k，l)时，将G信号欠缺位置(k，l)的的信号插补值决定为Gh(k，l)，将G信号欠缺位置(k，l)的色差决定为(X—Gh)k，l，并将这些存储到存储器中(步骤S1517)。
这样，在进行了步骤S1515、步骤S1516或步骤S1517中的任意一个步骤的处理后，判定是否结束了N行的处理(步骤S1518)，当判定为尚未结束处理时，返回步骤S1509，进行如上所述的处理。
另一方面，当在步骤S1518中判定为已结束N行的处理时，还判定是否结束了作为输出图像的总行数的处理(步骤S1519)。
这里，当判定为尚未结束总行数的处理时，返回步骤S1501，将存储在存储器中的不需要的行Gv、Gh、Gd、Ga、(X—Gv)、(X—Gh)、(X—Gd)、(X—Ga)、(XL—Ga)、Sv、Sh、Sa用新计算的值置换，并且进行如上所述的处理。
另外，在步骤S1519中判定为总行数的处理已结束的情况下，结束该G插补色差计算处理。
根据这样的实施方式1，可从多种G插补候选中选择一个计算色差时的未确定参数即欠缺G像素，来作为基于色差信号的局部相关性高这样的前提条件的最可靠的像素。其结果是，在图像局部的边缘处插补最优的欠缺G像素，所以能够抑制伪色的产生，并且还能够抑制垂直方向及水平方向的边缘部的析像度劣化。
并且，因为是根据色差来计算周边相似度，所以饱和度不会降低，而且还能够有效地降低伪色。
[实施方式2]
图16至图18示出本发明的实施方式2，图16是表示G插补色差计算部的结构的框图，图17是表示G变动量计算部所使用的G信号在拜尔排列上的位置的图，图18是表示由G变动量计算部计算的G变动量和采用邻接4像素插补而计算出的针对周边相似度的加权系数之间的关系的线图。
在该实施方式2中，对与上述实施方式1同样的部分标注相同符号并省略说明，以下主要对不同点进行说明。
该实施方式2相对于上述实施方式1能够进一步改进摄像图像的平坦部中的画质。
即，关于与实施方式1中说明的针对欠缺G像素的三个插补切换判定，在图像平坦部中，当伴随摄像元件固有的噪音量的变化量相比伴随图像局部相关性的色差周边相似度的三个差(在图像平坦部中，该差很小)占优势时，在色差相似度的最小值判定中产生误判定，且依存于噪音空间的产生模式，纵插补、横插补、4像素插补有可能按照随机性或某一周期性频繁地切换。伴随于此，可能存在产生呈现不自然图案的画质劣化的情况。
因此，在本实施方式中，为了抑制产生这样的画质劣化，而进行了基于使图像变动量定量化的该变动量的检测处理、和根据检测到的该变动量使4像素插补的优先级提高的加权处理。
即，相对于上述实施方式1的G插补色差计算部102，本实施方式的G插补色差计算部102还增加了G变动量计算部1601、存储器1602和乘法部1603。这里，上述存储器202与G变动量计算部1601连接，该G变动量计算部1601与作为最优色差选择单元的存储器1602连接，存储器1602与乘法部1603连接，乘法部1603与判定部218连接。而且，乘法部1603还与周边相似度计算部217连接。
主要对该图16所示的G插补色差计算部102的作用中的、与图2所示的G插补色差计算部102的作用不同的部分进行说明。这里，不同的作用部分主要是涉及G变动量计算部1601和乘法部1603的部分。
G变动量计算部1601是最优色差选择单元、即G像素变动量计算单元，其读入存储在存储器202中的Gs信号内的、配置在图17所示的欠缺G像素位置(i，j)的周边的Gs信号，按如下所示计算G变动量(i，j)。
G变动量(i，j)＝Dc(i，j)/P
+{Dr1(i，j)+Dr2(i，j)+Dr3(i，j)+Dr4(i，j)}/Q
这里，P和Q是满足P>0、Q>0的任意常数，
Dc(i，j)＝|Gs(i—1，j)—Gs(i，j—1)
             +Gs(i+1，j)—Gs(i，j+1)|
          +|Gs(i—1，j)+Gs(i，j—1)
             —Gs(i+1，j)—Gs(i，j+1)|
          +|Gs(i—1，j)—Gs(i，j—1)
             —Gs(i+1，j)+Gs(i，j+1)|
Dr1(i，j)＝|Gs(i—2，j—1)—Gs(i—1，j—2)
             +Gs(i，j—1)—Gs(i—1，j)|
          +|Gs(i—2，j—1)+Gs(i—1，j—2)
             —Gs(i，j—1)—Gs(i—1，j)|
          +|Gs(i—2，j—1)—Gs(i—1，j—2)
             —Gs(i，j—1)+Gs(i—1，j)|
Dr2(i，j)＝|Gs(i，j—1)—Gs(i+1，j—2)
             +Gs(i+2，j—1)—Gs(i+1，j)|
          +|Gs(i，j—1)+Gs(i+1，j—2)
             —Gs(i+2，j—1)—Gs(i+1，j)|
          +|Gs(i，j—1)—Gs(i+1，j—2)
             —Gs(i+2，j—1)+Gs(i+1，j)|
Dr3(i，j)＝|Gs(i，j+1)—Gs(i+1，j)
             +Gs(i+2，j+1)—Gs(i+1，j+2)|
          +|Gs(i，j+1)+Gs(i+1，j)
             —Gs(i+2，j+1)—Gs(i+1，j+2)|
          +|Gs(i，j+1)—Gs(i+1，j)
              —Gs(i+2，j+1)+Gs(i+1，j+2)|
Dr4(i，j)＝|Gs(i—2，j+1)—Gs(i—1，j)
              +Gs(i，j+1)—Gs(i—1，j+2)|
           +|Gs(i—2，j+1)+Gs(i—1，j)
              —Gs(i，j+1)—Gs(i—1，j+2)|
           +|Gs(i—2，j+1)—Gs(i—1，j)
              —Gs(i，j+1)+Gs(i—1，j+2)|
G变动量计算部1601根据这样计算的G变动量(i，j)，采用图18所示的形状函数，来计算加权系数w(i，j)。这里，图18所示的函数在G变动量为规定的阈值Th以上时设加权为1，在G变动量不足该阈值Th时成为与G变动量成比例(即，随着G变动量变小，加权也变小)的函数。与这样的G变动量相对的加权系数w(i，j)的关系根据规定的计算公式来计算，或者参照预先存储的查询表来进行转换。另外，阈值Th可根据摄像部101的放大器的放大量(与ISO灵敏度相对应)来进行变更。
G变动量计算部1601所计算出的加权系数w(i，j)被输出到存储器1602进行存储。
接着，乘法部1603是最优色差选择单元即乘法单元，通过使从周边相似度计算部217输出的4像素插补Ga所涉及的色差X—Ga的周边相似度Sa乘以存储在存储器1602中的加权系数w内的、对应于与该周边相似度Sa为相同像素位置的加权系数w，从而计算Sa×w，将计算出的Sa×w输出到判定部218。
之后的判定部218的判定处理、或者其以下的处理与上述实施方式1相同。
当进行这样的处理时，在G变动量小于规定阈值Th的情况(即，w<1的情况)下Sa×w为小于单个Sa的值，所以在判定部218的判定中Sa×w为最小值的可能性增大。即，在G变动量小的平坦区域中，选择纵插补G横插补G的可能性降低，以更高的概率来选择4像素插补G，以消除噪音的影响。
根据这样的实施方式2，在边缘部分中可与上述实施方式1几乎同样地抑制伪色的产生，并且还能够抑制平坦区域中不自然的图案状噪音的产生。
[实施方式3]
图19至图22表示本发明的实施方式3，图19是表示G插补色差计算部的结构的框图，图20是表示用作欠缺G信号位置的斜方向插补的周边12像素的G信号在拜尔排列上的位置的图，图21是表示根据周边12像素插补而计算出的欠缺G信号位置的色差内的、用于周边相似度计算的色差信号在拜尔排列上的位置的图，图22是表示经由光学低通滤波器而取得的摄像图像等的斜45度方向的频带特性的线图。
在该实施方式3中，对与上述实施方式1、2同样的部分标注相同符号并省略说明，以下主要对不同的点进行说明。
该实施方式3相对于上述实施方式2，可进一步改善斜方向的析像度。
在上述实施方式1、2中，通过采用了纵向、横向、周边4像素的线性插补来进行欠缺G像素的插补。当这些中的纵向插补被应用于纵向边缘、横向插补被应用于横向边缘时，与该边缘正交的方向上的频率特性不会因为插补而产生变化。即，边缘没有被钝化地进行保存。与此相对，斜方向的边缘在实施方式1、2中不存在对应方向的插补，从而主要选择周边4像素插补来作为周边色差相似度最小的插补方法。
图22中的频率特性fa表示经由摄像部101的光学低通滤波器取得的摄像图像的、相对水平方向倾斜45度方向的频率特性，即，大致表示光学低通滤波器的斜45度方向的频率特性。
如图所示，该光学低通滤波器的斜方向的频率特性fa为如下特性：随着空间频率接近那奎斯特频率NF，而以缓缓的曲线单调递减。
摄像图像的频率特性为取得该光学低通滤波器的斜方向的频率特性fa和伴随着透镜的MTF(调制传递函数)与摄像元件的开口率的频率特性之积的总频率特性。这里，透镜的频率特性及开口率的频率特性的贡献率与如上所述的光学低通滤波器的频率特性相比可忽略，所以图22所示的频率特性fa可近似地视为摄像图像的斜45度方向的频率特性。
接着，图22中的频率特性fb表示使上述频率特性fa和通过周边4像素插补所取得的插补G像素的斜45度方向的频率特性相乘后得出的结果的频率特性。
通过该周边4像素插补而生成的插补G像素的斜方向的频率特性fb为插补滤波器的频率特性和光学低通滤波器的频率特性的积。
再如图所示，该频率特性fb随着空间频率从0开始增加而单调递减，在那奎斯特频率的一半(NF/2)处增益暂时为0，然后增益增加且经过小的波峰后在那奎斯特频率NF处再次为0。这样，频率特性fb与上述频率特性fa相比可知，呈高频分量下降的特性，且为斜方向的边缘钝的特性。
为了改善斜方向的边缘钝化，在该实施方式3中，还增加了具有使斜方向的高频分量降低减少的特性的斜插补处理。
参照图19对具有这样的斜插补功能的G插补色差计算部102的结构进行说明。
相对于上述实施方式2的G插补色差计算部102，本实施方式的G插补色差计算部102还增加了斜插补G计算部1901、存储器1902、减法部1903、存储器1904和周边相似度计算部1905，并取代判定部218而设有作为最优色差选择单元的判定部1906，取代色差选择部219而设有作为最优色差选择单元即选择单元的色差选择部1907，取代插补G选择部220而设有作为最优色差选择单元、G插补值输出单元的插补G选择部1908。
这里，上述存储器202与斜插补G计算部1901连接，该斜插补G计算部1901与存储器1902和减法部1903连接。另外，存储器1902及上述存储器206、207、208分别与插补G选择部1908连接。另一方面，减法部1903是色差候选计算单元，与存储器201连接，并且经由存储器1904连接到周边相似度计算部1905上。该周边相似度计算部1905及上述周边相似度计算部215、216连接到判定部1906上，并且上述周边相似度计算部217经由乘法部1603连接到判定部1906上。该判定部1906连接到色差选择部1907及插补G选择部1908上。另外，在色差选择部1907上连接有存储器1904及上述存储器212、213、214。
以下主要对该图19所示的G插补色差计算部102的作用中的、与图16所示的G插补色差计算部102的作用不同的部分进行说明。这里，作用不同的部分主要是涉及斜插补G计算部1901、存储器1902、减法部1903、存储器1904、周边相似度计算部1905、判定部1906、色差选择部1907、插补G选择部1908的部分。
为了获得直至可实施欠缺G像素位置的二维插补处理的像素齐备为止的延迟，向存储器201存储从摄像部101输出的规定行数的颜色信号Rs及颜色信号Bs，向存储器202存储从该摄像部101输出的规定行数的颜色信号Gs。在该图19所示的例子中，存储器201所存储的行数以及存储器202所存储的行数最少为5行。
作为欠缺G像素的插补方法而使用图8、图9、图10、图20所示的4种G像素的配置。
即，纵插补G计算部203采用图8所示配置的G像素，通过插补式Gv＝(G1+G2)/2来计算欠缺G像素的插补候选的情况与上述相同。
另外，横插补G计算部204采用图9所示配置的G像素，通过插补式Gh＝(G3+G4)/2来计算欠缺G像素的插补候选的情况也与上述相同。
而且，4像素插补G计算部205采用图10所示配置的G像素，通过插补式Ga＝(G1+G2+G3+G4)/4来计算欠缺G像素的插补候选的情况也与上述相同。
并且，本实施方式的斜插补G计算部1901是插补候选计算单元、即第四插补计算单元，其采用图20所示的配置的G像素，通过插补式Gd＝(G1+G2+G3+G4)×α—(G5+G6+G7+G8+G9+G10+G11+G12)×β来计算欠缺G像素的插补候选。这里，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
通过纵插补G算出部203、横插补G计算部204、4像素插补G计算部205、斜插补G计算部1901一一计算的插补候选分别存储到存储器206、207、208、1902，并且向减法部209、210、211、1903输出。
减法部209、210、211、1903从存储器201中读入位于与欠缺G像素为相同位置的X像素，并分别减去上述的G插补候选，由此分别计算色差候选X—Gv、X—Gh、X—Ga、X—Gd。
这样计算出的色差候选X—Gv、X—Gh、X—Ga、X—Gd分别存储在存储器212、213、214、1904中。
另外，后面通过周边相似度计算部215、216、217、1905来计算周边相似度时，采用在存储器212、213、214、1904中存储的色差信号。然后，周边相似度计算部215、216、217、1905计算包含3行3列的如图11、图12、图13、图21所示的同种色差信号(即，是在计算色差候选时使用的G插补候选Gv、Gh、Ga、Gd的种类相同、且为相同颜色X的色差信号。因此，例如R—Gv和B—Gv不是相同种类的色差信号。)的附近区域中的、色差信号的相似度。因此，为了取得周边相似度计算部215、216、217、1905可实施相似度计算的延迟，存储器212、213、214、1904以及存储器206、207、208、1902能够分别存储至少5行的数据。
这样，在存储器212、213、214、1904中存储有只能够执行色差的周边相似度计算处理的色差信号的时刻，分别从存储器212、213、214、1904向周边相似度计算部215、216、217、1905输出色差信号X—Gv、X—Gh、X—Ga、X—Gd。
周边相似度计算部1905是最优色差选择单元，与在实施方式1、2中说明的Sv(k，l)，Sh(k，l)，Sa(k，l)同样，如图21所示，采用中央的色差信号(X—Gd)k，l及其周边位置的8个色差(X—Gd)k-2，l-2、(X—Gd)k，l-2、(X—Gd)k+2，l-2、(X—Gd)k-2，l、(X—Gd)k+2，l、(X—Gd)k-2，l+2、(X—Gd)k，l+2、(X—Gd)k+2，l+2，通过计算以下的差分绝对值和，来计算欠缺G像素位置(k，l)中的色差周边相似度Sd(k，l)。
Sd(k，l)＝|(X—Gd)k-2，l-2—(X—Gd)k，l|
          +|(X—Gd)k，l-2—(X—Gd)k，l|
          +|(X—Gd)k+2，l-2—(X—Gd)k，l|
          +|(X—Gd)k-2，l—(X—Gd)k，l|
          +|(X—Gd)k+2，l—(X—Gd)k，l|
          +|(X—Gd)k-2，l+2—(X—Gd)k，l|
          +|(X—Gd)k，l+2—(X—Gd)k，l|
          +|(X—Gd)k+2，l+2—(X—Gd)k，l|
这样计算的四个色差周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)、Sd(k，l)内的4像素插补时的色差周边相似度Sa(k，l)与上述实施方式2相同，通过乘法部1603乘以由G变动量计算部1601计算并存储在存储器1602中的加权系数w(k，l)。
这样，将四个色差周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)输入到判定部1906。
判定部1906对这些四个色差周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)的值进行比较，选择一个赋予最小的色差周边相似度的G插补方法，将与选择的插补方法对应的选择信号向色差选择部1907和插补G选择部1908分别输出。另外，当存在多个最小的色差周边相似度时，判定部1906例如按照Sa(k，l)×w(k，l)、Sd(k，l)、Sh(k，l)、Sv(k，l)的顺序来决定优先位次的高低，并按照该优先位次选择一个G插补方法。
色差选择部1907根据从判定部1906输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的色差候选、即存储在存储器212内的色差候选(X—Gv)k，l、存储在存储器213内的色差候选(X—Gh)k，l、存储在存储器214内的色差候选(X—Ga)k，l、存储在存储器1904内的色差候选(X—Gd)k，l中的任意一个来输入，并作为色差向色差插补处理部103输出。更具体地说，色差选择部1907在色差周边相似度Sv(k，l)为最小的情况下将(X—Gv)k，l向色差插补处理部103输出，在Sh(k，l)为最小的情况下将(X—Gh)k，l向色差插补处理部103输出，在Sd(k，l)为最小的情况下将(X—Gd)k，l向色差插补处理部103输出，在Sa(k，l)×w(k，l)为最小的情况下将(X—Ga)k，l向色差插补处理部103输出。
另外，插补G选择部1908根据从判定部1906输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的G插补候选、即存储在存储器206内的G插补候选Gv(k，l)、存储在存储器207内的G插补候选Gh(k，l)、存储在存储器208内的G插补候选Ga(k，l)、存储在存储器1902内的G插补候选Gd(k，l)中的任意一个来输入，并向RGB计算部104输出。更具体地说，插补G选择部1908在色差周边相似度Sv(k，l)为最小的情况下将Gv(k，l)向RGB计算部104输出，在Sh(k，l)为最小的情况下将Gh(k，l)向RGB计算部104输出，在Sd(k，l)为最小的情况下将Gd(k，l)向RGB计算部104输出，在Sa(k，l)×w(k，l)为最小的情况下将Ga(k，l)向RGB计算部104输出。
根据这样的实施方式3，可实现与上述实施方式1、2基本同样的效果，并且从4种G插补候选中选择一个在计算色差时的未确定参数即欠缺G像素，来作为基于色差信号的局部相关性高这样的前提条件的最可靠的像素。结果，在图像的局部边缘插补最优的欠缺G像素，所以能够抑制伪色的产生，并且还能够抑制水平方向及垂直方向的边缘部和斜方向的边缘部的析像度劣化。
[实施方式4]
图23至图26表示本发明的实施方式4，图23是表示G插补色差计算部的结构的框图，图24是表示在低通滤波器处理部中为了构成低通滤波器而使用的颜色信号X在拜尔排列上的位置的图，图25是表示G插补色差计算部的一部分处理的流程图，图26是表示G插补色差计算部的另一部分处理的流程图。
在该实施方式4中，对与上述实施方式1～3相同的部分标注相同符号并省略说明，以下主要对不同点进行说明。
该实施方式4相对于上述实施方式3，还改善了斜方向的伪色。
首先，上述实施方式3中的欠缺G像素的插补是采用了纵向、横向、周边4像素、周边12像素的插补。并且，纵向的插补适用于纵向边缘区域，横向的插补适用于横向边缘区域，周边12像素的插补适用于斜方向边缘区域，周边4像素的插补适用于其他区域。这里，适用了纵向插补Gv的纵向边缘、或适用了横向插补Gh的横向边缘成为沿着边缘的插补，所以与边缘正交的方向上的空间频率特性不产生劣化，关于色差X—Gv、X—Gh，只要在插补选择中不产生错误，就不会产生由于插补G像素和X像素的频率特性不同而导致的误差。与此相对，图22的fd表示斜方向插补Gd的空间频率特性的一例。这里，频率特性fd表示上述频率特性fa和由周边12像素插补所获得的插补G像素的斜45度方向的频率特性相乘的结果的频率特性。该频率特性fd与由摄像元件采样的像素的斜方向的空间频率特性fa(参照图22)不相近似。从而，在色差X—Gd中产生由频率特性不同而导致的误差。这样的误差在包含高频分量的斜边缘区域中变得显著，具体地说，构成为伪色而显现。为了降低这样的斜方向的边缘区域中的伪色，需要使插补G像素的频率特性、以及要在与该插补G像素之间计算色差的X像素(R像素或B像素)的频率特性相一致。因此，采用4像素插补G信号、XL像素来计算斜方向的色差。这里，XL像素针对X像素(R像素或B像素)实施低通滤波器处理，由此使该XL像素的斜方向的空间频率特性成为与4像素插补G信号的斜方向的空间频率特性fb(参照图22)近似的空间频率特性fc(参照图22)。即，频率特性fc表示上述频率特性fa和针对欠缺G信号位置的颜色信号X采用周边的相同颜色信号而构成的由低通滤波器进行了频带限制的频率特性相乘的结果的频率特性。
通过进行这样的处理，以其他色差候选X—Gd或X—Ga为基准，色差候选XL—Ga的因空间频率特性不同所产生的误差变小，与上述实施方式3相比，可进行伪色降低。另外，这样计算的色差候选XL—Ga即使适用于斜边缘以外的区域，当然也不成问题。
图24表示针对欠缺G像素位置(i，j)上的X像素实施的低通滤波器所使用的像素。即，X(i，j)、X(i—2，j)、X(i，j—2)、X(i+2，j)、X(i，j+2)这5个像素适合低通滤波器中所使用的像素。采用这5个像素构成的低通滤波器如以下所示。
XL(i，j)＝a×X(i，j)
        +b×{X(i—2，j)+X(i，j—2)
            +X(i+2，j)+X(i，j+2)}
这里，a和b是满足a+4b＝1且1>a>0、(1/4)>b>0的规定常数。
这样，在该实施方式4中还增加了：在使X像素的频率特性与G像素的插补特性相一致后进行色差计算的处理，以及选择伴随该处理而计算出的色差的处理。
参照图23对具有这样的低通滤波器功能的G插补色差计算部102的结构进行说明。
本实施方式的G插补色差计算部102相对于上述实施方式3的G插补色差计算部102，还增加了作为频带限制单元的低通滤波器处理部2301、减法部2302和存储器2303，并取代色差选择部1907而设有作为最优色差选择单元即作为选择单元的色差选择部2304。
这里，上述存储器201还与低通滤波器处理部2301连接，该低通滤波器处理部2301连接到减法部2302。另外，减法部2302是色差候选计算单元，还连接到4像素插补G计算部205，并且经由存储器2303连接到色差选择部2304。该色差选择部2304还连接到存储器212、213及判定部1906。因此，与上述实施方式3不同，色差选择部2304没有与存储器214、1904连接。
以下，主要对如该图23所示的G插补色差计算部102的作用内的、与图19所示的G插补色差计算部102的作用不同的部分进行说明。这里，不同的作用部分主要是涉及低通滤波器处理部2301、减法部2302、存储器2303、色差选择部2304的部分。
为了取得直至可实施欠缺G像素位置的二维插补处理的像素齐备为止的延迟，向存储器201存储从摄像部101输出的规定行数的颜色信号Rs及颜色信号Bs，向存储器202存储从该摄像部101输出的规定行数的颜色信号Gs。在该图23所示的例中，存储在存储器201内的行数以及存储在存储器202内的行数最少为5行。
作为欠缺G像素的插补方法，使用图8、图9、图10、图20所示的4种G像素的配置。
即，纵插补G计算部203采用图8所示的配置的G像素，并通过插补式Gv＝(G1+G2)/2来计算欠缺G像素的插补候选的情况与上述相同。
另外，横插补G计算部204采用图9所示配置的G像素，并通过插补式Gh＝(G3+G4)/2来计算欠缺G像素的插补候选的情况也与上述相同。
此外，4像素插补G计算部205采用图10所示配置的G像素，并通过插补式Ga＝(G1+G2+G3+G4)/4来计算欠缺G像素的插补候选的情况也与上述相同。
并且，斜插补G计算部1901采用图20所示配置的G像素，并通过插补式Gd＝(G1+G2+G3+G4)×α—((G5+G6+G7+G8+G9+G10+G11+G12)×β来计算欠缺G像素的插补候选的情况也与上述相同。这里，如上所述，α和β是满足α×4—β×8＝1且α>(1/4)、β>0的任意常数。
通过纵插补G计算部203、横插补G计算部204、4像素插补G计算部205、斜插补G计算部1901一一计算的插补候选分别存储到存储器206、207、208，1902中，并且向减法部209、210、211、1903输出。
减法部209、210、211、1903从存储器201中读入位于与欠缺G像素相同的位置上的X像素，通过分别减去上述G插补候选，来计算色差候选X—Gv、X—Gh、X—Ga、X—Gd。
这样计算的色差候选X—Gv、X—Gh、X—Ga、X—Gd分别存储到存储器212、213、214、1904中。
而且，低通滤波器处理部2301从存储器201中读入X像素，并进行如上所述的低通滤波器处理，计算XL像素。
减法部2302读入由低通滤波器处理部2301计算出的XL像素和由4像素插补G计算部205计算出的该4像素插补Ga，来计算色差XL—Ga。
这样计算的色差XL—Ga被存储到存储器2303中。
另外，存储在存储器212、213、214、1904中的色差信号在之后通过周边相似度计算部215、216、217、1905计算周边相似度时被使用。然后，周边相似度计算部215、216、217、1905计算包含3行3列的图11、图12、图13、图21所示的同种色差信号(即，是在计算色差候选时使用的G插补候选Gv、Gh、Ga、Gd的种类相同、且相同颜色X的色差信号。因此，例如R—Gv和B—Gv不是同种色差信号。)的附近区域中的、色差信号的相似度。因此，为了取得周边相似度计算部215、216、217、1905可实施相似度计算的延迟，存储器212、213、214、1904以及存储器206、207、208、1902能够分别存储至少5行的数据。
这样，在存储器212、213、214、1904中存储了能够执行色差的周边相似度计算处理的色差信号的时刻，分别从存储器212、213、214、1904向周边相似度计算部215、216、217、1905输出色差信号X—Gv、X—Gh、X—Ga、X—Gd。
与实施方式3中所说明的同样，周边相似度计算部215、216、217、1905分别计算色差信号的周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)、Sd(k，l)。
与上述实施方式2同样，这样计算的四个色差周边相似度Sv(k，l)、Sh(k，l)、Sa(k，l)、Sd(k，l)中的、4像素插补时的色差周边相似度Sa(k，l)利用乘法部1603与由G变动量计算部1601计算并存储在存储器1602中的加权系数w(k，l)相乘。
这样，四个色差周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)被输入到判定部1906。
判定部1906对这四个色差周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)的值进行比较，选择一个赋予成为最小的色差周边相似度的G插补方法，并分别向色差选择部2304和插补G选择部1908输出与所选择的插补方法对应的选择信号。另外，当存在多个成为最小的色差周边相似度时，判定部1906例如按照Sa(k，l)×w(k，l)、Sd(k，l)、Sh(k，l)、Sv(k，l)的顺序来决定优先位次的高低，并沿着该优先位次来选择一个G插补方法。
色差选择部2304根据从判定部1906输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的色差候选、即存储在存储器212内的色差候选(X—Gv)k，l、存储在存储器213内的色差候选(X—Gh)k，l、存储在存储器2303内的色差候选(XL—Ga)k，l中的任意一个来输入，并作为色差向色差插补处理部103输出。更具体地说，色差选择部2304在色差周边相似度Sv(k，l)为最小时将(X—Gv)k，l向色差插补处理部103输出，在Sh(k，l)为最小时将(X—Gh)k，l向色差插补处理部103输出，在Sd(k，l)或Sa(k，l)×w(k，l)为最小时将(XL—Ga)kl向色差插补处理部103输出。
另外，插补G选择部1908根据从判定部1906输入的选择信号，选择与该选择信号对应的一个欠缺G像素位置(k，l)的G插补候选、即存储在存储器206内的G插补候选Gv(k，l)、存储在存储器207内的G插补候选Gh(k，l)、存储在存储器208内的G插补候选Ga(k，l)、存储在存储器1902内的G插补候选Gd(k，l)中的任意一个来输入，并向RGB计算部104输出。更具体地说，插补G选择部1908在色差周边相似度Sv(k，l)为最小时将Gv(k，l)向RGB计算部104输出，在Sh(k，l)为最小时将Gh(k，l)向RGB计算部104输出，在Sd(k，l)为最小时将Gd(k，l)向RGB计算部104输出，在Sa(k，l)×w(k，l)为最小时将Ga(k，l)向RGB计算部104输出。
这以后的处理与上述实施方式3同样。
接着，参照图25及图26来说明本实施方式中的G插补色差计算处理的顺序。另外，该图25和图26原本应该作为一个附图来记载，不过因为纸面的关系而分为两个附图。
在该G插补色差计算部102中，按照光栅扫描顺序输入由摄像部101摄像并存储在存储器内的单板拜尔排列图像。然后，G插补色差计算部102按照上述将按光栅扫描顺序输入的单板拜尔排列图像内的、规定数据量的Rs信号及Bs信号存储在存储器201中，规定数据量的Gs信号存储在存储器202。
这样，在存储器201、202内存储有规定数据量的状态下，将存储欠缺G信号的G插补候选值的存储器206～208、1902的行数N和存储欠缺G信号的色差候选值的存储器212～214、1904的行数N设置为规定的初始值(在该实施方式4中N＝5)(步骤S2500)。
接着，针对G信号欠缺位置(i，j)，通过纵插补G计算部203计算图8所示的上下邻接的G信号的平均值，并作为插补候选Gv(i，j)存储在存储器206内(步骤S2501)，此外，还利用减法部209从G信号欠缺位置(i，j)的X(i，j)减去插补候选Gv(i，j)，由此计算色差候选(X—Gv)i，j，并存储在存储器212中(步骤S2502)。
接着，针对G信号欠缺位置(i，j)，计算如图9所示的左右邻接的G信号的平均值，作为插补候选Gh(i，j)存储在存储器207内(步骤S2503)，此外，还利用减法部210从G信号欠缺位置(i，j)的X(i，j)减去插补候选Gh(i，j)，由此计算色差候选(X—Gh)i，j，并存储在存储器213内(步骤S2504)。
然后，针对G信号欠缺位置(i，j)，根据如图12所示的周边12个G信号来计算插补值Gd(i，j)，并存储在存储器1902内(步骤S2505)，而且，利用减法部1903从G信号欠缺位置(i，j)的X(i，j)减去插补候选Gd(i，j)，由此计算色差候选(X—Gd)i，j，并存储在存储器1904内(步骤S2506)。
然后，针对G信号欠缺位置(i，j)，计算如图10所示的上下左右邻接的G信号的平均值，并作为插补候选Ga(i，j)存储在存储器208内(步骤S2507)，此外，来利用减法部211从G信号欠缺位置(i，j)的X(i，j)减去插补候选Ga(i，j)，由此计算色差候选(X—Ga)i，j，并存储在存储器214内(步骤S2508)。
接着，通过低通滤波器处理部2301，采用G信号欠缺位置(i，j)的X(i，j)和G信号欠缺位置(i，j)的上下左右附近的X信号来计算频带限制的XL(i，j)，此外，还根据该频带限制后的XL(i，j)(这里，XL为R信号的频带限制信号RL或B信号的频带限制信号BL。)、在步骤S2507中计算出的插补候选Ga(i，j)，利用减法部2302计算色差(XL—Ga)i，j，并存储在存储器2303中(步骤S2509)。
接着，利用G变动量计算部1601，根据G信号欠缺位置(i，j)的周边12像素的G信号来计算G变动量，将计算出的G变动量转换为加权系数w(i，j)并存储到存储器1602内(步骤S2510)。
然后，在此时刻判定N行的处理是否已结束(步骤S2511)，当判定为N行的处理还未结束时，返回步骤S2501，进行如上所述的处理。
这样，在步骤S2511中判定为N行的处理已结束的情况下，转移到图26所示的处理，将N设置为1(步骤S2601)。
接着，周边相似度计算部215计算存储在存储器212内的由G信号欠缺位置(k，l)的同种插补(是X为相同颜色、G的种类相同的Gv)计算的色差(X—Gv)k，l、及其附近8个方向的同种色差(X—Gv)k+n，l+m(这里，n＝—2、0、2，m＝—2、0、2，且n和m不是同时为0。)的差分绝对值和，来作为色差周边相似度候选Sv1(k，l)。而且，周边相似度计算部215对附近8个方向的同种色差(X—Gv)k+n，l+m内的、上下附近的同种色差(X—Gv)k+n，l+m(这里，n＝0；m＝—2、2)进行大的加权来取得差分绝对值和，并计算色差周边相似度候选Sv2(k，l)。然后，周边相似度计算部215根据计算出的色差周边相似度候选Sv1(k，l)和色差周边相似度候选Sv2(k，l)来计算周边相似度Sv(k，l)(步骤S2602)。
同样，周边相似度计算部216计算存储在存储器213内的由G信号欠缺位置(k，l)的同种插补(是X为相同颜色、G的种类相同的Gh)计算的色差(X—Gh)k，l、及其附近8个方向的同种色差(X—Gh)k+n，l+m(这里，n＝—2、0、2，m＝—2、0、2，且n和m不同时为0。)的差分绝对值和，来作为色差周边相似度候选Sh1(k，l)。而且，周边相似度计算部216对附近8个方向的同种色差(X—Gh)k+n，l+m内的、左右附近的同种色差(X—Gh)k+n，l+m(这里，n＝0，m＝—2、2)进行大的加权来取得差分绝对值和，并计算色差周边相似度候选Sh2(k，l)。然后，周边相似度计算部216根据计算出的色差周边相似度候选Sh1(k，l)和色差周边相似度候选Sh2(k，l)来计算周边相似度Sh(k，l)(步骤S2603)。
另外，同样地，周边相似度计算部1905计算存储在存储器1904内的由G信号欠缺位置(k，l)的同种插补(是X为相同颜色、G的种类相同的Gd)计算的色差(X—Gd)k，l、及其附近8个方向的同种色差(X—Gd)k+n，l+m(这里，n＝—2、0、2，m＝—2、0、2，且n和m不是同时为0。)的差分绝对值和，来作为周边相似度Sd(k，l)(步骤S2604)。
此外，同样地，周边相似度计算部217计算存储在存储器214内的由G信号欠缺位置(k，l)的同种插补(是X为相同颜色、G的种类相同的Ga)计算的色差(X—Ga)k，l、及其附近8个方向的同种色差(X—Ga)k+n，l+m(这里，n＝—2、0、2，m＝—2、0、2，且n和m不是同时为0。)的差分绝对值和，来作为周边相似度Sa(k，l)，乘法部1603将计算出的Sa(k，l)乘以上述的加权系数w(k，l)(步骤S2605)。
这样计算的各周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)与上述相同，表示其值越小相似性越高。
在如此计算出四个周边相似度Sv(k，l)、Sh(k，l)、Sd(k，l)、Sa(k，l)×w(k，l)时，首先对周边相似度Sv(k，l)和Sh(k，l)进行比较(步骤S2606)。
这里，在判定为周边相似度Sv(k，l)比周边相似度Sh(k，l)小的情况下，还比较周边相似度Sv(k，l)和周边相似度Sa(k，l)×w(k，l)(步骤S2607)。
另外，当在步骤S2606中判定为周边相似度Sv(k，l)是周边相似度Sh(k，l)以上时，还比较周边相似度Sh(k，l)和周边相似度Sa(k，l)×w(k，l)(步骤S2608)。
然后，当在步骤S2607中判定为周边相似度Sv(k，l)是周边相似度Sa(k，l)×w(k，l)以上时，或者在步骤S2608中判定为周边相似度Sh(k，l)是周边相似度Sa(k，l)×w(k，l)以上时，还比较周边相似度Sd(k，l)和周边相似度Sa(k，l)×w(k，l)(步骤S2609)。
在该步骤S2609中，当判定为周边相似度Sd(k，l)小于周边相似度Sa(k，l)×w(k，l)时，将G信号欠缺位置(k，l)的信号插补值决定为Gd(k，l)，将G信号欠缺位置(k，l)的色差决定为(XL—Ga)k，l，并将这些存储在存储器内(步骤S2610)。
另外，当在步骤S2609中判定为周边相似度Sd(k，l)是周边相似度Sa(k，l)×w(k，l)以上时，将G信号欠缺位置(k，l)的信号插补值决定为Ga(k，l)，将G信号欠缺位置(k，l)的色差决定为(XL—Ga)k，l，并将这些存储在存储器内(步骤S2611)。
另一方面，当在上述的步骤S2607中判定为周边相似度Sv(k，l)小于周边相似度Sa(k，l)×w(k，l)时，将G信号欠缺位置(k，l)的信号插补值决定为Gv(k，l)，将G信号欠缺位置(k，l)的色差决定为(X—Gv)k，l，并将这些存储在存储器内(步骤S2612)。
另外，当在上述步骤S2608中判定为周边相似度Sh(k，l)小于周边相似度Sa(k，l)×w(k，l)时，将G信号欠缺位置(k，l)的信号插补值决定为Gh(k，l)，将G信号欠缺位置(k，l)的色差决定为(X—Gh)k，l，并将这些存储在存储器内(步骤S2613)。
在这样进行了步骤S2610、步骤S2611、步骤S2612或步骤S2613中任意一个的处理后，判定N行的处理是否已结束(步骤S2614)，在判定为处理还未结束时，返回步骤S2602，进行如上所述的处理。
另一方面，在步骤S2614中判定为N行的处理已结束的情况下，还判定是否已结束了作为输出图像的总行数的处理(步骤S2615)。
这里，在判定为总行数的处理尚未结束的情况下，返回图25的步骤S2501，将存储在存储器中的不需要的行Gv、Gh、Gd、Ga、(X—Gv)、(X—Gh)、(X—Gd)、(X—Ga)、(XL—Ga)、Sv、Sh、Sd、Sa、w用新计算的值置换，并且进行如上所述的处理。
另外，在步骤S2615中判定为总行数的处理已结束时，结束该G插补色差计算处理。
另外，在上述流程图的说明中，对于从步骤S2606～步骤S2609的周边相似度Sv、Sh、Sd、Sa×w中选择一个相似度的方法，其用于决定该四个周边相似度的最小值还是不充分的，不过这里是作为简易的选择方法的一例示出的。为了从四个周边相似度中严谨地求出最小值，显然除了上述四个比较步骤之外，还需要Sv和Sd的比较步骤及Sh和Sd的比较步骤。
另外，参照图25及图26说明的流程图是涉及为了能将存储器容量抑制为最小限而设计的处理顺序的例子。但不限于此，还可变更上述处理，以确保能够存储至少1帧的如上所述的各计算数据的存储器。在能够这样地确保1帧左右的存储器时，可将步骤S2500的N的初始值和步骤S2601的N的值置换为总行数。由此可执行如下的处理顺序，即在作成了1帧的G插补候选和色差候选后，从这些多个G插补候选和色差候选中按每一像素来选择最优的插补G和色差。
另外，确保这样的1帧左右的存储器的处理顺序，即使在实施方式1所说明的处理流程图中也同样能够实施。
根据这样的实施方式4，可起到与上述实施方式1～3大致相同的效果，并且修正(无需对纵向插补和横向插补进行修正，只需对4像素插补进行修正)为使色差信号计算中所使用的G插补候选的三个插补(纵向插补、横向插补、4像素插补)的频率特性与欠缺G像素位置的X信号(R或者B信号)的频率特性相近似，之后计算色差信号，这样能够抑制伪色产生。
另外，与上述实施方式3同样，从4种G插补候选中选择一个欠缺G像素来作为最可靠的像素，所以能够抑制斜方向的边缘部的析像度的劣化。
这样，准备M种G插补候选来作为欠缺G像素的插补候选，并选择各G插补候选和根据G信号欠缺位置中的X信号(R信号或B信号)而取得的M种色差候选中的、与周边相似度最高的色差候选对应的G插补候选来作为欠缺G像素，所以能够在不发生饱和度降低的情况下充分地抑制伪色产生。而且，还能够获得欠缺G信号的析像度下降少的最优的插补值。
另外，如在该实施方式4中说明的针对4像素插补时的X信号使频率特性近似的修正处理同样还能够适用于上述实施方式1、2。但是，在该情况下，需要在减法部211的X信号输入的前阶段侧设置低通滤波器处理部。从而在存储器214中存储XL—Ga而不是X—Ga。因此，由周边相似度计算部217计算的相似度Sa将使用在存储器214中所存储的(XL—Ga)。通过这样的结构和进行这样的处理，即使在上述实施方式1、2中也能够进一步进行伪色的抑制。
另外，在上述中，根据通过与位于计算区域中央的X(R或B)种类相同的颜色X而得到的色差来计算色差周边相似度，不过也可以使用通过不同种类的颜色X^而得到的色差来计算色差周边相似度。在该情况下，不是计算位于中央的色差X—G以及位于周边的X^—G的差分绝对值和，而是计算位于周边的多个X^—G彼此的差分绝对值和，可通过与相同种类的颜色X的X—G彼此的差分绝对值和进行相加，由此来定义该色差周边相似度。
[实施方式5]
图27至图36表示本发明的实施方式5，图27是表示采用由纵插补求出的Gv计算出的5×5像素区域的X—Gv及X＾—Gv的图，图28是表示采用由横插补求出的Gh计算出的5×5像素区域的X—Gh及X＾—Gh的图，图29是表示采用由4像素插补求出的Ga计算出的5×5像素区域的X—Ga及X＾—Ga的图，图30是表示采用由斜插补求出的Gd计算出的5×5像素区域的X—Gd及X＾—Gd的图，图31是表示使在二维色差空间中由纵插补求出的Gv所涉及的周边局部区域的色差X—Gv或X＾—Gv图形化后的状况的线图，图32是表示使在二维色差空间中由横插补求出的Gh所涉及的周边局部区域的色差X—Gh或X＾—Gh图形化后的状况的线图，图33是表示使在二维色差空间中由4像素插补求出的Ga所涉及的周边局部区域的色差X—Ga或X^—Ga图形化后的状况的线图，图34是表示使在二维色差空间中由斜插补求出的Gd所涉及的周边局部区域的色差X—Gd或X^—Gd图形化后的状况的线图，图35是表示在判定区域内存在垂直方向的空间频率较高的横条纹图案的例子的图，图36是表示在针对图35所示的例子采用了上述实施方式1～4的周边色差相似度时在G信号上出现对照图案的模式的状况的图。
在该实施方式5中，对与上述实施方式1～4同样的部分标注相同符号并省略说明，以下主要对不同的点进行说明。
该实施方式5是使通过上述实施方式1～4中的周边相似度计算部215～217、1905计算的色差周边相似度的定义不同的实施方式。因此，本实施方式的结构与上述实施方式1～4相同，所以适当引用各附图及参照符号等。
首先，图27表示使用由G信号欠缺位置的垂直方向的邻接G信号进行插补而获得的Gv来计算的5×5像素区域的X—Gv、或者X^—Gv。在此，X^表示与G像素欠缺的位置上的颜色X不同的颜色(除了G)，在X＝R的情况下X^＝B，在X＝B的情况下X^＝R。
上述的周边相似度计算部215使用该图27所示的色差X—Gv、X^—Gv来计算以下定义的色差周边相似度Sv(k，l)。
Sv(k，l)＝Sv1(k，l)+Sv2(k，l)
这里，Sv1(k，l)表示色差X—Gv的相似度，Sv2(k，l)表示色差X^—Gv的相似度，各相似度的具体例如以下表示。
Sv1(k，l)＝{|(X—Gv)k，l-2—(X—Gv)k，l|
             +|(X—Gv)k，l+2—(X—Gv)k，l|}×Wvxc
           +{|(X—Gv)k-2，l-2—(X—Gv)k-2，l)|
             +|(X—Gv)k+2，l-2—(X—Gv)k-2，l|
             +|(X—Gv)k+2，l+2—(X—Gv)k+2，l|
             +|(X—Gv)k+2，l+2—(X—Gv)k+2，l|}×Wvxa
Sv2(k，l)＝{|(X^—Gv)k-1，l-1—(X^—Gv)k-1，l+1|
             +|(X^—Gv)k+1，l-1—(X^—Gv)k+1，l+1|}×Wvx^
这里，在各相似度计算中采用的加权Wvxc、Wvxa、Wvx^存在如下的关系：
2×Wvxc+4×Wvxa＝2×Wvx^＝W
即，处于如下关系：
Wvxc+2×Wvxa＝Wvx^。
这里，第一式中的右边的W表示对整体的加权。
这样计算的色差周边相似度Sv(k，l)成为表示在G信号欠缺位置(k，l)周边且在垂直方向上色差X—Gv和色差X^—Gv的相似程度的量。
接着，图28表示使用由G信号欠缺位置的水平方向的邻接G信号进行插补而获得的Gh来计算的5×5像素区域的X—Gh、或者X^—Gh。这里，在X＝R的情况下X^＝B，在X＝B的情况下X^＝R，这些与上述相同。
上述的周边相似度计算部216使用该图28所示的色差X—Gh、X^—Gh，来计算以下定义的色差周边相似度Sh(k，l)。
Sh(k，l)＝Sh1(k，l)+Sh2(k，l)
这里，Sh1(k，l)表示色差X—Gh的相似度，Sh2(k，l)表示色差X^—Gh的相似度，各相似度的具体例如以下所示。
Sh1(k，l)＝{|(X—Gh)k-2，l—(X—Gh)k，l|
              +|(X—Gh)k+2，l—(X—Gh)k，l|}×Whxc
            +{|(X—Gh)k-2，l-2—(X—Gh)k，l-2|
              +|(X—Gh)k+2，l-2—(X—Gh)k，l-2|
              +|(X—Gh)k-2，l+2—(X—Gh)k，l+2|
              +|(X—Gh)k+2，l+2—(X—Gh)k，l+2|}×Whxa
Sh2(k，l)＝{|(X^—Gh)k-1，l-1—(X^—Gh)k+1，l-1|
             +|(X^—Gh)k-1，l+1—(X^—Gh)k+1，l+1|}×Whx^
这里，各相似度计算中采用的加权Whxc、Whxa、Whx^存在如下关系：
2×Whxc+4×Whxa＝2×Whx^＝W
即处于如下关系：
Whxc+2×Whxa＝Whx^。
这里，第一式中的右边的W表示对整体的加权。
这样计算的色差周边相似度Sh(k，l)成为表示在G信号欠缺位置(k，l)上且在周边垂直方向上色差X—Gh和色差X^—Gh的相似程度的量。
接着，图29表示使用由G信号欠缺位置的邻接4像素G信号进行插补而获得的Ga来计算的5×5像素区域的X—Ga、或者X^—Ga。这里，在X＝R的情况下X^＝B，在X＝B的情况下X^＝R，这些与上述相同。
上述周边相似度计算部217使用该图29所示的色差X—Ga、X^—Ga，来计算以下定义的色差周边相似度Sa(k，l)。
Sa(k，l)＝Sa1(k，l)+Sa2(k，l)
这里，Sa1(k，l)表示色差X—Ga的相似度，Sa2(k，l)表示色差X^—Ga的相似度，各相似度的具体例如以下所示。
Sa1(k，l)＝{|(X—Ga)k-2，l-2—(X—Ga)k，l|
             +|(X—Ga)k-2，l+2—(X—Ga)k，l|
             +|(X—Ga)k+2，l-2—(X—Ga)k，l|
             +|(X—Ga)k+2，l+2—(X—Ga)k，l|}×Waxc
           +{|(X—Ga)k，l-2—(X—Ga)k，l|
             +|(X—Ga)k+2，l—(X—Ga)k，l|
             +|(X—Ga)k，l+2—(X—Ga)k，l|
             +|(X—Ga)k-2，l—(X—Ga)k，l|}×Waxa
Sa2(k，l)＝{|(X^—Ga)k-1，l-1—(X^—Ga)k+1，l+1|
             +|(X^—Ga)k-1，l+1—(X^—Ga)k+1，l-1|}×Wax^
这里，各相似度计算中所采用的加权Waxc、Waxa、Wax^存在如下的关系：
4×Waxc+4×Waxa＝2×Wax^＝W
即，处于如下关系：
2×(Waxc+Waxa)＝Wax^。
这里，第一式中的右边的W表示对整体的加权。
这样计算的色差周边相似度Sa(k，l)成为表示在G信号欠缺位置(k，1)周边上与方向无关，色差X—Ga和色差X^—Ga各自的类似程度的量。
接着，图30表示使用由G信号欠缺位置的周边12像素G信号进行插补而获得的Gd来计算的5×5像素区域的X—Gd、或者X^—Gd。这里，在X＝R的情况下X^＝B，在X＝B的情况下X^＝R，这些与上述相同。
上述周边相似度计算部1905使用该图30所示的色差X—Gd、X^—Gd，来计算以下定义的色差周边相似度Sd(k，l)。
(Sdslash(k，l)<Sdbackslash(k，l))
(Sdslash(k，l)≥Sdbackslash(k，l))
这里，Sdslash(k，l)和Sdbackslash(k，l)按以下公式计算。
Sdslash(k，l)＝Sdslash1(k，l)+Sdslash2(k，l)
Sdbackslash(k，l)＝Sdbackslash1(k，l)+Sdbackslash2(k，l)
并且，Sdslash1(k，l)和Sdbackslash1(k，l)表示色差X—Gd的相似度，Sdslash2(k，l)Sdbackslash2(k，l)表示色差X^—Gd的相似度，各相似度的具体例如以下所示。
Sdslash1(k，l)＝{|(X—Gd)k+2，l-2—(X—Gd)k，l|
                  +|(X—Gd)k-2，l+2—(X—Gd)k，l|}×Wdxc
                +{|(X—Gd)k，l-2—(X—Gd)k-2，l|
                  +|(X—Gd)k，l+2—(X—Gd)k+2，l|}×Wdxa
Sdslash2(k，l)＝|(X^—Gd)k-1，l+1—(X^—Gd)k+1，l-1|×Wdx^
Sdbackslash1(k，l)＝{|(X—Gd)k-2，l-2—(X—Gd)k，l|
                   +|(X—Gd)k+2，l+2—(X—Gd)k，l|}×Wdxc
                  +{|(X—Gd)k+2，l—(X—Gd)k，l-2|
                   +|(X—Gd)k-2，l—(X—Gd)k，l+2|}×Wdxa
Sdbackslash2(k，l)＝|(X^—Gd)k-1，l-1—(X^—Gd)k+1，l+1|×Wdx^
这里，各相似度计算中所采用的加权Wdxc、Wdxa、Wdx^存在如下的关系：
2×Wdxc+2×Wdxa＝Wdx^＝W
即，处于如下关系：
2×(Wdxc+Wdxa)＝Wdx^。
这里，第一式中的右边的W表示对整体的加权。
这样计算的色差周边相似度Sd(k，l)成为表示在G信号欠缺位置(k，l)周边且在任意一个斜方向(从左下到右上的斜方向，或者从左上到右下的斜方向)上色差X—Gd和色差X^—Gd的相似程度的量。
根据上述定义计算的色差周边相似度Sv、Sh、Sa、Sd可直接与实施方式1～4中使用的色差周边相似度置换，之后的判定部218、1906中的处理也是相同的。
在上述实施方式1～4中示出的色差周边相似度和在该实施方式5中示出的色差周边相似度的不同之处在于：不仅采用一方的色差X—G，还采用另一方的色差X^—G。参照图31～图34对该不同进行示意的说明。
图31～图34是使在二维色差空间(是将一个座标轴设为R—Gt、将另一个座标轴设为B—Gt的色差空间，这里t＝v、h、a、d)内根据G信号欠缺位置(k，l)的周边局部区域(例如5×5像素区域)内的各G信号欠缺位置的插补种类t来计算的色差X—Gt、或者X^—Gt图形化的线图。
G信号欠缺位置的色差(使用插补得到的G信号的色差)仅针对一个G信号欠缺位置而获得X—Gt和X^—Gt中的任意一方(即，R—Gt和B—Gt中的任意一方)，所以无法直接在二维色差空间内图形化，仅能够在某个座标轴上图形化。表示在这样的座标轴上图形化的色差范围的部分是由图31～图34的粗线所示的部分。例如，在图31所示的例子中，R—Gv分布在由R—Gv轴上的Δ(R—Gv)表示的幅度的粗线部分，B—Gv分布在由B—Gv轴上的Δ(B—Gv)表示的幅度的粗线部分。
分布在如上所述的各座标轴的粗线上的描绘点的幅度Δ(R—Gt)或Δ(B—Gt)成为与上述周边相似度的差分绝对值和St1或St2对应的量。另外，严谨地说，上述幅度与上述差分绝对值和不同，不过可视为在概念上是相同的。
然后，在图31～图34所示的例中，关于Δ(R—Gt)，假定为：
Δ(R—Gv)＝Δ(R—Gh)＝Δ(R—Ga)<Δ(R—Gd)
关于Δ(B—Gt)，假定为：
Δ(B—Gh)<Δ(B—Ga)＝Δ(B—Gd)<Δ(B—Gv)。
在这样的条件下，当使用上述实施方式1～4中所说明的周边色差相似度时，选择R—Ga作为R像素位置的色差，选择B—Gh作为临近的B像素位置的色差。在该情况下，对斜方向的每一像素切换了G信号欠缺位置的插补方法。假设在这样的条件成立的判定区域中存在例如图35所示的在垂直方向上空间频率高的横条纹图案(该图35所示的阴影线仅表示在摄像元件上的某位置(k，l)附近处成像的G信号频带的亮度变化)。该情况下，在实施方式1～4的技术中，上述R像素的位置(G信号欠缺位置)的G插补值成为周边四个G像素的插补Ga，由于G插补值构成为还加入上下G像素再平均化的插补值，所以成为与R像素的左右G像素大不相同的值。即，在该R像素存在的行中，G像素值按每一像素(利用2像素周期)而产生较大的变化。另一方面，上述B像素的位置(G信号欠缺位置)的G插补值为仅使用水平方向像素的平均值Gh，所以不产生与横条纹正交的方向上的高频率的像素值变化。其结果是，在如上述实施方式1～4所说明的技术中，在图35所示的横条纹图案的区域中出现图36所示的G信号所涉及的对照图案这样的模式(该图36所示的阴影线表示采用上述插补种类t来插补摄像后的G信号欠缺位置之后的G信号的亮度变化)，其成为伪色产生的原因。
与此相对，如该实施方式5中所说明的周边色差相似度与Δ(R—Gt)+Δ(B—Gt)对应。当在图31～图34的情况下应用该周边色差相似度时，各周边色差相似度的大小关系如以下所示。
Δ(R—Gh)+Δ(B—Gh)<Δ(R—Ga)+Δ(B—Ga)<...
即，当使用如该实施方式5所示的周边色差相似度时，选择R—Gh作为R像素位置的色差，还选择B—Gh作为临近的B像素位置的色差，所以局部区域中的G插补种类t为相同的，这样能够抑制频繁地切换G插补种类t。这样，即使设如上所述的空间频率高的横条纹图案存在于局部区域，也能够高精度地再现该横条纹图案，而不用变化为如图36所示的对照图案。
另外，如果参照如图31～图34所示的用各轴上的粗线部分表示的分布，则对于G信号欠缺位置的周边局部区域的色差，可估计为：其分布在各图中用虚线包围并施加了阴影线的区域、即Δ(R—Gt)的幅度和Δ(B—Gt)的幅度相交的区域。原因是，针对在各个G信号欠缺位置(k，l)取得的一个色差(X—Gt)k，l采用周边的同种色差来插补另一个欠缺的色差(X^—Gt)k，l，当针对各G信号欠缺位置计算出由两个色差组成的色差空间座标{(R—Gt)k，l，(B—Gt)k，l}时，可在上述二维色差空间内进行图形化，如果假定为在该情况下计算出的色差在空间上不具有高频率，则视为该色差空间座标值分布在用虚线包围并施加了阴影线的区域内。
结果，最优的色差选择实质上与选择在图31～图34中用虚线包围并施加了阴影线的区域的面积最小的由G插补种类t计算出的色差的情况等价。此时，作为用于进行最优的色差选择的一个技术，将两个座标轴上的分布量之和用作判定参数，上述内容构成该实施方式5(但是，从面积的观点来看，可以将分布量的积用作判定参数)。与此相对，上述实施方式1～4为仅将一个座标轴上的分布量用作判定参数的技术。
另外，在上述中，将色差周边相似度的计算区域作为5×5像素区域，不过不限于此，显然还可以作为更大的N×N像素(N为奇数)区域。作为一例，在将色差周边相似度的计算区域作为7×7像素区域时，可计算以下所示的各色差周边相似度。
Sv1(k，l)＝{|(X—Gv)k，l-2—(X—Gv)k，l|
             +|(X—Gv)k，l+2—(X—Gv)k，l|}×Wvxc
           +{|(X—Gv)k-2，l-2—(X—Gv)k-2，l|
             +|(X—Gv)k-2，l+2—(X—Gv)k-2，l|
              +|(X—Gv)k+2，l-2—(X—Gv)k+2，l|
              +|(X—Gv)k+2，l+2—(X—Gv)k+2，l|}×Wvxa
Sv2(k，l)＝{|(X^—Gv)k-1，l-1—(X^—Gv)k-1，l+1|
              +|(X^—Gv)k+1，l-1—(X^—Gv)k+1，l+1|}×Wvx^c
           +{|(X^—Gv)k-1，l-3—(X^—Gv)k-1，l-1|
              +|(X^—Gv)k-1，l+3—(X^—Gv)k-1，l+1|
              +|(X^—Gv)k+1，l-3—(X^—Gv)k+1，l-1|
              +|(X^—Gv)k+1，l+3—(X^—Gv)k+1，l+1|}×Wvx^a
Sh1(k，l)＝{|(X—Gh)k-2，l—(X—Gh)k，l|
              +|(X—Gh)k+2，l—(X—Gh)k，l|}×Whxc
           +{|(X—Gh)k-2，l-2—(X—Gh)k，l-2|
              +|(X—Gh)k+2，l-2—(X—Gh)k，l-2|
              +|(X—Gh)k-2，l+2—(X—Gh)k，l+2|
              +|(X—Gh)k+2，l+2—(X—Gh)k，l+2|}×Whxa
Sh2(k，l)＝{|(X^—Gh)k-1，l-1—(X^—Gh)k+1，l-1|
              +|(X^—Gh)k-1，l+1—(X^—Gh)k+1，l+1|}×Whx^c
           +{|(X^—Gh)k-3，l-1—(X^—Gh)k-1，l-1|
              +|(X^—Gh)k+3，l-1—(X^—Gh)k+1，l-1|
              +|(X^—Gh)k-3，l+1—(X^—Gh)k-1，l+1|
              +|(X^—Gh)k+3，l+1—(X^—Gh)k+1，l+1|}×Whx^a
Sa1(k，l)＝{|(X—Ga)k-2，l-2—(X—Ga)k，l|
              +|(X—Ga)k-2，l+2—(X—Ga)k，l|
              +|(X—Ga)k+2，l-2—(X—Ga)k，l|
              +|(X—Ga)k+2，l+2—(X—Ga)k，l|}×Waxc
           +{|(X—Ga)k，l-2—(X—Ga)k，l|
              +|(X—Ga)k+2，l—(X—Ga)k，l|
              +|(X—Ga)k，l+2—(X—Ga)k，l|
              +|(X—Ga)k-2，l—(X—Ga)k，l|}×Waxa
Sa2(k，l)＝{|(X^—Ga)k-1，l-1—(X^—Ga)k+1，l+1|
              +|(X^—Ga)k-1，l-1—(X^—Ga)k-1，l-1|}×Wa^c
           +{|(X^—Ga)k-3，l-1—(X^—Ga)k-1，l-1|
              +|(X^—Ga)k-1，l-3—(X^—Ga)k-1，l-1|
              +|(X^—Ga)k+3，l-1—(X^—Ga)k+1，l-1|
              +|(X^—Ga)k+1，l-3—(X^—Ga)k+1，l-1|
              +|(X^—Ga)k-3，l+1—(X^—Ga)k-1，l+1|
              +|(X^—Ga)k-1，l+3—(X^—Ga)k-1，l+1|
              +|(X^—Ga)k+3，l+1—(X^—Ga)k+1，l+1|
              +|(X^—Ga)k+1，l+3—(X^—Ga)k+1，l+1|}×Wz^a
Sdslash1(k，l)＝{|(X—Gd)k+2，l-2—(X—Gd)k，l|
                 +|(X—Gd)k-2，l+2—(X—Gd)k，l|}×Wdxc
              +{|(X—Gd)k，l-2—(X—Gd)k-2，l|
                 +|(X—Gd)k，l+2—(X—Gd)k+2，l|}×Wdxa
Sdslash2(k，l)＝|(X^—Gd)k-1，l+1—(X^—Gd)k+1，l-1|×Wdx^c
               +{|(X^—Gd)k+1，l-3—(X^—Gd)k-1，l-1|
               +|(X^—Gd)k-3，l+1—(X^—Gd)k-1，l-1|
               +|(X^—Gd)k+3，l-1—(X^—Gd)k+1，l+1|
               +|(X^—Gd)k-1，l+3—(X^—Gd)k+1，l+1|}×Wdx^a
Sdbackslash1(k，l)＝{|(X—Gd)k-2，l-2—(X—Gd)k，l|
                    +|(X—Gd)k+2，l+2—(X—Gd)k，l|}×Wdxc
                   +{|(X—Gd)k+2，l—(X—Gd)k，l-2|
                    +|(X—Gd)k-2，l—(X—Gd)k，l+2|}×Wdxa
Sdbackslash2(k，l)＝|(X^—Gd)k-1，l-1—(X^—Gd)k+1，l+1|×Wdx^c
                  +{|(X^—Gd)k-1，l-3—(X^—Gd)k+1，l-1|
                  +|(X^—Gd)k+3，l+1—(X^—Gd)k+1，l-1|
                  +|(X^—Gd)k-3，l-1—(X^—Gd)k-1，l+1|
                  +|(X^—Gd)k+1，l+3—(X^—Gd)k-1，l+1|}×Wdx^a
在此，上述加权的条件是：
2×Wvxc+4×Wvxa＝2×Wvx^c+4×Wvx^a＝W
2×Whxc+4×Whxa＝2×Whx^c+4×Whx^a＝W
4×Waxc+4×Waxa＝2×Wax^c+8×Wax^a＝W
2×Wdxc+2×Wdxa＝Wdx^c+4×Wdx^a＝W
即，
Wvxc+2×Wvxa＝Wvx^c+2×Wvx^a
Whxc+2×Whxa＝Whx^c+2×Whx^a
2×(Waxc+Waxa)＝Wax^c+4×Wax^a
2×(Wdxc+Wdxa)＝Wdx^c+4×Wdx^a。
这里，第一各公式中的右边的W表示对整体的加权。
在这样的实施方式5中，根据色差X—Gv所涉及的周边相似度和色差X^—Gv所涉及的周边相似度这两者来计算色差周边相似度，所以能够针对色差周边相似度的计算区域内的任意空间频率的像素值变化来进一步抑制色差周边相似度的判定错误(在没有沿着图像边缘方向的方向上选择了已插补的G信号所涉及的色差周边相似度的状态)。其结果是，可进一步抑制伪色的产生。
另外，在上述的各实施方式中，主要说明了由RGB拜尔排列图像来生成使采样位置同步化的彩色图像的图像处理装置，其能够适用在通用的处理电路等中进行同样处理的图像处理方法，还能够使计算机执行图像处理程序，以进行同样的处理。
这样，根据上述实施方式，能够获得如下这样的高画质彩色图像，即，针对由在空间的不同位置上配置有多个彩色滤波器的单板摄像元件来拍摄的图像，充分抑制了欠缺颜色信号的插补处理中的伪色产生、析像度降低及饱和度降低。
另外，本发明并不限定上述的实施方式，在实施阶段中在不脱离其主旨的范围内可使构成要素变形并具体化。另外，通过适当组合上述实施方式所公开的多个构成要素，可形成各种发明。例如，可从实施方式所示的全部构成要素中删除几个构成要素。而且，还可以适当组合不用实施方式的构成要素。这样，显然在不脱离发明主旨的范围内可进行各种变形及应用。
本申请是以2006年6月29日在日本申请的特愿2006—180434号、2007年2月20日在日本申请的特愿2007—39922号作为优先权要求的基础进行申请的，上述公开内容引用到本申请说明书、权利要求、附图中。

图像处理装置、图像处理程序、图像处理方法.pdf_第1页
第1页 / 共101页
图像处理装置、图像处理程序、图像处理方法.pdf_第2页
第2页 / 共101页
图像处理装置、图像处理程序、图像处理方法.pdf_第3页
第3页 / 共101页
点击查看更多>>
资源描述

《图像处理装置、图像处理程序、图像处理方法.pdf》由会员分享，可在线阅读，更多相关《图像处理装置、图像处理程序、图像处理方法.pdf（101页珍藏版）》请在专利查询网上搜索。

一种图像处理装置，其具有：各插补G计算部(203、204、205)，其针对RGB拜尔排列图像中的G像素欠缺位置的X(X为R或B)像素计算多种G插补候选Gt；减法部(209、210、211)，其根据G插补候选Gt计算多种色差候选X-Gt；周边相似度计算部(215、216、217)，其根据色差候选X-Gt和基于相同种类t的G插补候选Gt针对周边位置计算出的X的色差候选X-Gt来计算色差相似度，相应于色。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置：首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1