《图像处理装置、方法以及图像处理程序.pdf》由会员分享，可在线阅读，更多相关《图像处理装置、方法以及图像处理程序.pdf（27页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104205805A43申请公布日20141210CN104205805A21申请号201380017115522申请日20130221201208541620120404JPH04N5/232200601G06T5/00200601G06T5/2020060171申请人三菱电机株式会社地址日本东京都72发明人青木透桥本充夫的场成浩74专利代理机构北京三友知识产权代理有限公司11127代理人李辉马建军54发明名称图像处理装置、方法以及图像处理程序57摘要根据针对输入图像的多个不同方向的一维低通滤波器值中与关注像素的代表值之差最小的一维低通滤波器值与关注像素的代表值之差求出NR。
2、系数KF，通过NR系数KF对关注像素的像素值和周边低通滤波器25进行加权相加36。关注像素的代表值是通过在时间轴方向上对当前帧和过去帧进行滤波而得到的例如中间值。在图像处理装置中进行降噪而不会降低分辨率。30优先权数据85PCT国际申请进入国家阶段日2014092686PCT国际申请的申请数据PCT/JP2013/0543182013022187PCT国际申请的公布数据WO2013/150824JA2013101051INTCL权利要求书3页说明书12页附图11页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书12页附图11页10申请公布号CN104205805ACN104。
3、205805A1/3页21一种图像处理装置，其特征在于，所述图像处理装置将由多帧的时间序列构成的动态图像作为输入图像，所述图像处理装置具有多个一维低通滤波器，它们在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；周边低通滤波器，其针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；代表值计算部，其根据所述关注帧的所述关注像素的像素值和所述关注帧以外的1个以上的帧中与所述关注像素对应的位置的像素的像素值，进行时间轴方向的滤波，由此求出与所述关注像素有关的代表值；噪声。
4、电平检测部，其计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；NR系数生成部，其接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及NR处理部，其使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，在所述NR处理部中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。2根据权利要求1所述的图像处理装置，其特征在于，所述代表值是中间值。3根据权利要求1所述的图像处理装置，其特征在于，所述代表值是平均值。4根据权利要求1所述的图像处理装置，其。
5、特征在于，所述代表值是由循环型滤波器计算出的值。5根据权利要求14中的任意一项所述的图像处理装置，其特征在于，所述周边低通滤波器值是二维低通滤波器值。6根据权利要求15中的任意一项所述的图像处理装置，其特征在于，在所述处理窗口内，仅选择与所述代表值之差位于规定的电平差内的像素值而求出各个低通滤波器值，从而得到所述一维低通滤波器和所述周边低通滤波器。7根据权利要求16中的任意一项所述的图像处理装置，其特征在于，所述图像处理装置还具有校正系数生成部，该校正系数生成部根据所述周边低通滤波器值生成校正系数，所述NR系数生成部根据由所述噪声电平检测部检测到的噪声电平和由所述校正系数生成部生成的校正系数，。
6、生成所述NR系数。8根据权利要求7所述的图像处理装置，其特征在于，所述校正系数在所述周边低通滤波器值低于规定值的范围内，随着所述周边低通滤波器值的减小而减小，所述校正系数越小，则所述降噪系数越小。权利要求书CN104205805A2/3页39根据权利要求18中的任意一项所述的图像处理装置，其特征在于，所述噪声电平检测部计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值和与其对应的一维方向低通滤波器的方向以及第2小的值，作为关注像素的噪声电平，所述NR系数生成部根据所述最小值和与其对应的一维方向低通滤波器的方向以及所述第2。
7、小的值，生成用于对所述关注像素的像素值、所述周边低通滤波器值、所述多个一维低通滤波器值进行加权相加的降噪系数，所述NR处理部根据所述降噪系数，对所述关注像素的像素值、所述周边低通滤波器值、所述多个一维低通滤波器值进行加权相加。10根据权利要求19中的任意一项所述的图像处理装置，其特征在于，所述输入图像包含多个颜色成分，所述NR系数计算部按照所述输入图像的每个颜色成分，利用与所述输入图像的特性对应的输入输出特性生成每个颜色成分的降噪系数。11根据权利要求79中的任意一项所述的图像处理装置，其特征在于，所述输入图像包含多个颜色成分，所述校正系数是按照所述输入图像的每个颜色成分而生成的，利用根据所述。
8、输入图像的特性而不同的输入输出特性生成所述校正系数。12一种图像处理方法，其特征在于，将由多帧的时间序列构成的动态图像作为输入图像，所述图像处理方法具有以下步骤多个一维低通滤波步骤，在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；周边低通滤波步骤，针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；代表值计算步骤，根据所述关注帧的所述关注像素的像素值和所述关注帧以外的1个以上的帧中与所述关注像素对应的位置的像素的像素值，求出与所述关注像素有关的代表值；噪声电平检。
9、测步骤，计算各个所述一维方向的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；NR系数生成步骤，接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及NR处理步骤，使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，在所述NR处理步骤中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。13根据权利要求12所述的图像处理方法，其特征在于，所述图像处理方法还具有校正系数生成步骤，在该校正系数生成步骤中根据所述周边权利要求书CN104205805A3/3页4低通滤波。
10、器值生成校正系数，在所述NR系数生成步骤中，根据在所述噪声电平检测步骤中检测到的噪声电平和在所述校正系数生成步骤中生成的校正系数生成所述NR系数。14一种图像处理程序，其中，该图像处理程序用于使计算机执行权利要求12或13的图像处理方法的各步骤的处理。权利要求书CN104205805A1/12页5图像处理装置、方法以及图像处理程序技术领域0001本发明涉及在数字照相机等中去除混入输入图像中的噪声的图像处理装置、方法以及图像处理程序。背景技术0002在具有CCD等摄像元件的数字照相机等图像输入装置以及显示从这种图像输入装置输入的图像的显示器等图像输出装置中，在图像输入系统或图像传送系统中，在图像。
11、数据中混入噪声。一般在装置内通过图像处理来去除这种噪声。对在这种图像输入装置或图像输出装置中去除所混入的噪声的现有方法进行说明。0003作为去除噪声的最平易的一般方法，存在如下技术构成以作为图像处理对象的像素以下称为关注像素为中心的由多个像素构成的处理窗口，通过对处理窗口内的周边像素的像素值和关注像素的像素值进行加权相加，施加低通滤波。但是，在使用该方法的情况下，针对噪声以外的图像中存在的有意义的边缘，也一律施加低通滤波，因此，存在图像的分辨率降低的问题。0004并且，作为其他方法，提出了如下技术针对处理窗口，通过施加普瑞维特PREWITT滤波或索贝尔SOBEL滤波来检测边缘，在判断为关注像素。
12、是图像中的有意义的边缘的情况下，减弱低通滤波的强度，或者在沿着存在于周边的边缘的方向上施加低通滤波，由此，在抑制图像的分辨率降低的同时去除噪声例如参照专利文献1。0005现有技术文献0006专利文献0007专利文献1日本特开2002185795号公报发明内容0008发明要解决的课题0009在上述专利文献1所记载的方法中，有时将特定方向上连续的噪声误判定为边缘、或将被摄体中存在的图案误判定为噪声，从而存在引起分辨率的降低，并且不能充分进行降噪的问题。0010本发明正是为了解决上述问题点而完成的，其目的在于，能够进行降噪而不会降低分辨率。0011用于解决课题的手段0012本发明的图像处理装置的特征。
13、在于，所述图像处理装置将由多帧的时间序列构成的动态图像作为输入图像，所述图像处理装置具有多个一维低通滤波器，它们在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用所述关注像素和相对于所述关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值；周边低通滤波器，其针对所述处理窗口输出使用所述关注像素及其周围像素的低通滤波器值，作为周边低通滤波器值；代表值计算部，其根据所述关注帧的所述关注像素的像素值和所述关注帧以外的说明书CN104205805A2/12页61个以上的帧中与所述关注像素对应的位置的像素的像素值，求出与所述关注像素有关的代表值；噪声电平检测部，其计算各个所述一维方向。
14、的低通滤波器值与所述代表值的差分的绝对值，输出所计算出的所述差分的绝对值中满足规定条件的绝对值中的最小值，作为关注像素的噪声电平；NR系数生成部，其接收所述噪声电平，根据预先设定的输入输出特性生成与该噪声电平对应的降噪系数；以及NR处理部，其使用所述降噪系数对所述关注像素的像素值和所述周边低通滤波器值进行加权相加，在所述NR处理部中，所述降噪系数越大，则针对所述周边低通滤波器值的权重越大。0013发明效果0014根据本发明，不区分原来的边缘引起的像素值变化和噪声，能够对周边低通滤波器值与关注像素的像素值的混合比进行调整，因此，能够进行降噪而不会降低分辨率，能够得到高画质的图像。附图说明0015。
15、图1是示出本发明的实施方式1的图像处理装置的框图。0016图2是示出实施方式1的第1LPF的滤波处理的方法的说明图。0017图3是示出实施方式1的第2LPF的滤波处理的方法的说明图。0018图4是示出实施方式1的第4LPF的滤波处理的方法的说明图。0019图5是示出实施方式1的第4LPF的滤波处理的方法的说明图。0020图6是示出实施方式1的二维LPF的滤波处理的方法的说明图。0021图7是示出实施方式1的NR系数生成部34的输入输出特性的一例的线图。0022图8的A和B是示出实施方式1的降噪处理前后的图像信号的说明图。0023图9是示出本发明的实施方式2的图像处理装置的框图。0024图10是。
16、示出实施方式2的校正系数生成部的输入输出特性的一例的线图。0025图11是示出本发明的实施方式3的图像处理装置的框图。0026图12是示出实施方式3的针对第2小的方向的噪声电平和最小的方向的噪声电平的第1插值系数的特性的一例的线图。0027图13是示出实施方式3的针对最小的方向的噪声电平的第2插值系数的特性的一例的图。具体实施方式0028实施方式10029图1示出本发明的实施方式1的图像处理装置的功能结构。0030图示的图像处理装置例如将从未图示的摄像元件等图像输入系统或图像传送系统供给的由多帧的时间序列构成的动态图像作为输入图像。图像由在水平方向行方向和垂直方向纵方向上即呈矩阵状排列的像素构。
17、成，输入图像数据由按照光栅顺序排列表示构成图像的像素的像素值的数据而得到的数据构成。0031下面，假设如下情况输入图像是从具备具有拜耳排列的颜色滤波器的像素的单板彩色数字照相机输入的图像，按照像素的排列顺序依次从摄像元件输入R、GR、GB、B的4个颜色的拍摄颜色的图像信号。说明书CN104205805A3/12页70032图示的图像处理装置具有行存储器10、第1帧存储器11和第2帧存储器12、第1一维低通滤波器21第4一维低通滤波器24以下将低通滤波器称作LPF、二维低通滤波器LPF25、中值滤波器30、噪声电平检测部32、NR系数生成部34、NR处理部36。0033行存储器10接收输入图像数。
18、据PX，Y并保持规定行数的图像数据。这里，规定行数N例如为17。0034依次选择行存储器10保持的N行中的中央行中的像素作为关注像素，以选择出的关注像素为中心将纵向N行、横向M个像素的矩形区域作为处理窗口，该处理窗口内的规定像素分别被输出到第1一维LPF21第4一维LPF24和二维LPF25。0035在以下说明的例子中，M与N同是17。0036从行存储器10读出的关注像素的输入图像数据相对于输入到行存储器10的输入图像数据大致具有N/2行的延迟，但是内容相同，因此利用相同的符号PX，Y表示。0037第1帧存储器11和第2帧存储器12分别具有蓄积1帧图像数据的容量，用作用于使行存储器10保持的数。
19、据中的关注像素的数据分别延迟1帧期间进行输出的延迟部。其结果是，从第1帧存储器11输出当前帧的1帧前的图像数据，从第2帧存储器12输出当前帧的2帧前的图像数据。0038一维LPF2124针对以输入图像数据的关注像素为中心的由水平17像素、垂直17像素构成的处理窗口，分别计算不同的一维方向0度、45度、90度、135度的LPF值LAX，Y、LBX，Y、LCX，Y、LDX，Y。0039即，多个LPF2124在以关注帧的关注像素为中心的由多个像素构成的处理窗口内，计算使用关注像素和相对于关注像素分别在相互不同的一维方向上排列的像素的低通滤波器值。0040图2示出针对处理窗口在0度方向的滤波处理中使用。
20、的像素。位于中心的像素是关注像素PX，Y。在第1LPF21中，使用包含关注像素PX，Y的在0度方向水平方向上排列的像素施加斜线的像素进行滤波。0041构成输入图像的像素具有拜耳排列的颜色滤波器，在针对各关注像素进行滤波处理的情况下，仅使用关注像素周围的像素窗口内的像素中的相同颜色的像素。以下说明的第2LPF22第4LPF24和二维LPF25也是同样的。0042在第2LPF22中，如图3所示，使用包含关注像素PX，Y的在45度方向相对于水平方向逆时针旋转45度后的方向上排列的像素施加斜线的像素进行滤波。0043在第3LPF23中，如图4所示，使用包含关注像素PX，Y的在90度方向垂直方向上排列的。
21、像素施加斜线的像素进行滤波。0044在第4LPF24中，如图5所示，使用包含关注像素PX，Y的在135度方向相对于水平方向逆时针旋转135度后的方向上排列的像素施加斜线的像素进行滤波。0045在各个一维LPF2124中，例如通过计算包含关注像素的一维方向的像素滤波中使用的像素的像素值的单纯平均，计算各方向的平均像素值LAX，Y、LBX，Y、LCX，Y、LDX，Y，分别作为一维方向的LPF值进行输出。0046二维LPF25使用以关注像素为中心的处理窗口内的像素计算二维方向的LPF值。在实施方式1中，二维LPF25是周边低通滤波器。0047图6利用斜线示出针对处理窗口的LPF运算中使用的像素。在图。
22、6所示的例子中，说明书CN104205805A4/12页8作为二维方向的LPF值，使用由17像素17像素构成的处理窗口内的关注像素和与关注像素相同颜色的像素，根据式1计算它们全部的平均值PFX，Y。00480049在式1中，X，Y表示关注像素的坐标。0050关于各像素的坐标，设图像的左上角为0，0，在右方向上每前进1个像素间隔而使X增加1，在下方向上每前进1个像素间隔而使Y增加1。0051中值滤波器30计算从行存储器10输出的图像数据中的当前帧的关注像素的像素值信号电平PX，YT、从第1帧存储器11输出的1帧前的关注像素的像素值PX，YT1、从第2帧存储器12输出的2帧前的关注像素的像素值PX。
23、，YT2的中间值中央值PMX，Y，将其作为关注像素的代表值进行输出。0052由中值滤波器30构成代表值计算部。0053即，代表值计算部30根据关注帧的关注像素的像素值PX，YT和关注帧以外的1个以上的帧中与关注像素对应的位置的像素的像素值，进行时间轴方向的滤波，由此求出与关注像素有关的代表值。0054并且，代表值是通过使用关注像素和与其对应的位置的像素进行时间轴方向的滤波而得到的值。并且，这里，代表值是中间值PMX，Y。0055另外，在不需要区分帧的情况下，省略用于确定当前帧的小标“T”。0056噪声电平检测部32计算分别由一维LPF2124计算出的各个一维方向的LPF值LAX，YLDX，Y与。
24、从中值滤波器30输出的关注像素的代表值PMX，Y的差分的绝对值ADAX，Y、ADBX，Y、ADCX，Y、ADDX，Y，输出所计算出的差分的绝对值中的最小值ADMINX，Y作为关注像素的噪声电平NLX，Y。0057即，噪声电平检测部32计算各个一维方向的低通滤波器值LAX，YLDX，Y与代表值PMX，Y的差分的绝对值ADAX，Y、ADBX，Y、ADCX，Y、ADDX，Y，输出所计算出的差分的绝对值ADAX，Y、ADBX，Y、ADCX，Y、ADDX，Y中满足规定条件的绝对值中的最小值DMINX，Y，作为关注像素的噪声电平NLX，Y。0058上述差分的绝对值ADAX，Y、ADBX，Y、ADCX，Y、。
25、ADDX，Y分别由以下式2A2D表现。0059ADAX，Y|LAX，YPMX，Y|2A0060ADBX，Y|LBX，YPMX，Y|2B0061ADCX，Y|LCX，YPMX，Y|2C0062ADDX，Y|LDX，YPMX，Y|2D0063在噪声电平检测部32中，输出上述差分的绝对值ADAX，YADDX，Y中的最小值ADMINX，Y，作为关注像素的噪声电平NLX，Y。0064NR系数生成部34接收由噪声电平检测部32检测到的噪声电平NLX，Y，根据预先设定的输入输出特性生成降噪系数NR系数KFX，Y。0065即，NR系数生成部34接收噪声电平NLX，Y，根据预先设定的输入输出特性生成与噪声电平N。
26、LX，Y对应的降噪系数KFX，Y。说明书CN104205805A5/12页90066图7示出NR系数生成部34的输入输出特性的一例。在图示的例子中，输入图像数据的像素值取04095的值，与其对应地，假设检测到的噪声电平也取04095的值。0067针对检测到的噪声电平表现出如下特性以064的65个阶段定义NR系数的范围，检测到的噪声电平ADMINX，Y越大，则降噪的程度越强，噪声电平ADMINX，Y越小，则降噪的程度越弱。0068在图7所示的例子中，在噪声电平NLX，Y小于DMIN时，NR系数KFX，Y固定于DMINY，在噪声电平NLX，Y为DMINDMAX的范围内时，NR系数KFX，Y随着噪声。
27、电平NLX，Y的增加而从DMINY增加到DMAXY，在噪声电平NLX，Y为超过第2规定值DMAX的范围内时，NR系数KFX，Y固定于DMAXY。0069规定输入输出特性的DMINX、DMAXX、DMINY、DMAXY是根据图像输入装置中的拍摄条件而预先设定的。0070在NR处理部36中，使用由NR系数生成部34按照每个像素计算出的NR系数KFX，Y，如下述式3所示，对关注像素的像素值PX，Y和与该关注像素有关的二维方向的LPF值PFX，Y进行加权相加。0071PBX，Y0072KFX，YPFX，Y1KFX，YPX，Y/64007330074即，NR处理部36使用降噪系数KFX，Y对关注像素的像。
28、素值PX，Y和周边低通滤波器值PFX，Y进行加权相加。0075如式3所示，利用NR系数KFX，Y对二维方向的LPF值PFX，Y进行加权，利用64KFX，Y对关注像素的像素值PX，Y进行加权。0076进行式3的运算而得到的值PBX，Y作为降噪处理后的像素值PBX，Y而从NR处理部36输出。0077通过进行这种处理，针对各像素求出的噪声电平NLX，YADMINX，Y越大，则与各像素有关的NR系数KFX，Y越大，二维LPF值PFX，Y的混合比越大，则降噪NR效果越强。差分绝对值的最小值ADMINX，Y较大表示不是像素值的变化具有方向性的边缘，而是像素值的变化没有方向性的噪声。0078即，在NR处理部。
29、36中，降噪系数KFX，Y越大，则针对周边低通滤波器值PFX，Y的权重越大。0079关于上述一连串处理，仅说明了处理窗口的R、GR、GB、B这4个拍摄颜色中的一个颜色，但是，针对其他各颜色也同样进行上述一连串处理。0080为了针对4个拍摄颜色分别进行同样的处理，可以分别单独按照每个拍摄颜色设置图1的LPF2125、中值滤波器30、噪声电平检测部32、NR系数生成部34以及NR处理部36，也可以利用相同电路按顺序进行处理。0081通过如上所述进行降噪处理，能够实现画面整体的噪声电平的均匀化而不会损害分辨率，因此，能够得到高画质的降噪效果。0082图8的A和B示出上述降噪处理前后的图像信号的例子。。
30、为了简便而示出一维信号。0083图8的A示出输入到图1的图像处理装置的图像信号。图中，虚线记载的信号说明书CN104205805A6/12页10表示被摄体原来具有的像素值的变化，但是，由于图像处理装置的输入侧的摄像元件、放大电路等模拟电路中混入的噪声的影响而作为实线的信号输入。0084图8的B示出根据图7的输入输出特性对图8的A的信号进行了降噪处理后的图像信号。0085根据图8的A和B能够确认到，噪声信号得到抑制，另一方面，图像内原来包含的边缘得到保持。这是因为，在噪声电平检测部32中计算0度135度的各个一维方向的LPF值与关注像素的代表值的差分绝对值，通过将其最小值作为关注像素的噪声电平N。
31、LX，Y，准确检测噪声电平，以与检测到的噪声电平对应的强度进行降噪处理。0086如上所述，根据该实施方式1，针对以关注像素为中心的由多个像素构成的处理窗口，计算包含关注像素的分别不同的一维方向的多个LPF值，并且，针对上述处理窗口计算包含关注像素的二维方向的LPF值，针对关注像素计算多帧之间的代表值，计算各个一维方向的LPF值与代表值的差分绝对值，检测计算出的差分绝对值中的最小值作为关注像素的噪声电平NLX，Y，根据预先设定的输入输出特性生成与噪声电平NLX，Y对应的NR系数KFX，Y，通过使用生成的NR系数KFX，Y对关注像素的像素值PX，Y和二维方向的LPF值PFX，Y进行加权相加，进行降。
32、噪。0087这样，由于构成为能够准确检测噪声电平，因此，能够进行降噪而不会降低分辨率，能够得到高画质的图像。进而，通过参照时间轴方向求出代表值例如中间值，噪声去除性能和边缘保存性能提高，并且，由于时间轴方向上参照的像素数为最小限度，因此，能够由小规模的电路实现。0088并且，关于关注像素的噪声电平NLX，Y的检测，构成为不区分图像中原来存在的边缘和由摄像系统附加的噪声来进行电平抑制，因此，与使用SOBEL滤波器等区分图像中的边缘和噪声而仅对噪声进行降噪的结构相比，能够输出粒状感均匀且噪声电平低的图像。0089并且，根据实施方式1，由中值滤波器30计算出的当前帧的关注像素、1帧前的关注像素以及2。
33、帧前的关注像素的各像素值的中间值仅用于噪声电平的检测，而不用于NR处理部36中的加权相加。通过这样构成，在降噪处理后的图像中仅使用当前帧的像素，在拍摄到当前帧与1帧前之间存在运动的被摄体的情况下，通过仅使用当前帧的像素，也能够进行降噪处理而在存在运动的被摄体中不会产生抖动。0090另外，在上述例子中，针对使用单板彩色传感器拍摄到的图像的全部拍摄颜色，根据统一的输入输出特性生成NR系数，但是，本发明不限于此，也可以构成为按照输入图像的每个拍摄颜色每个颜色成分而使用不同的输入输出特性。由此，根据每个颜色成分的图像输入系统或图像传送系统的特性，能够根据输入图像的特性进行最佳的降噪。0091即，输入图。
34、像PX，Y包含多个颜色成分，NR系数生成部34按照输入图像PX，Y的每个颜色成分，利用与输入图像PX，Y的特性对应的输入输出特性生成每个颜色成分的降噪系数KFX，Y。0092并且，输入图像PX，Y包含多个颜色成分，校正系数KFX，Y是按照输入图像PX，Y的每个颜色成分而生成的，利用根据输入图像PX，Y的特性而不同的输入输出特性生成校正系数KFX，Y。这里，校正系数是降噪系数KFX，Y。0093并且，在上述例子中，在一维低通滤波器2124中，使用位于处理窗口内的在规说明书CN104205805A107/12页11定方向上排列的相同颜色的全部像素计算LPF值，在二维低通滤波器25中，使用处理窗口内。
35、的相同颜色的全部像素计算LPF值，但是，本发明不限于此，也可以构成为，仅选择具有与由中值滤波器30计算出的中间值比较近的像素值即，位于规定电平差内的像素值，用于计算LPF值。由此，在处理窗口内包含特征与关注像素明显不同的区域的情况下，能够进行排除不同区域的特征的运算，能够实现更高分辨率的降噪。0094即，在处理窗口内，仅选择与代表值之差位于规定的电平差内的像素值而求出各个低通滤波器值，从而得到一维低通滤波器2124和周边低通滤波器25。0095并且，在上述例子中，在由噪声电平检测部32检测噪声电平NLX，Y时，估计各个一维方向的LPF值与关注像素的代表值中间值的差分绝对值中的最小值作为噪声电平。
36、NLX，Y，但是，本发明不限于此，也可以构成为，使用第1一维LPF21第4一维LPF24计算出的LPF值中的最小值和最大值，在与最小值对应的滤波方向是和与最大值对应的滤波方向正交的方向的情况下，将与最小值对应的滤波方向判定为真的边缘方向，将该最小值估计为噪声电平。0096该情况下，例如，在与最小值对应的滤波方向不和与最大值对应的滤波方向正交时，代替最小值而判断与第2小的值对应的滤波方向是否和与最大值对应的滤波方向正交，如果正交，则将第2小的值作为噪声电平进行处理。如果与第2小的值对应的滤波方向也不和与最大值对应的滤波方向正交，则调查第3小的值。一般而言，依次调查到第NN为2以上的整数小的值，将。
37、满足最初和与最大值对应的滤波方向正交这样的条件的差分绝对值作为噪声电平进行处理。在即使调查到第N个也不满足和与最大值对应的滤波方向正交这样的条件时，返回原来的规则，将最小值作为噪声电平进行处理。0097以上的处理可以说是如下处理从多个一维方向的LPF值中提取满足规定条件的LPF值中与代表值之间的差分绝对值最小的LPF值，并用作噪声电平。0098这样，通过进行从多个边缘方向检测噪声电平NLX，Y的处理，由于随机噪声的影响而选择错误方向的噪声电平绝对值的可能性减小，能够计算更加准确的噪声电平。0099并且，在上述例子中，以65个阶段计算由NR系数生成部34计算出的NR系数，但是，本发明不限于此，N。
38、R系数的阶段数能够根据输入图像的比特宽度等因素而任意决定。0100并且，在上述例子中，通过关注像素及其周围的像素的像素值的单纯平均来计算各个一维方向的LPF值和二维方向的LPF值，但是，本发明不限于此，也可以构成为，针对关注像素的各个周围像素赋予与到关注像素的距离对应的权重来计算平均。由此，能够加重接近关注像素的像素的特征量来进行计算，特别是在噪声比较少的条件下，能够进行更加准确的噪声电平检测。0101并且，在上述例子中，是由NR处理部36根据NR系数KFX，Y对关注像素的像素值PX，Y和二维方向的LPF值PFX，Y进行加权相加，但是，本发明不限于此，也可以代替二维方向的LPF值PFX，Y，在。
39、加权相加中使用例如差分绝对值最小的方向的一维LPF值LAX，YLDX，Y中的任意一方。该情况下，与使用二维方向的LPF值PFX，Y的情况相比，成为使用较窄范围的滤波器值的加权相加，因此，在输入图像中噪声比较少的情况下，特别能够完全维持分辨率，在这方面是有效的。0102总之，只要求出使用关注像素及其周边像素的LPF值周边低通滤波器值，用于NR处理部36中的与关注像素的代表值的加权相加即可。说明书CN104205805A118/12页120103即，周边低通滤波器25针对处理窗口输出使用关注像素及其周围像素的低通滤波器值作为周边低通滤波器值。0104并且，在上述例子中，在用于求出二维方向的LPF值。
40、的式1的平均值计算处理中，使用由1717像素构成的处理窗口内的相同颜色像素进行运算，但是，本发明不限于此，也可以根据要实现的装置成本和要输入的图像信号的S/N比等使用其他窗口尺寸。并且，该情况下，通过进行式1的分母为2的幂乘这样的像素数的选择，可以削减一般的除法器除数为任何值均能够应对的除法器。0105并且，在上述例子中，在使用式3的NR处理中进行基于64的除法运算，但是，也可以利用64以外的值进行除法运算。但是，如果除数为2的幂乘，则在利用硬件实现的情况下，能够通过比特移位进行除法运算，不需要一般的除法器，在利用软件实现的情况下，能够提高运算的执行速度。0106并且，使用由中值滤波器30得到。
41、的中间值作为关注像素的代表值，但是，也可以根据从行存储器10输出的图像数据中的当前帧的关注像素的像素值、从第1帧存储器11输出的1帧前的关注像素的像素值、从第2帧存储器12输出的2帧前的关注像素的像素值求出平均值，将其作为关注像素的代表值。即，该情况下，代表值为平均值。因此，代表值计算部计算平均值。0107并且，也可以使用中间值、平均值以外的作为时间轴方向的滤波结果而得到的值作为上述代表值。例如，也可以将在时间轴方向上使用循环型滤波器而得到的值作为关注像素的代表值。即，该情况下，代表值是由循环型滤波器计算出的值。因此，代表值计算部是循环型滤波器。0108进而，求出当前帧的像素值、1帧前的像素值。
42、、2帧前的像素值，但是，也可以还使用3帧以上之前的过去帧的像素值求出代表值，总之，只要利用使用当前帧的关注像素的像素值和当前帧以外的1个以上的帧中的关注像素和相同二维坐标的像素的时间轴方向的滤波后得到的值即可。0109另外，在帧间产生图像的运动抖动的情况下，也可以在对运动进行补偿后，进行时间轴方向的滤波。例如，使用当前帧的关注像素和估计为当前帧的关注像素表示与当前帧的关注像素相同的图像部分的像素在过去的1个或2个以上的帧中所处的位置运动方的像素与关注像素对应的像素，求出它们的代表值即可。总之，只要使用当前帧中的关注像素和过去帧中的与上述关注像素对应的像素即可。0110并且，取而代之，在产生运动。
43、的情况下，也可以不使用当前帧以外的帧的关注像素的像素值而使用当前帧的关注像素的像素值作为代表值。0111实施方式20112图9示出本发明的实施方式2的图像处理装置的功能结构。在图9中，对与图1相同的结构要素标注相同标号。0113与实施方式1相同的结构要素是行存储器10、帧存储器11、12、中值滤波器30、一维滤波器21、22、23、24、二维滤波器25、噪声电平检测部32以及NR处理部36。0114实施方式2与实施方式1的不同之处在于，设置校正系数生成部38，以及代替图1的NR系数生成部34而设置NR系数生成部44。0115NR系数生成部44具有NR系数计算部44A、NR系数校正部44B。说明。
44、书CN104205805A129/12页130116NR系数计算部44A与图1的NR系数生成部34同样构成，利用同样的方法生成NR系数KFX，Y。0117NR系数校正部44B根据从校正系数生成部38输出的校正系数HYX，Y对从NR系数计算部44A输出的NR系数KFX，Y进行校正，生成校正后的NR系数KFBX，Y。0118具体而言，如下述式4所示，通过对NR系数KFX，Y乘以校正系数HYX，Y并除以64，计算校正后的NR系数KFBX，Y。0119KFBX，YKFX，YHYX，Y/6440120即，NR系数生成部44根据由噪声电平检测部32检测到的噪声电平NLX，Y和由校正系数生成部38生成的校正。
45、系数HYX，Y，生成NR系数KFBX，Y。通过根据式4计算校正后的NR系数KFBX，Y，校正系数HYX，Y越小，则校正后的NR系数KFBX，Y越小。0121即，校正系数HYX，Y在周边低通滤波器值PFX，Y低于规定值的范围内随着周边低通滤波器值PFX，Y的减小而减小，校正系数HYX，Y越小，则降噪系数KFX，Y越小。0122校正系数生成部38根据由二维LPF25的输出PFX，Y表示的、以各像素为中心的周边区域的图像的明亮度每个颜色成分的明亮度或强度，生成校正系数HYX，Y。0123作为输入到校正系数生成部38的二维LPF25的输出PFX，Y的值与校正系数HYX，Y的关系输入输出特性，例如使用图。
46、10所示的关系。在图示的例子中，相对于取04095的值的二维LPF值PFX，Y，设校正系数可取的值为0128的129个阶段，在不进行校正校正后的系数KFBX，Y与校正前的系数KFX，Y相等的情况下，校正系数的值成为64。这是因为，如上所述，通过将校正系数的值除以64而得到的值与NR系数KFX，Y相乘来进行校正。0124在图10中，符号NR1HX和NR1HY示出为了规定输入输出特性而预先设定的值。其中，值NR1HX是决定对NR系数进行校正的范围的上限的上限值，上限值NR1HX越大，则针对NR系数的校正范围越宽。值NR1HY是决定校正程度的值，越是使值NR1HY成为较小的值，则用于使NR系数成为更。
47、小值的校正程度越强。0125在使用图10的输入输出特性的情况下，在二维LPF值PFX，Y小于上限值NR1HX的情况下，即在图像的暗部，设从NR系数生成部44输出的NR系数为更小的值，能够减弱降噪作用。0126另外，也可以代替如图10所示在暗部使校正系数HYX，Y成为小于64的值，而在明部例如大于规定下限值的范围内使校正系数HYX，Y成为大于64的值。进而，也可以在暗部使校正系数HYX，Y成为较小的值，并且在明部使校正系数HYX，Y成为大于64的值。0127如上所述，根据该实施方式2，能够在图像中的明部各颜色较强的部分和暗部各颜色较弱的部分中，变更降噪的程度，能够防止输入图像的明亮度颜色强度的差。
48、异导致的画质降低，例如在结合输入图像的明亮区域来调整NR系数的情况下，信号电平较低的部分暗部变得模糊等。0128另外，在该实施方式2的例子中，能够以129个阶段切换基于二维LPF值PFX，Y的校正，但是，本发明不限于此，切换的阶段数例如可以根据依赖于摄像元件特性的输入图说明书CN104205805A1310/12页14像的特性而改变。并且，在式4中，将校正系数HYX，Y除以64而得到的值与系数KFX，Y相乘，但是，本发明不限于此，也可以除以64以外的值。但是，如果使除法运算中使用的值为2的幂乘，则能够通过比特移位而求出与系数KFX，Y相乘的值，在利用硬件进行处理的情况下，能够削减一般的除法器，。
49、因此能够简化电路规模，并且，在利用软件进行处理的情况下，能够实现处理速度的高速化。0129并且，在实施方式2的例子中，针对使用单板彩色传感器拍摄到的图像，对全部拍摄颜色统一进行基于各颜色的像素值各颜色的强度的校正，但是，本发明不限于此，也可以构成为按照每个拍摄颜色每个颜色成分而利用不同的输入输出特性生成校正系数。由此，根据每个颜色成分的图像输入系统或图像传送系统的特性，能够根据输入图像的特性进行最佳的降噪处理。0130为了按照每个颜色成分生成校正系数，与实施方式1中说明的情况同样，可以分别单独按照每个拍摄颜色设置图9的LPF2125、中值滤波器30、噪声电平检测部32、NR系数生成部34、NR处理部36以及校正系数生成部38，也可以利用相同电路按顺序进行处理。0131实施方式30132图11示出本发明的实施方式3的图像处理装置的功能结构。在图11中，对与图9相同的结构要素标注相同标号。0133与实施方式2图9相同的结构要素是行存储器10、帧存储器11、12、中值滤波器30、一维滤波器21、22、23、24以及二维滤波器25。0134实施方式3的图像处理装置代替图9的噪声电平检测部32、NR处理部36以及NR系数生成部44而具有噪声电平检测部37、NR处理部39以及NR系数生成部45。噪声电平检测部37、NR处。