图像处理装置、方法、以及程序.pdf

本发明的图像处理装置、方法及程序，从正常像素中顺序选择第一对象像素(P)，检测在以所选择的第一对象像素(P)为中心的一定区域内存在的缺陷像素，检测在从所述第一对象像素(P)连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素(Q)，运算第一对象像素(P)与第二对象像素(Q)之间存在的各缺陷像素的插补值，运算第一对象像素(P)和第二对象像素(Q)的各组的加权系数，存储所述插补值及加权系数，并用所述加权系数，运算各缺陷像素的插补值的加权平均值，用该加权平均值修正各缺陷像素。由此，可检测图像缺陷部周围的边界或图案等存在的方向，并沿该方向进行适当的插补处理，并可抑制运算处理次数，提高处理速度。

1.  一种图像处理装置，其特征在于，具有：
从正常像素中顺序选择第一对象像素的第一对象像素选择装置；
对由所述第一对象像素选择装置选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素的第二对象像素检测装置；
对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值的插补值运算装置；
根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算的加权系数运算装置；
在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储由所述插补值运算装置运算的各缺陷像素的多个插补值、以及由所述加权系数运算装置运算的第一对象像素和第二对象像素的各组的加权系数的存储装置；
采用在所述存储装置中存储的、所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值的加权平均值运算装置；
采用由所述加权平均值运算装置运算的加权平均值来修正各缺陷像素的修正装置。

2.  如权利要求1所述的图像处理装置，其特征在于，所述加权系数运算装置，以所述第一对象像素的像素值和第二对象像素的像素值中的较大的值作为分母，以较小的值为分子，将其比值的n次方(n为任意自然数)作为所述加权系数来进行运算。

3.  如权利要求1所述的图像处理装置，其特征在于，所述加权系数运算装置，将所述第一对象像素的像素值和第二对象像素的像素值的差分的绝对值相对于规定值的补数的n次方(n为任意自然数)、或者用所述规定值去除所述补数的值的n次方(n为任意自然数)作为所述加权系数来进行运算。

4.  如权利要求1～3中任一项所述的图像处理装置，其特征在于，所述插补值运算装置，通过所述第一对象像素的像素值和第二对象像素的像素值之间的线性插补来运算所述第一对象像素和第二对象像素之间存在的各缺陷像素的插补值。

5.  一种图像处理方法，其特征在于：从正常像素中顺序选择第一对象像素，对选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素，对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值，并根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算，在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储运算的所述各缺陷像素的多个插补值、以及第一对象像素和第二对象像素的各组的加权系数，并采用所存储的所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值，采用运算的加权平均值来修正各缺陷像素。

6.  一种图像处理程序，用于使计算机执行下面的处理：从正常像素中顺序选择第一对象像素，对选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素，对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值，并根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算，在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储运算的所述各缺陷像素的多个插补值、以及第一对象像素和第二对象像素的各组的加权系数，并采用所存储的所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值，采用运算的加权平均值来修正各缺陷像素。

图像处理装置、方法、以及程序
技术领域
本发明，涉及用于对图像数据的缺陷部分进行修正的图像处理装置、方法、以及程序，尤其涉及即使在图像数据的缺陷部分上存在图案、边界等的情况下，也可以进行可反映这些要素地适当地修正的插补处理的图像处理装置、方法、以及程序。
背景技术
在照相胶片上，有时在其表面会存在伤痕、灰尘、污垢等的缺陷。因此，已知有以下的技术，即，从存在这样的缺陷的照相胶片上读取图像并记录在印相纸上或者显示在显示器上等而进行输出时，通过辉度调整处理、插补处理等图像处理来对这样的缺陷部进行修正。
作为这样的技术，已知有以下的技术，即，比如红外光，与可见光不同，当将其照射到照相胶片上时，基本不受在其上拍照的图像的影响，而仅仅受伤痕、灰尘的影响，利用这一特性，通过辉度调整处理进行修正。该技术，具体地说是将红外光以及可见光照射到照相胶片上，将红外光的图像数据的像素值处于一定阈值以下的部分视为缺陷部，并在该缺陷部的各颜色成分(红色(R)、绿色(G)、蓝色(B))的像素值上，追加与缺陷部相对于正常部的红外光的衰减量相应的值，以提高辉度，由此使缺陷部的各颜色成分的像素值与正常部一致而调整辉度(比如，参照专利文献1)。
但是，这样的辉度调整处理，由于以在缺陷部中各颜色成分的像素值只相互衰减同样的量为前提，当由于照相胶片的乳剂面带有伤痕而使每种颜色成分的像素值的衰减量不同的情况下，就无法适当地对缺陷部进行修正。
在这种情况下，虽然可以采用利用周围的正常像素的像素值对缺陷部进行修正的插补处理的技术，但是如果只是单纯地用邻接的正常像素的像素值适用于缺陷部，当在缺陷部上存在图案、边界等的情况下，就不能进行适当的修正。因此，已知有以下的技术，即，检测出图像边界或图案等的方向，并沿着该方向进行插补处理。该技术具体地说就是：从缺陷部沿着相互不同的多个方向，运算正常像素的像素值的差、正常像素间的距离等图像特征量，进而对所述的多个方向分别进行：从所述缺陷部在图像上位于规定方向上的正常像素的信息，通过插补处理，求出用于修正所述缺陷部的修正值，并从所述图像特征量和在每个方向上运算出的修正值求出最终的修正值，进行所述缺陷部的修正(比如，参照专利文献2)。
【专利文献1】特开平11-98370号公报(第15-16页、图4)
【专利文献2】特开2001-78038号公报(第7-8页、图4-5、图8)
但是，在所述的专利文献2所记载的以往的基于插补处理的修正中，存在以下的问题。即，为了检测出图像的边界、图案的方向，要沿着其周围的多个方向，对属于缺陷部的所有的缺陷像素，进行放射状地检测，必须对其所有的方向，对各缺陷像素进行图像特征量、插补值的运算，因此，存在作为全体的运算量增加的问题。而且，为了正确地检测出图像的边界、图案的方向，由于必须使放射状地各方向的角度间隔变窄，于是就更增加运算量，并使CPU等运算处理部的负载增加。这样，就存在由于这种运算量的增大，难以提高缺陷部的修正处理的处理速度的问题。
发明内容
本发明，鉴于上述课题而提出的，其目的在于：提供一种可检测出图像的缺陷部的周围的边界、图案等存在的方向，并可以沿着该方向进行适当的插补处理，并且可通过抑制进行缺陷部的所有的缺陷像素的修正所需的运算处理次数来减少运算量，提高处理速度的图像处理装置、方法以及程序。
用于实现所述目的的本发明的图像处理装置的第一特征构成在于：具有：从正常像素中顺序选择第一对象像素的第一对象像素选择装置；对由所述第一对象像素选择装置选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素的第二对象像素检测装置；对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值的插补值运算装置；根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算的加权系数运算装置；在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储由所述插补值运算装置运算的各缺陷像素的多个插补值、以及由所述加权系数运算装置运算的第一对象像素和第二对象像素的各组的加权系数的存储装置；采用在所述存储装置中存储的、所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值的加权平均值运算装置；采用由所述加权平均值运算装置运算的加权平均值来修正各缺陷像素的修正装置。
另外，在插补值运算装置或加权系数运算装置中，为了提高其插补值或加权系数的运算结果的可靠性，作为第一对象像素的像素值或第二对象像素的像素值，也可以采用在第一对象像素或第二对象像素自身的像素值上，分别加上其周围的一个或两个以上的正常像素的像素值后的平均值。
根据该第一特征构成，可以对各缺陷像素，求出基于在多个方向上存在的正常像素的像素值的插补值，进而，根据在各缺陷像素的周围的各方向上存在的正常像素的像素值求出各方向的加权系数，并使用上述值运算加权平均值，进行修正，因此可以求出对应位于缺陷像素的周围的各方向上的图像的边界或图案等的最终修正值，并可以进行反映了位于缺陷像素的周围的图像的边界或图案等的适当的插补处理。而且，由于可以通过一次运算求出在一组第一对象像素和第二对象像素之间存在的一个或者两个以上的缺陷像素的所有的插补值，因此，可以抑制用于对包含于图像数据中的所有的缺陷像素进行修正所需的运算处理次数，可以减少运算量，提高处理速度。
本发明的图像处理装置的第二特征构成在于：在所述第一特征构成的基础上，所述加权系数运算装置，以所述第一对象像素的像素值和第二对象像素的像素值中的较大的值作为分母，以较小的值为分子，将其比值的n次方(n为任意自然数)作为所述加权系数来进行运算。而且，本发明的图像处理装置的第三特征构成在于：在所述第一特征构成的基础上，所述加权系数运算装置，将所述第一对象像素的像素值和第二对象像素的像素值的差分的绝对值相对于规定值的补数的n次方(n为任意自然数)作为所述加权系数来进行运算。
根据这些第二特征构成或者第三特征构成，夹持着缺陷像素并位于两侧的正常像素的像素值越近则加权系数越大，而且，通过将该加权系数的值进行n次方运算而加以强调，因此，可以将沿着存在缺陷像素的周围的图像的边界、图案等方向而运算的缺陷像素的插补值对最终修正值的影响变得更大，可以进行反映图像的边界或图案等的适当的缺陷像素的插补处理。这里，n的值根据应该修正的图像的状态，其适当的值也各不相同，因此，最好设为通过各种图像数据的统计等实验地求出的值。
本发明的图像处理装置的第四特征构成在于：在所述第一～第三的任一特征构成的基础上，所述插补值运算装置，通过所述第一对象像素的像素值和第二对象像素的像素值之间的线性插补来运算所述第一对象像素和第二对象像素之间存在的各缺陷像素的插补值。
根据该第四特征构成，根据处于其两侧的第一对象像素以及第二对象像素的像素值、和这些第一对象像素以及第二对象像素的距离，可以同时对所有的缺陷像素运算位于第一对象像素和第二对象像素之间的各缺陷像素的插补值，并分别求出适当的插补值。所以，既可以抑制运算处理的次数，提高处理速度，又可以求出适当的插补值。
本发明的图像处理方法的特征构成在于：从正常像素中顺序选择第一对象像素，对选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素，对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值，并根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算，在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储运算的所述各缺陷像素的多个插补值、以及第一对象像素和第二对象像素的各组的加权系数，并采用所存储的所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值，采用运算的加权平均值来修正各缺陷像素。
根据该特征构成，与所述第一特征构成的效果相同，可以进行反映了在缺陷像素的周围存在的图像的边界或图案等的适当的插补处理，可以抑制运算处理次数，提高处理速度。
本发明的图像处理程序的特征构成在于，用于使计算机执行下面的处理：从正常像素中顺序选择第一对象像素，对选择的各第一对象像素，检测出位于以该第一对象像素为中心的一定区域内的缺陷像素，并对检测出的各缺陷像素，检测出在从所述第一对象像素连结所述缺陷像素的延长线上存在的正常像素并作为第二对象像素，对于位于所述第一对象像素和第二对象像素之间的一个或者两个以上的缺陷像素，根据所述第一对象像素的像素值和第二对象像素的像素值来运算各缺陷像素的插补值，并根据所述第一对象像素的像素值和第二对象像素的像素值，对所述第一对象像素和第二对象像素的各组的加权系数进行运算，在由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储运算的所述各缺陷像素的多个插补值、以及第一对象像素和第二对象像素的各组的加权系数，并采用所存储的所述各缺陷像素的多个插补值以及所述第一对象像素和第二对象像素的各组的加权系数，来运算各缺陷像素的插补值的加权平均值，采用运算的加权平均值来修正各缺陷像素。
根据该特征构成，与所述第一特征构成的效果相同，可以进行反映了在缺陷像素的周围存在的图像的边界或图案等的适当的插补处理，可以抑制运算处理次数，提高处理速度。
附图说明
图1是表示本发明的实施方式的图像印刷系统的外观的立体图。
图2是表示本发明的实施方式的图像印刷系统的概要构成的模式图。
图3是表示本发明的实施方式的图像处理装置的功能的框图。
图4是表示本发明的实施方式的缺陷像素的修正处理的流程图。
图5是表示在本发明的实施方式的缺陷像素的修正处理中，对一个第一对象像素从#03到#08的处理的一例的说明图。
图6是表示在本发明的实施方式的缺陷像素的修正处理中，第一对象像素和第二对象像素之间存在的缺陷像素的插补值的运算方法的一例的图。
图7是表示在本发明的实施方式的缺陷像素的修正处理中，对三个第一对象像素从#03到#08的处理的一例的说明图。
图中：1-图像处理装置，4-图像印刷系统，5-图像读取装置，6-图像记录装置，17-CPU，18-存储器，19-缺陷像素修正部，25-正常/缺陷判定部，26-第一对象像素选择部，27-第二对象像素检测部，28-插补值运算部，29-加权系数运算部，30-运算结果存储部，31-加权平均值运算部，32-修正部，P-第一对象像素，Q-第二对象像素，E-一定区域，H-缺陷像素插补值，W-加权系数，A-加权平均值。
具体实施方式
以下，作为本发明的实施方式，根据附图对将本发明的图像处理装置1适用于从照相胶片2读取图像并记录在印相纸3上的图像印刷系统4的情况进行说明。图1是表示实施方式的图像印刷系统4的外观的立体图，图2是表示本实施方式的图像印刷系统4的概要构成的模式图，图3是表示本实施方式的图像处理装置1的功能的框图。
如在这些图中所示，该图像印刷系统4，具备：将利用未图示的胶片显影机进行了显影处理的照相胶片2的摄影图像帧作为数字图像数据进行读取的图像读取装置5；对读取的图像数据进行图像处理并生成印刷数据的图像处理装置1；以及根据来自图像处理装置1的印刷数据进行曝光处理和显影处理并将图像记录到印相纸3上的图像记录装置6而构成。
图像读取装置5是所谓的胶片扫描器，作为主要的构成要素，如图2所示，具备：照明光学系统7；变焦镜头等摄影光学系统8；将入射的光分为可见光和红外光的分色镜9；可见光传感器装置10；红外光传感器装置11。照明光学系统7，具备：作为光源的碘钨灯或发光二极管；对从该光源来的光进行调光的镜片隧道、扩散板等而构成。可见光用传感器装置10，具备：为了检测由照相胶片2的三个基本颜色成分，在本实施方式中为R(红色)光、G(绿色)光、B(蓝色)光构成的可见光图像，而安装各自适合的彩色滤光器的三个CCD阵列10a；处理由这些CCD阵列10a检测出的可见光信号，并生成由基本颜色成分构成的R光、G光、以及B光的各自的图像数据，并向图像处理装置1传送的可见光用信号处理电路10b。而且，红外光用传感器装置11，具备：为了将附在照相胶片2上的伤痕的状态作为红外光图像检测出来，而只接收从分色镜9分出来的红外光地配置的CCD阵列11a；处理由该CCD阵列11a检测出的红外光信号，生成红外光图像数据并向图像处理装置1进行传送的红外光用信号处理电路11b。
在这样构成的图像读取装置5中，将照相胶片2的摄影图像帧定位在规定的读取位置上后，就开始进行摄影图像帧的读取处理，然而此时摄影图像帧的投影光像，通过向胶片传送机构12的照相胶片2的副扫描方向的送进操作，以分割成多个切槽图像的形状，顺次地由可见光用传感器装置10以及红外光用传感器装置11进行读取，并光电变换成R、G、B的各颜色成分的图像信号以及红外成分的图像信号，并作为数字图像数据传送到图像处理装置1。这样，由图像处理装置1对照明光学系统7、摄像光学系统8、可见光用传感器装置10以及红外光用传感器装置11进行各种控制，在本实施方式中，图像处理装置1的一部分功能部分成为图像读取装置5的构成要素。
图像处理装置1，在这里基本上由通用的微机构成，另外，还具有如下的一些附属设备：显示该图像印刷系统4的操作画面的监视器13、从数字相机等的存储卡等读入图像的介质读取器14、用于操作者操作输入的键盘15以及鼠标16等。
图像处理装置1，将CPU17作为核心部件，其用于对输入的数据进行各种处理的功能部安装在硬件上或者软件上或者同时安装在硬件和软件上。作为与本发明有特殊关系的功能部，如图3所示，可以举出：为了进行各种处理而暂时存储可见光图像数据以及红外光图像数据的存储器18；利用存储在存储器18中的可见光图像数据以及红外光图像数据进行缺陷像素修正的缺陷像素修正部19；对展开在存储器18中的可见光图像数据实施色调补正、滤光(色差模糊或锋利等)、修剪等缺陷以外的各种图像处理的图像调整部20；将图像数据或其它的显示项目读取到视频存储器，并且将展开在该视频存储器中的映像通过视频控制器变换成视频信号，传送到监视器13上的视频控制部21；将在缺陷像素修正部19以及图像调整部20上处理的最终的图像数据变换成印刷数据并传送到图像记录装置6的曝光印刷部22的印刷数据生成部23；根据在采用图形用户接口(GUI)做出的操作画面下，通过键盘15以及鼠标16等输入的操作指令或预先程序化的操作指令对各功能部进行控制的印刷管理部24。
缺陷像素修正部19，具备：采用保存在存储器18中的红外光图像数据，对包含在可见光图象数据中的各像素是正常像素还是缺陷像素进行判定，并做成登录正常像素以及缺陷像素的各坐标的正常/缺陷图的正常/缺陷判定部25；在该正常/缺陷判定部25中，从判定为正常像素的像素中顺序选择第一对象像素P的第一对象像素选择部26；对由该第一对象像素选择部26选择的各第一对象像素，检测在以该第一对象像素P为中心的一定区域E内存在的缺陷像素，并对检测出的各缺陷像素，检测出在从第一对象像素P连结缺陷像素的延长线上存在的正常像素，并作为第二对象像素Q的第二对象像素检测部27；对位于第一对象像素P与第二对象像素Q之间的一个或者两个以上的缺陷像素，根据第一对象像素P的像素值和第二对象像素Q的像素值来运算各缺陷像素的插补值H的插补值运算部28；根据第一对象像素P的像素值和第二对象像素Q的像素值来运算第一对象像素P和第二对象像素Q的各组的加权系数W的加权系数运算部29；当由所述第一对象像素选择装置顺序选择第一对象像素并进行运算之际，分别存储由插补值运算部28运算的各缺陷像素的多个插补值H以及由加权系数运算部29运算的第一对象像素P和第二对象像素Q的各组的加权系数W的运算结果存储部30；采用在该运算结果存储部30中存储的、对各缺陷像素的多个插补值H和对第一对象像素P以及第二对象像素Q的各组的加权系数W，运算各缺陷像素的插补值H的加权平均值A的加权平均值运算部31；采用由该加权平均值运算部31运算的加权平均值A对各缺陷像素进行修正的修正部32。另外，‘P’、‘Q’、‘E’、‘H’、‘W’、‘A’，是分别代表存在多个的第一对象像素、第二对象像素、一定区域、插补值、加权系数、加权平均值的符号，在以后的说明中，只有在表示存在多个的要素内的特定的部分的情况下，才会诸如‘PO’、‘QOO’等那样添加数字或者英文来表示。
这里，本实施方式中的第一对象像素选择部26、第二对象像素检测部27、插补值运算部28、加权系数运算部29、运算结果存储部30、加权平均值运算部31、以及修正部32分别相当于发明内容中的第一对象像素选择装置、第二对象像素检测装置、插补值运算装置、加权系数运算装置、存储装置、加权平均值运算装置以及修正装置。另外，关于该缺陷像素修正部19中的对象像素的缺陷修正处理，将在以后进行详细说明。
图像记录装置6，如图2所示，将收容在两个印相纸箱33中的滚筒状的印相纸3拉出并由切纸刀34切成印刷的尺寸，并且由背面印刷部35将颜色补正信息、帧编号等印刷处理信息印刷到这样切成的印相纸3的背面，同时在曝光印刷部22对印相纸3的表面进行摄影图像的曝光，并且将该曝光后的印相纸3传送到具有多个显影处理槽的处理槽装置36中进行显影处理。干燥后从装置上部横向传送输送带37传送到分类器38的印相纸3，以按照顺序单位分送到该分类器38的多个托盘39中的状态而进行集中(参考图1)。
而且，在图像记录装置6中，为了以与对印相纸3的各种处理一致的传送速度传送印相纸3，还敷设了印相纸传送机构40。印相纸传送机构40，由在印相纸传送方向上、配置在曝光印刷部22的前后的、包含卡盘式印相纸传送单元40a的多个夹持传送滚轮对而构成。在曝光印刷部22中，设置着沿着主扫描方向、根据来自图像记录装置6的印刷数据而向沿副扫描方向传送的印相纸3，进行R、G、B的3原色的激光光线的照射的行曝光头。处理槽装置36，具备：贮存发色显影处理液的发色显影槽36a、贮存漂白定影处理液的漂白定影槽36b、贮存稳定处理液的稳定槽36c。
接着，根据图4所示的流程图，对本实施方式中的缺陷像素的修正处理进行详细说明。
首先，将由图像读取装置5的可见光用传感器装置10以及红外光用传感器装置11取得的可见光图像数据和红外光图像数据读入到存储器18中(#01)。然后，在正常/缺陷像素判定部25中，采用由#01的处理而保存到存储器18中的红外光图像数据，对包含于可见光图像数据中的各像素是正常像素还是缺陷像素进行判定，并做成登录正常像素以及缺陷像素的各坐标的正常/缺陷图(#02)。该处理，可以通过：当包含于红外光图像数据中的各像素的像素值高于预先设定的一定的阈值的情况下，判定为正常像素，当低于该一定的阈值的情况下，判定为缺陷像素，并对应这些各个像素的坐标将表示正常或者缺陷的信息登录到正常/缺陷图上而进行。作为这里使用的一定的阈值，最好是根据包含于红外光图像数据中的全像素的像素值的平均值来设定。
接着，在第一对象像素选择部26中，从在正常/缺陷判定部25中判定为正常像素的像素中选择一个第一对象像素P(#03)。作为该第一对象像素P，是作为正常像素而登录到正常/缺陷图上的像素，从尚未作为第一对象像素P而被选择的像素中选择。此时，可以从尚未作为第一对象像素P而被选择的正常像素中选择任意的像素，但是最终，由于将包含于可见光图像数据中的所有的正常像素作为第一对象像素P而选择，因此，该第一对象像素P的选择，最好是顺序地从图像数据的任意的转角处一个像素一个像素地向旁边移动地进行。
接着，在第二对象像素检测部27中，检测出以由第一对象像素选择部26选择的第一对象像素P为中心的一定区域E内存在的缺陷像素(#04)。然后，对在该一定区域E内是否存在有缺陷像素进行判断(#05)。当在该一定区域E内不存在缺陷像素的情况下(#05：否)，则在此结束对该第一对象像素P的运算，处理返回到#03，将下一个正常像素作为第一对象像素P进行选择。另一方面，当在该一定区域内存在缺陷像素的情况下(#05：是)，则将处理推进到后述的#06。图5是对于一个第一对象像素P1，从#03到#08的处理的说明图。以下，在这些从#03到#08的说明中，各像素的符号，采用在该图5中附加的符号。如该图中所示，在本实施方式中，一定区域E1，为5×5像素的正方形区域。
一般，一定区域E，根据其大小，确定检测出以第一对象像素P为中心的周围的缺陷像素的范围，该一定区域E越大，在其中也就更多地包含缺陷像素。所以，该一定区域E越大，将第一对象像素P为中心检测出第二对象像素Q的方向，即，在插补值运算部28中运算缺陷像素的插补值H的方向也就越会增加，以各缺陷像素来看，运算的插补值H的数也就越是增加，因此，最终运算的修正值，也就是在后述的#10的处理中运算的各缺陷像素的插补值H的加权平均值A的可靠性越增高。但是，该一定区域E越大运算处理的量就会增加，处理速度就会降低，因此要考虑这些因素来决定一定区域E的大小。另外，当一定区域E为这样地5×5像素的正方形区域的情况下，各缺陷像素的运算的插补值H的数为8个，当是3×3像素的正方形区域的情况下，为4个，7×7像素的正方形的情况下，为12个。对于一定区域E的形状，没有特殊的限制，可以是任意的形状。另外，在图5所示的例中，在一定区域E1内，存在6个缺陷像素B11～B16。
另外，在第二对象像素检测部27中，对检测出的各缺陷像素B11～B16，检测出在从第一对象像素P1连结缺陷像素B11～B16的延长线L11～L15上存在的正常像素并作为第二对象像素Q11～Q15(#06)。具体地，将从第一对象像素P1连结缺陷像素B12的延长线L11上存在的正常像素作为第二对象像素Q11。而且，将从第一对象像素P1连结缺陷像素B11的延长线L12上存在的正常像素作为第二对象像素Q12。此时，由于，缺陷像素B13存在于从第一对象像素P1连结一个缺陷像素B11的延长线L12上，因此，没有必要检测从第一对象像素P1连结缺陷像素B13的延长线上存在的正常像素。同样，对于从第一对象像素P1连结缺陷像素B14～B16的延长线L13～L15，也是检测出其延长线L13～L15上存在的正常像素并作为第二对象像素Q13～Q15。
接着，在插补值运算部28中，对于在第一对象像素P1与各第二对象像素Q11～Q15之间存在的一个或者两个以上的缺陷像素，根据第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值分别进行运算各缺陷像素的插补值H(#07)。作为该缺陷像素的插补值H的运算方法，采用推定地求出预想为当缺陷像素没有缺陷时的值的像素值的方法，比如，可以适用线性插补。具体地，比如，如图6的图所示，用直线连结第一对象像素P1的像素值与第二对象像素Q12的像素值，并且将对应于从各缺陷像素的第一对象像素P1以及第二对象像素Q12的距离的比的所述直线上的中间值作为各缺陷像素的插补值H11～H13来进行位于第一对象像素P1与第二对象像素Q12之间的三个缺陷像素的插补值H11～H13的运算。另外，缺陷像素的插补值H的运算方法，并不限定于线性插补，只要是可以推定求出当第一对象像素P1与第二对象像素Q11～Q15之间的各缺陷像素没有缺陷的情况下的像素值的插补方法，则都可以采用。另外，将在该处理#07中运算的各缺陷像素的插补值H，以与各缺陷像素的坐标相对应的状态存储到运算结果存储部30中。
接着，在加权系数运算部29中，根据第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值，对第一对象像素P1和第二对象像素Q11～Q15的各组，也就是对P1～Q1组、P1～Q12组、P1～Q13组、P1～Q14组以及P1～Q15组分别运算其加权系数W11～W15(#08)。该加权系数W11～W15是确定可靠性的系数，即，如后所述，由于与对其它的第一对象像素P所运算的各缺陷像素的插补值H的关系，对最终修正值(加权平均值A)应该以何种程度的比例(权)来使用在处理#07中运算出的对于第一对象像素P1和第二对象像素Q11～Q15的各组的各缺陷像素的插补值H，也就是第一对象像素P1和第二对象像素Q11～Q15的各组的各缺陷像素的插补值H是何种程度适宜的值。
一般来讲，当第一对象像素P1的像素值和第二对象像素Q的像素值的值离开的情况下，在第一对象像素P和第二对象像素Q之间，存在图像的边界或图案等的可能性高，相反，当第一对象像素P1的像素值和第二对象像素Q的像素值的值相近的情况下，在第一对象像素P和第二对象像素Q之间，不存在图像的边界或图案等的可能性高。在这样的情况下，可以认为，比起向跨越图像的边界、图案等的方向而插补的缺陷像素的插补值H，沿着图像边界、图案等的方向进行插补的缺陷像素的插补值H是更适当的值的可能性高。这是由于，由线性插补等适当地推定沿着像素值变化大的方向存在于正常像素之间的缺陷像素的像素值是困难的，而沿着像素值变化少的方向进行插补则可以容易地推定缺陷像素的适当的插补值。
因此，在本实施方式中，将第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值的任意一个大的值作为分母，将小的值作为分子，将其比的n次自乘(n为任意的自然数)作为加权系数W11～W15来进行运算。由此，加权系数W11～W15，分别作为第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值越近的组其权越重的系数进行运算。
具体地，该加权系数W11～W15根据以下的公式(1)～(5)来进行运算。
W11＝{min(p1，Q11)/max(p1，Q11)}n…(1)
W12＝{min(p1，Q12)/max(p1，Q12)}n…(2)
W13＝{min(p1，Q13)/max(p1，Q13)}n…(3)
W14＝{min(p1，Q14)/max(p1，Q14)}n…(4)
W15＝{min(p1，Q15)/max(p1，Q15)}n…(5)
这里，‘min’是最小值运算函数，‘max’是最大值运算函数。所以，如果以公式(1)为例进行说明，则‘min(P1，Q11)’是P1的像素值和Q11的像素值的所有值中一个小的值，‘max(P1，Q11)’是P1的像素值和Q11的像素值的所有值中一个大的值。这样，通过进行‘min(P1，Q11)/max(P1，Q11)’的运算，就可以运算出第一对象像素P1的像素值和第二对象像素Q11的像素值越近其权越重的加权系数W11。而且，‘min(P1，Q11)/max(P1，Q11)’是大于‘0’而小于‘1’的值，并且由于n是自然数，通过进行n次方运算，加权系数W11的值就会变小，但是此时，如果‘min(P1，Q11)/max(P1，Q11)’的值为接近于‘1’的较大的值时，即使进行n次方运算也不会变得太小，当该值为接近于‘0’的较小的值时，通过n次方运算就会变小，从而可以更加强调加权系数W11的值。
这样，通过n次自乘而强调加权系数W11～W15的值，可以使得沿着缺陷像素的周围的图像的边界或图案等存在的方向而运算的缺陷像素的插补值对于最终修正值的影响变得更大，就可以对反映图像边界或图案等的适当的缺陷像素进行插补处理。这里，n的值，根据应该修正的图像的状态可以是适当的不同的值，因此最好采用通过各种图像数据的统计等实验地求出的值，但是一般情况，如果该n值取得太小，修正后的图像的边界或图案会有模糊不清的感觉，但是如果该n值取得太大，修正后的图像的边界、图案又过于清晰。具体地，作为一般的照片，n值适用15～30的情况比较多，更具体地说，对于适当地修正肤色和黑色的边界所取的n值适用20的情况比较多。
另外，加权系数W11～W15的运算方法，并不限定于所述的方法，只要是可以基于第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值的关系性，运算各缺陷像素的插补值H为何种程度的适宜的值的、表示可靠性的加权系数W11～W15的方法都可以采用。所以，比如，将第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值的差分的绝对值的相对于规定值α的补数除以规定值‘α’所得的值的n次方(n为任意自然数)作为加权系数W11～W15进行运算也可以。
此时，具体地由以下的公式(6)～(10)来运算加权系数W11～W15。
W11＝{(α-|P1-Q11|/α}ⁿ……(6)
W12＝{(α-|P1-Q12|/α}ⁿ……(7)
W13＝{(α-|P1-Q13|/α}ⁿ……(8)
W14＝{(α-|P1-Q14|/α}ⁿ……(9)
W15＝{(α-|P1-Q15|/α)ⁿ……(10)
这里，如果将规定值α，设定为第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值的差分的绝对值所取得的最大值则是优选的。由此，第一对象像素P1和第二对象像素Q11～Q15的像素值越近则加权系数W11～W15的权越重。另外，规定值α的值并不限定于此，也可以设定为第一对象像素P1的像素值和第二对象像素Q11～Q15的像素值的差分的绝对值所取得的最大值以下的值。但是，此时，由于所述补数有可能产生负数的情况，所以当所述补数小于‘0’的情况下，将加权系数W11～W15置成‘0’的条件等是必要的。而且，这里，由于与所述的加权系数W11～W15的运算方法一致，为使加权系数W11～W15成为‘0’以上‘1’以下的值，因此要用规定值α去除所述补数，但是，也可以不用规定值α除所述补数，而将所述补数的n次方作为加权系数W11～W15。在这样的加权系数W11～W15的运算方法中，n的值，如上所述，取从各种图像数据的统计等中实验地求出的值是优选的。
如上所述，在处理#08中运算的第一对象像素P1和第二对象像素Q11～Q15的各组的加权系数W11～W15，以与所述各组建立对应的状态被存储到运算结果存储部30中。
接着，对于在正常/缺陷图上登录的所有的正常像素，判断从#03～#08的处理有关的运算是否完成了(#09)。可以通过将作为正常像素而登录到正常/缺陷图上的所有的正常像素，是否作为第一对象像素P而进行了从#03到#08的处理来作出该判断。此时，即使是尚未作为第一对象像素P而被选择的正常像素，通过被作为将其它的正常像素作为第一对象像素P而选择的情况下的第二对象像素Q，也有在与该其它的正常像素之间，被作为缺陷像素的插补值H以及加权系数W的运算对象的情况。在这种情况下，在将该正常像素作为第一对象像素P而选择之际的#07以及#08的运算处理中，在与已经完成运算的其它的正常像素(第二对象像素Q)之间，不进行缺陷像素的插补值H以及加权系数W的运算是优选的。通过这样做，可以避免在#07以及#08中的缺陷像素的插补值H以及加权系数W的运算处理的重复，而可以抑制运算量。
另外，当对于在正常/缺陷图上登录的所有的正常像素，从#03～#08的处理相关的运算没有完成的情况下(#09：否)，处理返回到#03，将下一个正常像素作为第一对象像素P进行选择(#03)，并对该第一对象像素P进行#04～#08的处理。图7是对所述第一对象像素P1进行#03～#08的处理的基础上，将其他的正常像素分别作为第一对象像素P2、P3而进行的从#03～#08的处理的说明图。另外，实际上第一对象像素P的选择最好是从转角部开始顺序地一个像素一个像素地移动地进行选择，但是这里为了说明的方便，在各自离开的位置上选择第一对象像素P2、P3。
而且，对于第一对象像素P2、以及第一对象像素P3，也分别与所述第一对象像素P1一样，进行#04～#08的处理。此时，对于第一对象像素P2，在一定区域E2内存在三个缺陷像素，将从第一对象像素P2连结这些缺陷像素的延长线上存在的正常像素作为第二对象像素Q21～Q23。而且，在对位于第一对象像素P2和各第二对象像素Q21～Q23之间的各缺陷像素的插补值H进行运算的同时，对第一对象像素P2和各第二对象像素Q21～Q23的各组的加权系数W21～W23进行运算，并分别存储到运算结果存储部30中。而且，对于第一对象像素P3，在一定区域E3内存在三个缺陷像素，将从第一对象像素P3连结这些缺陷像素的延长线上存在的正常像素作为第二对象像素Q31～Q33。而且，在对位于第一对象像素P3和各第二对象像素Q31～Q33之间的各缺陷像素的插补值H进行运算的同时，对第一对象像素P3和各第二对象像素Q31～Q33的各组的加权系数W31～W33进行运算，并分别存储到运算结果存储部30中。这样，通过对多个第一对象像素P1～P3进行#04～#08的处理，也就进行了对一个缺陷像素的多个插补值H的运算。通过以上的处理，最终，直到完成作为正常像素而登录在正常/缺陷图上的所有的正常像素的运算为止，反复地进行#03～#08的处理。于是，如本实施方式，在一定区域E为5×5像素的正方形区域的情况下，对于登录在正常/缺陷图上的所有的缺陷像素，每一个缺陷像素运算8个插补值H，并存储到运算结果存储部30中。而且，将由#03～#08的处理运算的第一对象像素P和第二对象像素Q的所有的组的加权系数W也存储到运算结果存储部30中。
另外，当对于在正常/缺陷图上登录的所有的正常像素，完成了#03～#08的处理有关的运算时(#09：是)，接着，在加权平均值运算部31中，采用存储在运算结果存储部30中的、对各缺陷像素的多个插补值H和对第一对象像素P与第二对象像素Q的各组的加权系数W，运算各缺陷像素的插补值H的加权平均值A(#10)。该加权平均值A的运算，就各缺陷像素来看，是通过以下所述的方式进行的，即，对于该缺陷像素的多个插补值H的全体，将该一个缺陷像素的各插补值H和运算该插补值H之际使用的第一对象像素P与第二对象像素Q的组的加权系数W进行乘法运算，并将得到的乘积进行求和，然后用所述乘积值运算中使用的所有的加权系数W的和去除该总和。在本实施方式中，对每一个缺陷像素运算8个插补值，并且对分别对应这8个插补值H的第一对象像素P和第二对象像素Q的组的8个加权系数W进行运算，因此，加权平均值A，可以通过用8个加权系数W的和去除8组插补值H与加权系数W的乘积的和来进行运算。
作为该加权平均值A的运算方法的具体例，以下对运算图7的一个缺陷像素Bx的加权平均值A的情况进行说明。另外，实际上，当如上所述一定区域E为5×5像素的正方形区域的本实施方式的情况下，当然要对各缺陷像素运算8个插补值H，但是，这里为了说明的方便，对图7所示的3个第一对象像素P1、P2、P3分别运算的3个插补值H1x、H2x、H3x的加权平均值Ax的运算方法进行说明。
此时，加权平均值Ax，具体地由以下公式(11)进行运算。
Ax＝(H1x×W13+H2x×W21+H3x×W31)/(W13+W21+W31)…(11)
这里，如图7所示，缺陷像素Bx，是位于连结第一对象像素P1和第二对象像素Q13的直线、连结第一对象像素P2和第二对象像素Q21的直线、连结第一对象像素P3和第二对象像素Q31的直线的交点上的像素。另外，对应插补值H1x(在运算插补值H1x之际使用)的第一对象像素P和第二对象像素Q的组是P1-Q13，该组的加权系数是W13。同样，对应插补值H2x的组是P2-Q21，其加权系数是W21，对应插补值H3x的组是P3-Q31，其加权系数是W31。所以，对于缺陷像素Bx的插补值H1x～H3x的加权平均值Ax，就如所述公式(11)所示。通过以上的处理，运算所有的缺陷像素的插补值H的加权平均值A。
而且，将由#10的处理运算出的各缺陷像素的加权平均值A作为各缺陷像素的修正值，在修正部32中，对各缺陷像素的像素值进行修正(#11)。具体地，是通过将各缺陷像素的像素值切换成对各缺陷像素运算的加权平均值A来进行的。另外，虽然在以上的说明中没有特别提到，但是采用#07、#08、#10以及#11的处理中的可见光图像数据的正常像素或者缺陷像素的像素值的运算，是分别对可见光图像数据的R、G、B的每个颜色成分进行的。
另外，在所述实施方式中，对适用于从照相胶片2读取图像并记录到印相纸3上的图像印刷系统4的情况进行了说明，但是，适用本发明的对象并不限定于此，只要是修正图像数据的缺陷部并输出的装置，则本发明也可以适用于其它的图像处理装置等。另外，在所述实施方式中，对于作为可见光图像数据而处理具有R、G、B的颜色成分的彩色图像数据的情况进行了说明，但是，作为可见光图像数据，对于具有其它颜色成分的彩色图像数据、或者可见光图像数据只有一个颜色成分的黑白图像数据进行处理的情况下，也可以同样适用本发明。
本发明在对图像数据的缺陷部分进行修正时，即使在缺陷部内存在复杂的边界或图案的情况下，也可以以高处理速度进行反应这些要素的正确的插补处理，可应用于各种图像处理装置或程序等。