图像处理装置及图像处理方法.pdf

本发明涉及图像处理装置及图像处理方法。本发明的目的是在具有面型图像传感器的图像处理装置中执行分辨率转换处理时通过小的空间生成具有期望的分辨率的图像数据。本发明为一种图像处理方法，用于对在主扫描方向和副扫描方向上具有相位偏移的多个图像数据进行处理，包括：输入目标分辨率的设置的步骤；使用多个图像数据中的、与原稿的在副扫描方向上的各个位置相对应的图像数据，来对各个位置执行超分辨率处理的步骤；当执行了超分辨率处理的图像数据的分辨率低于目标分辨率时，进一步对在其位置处经过了超分辨率处理的图像数据执行可变放大处理的步骤。

1.  一种图像处理装置，用于对读取原稿时读取位置在主扫描方向和副扫描方向上移动的多个图像数据进行处理，所述图像处理装置的特征在于包括：
输入单元，用于输入目标分辨率；
超分辨率处理单元，用于使用所述多个图像数据中的、与所述原稿的在所述副扫描方向上的各个位置相对应的图像数据，来针对各个位置执行超分辨率处理；以及
可变放大处理单元，用于当由所述超分辨率处理单元执行了超分辨率处理的所述图像数据的所述分辨率低于所述输入单元输入的所述目标分辨率时，进一步对在上述位置经过了所述超分辨率处理的所述图像数据执行可变放大处理。

2.  根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还包括：
合成单元，用于将由所述可变放大处理单元生成的并且与所述原稿的在所述副扫描方向上的各个位置相对应的多个图像数据合成。

3.  根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
保持单元，用于保持表，所述表记录通过使用与所述原稿的在所述副扫描方向上的各个位置相对应的图像数据来执行所述超分辨率处理而可行的分辨率，
其中，所述可变放大处理单元基于所述保持单元保持的所述分辨率和所述输入单元输入的所述目标分辨率，确定在各位置执行所述可变放大处理时使用的可变放大比率。

4.  根据权利要求2所述的图像处理装置，所述图像处理装置还包括：
滤波单元，其被配置为对所述合成单元合成的图像数据执行滤波处理。

5.  根据权利要求4所述的图像处理装置，其中，所述滤波单元根据所述图像数据的位置来改变滤波强度。

6.  根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
面型图像传感器，用于生成所述多个图像数据，
其中，所述面型图像传感器在从所述原稿的在所述副扫描方向上的顶端部到所述副扫描方向上的底端部的范围内操作。

7.  一种图像处理装置中的图像处理方法，所述图像处理装置用于对读取原稿时读取位置在主扫描方向和副扫描方向上移动的多个图像数据进行处理，所述图像处理方法包括：
输入步骤，输入目标分辨率；
超分辨率处理步骤，使用所述多个图像数据中的、与所述原稿的在所述副扫描方向上的各个位置相对应的图像数据，来针对各位置执行超分辨率处理；以及
可变放大处理步骤，在所述超分辨率处理步骤中执行了超分辨率处理的所述图像数据的所述分辨率低于在所述输入步骤中输入的所述目标分辨率时，进一步对在上述位置经过了所述超分辨率处理的所述图像数据执行可变放大处理。

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置以及图像处理方法。
背景技术
通常地，作为分辨率转换功能中的一种，已知一种由多个低分辨率图像数据生成高分辨率图像数据的超分辨率处理技术。使用该技术，即使通过低分辨率设备获得的图像数据也能够被转换为高分辨率图像数据(例如，参见日本专利特开2007-151080号公报)。
但是，当使用超分辨率处理技术时，必须准备具有亚像素单位(小于1像素的单位)的相位偏移的多个低分辨率图像数据，因此预处理花费很多时间。鉴于此，超分辨率处理技术的使用限于需要高质量图像数据(例如数字摄像机拍摄的运动图像数据以及数码相机拍摄的静止图像数据)的特定领域(例如，参见WO2004/068862)。
然而，近年来，诸如复印机和传真装置的图像处理装置的领域需要高质量的图像数据。因此，已经考虑超分辨率处理技术在该领域的应用。
请注意，诸如复印机和传真装置的图像处理装置通常逐行读取原稿图像，并且使用CCD线型传感器(line sensor)、接触式图像传感器等作为读取设备。
然而，近年来，数码相机的普及加速了CCD面型图像传感器(areaimage sensor)的降价，因此诸如复印机和传真装置的图像处理装置使用CCD面型图像传感器。
鉴于此，当将超分辨率处理技术应用于图像处理装置时，希望假定使用CCD面型图像传感器作为读取设备这样一种情况。
通常地(当在例如数字摄像机中使用CCD面型图像传感器时)，CCD面型图像传感器针对各帧感测图像(以在主扫描方向和副扫描方向上同时获取图像数据)。
然而，当在诸如复印机或传真设备的图像处理装置中执行超分辨率处理时，将CCD面型图像传感器在副扫描方向上移动，从而有效地获得多个相位偏移的图像数据。
然后，针对形成CCD面型图像传感器的各行而非帧来处理以该方式获得的图像数据。使用该处理，通过副扫描方向上的单一操作能够获得与行数量一样多的相位偏移的图像数据。
此时，当CCD面型图像传感器的操作范围被限于原稿大小的范围内时，不能均匀地获得由所获得的与行数量一样多的图像数据覆盖的原稿上的区域。也就是说，由所获得的图像数据覆盖的原稿上的区域的数量在原稿的中央部分大，而在原稿的上游部分以及下游部分小。
以下将参照图24和图25对实际示例进行说明。例如，假定定义CCD面型图像传感器的一个帧的大小为：主扫描方向＝290mm，副扫描方向＝200mm。当CCD面型图像传感器位于最上游位置时，第一帧覆盖从原稿的最上端到副扫描方向上的一个帧大小的200mm处位置的区域。
当将CCD面型图像传感器在副扫描方向上移动10mm时，第二帧覆盖从距离最上游位置10mm的位置到210mm处位置的区域。
当比较这两个图像数据(第一帧和第二帧的图像数据)时，只有一个图像数据覆盖原稿的从最上游位置到10mm处位置的部分。另一方面，这两个图像数据覆盖原稿的从10mm处位置到200mm处位置的部分(参见图24)。
作为CCD面型图像传感器在原稿大小的范围之内移动的结果，获得与行数量一样多的图像数据，如图25中25a所示。也就是说，不可避免地生成由大量图像数据覆盖的部分以及由少量图像数据覆盖的部分(图25中的25b)。
这样，当CCD面型图像传感器的操作范围被限于原稿大小的范围内时，副扫描方向上的上游部分以及下游部分的图像数据的数据量变小。相反地，图像数据的数据量朝副扫描方向的中央部分增加。
在该情况下(当使用图25中的25a所示的图像数据时)，即使当执行超分辨率处理时，也不能获得具有所期望的分辨率的图像数据。
另一方面，为了避免这种情形，可以将CCD面型图像传感器的操作范围扩大为比原稿大小的范围更大。然而，当扩大CCD面型图像传感器的操作范围时，图像处理装置不希望地变得庞大。
发明内容
考虑到上述问题而提出了本发明。
根据本发明的图像处理装置包括以下配置。即，一种图像处理装置，用于对读取原稿时读取位置在主扫描方向和副扫描方向上位移的多个图像数据进行处理，所述图像处理装置的特征在于包括：输入单元，用于输入目标分辨率；超分辨率处理单元，用于使用所述多个图像数据中的、与所述原稿的在所述副扫描方向上的各个位置相对应的图像数据，来对各个位置执行超分辨率处理；以及可变放大处理单元，用于当由所述超分辨率处理单元执行了超分辨率处理的所述图像数据的所述分辨率低于由所述输入单元输入的所述分辨率时，进一步对在其位置处经过了所述超分辨率处理的所述图像数据执行可变放大处理。
根据本发明的图像处理方法包括以下配置。即，一种图像处理装置中的图像处理方法，所述图像处理装置用于对读取原稿时读取位置在主扫描方向和副扫描方向上位移的多个图像数据进行处理，所述图像处理方法包括：输入步骤，用于输入目标分辨率的设置；超分辨率处理步骤，用于使用所述多个图像数据中的、与所述原稿的在所述副扫描方向上的各个位置相对应的图像数据，来对各位置执行超分辨率处理；以及可变放大处理步骤，用于在所述超分辨率处理步骤中执行了超分辨率处理的所述图像数据的所述分辨率低于在所述输入步骤中输入的所述分辨率时，进一步对在其位置处经过了所述超分辨率处理的所述图像数据执行可变放大处理。
根据本发明，当使用面型图像传感器在图像处理装置中执行分辨率转换时，能够以小的空间(footprint)生成具有期望的分辨率的图像数据。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得明显。
附图说明
附图被并入到说明书且构成说明书的一部分，其示出了本发明的实施例，并与文字说明一起，用来解释本发明的原理。
图1是示出根据本发明第一实施例的图像处理装置100的外观的图。
图2是示出扫描仪单元110的配置的图。
图3是示出控制器216的内部配置的框图。
图4是示出普通的CCD面型图像传感器的配置的图。
图5是示出要读取的原稿的图像数据的示例的图。
图6示出了当普通图像处理装置中的读取线型传感器读取图像时生成的图像数据。
图7示出了当普通图像处理装置中的所述读取线型传感器读取图像时生成的图像数据。
图8示出了当普通图像处理装置中的所述读取线型传感器读取图像时生成的图像数据。
图9示出了当普通图像处理装置中的所述读取线型传感器读取图像时生成的图像数据。
图10示出了当普通图像处理装置中的所述读取线型传感器完成读取时生成的图像数据。
图11是用于解释在图像处理装置100中安装CCD面型图像传感器的方法的图。
图12示出了当图像处理装置100中的读取线型传感器读取图像时生成的图像数据。
图13示出了当图像处理装置100中的所述读取线型传感器读取图像时生成的图像数据。
图14示出了当图像处理装置100中的所述读取线型传感器读取图像时生成的图像数据。
图15示出了当图像处理装置100中的所述读取线型传感器完成读取时生成的图像数据。
图16是用于解释基于通过扫描仪单元110获得的四个低分辨率图像数据的超分辨率处理的执行序列的图。
图17是示出超分辨率处理的详情的图。
图18是示出图像处理装置100中的超分辨率处理的序列的流程图。
图19描述了主扫描位置和副扫描位置处的分辨率。
图20示出了分辨率转换的比率。
图21是示出当原稿大小相对于读取区域不是最大的时的读取位置的图。
图22是示出图像处理装置100中的超分辨率处理的序列的流程图。
图23是用于解释CCD面型图像传感器的图像感测处理方法的图。
图24是示出通过在原稿范围内执行CCD面型图像传感器的读取操作而获得的图像数据与图像数据的稀疏部分和密集部分之间的关系的图。
图25示出了当CCD面型图像传感器执行读取操作时的重叠区域。
具体实施方式
现在将根据附图对本发明的实施例进行详细的说明。
[第一实施例]
<1.图像处理装置的配置>
图1是示出根据本发明第一实施例的图像处理装置100的外观的图。图像处理装置100大致包括：通过读取原稿图像生成图像数据的扫描仪单元110、打印所生成的图像数据的打印机单元120以及使得用户能够进行图像处理装置100的各种操作设置的操作单元130。
扫描仪单元110通过将曝光并扫描原稿获得的反射光输入到CCD面型图像传感器中，来将该反射光转换为电信号。扫描仪单元110将电信号转换为R、G和B颜色的亮度信号，并将所述亮度信号作为图像数据输出给控制器(稍后将描述)。
请注意，原稿被放置在原稿进给器150的托盘140上。当用户通过操作单元130输入原稿读取指令时，控制器将原稿读取指令提供给扫描仪单元110。
当接收到该指令时，扫描仪单元110通过从原稿进给器150的托盘140上逐一进给原稿来读取原稿图像。请注意，原稿读取方法不限于使用原稿进给器150的自动进给方法。例如，可以将原稿放在玻璃面(未示出)上，并且可以通过移动光学读取单元来读取该原稿。
打印机单元120在纸张上打印从控制器接收到的图像数据。在本实施例的以下说明中，将使用感光鼓或带的电子摄像方法用作图像处理方法。然而本发明并不限于这种特定方法。例如，可以使用通过从微喷嘴阵列喷出墨水而将图像打印在打印片材上的喷墨方法。
打印机单元120包括使得用户能够选择不同的纸张大小或纸张方向的多个纸盒170、180和190。请注意，打印过的纸张被排出到排出托盘160上。
<2.扫描仪单元110的配置>
图2是示出扫描仪单元110的配置的图。在图2中，标号200和201表示扫描仪单元110的外壳。标号203表示集成的光学读取单元，该光学读取单元包括照明设备204、反射镜205至207、透镜208以及CCD面型图像传感器209。
优选地，通过适用于生成超分辨率处理中使用的图像数据的安装方法来安装CCD面型图像传感器209。然而，由于利用原稿的放置方法或者利用光学路径的处理方法生成超分辨率处理中使用的图像数据的方法是可行的，因此不需要总是采用适用于生成超分辨率处理中使用的图像数据的安装方法。
光学读取单元203被配置为当步进电机212驱动传送带211和滑轮213时在副扫描方向上移动。在本实施例中，当光学读取单元203在副扫描方向上移动时，照明设备204向原稿台202上的原稿发出光。
从使用来自照明设备204的光照射的原稿台202上的原稿输入反射光，并且反射光经由反射镜205至207以及透镜208被CCD面型图像传感器209接收。使用这种配置，可以通过在CCD面型图像传感器209的光接收区域(例如，主扫描方向上的290mm×副扫描方向上的200mm)内移动光学读取单元203来读取原稿图像。
步进电机212经由电缆214连接到电机驱动控制电路215，并且由电机驱动控制电路215控制。由CCD面型图像传感器209生成的图像数据经由电缆210被输出给控制器216。
<3.控制器216的内部配置>
以下将参照图3对控制器216的内部配置进行详细的说明。在图3中，标号300表示经由用户面板等输入用户指令并向数据处理器301传输命令的用户接口。在根据本实施例的图像处理装置100中，经由用户接口300输入对扫描仪单元110的原稿读取指令、目标分辨率选择指令等。
数据处理器301执行包括超分辨率处理以及可变放大处理的分辨率转换处理，并且向电机驱动控制电路215输出控制指令。此外，数据处理器301将图像数据传输给LAN控制器305并从用户接口300接收命令。
此外，数据处理器301连接于RAM 306、ROM 307、主扫描查找表303以及副扫描查找表304，并且使用这些组件来交换执行分辨率转换处理所需的命令。数据处理器301接收从CCD面型图像传感器209发送来的并且由A/D转换器302转换为数字数据的图像数据。
<4.CCD面型图像传感器209的详情>
以下将对CCD面型图像传感器209的详情进行说明。
<4.1CCD面型图像传感器的像素传感器布局>
CCD面型图像传感器209与适用于数码相机等的传感器相同，而与传统的图像处理装置中使用的线型传感器不同。具体来说，用于读取原稿图像的像素传感器在主扫描方向和副扫描方向上被二维地布置。
请注意，当扫描仪单元110读取放置在原稿台202上的原稿时，主扫描方向同与光学读取单元203相对于该原稿的移动方向垂直的方向一致。另一方面，副扫描方向同与光学读取单元203的移动方向平行的方向一致。
图4是示出普通的CCD面型图像传感器的配置的图。参照图4，标号401表示构成CCD面型图像传感器的像素传感器。H个像素被布置在主扫描方向上，L个像素被布置在副扫描方向上。由相邻的像素传感器之间的距离N确定CCD面型图像传感器的分辨率。
<4.2CCD面型图像传感器的安装方法以及图像感测处理方法>
以下将描述根据本实施例的图像处理装置100中的CCD面型图像传感器209的安装方法以及图像感测处理方法。在以下的说明中，为了阐明根据本实施例的图像处理装置100的特有特征，首先将描述普通数码相机和普通图像处理装置中的CCD面型图像传感器的安装方法以及图像感测处理方法。
(1)普通数码相机的情况
当在数码相机等中使用CCD面型图像传感器时，CCD面型图像传感器通过捕获输入图像数据作为二维区域来感测图像。也就是说，CCD面型图像传感器在单个图像感测操作中使用二维布置的全部像素传感器。
安装CCD面型图像传感器，使得没有任何倾斜地布置像素传感器以生成在水平方向和竖直方向上没有任何变形的感测图像数据。
例如，当在普通数码相机中安装CCD面型图像传感器时，由图4中的黑色方框402界定的行中的像素传感器读取的图像感测对象形成图像感测对象的最上端部分。在该情况下，所生成的图像数据相对于定义该行的方向没有倾斜。
同样地，由黑色方框403界定的行中的像素传感器读取的图像感测对象形成不同于黑色方框402界定的行中的像素传感器读取的图像感测对象位置的位置，即，形成在竖直方向上紧邻所述位置之下的位置。此外，由黑色方框404界定的行中的像素传感器读取的图像感测对象形成在竖直方向上位于由黑色方框402界定的像素传感器读取的图像感测对象的位置之下四个像素的位置。
这样，当在数码相机中使用CCD面型图像传感器时，由于图像数据为二维区域，构成CCD面型图像传感器的全部像素传感器感测图像感测对象的不同位置。
(2)普通图像处理装置的情况
作为对照，在普通图像处理装置的情况下，CCD面型图像传感器的安装方法以及图像感测处理方法如下。
i)安装方法
在图像处理装置的情况下，在用作光学读取单元的基准的安装位置处安装CCD面型图像传感器。
在普通图像处理装置中，当各个像素传感器捕获来自光源并接触原稿的光的反射光时，该发射光相对于该像素传感器没有倾斜地被捕获。也就是说，安装各像素传感器以使其能够几乎无倾斜地捕获反射光。
具体来说，将CCD面型图像传感器的主扫描方向设置为几乎与像素传感器的安装面水平，而将副扫描方向设置为几乎与所述安装面垂直。此时，任何倾斜，即使很轻微也被校正，因此假定没有倾斜地执行图像感测处理。
ii)图像感测处理方法
以下将描述图像处理装置中的CCD面型图像传感器的图像感测处理方法。
当在副扫描方向上移动包括CCD面型图像传感器的光学读取单元时，图像处理装置读取放置在原稿台上的原稿。
也就是说，图像处理装置通过将包含在例如由黑色方框402界定的行中的像素传感器用为线型传感器(在下文中将这种线型传感器称作读取线型传感器，并且将获得的数据称作行数据)来执行图像感测处理。
以下将使用实际示例来对当读取线型传感器402和403读取原稿时图像处理装置生成何种图像数据进行说明。请注意，图5示出了在下面的说明中要读取的原稿的图像数据。图5中的各个格表示形成读取线型传感器402等的各个像素传感器的分辨率。
当光学读取单元沿副扫描方向在原稿台下方移动时，读取线型传感器402和403依次读取原稿的图像。
也就是说，依次读取图5所示的原稿的、对应于与光学读取单元的位置相对应的各个读取线型传感器的行宽度的部分。
以下将参照图6至图10对此时的读取操作进行说明。当光学读取单元沿副扫描方向在原稿台下方移动时，使用来自光源的光照射原稿的图6中的6a、图7中的7a、图8中的8a以及图9中的9a所示的阴影部分。
现在假定使用来自光源的光照射图6中的6a所示的原稿的阴影部分，CCD面型图像传感器检测来自原稿的反射光，并针对使用光照射的部分(阴影部分)的行宽度生成行数据。
具体来说，读取线型传感器402生成图6中的6b所示的图像数据。同时，读取线型传感器403生成图6中的6c所示的图像数据。
这两个图像数据之间的读取位置存在位移的原因在于，安装的两个读取线型传感器402和403之间在副扫描方向上存在物理间距。
如图6中的6d以及6e所示，将通过各个读取线型传感器读取原稿生成的图像数据存储到针对各个读取线型传感器不同的存储介质(RAM等)中。
接下来，当光学读取单元移动时，光源移动，如图7中的7a所示，读取线型传感器要读取的原稿上的位置改变，读取线型传感器402生成图7中的7b所示的图像数据。此外，读取线型传感器403生成图7中的7c所示的图像数据。
然后，如图7中的7d和7e所示，分别将读取线型传感器402和403生成的图像数据存储到不同的存储介质(例如，RAM)中。
同样地，当在图8中的8a所示的阴影部分指示的位置处读取原稿时，生成图像数据，如图8中的8b和8c所示。然后，如图8中8d和8e所示，将读取线型传感器402和403生成的图像数据存储到针对各个读取线型传感器不同的存储介质(例如，RAM)中。
此外，当在图9中的9a所示的阴影部分指示的位置处读取原稿时，生成图像数据，如图9中的9b和9c所示。然后，如图9中的9d和9e所示，将读取线型传感器402和403生成的图像数据存储到针对各个读取线型传感器不同的存储介质(例如，RAM)中。
最终，使用来自光源的光照射原稿的整个表面，并且读取线型传感器402和403在各个位置处读取原稿的图像。
由于以该方式生成的图像数据被依次存储到存储介质中，如图10中10a和10b所示，最终生成在副扫描方向上具有1个像素位移的两个图像数据。
当所有的读取线型传感器相似地操作时，生成对应于包含在CCD区域图像传感器中的读取行传感器的行数的、在副扫描方向上具有位移的图像数据。
也就是说，当执行该图像感测处理时，能够在一个读取操作中生成在副扫描方向上具有连续相位偏移的多个图像数据(与读取线型传感器的行数一样多)。
<4.3本实施例的图像处理装置100中的CCD面型图像传感器的安装方法>
通过对比，当执行超分辨率处理时，如上所述，必须生成在主扫描方向和副扫描方向上具有原稿读取位置位移的多个图像数据。此外，那时的读取位置位移必须小于1个像素(亚像素)。
出于该目的，在根据本实施例的图像处理装置100的情况下，按照下述安装方法来安装CCD面型图像传感器。
图11是用于解释根据本实施例的图像处理装置100中的CCD面型图像传感器209的安装方法的图。在图11中，标号209表示CCD面型图像传感器。
如图11所示，根据本实施例的图像处理装置100为，其中CCD面型图像传感器209被安装为在主扫描方向和副扫描方向上与基准安装位置有倾斜。
也就是说，在CCD面型图像传感器209中布置的最下方读取线型传感器与在基准安装位置处安装的情况下的CCD面型图像传感器(图4)的主扫描方向之间成斜交角θ。
请注意，可以通过使CCD面型图像传感器209的左上端像素为原点，主扫描方向为x方向而副扫描方向为y方向，来表示形成该情况下的CCD面型图像传感器209的各个像素传感器的位置。
也就是说，假设将左上端像素的坐标表示为(x，y)＝(0，0)，并且将右上端像素的坐标表示为(x，y)＝(19，0)。同样地，假设将左下端像素的坐标表示为(x，y)＝(0，9)，并且将右下端像素的坐标表示为(x，y)＝(19，9)。
标号1103表示针对1行的读取线型传感器，其形成CCD面型图像传感器209。读取线型传感器1103包括在主扫描方向上布置的20个像素传感器。
也就是说，读取线型传感器1103包括坐标位置分别为(0，4)，(1，4)，(2，4)，……(19，4)的像素传感器。
同样地，读取线型传感器1104包括坐标位置分别为(0，5)，(1，5)，(2，5)，……(19，5)的像素传感器。
<4.4本实施例的图像处理装置100中的CCD面型图像传感器的图像感测处理方法>
以下将描述在根据本实施例(其中按照上述安装方法来安装CCD面型图像传感器209)的图像处理装置100的情况下的图像感测处理方法。在以下的说明中，为了阐明与在普通图像处理装置中的图像感测处理方法的区别，使用图5所示的原稿的图像数据。
以下将使用实际示例来描述当读取线型传感器1103和1104读取原稿时生成何种图像数据。
请注意，读取线型传感器1103和1104的读取操作与读取线型传感器402和403的读取操作相同。但是，由于读取线型传感器相对于基准安装位置具有斜交角θ，因此读取线型传感器生成具有斜交角θ的倾斜的图像数据。
例如，如图12中的12b和12c所示，读取线型传感器1103和1104生成图像数据。如图12中的12d和12e所示，这些图像数据以具有上述倾斜的方式被分别存储到不同的存储介质(例如，RAM)中。
同样地，当光学读取单元203移动时，光源移动，如图13中的13a所示，读取线型传感器1103和1104要读取的原稿的位置改变，生成图像数据，如图13中的13b和13c所示。
如图13中的13d和13e所示，读取线型传感器1103和1104生成的图像数据被分别存储到不同的存储介质(例如，RAM)中。
此外，当光学读取单元203移动时，光源移动，如图14中的14a所示，读取线型传感器1103和1104要读取的原稿的位置改变，生成图像数据，如图14中的14b和14c所示。
如图14中的14d和14e所示，读取线型传感器1103和1104生成的图像数据被分别存储到不同的存储介质(例如，RAM)中。
读取线型传感器1103和1104读取原稿以最终生成图像数据，如图15中的15a和15b所示(两个图像数据都具有斜交角θ的倾斜)。
如上使用图11所描述的，读取线型传感器1103和1104在副扫描方向上实质具有1个像素传感器的位移。因此，形成读取线型传感器1103的像素传感器在水平方向上与形成读取线型传感器1104的像素传感器有相位偏移。
例如，读取线型传感器1103的位于坐标(x，y)＝(15，4)处的像素传感器与读取线型传感器1104的位于坐标(x，y)＝(15，5)处的像素传感器正如y轴方向上的位置，具有y＝1个像素传感器的位移。该位移导致副扫描方向上的Δβ的相位偏移。
另一方面，x轴方向上的位置相同，即，x＝15。但是，由于斜交角θ，当在整个CCD面型图像传感器209倾斜之前以作为主扫描方向的水平方向查看时，相位偏移亚像素范围内的小量Δα。
也就是说，由于CCD面型图像传感器209被安装为具有倾斜，所以甚至位于读取线型传感器中x轴方向上相同位置处的像素传感器也具有小的相位偏移，所述相位偏移取决于相对于作为主扫描方向的水平方向的斜交角。
因此，由在CCD面型图像传感器209中定义的读取线型传感器生成的图像数据具有针对各个读取线型传感器不同的相位偏移。
例如，图15中的15a所示的读取的图像数据与图15中的15b所示的读取的图像数据不仅在副扫描方向上具有Δβ的相位偏移，而且在主扫描方向上具有Δα的相位偏移。
请注意，已经描述了两个读取线型传感器(读取线型传感器1103和1104)。然而，对形成CCD面型图像传感器的其他读取线型传感器同样适用。
如上所述，通过将CCD面型图像传感器安装为具有倾斜，能够生成对应于读取线型传感器的行数的、在副扫描方向和主扫描方向上具有小于1个像素的相位偏移的图像数据。
<5.控制器216中的分辨率转换功能的说明>
以下将描述控制器216中的分辨率转换功能。控制器216中的分辨率转换功能为：其中通过结合超分辨率处理和可变放大处理来生成具有目标分辨率的图像数据。
因此，首先将解释超分辨率处理的详情，然后解释本实施例的控制器216中的分辨率转换功能。
<5.1超分辨率处理的详情>
首先将使用实际示例来解释超分辨率处理的详情。请注意，超分辨率处理方法不限于下文要描述的实际示例。在本实施例中，将由多个原始图像获得一个高分辨率图像的方法定义为超分辨率处理。图16是用于解释基于扫描仪单元110获取的四个低分辨率图像数据的超分辨率处理的执行序列的图。
由于扫描仪单元110获取的各个低分辨率图像数据均具有倾斜，因此校正所述倾斜。在该情况下，所获取的各个低分辨率图像数据的斜交角θ是，在包括CCD面型图像传感器209的图像处理装置100的装配过程中当将CCD面型图像传感器209安装到光学读取单元203中时获取的值。假设将斜交角θ作为所安装的装置特有的值保持在图像处理装置100的存储介质中。
在图像处理装置100中，通过使用斜交角信息执行仿射变换(affinetransformation)，旋转所生成的各个低分辨率图像数据来补偿所述图像数据，以减小相对于主扫描方向的倾斜，由此来校正图像数据的倾斜。
设(X，Y)为仿射变换之前的坐标，(X′，Y′)为仿射变换之后的坐标，θ为旋转角(CCD面型图像传感器209的斜交角)。然后，能够获得通过仿射变换处理校正了其倾斜的图像数据。以下给出仿射变换处理：
[X′,Y′,1]=[X,Y,1]cosθsinθ0-sinθcosθ0001......(1)]]>
其中，X′，Y′：变换之后的坐标位置，
X，Y：变换之前的坐标位置。
通过仿射变换处理获得的图像数据是倾斜被校正了的低分辨率图像数据。请注意，校正倾斜的方法不限于仿射变换，也可以使用其他方法。
在校正了多个图像数据的倾斜之后，接着应用超分辨率处理。
在图16中，标号1601至1604表示原稿。标号1611表示通过CCD面型图像传感器209读取原稿获得的图像数据，即，倾斜被校正了的基准低分辨率图像数据。此外，标号1612至1614表示目标低分辨率图像数据。
标号1621表示通过使用基准低分辨率图像数据1611和目标低分辨率图像数据1612至1614来应用超分辨率处理而获得的超分辨率图像数据。
此外，分别界定原稿1601至1604的虚线方框表示当CCD面型图像传感器209读取基准低分辨率图像数据1611时的读取区域。实线方框表示当CCD面型图像传感器209分别读取目标低分辨率图像数据1612至1614时的读取区域。
超分辨率处理中使用的多个低分辨率图像数据在主扫描方向和副扫描方向上具有小于1个像素的相位偏移。使用这些小的相位偏移，能够实现超分辨率处理。
因此，形成所生成的超分辨率图像数据的像素(以下将被称作“超分辨率像素”)包括基准低分辨率图像数据和目标低分辨率图像数据中不含有的像素。
当通过使用表示位于这些超分辨率像素周围的像素的像素值的像素数据执行预定的插值处理来合成这些像素时，执行超分辨率处理。作为插值处理，可以使用双线性方法、双三次方法、最近邻方法等。以下将参照图17描述基于双线性方法的插值处理。
当使用基于双线性方法的插值处理时，从基准低分辨率图像数据和目标低分辨率图像数据中提取与超分辨率像素1701的位置距离最近的最近邻像素1702。然后，将围绕目标低分辨率图像数据的超分辨率像素位置的四个像素确定为周边像素1702至1705，为通过对所述周边像素的数据值加上预定的权重而获得的值取平均，并且通过下式计算超分辨率像素的数据值：
f(x，y)＝[|x1-x|{|y1-y|f(x0，y0)+|y-y0|f(x0，y1)}+|x-x0|{|y1-y|f(x，y0)+|y-y0|f(x1，y1)}]/|x1-x0||y1-y0|。
通过对各个超分辨率像素重复上述的处理，能够由图16所示的低分辨率图像数据获得具有2倍分辨率的超分辨率图像数据1621。请注意，所述分辨率不限于2倍，可以使用各种其他放大率。随着在插值处理中使用的低分辨率图像数据的数据值的数量变大，能够获得更高分辨率的超分辨率图像。
<5.2本实施例中的分辨率转换功能的描述>
以下将参照图18中的流程图对根据本实施例的图像处理装置100中的分辨率转换处理的序列进行说明。请注意，当数据处理器301读取存储在ROM 307中的程序并执行该程序时实现根据图18中所示的流程图执行的分辨率转换处理。
当从用户接口300或LAN控制器305接收到原稿读取指令和目标分辨率选择指令时，所述程序开始步骤S1801中的处理。
请注意，将为以下描述给定具有目标分辨率＝2400dpi。然而，通过根据本实施例的图像处理装置100可选择的目标分辨率不限于2400dpi。此外，将为以下描述给定具有主扫描方向上100dpi×副扫描方向上100dpi作为本实施例中使用的CCD面型图像传感器209的分辨率。然而，可以使用具有其他分辨率的CCD面型图像传感器。
在步骤S1802中，执行读取操作。具体来说，CCD面型图像传感器209感测原稿的图像。如果帧(frame)大小为290mm×200mm，由于CCD面型图像传感器209的分辨率为100dpi，所以此时获取的图像数据的像素数量大约为1140像素×780像素。
在扫描仪单元110中，照明设备204发出的光被原稿台202上的原稿反射，然后又被反射镜205至207反射。所述光被透镜208聚焦，然后被CCD面型图像传感器209接收。
请注意，CCD面型图像传感器209将所接收到的光信号转换为模拟电压，并且经由电缆210逐点地将所述模拟电压输出给控制器216。
在步骤S1803中，控制器216将所接收到的模拟电压转换为数字数据并且生成1140像素×780像素的图像数据。在步骤S1804中，控制器216将所生成的图像数据存储到RAM 306中。
在步骤S1805中，移动读取位置。假设此时的移动距离是预定的(然而，可以基于指定的目标分辨率来改变移动距离)。在本实施例中，假设将移动距离设置为大约10mm。
为了执行超分辨率处理，必须生成具有相位偏移的多个图像数据。因此，期望将此时的移动距离设置为引起副扫描方向上的相位偏移，并且在主扫描方向上不是CCD面型图像传感器209的分辨率(100dpi)的整数倍。
当作为从数据处理器301向电机驱动控制电路215输出控制信号并且驱动步进电机212的结果，光学读取单元203移动时，移动读取位置。
通过该操作，当执行下一读取操作时要被CCD面型图像传感器209读取的原稿的位置在副扫描方向上移动10mm。
在步骤S1806中检查读取位置是否到达了原稿末端(最后一行)。如果确定读取位置已经到达原稿末端，则处理进入步骤S1807。另一方面，如果确定读取位置还没有到达原稿末端，则处理返回步骤S1802以继续读取操作。
当在步骤S1806中确定读取位置已到达原稿末端位置时，这意味着RAM 306已经存储了对应于读取线型传感器的行数的、在副扫描方向和主扫描方向上具有小于1个像素的相位偏移的图像数据。在本实施例中，存储了21个100dpi的图像数据。
由于这21个图像数据在副扫描方向上具有10mm的读取位置位移，因此生成图像数据的稀疏部分和密集部分。然后，可以通过超分辨率处理将图像数据的密集部分(副扫描方向上的中央部分)转换为2400dpi的超分辨率图像数据。
另一方面，图像数据的上游部分和下游部分的数据量不足以被转换为2400dpi的数据。因此，控制器216执行以下的处理。请注意，在以下的描述中，在步骤S1804中存储的21个图像数据被表示为img[m](m＝0到20)。
在步骤S1807中，对变量L设置初始值“0”(L＝0)。变量L表示执行超分辨率处理的、副扫描方向上的原稿的位置。在本实施例的情况下，光学读取单元203以10mm递增移动220mm。因此，存在副扫描位置0到20。
在步骤S1808中，读取根据L的值的主扫描LUT表(H_TBL[L])303的值，并将其存储到变量hmag中。图19中的19a示出了H_TBL 303的实际示例。如图19中的19a所示，当接收到副扫描位置(L)时，H_TBL 303输出主扫描方向上可行的分辨率。
在步骤S1809中，读取根据L的值的副扫描LUT表(V_TBL[L])304的值，并将其存储到变量vmag中。图19中的19b示出了V_TBL 304的实际示例。如图19中的19b所示，当接收到副扫描位置(L)时，V_TBL304输出主扫描方向上可行的分辨率。
在步骤S1810中，确定要在超分辨率处理中使用的图像数据。如上所述，在原稿的末端部分，只能选择一个图像数据。然而，对于中央部分，可以选择最多20个图像数据。
针对各个副扫描位置L选择需要执行转换为用作目标分辨率的2400dpi的分辨率转换的图像数量的图像数据。也就是说，通过选择与副扫描位置L相对应的图像数量的图像数据，能够在副扫描位置L处实现目标分辨率。
例如，设img[m]为图像数据，如果L＝0，则m＝0(图像数据的数量为1)。然而，如果L＝11，由于可以使用m＝1到20的图像数据，则N＝20。在图19中的19a和19b的情况下，能够执行用于在主扫描方向和副扫描方向两个方向上从100dpi转换到2400dpi的超分辨率处理。
在步骤S1811中，读取实际指定的N个图像数据img[m]。在步骤S1812中，针对读取的图像数据执行超分辨率处理。此时，通过以分辨率hmag和vmag执行超分辨率处理生成一个超分辨率图像数据。
在步骤S1813中，作为当在步骤S1812中生成的超分辨率图像数据的分辨率没有达到作为超分辨率处理的目标分辨率的2400dpi时要执行的分辨率转换处理，在主扫描方向和副扫描方向两个方向上执行可变放大处理。作为该可变放大处理，使用通常使用的方法，例如双三次方法。
然而，可变放大处理不限于这些特定的方法，可以使用适合的可变放大处理将分辨率转换为2400dpi。请注意，可以在主扫描方向上用(2400dpi-hmag)÷hmag以及副扫描方向上用(2400dpi-vmag)÷vmag，来计算步骤S1813中使用的可变放大比率。
图20中的20a和20b示出了上述分辨率转换处理中的超分辨率处理与可变放大处理之间的比率。超分辨率处理与可变放大处理之间的比率取决于执行分辨率转换处理的副扫描方向上的位置而改变，由此在全部的副扫描位置实现了作为目标分辨率的2400dpi分辨率。
例如，由于图20中副扫描位置L处hmag＝800dpi，vmag＝600dpi，因此各个可变放大比率为：
主扫描可变放大比率＝(2400dpi-800dpi)/800dpi＝200％，
副扫描可变放大比率＝(2400dpi-600dpi)/600dpi＝300％。
在步骤S1814中检查是否完成了直到最后一行(L＝20)的分辨率转换处理。如果确定还没有完成所述处理，则递增L。如果确定完成了所述处理，则处理进入步骤S1816。
在步骤S1816中，根据图像数据在副扫描方向上的位置将经过分辨率转换处理的位置为L＝0到20的这些(21个)图像数据合成。结果，能够由多个低分辨率图像数据生成超分辨率图像数据。
在步骤S1817中，对步骤S1816中生成的超分辨率图像数据应用区域相关的滤波处理。这用来缩小当针对各个区域在超分辨率处理和可变放大处理之间切换时生成的段差(step)。例如，在作为原稿末端部分的L＝0到3以及L＝16到20的位置(可变放大处理的比率高)处，由于因为可变放大处理已经降低了分辨率，因此选择弱滤波器。
另一方面，在位置L＝8到12处，由于有效地执行了超分辨率处理，分辨率没有降低。因此，应用强滤波器来将分辨率降低到接近位置L＝0到3以及L＝16到20处的分辨率，由此来缩小分辨率差异。
然而，由于滤波处理对应于设计时的调整事项，因此滤波处理不限于此处描述的内容。
例如，当检测原稿中各个字符的位置并且字符没有包含在超分辨率处理之后的低分辨率区域时，不需要通过滤波处理来大幅调整所述分辨率。当在OCR(字符识别)中使用超分辨率图像数据时，由于其优选具有较高的分辨率，因此不需要调整超分辨率处理之后的高分辨率区域的分辨率。
从以上的描述可以看出，在本实施例中，当生成超分辨率处理中使用的图像数据时，在原稿大小的范围内操作CCD面型图像传感器。然后，对于只通过超分辨率处理不能实现目标分辨率的原稿的上游部分和下游部分来说，应用可变放大处理来实现目标分辨率。
作为结果，能够通过小的空间(footprint)来实现期望的分辨率。
[第二实施例]
第一实施例解释了原稿大小为最大的情况。然而，本发明并不限于这种特定的实施例。
本实施例将解释原稿大小不是最大(例如，使用A3兼容的扫描仪单元读取A4原稿)的情况。请注意，本实施例主要说明与第一实施例的差别。
当原稿大小相对于CCD面型图像传感器的操作范围不是最大的时，可以将图像处理装置100上的原稿放置位置移动到副扫描方向上下游侧的位置(参见图21)。结果，与将原稿放置在原稿台202的端部的情况相比，增加了帧重叠的区域的数量，并且增加了使得只通过超分辨率处理就能够实现目标分辨率的副扫描方向上的位置数量。
针对这样放置的原稿，第二实施例根据图22的流程图执行分辨率转换处理。由于图22的流程图中的步骤S2201至S2217是与图18中的步骤S1801至S1817中的处理相同的处理，因此避免对其重复描述。
在步骤S2218中，将针对实际A4大小的区域通过超分辨率处理和可变放大处理实现目标分辨率的超分辨率图像数据适当地修整至A4大小。
在该情况下，所生成的超分辨率图像数据与第一实施例中的超分辨率图像数据相同。但是，通过从具有较高的超分辨率处理比率的区域中选择实际读取区域，能够获得超分辨率图像数据。
从以上的说明可以看出，根据本实施例，当原稿大小小于CCD面型图像传感器的读取操作范围时，可以分配最佳的分辨率转换处理。
[第三实施例]
第三实施例将解释针对CCD面型图像传感器209的副扫描方向上的每一行为单位而执行分辨率转换处理的情况。
以下将参照图23对根据本实施例的CCD面型图像传感器的图像感测处理方法进行说明。在该情况下，CCD面型图像传感器使主扫描方向上的一行作为一个图像单位，使副扫描方向上的像素传感器的数量作为图像的单位。也就是说，由于副扫描方向上有780行，因此生成780个图像数据。
当如第一实施例中那样，光学读取系统以10mm递增移动时，例如，图23中的第一行以10mm递增地从原稿的顶端0mm的位置移动到距离原稿的底端200mm的位置。另一方面，第780行以10mm递增地从距离原稿的顶端200mm的位置移动到原稿的底端0mm的位置。也就是说，从第一行到第780行，生成由主扫描方向上1140像素(大约100dpi)以及副扫描方向上20像素(＝200mm/10mm)(大约2.5dpi)定义的图像数据。
但是，由于以与图18所示的序列相同的序列来执行第三实施例中的处理，因此参照图18给出说明。同样，在第三实施例的情况下，数据处理器301基于存储在ROM 307中的程序执行上述处理。
当从图3中的用户接口300或LAN控制器305接收到原稿读取指令和目标分辨率选择指令时，图18中的步骤S1801中的处理开始。请注意，同样为以下描述给定具有目标分辨率＝2400dpi。然而，本发明不限于2400dpi，可以选择除了2400dpi以外的目标分辨率。此外，在假设根据本实施例的图像处理装置100中使用的CCD面型图像传感器209的分辨率为100dpi的情况下给出以下说明。然而，可以使用除了100dpi以外的CCD面型图像传感器。
在步骤S1802中，执行读取操作。更具体地说，如上所述，CCD面型图像传感器209读取原稿并生成每一个在主扫描方向上具有1140像素的780个图像数据。
在扫描仪单元110中，照明设备204发出的光被原稿台上的原稿反射，然后又被反射镜205至207反射。所述光被透镜208聚焦，然后被CCD面型图像传感器209接收。
请注意，CCD面型图像传感器209将所接收到的光信号转换为模拟电压，并且经由电缆210逐点将所述模拟电压输出给控制器216。
在步骤S1803中，控制器216将所接收到的模拟电压转换为数字数据并且生成1140像素×780像素的图像数据。在步骤S1804中，控制器216将所生成的图像数据存储到RAM 306中。
在步骤S1805中，移动读取位置。假设此时的移动距离是预定的(然而，移动距离可以基于指定的目标分辨率来改变)。在本实施例中，假设移动距离被设置为大约10mm。
当作为从数据处理器301向电机驱动控制电路215输出控制信号并且驱动步进电机212的结果，光学读取单元203移动时，移动读取位置。
通过该操作，当执行下一读取操作时要被CCD面型图像传感器209读取的原稿的位置在副扫描方向上移动10mm。
当在步骤S1806中确定读取位置已到达原稿末端时，生成1140像素×20像素的780个图像数据。
但是，图像数据的稀疏部分和密集部分与第一实施例中相比没有改变。也就是说，原稿的上游部分和下游部分的数据量小，而图像数据的原稿中央部分的数据量大。
请注意，可以通过超分辨率处理将图像数据的密集部分(副扫描方向上的中央部分)转换为2400dpi的超分辨率图像数据。另一方面，图像数据的上游部分和下游部分的数据量不足以转换为2400dpi数据。请注意，用img[m](m＝0到779)来表示步骤S1804中存储的780个图像数据。
在步骤S1807中，对变量L设置初始值“0”(L＝0)。变量L表示执行超分辨率处理的、副扫描方向上的原稿的位置。在本实施例的情况下，存在副扫描位置0到20。由于当以10mm递增移动时执行读取操作，因此第一实施例和第三实施例有相同的区域划分。
在步骤S1808中，读取根据L的值而定的主扫描LUT表(H_TBL[L])303的值，并将其存储到变量hmag中。图19中的19a示出了H_TBL 303的实际示例。如图19中的19a所示，当接收到副扫描位置(L)时，H_TBL303输出主扫描方向上可行的分辨率。
在步骤S1809中，读取根据L的值而定的副扫描LUT表(V_TBL[L])304的值，并将其存储到变量vmag中。图19中的19b示出了V_TBL 304的实际示例。如图19中的19b所示，当接收到副扫描位置(L)时，V_TBL304输出副扫描方向上可行的分辨率。
在步骤S1810中，确定要在超分辨率处理中使用的图像数据。如上所述，在原稿的末端部分，只能选择一个图像数据。然而，对于中央部分，可以选择最多780个图像数据。
在步骤S1811中，读取实际指定的N个图像数据img[m]。在步骤S1812中，对读取的图像数据执行超分辨率处理。此时，通过以分辨率hmag和vmag执行超分辨率处理生成一个超分辨率图像数据。
在步骤S1813中，作为当在步骤S1812中生成的超分辨率图像数据的分辨率没有达到作为超分辨率处理的目标分辨率的2400dpi时要执行的分辨率转换处理，在主扫描方向和副扫描方向两个方向上执行可变放大处理。作为该可变放大处理，使用通常使用的方法，例如双三次方法。
然而，可变放大处理不限于这种特定的方法，可以使用适合的可变放大处理将分辨率转换为2400dpi。请注意，可以通过在主扫描方向上用(2400dpi-hmag)÷hmag以及副扫描方向上用(2400dpi-vmag)÷vmag来计算步骤S1813中使用的可变放大比率。
图20中的20a和20b示出了上述分辨率转换处理中的超分辨率处理与可变放大处理之间的比率。超分辨率处理与可变放大处理之间的比率根据执行分辨率转换处理的副扫描方向上的位置而改变，由此在全部副扫描位置处实现作为目标分辨率的2400dpi分辨率。
例如，由于图20中副扫描位置L处hmag＝800dpi，vmag＝600dpi，因此各个可变放大比率为：
主扫描可变放大比率＝(2400dpi-800dpi)/800dpi＝200％，
副扫描可变放大比率＝(2400dpi-600dpi)/600dpi＝300％。
在步骤S1814中检查是否完成了直到最后一行(L＝780)的分辨率转换处理。如果确定还没有完成所述处理，则递增L。如果确定完成了所述处理，则处理进入步骤S1816。
在步骤S1816中，根据图像数据在副扫描方向上的位置将经过分辨率转换处理的位于位置L＝0到780处的这些(780个)图像数据合成。结果，能够由多个低分辨率图像数据生成超分辨率图像数据。
从以上的描述可以看出，在本实施例中，当生成超分辨率处理中使用的图像数据时，在原稿大小的范围内操作CCD面型图像传感器。然后，对于只通过超分辨率处理而不能实现目标分辨率的原稿的上游部分和下游部分来说，应用可变放大处理来实现目标分辨率。
作为结果，能够通过小的空间实现期望的分辨率。
[其他实施例]
请注意，本发明可以适用于由多个设备(例如，主机、接口设备、阅读器以及打印机)构成的系统或者由单个装置(例如，复印机或传真装置)构成的设备。
也可以通过向所述系统或设备提供记录有实现上述实施例的功能的软件的程序代码的计算机可读存储介质来实现本发明的目的。在该情况下，当所述系统或设备的计算机(或CPU或MPU)读取并执行存储在所述存储介质中的程序代码时实现所述功能。请注意，在这种情况下，存储所述程序代码的所述存储介质构成了本发明。
作为用于提供程序代码的所述存储介质，可以使用例如，盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡以及ROM。
本发明不限于当计算机执行所读出的程序代码时实现上述实施例的功能的情况。例如，本发明还包括以下情况：在计算机上运行的OS(操作系统)等基于所述程序代码的指令来执行部分或全部的实际处理，从而实现上述实施例的功能。
此外，本发明还包括以下情况：在将从所述存储介质读取的程序代码写入设置在插入或者连接到计算机的功能扩展板或单元中的存储器之后实现上述实施例的功能。也就是说，本发明包括以下情况：在将所述程序代码写入到所述存储器之后，设置在功能扩展板或单元中的CPU等基于所述程序代码的指令执行部分或全部实际处理，从而实现上述功能。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明并不限于所公开的示例性实施例。以下权利要求的范围符合最宽泛的解释，以使其涵盖所有这种变型例、等同结构以及功能。