数据处理设备、数据处理方法 本申请是名称为“数据处理设备、数据处理方法及其记录介质”(申请号：01121613.1；申请日：2001年5月11日)的申请的分案申请。
【技术领域】
本发明通常涉及数据处理设备、数据处理方法。更特别地，本发明涉及这样的数据处理设备和数据处理方法，用于对从不同输入装置接收的数据、将提供给不同输出装置的数据以及从不同存储装置接收和提供给不同存储装置的数据进行适当处理。
背景技术
作为输出(显示)图象的输出装置，阴极射线管(CRT)监视器、液晶显示监视器是已知的。此外，CRT监视器包括全国电视系统委员会(NTSC)制式和逐行倒相(PAL)制式监视器。
通常，为了观看PAL电视节目，例如仅有NTSC CRT监视器的用户必须购买PAL CRT监视器。
即，即使只有在PAL CRT监视器中采用的扫描方法与在NTSC CRT监视器中采用的不同，其他的功能是相同的，但用户需要购买PAL CRT监视器，从而增加了用户的经济负担。
一般来说，装置例如CRT监视器大致可分为三个部分，例如只有装置才有的部分(下文称为“专有部分”)，对一些装置进行一般处理的部分(下文称为“普通处理”)，根据个别装置的类型可变化地进行处理的部分(下文称为“可变处理”)。
装置专有部分是装置物理上所必需的部分。例如，就CRT装置而言，CRT和偏转电路是专有部分，就液晶显示监视器而言，液晶面板是专有部分。例如在NTSC CRT监视器和液晶面板监视器中，执行普通处理地部分相当于将NTSC电视广播信号转换为红(R)、绿(G)和蓝(B)分量的部分，即执行NTSC解码处理的部分。例如在CRT监视器中，执行可变处理的部分相当于将图象信号调节为与CRT监视器的CRT相关的频率特性的部分。在液晶显示监视器中，执行可变处理的部分相当于将图象信号调节为与液晶监视器的液晶面板相关的频率特性的部分。
因此，普通处理的执行与装置无关。另一方面，可变处理取决于装置，处理内容根据装置不同而不同。
如上所述，通常，必须根据扫描方法来选择CRT监视器。因此，将来希望仅有专有部分的装置可以与执行普通处理和可变处理的数据处理设备分开出售。但是，如果每个装置需要不同的数据处理设备则是不方便的。
【发明内容】
因此，本发明的目的是对不同类型的装置执行适当处理。
为了实现以上目的，根据本发明的一个方面，提供一种向多种类型的输出装置选择性地输出经处理的信息数据的数据处理设备，包括：数据输入装置，用于输入信息数据；输出装置检测装置，用于检测经处理的信息数据所输出到的输出装置的类型；以及可变处理装置，根据所述输出装置检测装置所检测的输出装置的类型可变地对从所述数据输入装置接收的信息数据进行处理；其中所述可变处理装置包括：数据分类装置，用于将从所述数据输入装置接收的信息数据归入一个类别，并输出对应于该信息数据类别的类码，存储装置，用于存储对于各个类码的多个系数，这些系数通过执行学习处理获得，以及计算装置，用于利用所述信息数据与相应于来自所述数据分类装置的类码的、从所述存储装置提供的系数进行计算，从而输出经处理的信息数据。
为了实现以上目的，根据本发明的另一个方面，提供一种向多种类型的输出装置选择性地输出经处理的信息数据的数据处理设备，包括：数据输入单元，用于输入信息数据；输出单元检测单元，用于检测经处理的信息数据所输出到的输出装置的类型；以及可变处理单元，根据所述输出单元检测单元所检测的输出装置的类型可变地对从所述数据输入单元接收的信息数据进行处理；其中所述可变处理单元包括：数据分类单元，用于将来自所述数据输入单元的信息数据归入一个类别，并输出对应于该信息数据类别的类码，存储单元，用于存储对于各个类码的多个系数，这些系数通过执行学习处理获得，以及计算单元，用于利用所述信息数据与相应于来自所述数据分类单元的类码的、从所述存储单元提供的系数进行计算，从而输出经处理的信息数据。
为了实现以上目的，根据本发明的另一个方面，提供一种向多种类型的输出装置选择性地输出经处理的信息数据的数据处理方法，包括以下步骤：输入信息数据；检测经处理的信息数据所输出到的输出装置的类型；以及根据所述检测步骤所检测的输出装置的类型可变地对来自所述输入步骤的信息数据进行处理；其中所述可变处理步骤包括以下步骤：将从所述数据输入步骤接收的信息数据归入一个类别，并输出对应于该信息数据类别的类码，从存储对于各个类码的多个系数的存储装置中输出对应于分类步骤的类码的系数，这些系数通过执行学习处理获得，以及利用所述信息数据与从所述系数输出步骤输出的系数进行计算，从而输出经处理的信息数据。
为了实现以上目的，根据本发明的一个方面，提供一种从多种类型的输入装置选择性地接收信息数据的数据处理设备。数据处理设备包括起着与输入装置接口功能的输入接口。一种输入普通处理单元一般地针对输入装置对经输入接口从输入装置接收的信息数据进行处理。输入可变处理根据从多种类型的输入装置中选出的输入装置的类型可变地对经输入接口从输入装置接收的信息数据进行处理。
上述数据处理设备还可以包括输入装置检测器，用于检测经输入接口接收信息数据的输入装置的类型。在这种情况下，输入普通处理单元和输入可变处理单元可以根据从输入装置检测器得到的检测结果进行处理。
输入接口可以用作与至少两个输入装置中每个输入装置的接口。
上述数据处理设备还可以包括：输出接口，用作与多种类型的输出装置接口；输出普通处理单元，一般地针对输出装置对将要经输出接口提供给输出装置的信息数据进行处理；以及输出可变处理单元，用于根据从多个输出装置中选出的输出装置的类型可变地对经输出接口提供给输出装置的信息数据进行处理。
上述数据处理设备还可以包括输出装置检测器，用于检测将要经输出接口为其提供信息数据的输出装置的类型。在这种情况下，输出普通处理单元和输出可变处理单元可根据从输出装置检测器得到的检测结果执行处理。
输出接口可以用作与至少两个输出装置中每个输出装置的接口。
输入接口和输出接口可以集成为一个接口。
上述数据处理设备还可以包括：存储接口，用作与多种类型的存储装置的接口；存储普通处理单元，一般地针对存储装置对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理；以及存储可变处理单元，用于根据从多种类型的存储装置中选出的存储装置的类型可变地对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理。
上述数据处理设备还可以包括存储装置检测器，用于检测经存储接口接收或提供信息数据的存储装置的类型。在这种情况下，存储普通处理单元和存储可变处理单元可以根据从存储装置检测器得到的检测结果执行处理。
存储接口可以用作与至少两个存储装置中每个存储装置的接口。
输入接口和存储接口可以集成为一个接口。
输入接口、输出接口和存储接口可以集成为一个接口。
根据本发明的另一方面，提供一种在数据处理设备中使用的数据处理方法，用于从多种类型的输入装置中选择性地接收信息数据。数据处理方法包括：输入普通处理步骤，一般地针对输入装置对经作为与输入装置接口的输入接口从输入装置接收的信息数据进行处理；以及输入可变处理步骤，根据从多种类型的输入装置中选出的输入装置可变地对经输入接口从输入装置接收的信息数据进行处理。
根据本发明的再一个方面，提供一种记录介质，用于存储使计算机对从多种类型的输入装置接收的信息数据执行数据处理的数据处理程序。程序包括：输入普通处理步骤，一般地针对输入装置对经作为与输入装置接口的输入接口从输入装置接收的信息数据进行处理；以及输入可变处理步骤，根据从多种类型的输入装置中选出的输入装置可变地对经输入接口从输入装置接收的信息数据进行处理。
根据这种安排，对经输入接口从多种类型的输入装置接收的信息数据执行普通处理，还根据输入装置的类型对信息数据执行可变处理。因此，可以对不同类型的输入装置适当地进行处理。
根据本发明的另一个方面，提供一种数据处理设备，用于选择性地为多种类型的输出装置提供信息数据。数据处理设备包括输出接口，用作与输出装置的接口。输出普通处理单元一般地针对输出装置对将要经输出接口提供给输出装置的信息数据进行处理。输出可变处理单元根据从多个输出装置中选出的输出装置的类型可变地对经输出接口提供给输出装置的信息数据进行处理。
上述数据处理设备还可以包括输出装置检测器，用于检测将要经输出接口为其提供信息数据的输出装置的类型。在这种情况下，输出普通处理单元和输出可变处理单元可根据从输出装置检测器得到的检测结果执行处理。
在上述数据处理设备中，输出接口可以用作与至少两个输出装置中每个输出装置的接口。
上述数据处理设备还可以包括：存储接口，用作与多种类型的存储装置的接口；存储普通处理单元，一般地针对存储装置对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理；以及存储可变处理单元，用于根据从存储装置中选出的存储装置的类型可变地对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理。
上述数据处理设备还可以包括存储装置检测器，用于检测经存储接口接收或提供信息数据的存储装置的类型。在这种情况下，存储普通处理单元和存储可变处理单元可以根据从存储装置检测器得到的检测结果执行处理。
存储接口可以用作与至少两个存储装置中每个存储装置的接口。
输入接口和存储接口可以集成为一个接口。
根据本发明的再一个方面，提供一种在数据处理设备中使用的数据处理方法，用于为多种类型的输出装置选择性地提供信息数据。数据处理方法包括：输出普通处理步骤，通常针对输出装置对将要经作为与输出装置接口的输出接口为输出装置提供的信息数据进行处理；以及输出可变处理步骤，根据从多种类型的输出装置中选出的输出装置的类型可变地对经输出接口提供给输出装置的信息数据进行处理。
根据本发明的再一个方面，提供一种记录介质，用于存储使计算机对将提供给多种类型的输出装置的信息数据进行数据处理的数据处理程序。程序包括：输出普通处理步骤，一般地针对输出装置对将要经作为与输出装置接口的输出接口为输出装置提供的信息数据进行处理；以及输出可变处理步骤，根据从多种类型的输出装置中选出的输出装置的类型可变地对将要经输出接口提供给输出装置的信息数据进行处理。
根据这种安排，对经输出接口提供给多种类型的输出装置的信息数据执行普通处理，还根据输出装置的类型对信息数据执行可变处理。因此，可以对不同类型的输出装置适当地进行处理。
根据本发明的再一个方面，提供一种数据处理设备，用于选择性地从多种类型的存储装置接收信息数据和为多种类型的存储装置提供信息数据。数据处理设备包括存储接口，用作与多种类型的存储装置的接口。存储普通处理单元，一般地针对存储装置对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理。存储可变处理单元，用于根据从多种类型的存储装置中选出的存储装置的类型可变地对经存储接口从存储装置接收的信息数据或经存储接口提供给存储装置的信息数据进行处理。
上述数据处理设备还可以包括存储装置检测器，用于检测将要经存储接口为其提供信息数据或从其接收信息数据的存储装置的类型。在这种情况下，存储普通处理单元和存储可变处理单元可根据从存储装置检测器得到的检测结果执行处理。
存储接口可用作与至少两个存储装置的每一个的接口。
根据本发明的再一个方面，提供一种在数据处理设备中使用的数据处理方法，用于从多种类型的存储装置选择性地接收信息数据和为多种类型的存储装置选择性地提供数据。数据处理方法包括：存储普通处理步骤，一般地针对存储装置对将要经作为与存储装置接口的存储接口提供给存储装置的信息数据进行处理，或对经存储接口从存储装置接收的信息数据进行处理；以及存储可变处理步骤，根据从多种类型的存储装置中选出的存储装置的类型可变地对从存储接口提供给存储装置的信息数据进行处理，或者对经存储接口从存储装置接收的信息数据进行处理。
根据本发明的再一个方面，提供一种记录介质，用于存储使计算机对从多种类型的存储装置接收和提供给多种类型的存储装置的信息数据进行数据处理的程序。程序包括：存储普通处理步骤，一般地针对存储装置对将要经作为与存储装置接口的存储接口为存储装置提供的信息数据或从存储装置接收的信息数据进行处理；以及存储可变处理步骤，根据从多种类型的存储装置中选出的存储装置可变地对从存储接口提供给存储装置的信息数据进行处理，或者对经存储接口从存储装置接收的信息数据进行处理。
根据这种安排，对经存储接口提供给多种类型的存储装置或从多种类型的存储装置接收的信息数据执行普通处理，还根据存储装置的类型对信息数据执行可变处理。因此，可以对不同类型的存储装置适当地进行处理。
【附图说明】
图1是一例根据本发明实施例所述的数据处理系统的结构方框图；
图2是图1所示集成处理框(box)1的结构方框图；
图3、4和5示出了普通处理；
图6、7和8示出了可变处理；
图9是一例形成可变处理组28的可变处理单元的结构方框图；
图10示出了标准清晰度(SD)图象和高清晰度(HD)图象之间的关系；
图11是一例分类电路214的结构方框图；
图12示出了可变处理单元执行的时间/空间处理的流程图；
图13是一例执行确定预测系数的学习过程的学习设备的结构方框图；
图14示出了图13所示学习设备执行的学习处理的流程图；
图15是一例普通摄像机的结构方框图；
图16是一例特殊摄像机的结构方框图；
图17示出了普通摄像机40A执行的处理、普通处理和可变处理之间的关系；
图18是一例普通CRT监视器的结构方框图；
图19是一例特殊CRT监视器的结构方框图；
图20示出了监视器CRT60A执行的处理、普通处理和可变处理之间的关系；
图21示出了与特殊摄像机40B和特殊CRT监视器60B连接的集成处理框1执行的处理；
图22是一例普通液晶监视器的结构方框图；
图23是一例特殊液晶监视器的结构方框图；
图24示出了普通液晶监视器80A执行的处理、普通处理和可变处理之间的关系；
图25示出了与特殊摄像机40B和特殊液晶监视器80B连接的集成处理框1执行的处理；
图26示出了普通投影仪91A执行的处理、普通处理和可变处理之间的关系；
图27示出了与特殊摄像机40B和特殊投影仪91B连接的集成处理框1执行的处理；
图28示出了普通数字相机92A或打印机93A执行的处理、普通处理和可变处理之间的关系；
图29是一例打印机93A的结构方框图；
图30示出了与特殊数字相机92B和特殊打印机93B连接的集成处理框1执行的处理；
图31是一例打印机93B的结构方框图；
图32示出了普通图象扫描仪94A执行的处理、普通处理和可变处理之间的关系；
图33示出了与特殊图象扫描仪94B和特殊打印机93B连接的集成处理框1执行的处理；
图34示出了普通VCR95A执行的处理、普通处理和可变处理之间的关系；
图35是一例VCR95A的结构方框图；
图36示出了与特殊VCR95B和特殊CRT监视器60B连接的集成处理框1执行的处理；
图37是一例VCR95B的结构方框图；
图38示出了普通DVD播放器96A执行的处理、普通处理和可变处理之间的关系；
图39是一例DVD播放器96A的结构方框图；
图40示出了与特殊DVD播放器96B和特殊液晶监视器80B连接的集成处理框1执行的处理；
图41是一例特殊DVD播放器96B的结构方框图；
图42是一例使用本发明的计算机的结构方框图。
【具体实施方式】
图1示出了本发明第一实施例所述的数据处理系统。在本说明书中，系统是多个装置的一个逻辑组，不同的装置不必在同样的外壳内。
集成处理框1包括可分别与多个输入装置111至11k连接的多个(图1所示实施例中为K个)端子21至2k，可分别与多个输出装置121至12M连接的多个(图1所示实施例中为M个)端子31至3M，以及可与多个存储装置131到13N连接的多个(图1所示实施例中为N个)端子41至4N。
集成处理框1对从输入装置11k(k＝1，2，...，K)接收的数据、将输出到输出装置12m(m＝1，2，...，M)的数据、将写入存储装置13n(n＝1，2，...，N)的数据和从存储装置13n读出的数据进行普通处理和可变处理。
输入装置11k是接收数据的装置，例如摄像机、数字相机、图象扫描仪等。输出装置12m是以人可识别的方式输出数据的装置，例如CRT监视器、液晶显示监视器、投影仪、打印机等。存储装置13n是存储数据的装置，例如数字多能盘(DVD)播放器、录象机(VCR)等。
如上所述，可以将传统装置分为特殊部分，执行普通处理的部分，执行可变处理的部分。在由三个部分执行的处理中，集成处理框1执行普通处理和可变处理。因此，不必为与集成处理框1连接的输入装置11k、输出装置12m和存储装置13n提供执行普通处理和可变处理的部分。即，仅需要为与集成处理框1连接的输入装置11k、输出装置12m和存储装置13n提供特殊部分。
但是应指出，如传统装置中那样，输入装置11k、输出装置12m和存储装置13n可以有三个部分，即特殊部分、执行普通处理的部分和执行可变处理的部分。换言之，不仅只有特殊部分的装置而且还有传统装置可与集成处理框1相连接。
仅由特殊部分形成的装置下文称为特殊装置，而如传统装置中那样具有三个部分即特殊部分、执行普通处理的部分和执行可变处理的部分的装置称为常规装置。
用户操作遥控器5，为集成处理框1提供不同的指令。遥控器5响应用户操作发射操作信号例如红外信号，集成处理框1接收红外信号以便识别用户的指令。
在图1所示的实施例中，尽管输入装置11k、输出装置12m和存储装置13n都通过电缆与集成处理框1相连接，但它们也能无线地例如用无线电波或红外光束独立地与集成处理框1进行数据通信。
为简便起见，确定由集成处理框1处理的数据为图象数据。
图2示出了图1所示的集成处理框1结构的一个例子。
作为与输入装置11k接口的选择器21分别从与端子21至2K连接的输入装置111至11k接收图象数据，在控制器30的控制下选择目标图象数据并将其提供给集成处理器(integrated processor)27。选择器21具有内置输入检测器22，用于检测分别与端子21至2K连接的输入装置111至11k的类型，并将表示被检测的装置类型的信息提供给控制器30。
输入检测器22通过与连接到端子2k的输入装置11k进行通信检测与端子2k连接的输入装置11k的类型。或者，可以提前设置可与端子21至2K连接的输入装置，从而能检测与端子2k连接的输入装置11k的类型。或者，用户通过操作遥控器5可以输入与端子2k连接的输入装置11k的类型。类似地，下面将讨论的输出检测器24和存储检测器26分别检测与端子3m连接的输出装置12m的类型和和与端子4n连接的存储装置13n的类型。
用作与输出装置12m接口的选择器23在控制器30的控制下选择分别与端子31至3M连接的输出装置121至12M中的一个输出装置，并将从集成处理器27接收的图象数据提供给所选择的输出装置。选择器23具有内置输出检测器24，用于检测分别与端子31至3M连接的输出装置121至12M的类型，并将表示检测的输出装置类型的信息提供给控制器30。
用作与存储装置13n接口的选择器25根据来自控制器30的控制信号选择分别与端子41至4N连接的存储装置131至13N中的一个存储装置，并将从集成处理器27接收的图象数据提供给所选择的存储装置。选择器25具有内置存储检测器26，用于检测分别与端子41至4N连接的存储装置131至13N的类型，并将表示存储装置类型的信息提供给控制器30。
在图2所示的实施例中，单独提供用作与输入装置11k接口的选择器21、用作与输出装置12m接口的选择器23和用作与存储装置13n接口的选择器25。但是，为所有输入装置11k、输出装置12m和存储装置13n只提供一个选择器。即，不提供三个选择器21、23和25，可以只提供单个选择器，输入装置11k、输出装置12m和存储装置13n可以都连接到单个选择器上。
集成处理器27由可变处理组28、普通处理组29组成，可变处理组28由执行可变处理的至少一个可变处理单元组成，普通处理组29由执行普通处理的至少一个普通处理单元组成。可变处理组28在控制器30的控制下对从选择器21和25提供的图象数据和将输出到选择器23和25的图象数据进行可变处理。普通处理组29在控制器30的控制下对选择器21和25提供的图象数据和将输出到选择器23和25的图象数据进行普通处理。
控制器30根据从输入检测器22接收的与被测输入装置111至11K类型有关的信息、从输出检测器24接收的与被测输出装置121至12M类型有关的信息、从存储检测器26接收的与被测存储装置131至13N类型有关的信息和来自遥控器5的信号，控制选择器21、23和25以及集成处理器27。控制器30经预定网络例如因特网接收从通信单元31发送的数据，并执行预定处理。
通信单元31例如由调制解调器、终端适配器、网络接口卡等形成，经网络接收从服务器(未示出)发送的数据并将其提供给控制器30。即，通信单元31在控制器30的控制下经网络请求服务器发送将在集成处理器27中执行的处理所需的数据(例如，下面将讨论的预测系数)。如果服务器有被请求的数据，则它经网络将数据提供给通信单元31。通信单元31从服务器接收数据并将其提供给控制器30。
一旦如上所述从通信单元31接收数据，需要的话，控制器30可以用接收到的数据更新以前的数据。
下面描述集成处理器27执行的可变处理和普通处理。
如上所述，普通处理是与装置无关的处理，通常可以为多个装置所执行。例如，对于图3所示的接收图象数据的输入装置，普通处理相当于降噪(NR)处理、NTSC编码处理和运动图象专家组(MPEG)编码处理。
对于图4所示的输出图象数据的输出装置，普通处理相当于NR处理、NTSC解码处理和MPEG解码处理。对于图5所示的存储图象数据的存储装置，普通处理相当于在压缩/解码处理中使用的Huffman编码/解码处理，和离散余弦变换(DCT)/反DCT处理。
相对照，可变处理是与装置有关的处理，即，处理的内容根据装置类型的不同而不同。例如，关于图6所示的接收图象数据的输入装置，可变处理相当于频率量(frequency volume)处理、时间/空间处理、像素变换处理等。至于如7所示的输出图象数据的输出装置，可变处理相当于频率量处理、时间/空间处理、像素变换处理。
在频率量处理过程中，通过调整图象的频率特性来改变清晰度(分辨率)。“量”意味着频率特性是可调的。即，频率量处理确定图象的频率特性。根据时间/空间处理，改变在时间域或空间域中的像素数。根据像素变换处理，改变像素的画面宽高比。
当图象显示在作为输出装置的CRT或液晶面板上时，希望图象的频率特性与输出装置即CRT或液晶面板的特性匹配。当图象显示在CRT上时，根据CRT的类型即NTSC类型或PAL类型应改变图象的帧(场)频。也需要根据CRT是NTSC类型还是用于计算机来改变像素的图象宽高比。因此，改变频率特性的频率量处理、改变时间或空间域中清晰度(分辨率)的时间/空间处理以及改变像素的画面宽高比的像素变换处理都是与装置有关的，相当于可变处理。
至于例如图8所示的存储图象的存储装置，可变处理相当于在压缩/解码处理中使用的量化/去量化(dequantizing)处理，预处理或后处理，例如在抑制量化噪音的量化处理之前或之后进行的滤波处理。具体地说，对于具有大存储容量的存储装置，希望用较小的量化步长进行量化处理以改善图象质量。相反，对于具有小存储容量的存储装置，希望用较大步长执行量化处理以便能通过协调图象质量存储整个图象。因此，量化/去量化处理是与装置有关的，相当于可变处理。
如上所述，图2所示的可变处理组28执行可变处理例如频率量处理、像素变换处理和时间/空间处理。可以通过本申请的受让人先前提出的分类自适应处理执行这种可变处理。下面讨论分类自适应处理。
分类自适应处理进一步被分成分类处理和自适应处理。通过执行分类处理根据特性将数据分类，根据自适应处理适应每一类的数据项。下面描述自适应处理的细节。
根据自适应处理，形成标准清晰度或低清晰度图象(SD图象)的像素(这种像素下文称为“SD像素”)与预定预测系数线性组合。结果，能确定形成与SD图象相比有较高清晰度的图象(HD图象)的像素预测值。根据预测值，能获得比SD图象清晰度更高的图象。
具体地说，例如，将某个HD图象设定为管理员数据，将清晰度低于HD图象的SD图象设为初学者数据。现在考虑通过线性组合一些SD像素的一组像素值x1、x2等和预定预测系数w1、w2等定义的线性组合模型来确定形成HD图象的像素(这种像素下文称为“HD像素”)的真像素值y的预测值E[y]。在这种情况下，可以用下列表达式表达预测值E[y]。
E[y]＝w1x1+w2x2+...
...(1)
为了归纳等式(1)，当如下定义由一组预测系数wj组成的矩阵W、由初学者数据xij组成的矩阵X和由一组预测值E[yj]组成的矩阵Y′时，
X=x11x12···x1Jx21x22···x2J·············xI1xI2···xIJ]]>
W=w1w2···wJ,Y′=E[y1]E[y2]···E[yJ]---(2)]]>
则下面的观测方程成立。
XW＝Y′ (3)其中，矩阵X中的分量xij表示初学者数据的第i组的第j项(初学者数据的第i组用于预测第i个管理员数据的项yi)，矩阵W中的分量wj表示将与初学者数据的第i组的第j项相乘的预测系数，yi表示管理员数据的第i项，因此，E[yi]指定管理员数据的第i项的预测值。在等式(1)左侧的变量y相当于没有后缀下标i的矩阵Y的分量yi。等式(1)右侧的变量x1、x2等相当于没有下标i的矩阵X的分量xij。
现在考虑通过对观测方程使用最小二乘法来确定靠近HD像素的像素值y定位的预测值E[y]。在这种情况下，当如下确定由用作管理员数据的HD像素的一组真像素值y组成的矩阵Y、由HD像素的预测值E[y]和像素值y之间的一组残差e组成的矩阵E时，
E=e1e2···eI,Y=y1y2···yI---(4)]]>
则下面的残差方程成立。
XW＝Y+E (5)
在这种情况下，能通过下面使均方差最小来确定位置靠近HD像素的像素值y的预测值E[y]的预测系数wj。
ΣI=1iei2---(6)]]>
因此，当通过上述均方差对预测系数wj求微分得到的值为零时，满足以下方程(7)的预测系数wj是确定靠近HD像素的像素值y的预测值E[y]的最优值。
e1∂e1∂wj+e2∂e2∂wj+···+er∂er∂wj=0(j=1,2,···,J)---(7)]]>
这样，通过方程(5)对预测系数wj求微分，下列等式成立。
∂ei∂w1=xi1,∂ei∂w2=xi2,···,∂ej∂wJ=xiJ,(i=1,2,···,I)--(8)]]>
通过方程(7)和(8)，能确定方程(9)。
Σi=1Ieixi1=0,Σi=1Ieixi2=0,···Σi=1IeixiJ=0--(9)]]>
通过考虑残差方程(5)中初学者数据xij，预测系数wj、管理员数据yi和残差方程(5)中的残差ei之间的关系，能从方程(9)得到下面的正态方程。
当如下定义矩阵(协方差矩阵)A和向量v时，
A=Σi=1Ixi1xi1Σi=1Ixi1xi2···Σi=1Ixi1xiJΣi=1Ixi2xi1Σi=1Uxu1xi2···Σi=1Ixi2xiJΣi=1IxiJxi1Σi=-1IxiJxi2···Σi=1IxiJxiJ]]>
y=Σi=1Ixi1yiΣi=1Ixi2yi···Σi=1IxiJyi----(11)]]>
且当由方程(2)定义向量W时，正态方程(10)可以表达如下。
AW＝v (12)
根据每个正态方程(10)，通过准备预定数量的成组的初学者数据xij和管理员数据yi，能得到与要确定的预测系数wj的数目J相同数量的正态方程。因此，通过解出向量W(应指出，为了解出方程(12)，方程(12)中的矩阵A是正规矩阵)，能确定最优预测系数wj。可以根据例如Gauss-Jordan消去法解出方程(12)。
如上所述，确定最优预测系数wj。然后，利用预测系数wj，根据方程(1)确定接近HD像素的像素值y的预测值E[y]。如上所述执行自适应处理。
根据自适应处理，不包含在SD图象中但包含在HD图象中的成分被重构。按照该特征，自适应处理例如与内插处理不同。具体地说，鉴于方程(1)，自适应处理看起来类似于使用内插滤波的内插处理。但是，等价于在内插滤波中使用的抽头(tap)系数的预测系数w利用管理员数据即通过学习获得，从而能重构包含在HD图象中的成分。因此，自适应处理有图象生成(清晰度生成)功能。
尽管在该例中，自适应处理的执行是为了提高清晰度，但也可以通过改变用于确定预测值的管理员数据和初学者数据来改善信噪比(S/N)或图象质量(例如图象的模糊)。
此外，在上述例子中，执行自适应处理将SD图象转换成在空间域中具有更多像素的HD图象。但是，通过改变用于确定预测系数的管理员数据和初学者数据，可以改变时间域即帧频(场频)中的像素数，或者像素的图象宽高比。
即，根据自适应处理，通过改变管理员数据和初学者数据能得到不同的预测系数。之后，对图象进行不同类型的处理。
图9示出了执行自适应处理的可变处理单元结构的一个例子，具体地说，是执行时间/空间处理以根据分类自适应处理确定具有改善的清晰度的HD图象的预测值的可变处理单元结构的一个例子。
在图9所示的可变处理单元中，当将SD图象从输入装置11k提供给输出装置12m时，根据输入装置11k和输出装置12m的类型执行适当提高清晰度的可变处理。
为了说明简单，现假定输入525i图象(具有525条水平行的隔行扫描图象)或262p图象(具有262条水平行的逐行图象)作为SD图象，输出525p图象(具有525条水平行的逐行图象)作为HD图象。262p SD图象的帧频、525iSD图象的场频、以及525p HD图象的帧频相同，例如为60Hz。因此，525i SD图象的帧频为30Hz。
因此，262p SD图象的一帧对应于HD图象的一帧，525i SD图象的一场对应于HD图象的一帧。在262p或525i SD图象的一条水平行上的像素数与525p HD图象的像素数的比被确定为例如1∶2。因此，262p SD图象和525iSD图象都通过使垂直像素和水平像素的数量加倍被转换为清晰度提高的525p HD图象，如图10所示。在图10中，○表示SD像素，×表示HD像素。
525i图象的一个典型例子是形成从电视广播站发送的电视广播节目的NTSC图象(下文称为“电视图象”)。252p图象的一个典型例子是从游戏机读出的游戏图象。
参考图9，以例如帧或场为单位将要提高清晰度的SD图象提供给帧存储器211，并在其中存储预定的一段时间。
帧存储器211包括多个区，以便同时存储SD图象的多个帧或场。
预测抽头形成电路212又将形成清晰度高于存储在帧存储器211中的SD图象的HD图象的预定像素设定为给定像素。HD图象是虚象，原因是它实际上不存在于可变处理单元中。然后，预测抽头形成电路212从存储在帧存储器211中的SD图象选择一些在空间或时间上接近给定的HD图象的像素的SD像素，从而形成与预测系数相乘的预测抽头。
预测抽头形成电路212还根据在寄存器218B中设定的信息(下文称为“预测抽头信息”)将SD像素的选择模式(pattern)设定为用作预测抽头。
具体地说，根据预测抽头形成信息，如图10所示，预测抽头形成电路212选择位置最接近给定像素(图10中有两个像素，即P33和P34，在该例中将选择P33)的SD图象的像素，位置在像素P33的上、下、左和右的四个最近的SD像素即P23、P43、P32和P34，对应于P33的前一帧的SD像素，对应于P33的后一帧的SD像素，即总共七个像素。预测抽头形成电路212将七个像素设定为要作为预测抽头使用的SD像素的选择模式(pattern)。
或者，根据预测抽头形成信息，如图10所示，预测抽头形成电路212选择最靠近给定像素的SD图象的像素P33，位置在像素P33，的上、下、左和右的四个最近的SD像素即P23、P43、P32和P34，对应于P33的前一场的SD像素，对应于P33的后一场的SD像素，即总共七个像素作为将用作预测抽头的SD像素的选择模式。
或者，根据根据预测抽头形成信息，如图10所示，预测抽头形成电路212选择最靠近给定像素的SD图象的像素P33，位置在像素P33的上、下、左和右的四个隔一个的SD像素即P13、P53、P31和P35，像素P33之前两帧(或两场)的SD像素，像素P33之后两帧(或两场)的SD像素，即总共七个像素作为将用作预测抽头的SD像素的选择模式。
如上所述，预测抽头形成电路212根据预测抽头形成信息设定选择模式，从存储在帧存储器211中的SD图象选择将作为给定像素的预测抽头的SD像素。之后，所选的形成SD像素的预测抽头被输出到预测计算电路216。
选为预测抽头的SD像素不限于上述选择模式。此外，尽管在上述例子中预测抽头由七个SD像素形成，但形成预测抽头的SD像素数可以根据预测抽头形成信息适当设定。
类抽头形成电路213从存储在帧存储器211中的SD图象选择时间或空间位置接近给定像素的一些SD像素，从而形成将给定像素分成多类的类抽头。
类抽头形成电路213根据设定在寄存器218C中的信息(下文称为“类抽头形成信息”)设定将用作类抽头的SD像素的选择模式。
具体地说，根据类抽头形成信息，如图10所示，类抽头形成电路213选择位置最接近给定像素的像素P33，位于像素P33上、下、左、右、左上、左下、右上和右下的八个最近SD像素P23、P43、P32、P34、P22、P42、P24和P44，前一帧的SD像素和后一帧的SD像素，即总共十一个像素作为将作为类抽头的SD像素的选择模式。
或者，根据类抽头形成信息，如图10所示，类抽头形成电路213选择位置最接近给定像素的像素P33，位于像素P33上、下、左、右、左上、左下、右上和右下的八个最近SD像素P23、P43、P32、P34、P22、P42、P24和P44，前一场的SD像素和后一场的SD像素，即总共十一个像素作为将作为类抽头的SD像素的选择模式。
或者，根据类抽头形成信息，如图10所示，类抽头形成电路213选择位置最接近给定像素的SD图象的像素P33，位于像素P33上、下、左、右、左上、左下、右上和右下的八个隔一个SD像素P13、P53、P31、P35、P11、P51、P15和P55，像素P33前面两帧(两场)的SD像素和像素P33后面两帧(两场)的SD像素，即总共十一个像素作为将作为类抽头的SD像素的选择模式。
如上所述，类抽头形成电路213根据类抽头形成信息设定选择模式，并根据选择模式从存储在帧存储器211中的SD图象选择将用作给定像素的类抽头的SD像素。之后，将类抽头输出到分类电路214。
选为类抽头的SD像素不限于上述选择模式。此外，尽管在上述例子中类抽头由十一个SD像素形成，但形成类抽头的SD像素数可以根据类抽头形成信息适当设定。
分类电路214对给定像素进行分类，将对应于结果类别的类码作为地址提供给系数存储器215。
图11示出了图9所示分类电路214结构的一个例子。
类抽头提供给运动(motion)分类电路221和时间/空间分类电路222。
运动分类电路221根据在时间域中形成类抽头的SD像素的布局按照图象的运动对给定像素进行分类。即，如图10所示，运动分类电路221利用总共三个像素即最接近给定像素的像素P33、前一场或帧的SD像素(或像素P33之前两场或两帧的SD像素)，后一场或帧的SD像素(或像素P33之后两场或两帧的SD像素)对给定像素进行分类。
具体地说，运动分类电路221计算三个SD图象中时间相邻SD像素之间绝对差值的和，并将该和与预定阈值相比较。之后，运动分类电路221根据比较结果将类码即0或1输出到合成电路223。
下文将从运动分类电路221输出的类码称为“运动类码”。
时间/空间分类电路222利用形成类抽头的所有SD像素在图象的空间域或时间域内根据等级分布(level distribution)对给定像素进行分类。
可以使用自适应动态范围编码(ADRC)方法作为在时间/空间分类电路222中采用的分类方法。
根据ADRC方法，对形成类抽头的SD像素进行ADRC处理，根据最后得到的ADRC码对给定的像素进行分类。
在K-位ADRC方法中，检测形成类抽头的SD像素的最大像素值MAX和最小像素值MIN，将DR＝MAX-MIN确定为局部动态范围DR。根据动态范围DR，将形成类抽头的SD像素重新量化成K位。即，从形成类抽头的每个SD像素的像素值中减去最小像素值MIN，并将被减去后的值除以DR/2K(量化)。之后，输出以预定顺序布置的K-位像素值的位流作为ADRC码。因此，例如，根据一位ADRC处理，从形成类抽头的每个SD像素的像素值中减去最小像素值MIN，所得到的值除以最大像素值MAX和最小像素值MIN之间的平均值。结果，将每个像素值量化为一位。之后，输出以预定顺序布置的1-位像素值的位流作为ADRC码。
时间/空间分类电路222可以直接将形成类抽头的SD像素的等级分布模式输出为类码。但是，如果类抽头由N个SD像素形成，且如果为每个SD像素分配K个位，类码数量为(2N)K，这是一个与位K的数成指数比例的大数。
因此，时间/空间分类电路222最好在对像素值的位数执行压缩处理例如ADRC处理之后对给定像素进行分类。可以执行另一种类型ADRC的处理，例如向量量化处理。
从时间/空间分类电路222输出的类码下文称为“时间/空间类码”。
合成电路223将表示从运动分类电路221输出的运动类码(在该实施例中，一位类码)的位流和表示从时间/空间分类电路222输出的时间/空间类码的位流布置(合并)作为一位流，从而产生给定像素的最终类码并将其输出到系数存储器215中。
在图11所示的实施例中，形成设置在寄存器218C中的信息的类抽头提供给运动分类电路221、时间/空间分类电路222和合成电路223。这是为了处理作为形成在类抽头形成电路213中的类抽头的SD像素的选择模式中的变化。
如图11中点划线所表示的，可以将在运动分类电路221中得到的运动类码提供给时间/空间分类电路222，时间/空间分类电路222可以根据运动类码改变SD像素。
在这种情况下，将由十一个SD像素形成的类抽头从类抽头形成电路213(图9)提供给时间/空间分类电路222。之后，时间/空间分类电路222可以如下执行分类。当运动类码为0时，可以使用十一个SD像素中的十个预定SD像素。当运动类码为1时，可以使用用运动类码为0时未被选择的其余像素代替上述十个SD像素中的预定像素的10个SD像素。
当时间/空间分类电路222根据一位ADRC处理执行分类时，如果使用全部十一个SD像素，则时间/空间类码的数量为(211)1。
另一方面，如上所述根据运动类码只使用十个SD像素，则最后得到的时间/空间类码数为(210)1。因此，时间/空间类码数明显小于利用全部十一个SD像素进行分类得到的类码数。
但在这种情况下，需要表示省略用于分类的SD像素的一位信息。因此，时间/空间类码数为(210)1×21，即(211)1。这刚好与利用全部十一个SD像素进行分类得到的数相同。
如下所述，再参考图9，系数存储器215存储通过执行学习处理得到的多个预测系数。即，系数存储器215由多种类型的区形成，每个区存储相应类型的预测系数。系数存储器215根据设置在寄存器218D中的信息组(下文称为“系数信息”)设置要使用的区。然后系数存储器215读出存储在对应于由分类电路214提供的类码的区的地址中的预测系数，并将该预测系数提供给预测计算电路216。
接着，预测计算电路216利用由预测抽头形成电路212提供的预测抽头和系数存储器215提供的预测系数执行方程(1)表达的线性预测计算(积和计算)。然后将最后得到的像素值作为清晰度高于SD图象的HD图象的预测值输出给图象重构电路217。
接着，图象重构电路217由从预测计算电路216提供的预测值形成525pHD图象的各个帧，并输出它们。
如上所述，将262p SD图象转换为每帧的行数加倍的HD图象。将525iSD图象转换为每场的行数被加倍的HD图象。因此，HD图象的水平同步频率是SD图象的两倍那么高。水平同步频率的转换也是在图象重构电路217中进行的。
尽管在该实施例中将SD图象转换为525p HD图象，也可以将其转换为另一种格式的HD图象，例如1050iHD图象(具有1050条水平行的隔行扫描图象)或者1050pHD图象(具有1050条水平行的逐行图象)。将从图象重构电路217输出的HD图象的格式根据存储在寄存器218A中的信息(下文称为“HD图象格式信息”)来设置。
寄存器组218存储用于设置预测抽头形成电路212、类抽头形成电路213、系数存储器215和图象重构电路217功能的信息。
即，如图9所示，寄存器组218由四个寄存器218A-218D形成。如上所述，根据相应的控制信号，在寄存器218A中设置HD图象格式信息，在寄存器218B中设置预测抽头形成信息，在寄存器218C中设置类抽头形成信息，在寄存器218D中设置系数信息。因此，控制信号包含HD图象格式信息、预测抽头形成信息、类抽头形成信息和系数信息。控制信号在控制器30中产生(图2)。
具体地说，控制器30根据经选择器23提供图象数据的输出装置12m的类型确定HD图象格式信息。控制器30还根据经选择器21提供图象数据的输入装置11k的类型(在实施例中，输入装置11k的类型表示输入装置11k是否输出525i图象或262p图象)和经选择器23提供图象数据的输出装置12m的类型确定预测抽头形成信息，类抽头形成信息和系数信息，以便能对输入装置11k和输出装置12m进行预定处理。
下面参考图12的流程图描述提高图9所示可变处理单元中完成的SD图象清晰度的时间/空间处理。
当用户通过操作遥控器5(图1)指定输入图象的输入装置11k和输出图象的输出装置12m时，控制器30控制选择器21和23选择分别与指定输入装置11k连接的端子2k和与指定输出装置12m连接的端子3m。之后，通过选择器21选择从输入装置11k输出的图象数据并提供给图2所示的集成处理器27(可变处理组28和普通处理组29)，通过选择器23选择从集成处理器27输出的图象数据并提供给输出装置12m。
在该实施例中，输入装置11k和输出装置12m通过用户指令来选择。或者，可以提前在选择器21的端子2k和选择器23的端子3m中设置相应的输入装置11k和输出装置12m。或者，控制器30可以根据与选择器21连接的输入装置类型和与选择器23连接的输出装置类型选择最佳输入装置和最佳输出装置的组合。
从通过选择器21选择的输入装置11k接收的SD图象又以帧或场为单位提供并存储在帧存储器211中。
同时，控制器30(图1)根据输入装置11k的类型和输出装置12m的类型产生相应的控制信号，并将它们提供给寄存器组218。因此，根据控制信号分别在寄存器组218的寄存器218A、218B、218C和218D中设置HD图象格式信息、预测抽头形成信息、类抽头形成信息和系数信息。
在该实施例中，将525i或262p SD图象转换为525p HD图象。因此，在HD图象格式信息中设置525p图象。在预测抽头形成信息中，设置将525i或262p SD图象转换为525p HD图象的形成最佳预测抽头的选择模式。在类抽头形成信息中，设置将525i或262p SD图象转换为525p HD图象的形成最佳类抽头的选择模式。在系数信息中，设置表示存储将525i或262p SD图象转换为525p HD图象的最佳预测系数的一组系数存储器215的信息。
接着，在步骤S1中，在形成清晰度提高到超过存储在帧存储器211中的SD图象的HD图象的像素中设置给定像素。如上所述，HD图象是虚拟图象，原因是它实际上不存在于可变处理单元中。预测抽头形成电路212利用存储在帧存储器211中的SD图象的像素形成给定像素的预测抽头。此外，在步骤S1中，类抽头形成电路213利用存储在帧存储器211中的SD图象的像素形成给定像素的类抽头。接着，给预测计算电路216提供预测抽头，同时为分类电路214提供类抽头。
预测抽头形成电路212根据设置在寄存器218B中的预测抽头形成信息，设置将用作预测抽头的SD像素的选择模式，根据选择模式选择SD像素，从而形成预测抽头。类抽头形成电路213根据设置在寄存器218C中的类抽头形成信息，设置要用作类抽头的SD像素的选择模式，并根据选择模式选择SD像素，从而形成类抽头。
接着，在步骤S2中，分类电路214根据类抽头形成电路213提供的类抽头对给定像素进行分类，并将对应于结果类的类码作为地址提供给系数存储器215。
接着，在步骤S3中，系数存储器215读出分类电路214提供的类码表示的地址中存储的预测系数，并将这些系数提供给预测计算电路216。
系数存储器215选择对应于设置在寄存器组218D中的系数信息的一个区，并读出分类电路214提供的所选区的地址中存储的预测系数。
在步骤S4中，预测计算电路216利用预测抽头形成电路212提供的预测抽头和系数存储器215提供的预测系数执行方程(1)表达的线性预测计算，并将最后得到的像素值作为给定像素的预测值提供给图象重构电路217。
接着，在步骤S5中，图象重构电路217例如确定预测值的一帧是否是从预测计算电路216得到的。如果步骤S5的输出是否，处理转回步骤S1，在形成HD图象的相应帧的像素中设置新的给定像素，并重复步骤S1至S5的处理。
如果发现在步骤S5中得到预测值的一帧，处理继续到步骤S6，在步骤S6中，图象重构电路217重构对应于预测值的该帧的HD图象(525p HD图象)的一帧。然后处理回到步骤S1，对HD图象的下一帧类似重复从步骤S1的处理。
图13示出了一例执行确定将存储在图9所示的可变处理单元的系数存储器215中的预测系数的学习过程的学习设备的结构方框图。
用作管理员数据的HD图象(下文称为“管理员图象”)例如以帧为单位提供给帧存储器231，帧存储器231又存储管理员图象。
在该实施例中，由于将在图9所示可变处理单元中得到的HD图象是525p图象，因此将525p图象用作管理员图象。
抽选滤波器232读出例如以帧为单位存储在帧存储器231中的管理员图象。抽选滤波器232接着执行低通滤波(LPF)以减小管理员图象的频率带宽，也减少像素数。因此，抽选滤波器232降低管理员图象的清晰度以便产生用作初学者数据的SD图象(本文称为“初学者图象”)，并将SD图象提供给帧存储器233。
即在该实施例中，在图9所示的可变处理单元中，525p HD图象是从525i或262p SD图象得到的。此外，在垂直和水平方向上525p HD图象的像素数是525i或262p SD图象的两倍。
因此，为了从管理员图象(525p HD图象)产生初学者图象(525i或262pSD图象)，抽选滤波器232首先执行LPF处理(在该例中，半带滤波)以便将频带减小到一半。
抽选滤波器232还对排列在LPF处理过的图象的水平方向上的像素每隔一个地进行抽选，从而将像素数减少到一半。之后，抽选滤波器232对管理员图象的每一帧的水平行每隔一个地进行抽选，从而将水平行的数减少到一半。结果，可以产生作为初学者图象的262p SD图象。
或者，抽选滤波器232可以抽选管理员图象的每个奇数帧的偶数行，也抽选每个偶数帧的奇数行，从而将水平行数减小到一半。结果，能产生作为初学者图象的525i SD图象。
抽选滤波器232根据设置在寄存器240A中的信息(下文称为“初学者图象格式信息”)确定图象类型，即252pSD图象或525i SD图象。
帧存储器233又将抽选滤波器232输出的初学者图象例如以帧或场为单位存储起来。
预测抽头形成电路234又将存储在帧存储器231中的形成管理员图象的像素(下文称为“管理员像素”)设置为给定像素。预测抽头形成电路234然后从帧存储器233读出空间或时间上靠近给定像素定位的一些初学者图象的像素(下文称为“初学者像素”)，并形成预测抽头以便与预测系数相乘。
即，作为在图9中所示的预测抽头形成电路212，预测抽头形成电路234根据设置在寄存器240B中的信息(下文称为“预测抽头形成信息”)设置要作为预测抽头使用的初学者像素的选择模式。之后，根据选择模式，预测抽头形成电路234从存储在帧存储器233中的初学者图象选择将作为给定像素的预测抽头的初学者像素。然后将预测抽头输出到正态方程加法电路237。
同时，类抽头形成电路235从帧存储器233读出时间或空间上位于靠近给定像素的一些初学者像素，并形成用于分类的类抽头。
具体地说，作为在图9中所示的类抽头形成电路213，类抽头形成电路235根据设置在寄存器240C中的信息(下文称为“类抽头形成信息”)设置将用作类抽头的初学者像素的选择模式。之后，根据选择模式，类抽头形成电路235从存储在帧存储器233中的初学者图象选择将用于给定像素的类抽头的初学者像素。然后将类抽头输出到分类电路236。
分类电路236的结构与图9所示的分类电路214相类似。分类电路236根据从类抽头形成电路235提供的类抽头对给定像素进行分类，并将对应于结果类的类码提供给正态方程加法电路237。
设置在寄存器240C中的类抽头形成信息被提供给分类电路236。其原因与参考图9所示的分类电路214所述的原因相同。
正态方程加法电路237从帧存储器231中读出作为给定像素设置的管理员像素，并对预测抽头形成电路234提供的形成预测抽头的管理员像素和初学者像素进行计算。
具体地说，正态方程加法电路237利用对应于从分类电路2 36提供的类码的每类的预测抽头(初学者像素)在方程(12)的矩阵A的每个分量中执行初学者像素的乘积(XinXim)和求和(∑)。
正态方程加法电路237还利用预测抽头(初学者像素)和对应于分类电路236提供的类码的每类的给定像素(管理员像素)在方程(12)的向量v的每个分量中执行初学者像素和给定像素(管理员像素)的乘积(XinYi)并求和(∑)。
正态方程加法电路237用存储在帧存储器231中的所有管理员像素作为给定像素执行上述计算，从而用公式表示每类的方程(12)表达的正态方程。
预测系数确定电路238通过解出在正态方程加法电路237中用公式表示的正态方程确定每类的预测系数，并将预测系数提供给对应于存储器239的每类的地址的预测系数。
根据准备作为管理员图象的图象数(帧数)或图象内容，会有确定预测系数所需的正态方程不能用公式计算的一些类。在这种情况下，预测系数确定电路238为这种类输出缺省预测系数。
存储器239存储从预测系数确定电路238提供的预测系数。即，存储器239由多个区形成并在每个区中存储相应的预测系数。存储器239根据设置在寄存器240D中的信息(下文称为“系数信息”)设置要使用的区，并将预测系数确定电路238提供的预测系数存储在对应于分类电路214提供的类码的地址中。
寄存器组240存储用于设置抽选滤波器232、预测抽头形成电路234、类抽头形成电路2 35和存储器239的功能的信息。
具体地说，在图13所示的实施例中，寄存器组240由四个寄存器240A至240D形成。根据来自控制器241的控制信号，在寄存器240A中设置初学者图象格式信息，在寄存器240B中设置预测抽头形成信息，在寄存器240C中设置类抽头形成信息，在寄存器240D中设置系数信息。因此，控制信号包括初学者图象格式信息，预测抽头形成信息，类抽头形成信息和系数信息。
控制器241例如由系统设计人员操作。根据设计人员的操作，控制器241确定将设置在寄存器组240中的初学者图象格式信息，预测抽头形成信息，类抽头形成信息和系数信息。然后控制器241产生相应的控制信号并将它们提供给寄存器组240。
下面参考图14的流程图描述图13所示学习设备执行的预测系数的学习处理。
控制器241产生控制信号，并将它们提供给寄存器组240。因此，以相应的控制信号为基础的初学者图象格式信息，预测抽头形成信息，类抽头形成信息和系数信息分别被设置在寄存器240A、240B、240C和240当中。
接着，在步骤S21中，为学习预测系数准备的管理员图象提供并存储在帧存储器231中。在步骤S22中，正态方程加法电路237对存储每类的矩阵A的数组变量A[c]和存储方程(12)中向量v的数组变量v[c]初始化为0。
接着，在步骤S23中，抽选滤波器232通过处理存储在帧存储器231中的管理员图象根据设置在寄存器240A中的初学者图象格式信息产生作为初学者图象的525i或262p SD图象。即，抽选滤波器232对存储在帧存储器231中的管理员图象进行LPF处理，然后减少LPF处理后的管理员图象的像素数，从而产生具有较低清晰度的初学者图象。初学者图象又被提供并存储在帧存储器233中。
在步骤S24中，在存储在帧存储器231中的管理员像素中设置给定像素。预测抽头形成电路234根据对应于设置在寄存器240B中的预测抽头形成信息的选择模式选择存储在帧存储器233中的初学者像素，从而形成给定像素的预测抽头。同时，类抽头形成电路235根据对应于设置在寄存器240C中的类抽头形成信息的选择模式选择存储在帧存储器233中的初学者像素，从而形成给定像素的类抽头。之后，将预测抽头提供给正态方程加法电路237，同时将类抽头提供给分类电路236。
在步骤S25中，分类电路236根据从类抽头形成电路235提供的类抽头对给定像素进行分类，并将对应于结果类的类码提供给正态方程加法电路237。
此后，在步骤S26中，正态方程加法电路237从帧存储器231读出管理员像素(给定像素)，根据从分类电路236提供的每个类C利用数组变量A[c]和v[c]执行上述的矩阵A的预测抽头(初学者像素)和方程(12)中向量v的给定像素(管理员像素)相加。
然后在步骤S27中确定是否所有形成存储在帧存储器231中的管理员图象的管理员像素已经作为给定像素得到处理。如果步骤S27的结果为否，处理返回步骤S24。在这种情况下，将其中一个管理员像素设置为新的给定像素，并重复步骤S24至S27的处理。
如果在步骤S27中发现所有管理员像素已经作为给定像素得到处理，即在正态方程加法电路237中用公式表示所有类的正态方程，处理继续到步骤S28。在步骤S28中，预测系数确定电路238通过解出相应的正态方程确定每个类的预测系数，并将它们提供给存储器239的相应类的地址。
存储器239选择设置在寄存器240D中的对应于系数信息的那个区，将在所选区的每个地址中存储从预测系数确定电路238提供的相应类的预测系数。然后完成学习处理。
每次存储器239的区改变时执行图14所示的学习处理。换言之，根据预测系数的类型执行学习处理。
在前述实施例中，有两种类型的预测系数，即适于将525iSD图象转换为525p HD图象的预测系数(下文称为“525i预测系数”)和适于将262SD图象转换为525p HD图象的预测系数(下文称为“262p预测系数”)。
根据图13所示的学习设备，通过改变管理员数据(管理员图象)和初学者数据(初学者图象)，得到525i预测系数和262p预测系数。或者，能得到在时间域中改变像素数(帧频或场频)或改变像素的图象宽高比的预测系数或者能降噪的预测系数。525i预测系数和262p预测系数具有在空间域中增加像素数的功能和改善清晰度的功能。因此，能得到具有两种功能的预测系数。换言之，利用这种预测系数，能同时实现两种类型处理。具体地说，首先减小了管理员图象的清晰度，然后在时间/空间域中减少了最终管理员图象的像素数，从而形成初学者图象。利用这种初学者图象，执行学习处理。结果，确定改善清晰度和增加在时间/空间域中像素数的预测系数。
如上所述，通过利用各种类型的管理员数据和初学者数据的组合执行学习，能得到执行不同类型的可变处理的预测系数。接着，集成处理器27的可变处理组28(图2)能利用这种预测系数执行各种类型的可变处理。
图2所示的普通处理组29执行前面讨论的普通处理。该普通处理也可以通过分类自适应处理来实现。因此，能与图9所示的可变处理单元相类似地构建普通处理组29的各个普通处理单元。
如果可变处理和普通处理都利用分类自适应处理来完成，则可以将图9所示的可变处理单元级联到相应的普通处理单元以便分别完成可变处理和普通处理。或者，可以将图9所示的处理单元用于可变处理单元和普通处理单元。即，对预测系数进行学习以一次执行可变处理和普通处理，利用这种预测系数，同时执行可变处理和普通处理。
下面描述在与图1所示的集成处理框1和图2所示的集成处理器27相连接的输入装置、输出装置和存储装置中执行的普通处理和可变处理。
如上所述，集成处理框1可与仅由专有部分形成的装置(专有装置)和象传统装置那样有三个部分即专有部分、执行普通处理的部分和执行可变处理的部分形成的装置(普通装置)相连接。
图15示出了用作输入装置的摄像机(标准装置)结构的一个例子。
电荷耦合器件(CCD)41从物体接收光并执行光电变换，从而向采样保持电路(S/H)电路42输出表示接收到的光量的最终电信号。S/H电路42以预定定时将来自CCD4 1的电信号采样并保持，然后将其输出到自动增益控制(AGC)电路43。AGC电路43调节来自S/H电路42的输出的增益(AGC处理)，将模拟图象信号提供给模数(A/D)转换电路44。A/D转换电路44对从AGC电路43输出的模拟图象信号进行A/D转换，并将最终得到的数字图象信号输出到缺陷校正电路45。缺陷校正电路45对A/D转换电路44提供的图象数据进行缺陷校正处理。在摄像机中，一些像素会由于CCD41的缺陷而丢失。在该校正处理中，能校正这种缺陷。然后将最终得到的图象数据输出到白平衡(WB)电路46。WB电路46调节形成从缺陷校正电路45输出的图象数据的各个分量例如红(R)、绿(G)和蓝(B)分量的电平(level)(WB处理)。结果，各个分量的电平比可以是预定值。接着，将最后得到的图象输出到γ校正电路47。γ校正电路47对从WB电路46接收的图象数据进行γ校正，并将最后得到数据输出到像素插值电路48。像素插值电路48按需要在形成γ校正电路47提供的图象数据的像素中插入R、G和B分量。
即，在图15所示的实施例中，摄像机是单部件类型，在CCD41之前放置彩色滤色镜(未示出)。因此，来自CCD41的形成图象信号的像素仅包含R分量、G分量和B分量中的一种类型的分量。具体地说，包括R分量的像素不包含G和B分量，包括G分量的像素不包含R和B分量，包括B分量的像素不包含R和G分量。因此，像素插值电路48确定哪种类型的分量丢失了，插入丢失的分量，将最后得到的图象信号输出到彩色矩阵转换电路49。
如果摄像机是三个分量类型，则不需要像素插值电路48。
彩色矩阵转换电路49对图象数据的R、G和B分量进行彩色矩阵转换处理，并例如输出Y、R-Y和B-Y图象数据。必要的话，记录单元50将彩色矩阵转换电路49提供的图象数据记录在记录介质上，例如录象带上。
图16示出了用作输入装置的摄像机(专有装置)的结构示例。与图15所示相同的元件用相同的参考数字表示，其说明从略。
在没有执行可变处理或普通处理的缺陷校正电路45、γ校正电路47、像素插值电路48和彩色矩阵转换电路49的情况下形成图16所示的摄像机。
因此，在图16所示的专有装置摄像机中，不执行在常规装置中执行的缺陷校正处理、γ校正处理、像素插值处理和彩色矩阵转换处理。
即，由于普通处理和可变处理由集成处理器27执行，因此不需要为摄像机(专有装置)提供执行普通处理或可变处理的块。
图17示出了在摄像机(普通装置)中执行的处理和在集成处理器27中执行的普通处理和可变处理之间的关系。
在摄像机40A(普通装置)中，执行AGC处理、白平衡(WB)处理、减少图象数据中噪音的降噪处理、缺陷校正处理、像素插值处理、用于校正图象数据的频率特性的频率特性校正处理、γ校正处理、彩色矩阵转换处理、将图象数据转换为NTSC数据的NTSC编码处理等。在图17(也是在图20、24、26和38)中，在摄像机40A的下面示出了摄像机40A执行的操作，需要时执行括号中的操作。
在摄像机40A执行的操作中，降噪处理和NTSC编码处理通常与输入装置是否为摄像机40A无关，因此是普通处理。另一方面，缺陷校正处理、像素插值处理、频率特性校正处理、γ校正处理和彩色矩阵转换处理都与输入装置是否是摄像机40A有关，因此是可变处理。
当摄像机40A(普通装置)与集成处理框1(图1)相连接以便将摄像机40A输出的图象数据提供给集成处理器27(图2)时，集成处理器27执行下列处理。可变处理组28按需要对图象数据进行缺陷校正处理、像素插值处理、频率特性校正处理、γ校正处理和彩色矩阵转换处理，所有这些处理都是可变处理。普通处理组29按需要执行降噪处理和NTSC编码处理，这些处理都是普通处理。
即，集成处理器27执行摄像机40A所不执行的可变处理和普通处理。或者，即使在可由摄像机40A执行的可变处理和普通处理中，如果集成处理器27能比摄像机40A更有效地执行这些处理，它也可以执行相应的处理。
图18是一例用作输出装置的CRT监视器(常规装置)的结构方框图。
调谐器61经天线(未示出)接收电视广播信号并选择预定信道的信号。接着调谐器61把选择的信号转换为视频中频(VIF)带信号并将其提供给VID电路62。VIF电路62按需要把来自调谐器61的输出放大并将其提供给选择器(SEL)63。选择器63选择来自VIF电路62的信号或来自外部信源的视频输入信号并将选择的信号提供给A/D转换电路64。A/D转换电路64对来自选择器63的输出执行A/D转换，从而把模拟图像信号转换为数字图像信号并将其提供给Y/C分离电路65。Y/C分离电路65把来自A/D转换器64的输出分离为亮度信号(Y)和色度信号(C)。将亮度信号(Y)提供给图像质量调节电路66，同时把色度信号(C)提供给色度解调电路69。
图像质量调节电路66通过增加预拍摄(pre-shooting)和过拍摄对来自Y/C分离电路65的亮度信号执行图像质量，如孔径校正，并将调节后的亮度信号提供给对比度调节电路67。对比度调节电路67调节从图像质量调节电路66输出的亮度信号的对比度，并将结果得到的亮度信号提供给亮度校正电路68。亮度校正电路68执行亮度校正处理，如读出从对比度调节电路67输出的亮度信号的DC分量，并将结果得到的亮度信号提供给彩色矩阵转换电路70。
同时，色度解调电路69分离彩色脉冲串(burst signal)信号与Y/C分离电路65输出的色度信号(C)，并基于彩色脉冲串信号解调来自色度信号的R-Y信号和B-Y信号。之后色度解调电路69经彩色调节矩阵74把R-Y信号和B-Y信号提供给彩色矩阵转换电路70。彩色调节矩阵74根据用户操作对色度解调电路69的输出执行彩色校正。
彩色矩阵转换电路70对来自亮度校正电路68的亮度信号(Y)和来自色度解调电路69的R-Y信号和B-Y信号执行彩色矩阵转换以将其转换为R，G和B分量构成的图像数据。然后将R，G和B分量提供给数模(D/A)转换器72。彩色矩阵转换电路70执行彩色矩阵转换处理的同时使用预定的同步信号，并将该同步信号提供给同步/偏转处理电路71。同步/偏转处理电路71基于来自彩色矩阵转换电路70的同步信号产生驱动CRT 73的垂直偏转信号(V偏转信号)和水平偏转信号(H偏转信号)。将V偏转信号和H偏转信号提供给CRT 73的偏转线圈(未示出)，从而驱动CRT 73。
同时，D/A转换单元72对来自彩色矩阵转换电路70的数字信号的R，G，B分量执行D/A转换并将结果得到的模拟信号的R，G，B分量提供给CRT 73。接着，在CRT 73上显示对应于R，G，B分量的图像。
在图18中，可以没有A/D转换电路64和D/A转换器72来形成CRT监视器(常规装置)。
图19表示一例用作输出装置的CRT监视器(特殊装置)的结构图。与图18所示相同的元件以相同参考序号表示，其解释从略。
图19所示的CRT监视器形成了，但没有用到执行普通处理或可变处理的图像质量调节电路66、对比度调节电路67、亮度校正电路68、彩色矩阵转换电路70和彩色调节电路74。
因此，在图19所示的CRT监视器(特殊装置)中，不执行在CRT监视器(常规装置)中执行的图像质量调节处理、对比度调节处理、亮度校正处理、彩色矩阵转换处理和彩色校正处理。
即，由于上述普通处理和可变处理由集成处理器27执行，CRT监视器(特殊装置)没有形成执行这些处理的块。
图20表示CRT监视器(常规装置)执行的操作与集成处理器27执行执行的普通处理和可变处理之间的关系。
在CRT监视器(常规装置)60A中，执行AGC处理、把NTSC图像数据转换为R，G，B分量构成的图像数据的NTSC解码处理、降噪处理、频率特性校正处理、把像素数转换为适合于CRT监视器60A的清晰度的像素数转换处理、亮度校正处理(对应于图18中的亮度校正电路68执行的处理)、彩色矩阵转换处理(对应于图18的彩色矩阵转换电路70执行的处理)和把图像数据的彩色分量调节为适合于CRT监视器60A的特性的彩色校正处理(对应于图18所示的彩色调节电路74执行的处理)。
在图20中，由CRT监视器60A执行的操作中，降噪处理和NTSC解码处理与输出装置是否为CRT监视器60A无关，从而是普通处理。频率特性校正处理、像素数转换处理、亮度校正处理、彩色矩阵转换处理和彩色校正处理与输出装置是否为CRT监视器60A有关，从而是可变处理。
当把CRT监视器60A连接于集成处理框1(图1)作为输出装置以将图像数据提供给CRT监视器60A时，集成处理器27(图2)执行下面的处理。可变处理组28按需要执行频率特性校正处理、像素数转换处理、亮度校正处理、彩色矩阵转换处理和彩色校正处理，所有这些都是可变处理。普通处理组29按需要执行降噪处理和NTSC解码处理，这些是普通处理。
即，集成处理器27执行CRT监视器60A所不执行的普通处理和可变处理。或者甚至在可由CRT监视器60A执行的普通处理和可变处理中，如果集成处理器27可比CRT监视器60A更有效地执行，则集成处理器27可执行相应的处理。
图21示出选择为输入装置的摄像机(特殊装置)40B和选择为连接于集成处理框1的输出装置的CRT监视器(特殊装置)60B。摄像机40B可如图16所示形成并且CRT监视器60B可如图19所示形成。
将从摄像机40B输出的图像数据提供给集成处理器27。集成处理器27的普通处理组29对图像数据执行降噪处理。可变处理组28对图像数据执行可变处理，如缺陷校正、γ校正、亮度校正、像素数转换、行数转换、帧数转换、频率特性转换、彩色转换和彩色矩阵转换，以适合于摄像机40B和CRT监视器60B。然后将结果得到的图像数据提供给CRT监视器60B。
基于摄像机40B的CCD的像素数、CRT监视器60B的扫描方法(例如，NTSC方法、PAL方法或逐行方法)、清晰度(例如，图像是SD还是HD图像)等执行像素数转换处理、行数转换处理、帧数转换处理、频率特性转换处理，使得从摄像机40B输出的图像适当地显示在CRT监视器60B上。
在图21所示的实施例中，缺陷校正处理、像素数转换处理、行数转换处理、帧数转换处理包括在时间/空间处理中。γ校正处理和亮度校正处理包括在灰度级处理中，其反映图像灰度级。频率特性转换处理包含在频率量处理中。彩色校正处理和彩色矩阵转换处理包含在分量间处理中以处理形成图像数据的R，G，B分量。时间/空间处理、灰度级处理、频率量处理和分量间处理均由上述分类自适应处理执行。
这样，通过学习相应的预测系数来独立地执行用于缺陷校正处理的时间/空间处理、用于γ校正和亮度校正处理的灰度级处理、用于像素数转换处理、行数转换处理、帧数转换处理的时间/空间处理、用于频率特性转换处理的频率量处理以及用于彩色转换处理和彩色矩阵转换处理的分量间处理。或者，可以学习执行所有处理的预测系数，并且可一次执行上述处理。
根据频率量处理，图像的频率特性根据在分类自适应处理中使用的预测系数来调节。在这种情况下，控制器30(图2)可通过例如用户经遥控器5(图1)的操作确定频率特性。或者，控制器30可基于经遥控器5执行的用户操作推断频率特性，之后自动执行频率量处理，使得用户要求的频率特性不需要用户执行操作就能获得。
在图21中，作为时间/空间处理的缺陷校正处理对应于图15所示的缺陷校正电路45执行的处理，作为灰度级处理的γ校正处理对应于图15所示的γ校正电路47执行的处理。作为灰度级处理的亮度校正处理对应于图15所示的WB电路46和图18所示的对比度调节电路67执行的处理。作为分量间处理的彩色矩阵转换处理对应于图15所示的彩色矩阵转换处理49执行的处理。
在图21中，作为时间/空间处理的像素数转换处理、行数转换处理和帧数转换处理以及作为频率量转换处理的频率特性转换处理在常规装置中不执行。集成处理器27有效地执行不在常规装置中执行的上述类型的处理。更具体说，当摄像机40B输出NTSC图像并且当CRT监视器60B显示PAL图像时，集成处理器27作为时间/空间处理执行行数转换处理和帧数转换处理以把摄像机40B输出的NTSC图像转换为要在CRT监视器60B上显示的PAL图像。当摄像机40B输出SD图像并且CRT监视器60B显示HD图像时，集成处理器27作为时间/空间处理执行像素数转换处理和行数转换处理以把从摄像机40B输出的SD图像转换为要在CRT监视器60B上显示的HD图像。
图22表示一例用作输出装置的液晶监视器(常规装置)的结构。
把NTSC复合图像信号(VBS)提供给解码器81。然后解码器81通过执行NTSC解码把图像信号转换为具有R，G和B分量的图像信号，并将其提供给A/D转换电路82。A/D转换电路82对来自解码器82的图像信号执行A/D转换以将模拟转换为数字信号。接着把数字图像数据提供给水平寄存器(H寄存器)83。水平寄存器83基于从定时发生器(TG)89提供的定时信号依次锁存从A/D转换电路82提供的图像数据的像素值的一条水平行。当图像数据的一条水平行(像素值)被锁存在水平寄存器83中时，行存储器84从水平寄存器83读出整个图像数据并在那里存储下来。然后电平转换电路85读出存储在行存储器84中的图像数据的一条水平行并转换图像数据的电平(电平转换)，将其提供给多电平(灰度级)电路86。多电平电路86基于从电平转换电路85输出的图像数据产生多电平信号电压(多电平处理)并将其提供给D/A转换电路87。D/A转换电路87把对应于从多电平电路86输出的图像数据的数字信号电压转换为模拟信号电压，并将其提供给彩色校正电路91。之后彩色校正电路91对D/A转换电路87的输出执行彩色校正并将结果得到的信号提供给液晶面板88。
同时，定时发生器89把产生的定时信号提供给水平寄存器83以及扫描驱动器90。扫描驱动器90根据来自定时发生器89的定时信号驱动液晶面板88。结果，对应于D/A转换电路87提供的信号电压的图像显示在液晶面板88上。
图23表示一例用作输出装置的液晶监视器(特殊装置)的结构。与图22所示的元件相同的元件以相同的参考序号表示，其解释从略。
图23所示的液晶监视器没有用执行普通处理或可变处理的解码器81、电平转换电路85和多电平电路86来形成。
因此，在图23所示的液晶监视器中，不执行在液晶监视器(常规装置)中执行的NTSC解码处理、电平转换处理和多电平处理。
即，由于这种普通处理和可变处理由集成处理器27执行，可以形成没有执行普通处理或可变处理的块的液晶监视器。
图24表示液晶监视器(常规装置)执行的操作与集成处理器27执行的普通处理和可变处理之间的关系。
在液晶监视器(常规装置)80A中，执行AGC处理、NTSC解码处理、γ校正处理、彩色矩阵转换处理、彩色校正处理、黑电平校正处理、阴影校正处理、像素数转换处理、频率特性校正处理等。
在图24中，在液晶监视器80A执行的操作中，NTSC解码处理通常与输出装置是否为液晶监视器80A无关，因此为普通处理。相反，γ校正处理、彩色矩阵转换处理、彩色校正处理、黑电平校正处理、阴影校正处理、像素数转换处理、频率特性校正处理与输出装置是否为液晶监视器80A有关，因此为可变处理。
当液晶监视器80A作为输出装置连接于集成处理框1以把图像数据提供给液晶监视器80A时，集成处理器27执行下面的处理。可变处理组28按需要执行可变处理，如γ校正、彩色矩阵转换、彩色校正、黑电平校正、阴影校正、像素数转换和频率特性校正。普通处理组29按需要执行NTSC解码处理。
即，集成处理器27执行不能由液晶监视器80A执行的可变处理和普通处理。或者，甚至在可由液晶监视器80A执行的可变处理和普通处理中，如果集成处理器27能比液晶监视器80A更有效地执行处理，则集成处理器27可执行相应的处理。
图25表示选择为输入装置的摄像机(特殊装置)40B和选择为连接于集成处理框1的输出装置的液晶监视器(特殊装置)80B。摄像机40B可形成为如图16所示，并且液晶监视器80B可形成为如图23所示。
把从摄像机40B输出的图像数据提供给集成处理器27。集成处理器27的普通处理组29对图像数据执行降噪处理。可变处理组28对图像数据执行可变处理，如缺陷校正、γ校正、灰度级校正、黑电平校正、阴影、彩色矩阵转换、彩色校正、像素数转换、行数转换和频率特性转换，以适合于摄像机40B和液晶监视器80B。结果得到的图像数据被提供给液晶监视器80B。
更具体说，像素数转换处理、行数转换处理和频率特性转换处理基于摄像机40B的CCD的像素数、液晶监视器80B的图像标准(例如，VGA或SXGA)以及在液晶监视器80B的液晶面板中使用的脉冲宽度调制(PWM)和极性反转方法执行，使得从摄像机40B输出的图像可适当地显示在液晶监视器80B上。
在图25中，缺陷校正处理、像素数转换处理和行数转换处理包括在时间/空间处理中。γ校正处理、灰度级校正处理、黑电平校正处理和阴影校正处理包括在灰度级处理中。彩色校正处理和彩色矩阵转换处理包含在分量间处理中。频率特性转换处理包括在频率量处理中。如上所述，时间/空间处理、灰度级处理、频率量处理和分量间处理都由分类自适应处理执行。因此，上述处理可独立地通过学习相应的预测系数来执行。或者，学习用于执行所有类型的处理的预测系数，并且同时执行处理。
尽管在图25所示的实施例中，把液晶监视器作为输出装置，可使用另一种类型的平面显示监视器，如等离子体显示监视器。以这种方式，当扩展平面显示监视器的使用类型时，可变处理的内容根据平面显示监视器是液晶监视器还是等离子体监视器来改变。例如，通过使用不同的预测系数来执行分类自适应处理。
在图25中，作为时间/空间处理的缺陷校正处理对应于图15所示的缺陷校正电路45执行的处理，作为灰度级处理的γ校正处理对应于图15所示的γ校正电路47执行的处理。作为灰度级处理的灰度级校正处理和黑电平校正处理对应于图22所示的电平转换电路85和多电平电路86执行的处理。作为分量间处理的彩色矩阵转换处理对应于图15所示的彩色矩阵转换处理49执行的处理。
在图25所示的实施例中，与图21中一样，作为时间/空间处理的像素数转换处理、行数转换处理以及作为频率量转换处理的频率特性转换处理在常规装置中不执行。集成处理器27有效地执行不在常规装置中执行的上述类型的处理。
图26表示用作输出装置的投影仪(常规装置)执行的操作与集成处理器27执行的普通处理和可变处理之间的关系。
在投影仪91A(常规装置)中，如图24所示的液晶监视器80A(常规装置)一样，执行AGC处理、NTSC解码处理、γ校正处理、彩色矩阵转换处理、彩色校正处理、黑电平校正处理、阴影校正处理、像素数转换处理和频率特性校正处理。
这样，在图26中，与图24中一样，NTSC解码处理是普通处理。而γ校正处理、彩色矩阵转换处理、彩色校正处理、黑电平校正处理、阴影校正处理、像素数转换处理和频率特性校正处理是可变处理。
当投影仪91A(常规装置)连接于集成处理框1以把图像数据提供给投影仪91A时，集成处理器27执行下面的处理。可变处理组28按需要执行可变处理，如γ校正、彩色矩阵转换、彩色校正、黑电平校正、阴影校正、像素数转换和频率特性校正，而普通处理组29按需要执行普通处理，如NTSC解码。
即，集成处理器27执行不由投影仪91A执行的可变处理和普通处理。或者，甚至在可由投影仪91A执行的可变处理和普通处理中，如果集成处理器27可比投影仪91A执行地更有效，那集成处理器27可执行相应的处理。
图27表示选择为输入装置的摄像机(特殊装置)40B和选择为连接于集成处理框1的液晶监视器(特殊装置)91B。
把摄像机40B输出的图像数据提供给集成处理器27。然后集成处理器27的普通处理组29对图像数据执行降噪处理。随后可变处理组28对图像数据执行可变处理，如缺陷校正、γ校正、灰度级校正、黑电平校正、阴影校正、彩色矩阵转换、彩色校正、像素数转换、行转换和频率特性校正，以适合于摄像机40B和投影仪91B。将结果得到的图像数据提供给投影仪91B。
更具体说，像素数转换处理、行数转换处理和频率特性转换处理基于摄像机40B的CCD的像素数、投影仪91B的图像标准(例如，VGA或SXGA)以及投影仪91B的显示方法(例如，CRT方法、液晶面板(LCD)方法或使用数字微镜面装置(DMD)(DMD和DLP是商标名称)的数字光处理(DLP)方法或图像光放大器(ILA)方法)以及投影仪91B的PWM方法执行，使得从摄像机40B输出的图像可适当地显示在投影仪91B上。
在图27中，与图25中一样，缺陷校正处理、像素数转换处理和行数转换处理包括在时间/空间处理中。γ校正处理、灰度级校正处理、黑电平校正处理和阴影校正处理包括在灰度级处理中。彩色校正处理和彩色矩阵转换处理包含在分量间处理中。频率特性转换处理包括在频率量处理中。如上所述，时间/空间处理、灰度级处理、频率量处理和分量间处理都由分类自适应处理执行。因此，上述处理可独立地通过学习相应的预测系数来执行。或者，学习用于执行所有类型的处理的预测系数，并且同时执行处理。
图28表示选择为输入装置的数字静止相机(常规装置)和选择为输出装置的打印机(常规装置)执行的操作和集成处理器27执行的普通处理与可变处理。
在数字相机92A(常规装置)中，执行AGC处理、WB处理、降噪处理、缺陷校正处理、像素插值处理、频率特性校正处理、γ校正处理和彩色矩阵转换处理。数字相机92A结构基本上类似于图15所示的摄像机(常规装置)。
在图28中，在数字相机92A执行的操作中，降噪处理通常与输入装置是否为数字相机92A无关，因此是普通处理。相反，缺陷校正处理、像素插值处理、频率特性校正处理、γ校正处理和彩色矩阵转换处理与输入装置是否为数字相机92A有关，因此是可变处理。
当数字相机92A(常规装置)连接于集成处理框1(图1)以从数字相机92A接收图像数据时，集成处理器27执行下面的处理。可变处理组28按需要对图像数据执行可变处理，如缺陷校正、像素插值、频率特性校正、γ校正和彩色矩阵转换。普通处理组29按需要执行普通处理，如降噪。
即，集成处理器27执行不由数字相机92A执行的可变处理和普通处理。或者，甚至在可由数字相机92A执行的可变处理和普通处理中，如果集成处理器27执行得比数字相机92A更有效，集成处理器27可执行相应的处理。
在打印机93A(常规装置)中，执行彩色矩阵转换处理、降噪用的滤波处理、γ校正处理、像素数转换处理、密度转换处理和抖动处理。
在图28中，在打印机93A执行的操作中，滤波处理通常与输出装置是否为打印机93A无关，因此是普通处理。相反，彩色矩阵转换处理、γ校正处理、像素数转换处理、密度转换处理和抖动处理与输出装置是否为打印机93A有关，因此是可变处理。
当打印机93A(常规装置)连接于集成处理框1(图1)以把图像数据提供给打印机93A时，集成处理器27执行下列处理。可变处理组28按需要对图像数据执行可变处理，如彩色矩阵转换、γ校正、像素数转换、密度转换和抖动处理。普通处理组29按需要执行普通处理，如滤波处理。
即，集成处理器27执行不由打印机93A执行的可变处理和普通处理。或者，甚至在可由打印机93A执行的可变处理和普通处理中，如果集成处理器27执行得比打印机93A更有效，集成处理器27可执行相应的处理。
图29表示一例图28所示的打印机93A的结构。
构成要打印的图像数据的R，G和B分量从外部提供给打印机93A。把R分量、G分量和B分量分别存储在R存储器101R、G存储器101G和B存储器101中。
彩色矩阵转换电路102分别从R存储器101R、G存储器101G和B存储器101读出R，G和B分量。之后彩色矩阵转换电路102对R，G和B分量执行彩色矩阵转换处理，从而把R，G和B分量转换为包括Y，M和C分量的图像数据。或者，包括R，G和B分量的图像数据被转换为Y，M，C和黑(K)分量。
之后，把Y，M和C分量提供给滤波器103。滤波器103对Y，M和C分量执行滤波处理以降噪，并将其提供给γ校正电路104。γ校正电路104对来自滤波器103的图像数据执行γ校正并将其提供给像素数转换电路105。像素数转换电路105把来自γ校正电路104的图像数据的像素数转换成适合于打印机93A，之后将转换的图像数据提供给灰度级转换电路106。灰度级转换电路106对来自像素数转换电路105的图像数据执行灰度级转换处理，如密度转换处理和抖动处理，并将结果得到的图像数据提供给打印机构107。打印机构107根据从灰度级转换电路106提供的图像数据在预定的薄片上打印图像。
图30表示选择为输入装置的数字相机(特殊装置)92B和选择为连接于集成处理框1的输出装置的打印机(特殊装置)93B。
把数字相机92B输出的图像数据提供给集成处理器27。集成处理器27的普通处理组29对图像数据执行普通处理，如降噪处理。可变处理组28对图像数据执行可变处理，如作为时间/空间处理的缺陷校正和插值滤波、作为分量间处理的彩色校正和彩色矩阵转换、作为时间/空间处理的像素数转换和行数转换、作为频率量处理的频率特性转换以及作为灰度级处理的密度转换和抖动处理，以适合于数字相机92B和打印机93B。把结果得到的图像数据提供给打印机93B。
更具体说，像素数转换处理、行数转换处理和频率特性转换处理基于数字相机92B的CCD的像素数、打印机93B中使用的打印方法(例如，激光方法、升华方法或喷墨方法)执行，以便从数字相机92B输出的图像可适当由打印机93B打印。
在图30中，与图25中一样，时间/空间处理、灰度级处理、频率量处理和分量间处理都可由分类自适应处理执行。因此，上述处理可通过学习相应的预测系数独立地执行。或者，学习执行所有类型处理的预测系数，同时执行处理。
在图30中，作为普通处理的降噪处理对应于图29所示的滤波器103执行的处理。作为时间/空间处理的缺陷校正处理对应于图15所示的缺陷校正电路45执行的处理。作为时间/空间处理的插值滤波处理对应于图15所示的像素插值电路48执行的处理。作为分量间处理的彩色校正处理对应于图15所示的WB电路46和图29所示的滤波器103执行的处理。作为分量间处理的彩色矩阵转换处理对应于图15所示的彩色矩阵转换电路49和图29所示的彩色矩阵转换电路102执行的处理。作为时间/空间处理的像素数转换处理和行数转换处理对应于图29所示的像素数转换处理电路105执行的处理。作为灰度级处理的密度转换处理分别对应于图15和29所示的γ校正电路47和104执行的处理。作为灰度级处理的抖动处理对应于图29所示的灰度级转换处理106执行的处理。
在图30中，与图21中一样，作为频率量处理的频率特性转换处理在常规装置中不执行。集成处理器27有效地执行常规装置中不执行的上述处理。
图31表示一例图30所示的打印机93B的结构。与图30中所示相同的元件以相同的参考序号表示，其解释从略。
在集成处理器27执行参考图30所讨论的处理后，构成图像数据的Y，M和C分量被提供给打印机93B。将Y分量、M分量和C分量分别存储在Y存储器108Y、M存储器108M和C存储器108C中。然后打印机构107分别从Y存储器108Y、M存储器108M和C存储器108C读出Y，M和C分量，并根据Y，M和C分量在预定薄片上打印相应的图像。
由于普通处理和可变处理由集成处理器27执行，可以形成没有执行这种处理的块的打印机93B。即，可形成如图31所示的打印机93B，没有图29所示的彩色矩阵转换电路102、滤波电路103、γ校正电路104、像素数转换电路105和灰度级转换电路106。
图32表示用作输入装置的图像扫描仪(常规装置)执行的操作与集成处理器27执行的普通处理与可变处理之间的关系。
在图像扫描仪94A(常规装置)中，执行AGC处理、降噪处理、黑电平校正处理、阴影处理、频率特性校正处理、γ校正处理、彩色矩阵转换处理。
在图32中，在图像扫描仪94A执行的操作中，降噪处理通常与输入装置是否为图像扫描仪94A无关，因此是普通处理。相反，黑电平校正处理、阴影处理、频率特性校正处理、γ校正处理、彩色矩阵转换处理与输入装置是否为图像扫描仪94A有关，因此是可变处理。
当图像扫描仪94A(常规装置)连接于集成处理框1以从图像扫描仪94A接收图像数据时，集成处理器27执行下面的处理。可变处理组28按需要对图像数据执行可变处理，如黑电平校正处理、阴影处理、频率特性校正处理、γ校正处理、彩色矩阵转换处理，同时普通处理组29按需要对图像数据执行普通处理，如降噪处理。
即，集成处理器27执行图像扫描仪94A所不执行的普通处理和可变处理。或者甚至在可由图像扫描仪94A执行的普通处理和可变处理中，如果集成处理器27可比图像扫描仪94A更有效地执行，则集成处理器27可执行相应的处理。
图33示出选择为输入装置的图像扫描仪94B(特殊装置)和选择为连接于集成处理框1的输出装置的打印机(特殊装置)93B。
把从图像扫描仪94B输出的图像数据提供给集成处理器27。集成处理器27的普通处理组29对图像数据执行普通处理，如降噪处理。可变处理组28对图像数据执行可变处理，如作为灰度级处理的γ校正处理和黑电平校正处理、作为分量间处理的彩色校正处理和彩色矩阵转换处理、作为时间/空间处理的像素数处理和行数处理、作为频率量处理的频率特性转换处理以及作为灰度级处理的阴影处理、密度转换处理和抖动处理，以适合于图像扫描仪94B和打印机93B。把结果得到的图像数据提供给打印机93B。
更具体说，像素数转换处理、行数转换处理和频率特性转换处理基于图像扫描仪94B的CCD的像素数、打印机93B中使用的打印方法执行，使得从图像扫描仪94B输出的图像可适当地由打印机93B打印。
在图33中，与图25中一样，时间/空间处理、灰度级处理、频率量处理和分量间处理都可由分类自适应处理执行。因此，上述处理可通过学习相应的预测系数独立地执行。或者，学习执行所有类型处理的预测系数，同时执行处理。
在图33中，黑电平校正处理和阴影校正处理对应于图像扫描仪(常规装置)执行的可变处理。
图34表示选择为存储装置的VCR(常规装置)执行的操作与集成处理器27执行的普通处理和可变处理之间的关系。
在VCR 95A(常规装置)中，当执行记录(写入)操作时，执行降噪处理、预处理(滤波处理)、MPEG压缩处理、纠错编码处理和信道编码处理。当执行播放(读出)操作时，执行信道解码处理、纠错处理、解压缩处理(例如，MPEg解码处理)和后处理(滤波处理)。
在图34中，在VCR 95A执行的操作中，降噪处理和MPEG压缩与解压缩处理通常与存储装置是否为VCR 95A无关，因此是普通处理。相反，预处理、纠错编码处理、信道编码和解码处理、纠错处理和后处理与存储装置是否为VCR 95A有关，因此是可变处理。
当VCR 95A连接于集成处理框1以把图像数据提供(记录)到VCR 95A(上)时，集成处理器27执行下面的处理。更具体说，当图像数据被提供给(记录到)VCR 95A时，可变处理组28按需要对图像数据执行可变处理，如预处理、纠错编码处理、信道编码处理，同时普通处理组29按需要对图像数据执行普通处理，如降噪处理和压缩处理。当图像数据从VCR 95A播放(读出)时，可变处理组28按需要对图像数据执行可变处理，如信道解码处理、纠错处理和后处理，而普通处理组29按需要对图像数据执行普通处理，如降噪处理和解压缩处理。
即，集成处理器27执行VCR 95A所不执行的普通处理和可变处理。或者甚至在可由VCR 95A执行的普通处理和可变处理中，如果集成处理器27可比VCR 95A更有效地执行，则集成处理器27可执行相应的处理。
图35表示一例图34所示的VCR 95A的结构。
在记录操作中，把图像数据提供给降噪电路111。降噪电路111降低包含在图像数据中的噪声并将结果得到的图像数据提供给预处理电路112。预处理电路112对从降噪电路111提供的图像数据执行预处理并将其提供给压缩电路113。压缩电路113对来自预处理电路112的图像数据执行MPEG编码，并将压缩的图像数据提供给纠错编码电路114。纠错编码电路114计算纠错码并将其增加到压缩电路113的输出，从而向信道编码电路115输出结果数据。信道编码电路115对来自纠错编码电路114的输出执行信道编码并将结果得到的输出提供给记录放大器116。记录放大器116放大来自信道编码电路115的输出并将其作为记录信号提供给头系统117。头系统117根据来自记录放大器116的记录信号在记录介质，如录像带上记录数据。
在播放操作中，头系统117从记录介质，如录像带播放数据并将其提供给播放放大器118。播放放大器118把从头系统117输出的数据放大并将其提供给信道编码电路119。信道编码电路119对来自播放放大器118的数据执行信道解码，并将结果得到的数据提供给纠错电路120。纠错电路120检查包含在信道解码的数据中的错误，如果有的话，校正这种错误并将结果得到的数据提供给解压缩电路121。解压缩电路121解压缩来自纠错电路120的输出以将其解码为原始图像数据。然后将原始图像数据提供给后处理电路122。后处理电路122对解压缩电路121输出的图像数据执行后处理。
图36表示选择为存储装置的VCR 95B(特殊装置)和选择为与集成处理框1连接的输出装置的CRT监视器60B(特殊装置)。
VCR 95B与例如摄像机(特殊装置)集成一起。在记录图像中，由摄像机捕获的图像数据被提供给集成处理器27，如图36中的粗线所示。在这种情况下，普通处理组29对图像数据执行降噪处理并且可变处理组28对图像数据执行作为时间/空间处理的预处理以适合于VCR 95B。随后，普通处理组29对图像数据执行压缩处理，并且可变处理组28作为时间/空间处理执行纠错编码处理和信道编码处理以适合于VCR 95B。将结果得到的图像数据提供给并记录在VCR 95B上。
当播放图像时，从VCR 95B读出的播放数据被提供给集成处理器27，如图36中的细线所示。更具体说，可变处理组28对播放数据执行作为时间/空间处理的信道解码和纠错处理以适合于VCR 95B，并且普通处理组29对纠错的播放数据执行解压缩处理，从而把播放数据解码为图像数据。随后，可变处理组28对解压缩的图像数据执行作为时间/空间处理的预处理以适合于VCR 95B，然后对预处理后的图像数据执行作为灰度级处理的γ校正处理和亮度校正处理、作为时间/空间处理的像素数转换处理、行数转换处理和帧数转换处理、作为频率量处理的频率特性转换处理以及作为分量间处理的彩色校正处理和彩色矩阵转换处理，以适合于CTR监视器60B。结果，把图像提供并显示在CTR监视器60B上。
在图36中，与图25中一样，在图像播放操作期间执行的时间/空间处理、灰度级处理、频率量处理和分量间处理都可由分类自适应处理执行。因此，上述处理可通过学习相应的预测系数独立地执行。或者，学习执行所有类型处理的预测系数，同时执行处理。
在图36中，作为普通处理的降噪处理对应于图35所示的降噪电路111执行的处理。作为时间/空间处理的预处理对应于图35所示的预处理电路112执行的处理，而作为时间/空间处理的后处理对应于图35所示的后处理电路122执行的处理。作为普通处理的压缩处理对应于图35所示的压缩电路113执行的处理，而作为普通处理的解压缩处理对应于图35所示的解压缩电路121执行的处理。作为时间/空间处理的纠错编码处理对应于图35所示的纠错编码电路114执行的处理，而作为时间/空间处理的纠错编码处理对应于图35所示的纠错电路120执行的处理。作为时间/空间处理的信道编码处理对应于图35所示的信道编码电路115执行的处理，而作为时间/空间处理的信道解码处理对应于图35所示的信道解码电路119执行的处理。作为分量间处理的彩色校正处理对应于图18所示的彩色调节电路74执行的处理，而作为分量间处理的彩色矩阵转换处理对应于图18所示的彩色矩阵转换电路70执行的处理。作为灰度级处理的γ校正处理对应于图18所示的亮度校正电路68执行的处理，而作为灰度级处理的亮度校正处理对应于由图18所示的对比度调节电路67和亮度校正电路68执行的处理。
图37表示一例图36所示的VCR 95B的结构。与图35中那些相同的元件以相同的参考序号表示，其解释从略。
由于普通处理和可变处理由集成处理器27执行，可形成没有执行这些处理的块的VCR 95B。
即，可形成如图37所示的VCR 95B，而没有降噪电路111、预处理电路112、压缩电路113、纠错编码电路114、信道编码电路115、信道解码电路119、纠错电路120、解压缩电路121和后处理电路122。
图38表示选择为存储装置的DVD播放器(常规装置)执行的操作与集成处理器27执行的普通处理和可变处理之间的关系。
在DVD播放器96A(常规装置)中，执行信道解码处理、纠错处理、MPEG解码处理、后处理(滤波处理)和NTSC编码处理。
在图38中，在DVD播放器96A执行的操作中，NTSC编码处理和MPEG解码处理与存储装置是否为DVD播放器96A无关，从而是普通处理。另一方面，信道解码处理、纠错处理和后处理(滤波处理)与存储装置是否为DVD播放器96A有关，从而是可变处理。
当把DVD播放器96A连接于集成处理框1并且从DVD播放器96A播放图像数据并将其提供给集成处理框1时，集成处理器27执行下面的处理。可变处理组28按需要执行信道解码处理、纠错处理和后处理，普通处理组29按需要执行解码处理和NTSC编码处理。
即，集成处理器27执行DVD播放器96A所不执行的普通处理和可变处理。或者甚至在可由DVD播放器96A执行的普通处理和可变处理中，如果集成处理器27可比DVD播放器96A更有效地执行，则集成处理器27可执行相应的处理。
图39表示一例图38所示的DVD播放器96A(常规装置)的结构。
DVD 131由主轴电机132旋转。拾取器134把光束加到DVD 131并且接收DVD 131反射的光。拾取器134还把代表接收的光量的播放信号提供给伺服电路133和信道解码电路135。伺服电路133基于来自拾取器134的播放信号控制主轴电机132和拾取器134。
信道解码电路135对来自拾取器134的播放信号执行信道解码并将其提供给纠错电路136。纠错电路136根据包含在输出信号中的纠错码对从信道解码电路135提供的输出信号执行纠错，并将结果得到的信号提供给解码电路137。解码电路137对来自纠错电路136的输出执行MPEG解码并将其提供给后处理电路138。后处理电路138对MPEG解码的图像数据执行后处理并输出结果得到的图像。
图40表示选择为存储装置的DVD播放器96B(特殊装置)和选择为与集成处理框1连接的输出装置的液晶监视器80B(特殊装置)。
由DVD播放器96B得到的播放信号被提供给集成处理器27。之后可变处理组28执行作为时间/空间处理的信道解码处理和纠错处理以适合于DVD播放器96B。之后普通处理组29对播放信号执行解码处理以降其解码为图像数据。随后，可变处理组28对解码的图像数据执行作为时间/空间处理的后处理以适合于DVD播放器96B。可变处理组28执行作为灰度级处理的γ校正处理、灰度级校正处理、黑电平校正处理和阴影处理、作为分量间处理的彩色校正处理和彩色矩阵转换处理、作为时间/空间处理的像素数转换处理和行数转换处理以及作为频率量处理的频率特性转换处理，以适合于液晶监视器80B。接着将结果得到的图像提供给并显示在液晶监视器80B上。
在图40中，与图25中一样，执行来适合于液晶监视器80B的灰度级处理、分量间处理、时间/空间处理和频率量处理都可由分类自适应处理执行。因此，上述处理可通过学习相应的预测系数独立地执行。或者，学习执行所有类型处理的预测系数，同时执行处理。
在图40中，作为时间/空间处理的信道解码处理对应于图39所示的信道解码电路135执行的处理。作为时间/空间处理的纠错编码处理对应于图39所示的纠错电路136执行的处理。作为普通处理的解码处理对应于图39所示的解码电路137执行的处理。作为时间/空间处理的后处理对应于图39所示的后处理电路138。作为灰度级处理的γ校正处理、灰度级校正处理、黑电平校正处理对应于图22所示的电平转换电路85和多电平电路86执行的处理。
在图40中，在作为分量间处理的彩色矩阵转换处理中，当从DVD播放器96B输出的图像数据由Y，U和V分量构成时，把Y，U和V分量转换为R，G和B分量。但是，当从DVD播放器96B输出的图像数据由R，G和B分量构成时，不执行彩色矩阵转换处理。
图41表示一例图40所示的DVD播放器96B的结构。与图39中相同的元件以相同的参考序号表示，其解释从略。
由于普通处理和可变处理由集成处理器27执行，可形成没有执行这种处理的块的DVD播放器96B。即，可形成如图41所示的DVD播放器96B，没有如图39所示的信道解码电路137、纠错电路136、解码电路137和后处理电路138。
从前面的描述明显看到，在集成处理框1中，对从各种装置提供来的或提供给各种装置的数据执行普通处理，并且也对各个装置执行可变处理。从而，可仅用服务于装置的功能的最少的部分(特殊部分)形成要连接于集成处理框1的装置。这使得用户仅替代装置的特殊部分，从而降低用户的经济负担。
集成处理框1执行的上述一系列处理可由硬件或软件执行。如果使用软件，把相应的软件程序安装于通用计算机中。
图42表示一例安装了上述软件程序的计算机的结构。
程序可提前记录在作为计算机内置记录介质的硬盘305或只读存储器(ROM)303中。
或者，程序暂时或永久存储(记录)在可移动记录介质311中，如软盘、只读光盘(CD-ROM)、磁光盘(MO)、DVD盘、磁盘和半导体存储器。这种可移动记录介质311可作为封装软件提供。
替代从可移动记录介质311向计算机安装程序，可无线地经数字广播人造卫星或者通过电缆经网络，如互联网或局域网(LAN)将程序从下载站点传输到计算机。然后计算机可由通信单元308接收程序并将其安装在内置硬盘305中。
计算机具有内置中央处理单元(CPU)302。输入/输出接口310经总线301连接于CPU 302。当用户通过操作输入单元307，如键盘、鼠标或麦克风经输入/输出接口310输入指令时，CPU 302执行存储在ROM 303中的程序。CPU302还把下面类型的程序装载到随机存取存储器(RAM)304中并执行它们：存储在硬盘305中的程序、经卫星或网络传输的由通信单元308接收并且接着安装在硬盘305中的程序以及从装载驱动器309中的可移动记录介质311中读出的并且随后安装在硬盘305中的程序。在这种情况下，CPU 302执行以上述流程图或框图代表的处理。之后CPU 302按需要经输入/输出接口310从输出单元306，如LCD或扬声器输出处理的结果，或者将处理的结果从通信单元308发送出去或者将其记录在硬盘305中。
形成促使计算机执行根据在本说明书中讨论的顺序时间上依次执行的各种类型的处理的程序的步骤不是必须的。或者，可同时或独立地执行它们(例如，执行同时或目标处理)。
程序可由单个计算机执行。或者，可以由多台计算机对程序执行分布处理。或者，程序可以传送到远程计算机并且在该计算机上执行。
可把中央处理框1形成为便携类型并且可将其连接于例如摄像机(或者特殊装置或者常规装置)。
可把集成处理框1连接于除上述装置之外的装置。
尽管在这个实施例中，图像数据在集成处理框1中进行处理，但除图像数据之外的数据，如音频数据可被处理。
另外，相同类型的输入装置，如摄像机，可根据制造者或机器类型处理为不同类型，在这种情况下，集成处理器27对于这种摄像机执行不同类型的处理。这一点同样可适用于输出装置和存储装置。