通信装置和方法.pdf

通信装置和方法
    【技术领域】

    本发明涉及一种通信系统及其方法，特别涉及一种用于将图像处理分布到网络上的多个服务器以执行用户所需的单独或独立图像处理的通信系统和方法，其中，该通信系统和方法允许以较低费用在网络平台上提高图像处理速度。

    背景技术

    一般，在网络上合成用户所需图像的技术是众所周知的。

    合成图像通常通过叠加和加入多个预先存在的图像如已经存储在通过网络连接的服务器上的图像或者从数字静止摄像机获得的图像来生成。在某些情况下，合成图像可以通过纹理映射来生成。

    然而，所存在的问题是通过使用上述传统方法生成的合成图像导致运动模糊的出现。例如，移动物体一般都发生运动模糊，从而不能准确地并入合成图像。因此，合成处理是以低准确性执行的，并且在合成图像中经常产生不自然的现象。

    另外，如果一个服务器执行大批任务的合成处理，则该处理需要非常长的时间。例如，即使是叠加相同背景图像，叠加处理的重复次数也为所需图像数。这就给用户带来一个问题是当处理服务按时间收费时，费用将是相当大的负担。

    【发明内容】

    鉴于上述情况，本发明的一个目的是提供一种用于分布图像处理的通信系统和方法，其特征在于将多个任务分布到网络上的多个服务器，以执行用户所需地单独或独立图像处理，其中，该通信系统和方法允许以较低费用在网络平台上提高图像处理速度。

    本发明的第一通信装置，包括：分离部件，用于将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量确定的像素值组成；请求信息输入部件，用于输入用户请求信息；以及编码数据输出部件，用于输出当分离部件根据请求信息输入部件所输入的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据。

    还可以包括收费部件，用于根据请求信息执行收费处理。

    收费部件可以根据请求信息，生成收费信息包括用户ID、通信系统ID和对应于请求信息的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    编码数据输出部件可以以仅在收费部件完成收费处理之后完成收费处理的用户才可获得的方式输出编码数据。

    除用户请求信息之外，请求信息输入部件还可以输入预定图像数据。编码数据输出部件可以以仅在收费部件完成收费处理之后完成收费处理的用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和预定图像数据将图像分离为前景成分图像和背景成分图像时生成的有效信息，输出编码数据。

    还可以包括区域信息生成部件，用于生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域。有效信息可以包括区域信息，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和预定图像数据将图像分离为前景成分图像和背景成分图像时生成的区域信息，输出编码数据。

    还可以包括混合比率生成部件，用于生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率。有效信息可以包括混合比率，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和预定图像数据将图像分离为前景成分图像和背景成分图像时生成的混合比率，输出编码数据。

    分离部件可以根据区域信息和混合比率将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成预定图像的光量确定的像素值组成。有效信息可以包括前景成分图像和背景成分图像，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，输出由请求信息输入部件输入的请求信息，并且作为当分离部件将图像分离为前景成分图像和背景成分图像时生成的前景成分图像和背景成分图像，输出编码数据。

    除用户请求信息之外，请求信息输入部件还可以输入用于辨别预定图像数据的图像数据ID，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和对应于图像数据ID的预定图像数据将预定图像分离为前景成分图像和背景成分图像时生成的有效信息，输出编码数据。

    还可以包括区域信息生成部件，用于生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成对应于图像数据ID的预定图像数据的前景对象的前景对象成分组成，背景区域由构成对应于图像数据ID的预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域。有效信息可以包括区域信息，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和预定图像数据将预定图像分离为前景成分图像和背景成分图像时生成的区域信息，输出编码数据。

    还可以包括混合比率生成部件，用于生成对应于图像数据ID的预定图像数据中混合区域的混合比率。有效信息可以包括混合比率，并且编码数据输出部件可以以仅在所述收费部件完成收费处理之后用户才可获得的方式，作为当分离部件根据请求信息输入部件所输入的请求信息和对应于图像数据ID的预定图像数据将预定图像分离为前景成分图像和背景成分图像时生成的混合比率，输出编码数据。

    分离部件可以根据区域信息和混合比率将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成预定图像的光量确定的像素值组成。有效信息可以包括前景成分图像和背景成分图像，并且编码数据输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式，输出由请求信息输入部件输入的请求信息，并且作为当分离部件将预定图像分离为前景成分图像和背景成分图像时生成的前景成分图像和背景成分图像，输出编码数据。

    本发明的第一通信方法，包括：分离步骤，将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量确定的像素值组成；请求信息输入步骤，输入用户请求信息；以及编码数据输出步骤，输出当在分离步骤根据在请求信息输入步骤输入的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据。

    本发明的第一记录介质的程序，包括：分离控制步骤，控制将图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量确定的像素值组成；请求信息输入控制步骤，控制输入用户请求信息；以及编码数据输出控制步骤，控制输出当在分离控制步骤根据在请求信息输入控制步骤输入的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据。

    本发明的第一程序使计算机执行如下步骤：分离控制步骤，控制将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量确定的像素值组成；请求信息输入控制步骤，控制输入用户请求信息；以及编码数据输出控制步骤，控制输出当在分离控制步骤根据在所述请求信息输入控制步骤输入的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据。

    在第一通信系统及其方法和第一程序中，将图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量确定的像素值组成；输入用户请求信息；以及输出当根据所输入的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据。

    附图简述

    图1是应用本发明的图像处理系统的一个实施例的结构图；

    图2是图1的分离服务器的结构图；

    图3是图1的摄像机终端单元的结构图；

    图4是图1的分离服务器的功能图；

    图5是图1的分离服务器的另一功能图；

    图6是图1的运动检测服务器的功能图；

    图7是图1的运动检测服务器的另一功能图；

    图8是图1的区域指定服务器的功能图；

    图9是图1的区域指定服务器的另一功能图；

    图10是图1的混合比率计算服务器的功能图；

    图11是图1的混合比率计算服务器的另一功能图；

    图12是图1的前景/背景图像分离服务器的功能图；

    图13是图1的前景/背景图像分离服务器的另一功能图；

    图14是图1的运动模糊调整服务器的功能图；

    图15是图1的运动模糊调整服务器的另一功能图；

    图16是图1的编码服务器的功能图；

    图17是图1的编码服务器的另一功能图；

    图18是图1的存储服务器的功能图；

    图19是图1的存储服务器的另一功能图；

    图20是图1的合成服务器的功能图；

    图21是图1的合成服务器的另一功能图；

    图22是图1的校正服务器的功能图；

    图23是图1的校正服务器的另一功能图；

    图24是图1的购买服务器的功能图；

    图25是图1的出售服务器的功能图；

    图26是图1的检索服务器的功能图；

    图27是示出分离服务器的方框图；

    图28是示出传感器的图像拍摄的图；

    图29是示出像素排列的图；

    图30是示出检测元件操作的图；

    图31A是示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像的图；

    图31B是示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像的另一图；

    图32是示出背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域的图；

    图33是在拍摄对应于静止前景的对象和对应于静止背景的对象的图像中沿着时间方向扩展连续排列在一行中的像素的像素值的模型图；

    图34是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图35是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图36是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图37是提取前景区域、背景区域以及混合区域中的像素的示例图；

    图38是示出像素之间的关系以及沿着时间方向扩展像素值的模型的图；

    图39是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图40是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图41是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图42是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图43是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图44是示出运动模糊量调整过程的流程图；

    图45是区域指定单元103的结构示例方框图；

    图46是示出当对应于前景的对象正在移动时的图像的图；

    图47是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图48是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图49是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图50是示出区域判定条件的图；

    图51A是区域指定单元103中的区域指定结果的示例图；

    图51B是区域指定单元103中的区域指定结果的示例图；

    图51C是区域指定单元103中的区域指定结果的示例图；

    图51D是区域指定单元103中的区域指定结果的示例图；

    图52是区域指定单元103中的区域指定结果的示例图；

    图53是示出区域指定处理的流程图；

    图54是区域指定单元103的另一结构示例方框图；

    图55是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图56是背景图像的示例图；

    图57是二值对象图像提取部分302的结构方框图；

    图58A是示出相关值计算的图；

    图58B是示出相关值计算的图；

    图59A是示出相关值计算的图；

    图59B是示出相关值计算的图；

    图60是二值对象图像的示例图；

    图61是时间变化检测器303的结构方框图；

    图62是示出区域判定部分342的判定的图；

    图63是时间变化检测器303的判定的示例图；

    图64是示出区域指定单元103的区域指定处理的流程图；

    图65是示出区域指定处理详细信息的流程图；

    图66是区域指定单元103的另一结构方框图；

    图67是鲁棒处理部分361的结构方框图；

    图68是示出运动补偿器381的运动补偿的图；

    图69是示出运动补偿器381的运动补偿的图；

    图70是示出区域指定处理的流程图；

    图71是示出鲁棒处理详细信息的流程图；

    图72是混合比率计算单元104的结构示例方框图；

    图73是理想混合比率α的示例图；

    图74是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图75是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图76是示出使用前景成分相关性进行近似的图；

    图77是示出C、N和P之间的关系的图；

    图78是估计混合比率处理器401的结构方框图；

    图79是估计混合比率的示例图；

    图80是混合比率计算器104的另一结构方框图；

    图81是示出混合比率计算处理的流程图；

    图82是示出估计混合比率计算处理的流程图；

    图83是示出混合比率α的直线近似的图；

    图84是示出混合比率α的平面近似的图；

    图85是示出当计算混合比率α时多个帧内像素之间的对应关系的图；

    图86是估计混合比率处理器401的另一结构方框图；

    图87是估计混合比率的示例图；

    图88是示出通过使用对应于覆盖背景区域的模型执行混合比率估计处理的流程图；

    图89是前景/背景分离器105的结构示例方框图；

    图90A是示出输入图像、前景成分图像和背景成分图像的图；

    图90B是示出输入图像、前景成分图像和背景成分图像的图；

    图91是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图92是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图93是沿着时间方向扩展像素值并且将快门时间划分为时间区间的模型图；

    图94是分离部分601的结构示例方框图；

    图95A是分离出的前景成分图像和背景成分图像的示例图；

    图95B是分离出的前景成分图像和背景成分图像的示例图；

    图96是示出前景/背景分离处理的流程图；

    图97是运动模糊调整单元106的结构示例方框图；

    图98是示出处理单元的图；

    图99是沿着时间方向扩展前景成分图像像素值并且将快门时间划分为时间区间的模型图；

    图100是沿着时间方向扩展前景成分图像像素值并且将快门时间划分为时间区间的模型图；

    图101是沿着时间方向扩展前景成分图像像素值并且将快门时间划分为时间区间的模型图；

    图102是沿着时间方向扩展前景成分图像像素值并且将快门时间划分为时间区间的模型图；

    图103是运动模糊调整单元106的另一结构图；

    图104是示出在运动模糊调整单元106中对包含在前景成分图像中的运动模糊量进行调整的过程的流程图；

    图105是运动模糊调整单元106的另一结构示例方框图；

    图106是指定像素值与前景成分的关系的模型示例图；

    图107是示出前景成分计算的图；

    图108是示出前景成分计算的图；

    图109是示出前景运动模糊消除处理的流程图；

    图110是分离服务器的另一功能结构方框图；

    图111是合成器1001的结构图；

    图112是分离服务器的另一功能结构方框图；

    图113是混合比率计算器1101的结构方框图；

    图114是前景/背景分离器1102的结构方框图。

    图115是分离服务器的另一功能结构方框图；

    图116是合成器1201的结构图；

    图117是示出分离服务的流程图；

    图118是示出收费处理的流程图；

    图119是示出收费处理的流程图；

    图120是收费处理的另一示例流程图；

    图121是示出运动检测服务的流程图；

    图122是示出区域指定服务的流程图；

    图123是示出混合比率计算服务的流程图；

    图124是示出前景/背景分离服务的流程图；

    图125是示出运动模糊调整服务的流程图；

    图126是示出编码服务器的图；

    图127是示出编码服务的流程图；

    图128是示出通过编码处理的压缩能力的图；

    图129是示出编码服务器的另一示例图；

    图130是示出合成服务的流程图；

    图131是示出加密运动模糊加入单元的图；

    图132是示出加密运动模糊消除单元的图；

    图133是示出加密运动模糊加入过程的图；

    图134是示出加密运动模糊加入过程的图；

    图135是示出加密运动模糊加入过程的图；

    图136是示出加密处理的流程图；

    图137是示出加密运动模糊加入过程的图；

    图138是示出加密运动模糊加入过程的图；

    图139是示出加密运动模糊加入过程的图；

    图140是示出加密运动模糊加入过程的图；

    图141是示出加密运动模糊加入过程的图；

    图142是示出加密运动模糊加入过程的图；

    图143是示出加密运动模糊加入过程的图；

    图144是示出加密运动模糊加入过程的图；

    图145是示出加密运动模糊加入过程的图；

    图146是示出加密运动模糊加入过程的图；

    图147是示出加密运动模糊加入过程的图；

    图148是示出加密运动模糊加入过程的图；

    图149是示出加密运动模糊加入过程的图；

    图150是示出加密运动模糊加入过程的图；

    图151是示出加密服务的流程图；

    图152是示出校正服务器的图；

    图153A是示出调整过程的图；

    图153B是示出调整过程的图；

    图153C是示出调整过程的图；

    图153D是示出调整过程的图；

    图154是示出调整过程的流程图；

    图155是示出购买服务的流程图；

    图156是示出出售服务的流程图；

    图157是示出收费服务的流程图；

    图158是示出检索服务器的图；

    图159是示出检索服务的流程图；以及

    图160是示出检索服务的图。

    最佳实施方式

    图1是示出本发明的图像处理系统的一个实施例的图。

    本发明的图像处理系统构造为，分离服务器11、运动检测服务器12、区域指定服务器13、混合比率计算服务器14、前景/背景图像分离服务器15、运动模糊调整服务器16、编码服务器17、存储服务器18-1、18-2、合成服务器19、校正服务器20、购买服务器21、出售服务器22、检索服务器23、帐户收费服务器24、金融交易服务器(针对顾客)25、金融交易服务器(针对提供商)26、客户计算机27和摄像机终端单元28-1～28-n通过网络1如因特网连接以相互交换数据。分离服务器11、运动检测服务器12、区域指定服务器13、混合比率计算服务器14、前景/背景图像分离服务器15、运动模糊调整服务器16、编码服务器17、合成服务器19、校正服务器20、购买服务器21、出售服务器22、检索服务器23、帐户收费服务器24和金融交易服务器(针对顾客和提供商)25、26分别由提供分离服务、运动检测服务、区域指定服务、混合比率计算服务、前景/背景分离服务、运动模糊调整服务、编码服务、合成服务、校正服务、购买服务、出售服务、检索服务、收费服务和金融交易服务(针对顾客和提供商)的提供商进行管理或负责。而且，在下面描述中，存储服务器18-1、18-2或摄像机终端单元28-1～28-n在不需要区别它们时简单地称作存储服务器18或摄像机终端单元28。而且，对于其他服务器和单元，也是这样。

    图2是本发明的分离服务器11的结构图。

    CPU(Central Processing Unit，中央处理单元)41根据存储在ROM(ReadOnly Memory，只读存储器)42或者存储单元48中的程序，执行各种处理。数据或由CPU41执行的程序根据需要存储在RAM(Random Access Memory，随机访问存储器)43中。CPU41、ROM42和RAM43通过总线44相互连接。

    输入/输出接口45通过总线44连接到CPU41。包括键盘、鼠标、麦克风等的输入单元46以及包括显示器、扬声器等的输出单元47连接到输入/输出接口45。CPU41根据从输入单元46输入的指令执行各种处理。CPU41将通过处理获得的图像、语音等输出到输出单元47。

    连接到输入/输出接口45的存储单元48包括例如硬盘，并且存储由CPU41执行的程序或各种数据。通信单元49通过因特网或其它网络与外部设备进行通信。

    而且，程序还可以通过通信单元49进行获取，并且存储在存储单元48中。

    当装载磁盘61、光盘62、光磁盘63、半导体存储器等时，连接到输入/输出接口45的驱动器30对它们进行驱动，以获取存储在其中的程序或数据。所获取的程序或数据根据需要传输到存储单元48，并且存储在其中。

    而且，由于运动检测服务器12、区域指定服务器13、混合比率计算服务器14、前景/背景图像分离服务器15、运动模糊调整服务器16、编码服务器17、存储服务器18-1、18-2、合成服务器19、校正服务器20、购买服务器21、出售服务器22、检索服务器23、帐户收费服务器24、金融交易服务器(针对顾客)25、金融交易服务器(针对提供商)26和客户计算机27的基本结构与分离服务器11相同，因此略去不述。

    图3是本发明的摄像机终端单元28的结构图。摄像机终端单元28构造为，在输入单元76中提供传感器76a和GPS(Global Positioning System，全球定位系统)76b，在输出单元77中提供LCD(Liquid Crystal Display，液晶显示器)77a，并且其他结构与分离服务器11相同。也就是，摄像机终端单元28的CPU71、ROM72、RAM73、总线74、输入/输出接口75、输入单元76、输出单元77、存储单元78、通信单元79、驱动器80、磁盘91、光盘92、光磁盘93和半导体存储器94分别对应于分离服务器11的CPU41、ROM42、RAM43、总线44、输入/输出接口45、输入单元46、输出单元47、存储单元48、通信单元49、驱动器50、磁盘61、光盘62、光磁盘63和半导体存储器64。

    传感器76a是图像拍摄元件，并且将所拍摄的图像输出到输入单元76。GPS76b根据从同步卫星(未示出)传输的信号检测地球位置信息(经度和纬度)，并且将所检测的位置信息输出到输入单元76。LCD77a显示从输出单元77输出的图像。

    下一步，将参照图4和5描述分离服务器11。

    如图4所示，分离服务器11通过后面将要提及的方法将例如通过网络1从客户计算机27输入的图像分离为前景成分图像和背景成分图像，为输入图像、前景成分图像和背景成分图像生成ID，然后将它们输出到客户计算机27，将它们存储在它自己的存储单元中，通过网络1将它们输出到存储服务器18以进行存储，或者将它们输出到网络上的其他服务器以进行存储。在此，前景成分图像是指由输入图像的移动成分组成的图像，并且背景成分图像是指不包含移动成分的静止部分图像。此时，收费处理器11a通过网络1使帐户收费服务器24根据分离处理费用执行收费处理。而且，如图5所示，如果输入指定图像的图像ID而不是图像，则分离服务器11访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以读取对应于输入图像ID的图像数据，并且将图像数据分离为前景成分图像和背景成分图像。然后，分离服务器11为存储在其自己存储单元中的每个图像生成ID，或者将它们输出到网络1上的其他服务器，以执行它们各自的处理。

    而且，在下面描述中，图像ID作为图像指定信息的例子来说明。然而，也可以使用能够指定图像的任何其他信息，例如，后面将要描述的图像位置信息作为图像指定信息。

    下一步，参照图6和7，将说明运动检测服务器12。

    如图6所示，运动检测服务器12的对象提取单元12a提取例如从客户计算机27等输入的图像中的图像对象，并且将它们输出到运动检测器12b。运动检测器12b检测输入图像对象的运动向量和位置信息，然后将它们输出到客户计算机27，将它们存储到它自己的存储单元中或者将它们输出到网络1上的其他服务器，以执行它们各自的处理。此时，收费处理器12c通过网络1使帐户收费服务器24根据检测每个图像对象的运动向量和位置信息的费用执行收费处理。在本说明书中，作为图像拍摄目标且对应于真实世界对象的图像称作对象。

    另外，如图7所示，如果输入指定图像的图像ID而不是图像，则运动检测服务器12访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以读取对应于输入图像ID的图像数据，然后执行与上述相同的处理。

    下一步，参照图8和9，将说明区域指定服务器13。

    如图8所示，区域指定服务器13根据通过网络1从客户计算机27输入的图像和指定输入图像对象的对象指定信息，对输入图像的每个像素指定前景区域、背景区域、混合区域，生成指定前景区域、背景区域和混合区域包括哪些像素的信息(以下称作区域信息)，然后将其输出到客户计算机27，将其存储到它自己的存储单元中或者将其输出到网络1上的其他服务器，以执行它们各自的处理。此时，收费处理器13a通过网络1使帐户收费服务器24根据区域指定处理的费用执行收费处理。而且，如图9所示，如果输入指定图像的图像ID而不是图像，则区域指定服务器13访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像ID的图像，然后输出与图像的对象指定信息相对应的区域信息。

    下一步，参照图10和11，将说明混合比率计算服务器14。

    如图10所示，混合比率计算服务器14根据通过网络1从客户计算机27等输入的图像、指定图像对象的对象指定信息和区域信息，计算包括在混合区域中的像素所对应的混合比率(以下称作混合比率α)，然后将它们输出到客户计算机27，将它们存储到它自己的存储单元中或者通过网络1输出到其他服务器，以通过网络1执行它们各自的处理。此时，收费处理器14a通过网络1使帐户收费服务器24根据混合比率计算处理的费用执行收费处理。而且，如图11所示，如果输入指定图像的图像ID而不是图像，则混合比率计算服务器14访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像ID的图像，然后执行与上述相同的处理。

    下一步，参照图12和13，将说明前景/背景图像分离服务器15。

    如图12所示，前景/背景图像分离服务器15根据从客户计算机27等输入的图像、指定图像对象的对象指定信息、区域信息和混合比率α，将输入图像分离为仅包括对应于前景对象的图像成分(以下称作前景成分)的前景成分图像和仅包括背景成分(以下称作背景成分)的背景成分图像，为每个图像生成ID，然后将它们输出到客户计算机27，将它们存储到它自己的存储单元中或者通过网络1将它们输出到网络1上的其他服务器，以执行它们各自的处理。此时，收费处理器15a通过网络1使帐户收费服务器24根据前景/背景分离处理费用执行收费处理。而且，如图13所示，如果输入指定图像的图像ID而不是图像，则前景/背景图像分离服务器15访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像ID的图像，然后执行与上述相同的处理。

    下一步，参照图14和15，将说明运动模糊调整服务器16。

    如图14所示，运动模糊调整服务器16根据从客户计算机27等输入的前景成分图像、运动向量和运动模糊量，通过消除前景图像成分中的运动模糊并且减小或增大前景成分图像中的运动模糊量，调整前景图像成分中的运动模糊量，从而生成经过运动模糊量调整的前景成分图像，并且为每个图像生成ID，然后将它们输出到客户计算机27，将它们存储到它自己的存储单元中或者将它们输出到网络1上的其他服务器，以执行它们各自的处理。此时，收费处理器16a通过网络1使帐户收费服务器24根据运动模糊调整处理费用执行收费处理。而且，如图15所示，如果输入指定前景成分图像的前景成分图像ID而不是前景成分图像，则运动模糊调整服务器16访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入前景成分图像ID的前景成分图像，然后执行与上述相同的处理。

    下一步，参照图16和17，将说明编码服务器17。

    如图16所示，编码服务器17将从客户计算机27等输入的图像分离为前景成分图像和背景成分图像，为每个图像生成ID，将它们存储到它自己的存储单元中或者将它们输出到网络1上的其他服务器，生成具有表示服务器在网络1上的位置的代码的前景成分图像的位置信息和背景成分图像的位置信息，如前景成分图像和背景成分图像所输出的服务器的URL(UniversalResource Locator，全球资源定位符)，然后通过网络1将它们与包括图像的运动向量、位置信息和混合比率的信息一起输出。而且，从编码服务器输出的信息可以是编码信息、图像和编码信息、或者图像本身，并且可以根据需要改变。此时，收费处理器17a通过网络1使帐户收费服务器24根据编码处理费用执行收费处理。而且，如图17所示，如果输入指定图像的图像ID而不是图像，则编码服务器17访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像ID的图像，然后执行与上述相同的处理。

    下一步，参照图18和19，将说明存储服务器18。

    如图18所示，存储服务器18通过网络1连接，存储从各种服务器传输的图像，并且与图像ID一起输出对应于存储图像的图像位置信息。例如，客户计算机27可以使用图像位置信息通过网络1访问并且调出所需图像。也就是，如图19所示，例如，客户计算机27可以根据图像位置信息访问网络1上的存储服务器18，并且通过指定对应于所需图像的图像ID，读出所需图像。而且，图像位置信息和图像ID在本说明书中是分开说明的，但是图像位置信息可以是图像ID的一部分。在这种情况下，可以从图像ID识别图像位置信息和其中存储(保存或处理)图像位置信息的网络1上的服务器。而且，存储服务器18可以存储运动向量、位置信息、混合比率和运动模糊量以及图像数据。

    下一步，参照图20和21，将说明合成服务器19。

    如图20所示，合成服务器19通过使用从例如客户计算机27等输入的两个图像A、B、运动向量、位置信息、混合比率和运动模糊量，合成图像A和B，以生成合成图像A+B，然后将它们输出到客户计算机27，将其存储到它自己的存储单元中或者通过网络1将其输出到网络1上的其他服务器，以执行它们各自的处理。在这种情况下，图像A、B是通过将其中一个图像看作前景成分图像并且将另一个图像看作背景成分图像来合成的。此时，收费处理器19a通过网络1使帐户收费服务器24根据合成处理费用执行收费处理。而且，如图21所示，如果输入指定图像A和B的图像AID和图像BID而不是图像A和B，则合成服务器19访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像AID和图像BID的图像，然后执行与上述相同的处理。

    下一步，参照图22和23，将说明校正服务器20。

    如图22所示，校正服务器20根据运动向量、位置信息、混合比率和运动模糊量，对从例如客户计算机27等输入的图像进行校正，生成校正图像，并将其输出到客户计算机27，存储到它自己的存储单元中，或者网络1上的其他服务器以执行它们各自的处理。此时，收费处理器20a通过网络1使帐户收费服务器24根据校正处理费用执行收费处理。而且，如图23所示，如果输入指定图像的图像ID而不是图像，则校正服务器20访问网络1上的后面将要描述的检索服务器23或存储服务器18，或者检索它自己的存储单元(例如，图3的存储单元78)，以调出对应于输入图像ID的图像，然后执行与上述相同的处理。

    下一步，参照图24，将说明购买服务器21。

    如图24所示，如果想要购买图像的用户从例如客户计算机27等输入一个图像ID来指定想要购买的图像，则购买服务器21访问网络1上的分离服务器11、存储服务器18、合成服务器19或校正服务器20，以调出相应图像，并且通过网络将该图像输出到例如客户计算机27。此时，收费处理器21a通过网络1使帐户收费服务器24根据购买处理费用执行收费处理。

    下一步，参照图25，将说明出售服务器22。

    如图25所示，如果想要出售图像的用户通过网络1输入一个图像，其中，该图像可以是例如通过分离服务器11、合成服务器19或校正服务器20生成的分离图像、合成图像或校正图像，则出售服务器22将该图像存储在网络1上的分离服务器11、存储服务器18、合成服务器19或校正服务器20中，并且收费处理器22a通过网络1使帐户收费服务器24根据出售图像费用执行收费处理(在这种情况下，处理出售服务的提供商使想要出售的用户根据对应于出售图像的处理费用执行支付处理)。

    下一步，参照图26，将说明检索服务器23。

    检索服务器23根据来自客户计算机27的指定用户所需图像的特征的信息和摄像机终端单元28-1到28-n的物理位置信息，检索正由或已由摄像机终端单元28-1到28-n拍摄的图像，以将它作为请求图像输出到例如客户计算机27。此时，收费处理器23a通过网络1使帐户收费服务器24根据检索处理费用执行收费处理。

    而且，在本说明书中，编码是指将图像数据转换为前景成分图像、背景成分图像、运动向量、位置信息、运动模糊量和混合比率信息的数据，并且其数据称作编码数据。

    图27是示出分离服务器11的方框图。

    而且，分离服务器11的各功能是用硬件还是用软件实现无关紧要。也就是，本发明的各方框图可以视作硬件方框图或软件功能方框图。

    提供给分离服务器11的输入图像提供给对象提取单元101、区域指定单元103、混合比率计算器104和前景/背景分离器105。

    对象提取单元101粗略提取输入图像的前景对象所对应的图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101例如检测输入图像的前景图像所对应的图像对象的轮廓，并且粗略提取对应于前景对象的图像对象。

    对象提取单元101粗略提取输入图像的背景对象所对应的图像对象，并且将所提取的图像对象提供给运动检测器102。对象提取单元101根据例如输入图像与所提取的前景对象所对应的图像对象之间的差异，粗略提取对应于背景对象的图像对象。

    而且，例如，对象提取单元101可以根据存储在内置背景存储器中的背景图像与输入图像之间的差异，粗略提取对应于前景对象的图像对象和对应于背景对象的图像对象。

    运动检测器102通过例如分块匹配法、均分方、相位相关法或像素递归法的技术，计算粗略提取的对应于前景对象的图像对象的运动向量，以将算出的运动向量及其位置信息(指定对应于运动向量的像素位置的信息)提供给区域指定单元103和运动模糊调整单元106。从运动检测器102输出的运动向量包含对应于移动量v的信息。

    而且，例如，运动检测器102可以将每个图像对象的运动向量与指定图像对象像素的像素位置信息一起输出到运动模糊调整单元106。

    表示对应于移动对象的图像的位置变化的移动量v以像素间距为单位表达。例如，如果对应于前景的对象图像发生移动，并且相对于基准帧在其下一帧中显示在偏离四个像素的位置上，则对应于前景的对象的移动量v为4。

    而且，调整对应于移动对象的运动模糊量，需要对象提取单元101和运动检测器102。

    区域指定单元103为输入图像的每个像素指定前景区域、背景区域或混合区域，并且将表示每个像素的前景区域、背景区域或混合区域的信息提供给混合比率计算单元104、前景/背景分离器105和运动模糊调整单元106。

    混合比率计算器104根据输入图像以及从区域指定单元103提供的区域信息，计算混合区域中的像素所对应的混合比率，并且将算出的混合比率提供给前景/背景分离器105。

    混合比率α是表示对应于背景对象的图像成分(以下称作“背景成分”)在像素值中所占比率的值，如下述方程(3)所示。

    前景/背景分离器105根据从区域指定单元103提供的区域信息和从混合比率计算器104提供的混合比率α，将输入图像分离为仅包括对应于前景对象的图像成分(以下称作“前景成分”)的前景成分图像和仅包括背景成分的背景成分图像，以将前景成分图像提供给运动模糊调整单元106和选择器107。此外，可以考虑分离出的前景成分图像为最终输出。与仅指定并分离前景和背景而不考虑混合区域的传统方法相比，可以获得更准确的前景和背景。

    运动模糊调整单元106根据从运动向量得知的移动量v以及区域信息，确定指定前景成分图像中的一个或多个像素的处理单元。处理单元是指定作为运动模糊量调整处理目标的一组像素的数据。

    运动模糊调整单元106根据输入到分离服务器11的运动模糊量、从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量及其位置信息、以及处理单元，通过消除前景成分图像中的运动模糊，减小运动模糊量，增加运动模糊量等，调整前景成分图像中的运动模糊量，并且将经过运动模糊量调整的前景成分图像输出到选择器107。可以不使用运动向量及其位置信息。

    在此，运动模糊是指由于作为拍摄目标的真实世界对象的移动和传感器的拍摄特性而产生的包含在对应于移动对象的图像中的失真。

    选择器107根据例如对应于用户所作选择的选择信号，选择从前景/背景分离器105提供的前景成分图像或从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像，然后输出所选前景成分图像。

    下一步，将参照图28到43对提供给分离服务器11的输入图像进行描述。

    图28是示出由传感器76a拍摄的图像的图。传感器76a例如包括具有作为固态图像拍摄设备的CCD(Charge Coupled Device，电荷耦合器件)区域传感器的CCD视频摄像机等。在图中，与真实世界中的前景相对应的对象112例如在传感器和与真实世界中的背景相对应的对象111之间从左向右水平移动。

    传感器76a拍摄对应于前景的对象112的图像以及对应于背景的对象111的图像。传感器76a以帧为单位输出拍摄图像。例如，传感器76a输出每秒30帧的图像。传感器76a的曝光时间设为1/30秒。曝光时间是指从开始将输入光转化为电荷到完成将输入光转化为电荷的时间区间。以下，曝光时间也称作“快门时间”。

    图29是示出像素排列的图。在图29中，‘A’到‘I’表示各个像素。这些像素排列在对应于图像的平面上。与各个像素一一相对应的检测元件排列在传感器76a上。当传感器76a拍摄图像时，检测元件输出组成图像的一个像素所对应的像素值。例如，检测元件在X方向上的位置对应于图像的水平位置，而检测元件在Y方向上的位置对应于图像的垂直位置。

    例如，如图30所示，CCD检测元件在对应于快门时间的时间区间内将输入光转化为电荷，并且存储所转化的电荷。电荷量与输入光的强度和输入光的时间区间大致成正比。检测元件在对应于快门时间的时间区间内将从输入光转化的电荷添加到已存储的电荷。也就是，检测元件在对应于快门时间的时间区间内累积输入光，以存储对应于累积光的电荷量。检测元件可以说是具有时间累积效应。

    在检测元件中存储的电荷通过未示出的电路转换为电压值，并且该电压值转换为像素值如数字数据等，以进行输出。因此，从传感器76a输出的各个像素值是通过在快门时间内累积对应于前景或背景的对象的某三维空间部分而投影到一维空间上的值。

    分离服务器11通过该传感器76a的存储操作，提取隐藏在输出信号中的任何有效信息，例如混合比率α。分离服务器11调整因前景图像对象自身的混合而产生的失真量，例如运动模糊量。此外，分离服务器11还调整因前景图像对象与背景图像对象的混合而产生的失真量。

    图31A到31D是示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像的图。图31A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像。在图31A所示的例子中，对应于前景的对象相对于屏幕从左向右水平移动。

    图31B是沿着时间方向扩展图31A所示图像的一行所对应的像素值的模型图。图31B的水平方向对应于图31A的空间方向X。

    背景区域像素的像素值只由背景成分，即对应于背景对象的图像成分构成。前景区域像素的像素值只由前景成分，即对应于前景的图像成分构成。

    混合区域像素的像素值由背景和前景成分构成。由于混合区域像素的像素值由背景成分和前景成分构成，因此混合区域可以称作“失真区域”。此外，混合区域分为覆盖背景区域和非覆盖背景区域。

    覆盖背景区域是相对于前景区域在前景对象的移动方向上的前端部分所对应的混合区域，其中，背景成分随着时间逐渐被前景覆盖。

    另一方面，未覆盖背景区域是相对于前景区域在前景对象的移动方向上的后端部分所对应的混合区域，其中，背景成分随着时间逐渐显现。

    这样，包括前景区域、背景区域、覆盖背景区域或非覆盖背景区域的图像作为输入图像输入到区域指定单元103、混合比率计算器104和前景/背景分离器105。

    图32是用于说明上述背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域的图。当一个图像对应于图31A和图31B所示的图像时，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景区域是从背景变成前景的部分，并且混合区域的非覆盖背景区域是从前景变成背景的部分。

    图33是沿着时间方向扩展通过拍摄对应于静止前景的对象和对应于静止背景的对象而获得的图像中连续排列在一行上的像素的像素值的模型图。例如，可以选择连续排列在屏幕的一行上的像素作为连续排列在一行上的像素。

    图33所示的像素值F01到F04是对应于静止前景对象的像素值。图33所示的像素值B01到B04是对应于静止背景对象的像素值。

    图33的垂直方向对应于时间，并且时间方向为图中从上到下的方向。图33中矩形上边位置对应于传感器76a开始将输入光转化为电荷的时间，并且图33中矩形下边位置对应于传感器76a完成将输入光转化为电荷的时间。也就是，图33中矩形上边到下边的距离对应于快门时间。

    现在，将以快门时间等于帧间距的情况为例进行说明。

    图33中的水平方向对应于图31A所示的空间方向X。更具体地说，在图33所示的例子中，图33中从以“F01”表示的矩形的左边到以“B04”表示的矩形的右边的距离是8倍像素间距，也就是，8个连续像素的间距。

    当前景对象和背景对象为静止时，输入到传感器76a的光在对应于快门时间的时间区间内没有变化。

    在此，对应于快门时间的时间区间划分为两个或多个相等长度。例如，如果虚拟划分数目为4，图33所示的模型图可以表示为图34的模型图。虚拟划分数目根据对应于前景的对象在快门时间内的的移动量v来建立。例如，如果移动量v定义为4，则虚拟划分数目设为4，并且对应于快门时间的时间区间划分为四个区间。

    图中的最上一行对应于打开快门之后的第一划分时间区间。图中的上起第二行对应于打开快门之后的第二划分时间区间。图中的上起第三行对应于打开快门之后的第三划分时间区间。图中的上起第四行对应于打开快门之后的第四划分时间区间。

    现在，根据移动量v划分快门时间的时间区间称作“快门时间/v”。

    当对应于前景的对象为静止时，由于输入到传感器76a的光不发生变化，因此，前景成分F01/v等于像素值F01除以虚拟划分数目而获得的值。类似地，当对应于前景的对象为静止时，前景成分F02/v等于像素值F02除以虚拟划分数目而获得的值，前景成分F03/v等于像素值F03除以虚拟划分数目而获得的值，并且前景成分F04/v等于像素值F04除以虚拟划分数目而获得的值。

    当对应于背景的对象为静止时，输入到传感器76a的光不发生变化，因此，背景成分B01/v等于像素值B01除以虚拟划分数目而获得的值。类似地，当对应于背景的对象为静止时，背景成分B02/v等于像素值B02除以虚拟划分数目而获得的值，背景成分B03/v等于像素值B03除以虚拟划分数目而获得的值，并且背景成分B04/v等于像素值B04除以虚拟划分数目而获得的值。

    也就是，当对应于前景的对象为静止时，由于输入到传感器76a的光在对应于快门时间的时间区间内不发生变化，因此，与打开快门之后的第一快门时间/v相对应的前景成分F01/v、与打开快门之后的第二快门时间/v相对应的前景成分F01/v、与打开快门之后的第三快门时间/v相对应的前景成分F01/v、以及与打开快门之后的第四快门时间/v相对应的前景成分F01/v都具有相同的值。F02/v到F04/v也具有与F01/v相同的关系。

    当对应于背景的对象为静止时，由于输入到传感器76a的光在对应于快门时间的时间区间内不发生变化，因此，与打开快门之后的第一快门时间/v相对应的背景成分B01/v、与打开快门之后的第二快门时间/v相对应的背景成分B01/v、与打开快门之后的第三快门时间/v相对应的背景成分B01/v、以及与打开快门之后的第四快门时间/v相对应的背景成分B01/v都具有相同的值。B02/v到B04/v具有与B01/v相同的关系。

    下一步，将说明对应于前景的对象为移动并且对应于背景的对象为静止的情况。

    图35是在对应于前景的对象如图所示向右移动情况下的模型图，其中，沿着时间方向扩展包括覆盖背景区域的一行上的像素的像素值。在图35中，前景的移动量v为4。由于一帧的时间很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图35中，对应于前景的对象图像在下一帧中向右移动四个像素。

    在图35中，最左像素到左起第四像素属于前景区域。在图35中，左起第五像素到第七像素属于作为覆盖背景区域的混合区域。在图35中，最右像素属于背景区域。

    由于对应于前景的对象发生移动，从而随着时间逐渐覆盖对应于背景的对象，因此包含在属于覆盖背景区域的像素的像素值中的成分在对应于快门时间的时间区间内的某个时间点从背景成分变成前景成分。

    例如，用方程(1)表示图35中粗框所示的像素值M：

    M＝B02/v+B02/v+F07/v+F06/v                       (1)

    例如，由于左起第五像素包含对应于一个快门时间/v的背景成分和对应于三个快门时间/v的前景成分，因此左起第五像素的混合比率α为1/4。由于左起第六像素包含对应于两个快门时间/v的背景成分和对应于两个快门时间/v的前景成分，因此左起第六像素的混合比率α为1/2。由于左起第七像素包含对应于三个快门时间/v的背景成分和对应于一个快门时间/v的前景成分，因此左起第七像素的混合比率α为3/4。

    因为可以假定对应于前景的对象为刚体，并且前景图像匀速移动从而在下一帧中显示在向右偏离四个像素的位置上，所以，例如，与打开快门之后的第一快门时间/v相对应的图35中左起第四像素的前景成分F07/v等于与打开快门之后的第二快门时间/v相对应的图35中左起第五像素的前景成分。类似地，前景成分F07/v等于与打开快门之后的第三快门时间/v相对应的图35中左起第六像素的前景成分，以及与打开快门之后的第四快门时间/v相对应的图35中左起第七像素的前景成分。

    因为可以假定对应于前景的对象为刚体，并且前景图像匀速移动从而在下一帧中显示在向右偏离四个像素的位置上，所以，例如，与打开快门之后的第一快门时间/v相对应的图35中左起第三像素的前景成分F06/v等于与打开快门之后的第二快门时间/v相对应的图35中左起第四像素的前景成分。类似地，前景成分F06/v分别等于与打开快门之后的第三快门时间/v相对应的图35中左起第五像素的前景成分，以及与打开快门之后的第四快门时间/v相对应的图35中左起第六像素的前景成分。

    因为可以假定对应于前景的对象为刚体，并且前景图像匀速移动从而在下一帧中显示在向右偏离四个像素的位置上，所以，例如，与打开快门之后的第一快门时间/v相对应的图35中左起第二像素的前景成分F05/v等于与打开快门之后的第二快门时间/v相对应的图35中左起第三像素的前景成分。类似地，前景成分F05/v分别等于与打开快门之后的第三快门时间/v相对应的图35中左起第四像素的前景成分，以及与打开快门之后的第四快门时间/v相对应的图35中左起第五像素的前景成分。

    因为可以假定对应于前景的对象为刚体，并且前景图像匀速移动从而在下一帧中显示在向右偏离四个像素的位置上，所以，例如，与打开快门之后的第一快门时间/v相对应的图35中左起第一像素的前景成分F04/v等于与打开快门之后的第二快门时间/v相对应的图35中左起第二像素的前景成分。类似地，前景成分F04/v分别等于与打开快门之后的第三快门时间/v相对应的图35中左起第三像素的前景成分，以及与打开快门之后的第四快门时间/v相对应的图35中左起第四像素的前景成分。

    由于对应于移动对象的前景区域如上所述包含运动模糊，因此它可以视作“失真区域”。

    图36是前景如图所示向右移动时的模型图，其中，沿着时间方向扩展包括非覆盖背景区域的一行上的像素的像素值。在图36中，前景的移动量v为4。由于一帧的时间很短，因此可以假定对应于前景的对象是匀速移动的刚体。在图36中，对应于前景的对象图像在下一帧中向右移动四个像素。

    在图36中，最左像素到左起第四像素属于背景区域。在图36中，左起第五到第七像素属于作为非覆盖背景的混合区域。在图36中，最右像素属于前景区域。

    由于覆盖对应于背景的对象的对应于前景的对象发生移动并且随着时间逐渐偏离被覆盖的对应于背景的对象，因此包含在属于非覆盖背景区域的像素的像素值中的成分在对应于快门时间的时间区间内的某时间点从前景成分变成背景成分。

    例如，用方程(2)表示图36中粗框所示的像素值M′：

    M′＝F02/v+F01/v+B26/v+B26/v                    (2)

    例如，由于左起第五像素包含对应于三个快门时间/v的背景成分和对应于一个快门时间/v的前景成分，因此左起第五像素的混合比率α为3/4。由于左起第六像素包含对应于两个快门时间/v的背景成分和对应于两个快门时间/v的前景成分，因此左起第六像素的混合比率α为1/2。由于左起第七像素包含对应于一个快门时间/v的背景成分和对应于三个快门时间/v的前景成分，因此左起第七像素的混合比率α为1/4。

    采用方程(1)和(2)的推广形式，可以用方程(3)表示像素值M：M=α·B+ΣiFi/v---(3)]]>其中α是混合比率，B是背景像素值，而Fi/v是前景成分。

    由于可以假定对应于前景的对象是匀速移动的刚体并且移动量v为4，因此，例如，与打开快门之后的第一快门时间/v相对应的图36中左起第五像素的前景成分F01/v等于与打开快门之后的第二快门时间/v相对应的图36中左起第六像素的前景成分。类似地，前景成分F01/v分别等于与打开快门之后的第三快门时间/v相对应的图36中左起第七像素的前景成分，以及与打开快门之后的第四快门时间/v相对应的图36中左起第八像素的前景成分。

    由于可以假定对应于前景的对象是匀速移动的刚体并且虚拟划分数目为4，因此，例如，与打开快门之后的第一快门时间/v相对应的图36中左起第六像素的前景成分F02/v等于与打开快门之后的第二快门时间/v相对应的图36中左起第七像素的前景成分。类似地，前景成分F02/v等于与打开快门之后的第三快门时间/v相对应的图36中左起第八像素的前景成分。

    由于可以假定对应于前景的对象是匀速移动的刚体并且移动量v为4，因此，例如，与打开快门之后的第一快门时间/v相对应的图36中左起第七像素的前景成分F03/v等于与打开快门之后的第二快门时间/v相对应的图36中左起第八像素的前景成分。

    在图34到36的说明中，对虚拟划分数目为4的情况进行了说明，但是虚拟划分数目对应于移动量v。移动量v通常对应于前景对象的移动速度。例如，如果对应于前景的对象发生移动并且相对于基准帧在其下一帧中显示在向右偏离四个像素的位置上，则移动量v定义为4。根据移动量v，虚拟划分数目设为4。类似地，例如，如果对应于前景的对象发生移动并且相对于基准帧在其下一帧中显示在向右偏离六个像素的位置上，则移动量v定义为6，并且虚拟划分数目设为6。

    图37和38示出前景区域、背景区域、包括覆盖背景区域和非覆盖背景区域的混合区域与对应于划分快门时间的前景成分或背景成分之间的关系。

    图37示出从包含在静止背景之前移动的对象所对应的前景的图像中提取前景区域、背景区域和混合区域的像素的例子。在图37所示的例子中，对应于前景的对象A相对于屏幕水平移动。

    帧#n+1是帧#n的下一帧，并且帧#n+2是帧#n+1的下一帧。

    图38示出一个模型，其中，前景区域、背景区域和混合区域的像素是从帧#n到帧#n+2之一中提取的，并且在移动量v为4的情况下沿着时间方向扩展所提取像素的像素值。

    由于对应于前景的对象A移动，因此前景区域的像素值包括与快门时间/v的区间相对应的四个不同前景成分。例如，图38所示前景区域的最左像素包括F01/v、F02/v、F03/v和F04/v。也就是，前景区域的像素包含运动模糊。

    由于对应于背景的对象静止，因此输入到传感器76a的对应于背景的光在对应于快门时间的时间区间内不发生变化。在这种情况下，背景区域的像素值不包含运动模糊。

    属于包含覆盖背景区域或非覆盖背景区域的混合区域的像素的像素值由前景成分和背景成分构成。

    下一步，将说明一个模型，其中，在对应于对象的图像移动的情况下，沿着时间方向扩展多个帧中连续排列在一行上且位于相同位置的像素的像素值。例如，当对应于对象的图像相对于屏幕水平移动时，可以选择位于屏幕的一行上的像素作为连续排列在一行上的像素。

    图39是沿着时间方向扩展三个图像帧中连续排列在一行上且位于相同位置的像素的像素值的模型图，其中，三个图像帧是通过拍摄对应于静止背景的对象而获得的。帧#n是帧#n-1的下一帧，并且帧#n+1是帧#n的下一帧。其它帧以相同的方式表示。

    图39所示的像素值B01到B12是对应于静止背景对象的像素值。由于对应于背景的对象静止，因此帧#n-1到帧#n+1中对应像素的像素值不发生变化。例如，所在位置与帧#n-1中具有像素值B05的像素相对应的帧#n像素和帧#n+1像素分别具有相同像素值B05。

    图40是沿着时间方向扩展三个图像帧中连续排列在一行上且位于相同位置的像素的像素值的模型图，其中，三个图像帧是通过拍摄与图中向右移动的前景相对应的对象以及与静止背景相对应的对象而获得的。图40所示的模型包含覆盖背景区域。

    在图40中，由于可以假定对应于前景的对象是匀速移动的刚体，并且前景图像在下一帧中向右偏离显示四个像素，因此，前景的移动量v定义为4，并且虚拟划分数目设为4。

    例如，与打开快门之后的第一快门时间/v相对应的图40中帧#n-1的最左像素的前景成分为F12/v，并且与打开快门之后的第二快门时间/v相对应的图40中左起第二像素的前景成分也为F12/v。类似地，与打开快门之后的第三快门时间/v相对应的图40中左起第三像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图40中左起第四像素的前景成分为F12/v。

    与打开快门之后的第二快门时间/v相对应的图40中帧#n-1的最左像素的前景成分为F11/v，并且与打开快门之后的第三快门时间/v相对应的图40中左起第二像素的前景成分也为F11/v。与打开快门之后的第四快门时间/v相对应的图40中左起第三像素的前景成分为F11/v。

    与打开快门之后的第三快门时间/v相对应的图40中帧#n-1的最左像素的前景成分为F10/v，并且与打开快门之后的第四快门时间/v相对应的图40中左起第二像素的前景成分也为F10/v。与打开快门之后的第四快门时间/v相对应的图40中帧#n-1的最左像素的前景成分为F09/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第一快门时间/v相对应的图40中帧#n-1的左起第二像素的背景成分为B01/v。与打开快门之后的第一和第二快门时间/v相对应的图40中帧#n-1的左起第三像素的背景成分为B02/v。与打开快门之后的第一到第三快门时间/v相对应的图40中帧#n-1的左起第四像素的背景成分为B03/v。

    在图40的帧#n-1中，最左像素属于前景区域，而左起第二到第四像素属于作为覆盖背景区域的混合区域。

    图40中帧#n-1的左起第五到第十二像素属于背景区域，并且其像素值分别为B04到B11。

    图40中帧#n的左起第一到第五像素属于前景区域。在帧#n的前景区域中，快门时间/v的前景成分是F05/v到F12/v中的一个。

    由于可以假定对应于前景的对象是匀速移动的刚体，并且前景图像在下一帧中向右偏离显示四个像素，因此，与打开快门之后的第一快门时间/v相对应的图40中帧#n的左起第五像素的前景成分为F12/v，并且与打开快门之后的第二快门时间/v相对应的图40中左起第六像素的前景成分也为F12/v。类似地，与打开快门之后的第三快门时间/v相对应的图40中左起第七像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图40中左起第八像素的前景成分为F12/v。

    与打开快门之后的第二快门时间/v相对应的图40中帧#n的左起第五像素的前景成分为F11/v，并且与打开快门之后的第三快门时间/v相对应的图40中左起第六像素的前景成分也为F11/v。与打开快门之后的第四快门时间/v相对应的图40中左起第七像素的前景成分为F11/v。

    与打开快门之后的第三快门时间/v相对应的图40中帧#n的左起第五像素的前景成分为F10/v，并且与打开快门之后的第四快门时间/v相对应的图40中左起第六像素的前景成分也为F10/v。与打开快门之后的第四快门时间/v相对应的图40中帧#n的左起第五像素的前景成分为F09/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第一快门时间/v相对应的图40中帧#n的左起第六像素的背景成分为B05/v。与打开快门之后的第一和第二快门时间/v相对应的图40中帧#n的左起第七像素的背景成分为B06/v。与打开快门之后的第一到第三快门时间/v相对应的图40中帧#n的左起第八像素的背景成分为B07/v。

    在图40的帧#n中，左起第六到第八像素属于作为覆盖背景区域的混合区域。

    图40中的帧#n的左起第九到第十二像素属于背景区域，并且其像素值分别为B08到B11。

    图40中的帧#n+1的左起第一到第九像素属于前景区域。在帧#n+1的前景区域中，对应于快门时间/v的前景成分是F01/v到F12/v中的一个。

    由于可以假定对应于前景的对象是匀速移动的刚体，并且前景图像在下一帧中向右偏离显示四个像素，因此，与打开快门之后的第一快门时间/v相对应的图40中帧#n+1的左起第九像素的前景成分为F12/v，并且与打开快门之后的第二快门时间/v相对应的图40中左起第十像素的前景成分也为F12/v。与打开快门之后的第三快门时间/v相对应的图40中左起第十一像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图40中左起第十二像素的前景成分为F12/v。

    与打开快门之后的第二快门时间/v相对应的图40中帧#n+1的左起第九像素的前景成分为F11/v，并且与打开快门之后的第三快门时间/v相对应的图40中左起第十像素的前景成分也为F11/v。与打开快门之后的第四快门时间/v相对应的图40中左起第十一像素的前景成分为F11/v。

    与打开快门之后的第三快门时间/v相对应的图40中帧#n+1的左起第九像素的前景成分为F10/v，并且与打开快门之后的第四快门时间/v相对应的图40中左起第十像素的前景成分也为F10/v。与打开快门之后的第四快门时间/v相对应的图40中帧#n+1的左起第九像素的前景成分为F09/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第一快门时间/v相对应的图40中帧#n+1的左起第十像素的背景成分为B09/v。与打开快门之后的第一和第二快门时间/v相对应的图40中帧#n+1的左起第十一像素的背景成分为B10/v。与打开快门之后的第一到第三快门时间/v相对应的图40中帧#n+1的左起第十二像素的背景成分为B11/v。

    在图40的帧#n+1中，左起第十到第十二像素属于作为覆盖背景区域的混合区域。

    图41是通过从图40所示的像素值中提取前景成分而获得的图像的模型图。

    图42是沿着时间方向扩展三个图像帧中连续排列在一行上且位于相同位置的像素的像素值的模型图，其中，三个图像帧是通过拍摄与图中向右移动的前景以及静止背景相对应的对象的图像而获得的。在图42中，包含非覆盖背景区域。

    在图42中，可以假定对应于前景的对象是匀速移动的刚体。由于对应于前景的对象发生移动并且在下一帧中向右偏离显示四个像素，因此前景的移动量v定义为4。

    例如，与打开快门之后的第一快门时间/v相对应的图42中帧#n-1的最左像素的前景成分为F13/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第二像素的前景成分也为F13/v。与打开快门之后的第三快门时间/v相对应的图42中左起第三像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图42中左起第四像素的前景成分为F13/v。

    与打开快门之后的第一快门时间/v相对应的图42中帧#n-1的左起第二像素的前景成分为F14/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第三像素的前景成分也为F14/v。与打开快门之后的第一快门时间/v相对应的图42中左起第三像素的前景成分为F15/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第二到第四快门时间/v相对应的图42中帧#n-1的最左像素的背景成分为B25/v。与打开快门之后的第三和第四快门时间/v相对应的图42中帧#n-1的左起第二像素的背景成分为B26/v。与打开快门之后的第四快门时间/v相对应的图42中帧#n-1的左起第三像素的背景成分为B27/v。

    在图42的帧#n-1中，左起第一、第二和第三像素属于作为非覆盖背景区域的混合区域。

    图42的帧#n-1中左起第四到第十二像素属于前景区域，该帧的前景成分是F13/v到F24/v中的一个。

    图42的帧#n中左起第一、第二、第三和第四像素属于背景区域，并且其像素值分别为B25到B28。

    由于可以假定对应于前景的对象是匀速移动的刚体，并且前景图像在下一帧中向右偏离显示四个像素，因此，与打开快门之后的第一快门时间/v相对应的图42中帧#n的左起第五像素的前景成分为F13/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第六像素的前景成分也为F13/v。与打开快门之后的第三快门时间/v相对应的图42中左起第七像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图42中左起第八像素的前景成分为F13/v。

    与打开快门之后的第一快门时间/v相对应的图42中帧#n的左起第六像素的前景成分为F14/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第七像素的前景成分也为F14/v。与打开快门之后的第一快门时间/v相对应的图42中左起第八像素的前景成分为F15/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第二到第四快门时间/v相对应的图42中帧#n的左起第五像素的背景成分为B29/v。与打开快门之后的第三和第四快门时间/v相对应的图42中帧#n的左起第六像素的背景成分为B30/v。与打开快门之后的第四快门时间/v相对应的图42中帧#n的左起第七像素的背景成分为B31/v。

    在图42的帧#n中，左起第五像素到第七像素属于作为非覆盖背景区域的混合区域。

    图42的帧#n中左起第八到第十二像素属于前景区域。在帧#n的前景区域中，对应于快门时间/v的值是F13/v到F20/v中的一个。

    图42的帧#n+1中最左像素到左起第八像素属于背景区域，并且其像素值分别为B25到B32。

    由于可以假定对应于前景的对象是匀速移动的刚体，并且前景图像在下一帧中向右偏离显示四个像素，因此，与打开快门之后的第一快门时间/v相对应的图42中帧#n+1的左起第九像素的前景成分为F13/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第十像素的前景成分也为F13/v。与打开快门之后的第三快门时间/v相对应的图42中左起第十一像素的前景成分，和与打开快门之后的第四快门时间/v相对应的图42中左起第十二像素的前景成分为F13/v。

    与打开快门之后的第一快门时间/v相对应的图42中帧#n+1的左起第十像素的前景成分为F14/v，并且与打开快门之后的第二快门时间/v相对应的图42中左起第十一像素的前景成分也为F14/v。与打开快门之后的第一快门时间/v相对应的图42中左起第十二像素的前景成分为F15/v。

    由于对应于背景的对象静止，因此，与打开快门之后的第二到第四快门时间/v相对应的图42中帧#n+1的左起第九像素的背景成分为B33/v。与打开快门之后的第三和第四快门时间/v相对应的图42中帧#n+1的左起第十像素的背景成分为B34/v。与打开快门之后的第四快门时间/v相对应的图42中帧#n+1的左起第十一像素的背景成分为B35/v。

    在图42的帧#n+1中，左起第九像素到第十一像素属于作为非覆盖背景区域的混合区域。

    图42的帧#n+1中左起第十二像素属于前景区域。在帧#n+1的前景区域中，对应于快门时间/v的前景成分是F13/v到F16/v中的一个。

    图43是通过从图42所示的像素值中提取前景成分而获得的图像的模型图。

    回到图27，区域指定单元103通过使用多个像素值，生成表示各个像素对应于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的标志，并且将它们作为区域信息提供给混合比率计算器104和运动模糊调整单元106。

    混合比率计算器104根据多个帧的像素值以及区域信息，为包含在混合区域中的每个像素计算混合比率α，并且将算出的混合比率α提供给前景/背景分离器105。

    前景/背景分离器105根据多个帧的像素值、区域信息和混合比率α，提取只包括前景成分的前景成分图像，并且将它提供给运动模糊调整单元106。

    运动模糊调整单元106根据从前景/背景分离器105提供的前景成分图像、从运动检测器102提供的运动向量以及从区域指定单元103提供的区域信息，调整包含在前景成分图像中的运动模糊量，然后输出经过运动模糊量调整的前景成分图像。

    下面将参照图44的流程图对通过分离服务器11调整运动模糊量的处理进行描述。在步骤S11，区域指定单元103根据输入图像执行区域指定处理，以生成表示输入图像的每个像素属于前景区域、背景区域、覆盖背景区域和非覆盖背景区域中的哪个区域的区域信息。区域指定处理的详细信息将在后面说明。区域指定单元103将所生成的区域信息提供给混合比率计算器104。

    此外，在步骤S11，区域指定单元103可以根据输入图像生成表示输入图像的每个像素属于前景区域、背景区域和混合区域(不区分覆盖背景区域和非覆盖背景区域)中的哪个区域的区域信息。在这种情况下，前景/背景分离器105和运动模糊调整单元106根据运动向量的方向判定混合区域是覆盖背景区域还是非覆盖背景区域。例如，当沿着运动向量的方向以前景区域、混合区域和背景区域这种次序排列这些区域时，判定混合区域为覆盖背景区域。当沿着运动向量的方向以背景区域、混合区域和前景区域这种次序排列这些区域时，判定混合区域为非覆盖背景区域。

    在步骤S12，混合比率计算器104根据输入图像和区域信息，为包含在混合区域中的每个像素计算混合比率α。混合比率计算处理的详细信息将在后面给出。混合比率计算器104将算出的混合比率α提供给前景/背景分离器105。

    在步骤S13，前景/背景分离器105根据区域信息和混合比率α从输入图像中提取前景成分，然后将它们作为前景成分图像提供给运动模糊调整单元106。

    在步骤S14，运动模糊调整单元106根据运动向量和区域信息，生成处理单元，并且调整包含在对应于处理单元的前景成分中的运动模糊量，其中，处理单元指定在移动方向上连续排列且对应于非覆盖背景区域、前景区域和覆盖背景区域中的任一区域的像素的图像位置。运动模糊量调整处理的详细信息将在后面说明。

    在步骤S15，分离服务器11判定是否完成对整个屏幕的处理。如果判定尚未完成对整个屏幕的处理，则过程回到步骤S14，重复为对应于处理单元的前景成分调整运动模糊量的处理。

    在步骤S15，如果判定已完成对整个屏幕的处理，处理结束。

    这样，分离服务器11能够分离前景和背景，并且调整包含在前景中的运动模糊量。也就是，分离服务器11能够调整包含在作为前景像素的像素值的样本数据中的运动模糊量。

    现在，将分别描述区域指定单元103、混合比率计算器104、前景/背景分离器105和运动模糊调整单元106的结构。

    图45是区域指定单元103的结构示例方框图。具有图45所示结构的区域指定单元103不使用运动向量。帧存储器201以帧为单位存储输入图像。当处理目标为帧#n时，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。

    静止/移动判定部分202-1从帧存储器201读出帧#n+2中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，以及帧#n+1中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，然后计算所读出像素值之间的差值绝对值。静止/移动判定部分202-1判定帧#n+2的像素值与帧#n+1的像素值之间的差值绝对值是否大于预设阈值Th，并且如果判定该差值绝对值大于阈值Th，将表示“运动”状态的静止/移动判定结果提供给区域判定部分203-1。如果判定帧#n+2的像素值与帧#n+1的像素值之间的差值绝对值不大于阈值Th，静止/移动判定部分202-1将表示“静止”状态的静止/移动判定结果提供给区域判定部分203-1。

    静止/移动判定部分202-2从帧存储器201读出帧#n+1中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，以及帧#n中作为区域指定目标的像素的像素值，然后计算这些像素值之间的差值绝对值。静止/移动判定部分202-2判定帧#n+1的像素值与帧#n的像素值之间的差值绝对值是否大于预设阈值Th，并且如果判定像素值之间的差值绝对值大于阈值Th，将表示“运动”状态的静止/移动判定结果提供给区域判定部分203-1和区域判定部分203-2。如果判定帧#n+1像素的像素值与帧#n像素的像素值之间的差值绝对值不大于阈值Th，静止/移动判定部分202-2将表示“静止”状态的静止/移动判定结果提供给区域判定部分203-1和区域判定部分203-2。

    静止/移动判定部分202-3从帧存储器201读出帧#n中作为区域指定目标的像素的像素值，以及帧#n-1中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，然后计算这些像素值之间的差值绝对值。静止/移动判定部分202-3判定帧#n的像素值与帧#n-1的像素值之间的差值绝对值是否大于预设阈值Th，并且如果判定像素值之间的差值绝对值大于阈值Th，将表示“运动”状态的静止/移动判定结果提供给区域判定部分203-2和区域判定部分203-3。如果判定帧#n像素的像素值与帧#n-1像素的像素值之间的差值绝对值不大于阈值Th，静止/移动判定部分202-3将表示“静止”状态的静止/移动判定结果提供给区域判定部分203-2和区域判定部分203-3。

    静止/移动判定部分202-4读出帧#n-1中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，以及帧#n-2中所在位置与帧#n中作为区域指定目标的像素相同的像素的像素值，然后计算这些像素值之间的差值绝对值。静止/移动判定部分202-4判定帧#n-1的像素值与帧#n-2的像素值之间的差值绝对值是否大于预设阈值Th，并且如果判定像素值之间的差值绝对值大于阈值Th，将表示“运动”状态的静止/移动判定结果提供给区域判定部分203-3。如果判定帧#n-1像素的像素值与帧#n-2像素的像素值之间的差值绝对值不大于阈值Th，静止/移动判定部分202-4将表示“静止”状态的静止/移动判定结果提供给区域判定部分203-3。

    当从静止/移动判定部分202-1提供的静止/移动判定结果表示“静止”状态，并且从静止/移动判定部分202-2提供的静止/移动判定结果表示“运动”状态时，区域判定部分203-1判定帧#n中作为区域指定目标的像素属于非覆盖背景区域，并且将与判定区域的像素相对应的非覆盖背景区域判定标志设为“1”，表示该像素属于非覆盖背景区域。

    当从静止/移动判定部分202-1提供的静止/移动判定结果表示“运动”状态，或者从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”状态时，区域判定部分203-1判定帧#n中作为区域指定目标的像素不属于非覆盖背景区域，并且将与判定区域的像素相对应的非覆盖背景区域判定标志设为“0”，表示该像素不属于非覆盖背景区域。

    区域判定部分203-1将如上所述设为“1”或“0”的非覆盖背景区域判定标志提供给判定标志存储帧存储器204。

    当从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”状态，并且从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”状态时，区域判定部分203-2判定帧#n中作为区域指定目标的像素属于静止区域，并且将与判定区域的像素相对应的静止区域判定标志设为“1”，表示该像素属于静止区域。

    当从静止/移动判定部分202-2提供的静止/移动判定结果表示“运动”状态，或者从静止/移动判定部分202-3提供的静止/移动判定结果表示“运动”状态时，区域判定部分203-2判定帧#n中作为区域指定目标的像素不属于静止区域，并且将与判定区域的像素相对应的静止区域判定标志设为“0”，表示该像素不属于静止区域。

    区域判定部分203-2将如上所述设为“1”或“0”的静止区域判定标志提供给判定标志存储帧存储器204。

    当从静止/移动判定部分202-2提供的静止/移动判定结果表示“运动”状态，并且从静止/移动判定部分202-3提供的静止/移动判定结果表示“运动”状态时，区域判定部分203-2判定帧#n中作为区域指定目标的像素属于移动区域，并且将与判定区域的像素相对应的移动区域判定标志设为“1”，表示该像素属于移动区域。

    当从静止/移动判定部分202-2提供的静止/移动判定结果表示“静止”状态，或者从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”状态时，区域判定部分203-2判定帧#n中作为区域指定目标的像素不属于移动区域，并且将与判定区域的像素相对应的移动区域判定标志设为“0”，表示该像素不属于移动区域。

    区域判定部分203-2将如上所述设为“1”或“0”的移动区域判定标志提供给判定标志存储帧存储器204。

    当从静止/移动判定部分202-3提供的静止/移动判定结果表示“运动”状态，并且从静止/移动判定部分202-4提供的静止/移动判定结果表示“静止”状态时，区域判定部分203-3判定帧#n中作为区域指定目标的像素属于覆盖背景区域，并且将与判定区域的像素相对应的覆盖背景区域判定标志设为“1”，表示该像素属于覆盖背景区域。

    当从静止/移动判定部分202-3提供的静止/移动判定结果表示“静止”状态，或者从静止/移动判定部分202-4提供的静止/移动判定结果表示“运动”状态时，区域判定部分203-3判定帧#n中作为区域指定目标的像素不属于覆盖背景区域，并且将与判定区域的像素相对应的覆盖背景区域判定标志设为“0”，表示该像素不属于覆盖背景区域。

    区域判定部分203-3将如上所述设为“1”或“0”的覆盖背景区域判定标志提供给判定标志存储帧存储器204。

    判定标志存储帧存储器204分别存储从区域判定部分203-1提供的非覆盖背景区域判定标志、从区域判定部分203-2提供的静止区域判定标志、从区域判定部分203-2提供的移动区域判定标志以及从区域判定部分203-3提供的覆盖背景区域判定标志。

    判定标志存储帧存储器204将存储在其中的非覆盖背景区域判定标志、静止区域判定标志、移动区域判定标志以及覆盖背景区域判定标志提供给合成器205。合成器205根据从判定标志存储帧存储器204提供的非覆盖背景区域判定标志、静止区域判定标志、移动区域判定标志以及覆盖背景区域判定标志，生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且将其提供给判定标志存储帧存储器206。

    判定标志存储帧存储器206存储从合成器205提供的区域信息，并且输出所存储的区域信息。

    下一步将参照图46到50说明由区域指定单元103执行的处理的例子。

    当对应于前景的对象发生移动时，对应于该对象的图像在屏幕上的位置在每一帧中都发生变化。如图46所示，帧#n中位于用Yn(x，y)表示的位置的对应于该对象的图像在帧#n+1中位于Yn+1(x，y)。

    图47是沿着时间方向扩展在对应于前景对象的图像的移动方向上连续排列在一行上的像素的像素值的模型图。例如，当对应于前景对象的图像的移动方向是屏幕上的水平方向时，图47的模型图示出沿着时间方向扩展连续排列在一行上的像素的像素值。

    在图47中，帧#n中的行与帧#n+1中的行相同。

    与包含在帧#n的左起第二像素到第十三像素中的对象相对应的前景成分包含在帧#n+1的左起第六像素到第十七像素中。

    在帧#n中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在帧#n+1中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。

    在图47所示的例子中，由于包含在帧#n中的前景成分在帧#n+1中移动四个像素，因此移动量v定义为4。虚拟划分数目对应于移动量v设为4。

    下一步，将说明在给定帧之前和之后属于混合区域的像素的像素值变化。

    在图48所示的帧#n中，背景保持静止并且前景的移动量v为4，属于覆盖背景区域的像素为左起第十五到第十七像素。由于移动量v为4，因此早一帧的帧#n-1中左起第十五到第十七像素只包含背景成分，并且属于背景区域。此外，早两帧的帧#n-2中左起第十五到第十七像素只包含背景成分，并且属于背景区域。

    在此，由于对应于背景的对象静止，因此帧#n-1中左起第十五像素的像素值与帧#n-2中左起第十五像素的像素值相比没有变化。类似地，帧#n-1中左起第十六像素的像素值与帧#n-2中左起第十六像素的像素值相比没有变化，并且帧#n-1中左起第十七像素的像素值与帧#n-2中左起第十七像素的像素值相比没有变化。

    也就是，因为与帧#n中属于覆盖背景区域的像素相对应的帧#n-1和帧#n-2中的像素只包括背景成分，并且其像素值不发生变化，所以其差值绝对值几乎为0。因此，静止/移动判定部分202-4对与帧#n中属于混合区域的像素相对应的帧#n-1和帧#n-2中的像素作出的静止/移动判定结果为“静止”。

    因为帧#n中属于覆盖背景区域的像素包含前景成分，所以其像素值不同于在帧#n-1中只包含背景成分的情况。因此，静止/移动判定部分202-3对帧#n中属于混合区域的像素与对应帧#n-1中的像素作出的静止/移动判定结果为“移动”。

    如上所述，当从静止/移动判定部分202-3提供表示“运动”状态的静止/移动判定结果，并且从静止/移动判定部分202-4提供表示“静止”状态的静止/移动判定结果时，区域判定部分203-3判定相应像素属于覆盖背景区域。

    在图49所示的帧#n中，背景保持静止并且前景的移动量v为4，属于非覆盖背景区域的像素为左起第二到第四像素。由于移动量v为4，因此晚一帧的帧#n+1中左起第二到第四像素只包含背景成分，并且属于背景区域。而且，晚两帧的帧#n+2中左起第二到第四像素只包含背景成分，并且属于背景区域。

    在此，由于对应于背景的对象保持静止，因此帧#n+2中左起第二像素的像素值与帧#n+1中左起第二像素的像素值相比没有变化。类似地，帧#n+2中左起第三像素的像素值与帧#n+1中左起第三像素的像素值相比没有变化，并且帧#n+2中左起第四像素的像素值与帧#n+1中左起第四像素的像素值相比没有变化。

    也就是，因为与帧#n中属于非覆盖背景区域的像素相对应的帧#n+1和帧#n+2中的像素只包括背景成分，并且其像素值不发生变化，所以其差值绝对值几乎为0。因此，静止/移动判定部分202-1对与帧#n中属于混合区域的像素相对应的帧#n+1和帧#n+2中的像素作出的静止/移动判定结果为“静止”。

    因为帧#n中属于非覆盖背景区域的像素包含前景成分，所以其像素值不同于帧#n+1中只包含背景成分的情况。因此，静止/移动判定部分202-2对帧#n中属于混合区域的像素与帧#n+1中的对应像素作出的静止/移动判定结果为“移动”。

    如上所述，当从静止/移动判定部分202-2提供表示“运动”状态的静止/移动判定结果，并且从静止/移动判定部分202-1提供表示“静止”状态的静止/移动判定结果时，区域判定部分203-1判定相应像素属于非覆盖背景区域。

    图50示出区域指定单元103对帧#n进行判定的条件。当对帧#n-2中与帧#n中作为判定目标的像素处于相同图像位置的像素以及帧#n-1中与帧#n中作为判定目标的像素处于相同图像位置的像素的判定结果为静止，并且对帧#n-1中与帧#n中作为判定目标的像素处于相同图像位置的像素以及帧#n中的像素的判定结果为移动时，区域指定单元103判定帧#n中作为判定目标的像素属于覆盖背景区域。

    当对帧#n-1中与帧#n中作为判定目标的像素处于相同图像位置的像素以及帧#n中的像素的判定结果为静止，并且对帧#n中的像素以及帧#n+1中与帧#n中作为判定目标的像素处于相同图像位置的像素的判定结果为静止时，区域指定单元103判定帧#n中作为判定目标的像素属于静止区域。

    当对帧#n-1中与帧#n中作为判定目标的像素处于相同图像位置的像素以及帧#n中的像素的判定结果为移动，并且对帧#n中的像素以及帧#n+1中与帧#n中作为判定目标的像素处于相同图像位置的像素的判定结果为移动时，区域指定单元103判定帧#n中作为判定目标的像素属于移动区域。

    当对帧#n中的像素以及帧#n+1中与帧#n中作为判定目标的像素处于相同图像位置的像素的判定结果为移动，并且对帧#n+1中与帧#n中作为判定目标的像素处于相同图像位置的像素以及帧#n+2中与帧#n中作为判定目标的像素处于相同图像位置的像素的判定结果为静止时，区域指定单元103判定帧#n中作为判定目标的像素属于非覆盖背景区域。

    图51A到51D示出区域指定单元103的区域指定结果的例子。在图51A中，判定为属于覆盖背景区域的像素用白色显示。在图51B中，判定为属于非覆盖背景区域的像素用白色显示。

    在图51C中，判定为属于移动区域的像素用白色显示。在图51D中，判定为属于静止区域的像素用白色显示。

    图52示出根据从判定标志存储帧存储器206输出的区域信息的表示混合区域的区域信息的图像。在图52中，判定为属于覆盖背景区域或非覆盖背景区域的像素，即判定为属于混合区域的像素用白色显示。从判定标志存储帧存储器206输出的表示混合区域的区域信息是指混合区域和前景区域中被不带纹理的部分包围的带纹理部分。

    下一步，将参照图53的流程图对区域指定单元103的区域指定处理进行说明。在步骤S201，帧存储器201获取包括作为判定目标的帧#n的帧#n-2到帧#n+2。

    在步骤S202，静止/移动判定部分202-3判定对于处于相同位置的帧#n-1像素和帧#n像素是否为静止，并且如果判定为静止，过程进入步骤S203。静止/移动判定部分202-2判定对于处于相同位置的帧#n像素和帧#n+1像素是否为静止。

    在步骤S203，当判定对于处于相同位置的帧#n像素和帧#n+1像素为静止时，过程进入步骤S204，并且区域判定部分203-2将与要判定区域的像素相对应的静止区域判定标志设为“1”，表示该像素属于静止区域。区域判定部分203-2将静止区域判定标志提供给判定标志存储帧存储器204，并且过程进入步骤S205。

    当在步骤S202判定对于处于相同位置的帧#n-1像素和帧#n像素为移动时，或者当在步骤S203判定对于处于相同位置的帧#n像素和帧#n+1像素为移动时，由于帧#n像素不属于静止区域，因此跳过步骤S204的处理并且过程进入步骤S205。

    在步骤S205，静止/移动判定部分202-3判定对于处于相同位置的帧#n-1像素和帧#n像素是否为移动，并且如果判定为移动，过程进入步骤S206。静止/移动判定部分202-2判定对于处于相同位置的帧#n像素和帧#n+1像素是否为移动。

    在步骤S206，当判定对于处于相同位置的帧#n像素和帧#n+1像素为移动时，过程进入步骤S207，并且区域判定部分203-2将与要判定区域的像素相对应的移动区域判定标志设为“1”，表示该像素属于移动区域。区域判定部分203-2将移动区域判定标志提供给判定标志存储帧存储器204，并且过程进入步骤S208。

    当在步骤S205判定对于处于相同位置的帧#n-1像素和帧#n像素为静止时，或者当在步骤S206判定对于处于相同位置的帧#n像素和帧#n+1像素为静止时，由于帧#n像素不属于移动区域，因此跳过步骤S207的处理并且过程进入步骤S208。

    在步骤S208，静止/移动判定部分202-4判定对于处于相同位置的帧#n-2像素和帧#n-1像素是否为静止，并且如果判定为静止，过程进入步骤S209。静止/移动判定部分202-3判定对于处于相同位置的帧#n-1像素和帧#n像素是否为移动。

    在步骤S209，当判定对于处于相同位置的帧#n-1像素和帧#n像素为移动时，过程进入步骤S210，并且区域判定部分203-3将与要判定区域的像素相对应的覆盖背景区域判定标志设为“1”，表示该像素属于覆盖背景区域。区域判定部分203-3将覆盖背景区域判定标志提供给判定标志存储帧存储器204，并且过程进入步骤S211。

    当在步骤S208判定对于处于相同位置的帧#n-2像素和帧#n-1像素为移动时，或者当在步骤S209判定对于处于相同位置的帧#n-1像素和帧#n像素为静止时，由于帧#n像素不属于覆盖背景区域，因此跳过步骤S210的处理并且过程进入步骤S211。

    在步骤S211，静止/移动判定部分202-2判定对于处于相同位置的帧#n像素和帧#n+1像素是否为移动，并且如果判定为移动，过程进入步骤S212。静止/移动判定部分202-1判定对于处于相同位置的帧#n+1像素和帧#n+2像素是否为静止。

    在步骤S212，当判定对于处于相同位置的帧#n+1像素和帧#n+2像素为静止时，过程进入步骤S213，并且区域判定部分203-1将与要判定区域的像素相对应的非覆盖背景区域判定标志设为“1”，表示该像素属于非覆盖背景区域。区域判定部分203-1将非覆盖背景区域判定标志提供给判定标志存储帧存储器204，并且过程进入步骤S214。

    当在步骤S211判定对于处于相同位置的帧#n像素和帧#n+1像素为静止时，或者当在步骤S212判定对于处于相同位置的帧#n+1像素和帧#n+2像素为移动时，由于帧#n像素不属于非覆盖背景区域，因此跳过步骤S213的处理并且过程进入步骤S214。

    在步骤S214，区域指定单元103判定是否执行完毕帧#n中所有像素的区域指定，并且如果判定尚未执行帧#n中所有像素的区域指定，过程返回到步骤S202，重复其余像素的区域指定处理。

    在步骤S214，如果判定执行完毕帧#n中所有像素的区域指定，过程进入步骤S215，并且合成器205根据存储在判定标志存储帧存储器204中的非覆盖背景区域判定标志和覆盖背景区域判定标志，生成表示混合区域的区域信息，生成表示每个像素属于非覆盖背景区域、静止区域、移动区域或覆盖背景区域中的哪一个区域的区域信息，并且在判定标志存储帧存储器206中设置所生成的区域信息。然后，处理结束。

    如上所述，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、覆盖背景区域或非覆盖背景区域中的哪一个区域的区域信息。

    此外，区域指定单元103可以通过对与非覆盖背景区域相对应的区域信息和与覆盖背景区域相对应的区域信息应用逻辑或操作，生成对应于混合区域的区域信息，并且可以生成由表示包含在帧中的各个像素属于移动区域、静止区域或混合区域中的哪一个区域的标志组成的区域信息。

    当对应于前景的对象具有纹理时，区域指定单元103能够更准确地指定移动区域。

    区域指定单元103能够输出表示移动区域的区域信息作为表示前景区域的区域信息，并且输出表示静止区域的区域信息作为表示背景区域的区域信息。

    此外，虽然所说明的是对应于背景的对象为静止的情况，但是，即使当对应于背景区域的图像包含运动时，也可以应用上述区域指定处理。例如，当对应于背景区域的图像恒定移动时，区域指定单元103根据该移动偏移整个图像，并且以与对应于背景的对象为静止的情况类似的方式对其进行处理。此外，当对应于背景区域的图像包含局部其他移动时，区域指定单元103选择对应于移动的像素，并且执行上述处理。

    图54是区域指定单元103的另一结构示例方框图。图54所示的区域指定单元103不使用运动向量。背景图像生成器301生成对应于输入图像的背景图像，并且将所生成的背景图像提供给二值对象图像提取部分302。背景图像生成器301提取例如与包含在输入图像中的背景对象相对应的图像对象，以生成背景图像。

    沿着时间方向扩展在对应于前景对象的图像的移动方向上连续排列在一行上的像素的像素值的模型例子如图55所示。例如，当对应于前景对象的图像的移动方向为屏幕上的水平方向时，图55所示的模型图示出沿着时间方向扩展连续排列在一行上的像素的像素值的模型。

    在图55中，帧#n中的一行与帧#n-1和帧#n+1相同。

    在帧#n中，与包含在左起第六到第十七像素中的对象相对应的前景成分包含在帧#n-1的左起第二到第十三像素中，并且还包含在帧#n+1的左起第十到第二十一像素中。

    在帧#n-1中，属于覆盖背景区域的像素为左起第十一到第十三像素，并且属于非覆盖背景区域的像素为左起第二到第四像素。在帧#n中，属于覆盖背景区域的像素为左起第十五到第十七像素，并且属于非覆盖背景区域的像素为左起第六到第八像素。在帧#n+1中，属于覆盖背景区域的像素为左起第十九到第二十一像素，并且属于非覆盖背景区域的像素为左起第十到第十二像素。

    在帧#n-1中，属于背景区域的像素为左起第一像素以及左起第十四到第二十一像素。在帧#n中，属于背景区域的像素为左起第一到第五像素以及左起第十八到第二十一像素。在帧#n+1中，属于背景区域的像素为左起第一到第九像素。

    从背景图像生成器301生成的对应于图55所示例子的背景图像例子如图56所示。背景图像由对应于背景对象的像素组成，并且不包含对应于前景对象的图像成分。

    二值对象图像提取部分302根据背景图像与输入图像之间的相关，生成二值对象图像，并且将所生成的二值对象图像提供给时间变化检测器303。

    图57是二值对象图像提取部分302的结构方框图。相关值计算器321计算输入图像与从背景图像生成器301提供的背景图像之间的相关，生成相关值，并且将其提供给阈值处理器322。

    相关值计算器321将方程(4)应用于例如图58A所示的以X4为中心的3×3背景图像块，以及例如图58B所示的对应于该背景图像块的以Y4为中心的3×3输入图像块，从而计算对应于Y4的相关值。X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>

    相关值计算器321将如上所述为各个像素计算的相关值提供给阈值处理器322。此外，相关值计算器321可以将方程(7)应用于例如图59A所示的以X4为中心的3×3背景图像块，以及例如图59B所示的对应于该背景图像块的以Y4为中心的3×3输入图像块，从而计算对应于Y4的差值绝对值之和。

    相关值计算器321将通过上述过程算出的差值绝对值作为相关值提供给阈值处理器322。

    阈值处理器322将相关图像的像素值与阈值th0进行比较，当相关值不大于阈值th0时，将二值对象图像的像素值设为1，而当相关值大于阈值th0时，将二值对象图像的像素值设为0，并且输出其像素值设为0或1的二值对象图像。阈值处理器322可以预先存储阈值th0，或者可以使用从外部输入的阈值th0。

    图60示出对应于图55所示输入图像模型的二值对象图像的例子。在二值对象图像中，将与背景图像具有高相关性的像素的像素值设为0。

    图61是时间变化检测器303的结构方框图。当为帧#n中的像素执行区域判定时，帧存储器341存储从二值对象图像提取部分302提供的帧#n-1、帧#n和帧#n+1的二值对象图像。

    区域判定部分342根据帧#n-1、帧#n和帧#n+1的二值对象图像，判定帧#n中每个像素的区域以生成并输出区域信息。

    图62是示出区域判定部分342的判定过程的图。当帧#n的二值对象图像中的给定像素为0时，区域判定部分342判定帧#n的给定像素属于背景区域。

    当帧#n的二值对象图像中的给定像素为1，帧#n-1的二值对象图像中的给定像素为1，并且帧#n+1的二值对象图像中的给定像素为1时，区域判定部分342判定帧#n的给定像素属于前景区域。

    当帧#n的二值对象图像中的给定像素为1，并且帧#n-1的二值对象图像中的给定像素为0时，区域判定部分342判定帧#n的给定像素属于覆盖背景区域。

    当帧#n的二值对象图像中的给定像素为1，并且帧#n+1的二值对象图像中的给定像素为0时，区域判定部分342判定帧#n的给定像素属于非覆盖背景区域。

    图63示出时间变化检测器303对与图55所示的输入图像模型相对应的二值对象图像执行判定过程的例子。由于帧#n的二值对象图像中的像素为0，因此时间变化检测器303判定帧#n中左起第一到第五像素属于背景区域。

    由于帧#n的二值对象图像中的像素为1，并且帧#n+1的对应像素为0，因此时间变化检测器303判定左起第六到第九像素属于非覆盖背景区域。

    由于帧#n的二值对象图像中的像素为1，帧#n-1的对应像素为1，并且帧#n+1的对应像素为1，因此时间变化检测器303判定左起第十到第十三像素属于前景区域。

    由于帧#n的二值对象图像中的像素为1，并且帧#n-1的对应像素为0，因此时间变化检测器303判定左起第十四到第十七像素属于覆盖背景区域。

    由于帧#n的二值对象图像中的对应像素为0，因此时间变化检测器303判定左起第十八到第二十一像素属于背景区域。

    下一步，将参照图64的流程图对区域指定单元103的区域指定处理进行说明。在步骤S301，区域指定单元103的背景图像生成器301根据输入图像提取例如与包含在输入图像中的背景对象相对应的图像对象，以生成背景图像，并且将所生成的背景图像提供给二值对象图像提取部分302。

    在步骤S302，二值对象图像提取部分302例如通过使用参照图58A和58B所述的计算操作，计算输入图像与从背景图像生成器301提供的背景图像之间的相关值。在步骤S303，二值对象图像提取部分302例如通过比较相关值与阈值th0，根据相关值与阈值th0计算二值对象图像。

    在步骤S304，时间变化检测器303执行区域判定处理，并且完成处理。

    参照图65的流程图，将说明对应于步骤S304的区域判定处理的详细信息。在步骤S321，时间变化检测器303的区域判定部分342判定存储在帧存储器341中的帧#n的给定像素是否为0，并且如果判定帧#n的给定像素为0，过程进入步骤S322。然后，区域判定部分342判定帧#n的给定像素属于背景区域，并且完成处理。

    在步骤S321，如果判定帧#n的给定像素为1，过程进入步骤S323。时间变化检测器303的区域判定部分342判定是否存储在帧存储器341中的帧#n的给定像素为1且帧#n-1的对应像素为0，并且如果判定帧#n的给定像素为1且帧#n-1的对应像素为0，过程进入步骤S324。然后，区域判定部分342判定帧#n的给定像素属于覆盖背景区域，并且完成处理。

    在步骤S323，如果判定帧#n的给定像素为0，或者帧#n-1的对应像素为1，过程进入步骤S325。时间变化检测器303的区域判定部分342判定是否存储在帧存储器341中的帧#n的给定像素为1且帧#n+1的对应像素为0，并且如果判定帧#n的给定像素为1且帧#n+1的对应像素为0，过程进入步骤S326。然后，区域判定部分342判定帧#n的给定像素属于非覆盖背景区域，并且完成处理。

    在步骤S325，如果判定帧#n的给定像素为0，或者帧#n+1的对应像素为1，过程进入步骤S327。时间变化检测器303的区域判定部分342判定帧#n的给定像素属于前景区域，并且完成处理。

    如上所述，区域指定单元103能够根据输入图像与对应背景图像之间的相关值指定输入图像的各个像素属于前景区域、背景区域、覆盖背景区域和非覆盖背景区域中的哪个区域，并且生成对应于指定结果的区域信息。

    图66是区域指定单元103的另一结构方框图。图66所示的区域指定单元103使用从运动检测器102提供的运动向量及其位置信息。与图54相同的部分用相同的标号表示，并且略去不述。

    鲁棒处理部分361根据从二值对象图像提取部分302提供的N帧二值对象图像生成经过鲁棒处理的二值对象图像，并且将其输出到时间变化检测器303。

    图67是鲁棒处理部分361的结构方框图。运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，补偿N帧二值对象图像的运动，并且将经过运动补偿的二值对象图像提供给开关382。

    参照图68和69的例子，将对运动补偿器381的运动补偿过程进行说明。例如，当判定帧#n的区域时，如果输入例如图68所示的帧#n-1、帧#n和帧#n+1的二值对象图像，运动补偿器381根据从运动检测器102提供的运动向量，例如图69所示，补偿帧#n-1的二值对象图像和帧#n+1的二值对象图像，并且将经过运动补偿的二值对象图像提供给开关382。

    开关382将经过运动补偿的第一帧二值对象图像输出到帧存储器383-1，并且将经过运动补偿的第二帧二值对象图像输出到帧存储器383-2。类似地，开关382将经过运动补偿的第三到第(N-1)帧二值对象图像分别输出到帧存储器383-3到383-(N-1)，并且将经过运动补偿的第N帧二值对象图像输出到帧存储器383-N。

    帧存储器383-1存储经过运动补偿的第一帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-1。帧存储器383-2存储经过运动补偿的第二帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-2。

    类似地，帧存储器383-3到383-(N-1)分别存储经过运动补偿的第三到第(N-1)帧二值对象图像，并且将所存储的二值对象图像分别输出到加权部分384-3到384-(N-1)。帧存储器383-N存储经过运动补偿的第N帧二值对象图像，并且将所存储的二值对象图像输出到加权部分384-N。

    加权部分384-1将从帧存储器383-1提供的经过运动补偿的第一帧二值对象图像与预定权值w1进行相乘，然后将其提供给累加器385。加权部分384-2将从帧存储器383-2提供的经过运动补偿的第二帧二值对象图像与预定权值w2进行相乘，然后将其提供给累加器385。

    同样地，加权部分384-3到384-(N-1)分别将从帧存储器383-3到383-(N-1)提供的经过运动补偿的第三到第(N-1)帧二值对象图像与预定权值w3到w(N-1)进行相乘，然后将其提供给累加器385。加权部分384-N将从帧存储器383-N提供的经过运动补偿的第N帧二值对象图像与预定权值wN进行相乘，然后将其提供给累加器385。

    累加器385累加分别与权值w1到wN相乘之后的经过运动补偿的第一到第N帧二值对象图像的像素值，并且将累加出的像素值与预定阈值th0进行比较，从而生成二值对象图像。

    如上所述，由于鲁棒处理部分361从N个二值对象图像生成经过鲁棒处理的二值对象图像，并且将其提供给时间变化检测器303，因此，即使输入图像包含噪声，具有图66所示结构的区域指定单元103也能够比图54所示的情况更准确地执行区域指定。

    下一步，将参照图70的流程图对具有图66所示结构的区域指定单元103的区域指定过程进行说明。步骤S341到步骤S343与步骤S301到步骤S303相同，因此略去不述。

    在步骤S344，鲁棒处理部分361执行鲁棒处理。

    在步骤S345，时间变化检测器303执行区域判定处理，并且完成过程。由于步骤S345的详细过程类似于参照图65的流程图所述的过程，因此略去不述。

    下一步，将参照图71的流程图对与图70中步骤S344的处理相对应的鲁棒处理的详细信息进行说明。在步骤S361，运动补偿器381根据从运动检测器102提供的运动向量及其位置信息，执行对输入二值对象图像的运动补偿处理。在步骤S362，帧存储器383-1到383-N之一存储通过开关382提供的经过运动补偿的二值对象图像。

    在步骤S363，鲁棒处理部分361判定是否存储了N个二值对象图像，并且如果判定没有存储N个二值对象图像，过程返回到步骤S361，重复二值对象图像的运动补偿处理和二值对象图像的存储处理。

    在步骤S363，如果判定存储了N个二值对象图像，过程进入步骤S364。加权部分384-1到384-N分别将N个二值对象图像与对应权值w1到wN进行相乘，以进行加权。

    在步骤S365，累加器385累加经过加权的N个二值对象图像。

    在步骤S366，累加器385例如通过与预定阈值th1进行比较，根据累加图像生成二值对象图像，并且完成过程。

    如上所述，具有图66所示结构的区域指定单元103能够根据经过鲁棒处理的二值对象图像生成区域信息。

    如上所述，区域指定单元103能够生成表示包含在帧中的每个像素属于移动区域、静止区域、非覆盖背景区域或覆盖背景区域的区域信息。

    图72是混合比率计算器104的结构示例方框图。估计混合比率处理器401根据输入图像，通过使用对应于覆盖背景区域模型的计算，计算每个像素的混合比率，并且将算出的估计混合比率提供给混合比率判定部分403。

    估计混合比率处理器402根据输入图像，通过使用对应于非覆盖背景区域模型的计算，计算每个像素的混合比率，并且将算出的估计混合比率提供给混合比率判定部分403。

    由于假定对应于前景的对象在快门时间内匀速移动，因此属于混合区域的像素的混合比率α具有下面特性。也就是，混合比率α根据像素的位置变化而线性变化。如果像素的位置变化是一维的，则可以用直线表示混合比率α的变化，并且如果像素的位置变化是二维的，则可以用平面表示混合比率α的变化。

    此外，由于一帧的时间区间很短，因此可以假定对应于前景的对象是匀速移动的刚体。

    在这种情况下，混合比率α的斜率与前景在快门时间内的移动量v成反比。

    理想混合比率α的例子如图73所示。混合区域中理想混合比率α的斜率I可以用移动量v的倒数来表示。

    如图73所示，理想混合比率α在背景区域中为1，在前景区域中为0，并且在混合区域中大于0且小于1。

    在图74所示的例子中，帧#n中左起第七像素的像素值C06可以通过使用帧#n-1中左起第七像素的像素值P06，用方程(8)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v]]>=2/v·P06+Σi=12Fi/v---(8)]]>

    在方程(8)中，像素值C06用混合区域像素的像素值M来表示，而像素值P06用背景区域像素的像素值B来表示。也就是，混合区域像素的像素值M和背景区域像素的像素值B可以分别用方程(9)和(10)表示。

    M＝C06                                              (9)

    B＝P06                                              (10)

    方程(8)中的2/v对应于混合比率α。由于移动量v定义为4，因此帧#n中左起第七像素的混合比率α为0.5。

    如上所述，通过把给定帧n中的像素值C当作混合区域的像素值，而把帧#n之前的帧#n-1中的像素值P当作背景区域的像素值，表示混合比率α的方程(3)可以用方程(11)表示。

    C＝α·P+f                                          (11)

    方程(11)中的f为包含在给定像素中的前景成分之和∑iFi/v。包含在方程(11)中的变量为混合比率α和前景成分之和f。

    类似地，在非覆盖背景区域中，移动量v为4并且时间方向上的虚拟划分数目为4。沿着时间方向扩展像素值的模型如图75所示。

    在非覆盖背景区域中，类似于前述覆盖背景区域的表示，通过把给定帧n中像素的像素值C当作混合区域的像素值，而把帧#n之后的帧n+1中的像素值N当作背景区域的像素值，表示混合比率α的方程(3)可以用方程(12)表示。

    C＝α·N+f                                           (12)

    此外，虽然是假定背景对象保持静止来说明的，但是，即使当背景图像发生移动时，通过使用处于与背景的移动量v相对应的位置的像素的像素值，也可以应用方程(8)到(12)。例如，在图74中，当对应于背景的对象的移动量v为2，虚拟划分数目为2，并且对应于背景的对象如图所示向右移动时，方程(10)中背景区域像素的像素值B变成像素值P04。

    由于方程(11)和(12)都包含两个变量，因此，不能通过这些方程获得混合比率α。在此，由于图像具有强空间相关性，因此相邻像素几乎相等。

    因此，由于前景成分具有强空间相关性，因此对方程进行修改以便从前一帧或后一帧中推导出前景成分之和f，从而获得混合比率α。

    图76中帧#n的左起第七像素的像素值Mc可以用方程(13)表示：Mc=2v·B06+Σi=1112Fi/v---(13)]]>

    方程(13)右边的第一项2/v对应于混合比率α。通过使用后一帧#n+1的像素值，方程(13)右边的第二项可以用方程(14)表示。Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>

    在此，通过使用前景成分的空间相关性，可以获得方程(15)。

    F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12             (15)

    方程(14)利用方程(15)可以修改为方程(16)。Σi=1112Fi/v=2v·F---(16)]]>=β·4v·F]]>

    因而，β可以用方程(17)表示。

    β＝2/4                                            (17)

    一般，如果假定如方程(15)所示，对应于混合区域的前景成分相等，则由于内部划分比率(interior division ratio)的关系，方程(18)对于混合区域中的所有像素均成立。

    β＝1-α                                            (18)

    如果方程(18)成立，则方程(11)可以演变为方程(19)。C=α·P+f]]>=α·P+(1-α)·Σi=γγ+v-1Fi/v---(19)]]>=α·P+(1-α)·N]]>

    类似地，如果方程(18)成立，则方程(12)可以演变为方程(20)。C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v---(20)]]>=α·N+(1-α)·P]]>

    在方程(19)和(20)中，由于C、N和P是已知像素值，因此，方程(19)和(20)中的变量只是混合比率α。方程(19)和(20)中C、N和P之间的关系如图77所示。C是帧#n中计算混合比率α的给定像素的像素值。N是帧#n+1中空间位置对应于给定像素的像素的像素值。P是帧#n-1中空间位置对应于给定像素的像素的像素值。

    因此，由于在方程(19)和(20)中分别包含一个变量，因此可以使用三个帧中的像素的像素值，计算混合比率α。通过求解方程(19)和(20)来计算正确混合比率的条件是，像素的像素值不变，对应于混合区域的前景成分相等，也就是，在前景对象静止时拍摄的前景图像对象中，位于与前景对象的移动方向相对应的图像对象边界上且数目两倍于移动量v的像素连续排列在一行上。

    如上所述，通过方程(21)计算属于覆盖背景区域的像素的混合比率α，并且通过方程(22)计算属于非覆盖背景区域的像素的混合比率α。

    α＝(C-N)/(P-N)                                      (21)

    α＝(C-P)/(N-P)                                      (22)

    图78是估计混合比率处理器401的结构方框图。帧存储器421以帧为单位存储输入图像，并且将作为输入图像输入的帧的后一帧提供给帧存储器422和混合比率计算器423。

    帧存储器422以帧为单位存储输入图像，并且将从帧存储器421提供的帧的后一帧提供给混合比率计算器423。

    因此，当帧#n+1作为输入图像输入到混合比率计算器423时，帧存储器421将帧#n提供给混合比率计算器423，并且帧存储器422将帧#n-1提供给混合比率计算器423。

    混合比率计算器423根据帧#n中给定像素的像素值C、帧#n+1中空间位置对应于给定像素位置的像素的像素值N以及帧#n-1中空间位置对应于给定像素位置的像素的像素值P，通过使用方程(21)所示的计算操作，计算给定像素的估计混合比率，并且输出算出的估计混合比率。例如，当背景静止时，混合比率计算器423根据帧#n中给定像素的像素值C、帧#n+1中所在位置与给定像素位置相同的像素的像素值N以及帧#n-1中所在位置与给定像素位置相同的像素的像素值P，计算给定像素的估计混合比率，并且输出算出的估计混合比率。

    如上所述，估计混合比率处理器401根据输入图像计算估计混合比率，并且将它提供给混合比率判定部分403。

    此外，由于除了估计混合比率计算器402通过使用方程(22)所示的计算操作来计算给定像素的估计混合比率，而估计混合比率计算器401通过使用方程(21)所示的计算操作来计算给定像素的估计混合比率之外，估计混合比率计算器402在功能上与估计混合比率计算器401相同，因此略去不述。

    图79是由估计混合比率处理器401算出的估计混合比率的示例图。图79所示的估计混合比率是当匀速移动的前景对象的移动量v为11时用一条线表示的结果。

    可以看到，如同图73的混合区域所示，估计混合比率的变化几乎是线性的。

    回到图72，混合比率判定部分403根据从区域指定单元103提供并且表示作为混合比率α计算目标的像素属于前景区域、背景区域、覆盖背景区域或非覆盖背景区域中的哪个区域的区域信息，设置混合比率α。当目标像素属于前景区域时，混合比率判定部分403将混合比率α设为0；当目标像素属于背景区域时，将混合比率α设为1；当目标像素属于覆盖背景区域时，混合比率判定部分403将混合比率α设为从估计混合比率处理器401提供的估计混合比率；并且当目标像素属于非覆盖背景区域时，混合比率判定部分403将混合比率α设为从估计混合比率处理器402提供的估计混合比率。混合比率判定部分403输出根据区域信息设定的混合比率α。

    图80是混合比率计算器104的另一结构方框图。选择器441根据从区域指定单元103提供的区域信息，将属于覆盖背景区域的像素以及前一帧和后一帧的对应像素提供给估计混合比率处理器442。选择器441根据从区域指定单元103提供的区域信息，将属于非覆盖背景区域的像素以及前一帧和后一帧的对应像素提供给估计混合比率处理器443。

    估计混合比率处理器442根据从选择器441输入的像素值，通过使用方程(21)的计算操作，计算属于覆盖背景区域的给定像素的估计混合比率，并且将算出的估计混合比率提供给选择器444。

    估计混合比率处理器443根据从选择器441输入的像素值，通过使用方程(22)的计算操作，计算属于非覆盖背景区域的给定像素的估计混合比率，并且将算出的估计混合比率提供给选择器444。

    根据从区域指定单元103提供的区域信息，当目标像素属于前景区域时，选择器444选择估计混合比率0，并且将它设为混合比率α，并且当目标像素属于背景区域时，选择估计混合比率1，并且将它设为混合比率α。当目标像素属于覆盖背景区域时，选择器444选择从估计混合比率处理器442提供的估计混合比率，并且将它设为混合比率α。当目标像素属于非覆盖背景区域时，选择器444选择从估计混合比率处理器443提供的估计混合比率，并且将它设为混合比率α。选择器444输出根据区域信息所选择并设置的混合比率α。

    如上所述，具有图80所示的另一结构的混合比率计算器104能够为包含在图像中的每个像素计算混合比率α，并且输出算出的混合比率α。

    下面将参照图81的流程图对具有图72所示结构的混合比率计算器104的混合比率α计算过程进行说明。在步骤S401，混合比率计算器104获取从区域指定单元103提供的区域信息。在步骤S402，估计混合比率处理器401通过使用对应于覆盖背景区域的模型，执行估计混合比率计算过程，并且将算出的估计混合比率提供给混合比率判定部分403。估计混合比率计算过程的详细信息将在后面参照图82的流程图进行说明。

    在步骤S403，估计混合比率处理器402通过使用对应于非覆盖背景区域的模型，执行估计混合比率计算过程，并且将算出的估计混合比率提供给混合比率判定部分403。

    在步骤S404，混合比率计算器104判定是否估计完毕整个帧的混合比率α，并且如果判定尚未估计整个帧的混合比率α，过程返回到步骤S402，为下一像素执行混合比率α估计处理。

    在步骤S404，如果判定估计完毕整个帧的混合比率α，过程进入步骤S405，并且混合比率判定部分403根据从区域指定单元103提供并且表示像素属于前景区域、背景区域、覆盖背景区域和非覆盖背景区域中的哪个区域的区域信息，设置混合比率。当目标像素属于前景区域时，混合比率判定部分403将混合比率α设为0；当目标像素属于背景区域时，将混合比率α设为1；当目标像素属于覆盖背景区域时，将混合比率α设为从估计混合比率处理器401提供的估计混合比率；并且当目标像素属于非覆盖背景区域时，将混合比率α设为从估计混合比率处理器402提供的估计混合比率。然后，过程结束。

    如上所述，混合比率计算器104能够根据从区域指定单元103提供的区域信息以及输入图像，计算作为对应于每个像素的特征量的混合比率α。

    具有图80所示结构的混合比率计算器104的混合比率α计算处理与参照图81的流程图所述类似，因此略去不述。

    下一步，将参照图82的流程图对图81的步骤S402中通过使用对应于覆盖背景区域的模型估计混合比率的过程进行说明。

    在步骤S421，混合比率计算器423从帧存储器421获取帧#n给定像素的像素值C。

    在步骤S422，混合比率计算器423从帧存储器422获取与给定像素相对应的帧#n-1像素的像素值P。

    在步骤S423，混合比率计算器423获取与包含在输入图像中的给定像素相对应的帧#n+1像素的像素值N。

    在步骤S424，混合比率计算器423根据帧#n给定像素的像素值C、帧#n-1像素的像素值P以及帧#n+1像素的像素值N，计算估计混合比率。

    在步骤S425，混合比率计算器423判定是否完成整个帧的估计混合比率计算处理，并且如果判定尚未完成整个帧的估计混合比率计算处理，过程返回到步骤S421，为下一像素重复估计混合比率计算处理。

    在步骤S425，如果判定完成整个帧的估计混合比率计算处理，则过程结束。

    如上所述，估计混合比率处理器401能够根据输入图像计算估计混合比率。

    图81的步骤S403中通过使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于图82的流程图所示的通过使用对应于覆盖背景区域的模型而执行的混合比率估计处理，因此略去不述。

    此外，由于图80所示的估计混合比率处理器442和估计混合比率处理器443执行与图82的流程图相同的处理来计算估计混合比率，因此略去不述。

    此外，虽然所说明的是对应于背景的对象为静止的情况，但是，即使当对应于背景区域的图像包含运动时，也可以应用上述混合比率α计算过程。例如，当对应于背景区域的图像恒定移动时，估计混合比率处理器401根据背景运动偏移整个图像，并且执行与对应于背景的对象为静止的情况相同的处理。此外，当对应于背景区域的图像包含其他背景局部运动时，估计混合比率处理器401选择对应于背景运动的像素作为与属于混合区域的像素相对应的像素，并且执行上述过程。

    此外，混合比率计算器104可以通过仅使用对应于覆盖背景区域的模型，为所有像素执行混合比率估计处理，并且输出算出的估计混合比率作为混合比率α。在这种情况下，混合比率α对于属于覆盖背景区域的像素表示背景成分比率，并且对于属于非覆盖背景区域的像素表示前景成分比率。如果对于属于非覆盖背景区域的像素，将如上所述计算的混合比率α与1的差值绝对值设为混合比率α，则分离服务器11能够为属于非覆盖背景区域的像素获得表示背景成分比率的混合比率α。

    此外，类似地，混合比率计算器104可以通过仅使用对应于非覆盖背景区域的模型，为所有像素执行混合比率估计处理，并且输出算出的估计混合比率作为混合比率α。

    下一步，将说明通过使用混合比率α线性变化这一特性来计算混合比率α的混合比率计算器104。

    如上所述，由于方程(11)和方程(12)均包括两个变量，因此不能根据这些方程获得混合比率α。

    因此，通过使用根据对应于前景的对象在快门时间内匀速移动从而混合比率α随着像素位置变化而线性变化这一特性，建立在空间方向上近似混合比率α和前景成分之和f的方程。通过使用属于混合区域的像素的像素值和属于背景区域的像素的像素值，求解近似混合比率α和前景成分之和f的方程。

    如果线性近似混合比率α的变化，混合比率α用方程(23)表示。

    α＝il+p                                           (23)

    在此方程(23)中，i是给定像素的位置为0时空间方向上的索引。l是混合比率α的直线斜率。p是混合比率α的直线截距，并且是给定像素的混合比率α。在方程(23)中，索引i是已知的，而斜率l和截距p是未知的。

    索引i、斜率l和截距p之间的关系如图83所示。

    通过用方程(23)近似混合比率α，可以用两个变量表示多个像素的多个不同混合比率α。在图83所示的例子中，用斜率l和截距p两个变量表示五个像素的混合比率。此外，在图83中，给定像素用白圆点表示，并且周围像素用黑圆点表示。

    如果在图84所示的平面中近似混合比率α，则通过考虑对应于两个方向的移动v，即图像的水平方向和垂直方向，将方程(23)推广到平面中，并且用方程(24)表示混合比率α。此外，在图83中，给定像素用白圆点表示。

    α＝jm+kq+p                                         (24)

    在方程(24)中，j是给定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。m是混合比率α平面在水平方向上的斜率，并且q是混合比率α平面在垂直方向上的斜率。p是混合比率α平面的截距。

    例如，在图74所示的帧#n中，方程(25)到(27)分别对于C05到C07成立。

    C05＝α05·B05/v+f05                                (25)

    C06＝α06·B06/v+f06                                (26)

    C07＝α07·B07/v+f07                                (27)

    如果位置相近的前景成分相等，即F01到F03相等，并且用Fc替代F01到F03，则可以建立方程(28)。

    f(x)＝(1-α(x))·Fc                                 (28)

    在方程(28)中，x表示空间方向上的位置。

    当用方程(24)替代α(x)时，方程(28)可以用方程(29)表示。

    f(x)＝(1-(jm+kq+p))·Fc

        ＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

        ＝js+kt+u                                                  (29)

    在方程(29)中，如方程(30)到(32)所示对(-m·Fc)、(-q·Fc)和(1-p)·Fc进行替代。

    s＝-m·Fc                                                     (30)

    t＝-q·Fc                                                     (31)

    U＝(1-p)·Fc                                                  (32)

    在方程(29)中，j是给定像素的位置为0时水平方向上的索引，并且k是垂直方向上的索引。

    如上所述，由于假定对应于前景的对象在快门周期内匀速移动，并且位置相近的前景成分相同，因此用方程(29)近似前景成分之和。

    当用直线近似混合比率α时，可以用方程(33)表示前景成分之和。

    f(x)＝is+u                                                    (33)

    如果用方程(24)和(29)替代方程(13)中的混合比率α和前景成分之和，则像素值M用方程(34)表示。

    M＝(jm+kq+p)·B+js+kt+u                                       (34)

     ＝jB·m+kB·q+B·p+j·s+k·t+u

    在方程(34)中，六个未知变量为混合比率α平面在水平方向上的斜率m、混合比率α平面在垂直方向上的斜率q以及混合比率α平面的截距p、s、t和u。

    根据邻近于给定像素的像素替代方程(34)所示正规方程中的像素值M或像素值B，并且采用最小二乘法求解其中像素值M和像素值B被替代的多个正规方程，从而计算混合比率α。

    例如，如果给定像素在水平方向上的索引j为0，垂直方向上的索引k为0，并且用相邻于给定像素的3×3像素替代方程(34)所示正规方程中的像素值M或像素值B，则获得方程(35)到(43)。

    M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1-1·p+(-1)·s+(-1)·t+u      (35)

    M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u          (36)

    M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u    (37)

    M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u         (38)

    M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u               (39)

    M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u         (40)

    M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u   (41)

    M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u         (42)

    M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u   (43)

    由于给定像素在水平方向上的索引j为0，并且垂直方向上的索引k为0，因此给定像素的混合比率α等于在方程(24)中j＝0且k＝0时的值，也就是，截距p。

    因此，根据九个方程(35)到(43)，通过使用最小二乘法计算水平斜率m、垂直斜率q以及截距p、s、t和u的各个值，然后输出截距p作为混合比率α。

    下一步，将说明通过使用最小二乘法计算混合比率α的更具体过程。

    如果索引i和索引k用一个索引x表示，则索引i、索引k和索引x之间的关系用方程(44)表示。

    x＝(j+1)·3+(k+1)                               (44)

    水平斜率m、垂直斜率q以及截距p、s、t和u分别用w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5表示。考虑到误差ex，方程(35)到(43)可以修改为方程(45)。Mx=Σy=05ay·wy+ex---(45)]]>

    在方程(45)中，x是整数0到8之间的值。

    从方程(45)可以得出方程(46)。ex=Mx-Σy=05ay·wy---(46)]]>

    在此，为使用最小二乘法，误差平方和E如方程(47)所示进行定义。E=Σx=08ex2---(47)]]>

    为使误差最小，误差平方和E对变量Wv的偏导值应为0。在此，v是0到5之间的任一整数。因此，获得满足方程(48)的wy。∂E∂Wv=2·Σx=08ex·∂ex∂Wv---(48)]]>=2·Σx=08ex·av=0]]>

    如果将方程(46)代入方程(48)，获得方程(49)。Σx=08(av·Σy=08ay·Wy)=Σx=08av·Mx---(49)]]>

    例如，对通过用0到5之间的一个整数替代方程(49)的v而获得的六个方程应用消元法(Gauss-Jordan消元法)，从而计算wy。如上所述，w0是水平斜率m，w1是垂直斜率q，w2是截距p，w3是s，w4是t，并且w5是u。

    如上所述，通过对其中像素值M和像素值B被替代的方程应用最小二乘法，可以获得水平斜率m、垂直斜率q以及截距p、s、t和u。

    在方程(35)到(43)的说明中，包含在混合区域中的像素的像素值用M表示，并且包含在背景区域中的像素的像素值用B表示。然而，需要为给定像素包含在覆盖背景区域或非覆盖背景区域中的每一种情况分别建立正规方程。

    例如，当获得如图74所示的包含在帧#n的覆盖背景区域中的像素的混合比率α时，将帧#n像素的像素值C04到C08和帧#n-1像素的像素值P04到P08代入正规方程。

    当获得如图75所示的包含在帧#n的非覆盖背景区域中的像素的混合比率α时，将帧#n像素的像素值C28到C32和帧#n+1像素的像素值N28到N32代入正规方程。

    此外，例如，当计算如图85所示的包含在帧#n的覆盖背景区域中的像素的混合比率α时，可以建立方程(50)到(58)。为其计算混合比率α的像素的像素值为Mc5。而且，在图85中，白圆点表示背景像素，而黑圆点表示混合区域像素。

    Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u     (50)

    Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u       (51)

    Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u     (52)

    Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u       (53)

    Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u         (54)

    Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u       (55)

    Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u     (56)

    Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u       (57)

    Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u     (58)

    当计算帧#n中包含在覆盖背景区域中的像素的混合比率α时，在方程(50)到(58)中使用对应于帧#n像素的帧#n-1背景区域像素的像素值Bc1到Bc9。

    当计算图85所示的包含在非覆盖背景区域中的像素的混合比率α时，可以建立方程(59)到(67)。为其计算混合比率α的像素的像素值为Mu5。

    Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u     (59)

    Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u       (60)

    Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u     (61)

    Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u       (62)

    Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u         (63)

    Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u       (64)

    Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u     (65)

    Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u       (66)

    Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u     (67)

    当计算帧#n中包含在非覆盖背景区域中的像素的混合比率α时，在方程(59)到(67)中使用对应于帧#n像素的帧#n+1背景区域像素的像素值Bu1到Bu9。

    图86是估计混合比率处理器401的结构方框图。输入到估计混合比率处理器401的图像提供给延迟部分501和加入器502。

    延迟电路501对输入图像延迟一帧，并且将它提供给加入器502。当帧#n作为输入图像提供给加入器502时，延迟电路501将帧#n-1提供给加入器502。

    加入器502在正规方程中设置与为其计算混合比率α的像素相邻的像素的像素值，以及帧#n-1的像素值。例如，加入器502分别根据方程(50)到(58)设置正规方程中的像素值Mc1到Mc9和像素值Bc1到Bc9。加入器502将其中设有这些像素值的正规方程提供给计算器503。

    计算器503通过采用消元法等求解从加入器502提供的正规方程，获得估计混合比率，并且输出所获得的估计混合比率。

    如上所述，估计混合比率处理器401能够根据输入图像计算估计混合比率，并且将它提供给混合比率获得部分403。

    此外，由于估计混合比率处理器402在结构上类似于估计混合比率处理器401，因此略去不述。

    图87示出由估计混合比率处理器401计算的估计混合比率的例子。图87所示的估计混合比率表示当匀速移动的前景对象的移动量v为11时根据以7×7像素块为单位对一条线生成的方程算出的结果。

    可以看到，估计混合比率在混合区域中的变化几乎是线性的，如图87所示。

    下一步，将参照图88说明具有图86所示结构的估计混合比率处理器401通过使用对应于覆盖背景区域的模型而执行的混合比率估计处理。

    在步骤S521，加入器502在对应于覆盖背景区域模型的正规方程中设置包含在输入图像中的像素值以及包含在从延迟电路501提供的图像中的像素值。

    在步骤S522，估计混合比率处理器401判定是否完成目标像素的设置，并且如果判定尚未完成目标像素的设置，过程返回到步骤S521，重复正规方程中像素值的设置处理。

    在步骤S522，如果判定完成目标像素的设置，过程进入步骤S523，计算器503根据其中设有像素值的正规方程，计算估计混合比率，并且输出所获得的估计混合比率。

    如上所述，具有图86所示结构的估计混合比率处理器401能够根据输入图像计算估计混合比率。

    使用对应于非覆盖背景区域的模型而执行的混合比率估计处理类似于图88的流程图所示的使用对应于覆盖背景区域模型的正规方程而执行的处理，因此略去不述。

    此外，虽然所说明的是对应于背景的对象为静止的情况，但是，即使当对应于背景区域的图像包含运动时，也可以应用上述区域指定处理。例如，当对应于背景的图像恒定移动时，估计混合比率处理器401可以根据该移动偏移整个图像，然后以与对应于背景的对象为静止的情况类似的方式进行处理。此外，当对应于背景区域的图像包含其他局部运动时，估计混合比率处理器401选择对应于运动的像素作为与属于混合区域的像素相对应的像素，然后执行上述处理。

    如上所述，混合比率计算器104能够根据输入图像和从区域指定单元103提供的区域信息，计算作为对应于每个像素的特征量的混合比率α。

    通过使用混合比率α，虽然包含在对应于移动对象的图像中的运动模糊信息仍然存在，但是可以分离包含在像素值中的前景成分和背景成分。

    此外，如果根据混合比率α合成图像，可以生成包含与移动对象速度相适应的适量运动模糊的图像，以符合真实世界中的图像。

    下面对前景/背景分离器105进行说明。图89是前景/背景分离器105的结构示例方框图。提供给前景/背景分离器105的输入图像提供给分离部分601、开关602和开关604。从区域指定单元103提供的表示覆盖背景区域的区域信息和表示非覆盖背景区域信息的区域信息提供给分离部分601。表示前景区域的区域信息提供给开关602。表示背景区域的区域信息提供给开关604。

    从混合比率计算器104提供的混合比率α提供给分离部分601。

    根据表示覆盖背景区域的区域信息、表示非覆盖背景区域的区域信息以及混合比率α，分离部分601从输入图像中分离前景成分，以将分离出的前景成分提供给合成器603，并且从输入图像中分离背景成分，以将分离出的背景成分提供给合成器605。

    当输入对应于前景的像素时，根据表示前景区域的区域信息，闭合开关602，并且只将包含在输入图像中的对应于前景的像素提供给合成器603。

    当输入对应于背景的像素时，根据表示背景区域的区域信息，闭合开关604，并且只将包含在输入图像中的对应于背景的像素提供给合成器605。

    合成器603根据从分离部分601提供的前景成分和从开关602提供的对应于前景的像素，合成前景成分图像，并且输出所合成的前景成分图像。由于前景区域和混合区域不重叠，因此合成器603对前景成分和对应于前景的像素应用例如逻辑或操作，从而合成前景成分图像。

    在前景成分图像合成过程中首先执行的初始过程中，合成器603在内置帧存储器中存储其像素值全为0的图像，并且在前景成分图像合成过程中，合成器603存储(覆写)前景成分图像。因此，在从合成器603提供的前景成分图像中对应于背景区域的像素存储0作为像素值。

    合成器605根据从分离部分601提供的背景成分和从开关604提供的对应于背景的像素，合成背景成分图像，并且输出所合成的背景成分图像。由于背景区域和混合区域不重叠，因此合成器605对背景成分和对应于背景的像素应用例如逻辑或操作，从而合成背景成分图像。

    在背景成分图像合成过程中首先执行的初始过程中，合成器605在内置帧存储器中存储其像素值全为0的图像，并且在背景成分图像合成过程中，合成器605存储(覆写)背景成分图像。因此，在从合成器605提供的背景成分图像中对应于前景区域的像素存储0作为像素值。

    图90A和90B示出输入到前景/背景分离器105的输入图像以及从前景/背景分离器105输出的前景成分图像和背景成分图像。

    图90A示出所要显示的图像的典型图，并且图90B示出沿着时间方向扩展对应于图90A的包括属于前景区域的像素、属于背景区域的像素和属于混合区域的像素的一行像素的模型图。

    如图90A和90B所示，从前景/背景分离器105输出的背景成分图像包括属于背景区域的像素和包含在混合区域像素中的背景成分。

    如图90A和90B所示，从前景/背景分离器105输出的前景成分图像包括属于前景区域的像素和包含在混合区域像素中的前景成分。

    混合区域像素的像素值由前景/背景分离器105分离为背景成分和前景成分。分离出的背景成分与属于背景区域的像素一起构成背景成分图像。分离出的前景成分与属于前景区域的像素一起构成前景成分图像。

    如上所述，在前景成分图像中，对应于背景区域的像素的像素值为0，并且在对应于前景区域的像素和对应于混合区域的像素中设置有效像素值。类似地，在背景成分图像中，对应于前景区域的像素的像素值为0，并且在对应于背景区域的像素和对应于混合区域的像素中设置有效像素值。

    下一步，将对由分离部分601执行的从属于混合区域的像素中分离前景成分和背景成分的过程进行说明。

    图91是包括与如图所示从左向右移动的对象相对应的前景且表示两帧前景成分和背景成分的图像的模型图。在图91所示的图像模型中，前景的移动量v定义为4，并且虚拟划分数目设为4。

    在帧#n中，最左像素以及左起第十四到第十八像素只包括背景成分，并且属于背景区域。在帧#n中，左起第二到四像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n中，左起第十一到第十三像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n中，左起第五到第十像素只包括前景成分，并且属于前景区域。

    在帧#n+1中，左起第一到第五像素以及左起第十八像素只包括背景成分，并且属于背景区域。在帧#n+1中，左起第六到八像素包括背景成分和前景成分，并且属于非覆盖背景区域。在帧#n+1中，左起第十五到第十七像素包括背景成分和前景成分，并且属于覆盖背景区域。在帧#n+1中，左起第九到第十四像素只包括前景成分，并且属于前景区域。

    图92示出从属于覆盖背景区域的像素中分离前景成分的过程。在图92中，α1到α18是对应于帧#n各个像素的混合比率。在图92中，左起第十五到第十七像素属于覆盖背景区域。

    帧#n中左起第十五像素的像素值C15用方程(68)表示。

    C15＝B15/v+F09/v+F08/v+F07/v                       (68)

       ＝α15·B15+F09/v+F08/v+F07/v

       ＝α15·P15+F09/v+F08/v+F07/v

    在此，α15是帧#n中左起第十五像素的混合比率。P15是帧#n-1中左起第十五像素的像素值。

    根据方程(68)，帧#n中左起第十五像素的前景成分之和f15用方程(69)表示。

    f15＝F09/v+F08/v+F07/v                             (69)

       ＝C15-α15·P15

    类似地，帧#n中左起第十六像素的前景成分之和f16用方程(70)表示，并且帧#n中左起第十七像素的前景成分之和f17用方程(71)表示。

    f16＝C16-α16·P16                                 (70)

    f17＝C17-α17·P17                                 (71)

    如上所述，包含在属于覆盖背景区域的像素的像素值C中的前景成分fc用方程(72)计算。

    fc＝C-α·P                                        (72)

    P是前一帧中对应像素的像素值。

    图93示出从属于非覆盖背景区域的像素中分离前景成分的过程。在图93中，α1到α18是对应于帧#n各个像素的混合比率。在图93中，左起第二到第四像素属于非覆盖背景区域。

    帧#n中左起第二像素的像素值C02用方程(73)表示。

    C02＝B02/v+B02/v+B02/v+F01/v                    (73)

       ＝α2·B02+F01/v

       ＝α2·N02+F01/v

    在此，α2是帧#n中左起第二像素的混合比率。N02是帧#n-1中左起第二像素的像素值。

    根据方程(73)，帧#n中左起第二像素的前景成分之和f02用方程(74)表示。

    f02＝F01/v                                      (74)

       ＝C02-α2·N02

    类似地，帧#n中左起第三像素的前景成分之和f03用方程(75)表示，并且帧#n中左起第四像素的前景成分之和f04用方程(76)表示。

    f03＝C03-α3·N03                               (75)

    f04＝C04-α4·N04                               (76)

    这样，包含在属于非覆盖背景区域的像素的像素值C中的前景成分fu用方程(77)计算。

    fu＝C-α·N                                     (77)

    N是后一帧中对应像素的像素值。

    如上所述，分离部分601能够根据包含在区域信息中的表示覆盖背景区域和非覆盖背景区域的信息以及每个像素的混合比率α，从属于混合区域的像素中分离前景成分和背景成分。

    图94是用于执行上述处理的分离部分601的结构示例方框图。输入到分离部分601的图像提供给帧存储器621，并且从混合比率计算器104提供的表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α提供给分离处理块622。

    帧存储器621以帧为单位存储输入图像。当处理目标为帧#n时，帧存储器621存储帧#n-1(帧#n的前一帧)、帧#n和帧#n+1(帧#n的后一帧)。

    帧存储器621将对应于帧#n-1、帧#n和帧#n+1的像素提供给分离处理块622。

    分离处理块622通过对从帧存储器621提供的对应于帧#n-1、帧#n和帧#n+1的像素的像素值应用图92和93所述的计算操作，根据表示覆盖背景区域和非覆盖背景区域的区域信息以及混合比率α，从属于帧#n的混合区域的像素中分离前景成分和背景成分，并且将它们提供给帧存储器623。

    分离处理块622由非覆盖区域处理器631、覆盖区域处理器632、合成器633和合成器634组成。

    非覆盖区域处理器631的乘法器641将从帧存储器621提供的帧#n+1像素的像素值与混合比率α进行相乘，并且将结果输出到开关642。当从帧存储器621提供的帧#n像素(对应于帧#n+1像素)属于非覆盖背景区域时，闭合开关642，并且将从乘法器641提供的通过相乘像素值与混合比率α而获得的值提供给计算器643和合成器634。从开关642输出的通过相乘帧#n+1像素的像素值与混合比率α而获得的值等于对应于帧#n的像素的像素值的背景成分。

    计算器643从由帧存储器621提供的帧#n像素的像素值中减去从开关642提供的背景成分，从而获得前景成分，并且将属于非覆盖背景区域的帧#n像素的前景成分提供给合成器633。

    覆盖区域处理器632的乘法器651将从帧存储器621提供的帧#n-1像素的像素值与混合比率α进行相乘，并且将结果输出到开关652。当从帧存储器621提供的帧#n像素(对应于帧#n-1像素)属于覆盖背景区域时，闭合开关652，并且将从乘法器651提供的通过相乘像素值与混合比率α而获得的值提供给计算器653和合成器634。从开关652输出的通过相乘帧#n-1像素的像素值与混合比率α而获得的值等于对应于帧#n像素的像素值的背景成分。

    计算器653从由帧存储器621提供的帧#n像素的像素值中减去从开关652提供的背景成分，从而获得前景成分，并且将属于覆盖背景区域的帧#n像素的前景成分提供给合成器633。

    合成器633合成属于非覆盖背景区域且从计算器643提供的帧#n像素的前景成分与属于覆盖背景区域且从计算器653提供的帧#n像素的前景成分，然后将结果提供给帧存储器623。

    合成器634合成属于非覆盖背景区域且从开关642提供的帧#n像素的背景成分与属于覆盖背景区域且从开关652提供的帧#n像素的背景成分，然后将结果提供给帧存储器623。

    帧存储器623分别存储从分离处理块622提供的帧#n混合区域像素的前景成分和背景成分。

    帧存储器623输出所存储的帧#n混合区域像素的前景成分和背景成分。

    通过使用作为特征量的混合比率α，可以完美地分离包含在像素值中的前景成分和背景成分。

    合成器603合成从分离部分601输出的帧#n混合区域像素的前景成分和属于前景区域的像素，从而生成前景成分图像。合成器605合成从分离部分601输出的帧#n混合区域像素的背景成分和属于背景区域的像素，从而生成背景成分图像。

    图95A和95B是与图91的帧#n相对应的前景成分图像和背景成分图像的示例图。

    图95A示出与图91的帧#n相对应的前景成分图像的例子。由于在分离前景和背景之前，最左像素和左起第十四像素只包括背景成分，因此它们各自的像素值为0。

    在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，它们各自的背景成分为0，并且它们各自的前景成分保持不变。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，它们各自的背景成分为0，并且它们各自的前景成分保持不变。由于左起第五到第十像素只包括前景成分，因此它们各自的像素值保持不变。

    图95B示出与图91的帧#n相对应的背景成分图像的例子。在分离前景和背景之前，最左像素以及左起第十四像素只包括背景成分，因此它们各自的背景成分保持不变。

    在分离前景和背景之前，左起第二到第四像素属于非覆盖背景区域。因此，它们各自的前景成分为0，并且它们各自的背景成分保持不变。在分离前景和背景之前，左起第十一到第十三像素属于覆盖背景区域。因此，它们各自的前景成分为0，并且它们各自的背景成分保持不变。由于左起第五到第十像素只包括前景成分，因此它们各自的像素值为0。

    下一步，将参照图96的流程图对前景/背景分离器105的前景和背景分离过程进行说明。在步骤S601，分离部分601的帧存储器621获取输入图像，并且与前一帧#n-1和后一帧#n+1一起存储为其分离前景和背景的给定帧#n。

    在步骤S602，分离部分601的分离处理块622获取从混合比率计算器104提供的区域信息。在步骤S603，分离部分601的分离处理块622获取从混合比率计算器104提供的混合比率α。

    在步骤S604，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取背景成分。

    在步骤S605，非覆盖区域处理器631根据区域信息和混合比率α，从由帧存储器621提供的属于非覆盖背景区域的像素的像素值中提取前景成分。

    在步骤S606，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取背景成分。

    在步骤S607，覆盖区域处理器632根据区域信息和混合比率α，从由帧存储器621提供的属于覆盖背景区域的像素的像素值中提取前景成分。

    在步骤S608，合成器633合成在步骤S605的处理中提取的属于非覆盖背景区域的像素的前景成分与在步骤S607的处理中提取的属于覆盖背景区域的像素的前景成分。所合成的前景成分提供给合成器603。合成器603进一步合成通过开关602提供的属于前景区域的像素和从分离部分601提供的前景成分，然后生成前景成分图像。

    在步骤S609，合成器634合成在步骤S604的处理中提取的属于非覆盖背景区域的像素的背景成分与在步骤S606的处理中提取的属于覆盖背景区域的像素的背景成分。所合成的背景成分提供给合成器605。合成器605进一步合成通过开关604提供的属于背景区域的像素和从分离部分601提供的背景成分，然后生成背景成分图像。

    在步骤S610，合成器603输出前景成分图像。在步骤S611，合成器605输出背景成分图像，然后处理结束。

    如上所述，前景/背景分离器105能够根据区域信息和混合比率α从输入图像中分离前景成分和背景成分，并且输出只包括前景成分的前景成分图像和只包括背景成分的背景成分图像。

    下一步，将说明调整前景成分图像的运动模糊量的调整过程。

    图97是运动模糊调整单元106的结构示例方框图。从运动检测器102提供的运动向量及其位置信息提供给处理单元确定部分801、模型形成部分802和计算器805。从区域指定单元103提供的区域信息提供给处理单元确定部分801。从前景/背景分离器105提供的前景成分图像提供给加入器804。

    处理单元确定部分801根据运动向量及其位置信息以及区域信息生成处理单元，然后将所生成的处理单元提供给模型形成部分802和加入器804。

    如图98所示，由处理单元确定部分801生成的处理单元A表示从对应于前景成分图像的覆盖背景区域的像素开始直至对应于非覆盖背景区域的像素结束的在移动方向上排列成一行的连续像素，或者表示从对应于非覆盖背景区域的像素开始直至对应于覆盖背景区域的像素结束的在移动方向上排列成一行的连续像素。例如，处理单元A由左上点(属于处理单元且位于最左或最上端的像素的图像位置)数据和右下点数据构成。

    模型形成部分802根据运动向量和输入处理单元A执行模型形成。更具体地说，例如，模型形成部分802根据包含在处理单元A中的像素数目、像素值在时间方向上的虚拟划分数目以及每个像素的前景成分数目，预先存储多个模型，然后根据处理单元A和像素值在时间方向上的虚拟划分数目，选择图99所示的与像素值和前景成分相对应的指定模型。

    例如，如果处理单元A的像素数目为12，并且快门时间内的移动量v为5，则模型形成部分802选择总共由八个前景成分构成的模型，其中，虚拟划分数目为5，最左像素包含一个前景成分，左起第二像素包含两个前景成分，左起第三像素包含三个前景成分，左起第四像素包含四个前景成分，左起第五像素包含五个前景成分，左起第六像素包含五个前景成分，左起第七像素包含五个前景成分，左起第八像素包含五个前景成分，左起第九像素包含四个前景成分，左起第十像素包含三个前景成分，左起第十一像素包含两个前景成分，并且左起第十二像素包含一个前景成分。

    此外，当提供运动向量和处理单元时，模型形成部分802可以不从预先存储的模型中选择一个模型，而可以根据运动向量和处理单元生成一个模型。

    模型形成部分802将所选模型提供给方程生成器803。

    方程生成器803根据从模型形成部分802提供的模型生成方程。参照图99的前景成分图像模型，当前景成分数目为8，对应于处理单元A的像素数目为12，移动量v为5并且虚拟划分数目为5时，说明由方程生成器803生成的下列方程。

    当对应于快门时间/v的包含在前景成分图像中的前景成分为F01/v到F08/v时，F01/v到F08/v与像素值C01到C12之间的关系用方程(78)到(89)表示。

    C01＝F01/v                                         (78)

    C02＝F02/v+F01/v                                   (79)

    C03＝F03/v+F02/v+F01/v                             (80)

    C04＝F04/v+F03/v+F02/v+F01/v                       (81)

    C05＝F05/v+F04/v+F03/v+F02/v+F01/v                   (82)

    C06＝F06/v+F05/v+F04/v+F03/v+F02/v                   (83)

    C07＝F07/v+F06/v+F05/v+F04/v+F03/v                   (84)

    C08＝F08/v+F07/v+F06/v+F05/v+F04/v                   (85)

    C09＝F08/v+F07/v+F06/v+F05/v                         (86)

    C10＝F08/v+F07/v+F06/v                               (87)

    C11＝F08/v+F07/v                                     (88)

    C12＝F08/v                                           (89)

    通过改写所生成的方程，方程生成器803生成另一组方程。由方程生成器803生成的另一组方程用方程(90)到方程(101)表示。

    C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v    (90)

        +0·F06/v+0·F07/v+0·F08/v

    C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v    (91)

        +0·F06/v+0·F07/v+0·F08/v

    C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v    (92)

        +0·F06/v+0·F07/v+0·F08/v

    C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v    (93)

        +0·F06/v+0·F07/v+0·F08/v

    C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v    (94)

        +0·F06/v+0·F07/v+0·F08/v

    C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v    (95)

        +1·F06/v+0·F07/v+0·F08/v

    C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v    (96)

        +1·F06/v+1·F07/v+0·F08/v

    C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v    (97)

        +1·F06/v+1·F07/v+1·F08/v

    C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v    (98)

        +1·F06/v+1·F07/v+1·F08/v

    C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v    (99)

        +1·F06/v+1·F07/v+1·F08/v

    C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v    (100)

        +0·F06/v+1·F07/v+1·F08/v

    C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v        (101)

        +0·F06/v+0·F07/v+1·F08/v方程(90)到(101)可以表示为方程(102)：Cj=Σi=0108aij·Fi/v---(102)]]>

    在方程(102)中，j表示像素的位置。在本例中，j的取值范围为1到12。此外，i表示前景值的位置。在本例中，i的取值范围为1到8。aij根据i和j的值为0或1。

    将误差考虑在内，方程(102)表示为方程(103)。Cj=Σi=0108aij·Fi/v+ej---(103)]]>在方程(103)中，ej为包含在给定像素Cj中的误差。方程(103)可以再次表示为方程(104)。ej=Cj-Σi=0108aij·Fi/v---(104)]]>

    在此，为应用最小二乘法，如方程(105)所示定义误差平方和E。E=Σj=0112ej2---(105)]]>

    为使误差最小，误差平方和E对变量Fk的偏导值应为0。获得满足方程(106)的Fk。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0---(106)]]>

    在方程(106)中，由于移动量v为固定值，因此可以推导出方程(107)Σj=0112akj·(cj-Σi=0108aij·Fi/v)=0---(107)]]>

    通过将方程(107)展开并且进行移项，获得方程(108)：Σj=012(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(108)]]>

    通过分别用1到8之间的一个整数替代方程(108)中的k，方程(108)展开为8个方程。所获得的8个方程可以表示为一个矩阵方程，并且该方程称作正规方程(norma1 equation)。

    根据最小二乘法由方程生成器803生成的正规方程的一个例子如方程(109)所示：

    如果方程(109)表示为A·F＝v·C，C、A和v是已知的，而F是未知的。A和v在模型形成的时候是已知的，而C是在加入操作中通过输入像素值而得知的。

    通过使用基于最小二乘法的正规方程计算前景成分，可以分散包含在像素C中的误差。

    方程生成器803将如上所述生成的正规方程提供给加入器804。

    根据从处理单元确定部分801提供的处理单元，加入器804在从方程生成器803提供的矩阵方程中，设置包含在前景成分图像中的像素值C。加入器804将其中设有像素值C的矩阵提供给计算器805。

    计算器805通过基于消元法如Gauss-Jordan消元法的处理，计算消除了运动模糊的前景成分Fi/v，计算与消除了运动模糊的索引为i的前景像素值相对应的Fi，其中，i为0到8之间的整数，然后将消除了运动模糊的前景成分图像与算出的像素值Fi一起输出到运动模糊加入器806和选择器807。

    此外，如图100所示，为使前景成分图像的位置相对于屏幕不发生改变，分别将F01到F08设到消除了运动模糊的前景成分图像中的C03到C10。然而，它可以对应于任意位置。

    运动模糊加入器806可以通过加入不同于移动量v的运动模糊调整量v′来调整运动模糊量，例如，运动模糊调整量v′是移动量v的一半，或者与移动量v无关。例如，如图101所示，运动模糊加入器806将消除了运动模糊的前景像素值Fi除以运动模糊调整量v′，从而计算前景成分Fi/v′，对前景成分Fi/v′进行求和，然后生成经过运动模糊量调整的像素值。例如，当运动模糊调整量为3时，像素值C02为(F01)/v′，像素值C03为(F01+F02)/v′，像素值C04为(F01+F02+F03)/v′，并且像素值C05为(F02+F03+F04)/v′。

    运动模糊加入器806将经过运动模糊量调整的前景成分图像提供给选择器807。

    选择器807根据由用户选择的选择信号，选择从计算器805提供的消除了运动模糊的前景成分图像和从运动模糊加入器806提供的经过运动模糊量调整的前景成分图像的其中之一，然后输出所选的前景成分图像。

    如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′调整运动模糊量。

    而且，例如，如图102所示，当对应于处理单元的像素数目为8，并且移动量v为4时，运动模糊调整单元106生成方程(110)所示的矩阵方程。

    运动模糊调整单元106生成对应于处理单元长度所需数目的方程，并且计算经过运动模糊量调整的像素值Fi。以相同的方式，当包含在处理单元中的像素数目例如为100时，运动模糊调整单元106根据包括100个像素的处理单元，生成相应数目的方程，然后计算Fi。

    图103是运动模糊调整单元106的另一结构图。与图97相同的部分用相同的标号表示，并且略去不述。

    根据选择信号，选择单元821将输入运动向量及其位置信号按原样提供给处理单元确定部分801和模型形成部分802，或者将运动向量的大小替换为运动模糊调整量v′，然后将替换量v′及其位置信号提供给处理单元确定部分801和模型形成部分802。

    通过如此操作，图103中的运动模糊调整单元106的处理单元确定部分801到计算器805能够根据移动量v和运动模糊调整量v′，调整运动模糊量。例如，当移动量v为5并且运动模糊调整量v′为3时，图103中的运动模糊调整单元106的处理单元确定部分801到计算器805根据与等于3的运动模糊调整量v′相对应的图101所示的模型，对移动量v为5的前景成分图像执行计算，然后计算包含与(移动量v)/(运动模糊调整量v′)＝5/3，约等于1.7相对应的运动模糊的图像。此外，在这种情况下，由于算出的图像不包含与等于3的移动量v相对应的运动模糊，因此需要注意，运动模糊加入器806的结果不同于移动量v与运动模糊调整量v′之间的关系。

    如上所述，运动模糊调整单元106根据移动量v和处理单元生成方程，并且在所生成的方程中设置前景成分图像的像素值，然后计算经过运动模糊量调整的前景成分图像。

    下一步，将参照图104的流程图对由运动模糊调整单元106执行的调整包含在前景成分图像中的运动模糊量的过程进行说明。

    在步骤S801，运动模糊调整单元106的处理单元确定部分801根据运动向量及其位置信息，生成处理单元，并且将所生成的处理单元提供给模型形成部分802。

    在步骤S802，运动模糊调整单元106的模型形成部分802根据移动量v和处理单元，选择或生成一个模型。在步骤S803，方程生成器803根据所选的模型，生成正规方程。

    在步骤S804，加入器804在所生成的正规方程中设置前景成分图像的像素值。在步骤S805，加入器804判定是否已设置与处理单元相对应的所有像素的像素值，并且如果判定尚未设置与处理单元相对应的所有像素的像素值，过程返回到步骤S804，重复在正规方程中设置像素值的处理。

    在步骤S805，如果加入器804判定已设置与处理单元相对应的所有像素的像素值，过程进入步骤S806，计算器805根据其中设有由加入器804提供的像素值的正规方程，计算经过运动模糊量调整的前景像素值，并且过程结束。

    如上所述，运动模糊调整单元106能够根据运动向量及其位置信息，调整包含运动模糊的前景图像中的运动模糊量。

    也就是，可以调整包含在作为样本数据的像素值中的运动模糊量。

    图105是运动模糊调整单元106的另一结构示例方框图。从运动检测器102提供的运动向量及其位置信息提供给处理单元确定部分901和调整部分905，并且从区域指定单元103提供的区域信息提供给处理单元确定部分901。从前景/背景分离器105提供的前景成分图像提供给计算器904。

    处理单元确定部分901根据运动向量及其位置信息以及区域信息生成处理单元，然后将所生成的处理单元与运动向量一起提供给模型形成部分902。

    模型形成部分902根据运动向量和输入处理单元执行模型形成。更具体地说，例如，模型形成部分902根据包含在处理单元中的像素数目、像素值在时间方向上的虚拟划分数目以及每个像素的前景成分数目，预先存储多个模型，然后根据处理单元和像素值在时间方向上的虚拟划分数目，选择图106所示的与像素值和前景成分相对应的指定模型。

    例如，如果对应于处理单元的像素数目为12，并且移动量v为5，则模型形成部分902选择总共由八个前景成分构成的模型，其中，虚拟划分数目为5，最左像素包含一个前景成分，左起第二像素包含两个前景成分，左起第三像素包含三个前景成分，左起第四像素包含四个前景成分，左起第五像素包含五个前景成分，左起第六像素包含五个前景成分，左起第七像素包含五个前景成分，左起第八像素包含五个前景成分，左起第九像素包含四个前景成分，左起第十像素包含三个前景成分，左起第十一像素包含两个前景成分，并且左起第十二像素包含一个前景成分。

    此外，当提供运动向量和处理单元时，模型形成部分902可以不从预先存储的模型中选择一个模型，而是根据运动向量和处理单元生成一个模型。

    方程生成器903根据从模型形成部分902提供的模型生成方程。

    参照图106到108所示的前景成分图像模型，当前景成分数目为8，对应于处理单元的像素数目为12并且移动量v为5时，说明由方程生成器903生成的方程的例子。

    当包含在前景成分图像中的对应于(快门时间)/v的前景成分为F01/v到F08/v时，F01/v到F08/v与像素值C01到C12之间的关系如前所述用方程(78)到(89)表示。

    考虑像素值C12和C11，像素值C12如方程(111)所示，只包括前景成分F08/v，并且像素值C11包括前景成分F08/v与F07/v之和。因此，可以根据方程(112)得到前景成分F07/v。

    F08/v＝C12                                    (111)

    F07/v＝C11-C12                                (112)

    以相同方式，参考包含在像素值C10和C01中的前景成分，可以分别通过方程(113)到(118)得到前景成分F06/v到F01/v。

    F06/v＝C10-C11                                (113)

    F05/v＝C09-C10                                (114)

    F04/v＝C08-C09                                (115)

    F03/v＝C07-C08+C12                            (116)

    F02/v＝C06-C07+C11-C12                        (117)

    F01/v＝C05-C06+C10-C11                        (118)

    方程生成器903通过使用方程(111)到(118)所示的像素值之间的差值，生成用于计算前景成分的方程。方程生成器903将所生成的方程提供给计算器904。

    计算器904根据其中设有前景成分图像的像素值的从方程生成器903提供的方程，计算前景成分。例如，当从方程生成器903提供方程(111)到(118)时，将像素值C05到C12代入方程(111)到(118)。

    计算器904根据其中设有像素值的方程计算前景成分。例如，如图107所示，计算器904根据基于其中设有像素值C05到C12的方程(111)到(118)的计算操作，计算前景成分F01/v到F08/v。计算器904将前景成分F01/v到F08/v提供给调整部分905。

    调整部分905将从计算器904提供的前景成分与从处理单元确定部分901提供的包含在运动向量中的移动量v进行相乘，从而计算消除了运动模糊的前景像素值。例如，当如图108所示提供从计算器904提供的前景成分F01/v到F08/v时，调整部分905将每个前景成分F01/v到F08/v与等于5的移动量v进行相乘，从而计算消除了运动模糊的前景像素值F01到F08，。

    调整部分905将算出的由消除了运动模糊的前景像素值构成的前景成分图像提供给运动模糊加入器906和选择器907。

    运动模糊加入器906可以用运动模糊调整量v′来调整运动模糊量，其中，例如，运动模糊调整量v′不同于移动量v且是移动量v值的一半，或者运动模糊调整量v′与移动量v值无关。例如，如图101所示，运动模糊加入器906将消除了运动模糊的前景像素值Fi除以运动模糊调整量v′，从而计算前景成分Fi/v′，计算前景成分Fi/v′之和，然后生成经过运动模糊量调整的像素值。例如，当运动模糊调整量v′为3时，像素值C02为(F01)/v′，像素值C03为(F01+F02)/v′，像素值C04为(F01+F02+F03)/v′，并且像素值C05为(F02+F03+F04)/v′。

    运动模糊加入器906将经过运动模糊量调整的前景成分图像提供给选择器907。

    选择器907例如根据对应于用户选择的选择信号，选择从调整部分905提供的消除了运动模糊的前景成分图像和从运动模糊加入器906提供的经过运动模糊量调整的前景成分图像的其中之一，然后输出所选的前景成分图像。

    如上所述，运动模糊调整单元106能够根据选择信号和运动模糊调整量v′来调整运动模糊量。

    下一步，将参照图109的流程图对由具有图105所示结构的运动模糊调整单元106执行的调整前景运动模糊量的过程进行说明。

    在步骤S901，运动模糊调整单元106的处理单元确定部分901根据运动向量和区域信息生成处理单元，然后将所生成的处理单元提供给模型形成部分902和调整部分905。

    在步骤S902，运动模糊调整单元106的模型形成部分902根据移动量v和处理单元，选择或生成一个模型。在步骤S903，方程生成器903根据所选择或所生成的模型，生成用于根据前景成分像素值之间的差值计算前景成分的方程。

    在步骤S904，计算器904在所生成的方程中设置前景成分图像的像素值，并且根据其中设有像素的方程，通过使用像素值之间的差值，提取前景成分。在步骤S905，计算器904确定是否已提取对应于处理单元的所有前景成分，并且如果确定尚未提取对应于处理单元的所有前景成分，过程返回到步骤S904，重复前景成分提取处理。

    在步骤S905，如果确定已提取对应于处理单元的所有前景成分，过程进入步骤S906，调整部分905根据移动量v校正从计算器904提供的每个前景成分F01/v到F08/v，然后计算消除了运动模糊的像素值F01/v到F08/v。

    在步骤S907，运动模糊加入器906计算经过运动模糊量调整的前景像素值，选择器907选择消除了运动模糊的图像或者经过运动模糊量调整的图像，并且输出所选的图像，然后过程完成。

    如上所述，具有图105所示结构的的运动模糊调整单元106能够通过更简单的操作，更快速地调整包含运动模糊的前景图像的运动模糊。

    消除运动模糊的传统方法如Wiener滤波器等在理想状态下是有效的，但是对于包含噪声的量化实际图像不起作用。然而，具有图105所示结构的运动模糊调整单元106对于包含噪声的量化实际图像是足够有效的，并且可以准确地消除运动模糊。

    如上所述，具有图27所示结构的分离服务器11能够调整属于输入图像的运动模糊量。

    图110是分离服务器11的另一结构方框图。

    与图27相同的部分用相同的标号表示，并且略去不述。

    区域指定单元103将区域信息提供给混合比率计算器104和合成器1001。

    混合比率计算器104将混合比率α提供给前景/背景分离器105和合成器1001。

    前景/背景分离器105将前景成分图像提供给合成器1001。

    合成器1001根据从混合比率计算器104提供的混合比率α和从区域指定单元103提供的区域信息，合成任意背景图像与从前景/背景分离器105提供的前景成分图像，然后输出对应于背景图像或前景成分图像的合成图像。

    图111是合成器1001的结构图。背景成分生成器1021根据混合比率α和任意背景图像生成背景成分图像，然后将所生成的背景成分图像提供给混合区域图像合成部分1022。

    混合区域图像合成部分1022合成从背景成分生成器1021提供的背景成分图像与前景成分图像，从而生成混合区域合成图像，然后将所生成的混合区域合成图像提供给图像合成部分1023。

    图像合成部分1023根据区域信息合成前景成分图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及任意背景图像，并且输出合成图像。

    如上所述，合成器1001能够合成前景成分图像和任意背景图像。

    通过根据作为特征量的混合比率α合成前景成分图像和任意背景图像而获得的图像与通过仅合成像素而获得的图像相比，看上去更自然。

    图112是用于调整运动模糊量的分离服务器11的另一结构方框图。图27所示的分离服务器11串行执行区域指定操作和混合比率α计算操作，而图112所示的分离服务器11并行执行区域指定操作和混合比率α计算操作。

    与图27相同的部分用相同的标号表示，并且略去不述。

    输入图像提供给混合比率计算器1101、前景/背景分离器1102、区域指定单元103和对象提取部分101。

    混合比率计算器1101根据输入图像，为属于输入图像的每个像素计算假定像素属于覆盖背景区域时的估计混合比率，并且计算假定像素属于非覆盖背景区域时的估计混合比率，然后将假定像素属于覆盖背景区域的情况下的估计混合比率和假定像素属于非覆盖背景区域的情况下的估计混合比率提供给前景/背景分离器1102。

    图113是混合比率计算器1101的结构示例方框图。

    图113所示的估计混合比率处理器401与图72所示的估计混合比率处理器401相同。图113所示的估计混合比率处理器402与图72所示的估计混合比率处理器402相同。

    估计混合比率处理器401根据输入图像使用对应于覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出所算出的估计混合比率。

    估计混合比率处理器402根据输入图像使用对应于非覆盖背景区域模型的计算操作，为每个像素计算估计混合比率，并且输出所算出的估计混合比率。

    前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域的情况下的估计混合比率、假定像素属于非覆盖背景区域的情况下的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，并且将所生成的前景成分图像提供给运动模糊调整单元106和选择器107。

    图114是前景/背景分离器1102的结构示例方框图。

    与图89所示的前景/背景分离器105相同的部分用相同的标号表示，并且略去不述。

    选择器1121根据从区域指定单元103提供的区域信息，选择从混合比率计算器1101提供的假定像素属于覆盖背景区域的情况下的估计混合比率、或者假定像素属于非覆盖背景区域的情况下的估计混合比率，然后将所选估计混合比率作为混合比率α提供给分离部分601。

    分离部分601根据从选择器1121提供的混合比率和区域信息，从属于混合区域的像素的像素值中提取前景成分和背景成分，并且将所提取的前景成分提供给合成器603，并且将所提取的背景成分提供给合成器605。

    分离部分601可以具有图94所示的相同结构。

    合成器603合成并输出前景成分图像。合成器605合成并输出背景成分图像。

    图112所示的运动模糊调整单元106可以具有与图27所示相同的结构，它根据区域信息和运动向量，调整包含在从前景/背景分离器1102提供的前景成分图像中的运动模糊量，然后输出经过运动模糊量调整的前景成分图像。

    图112所示的选择器107根据对应于用户选择的选择信号，选择从前景/背景分离器1102提供的前景成分图像或者从运动模糊调整单元106提供的经过运动模糊量调整的前景成分图像，然后输出所选前景成分图像。

    如上所述，具有图112所示结构的分离服务器11能够调整包含在对应于输入图像前景对象的图像中的运动模糊量，并且对它进行输出。以与第一实施例相同的方式，具有图112所示结构的分离服务器11能够计算作为埋藏信息的混合比率α，并且输出所算出的混合比率α。

    图115是用于合成前景成分图像和任意背景图像的分离服务器11的另一结构方框图。图110所示的分离服务器11串行执行区域指定操作和混合比率α计算操作。但是，图115所示的分离服务器11并行执行区域指定操作和混合比率α计算操作。

    与图112相同的部分用相同的标号表示，并且略去不述。

    图115所示的混合比率计算器1101根据输入图像，为属于输入图像的每个像素计算假定像素属于覆盖背景区域的情况下的估计混合比率，并且计算假定像素属于非覆盖背景区域的情况下的估计混合比率，并且将假定像素属于覆盖背景区域的情况下的估计混合比率和假定像素属于非覆盖背景区域的情况下的估计混合比率提供给前景/背景分离器1102和合成器1201。

    图115所示的前景/背景分离器1102根据从混合比率计算器1101提供的假定像素属于覆盖背景区域的情况下的估计混合比率、假定像素属于非覆盖背景区域的情况下的估计混合比率、以及从区域指定单元103提供的区域信息，从输入图像中生成前景成分图像，然后将所生成的前景成分图像提供给合成器1201。

    合成器1201根据从混合比率计算器1101提供的假定像素属于覆盖背景区域的情况下的估计混合比率、假定像素属于非覆盖背景区域的情况下的估计混合比率、以及从区域指定单元103提供的区域信息，合成任意背景图像与从前景/背景分离器1102提供的前景成分图像，然后输出对应于背景图像或前景成分图像的合成图像。

    图116是合成器1201的结构图。与图111的方框图相同的部分用相同的标号表示，并且略去不述。

    选择器1221根据从区域指定单元103提供的区域信息，选择从混合比率计算器1101提供的假定像素属于覆盖背景区域的情况下的估计混合比率、或者假定像素属于非覆盖背景区域的情况下的估计混合比率，然后将所选估计混合比率作为混合比率α提供给背景成分生成器1021。

    图116所示的背景成分生成器1021根据从选择器1221提供的混合比率α和任意背景图像生成背景成分图像，然后将所生成的背景成分图像提供给混合区域图像合成部分1022。

    图116所示的混合区域图像合成部分1022合成从背景成分生成器1021提供的背景成分图像与前景成分图像，从而生成混合区域合成图像，然后将所生成的混合区域合成图像提供给图像合成部分1023。

    图像合成部分1023根据区域信息合成前景成分图像、从混合区域图像合成部分1022提供的混合区域合成图像、以及任意背景图像，并且输出合成图像。

    如上所述，合成器1201能够合成前景成分图像和任意背景图像。

    此外，混合比率α是作为属于像素值的背景成分的比率来说明的，但是它可以是属于像素值的前景成分的比率。

    此外，上面是对前景对象的移动方向为从左到右的方向的情况进行了说明。但是，当然，方向不限于上述方向。

    在上面描述中，以通过使用视频摄像机将具有三维空间和时间轴信息的真实空间图像投影到具有二维空间和时间轴信息的时空中这一情况为例进行了说明，但是，本发明不限于该例子，并且可以应用于下面情况：当第一维的第一信息投影到在数量上小于第一信息的第二维的第二信息时，校正因投影而产生的失真，提取有效信息或者更自然地合成图像。

    此外，传感器76a不限于CCD，并且可以是固态图像拍摄元件，例如BBD(Bucket Brigade Device，组桶式器件)、CID(Charge Injection Device，电荷注入器件)、CPD(Charge Priming Device，电荷启动器件)或者CMOS(Complementary Metal Oxide Semiconductor，互补型金属氧化物半导体)传感器。并且，传感器不限于其中检测元件排列在矩阵上的传感器，它可以是其中检测器件连续排列在一行上的传感器。

    上述分离服务器11的各功能可以通过将图像处理分布到图1所示的网络上的各服务器来实现。也就是，对象提取单元101和运动检测器102可以用作运动检测服务器12，区域指定单元103可以用作区域指定服务器13，混合比率计算器104可以用作混合比率计算服务器14，前景/背景分离器105可以用作前景/背景图像分离服务器15，并且运动模糊调整单元106可以用作运动模糊调整服务器16。因此，图27所示的分离服务器11的方框图可以用硬件、软件或网络来执行。此外，以相同的方式，合成服务器19可以用作合成器1201，并且合成处理的方框图可以用硬件、软件或网络来执行。

    对象提取单元101、运动检测器102、区域指定单元103、混合比率计算器104、前景/背景分离器105和运动模糊调整单元106的处理可以分别用运动检测服务器12、区域指定服务器13、混合比率计算服务器14、前景/背景图像分离服务器15和运动模糊调整服务器16的处理来代替，因此略去不述。

    此外，当用硬件或软件执行时，分离服务器11可以由作为分离处理器包括在连接到图1所示网络的各个服务器、客户计算机27和摄像机终端单元28中的一部分来构成。因此，在下面说明中，当分离服务器11作为具有将输入图像分离为前景成分图像和背景成分图像的功能的一个设备来说明时，它称作分离处理器11。

    下一步，参照图117的流程图，将说明由分离服务器11执行的对通过图1的网络1从客户计算机27输入的图像的分离服务处理。

    在步骤S1001，客户计算机27将图像指定信息输出到分离服务器11。也就是，特定图像或指定图像的图像ID作为用户想要分离的图像的指定信息输出到分离服务器11。

    在步骤S1011，分离服务器11获得指定图像。也就是，分离服务器11通过网络1读出并获得从客户计算机27传输的图像本身，并且当从客户计算机27传输指定信息时读出并获得对应于图像ID的图像。

    在步骤S1012，分离服务器11的收费处理器11a通过与帐户收费服务器24协作，通过网络1执行收费处理。此外，同时，在步骤S1021，帐户收费服务器24通过与分离服务器11协作，执行收费处理。

    在此，将参照图118的流程图对前述收费处理进行说明。此外，实际收费处理由分离服务器11和帐户收费服务器24执行。然而，由于还从客户计算机27输出各种处理所需的信息，因此，在此将一起说明客户计算机27的处理。

    在步骤S1101，如图119所示，客户计算机27选择服务，并且通过网络1将相应服务费用与用于辨别用户(被提供图像分离服务的用户)的ID信息以及验证信息(密码等)一起传输到分离服务器11。也就是，此时，当通过图117的步骤S1001的处理传输图像指定信息时，执行该步骤S1101的处理。此外，服务费用是指分离服务费用。

    在步骤S1111，如图119所示，分离服务器11的收费处理器11a接收ID信息和验证信息，并且将服务费用和它自己的ID传输到帐户收费服务器24。

    在步骤S1121，如图119所示，帐户收费服务器24根据从分离服务器11传输的ID从由顾客帐户的金融机构管理的金融交易服务器25查询验证信息、顾客帐户ID和服务费用。

    在步骤S1131，如图119所示，金融交易服务器(针对顾客)25根据顾客帐户ID和验证信息，执行验证处理，并且将验证结果和使用授权信息通知给帐户收费服务器24。

    在步骤S1122，如图119所示，帐户收费服务器24将验证结果和使用授权信息传输到分离服务器11。此外，在下面描述中，将给出验证结果有效时的说明。此外，当接收验证结果无效信息时，过程结束。

    在步骤S1112，如图119所示，当验证结果和金融机构有效时，分离服务器11向客户计算机27提供服务。在步骤S1102，客户计算机27接收所提供的服务。也就是，此时，在步骤S1112，分离服务器11将指定图像分离为前景成分图像和背景成分图像，然后输出到客户计算机27，并且在步骤S1102，客户计算机27接收分离出的前景成分图像和背景成分图像。

    在步骤S1113，分离服务器11将服务使用通知传输到帐户收费服务器24。在步骤S1123，帐户收费服务器24将顾客帐户ID、服务费用和提供商帐户ID通知给金融交易服务器(针对顾客)25。

    在步骤S1132，金融交易服务器(针对顾客)25将服务费用从顾客帐户ID的帐户转帐到金融交易服务器(针对提供商)26。

    在此，回到图117的流程图，继续说明。

    在步骤S1012、S1021由分离服务器11和帐户收费服务器24执行收费处理之后，分离服务器11在步骤S1013执行图像分离操作。也就是，分离服务器11的区域指定单元103执行参照图53的流程图所述的区域指定处理，混合比率计算器104执行参照图81的流程图所述的混合比率计算处理，前景/背景分离器105执行参照图96的流程图所述的前景/背景分离处理，并且运动模糊调整单元106执行参照图44的流程图所述的运动模糊量调整处理，以分离指定图像。此外，由于运动模糊量调整处理、区域指定处理、混合比率计算处理和前景/背景分离处理与上述类似，因此略去不述。

    在步骤S1014，分离服务器11为分离出的前景成分图像和背景成分图像生成ID，然后将它传输到客户计算机27。在步骤S1002，客户计算机27接收从分离服务器11传输的前景成分图像、背景成分图像及其ID，将它们存储在它自己的存储单元48(参见图2)，并且在需要时打印出它们。此外，客户计算机27可以根据用户指令，使分离服务器11将由分离服务器11分离的前景成分图像和背景成分图像存储在它自己的存储单元中，或者通过网络1将它们输出到存储服务器18以进行存储。

    在上面说明中，分离过程是在通过帐户收费服务器24将服务费用支付给金融交易服务器25、26的情况下描述的。然而，可以通过在存储单元48(参见图2)中存储表示用户先前已向分离服务提供商支付服务费用的点数如预付点数，并且每次向用户提供分离服务时扣除相应点数，执行收费处理。

    在此，将参照图120的流程图说明使用预付点数的收费处理。

    在步骤S1201，客户计算机27指定服务，并且传输ID信息和验证信息。也就是，客户计算机27执行与图117的步骤S1101相同的处理。

    在步骤S1211，分离服务器11的收费处理器11a接收ID信息和验证信息。在步骤S1212，收费处理器11a从根据客户计算机27的用户预先支付的金额存储在存储单元48中的预付点数中减去对应于分离处理服务费用的点数，并且对它进行存储。在步骤S1213，分离服务器11提供服务。也就是，此时，分离服务器11执行输入图像的分离处理，并且将分离出的前景成分图像和背景成分图像传输到客户计算机27。

    在步骤S1202，客户计算机27接收所提供的服务。也就是，此时，客户计算机27接收从分离服务器11传输的前景成分图像和背景成分图像。

    此外，在上面说明中，描述了分离服务器11在它自己的存储单元48(参见图2)中存储预付点数的情况，但是，例如，当使用其中存储有预付点数的卡，即所谓的预付卡时，执行相同的处理。在这种情况下，需要在步骤S1201客户计算机27读出并传输存储在预付卡中的预付点数，分离服务器11从通过收费处理接收的点数中减去对应于服务费用的点数，并且所减去的点数传输到客户计算机以更新预付卡。

    下一步，参照图121的流程图，将说明获取由客户计算机27指定的图像的运动向量和位置信息的运动检测服务处理。

    在步骤S1301，客户计算机27将图像指定信息输出到运动检测服务器12。也就是，作为用户想要对其执行运动检测处理的图像的指定信息，特定图像或指定图像的图像ID输出到运动检测服务器12。

    在步骤S1311，运动检测服务器12获得指定图像。也就是，运动检测服务器12通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定信息时读出并获得对应于图像ID的图像。

    在步骤S1312和步骤S1321，运动检测服务器12的收费处理器12c和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1313，运动检测服务器12的对象提取单元12a从所获得的指定图像中提取每个对象，并且运动检测器12b检测位置信息和运动向量，然后将它传输到客户计算机27。

    在步骤S1302，客户计算机27接收并存储从运动检测服务器12传输的对象的位置信息和运动向量。

    此外，客户计算机27可以根据用户指令将由运动检测服务器12检测的位置信息和运动向量存储在它自己的存储单元中，或者通过网络1将它们输出到存储服务器18以进行存储。

    下一步，参照图122的流程图，将说明由区域指定服务器13执行的根据从客户计算机27输入的图像指定信息和对象指定信息来指定区域的区域指定服务处理。

    在步骤S1401，客户计算机27将图像指定信息和对象指定信息输出到区域指定服务器13。也就是，对象指定信息与特定图像或指定图像的图像ID一起输出到区域指定服务器13，其中，特定图像或图像ID是指定用户想要进行区域指定的图像的信息。

    在步骤S1411，区域指定服务器13获得指定图像。也就是，区域指定服务器13通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1412和步骤S1421，区域指定服务器13的收费处理器13a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1413，区域指定服务器13根据对象指定信息执行区域指定处理。此外，区域指定处理类似于参照图53的流程图所述的处理，因此略去不述。

    在步骤S1414，区域指定服务器13将通过步骤S1413的处理获得的区域信息传输到客户计算机27。

    在步骤S1402，客户计算机27接收并存储从区域指定服务器13传输的区域信息。

    此外，客户计算机27可以根据用户指令将由区域指定服务器13获得的区域信息存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。

    下一步，参照图123的流程图，将说明由混合比率计算服务器14执行的根据从客户计算机27输入的图像指定信息、对象指定信息和区域信息来计算混合比率的混合比率计算服务处理。

    在步骤S1501，客户计算机27将图像指定信息、对象指定信息和区域信息输出到混合比率计算服务器14。也就是，特定图像或指定图像的图像ID、对象指定信息和区域信息输出到混合比率计算服务器14，其中，特定图像或指定图像的图像ID是指定用户想要对其计算混合比率的图像的信息。

    在步骤S1511，混合比率计算服务器14获得指定图像。也就是，混合比率计算服务器14通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1512和步骤S1521，混合比率计算服务器14的收费处理器14a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1513，混合比率计算服务器14根据对象指定信息和区域信息执行混合比率计算处理。此外，混合比率计算处理类似于参照图81的流程图所述的处理，因此略去不述。

    在步骤S1514，混合比率计算服务器14将通过步骤S1513的处理获得的混合比率传输到客户计算机27。

    在步骤S1502，客户计算机27接收并存储从混合比率计算服务器14传输的混合比率。

    此外，客户计算机27可以根据用户指令将由混合比率计算服务器14获得的混合比率存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。

    下一步，参照图124的流程图，将说明由前景/背景图像分离服务器15执行的根据从客户计算机27输入的图像指定信息、对象指定信息、区域信息和混合比率来分离前景成分图像和背景成分图像的服务处理。

    在步骤S1601，客户计算机27将图像指定信息、对象指定信息、区域信息和混合比率信息输出到前景/背景图像分离服务器15。也就是，具体图像或指定图像的图像ID、对象指定信息、区域信息和混合比率信息输出到前景/背景图像分离服务器15，其中，具体图像或指定图像的图像ID是指定用户想要将其分离为背景和前景的图像的信息。

    在步骤S1611，前景/背景图像分离服务器15获得指定图像。也就是，前景/背景图像分离服务器15通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1612和步骤S1621，前景/背景图像分离服务器15的收费处理器15a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1613，前景/背景图像分离服务器15根据对象指定信息、区域信息和混合比率执行前景/背景分离处理。此外，前景/背景分离处理类似于参照图96的流程图所述的处理，因此略去不述。

    在步骤S1614，前景/背景图像分离服务器15为通过步骤S1613的处理获得的前景成分图像和背景成分图像生成ID，并且将它们传输到客户计算机27。

    在步骤S1602，客户计算机27接收并存储从前景/背景图像分离服务器15传输的前景成分图像和背景成分图像。

    此外，客户计算机27可以根据用户指令将从前景/背景图像分离服务器15传输的前景成分图像和背景成分图像存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。

    下一步，参照图125的流程图，将说明由运动模糊调整服务器16执行的根据从客户计算机27输入的图像指定信息、运动向量和运动模糊调整量来调整指定图像的运动模糊的服务处理。

    在步骤S1701，客户计算机27将图像指定信息、运动向量和运动模糊调整量输出到运动模糊调整服务器16。也就是，特定图像或指定图像的图像ID、对象指定信息、运动向量和运动模糊调整量信息输出到运动模糊调整服务器16，其中，特定图像或指定图像的图像ID是指定用户想要对其进行运动模糊调整的图像的信息。

    在步骤S1711，运动模糊调整服务器16获得指定图像。也就是，运动模糊调整服务器16通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1712和步骤S1721，运动模糊调整服务器16的收费处理器16a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1713，运动模糊调整服务器16根据运动向量和运动模糊调整量执行运动模糊调整处理。此外，运动模糊调整处理类似于参照图104的流程图所述的处理，因此略去不述。

    在步骤S1714，运动模糊调整服务器16为通过步骤S1713的处理获得的运动模糊调整图像生成ID，并且将它传输到客户计算机27。

    在步骤S1702，客户计算机27接收并存储从运动模糊调整服务器16传输的运动模糊调整图像。

    此外，客户计算机27可以根据用户指令将从运动模糊调整服务器16传输的运动模糊调整图像存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。

    下一步，参照图126，将说明编码服务器17的详细结构。编码服务器17的分离处理部分2002将输入图像(包括输入指定图像的图像ID且通过网络1从存储服务器18读出的图像)分离为前景成分图像和背景成分图像，并且将它与混合比率、运动向量和位置信息一起输出到编码器2001。分离处理部分2002在结构上类似于参照图27所述的分离服务器(分离器)11，并且其获取混合比率、运动向量和位置信息的处理类似于分离服务器11，因此略去不述。

    编码器2001通过网络1将从分离处理部分2002输入的前景成分图像和背景成分图像输出到存储服务器18以对它们进行存储，并且将它们转换为存储服务器18在网络上的位置信息，即如URL的信息，并且输出它作为前景成分图像的位置信息和背景成分图像的位置信息。此时，编码器2001输出通过分离前景成分图像和背景成分图像而提取的混合比率、运动向量和位置信息。

    当前景成分图像和背景成分图像分别由编码器2001转换为前景成分图像的位置信息和背景成分图像的位置信息时，收费处理器17a(参见图16和图17)通过网络1与帐户收费服务器24一起执行收费处理。此外，收费处理可以如后所述由使用合成服务的用户执行，其中，合成服务使用合成服务器19生成合成图像，此外，相反，使用编码服务的用户可以预先支付服务费用，从而可以避免用户在使用合成服务的时候支付服务费用。

    下一步，参照图127的流程图，将说明由编码服务器17执行的对从客户计算机27输入的图像进行编码的编码服务处理。此外，在本说明中，将描述编码服务用户支付服务费用的情况。

    在步骤S1801，客户计算机27将图像指定信息输出到编码服务器17。也就是，特定图像或指定图像的图像ID和对象指定信息输出到编码服务器17，其中，特定图像或指定图像的图像ID是指定用户想要对其进行编码的图像的信息。

    在步骤S1811，编码服务器17获得指定图像。也就是，编码服务器17通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1812和步骤S1821，编码服务器17的收费处理器17a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S1813，编码服务器17的分离部分2002执行图像分离处理。此外，该图像分离处理类似于参照图117的流程图的步骤S1013所述的处理，因此略去不述。

    在步骤S1814，编码服务器17将通过步骤S1813的处理获得的前景成分图像和背景成分图像输出到存储服务器18以进行存储。在步骤S1814，存储服务器18存储所传输的前景成分图像和背景成分图像。

    在步骤S1815，编码服务器17将运动向量和位置信息加入到通过编码处理生成的前景成分图像的位置信息和背景成分图像的位置信息，并且将它们传输到客户计算机27。

    在步骤S1802，客户计算机27接收并存储从编码服务器17传输的前景成分图像的位置信息、背景成分图像的位置信息、运动向量和位置信息。

    此外，在对输入图像进行分离和编码的情况下，当对与预先编码的图像类似的图像进行编码时，编码器2001可以仅将对应于差异的数据加入到已经编码的图像的代码(图像的位置信息)，以进行输出。例如，在合成图128所示图像的情况下，当合成包括前景成分图像1、前景成分图像2和混合比率1的编码信息的第一图像编码信息和包括前景成分图像1、前景成分图像3和混合比率2的编码信息的第二图像编码信息时，因为这两个图像信息都包括前景成分图像1，所以当合成时可以省略其中任一图像的前景成分图像1，因此，与简单地合成图像的情况相比，可以提高压缩率，信息压缩量为所要省略的前景成分图像1。

    因此，当存储图128所示的第一图像和第二图像时，如果首先存储了第一图像，则对于第二图像可以仅存储作为差异的混合比率2和前景成分图像3的编码信息。由于这个原因，当重复存储相同图像的编码信息时，可以随着存储图像数目的增加而提高压缩率。

    此外，要由编码服务器17编码的混合比率、运动向量和位置信息可以是由用户指定的信息，如图129所示。此外，如图129所示，对于要编码的图像，可以从存储服务器18读出与由用户指定的图像ID相对应的前景成分图像和背景成分图像，并且对它们进行编码。在这种情况下，编码服务器17可以不装备分离部分2002。

    此外，虽然在本发明中是采用图像ID作为图像指定信息，但是也可以采用图像位置信息。

    下一步，参照图130的流程图，将说明由合成服务器19执行的根据从客户计算机27输入的图像A和B指定信息、运动向量、混合比率、位置信息和运动模糊调整量合成指定图像A和B的服务处理。

    在步骤S1901，客户计算机27将图像A和B指定信息、运动向量、混合比率、位置信息和运动模糊调整量信息输出到合成服务器19。也就是，特定图像或指定图像A和B的图像AID和BID(可以是前述编码图像的位置信息)、运动向量、混合比率、位置信息和运动模糊调整量信息输出到合成服务器19，其中，特定图像或指定图像A和B的图像AID和BID是指定用户想要合成的图像A和B的信息。

    在步骤S1911，合成服务器19获得指定图像。也就是，合成服务器19通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。

    在步骤S1912和步骤S1921，合成服务器19的收费处理器19a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。此外，在已使用编码服务器17对接受编码服务的用户进行过收费的情况下，可以省略该收费处理。相反，可以不对接受编码服务的用户而对接受分离服务的用户进行收费。

    在步骤S1913，合成服务器19根据运动向量、混合比率、位置信息和运动模糊调整量信息执行图像A和B合成处理。

    在步骤S1914，合成服务器19为通过步骤S1913的处理获得的合成图像(A+B)生成ID，并且将它传输到客户计算机27。

    在步骤S1902，客户计算机27接收并存储从合成服务器19传输的合成图像(A+B)。

    此外，客户计算机27可以根据用户指令将从合成服务器19传输的合成图像(A+B)存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。

    如上所述，虽然合成服务器19能够合成多个图像，但是它可以通过使用运动模糊调整量作为密钥加入合成图像的运动模糊，生成加密图像。图131示出加密运动模糊加入器2021的结构，其中，运动模糊加入器2021用来使合成服务器19生成加密图像。

    加密运动模糊加入器2021的输入信息处理器2031分别将所要加密的输入信号输出到图像化部分2032，将加密密钥信息输出到运动模糊加入器2033，并且将图像选择信息输出到合成服务器19以选择想要使用所要加密的信号作为前景成分图像进行合成的图像(背景成分图像)。

    当从输入信息处理器2031输入的所要加密的信号不是图像信号时，图像化部分2032将该信号转换为图像信号，然后将它输出到运动模糊加入器2033。也就是，由于加密信号假定为图像信号，因此图像化部分2032图像化不是图像信号的信号，从而符合该处理。

    运动模糊加入器2033根据从输入信息处理器2031输入的如速度或方向的信息，生成运动模糊调整量，并且将运动模糊加入到从图像化部分2032输入的图像信号，然后将它输出到合成服务器19。合成服务器19根据从输入信息处理器2031输入的图像选择信息获得背景成分图像，并且将从运动模糊加入器2033输入的图像作为前景成分图像与所获得的背景成分图像进行合成，以生成并显示合成图像。此时，指定背景成分图像的图像选择信息可以是背景成分图像本身，并且可以是背景成分图像的位置信息或背景成分图像的ID。

    下一步，参照图132，将说明加密运动模糊消除部分2041，用于对由装备在合成服务器19中的加密运动模糊加入器2021加密的合成图像进行解密，以将它转换为原始信号。此外，图131和图132所示的加密运动模糊加入器2021和加密运动模糊消除部分2041例如可以视作客户计算机27内置软件功能方框图和硬件方框图。此外，加密运动模糊加入器2021和加密运动模糊消除部分2041可以构造为网络1上的专用服务器。

    分离服务器11将加密合成图像分离为前景成分图像和背景成分图像，并且将加入有运动模糊的前景成分图像输出到输入信息处理器2051。

    当输入从分离服务器11输入的加密前景成分图像，并且输入速度和方向信息作为对加密前景成分图像进行解密的密钥，输入信息处理器2051将它们输出到运动模糊消除部分2052。当图像在x方向和y方向的二维中显示时，分别对其设置密钥的速度和方向。

    运动模糊消除部分2052根据从输入信息处理器2051输入的速度和方向信息生成运动模糊调整量，对加密前景成分图像执行与由加密运动模糊加入器2021执行的运动模糊加入处理相反的运动模糊加入处理，并且对加密前景成分图像进行解密，以将它输出到信号转换器2053。当所要加密的加密信号不是图像信号时，信号转换器2053将从运动模糊消除部分2052输入的图像信号转换为原始信号以进行输出。

    也就是，运动模糊加入器2033(参见图131)和运动模糊消除部分2052大致执行与图97的运动模糊加入器806类似的处理，并且使用运动模糊调整量作为加密密钥，执行彼此相反的运动模糊加入处理。然而，不同之处是，如下所述，首先在x方向或y方向上执行运动模糊加入处理之后，还执行增益放大处理。

    在此，将说明通过加入运动模糊对图像信号进行加密的原理。例如，如图133所示，当对象沿着箭头方向移动时，由具有CCD等的传感器76a拍摄它的图像，在移动方向的前后所产生的混合区域(覆盖背景区域和非覆盖背景区域)为拍摄图像的运动模糊(详见图31A)。图134示出说明这一现象的例子，其中的情况是，图134中用A表示的对象由传感器76a进行拍摄，当对象在图中向左或右移动时，根据其速度，运动模糊区域扩大，并且拍摄出的颜色扩散。也就是，当对象以速度v向左或右移动时，假定拍摄出的是图134中用B表示的图像。此时，如果当对象静止时拍摄出的区域为区域a0到a0’，并且图134中用B表示的对象区域为a1到a1’，则原始位置的区域a0到a0’的颜色变浅，并且扩散到其中产生运动模糊的区域a1到a0和区域a0’到a1’。类似地，如果对象以速度2v(v的两倍)移动时，如图134的C所示，可以看出颜色扩散到其中产生运动模糊的区域a2到a0和区域a0’到a2’。此外，如果对象以速度3v移动时，如图134的D所示，颜色扩散到其中产生运动模糊的区域a3到a0和区域a0’到a3’，并且如果对象以速度4v移动时，如图134的E所示，颜色扩散到其中产生运动模糊的区域a4到a0和区域a0’到a4’，并且在整体上颜色变浅。也就是，由于从传感器76a输出的各个像素值是在快门时间内累积得来的，因此随着移动对象速度的提高，被拍摄移动对象的部分在空间中扩散，从而使所占区域的颜色变浅，比较起来，整体累积像素值是以轻微变化在空间中扩散的。因此，随着颜色变浅的区域扩大，运动模糊区域扩大，并且对象的清晰度降低。在此，颜色表示清晰度。随着颜色变深，清晰度提高，并且随着颜色变浅，清晰度降低。

    使用运动模糊调整的加密采用这一特性，并且通过在2维方向上在图像中产生运动模糊来执行，而这在真实世界中不会发生。也就是，如图135所示，通过拍摄处于静止状态的黑色圆形对象而获得的图像显示在矩阵的最左列和最上行。在这种状态下，例如，如果加入在垂直方向上移动的运动模糊，则黑色圆形对象是在垂直方向上产生运动模糊的图像，如中间列和最上行所示。此外，如果在水平方向上产生运动模糊，则获得在垂直和水平方向上产生运动模糊的对象图像，如中间列和中间行所示。

    在这种状态下，此外，如果提高水平方向上的移动(速度)来增加运动模糊，如中间列和最下行所示，进一步获得在水平方向上扩散运动模糊区域的图像。如果在该图像中在垂直方向上产生运动模糊，如最右列和最下行所示，黑色圆形对象的运动模糊区域扩散，并且在整体上颜色变浅。这样，由于对象的清晰度降低，因此可以对图像本身进行加密。

    下一步，参照图136的流程图，将说明由加密运动模糊加入器2021执行的使用运动模糊调整量的加密处理。此外，在下面说明中，如图137所示，以对通过拍摄由5×5像素组成的对象而获得的图像进行加密为例进行说明。在此，在图137中，5×5像素中的各个像素分别用像素值a到y表示，垂直方向用y表示，水平方向用x表示，并且时间轴用时间t表示。

    在步骤S2001，输入信息处理器2031判定是否输入所要加密的信号，重复这一处理，直至发生该输入，并且如果判定存在该输入，则过程进入步骤S2002。

    在步骤S2002，输入信息处理器2031将所要加密的输入信号输出到图像化部分2032。在步骤S2003，图像化部分2032判定所要加密的输入信号是否为图像信号。例如，如果判定所要加密的信号不是图像信号，则在步骤S2004，图像化部分2032将所要加密的信号转换为图像信号，然后将它输出到运动模糊加入器2033。在步骤S2003，如果判定所要加密的信息是图像信号，则图像化部分2032将所要加密的输入信号输出到运动模糊加入器2033。

    在步骤S2005，输入信息处理器2031判定是否输入作为密钥的速度和方向信息，并且重复该处理直至发生该输入，并且如果输入作为密钥的速度和方向，则过程进入步骤S2006。

    在步骤S2006，运动模糊加入器2033在x方向上对输入图像信号进行加密(加入运动模糊)。

    在此，参照图137到149，将说明通过调整运动模糊量对对象进行加密来产生特定像素值的方法。

    在此，如图137所示，将说明通过在x方向上产生运动模糊来对最下行像素a到e进行加密的方法。此时，如果作为密钥的表示速度的移动量v为5(虚拟划分数目为5)，则图138所示的最下行像素类似于图139所示。也就是，由于各个像素值在时间方向上分为5部分，因此满足如下关系式：a/5＝a0＝a1＝a2＝a3＝a4，b/5＝b0＝b1＝b2＝b3＝b4，c/5＝c0＝c1＝c2＝c3＝c4，d/5＝d0＝d1＝d2＝d3＝d4以及e/5＝e0＝e1＝e2＝e3＝e4。在此，图139的最上行像素值是时间最靠前的像素值。

    如果将x方向的移动(在此，方向为图中向右)加入到对象，则像素值的排列以预定的时间间隔发生偏移，并且作为结果，获得图140所示的排列。也就是，获得像素值根据对象的移动而偏移的排列，其中，在移动开始的时候，像素值a0到e0处于原始位置，在下一时间间隔，像素值a1到e1向右偏移一个像素，在下一时间间隔，像素值a2到e2向右偏移一个像素，在下一时间间隔，像素值a3到e3向右偏移一个像素，并且在下一时间间隔，像素值a4到e4向右偏移一个像素。

    此外，通过在时间方向上对图140所示的像素值进行求和，获得xy平面上的各个像素值。然而，例如，由于最左列或最右列只包括像素值a0或e4，则存在一个问题是像素值变得非常小。因而，在y方向上执行相同处理之前，为了不让像素值非常小，还执行增益放大处理。所执行的增益放大处理的一个例子如图141所示。

    在此，a0*＝5×a0，b0*＝(5/2)×b0，a0*＝(5/2)×a1，c0*＝(5/3)×c0，b1*＝(5/3)×b1，a2*＝(5/3)×a2，d0*＝(5/4)×d0，c1*＝(5/4)×c1，b2*＝(5/4)×b2，a3*＝(5/4)×a3，e1*＝(5/4)×e1，d2*＝(5/4)×d2，c3*＝(5/4)× c3，b4*＝(5/4)×b4，e2*＝(5/3)×e2，d3*＝(5/3)×d3，c4*＝(5/3)×c4，e3*＝(5/2)×e3，d4*＝(5/2)×d4，并且e4*＝5×e4。也就是，每个像素的权值将增益调至1像素的像素值。这样，如果图138所示的像素a到e以x方向上的移动量v为5这一条件进行加密(如果加入运动模糊)，则它们转换(加密)为如图142所示的像素ax到dx’，并且对象在水平方向上的像素数目从5增至9。在此，像素分别为ax＝ax*，bx＝(b0*)+(a1*)，cx＝(c0*)+(b1*)+(a2*)，dx＝(d0*)+(c1*)+(b2*)+(a3*)，ex＝(e0)+(d1)+(c2)+(b3)+(a4)，ax’＝(e1*)+(d2*)+(c3*)+(b4*)，bx’＝(e2*)+(d3*)+(c4*)，cx’＝(e3*)+(d4*)，并且ex＝ex*。

    如果前述处理在x方向上对沿着y方向组成图137所示的5×5像素的所有行进行加密，则获得图143所示的像素值。也就是，获得像素ax到yx和像素ax’到dx’，fx’到ix’，kx’到nx’，px’到sx’，ux’到xx’，并且由于在x方向上产生运动模糊，因此产生x方向上的扩散。从而，获得每行9个像素的像素值。

    在此，回到图136的流程图，继续说明。

    在步骤S2007，运动模糊加入器2033在y方向上对经过x方向加密的图像信号进行加密。

    在此，如图144所示，将说明通过在y方向上产生运动模糊来对图143的最右列像素ax、fx、kx、px、ux进行加密的方法。此时，如果作为密钥的表示速度的移动量v为5(虚拟划分数目为5)，则图143所示的最右列像素如图144所示。也就是，由于各个像素值在时间方向上分为5部分，因此满足如下关系式：ax/5＝ax0＝ax1＝ax2＝ax3＝ax4，fx/5＝fx0＝fx1＝fx2＝fx3＝fx4，kx/5＝kx0＝kx1＝kx2＝kx3＝kx4，px/5＝px0＝px1＝px2＝px3＝px4以及ux/5＝ux0＝ux1＝ux2＝ux3＝ux4。在此，图145的最上行像素值是时间最靠前的像素值。

    如果将y方向的移动加入到对象，则像素值的排列以预定的时间间隔发生偏移，并且作为结果，获得图146所示的排列。也就是，获得像素值根据对象的移动而偏移的排列，其中，在移动开始的时候，像素值ax0、fx0、kx0、px0和ux0处于原始位置，在下一时间间隔，像素值ax1、fx1、kx1、px1和ux1向右偏移一个像素，在下一时间间隔，像素值ax2、fx2、kx2、px2和ux2向右偏移一个像素，在下一时间间隔，像素值ax3、fx3、kx3、px3和ux3向右偏移一个像素，并且在下一时间间隔，像素值ax4、fx4、kx4、px4和ux4向右偏移一个像素。

    在此，回到图136的流程图，继续说明。

    在步骤S2008，合成服务器19将合成背景成分图像与加密图像(前景成分图像)进行合成。例如，如果合成由图147中在y方向上排列的像素值B0到B9组成的背景成分图像(包括X方向上一格像素的图像)，则这些像素值是加入到图148所示像素值的值。也就是，以在x和y方向上经过加密(向其加入运动模糊)的图像的像素值为前景成分图像的像素值，并且以所要合成的图像的像素值为背景成分图像的像素值进行合成。结果，获得图149所示的A、F、K、P、U、Ay’、Fy’、Ky’和Py’，并且这些像素值分别为像素值A＝ax0+B0×4/5，像素值F＝fx0+ax0+B1×3/5，像素值K＝kx0+fx1+ax2+B2×2/5，像素值P＝px0+kx1+fx2+ax3+B3×2/5，像素值U＝ux0+px1+kx2+fx3+ax4，像素值Ay’＝B5×1/5+ux1+px2+kx3+fx4，像素值Fy’＝B6×2/5+ux2+px3+kx4，像素值Ky’＝B7×3/5+ux3+px4，并且像素值Py’＝B8×4/5+ux4。

    通过在所有y方向上执行所有这些处理，则生成图150所示的背景成分图像与加密前景成分图像的合成图像。也就是，5×5像素的输入图像转换为9×9像素的图像(像素A到Y、像素Ax到Dx、像素Fx到Ix、像素Kx到Nx、像素Px到Sx、像素Ux到Xx、像素Ay’到Ty’、像素Ax’到Dx’、像素Fx’到Ix’、像素Kx’到Nx’以及像素Px’到Sx’)。

    此外，由于加密运动模糊消除部分2041的运动模糊加入处理与加密运动模糊加入器2021的处理相反，因此将省略解密处理的说明。

    此外，在步骤S2006的处理中，当执行完x方向上的加密时，执行增益放大处理，然后执行y方向上的加密。因此，需要在执行y方向上的解密之后，减小增益，然后执行x方向上的解密。此外，x方向和y方向上的加密次序可以改变。然而，由于在首先执行加密的方向上执行增益放大处理，因此解密次序必须对应于加密次序。

    下一步，参照图151的流程图，将说明包括图131所示的加密运动模糊加入器2021的合成服务器19的加密服务。此外，这是连接到网络1的客户计算机27-1将所要加密的信号传输到合成服务器19情况下的处理，其中，合成服务器19对该信号进行加密，并将它传输到客户计算机27-2。此外，客户计算机27可以装备具有包括加密运动模糊消除部分2041的分离服务器11的图像分离处理功能的硬件或者安装具有这种功能的软件。

    在步骤S2101，客户计算机27-1将想要加密的信息(所要加密的信号)、作为加密密钥的速度和方向信息、以及图像选择信号(选择背景成分图像的信息)传输到合成服务器19。

    在步骤S2111，合成服务器19的加密运动模糊加入器2021根据从客户计算机27-1输入的加密密钥对想要加密的信息(所要加密的信号)进行加密，并且执行合成所选背景成分图像的加密处理。此外，由于加密处理已参照图136的流程图进行过说明，因此略去不述。

    在步骤S2112，合成服务器19将通过加入运动模糊而加密的合成图像传输到客户计算机27-1。

    在步骤S2102，客户计算机27-1显示从合成服务器19接收的合成图像，以确定该图像是否为用户所需图像，并且如果判定该图像是所需图像，则在步骤S2103向合成服务器19通知该图像为所需图像。在步骤S2113，合成服务器19判定图像是否为所需图像，并且例如，在这种情况下，由于在步骤S2103向合成服务器19通知该图像是所需图像，因此过程进入步骤S2114，

    在步骤S2114，合成服务器19的收费处理器19a和帐户收费服务器24执行收费处理，此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S2115，合成服务器19将加密合成图像传输到客户计算机27-1。在步骤S2104，客户计算机27-1接收加密合成图像，并且将它传输到客户计算机27-2。

    在步骤S2141，客户计算机27-2接收加密合成图像。在步骤S2142，客户计算机27-2判定是否输入密钥，并且重复该处理，直至输入加密密钥。如果在步骤S2142输入作为加密密钥的速度和方向信息，则在步骤S2143，运动模糊消除部分2041根据所输入的速度和方向，执行运动模糊处理。在步骤S2144，显示消除了运动模糊的图像。

    如果在步骤S2102，判定该图像不是所需图像，则在步骤S2105向合成服务器19通知该图像不是所需图像，并且过程返回到步骤S2101。此外，由于通过该处理判定该图像不是所需图像，则合成服务器19的处理返回到步骤S2111。

    也就是，通过该处理，当将由用户指定的速度和方向密钥正确输入到客户计算机27-2时，显示加密图像经过正确解密之后的图像。此外，通过与前述加密服务相同的系统，可以提供解密服务。

    下一步，将参照图152对校正服务器20进行说明。

    校正服务器20的分离处理器11将输入图像(可以是图像ID，并且当通过图像ID指定图像时，从网络1检索相应图像)分离为前景成分图像和背景成分图像，以将前景成分图像输出到运动模糊调整部分2101，并且将背景成分图像输出到合成器2102。运动模糊调整部分2101用指定运动模糊量(校正调整量)调整输入前景成分图像的运动模糊，并且将它输出到合成器2102。合成器2102合成经过运动模糊调整的前景成分图像和所输入的背景成分图像，并且将它作为校正图像输出。

    例如，假定将图153A所示的图像输入到校正服务器20。也就是，如图153A的右部所示，当前景沿着箭头方向在背景上移动时，在前景的移动方向及其相反方向上产生运动模糊。该运动模糊部分为混合区域，出现在移动方向起始部分的混合区域为CB(覆盖背景)，并且出现在移动方向末尾部分的混合区域为UB(非覆盖背景)，如图153A的左部所示。此外，由于在图153A的左部将时间轴t设在垂直方向上，因此示出移动过程中像素的像素值的存储状态与时间之间的关系。分离服务器11将该输入图像分离为如图153B所示的前景和背景。此时，同时提取输入图像的混合区域。

    运动模糊调整部分2101调整图153B所示的前景成分图像的运动模糊，以例如生成如图153C所示的前景成分图像。也就是，在这种情况下，将运动模糊设小(将CB和UB设小)。此外，用于调整运动模糊的运动模糊调整量可以通过用户的重复操作来多次输入，或者可以由运动模糊调整部分2101设为预定值。

    合成器2102合成如图153C所示调整的前景成分图像和所输入的背景成分图像，并且合成并输出经过运动模糊调整的前景成分图像和背景成分图像，如图153D所示。

    此外，当背景成分图像要改成与输入图像的背景成分图像不同的其他背景成分图像时，不将分离出的背景成分图像输入到合成器2102，而将想要更替的背景成分图像输入到合成器2102。此外，校正服务器20可以通过用网络1上的分离服务器11、运动模糊调整服务器16和合成服务器19代替分离处理器11、运动模糊调整部分2101和合成器2102来构造。

    下一步，参照图154的流程图，将说明由校正服务器20执行的对从客户计算机27输入的图像进行校正的校正服务处理。

    在步骤S2201，客户计算机27将图像指定信息输出到校正服务器20。也就是，作为指定用户想要校正的图像的信息，特定图像或指定图像的图像ID输出到校正服务器20。

    在步骤S2211，校正服务器20获得想要校正的指定图像和背景成分图像，并且分离服务器11将想要校正的图像分离为前景成分图像和背景成分图像。也就是，校正服务器20通过网络1当从客户计算机27传输图像时读出并获得图像本身，或者当传输指定图像的图像ID时读出并获得对应于图像ID的图像。此外，分离服务器11将所获得的图像分离为前景成分图像和背景成分图像。

    在步骤S2212和步骤S2221，校正服务器20的收费处理器20a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S2213，校正服务器20的运动模糊调整部分2101执行前景成分图像的运动模糊调整处理。此外，该运动模糊调整处理类似于参照图104的流程图所述的处理，因此略去不述。

    在步骤S2214，校正服务器20合成经过运动模糊调整的前景成分图像和指定背景成分图像。在步骤S2215，校正服务器20将通过步骤S2214的处理获得的合成图像，即校正图像，传输到客户计算机27。

    在步骤S2202，客户计算机27存储从校正服务器20传输的校正图像。

    此外，客户计算机27可以根据用户指令将由校正服务器20校正的图像存储在它自己的存储单元中，或者通过网络1将校正图像输出到存储服务器18以进行存储。

    下一步，参照图155的流程图，将说明由购买服务器21执行的购买由客户计算机27指定的图像的图像购买服务处理。

    在步骤S2301，客户计算机27将想要购买的图像的指定信息输出到购买服务器21。也就是，作为指定用户想要购买的图像的信息，指定图像的图像ID输出到购买服务器21。

    在步骤S2311，购买服务器21获得想要购买的图像。也就是，购买服务器21通过网络1读出并获得与从客户计算机27传输的图像ID相对应的图像。

    在步骤S2312和步骤S2321，购买服务器21的收费处理器21a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。

    在步骤S2313，购买服务器21将通过步骤S2311的处理获得的图像传输到客户计算机27。

    在步骤S2302，客户计算机27接收并存储从购买服务器21传输的图像。

    另外，客户计算机27可以根据用户指令将由购买服务器21购买的图像存储在它自己的存储单元中，或者通过网络1将它输出到存储服务器18以进行存储。此外，客户计算机27可以例如将图像传输到另一客户计算机27以进行提供。而且，另一用户可以购买分别由分离处理服务、合成服务或校正服务提供的前景成分图像、背景成分图像、合成图像、校正图像等。

    下一步，参照图156的流程图，将说明由出售服务器22执行的出售由客户计算机27指定的图像的图像出售服务处理。

    在步骤S2401，客户计算机27将想要出售的图像的指定信息输出到出售服务器22。也就是，用户想要出售的图像输出到出售服务器22。

    在步骤S2411，出售服务器22获得想要出售的图像。也就是，出售服务器22获得从客户计算机27传输的图像。

    在步骤S2422，出售服务器22对想要出售的图像设置适当的价格。价格可以例如由用户预先设置，或者通过网络1上的拍卖来设置。此外，如果图像是一个人，则当选择该图像时可以根据该人是否是公知人物来设置价格。

    在步骤S2413和步骤S2431，出售服务器22的收费处理器22a和帐户收费服务器24执行收费处理。

    在此，将参照图157的流程图对收费处理进行说明。此外，实际收费处理由出售服务器22和帐户收费服务器24执行。但是，还从客户计算机27输出各种处理所需的信息，因此在此也将说明客户计算机27的处理。

    在步骤S2501，辨别用户的ID(哪个用户出售图像)通过网络1传输到出售服务器22。

    在步骤S2511，出售服务器22根据从客户计算机27传输的ID信息，将费用和辨别出售服务器22的ID传输到帐户收费服务器24。

    在步骤S2521，帐户收费服务器24根据所传输的辨别出售服务器22的ID，请求具有提供商帐户的金融交易服务器26付费给具有顾客帐户的金融交易服务器25。

    在步骤S2531，金融交易服务器(针对提供商)26将对应于出售金额的费用从提供商帐户转帐到具有顾客帐户的金融交易服务器(针对顾客)25。

    在此，将继续说明图156的流程图。

    在步骤S2424，出售服务器22将出售结束通知给客户计算机27。在步骤S2402，客户计算机27接收出售结束通知。

    另外，出售服务器22可以使出售服务器22将由用户出售的图像存储在它自己的存储单元中，或者将该图像输出到存储服务器18以进行存储。此外，当如上所述通过拍卖系统设置价格时，出售服务器22可以使由用户出售的图像传给中标者的客户计算机27。

    下一步，将参照图158的方框图对检索服务器23进行说明。

    检索服务器23根据从客户计算机27输入的检索条件，检索连接到网络1的摄像机终端单元28上已拍摄的图像，并且输出请求图像。检索条件是时间、季节、天气、地区、位置、对象等。

    检索服务器23的控制单元2161控制检索服务器23的总体操作。在数据库2162中，存储位置数据、天气数据、对象数据等2162b作为数据库，其中，位置数据通过与检索服务器23所识别的每个摄像机终端单元28的摄像机ID相对应的装备在摄像机终端单元28中的GPS76b获得。通过控制单元2161以预定时间间隔控制通信单元2165，数据库2162的内容通过网络1从摄像机终端单元28获得和更新。

    存储单元2163存储通过通信单元2165从网络1上的摄像机终端单元28获得的图像，或者存储处理各种图像所需的信息。

    请求信息生成器2164改写从网络1上的客户计算机27输入的检索条件，然后生成检索数据库2162的条件。也就是，例如，当设置季节作为检索条件时，季节可以由每个摄像机终端单元28的位置数据和时间计算器2166所计算的时间信息来指定。从而，例如在输入‘春季’作为检索条件时，请求信息生成器2164生成目前为春季的地球经纬度位置数据。控制单元2161控制通信单元2165，然后通过从网络1读出对应于位置数据的摄像机ID的摄像机终端单元28的拍摄图像，获取对应于‘春季’的图像。

    分离处理器2167通过分离处理从已读出的图像中获取想要检索的图像。此外，分离处理器2167具有与分离处理器11相同的功能。

    下一步，参照图159的流程图，将说明由检索服务器23执行的根据从客户计算机27输入的检索条件对图像进行检索的检索服务处理。

    在步骤S2601，客户计算机27将检索条件输出到检索服务器23。在步骤S2611，检索服务器23从通信单元2165接收检索条件。

    在步骤S2612和S2631，检索服务器23的收费处理器23a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。此外，步骤S2612和S2631的收费处理是与执行检索处理的费用相关的收费处理。

    检索服务器23在步骤S2613检索对应于检索条件的图像，并且在步骤S2614调出相应图像。在步骤S2641，摄像机终端单元28将显示图像传输到检索服务器23。

    也就是，例如，假定客户计算机27-1到27-5、检索服务器23和摄像机终端单元28-1到28-5如图160所示连接到网络1。此时，如果客户计算机27-2通过用户操作将‘人’、‘小汽车’和‘大楼’作为检索条件传输给步骤2611的处理，则在步骤2613，检索服务器23在数据库2162中检索作为检索条件的‘人’、‘小汽车’和‘大楼’的对象。也就是，在图160的情况下，检索服务器23检索出正由ID为1的摄像机终端单元28-1拍摄的小汽车2172、正由ID为2的摄像机终端单元28-2拍摄的人2182和正由ID为5的摄像机终端单元28-5拍摄的大楼2211，然后在步骤2614从各摄像机终端单元28获取这些图像。

    在步骤S2515，检索服务器23判定调出图像是否经过分离，即是否包含不满足所需条件的图像(对象)。

    在图160的情况下，由于在从摄像机终端单元28-1传输的图像中包含不满足检索条件的云彩2171，并且在从摄像机终端单元28-2传输的图像中包含不满足所需条件的房子2181，因此这些图像不是对应于检索条件的分离图像，并且过程进入步骤S2616。

    在步骤S2616，分离处理器2167执行分离处理。此外，该分离处理类似于图117的流程图的处理，因此略去不述。

    在步骤S2617，合成调出图像，并且将其传输到客户计算机27。在步骤S2602，客户计算机27获得从检索服务器23传输的图像。在步骤S2603，客户计算机27判定接收图像是否为所需图像。如图160所示，在如显示27a-2所示的图像的情况下，检索条件‘人’、‘小汽车’和‘大楼’作为人2182、小汽车2172和大楼2211包含在图像中，由于这些图像是所需图像，因此在步骤S2604，向检索服务器23通知该图像为所需图像。

    在步骤S2618，检索服务器23根据从客户计算机27传输的通知，判定它是否为所需图像。在图160的情况下，由于它是所需图像，因此过程进入步骤S2619。

    在步骤S2619和S2632，检索服务器23的收费处理器23a和帐户收费服务器24执行收费处理。此外，该收费处理类似于图118和图120中的分离服务的收费处理，因此略去不述。此外，步骤S2619和S2632的收费处理是与传输检索图像的服务费用相关的收费处理。此外，在步骤S2515，如果全是检索条件的图像，则跳过步骤S2616的过程。

    在步骤S2603，例如，虽然客户计算机27-4指定‘房子’、‘云彩’和‘人脸’作为检索条件，但是当如显示27a-4所示在图像中显示房子2181和云彩2071而没有显示人脸2201时，该图像不是所需图像，因而过程进入步骤S2605，向检索服务器23通知该图像不是所需图像，然后过程结束。

    此时，在步骤S2618，向检索服务器23通知该图像不是所需图像，并且过程结束。

    在这种情况下，收取检索处理的服务费用，但不收取传输检索图像的服务费用。

    根据上面描述，可以通过将图像处理分布到网络上的多个服务器来提高图像处理速度，并且还可以通过仅提供用户请求处理来降低服务费用。

    此外，还可以考虑如下发明。

    也就是，本发明可以涉及一种通信装置和方法以及通信系统，更具体地说，涉及一种通信装置和方法以及通信系统，能够通过将图像处理分布到网络上的多个服务器来执行以提高处理速度，并且通过分布处理仅执行用户所需处理来降低服务费用，其中，分布处理关于真实世界与由传感器检测的信号之间的差异，并且关于在需要时利用而无需将其存储在它自己的通信装置中的调出图像和先前图像数据。

    使用传感器检测真实世界中的事件和处理从图像传感器输出的采样数据的技术被广泛采用。然而，例如，在通过使用视频摄像机拍摄在静止的预定背景之前移动的物体而获得的图像中，当物体的移动速度相对快时，发生运动模糊。

    作为一种用于对包含运动模糊的前述图像进行加密的技术，已经提出在图像的平坦部分不能识别加密图像的掩蔽方法(burying method)，或者使用图像相关性掩蔽信息的方法。

    此外，当物体在静止背景之前移动时，当移动物体的图像由于其自身的运动以及由于背景图像和移动物体图像的混合而混合时，发生运动模糊。然而，在传统上不考虑与背景图像和移动物体图像的混合相对应的处理。

    此外，在消除或调整前述图像的运动模糊中，在调整快门之后，可以在一定的限度内容忍运动模糊，以使用运动模糊达到视觉效果。然而，一般，当运动模糊显著时，使用Wiener滤波器来消除运动模糊。

    另外，传统用户使用他自己的计算机等通过选择用户所拍摄的图像在需要时打印前述图像。

    因此，除了在用户计算机上之外，根据图像的混合来对图像进行分离、合成或校正而获得的图像未被广泛使用。

    此外，当发生运动模糊的物体图像与其他背景图像组合以进行合成时，传统用户通过大量搜索来获得所需背景图像，以输入到用户计算机中进行显示。

    因此，在如上所述检索图像中，提出一个问题是在将所需图像输入用户计算机之前，重复相同的处理。

    另外，在通过网络合成所需图像的技术中，这些合成图像是通过叠加和加入多个预先存在的图像如从存储在网络上的存储服务器等中的图像中获得的指定图像或者使用数字静止摄像机拍摄的图像来生成的。

    附带地，为了通过使用上述技术合成图像，假定先前准备好作为合成基础的图像。然而，由于存在各种摄像技巧，因此难以获得或生成满意的图像来进行合成。因此，存在一个问题是用户在生成合成图像时不容易获得或生成所需图像数据库。

    此外，考虑到上述问题，如果用户能够获得所需图像，则具有大数据容量的图像必须存储在用户计算机中而不被删除，因为不容易再次获得它们。在这种情况下，建议通过将图像数据分离为对象特征量和混合比率来根据特征量执行最优编码。然而，一般，由于图像对象的特征量和混合比率存在很大差异，从而不能在最优状态下执行编码，因此存在一个问题是，不能实现最优编码，并且不能高效存储图像数据。

    考虑到上述情形，本发明可以使用混合图像对图像进行加密；通过设置和调整运动模糊混合来消除运动模糊以获得清晰图像，并且通过合成经过运动模糊调整的图像和背景图像来更自然地校正图像；通过网络有效使用通过利用图像的混合对图像进行分离、合成或校正而获得的图像；通过网络检索通过利用图像的混合对图像进行分离、合成或校正而获得的图像；通过将图像存储在预定存储服务器中，在需要时调出并使用预先存在的图像数据，而无需将图像数据存储在用户计算机中，并且通过使用存储服务器的位置信息在需要时读出并利用图像。

    本发明的第1系统，其特征在于，第一通信装置包括：请求信息输入部件，用于从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到第二通信装置；以及编码数据接收部件，用于接收从第二通信装置传输的与请求信息相对应的根据图像数据生成的编码数据，并且第二通信装置包括：请求信息接收部件，用于接收从第一通信装置传输的请求信息；分离部件，用于将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及编码数据传输部件，用于将当分离部件根据请求信息接收部件所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到第一通信装置。

    第一通信装置和第二通信装置还可以分别包括第一收费部件和第二收费部件，用于根据请求信息执行收费处理。

    第二收费部件可以根据请求信息，生成收费信息包括用户ID、第二通信装置ID和对应于请求信息的费用信息。

    第二收费部件可以通过与第一收费部件协作，根据收费信息对用户的金融帐户执行收费处理。

    第一通信装置的第一收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    编码数据传输部件可以仅在第一收费部件和第二收费部件完成收费处理之后才将编码数据传输到第一通信装置。

    请求信息输入部件除用户请求信息之外还可以输入预定图像数据。请求信息传输部件除请求信息之外还可以将预定图像数据传输到第二通信装置，请求信息接收部件除请求信息之外还可以接收从第一通信装置传输的预定图像数据，分离部件可以将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，并且编码数据传输部件可以仅在第一收费部件和第二收费部件完成收费处理之后才将编码数据作为当分离部件根据请求信息接收部件所接收的预定图像数据和请求信息将预定图像分离为前景成分图像和背景成分图像时生成的有效信息传输到第一通信装置。

    第二通信装置还可以包括区域信息生成部件，用于生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域，其中，有效信息包括区域信息，并且编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将编码数据作为当分离部件根据请求信息接收部件所接收的预定图像数据和请求信息将预定图像分离为前景成分图像和背景成分图像时由区域信息生成部件生成的区域信息传输到第一通信装置。

    第二通信装置还可以包括混合比率生成部件，用于生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率，其中，有效信息包括混合比率，并且编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将编码数据作为当分离部件根据请求信息接收部件所接收的预定图像数据和请求信息将预定图像分离为前景成分图像和背景成分图像时由混合比率生成部件生成的混合比率传输到第一通信装置。

    有效信息可以包括前景成分图像和背景成分图像，编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将由请求信息接收部件接收的请求信息以及编码数据传输到第一通信装置，其中，编码数据是当分离部件将预定图像分离为前景成分图像和背景成分图像时由分离部件生成的前景成分图像和背景成分图像。

    除用户请求信息之外，请求信息输入部件还可以输入用于辨别预定图像数据的图像数据ID，并且编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后，才将编码数据作为当分离部件根据请求信息和对应于图像数据ID的预定图像数据将预定图像分离为前景成分图像和背景成分图像时生成的有效信息传输到第一通信装置。

    第二通信装置还可以包括区域信息生成部件，用于生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成对应于图像数据ID的预定图像数据的前景对象的前景对象成分组成，背景区域由构成对应于图像数据ID的预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域，其中，有效信息包括区域信息，并且编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将编码数据作为当分离部件根据请求信息和对应于图像数据ID的预定图像数据将预定图像分离为前景成分图像和背景成分图像时由区域信息生成部件生成的区域信息传输到第一通信装置。

    第二通信装置还可以包括混合比率生成部件，用于根据区域信息生成混合比率，表示前景区域和背景区域混合在对应于图像数据ID的预定图像数据的混合区域中的比率，其中，有效信息包括混合比率，并且编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将编码数据作为当分离部件根据请求信息和对应于图像数据ID的预定图像数据将预定图像分离为前景成分图像和背景成分图像时由混合比率生成部件生成的混合比率传输到第一通信装置。

    有效信息可以包括前景成分图像和背景成分图像，编码数据传输部件可以仅在第一和第二收费部件完成收费处理之后才将请求信息和编码数据传输到第一通信装置，其中，编码数据是当分离部件将对应于图像数据ID的预定图像分离为前景成分图像和背景成分图像时由分离部件生成的前景成分图像和背景成分图像。

    本发明的第1系统的通信方法，其特征在于，第一通信装置的通信方法包括：请求信息输入步骤，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到第二通信装置；以及编码数据接收步骤，接收从第二通信装置传输的与请求信息相对应的根据图像数据生成的编码数据，并且第二通信装置的通信方法包括：请求信息接收步骤，接收从第一通信装置传输的请求信息；分离步骤，将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及编码数据传输步骤，将当在分离步骤根据请求信息接收步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到第一通信装置。

    本发明的第2记录介质的程序，其特征在于，控制第一通信装置的程序包括：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及编码数据接收控制步骤，控制接收从第二通信装置传输的与请求信息相对应的根据图像数据生成的编码数据，并且控制第二通信装置的程序包括：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；分离控制步骤，控制将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及编码数据传输控制步骤，控制将当在分离控制步骤根据请求信息接收控制步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到第一通信装置。

    本发明的第2程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及编码数据接收控制步骤，控制接收从第二通信装置传输的与请求信息相对应的根据图像数据生成的编码数据，并且使控制第二通信装置的计算机执行如下步骤：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；分离控制步骤，控制将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及编码数据传输控制步骤，控制将当在分离控制步骤根据请求信息接收控制步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到第一通信装置。

    本发明的第2通信装置，其特征在于包括：请求信息输入部件，用于从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到其他通信装置；以及编码数据接收部件，用于接收从其他通信装置传输的与请求信息相对应的根据图像数据生成的编码数据。

    本发明的第2通信方法，其特征在于包括：请求信息输入步骤，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到其他通信装置；以及编码数据接收步骤，接收从其他通信装置传输的与请求信息相对应的根据图像数据生成的编码数据。

    本发明的第3记录介质的程序，其特征在于包括：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及编码数据接收控制步骤，控制接收从其他通信装置传输的与请求信息相对应的根据图像数据生成的编码数据。

    本发明的第3程序，其特征在于使计算机执行如下步骤：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及编码数据接收控制步骤，控制接收从其他通信装置传输的与请求信息相对应的根据图像数据生成的编码数据。

    本发明的第3通信装置，其特征在于包括：请求信息接收部件，用于接收从其他通信装置传输的请求信息；分离部件，用于将通过图像拍摄元件获得的图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及编码数据传输部件，用于将当分离部件根据请求信息接收部件所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到其他通信装置。

    本发明的第3通信方法，其特征在于包括：请求信息接收步骤，接收从其他通信装置传输的请求信息；分离步骤，将通过图像拍摄元件获得的图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及编码数据传输步骤，将当在分离步骤根据请求信息接收步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到其他通信装置。

    本发明的第4记录介质的程序，其特征在于包括：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；分离控制步骤，控制将通过图像拍摄元件获得的图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及编码数据传输控制步骤，控制将当在分离控制步骤根据请求信息接收控制步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到其他通信装置。

    本发明的第4程序，其特征在于使计算机执行如下控制步骤：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；分离控制步骤，控制将通过图像拍摄元件获得的图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及编码数据传输控制步骤，控制将当在分离控制步骤根据请求信息接收控制步骤所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到其他通信装置。

    本发明的第2通信系统，其特征在于，第一通信装置包括：请求信息输入部件，用于从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到第二通信装置到第四通信装置之一；以及编码数据接收部件，用于接收从第二通信装置到第四通信装置之一传输的与请求信息相对应的根据图像数据生成的编码数据，第二通信装置包括：第一请求信息接收部件，用于接收从第一通信装置传输的请求信息；分离部件，用于将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及第一编码数据传输部件，用于将分离部件根据第一请求信息接收部件所接收的请求信息从图像中分离出的前景成分图像和背景成分图像作为编码数据传输到第一通信装置，第三通信装置包括：第二请求信息接收部件，用于接收从第一通信装置传输的请求信息；区域信息生成部件，用于生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域；以及第二编码数据传输部件，用于将区域信息生成部件根据第二请求信息接收部件所接收的请求信息生成的区域信息作为编码数据传输到第一通信装置，并且第四通信装置包括：第三请求信息接收部件，用于接收从第一通信装置传输的请求信息；混合比率生成部件，用于生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率；以及第三编码数据传输部件，用于将混合比率生成部件根据请求信息接收部件所接收的请求信息生成的混合比率作为编码数据传输到第一通信装置。

    本发明的第2系统的通信方法，其特征在于，第一通信装置的通信方法包括：请求信息输入步骤，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到第二通信装置到第四通信装置之一；以及编码数据接收步骤，接收从第二通信装置到第四通信装置之一传输的与请求信息相对应的根据图像数据生成的编码数据，第二通信装置的通信方法包括：第一请求信息接收步骤，接收从第一通信装置传输的请求信息；分离步骤，将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及第一编码数据传输步骤，将在分离步骤根据第一请求信息接收步骤所接收的请求信息从图像中分离出的前景成分图像和背景成分图像作为编码数据传输到第一通信装置，第三通信装置的通信方法包括：第二请求信息接收步骤，接收从第一通信装置传输的请求信息；区域信息生成步骤，生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域；以及第二编码数据传输步骤，将在区域信息生成步骤根据第二请求信息接收步骤所接收的请求信息生成的区域信息作为编码数据传输到第一通信装置，并且第四通信装置的通信方法包括：第三请求信息接收步骤，接收从第一通信装置传输的请求信息；混合比率生成步骤，生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率；以及第三编码数据传输步骤，将在混合比率生成步骤根据请求信息接收步骤所接收的请求信息生成的混合比率作为编码数据传输到第一通信装置。

    本发明的第5记录介质的程序，其特征在于，控制第一通信装置的程序包括：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置到第四通信装置之一；以及编码数据接收控制步骤，控制接收从第二通信装置到第四通信装置之一传输的与请求信息相对应的根据图像数据生成的编码数据，控制第二通信装置的程序包括：第一请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；分离控制步骤，控制将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及第一编码数据传输控制步骤，控制将在分离控制步骤根据第一请求信息接收控制步骤所接收的请求信息从图像中分离出的前景成分图像和背景成分图像作为编码数据传输到第一通信装置，控制第三通信装置的程序包括：第二请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；区域信息生成控制步骤，控制生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域；以及第二编码数据传输控制步骤，控制将在区域信息生成控制步骤根据第二请求信息接收控制步骤所接收的请求信息生成的区域信息作为编码数据传输到第一通信装置，并且控制第四通信装置的程序包括：第三请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；混合比率生成控制步骤，控制生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率；以及第三编码数据传输控制步骤，控制将在混合比率生成控制步骤根据请求信息接收控制步骤所接收的请求信息生成的混合比率作为编码数据传输到第一通信装置。

    本发明的第5程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：请求信息输入控制步骤，控制从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置到第四通信装置之一；以及编码数据接收控制步骤，控制接收从第二通信装置到第四通信装置之一传输的与请求信息相对应的根据图像数据生成的编码数据，使控制第二通信装置的计算机执行如下步骤：第一请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；分离控制步骤，控制将预定图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及第一编码数据传输控制步骤，控制将在分离控制步骤根据第一请求信息接收控制步骤所接收的请求信息从图像中分离出的前景成分图像和背景成分图像作为编码数据传输到第一通信装置，使控制第三通信装置的计算机执行如下步骤：第二请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；区域信息生成控制步骤，控制生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域；以及第二编码数据传输控制步骤，控制将在区域信息生成控制步骤根据第二请求信息接收控制步骤所接收的请求信息生成的区域信息作为编码数据传输到第一通信装置，并且使控制第四通信装置的计算机执行如下步骤：第三请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；混合比率生成控制步骤，控制生成混合比率，表示前景区域和背景区域混合在预定图像数据的混合区域中的比率；以及第三编码数据传输控制步骤，控制将在混合比率生成控制步骤根据请求信息接收控制步骤所接收的请求信息生成的混合比率作为编码数据传输到第一通信装置。

    本发明的第4通信装置，其特征在于包括：请求信息输入部件，用于输入用户请求信息；合成部件，用于合成前景成分图像和背景成分图像，以生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像输出部件，用于输出由合成部件生成的合成图像。

    合成图像输出部件可以将合成图像输出到用户的通信装置。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像、预定背景成分图像和当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据有效信息合成由请求信息输入部件与请求信息一起输入的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像和预定背景成分图像，并输入其中预定前景成分图像和预定背景成分图像混合在一起的混合区域的混合比率作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据作为有效信息的混合比率，合成由请求信息输入部件与请求信息一起输入的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像和预定背景成分图像，并输入前景成分图像的移动量和移动方向作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据作为有效信息的前景成分图像的移动量和移动方向，调整由请求信息输入部件与请求信息一起输入的预定前景成分图像的运动模糊，合成经过运动模糊调整的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像、预定背景成分图像和初始位置信息，并输入前景成分图像的移动量和移动方向作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，合成部件可以根据作为有效信息的移动量和移动方向，调整由请求信息输入部件与请求信息一起输入的预定前景成分图像的运动模糊，计算混合比率，根据初始位置信息、作为有效信息的前景成分图像的移动量和移动方向，使用算出的混合比率，合成经过运动模糊调整的预定前景成分图像和预定背景成分图像，然后生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入辨别预定前景成分图像的前景成分图像ID、辨别预定背景成分图像的背景成分图像ID以及有效信息，并且合成部件可以按照与用户请求信息一起的辨别预定前景成分图像的前景成分图像ID、辨别预定背景成分图像的背景成分图像ID以及有效信息，根据有效信息，合成对应于前景成分图像ID的前景成分图像和对应于背景成分图像ID的背景成分图像，并且生成合成图像。

    还可以包括收费部件，用于根据请求信息执行收费处理。

    收费部件可以根据请求信息，生成收费信息包括用户ID、通信装置ID和对应于请求信息的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从在收费处理中使用且对应于现金的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将合成图像输出到完成收费处理的用户的通信装置。

    本发明的第4通信方法，其特征在于包括：请求信息输入步骤，输入用户请求信息；合成步骤，根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像输出步骤，输出在合成步骤生成的合成图像。

    本发明的第6记录介质的程序，其特征在于包括：请求信息输入控制步骤，控制输入用户请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像输出控制步骤，控制输出在合成控制步骤生成的合成图像。

    本发明的第6程序，其特征在于使计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像输出控制步骤，控制输出在合成控制步骤生成的合成图像。

    本发明的第3通信系统，其特征在于，第一通信装置包括：请求信息输入部件，用于输入用户请求信息；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到第二通信装置；以及合成数据接收部件，用于接收根据请求信息从第二通信装置传输的合成数据，并且第二通信装置包括：请求信息接收部件，用于接收从第一通信装置传输的请求信息；合成部件，用于根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输部件，用于将由合成部件生成的合成图像传输到第一通信装置。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像、预定背景成分图像和当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据有效信息合成由请求信息输入部件与请求信息一起输入的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像和预定背景成分图像，并输入其中预定前景成分图像和预定背景成分图像混合在一起的混合区域的混合比率作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据作为有效信息的混合比率，合成由请求信息输入部件与请求信息一起输入的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像和预定背景成分图像，并输入前景成分图像的移动量和移动方向作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据作为有效信息的前景成分图像的移动量和移动方向，调整由请求信息输入部件与请求信息一起输入的预定前景成分图像的运动模糊，合成经过运动模糊调整的预定前景成分图像和预定背景成分图像，并且生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入预定前景成分图像、预定背景成分图像和初始位置信息，并输入前景成分图像的移动量和移动方向作为当合成预定前景成分图像和预定背景成分图像时使用的有效信息，并且合成部件可以根据作为有效信息的移动量和移动方向，调整由请求信息输入部件与请求信息一起输入的预定前景成分图像的运动模糊，计算混合比率，根据初始位置信息、作为有效信息的前景成分图像的移动量和移动方向，使用算出的混合比率，合成经过运动模糊调整的预定前景成分图像和预定背景成分图像，然后生成合成图像。

    请求信息输入部件可以与用户请求信息一起输入辨别预定前景成分图像的前景成分图像ID、辨别预定背景成分图像的背景成分图像ID以及有效信息，并且合成部件可以按照与用户请求信息一起的辨别预定前景成分图像的前景成分图像ID、辨别预定背景成分图像的背景成分图像ID以及有效信息，根据有效信息，合成对应于前景成分图像ID的前景成分图像和对应于背景成分图像ID的背景成分图像，并且生成合成图像。

    还可以包括收费部件，用于根据请求信息执行收费处理。

    收费部件可以根据请求信息，生成收费信息包括用户ID、通信装置ID和对应于请求信息的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将合成图像输出到完成收费处理的用户的通信装置。

    本发明的第3通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：请求信息输入步骤，输入用户请求信息；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到第二通信装置；以及合成数据接收步骤，接收根据请求信息从第二通信装置传输的合成数据，并且第二通信装置的通信方法包括：请求信息接收步骤，接收从第一通信装置传输的请求信息；合成步骤，根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输步骤，将在合成步骤生成的合成图像传输到第一通信装置。

    本发明的第7记录介质的程序，其特征在于，控制第一通信装置的程序包括：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及合成数据接收控制步骤，控制接收根据请求信息从第二通信装置传输的合成数据，并且控制第二通信装置的程序包括：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输控制步骤，控制将在合成控制步骤生成的合成图像传输到第一通信装置。

    本发明的第7程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及合成数据接收控制步骤，控制接收根据请求信息从第二通信装置传输的合成数据，并且使控制第二通信装置的计算机执行如下步骤：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输控制步骤，控制将在合成控制步骤生成的合成图像传输到第一通信装置。

    本发明的第5通信装置，其特征在于包括：请求信息输入部件，用于输入用户请求信息；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到其他通信装置；以及合成数据接收部件，用于接收根据请求信息从其他通信装置传输的合成数据。

    本发明的第5通信方法，其特征在于包括：请求信息输入步骤，输入用户请求信息；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到其他通信装置；以及合成数据接收步骤，接收根据请求信息从其他通信装置传输的合成数据。

    本发明的第8记录介质的程序，其特征在于包括：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及合成数据接收控制步骤，控制接收根据请求信息从其他通信装置传输的合成数据。

    本发明的第8程序，其特征在于使计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及合成数据接收控制步骤，控制接收根据请求信息从其他通信装置传输的合成数据。

    本发明的第6通信装置，其特征在于包括：请求信息接收部件，用于接收从其他通信装置传输的请求信息；合成部件，用于根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输部件，用于将由合成部件生成的合成图像传输到其他通信装置。

    本发明的第6通信方法，其特征在于包括：请求信息接收步骤，接收从其他通信装置传输的请求信息；合成步骤，根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输步骤，将在合成步骤生成的合成图像传输到其他通信装置。

    本发明的第9记录介质的程序，其特征在于包括：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输控制步骤，控制将在合成控制步骤生成的合成图像传输到其他通信装置。

    本发明的第9程序，其特征在于使计算机执行如下步骤：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；合成控制步骤，控制根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及合成图像传输控制步骤，控制将在合成控制步骤生成的合成图像传输到其他通信装置。

    本发明的第7通信装置，其特征在于包括：请求信息输入部件，用于输入用户请求信息；混合比率估计部件，用于根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离部件，用于根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和任意背景成分图像，或者由分离部件分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及输出部件，用于输出由合成部件合成的合成图像。

    请求信息输入部件除用户请求信息之外还可以输入用于将运动模糊加入到前景成分图像的运动模糊调整量，并且还可以包括运动模糊加入部件，用于将对应于运动模糊调整量的运动模糊加入到前景成分图像，并且合成部件可以以预定混合比率合成其中由运动模糊加入部件加入运动模糊的前景成分图像和任意背景成分图像，并且生成合成图像。

    请求信息输入部件除用户请求信息之外还可以输入任意背景成分图像，并且合成部件可以以由混合比率估计部件估计的比率合成前景成分图像和任意背景成分图像，并且生成合成图像。

    还可以包括收费部件，用于根据请求信息执行收费处理。

    收费部件可以根据请求信息，生成收费信息包括用户ID、通信装置ID和对应于请求信息的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将合成图像输出到完成收费处理的用户的通信装置。

    请求信息输入部件除用户请求信息之外还可以输入预定图像数据，并且输出部件可以在收费部件完成收费处理之后将由合成部件合成的图像输出到完成收费处理的用户的通信装置。

    本发明的第7通信方法，其特征在于包括：请求信息输入步骤，输入用户请求信息；混合比率估计步骤，根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离步骤，根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成步骤，以预定混合比率合成在分离步骤分离出的前景成分图像和任意背景成分图像，或者在分离步骤分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及输出步骤，输出在合成步骤合成的合成图像。

    本发明的第10记录介质的程序，其特征在于包括：请求信息输入控制步骤，控制输入用户请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及输出控制步骤，控制输出在合成控制步骤合成的合成图像。

    本发明的第10程序，其特征在于使计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及输出控制步骤，控制输出在合成控制步骤合成的合成图像。

    本发明的第4通信系统，其特征在于，第一通信装置包括：请求信息输入部件，用于输入用户请求信息；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到第二通信装置；以及接收部件，用于接收从第二通信装置传输的合成数据，并且第二通信装置包括：请求信息接收部件，用于接收从第一通信装置传输的请求信息；混合比率估计部件，用于根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离部件，用于根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和任意背景成分图像，或者由分离部件分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输部件，用于将由合成部件合成的合成图像传输到第一通信装置。

    请求信息输入部件除用户请求信息之外还可以输入用于将运动模糊加入到前景成分图像的运动模糊调整量，第二通信装置可以包括运动模糊加入部件，用于将对应于运动模糊调整量的运动模糊加入到前景成分图像，并且合成部件可以以预定混合比率合成其中由运动模糊加入部件加入运动模糊的前景成分图像和任意背景成分图像，并且生成合成图像。

    请求信息输入部件除用户请求信息之外还可以输入任意背景成分图像，并且合成部件可以以由混合比率估计部件估计的比率合成前景成分图像和任意背景成分图像，并且生成合成图像。

    第二通信装置还可以包括收费部件，用于根据请求信息执行收费处理。

    收费部件可以根据请求信息，生成收费信息包括用户ID、第二通信装置ID和对应于请求信息的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    第二通信装置的收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    合成图像传输部件可以在收费部件完成收费处理之后将合成图像传输到完成收费处理的用户的第一通信装置。

    请求信息输入部件除用户请求信息之外还可以输入预定图像数据，并且输出部件可以在收费部件完成收费处理之后将由合成部件合成的图像输出到完成收费处理的用户的第一通信装置。

    本发明的第4通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：请求信息输入步骤，输入用户请求信息；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到第二通信装置；以及接收步骤，接收从第二通信装置传输的合成数据，并且第二通信装置的通信方法包括：请求信息接收步骤，接收从第一通信装置传输的请求信息；混合比率估计步骤，根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离步骤，根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成步骤，以预定混合比率合成在分离步骤分离出的前景成分图像和任意背景成分图像，或者在分离步骤分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输步骤，将在合成步骤合成的合成图像传输到第一通信装置。

    本发明的第11记录介质的程序，其特征在于，控制第一通信装置的程序包括：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及接收控制步骤，控制接收从第二通信装置传输的合成数据，并且控制第二通信装置的程序包括：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输控制步骤，控制将在合成控制步骤合成的合成图像传输到第一通信装置。

    本发明的第11程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到第二通信装置；以及接收控制步骤，控制接收从第二通信装置传输的合成数据，并且使控制第二通信装置的计算机执行如下步骤：请求信息接收控制步骤，控制接收从第一通信装置传输的请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输控制步骤，控制将在合成控制步骤合成的合成图像传输到第一通信装置。

    本发明的第8通信装置，其特征在于包括：请求信息输入部件，用于输入用户请求信息；请求信息传输部件，用于将由请求信息输入部件输入的请求信息传输到其他通信装置；以及接收部件，用于接收从其他通信装置传输的合成数据。

    本发明的第8通信方法，其特征在于包括：请求信息输入步骤，输入用户请求信息；请求信息传输步骤，将在请求信息输入步骤输入的请求信息传输到其他通信装置；以及接收步骤，接收从其他通信装置传输的合成数据。

    本发明的第12记录介质的程序，其特征在于包括：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及接收控制步骤，控制接收从其他通信装置传输的合成数据。

    本发明的第12程序，其特征在于使计算机执行如下步骤：请求信息输入控制步骤，控制输入用户请求信息；请求信息传输控制步骤，控制将在请求信息输入控制步骤输入的请求信息传输到其他通信装置；以及接收控制步骤，控制接收从其他通信装置传输的合成数据。

    本发明的第9通信装置，其特征在于包括：请求信息接收部件，用于接收从其他通信装置传输的请求信息；混合比率估计部件，用于根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离部件，用于根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和任意背景成分图像，或者由分离部件分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输部件，用于将由合成部件合成的合成图像传输到其他通信装置。

    本发明的第9通信方法，其特征在于包括：请求信息接收步骤，接收从其他通信装置传输的请求信息；混合比率估计步骤，根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离步骤，根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成步骤，以预定混合比率合成在分离步骤分离出的前景成分图像和任意背景成分图像，或者在分离步骤分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输步骤，将在合成步骤合成的合成图像传输到其他通信装置。

    本发明的第13记录介质的程序，其特征在于包括：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输控制步骤，控制将在合成控制步骤合成的合成图像传输到其他通信装置。

    本发明的第13程序，其特征在于使计算机执行如下步骤：请求信息接收控制步骤，控制接收从其他通信装置传输的请求信息；混合比率估计控制步骤，控制根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离控制步骤，控制根据混合比率将图像数据分离为前景成分图像和背景成分图像；合成控制步骤，控制以预定混合比率合成在分离控制步骤分离的前景成分图像和任意背景成分图像，或者在分离控制步骤分离的背景成分图像和任意前景成分图像，并且生成合成图像；以及合成图像传输控制步骤，控制将在合成控制步骤合成的合成图像传输到其他通信装置。

    本发明的第10通信装置，其特征在于包括：图像ID输入部件，用于输入辨别用户所请求图像的ID；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由图像ID输入部件输入的图像ID相对应的图像；输出部件，用于将由检索部件检索的图像输出到用户的通信装置；以及收费部件，用于根据由检索部件检索的图像执行收费处理。

    还可以包括分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并且存储部件可以存储由分离部件从图像中分离出的前景成分图像和背景成分图像。

    还可以包括合成图像生成部件，用于以预定混合比率合成从图像中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    还可以包括：分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    收费部件可以根据由检索部件检索的图像，生成收费信息包括用户ID、通信装置ID和与由检索部件检索的图像相对应的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从在收费处理中使用的各用户的点数扣除对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将合成图像输出到完成收费处理的用户的第一通信装置。

    本发明的第10通信方法，其特征在于包括：图像ID输入步骤，输入辨别用户所请求图像的ID；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在图像ID输入步骤输入的图像ID相对应的图像；输出步骤，将在检索步骤检索的图像输出到用户的通信装置；以及收费步骤，根据在检索步骤检索的图像执行收费处理。

    本发明的第14记录介质的程序，其特征在于包括：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID输入控制步骤输入的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到用户的通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第14程序，其特征在于使计算机执行如下步骤：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID输入控制步骤输入的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到用户的通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第5通信系统，其特征在于，第一通信装置包括：图像ID输入部件，用于输入辨别用户所请求图像的ID；图像ID传输部件，用于将图像ID传输到第二通信装置；以及图像接收部件，用于接收根据图像ID检索的图像，并且第二通信装置包括：图像ID接收部件，用于接收从第一通信装置传输的图像ID；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由图像ID接收部件接收的图像ID相对应的图像；输出部件，用于将由检索部件检索的图像输出到第一通信装置；以及收费部件，用于根据由检索部件检索的图像执行收费处理。

    第二通信装置还可以包括分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成。

    存储部件可以存储由分离部件分离出的前景成分图像和背景成分图像。

    第二通信装置还可以包括合成图像生成部件，用于以预定混合比率合成从图像中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    第二通信装置还可以包括：分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    收费部件可以根据由检索部件检索的图像，生成收费信息包括用户ID、第二通信装置ID和与由检索部件检索的图像相对应的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    第二通信装置的收费部件可以通过从在收费处理中使用的各用户的点数中减去对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将图像输出到完成收费处理的用户的第一通信装置。

    本发明的第5通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：图像ID输入步骤，输入辨别用户所请求图像的ID；图像ID传输步骤，将图像ID传输到第二通信装置；以及图像接收步骤，接收根据图像ID检索的图像，并且第二通信装置的通信方法包括：图像ID接收步骤，接收从第一通信装置传输的图像ID；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在图像ID接收步骤接收的图像ID相对应的图像；输出步骤，将在检索步骤检索的图像输出到第一通信装置；以及收费步骤，根据在检索步骤检索的图像执行收费处理。

    本发明的第15记录介质的程序，其特征在于，控制第一通信装置的程序包括：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；图像ID传输控制步骤，控制将图像ID传输到第二通信装置；以及图像接收控制步骤，控制接收根据图像ID检索的图像，并且控制第二通信装置的程序包括：图像ID接收控制步骤，控制接收从第一通信装置传输的图像ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID接收控制步骤接收的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到第一通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第15程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；图像ID传输控制步骤，控制将图像ID传输到第二通信装置；以及图像接收控制步骤，控制接收根据图像ID检索的图像，并且使控制第二通信装置的计算机执行如下步骤：图像ID接收控制步骤，控制接收从第一通信装置传输的图像ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID接收控制步骤接收的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到第一通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第11通信装置，其特征在于包括：图像ID输入部件，用于输入辨别用户所请求图像的ID；图像ID传输部件，用于将图像ID传输到其他通信装置；以及图像接收部件，用于接收根据图像ID检索的图像。

    本发明的第11通信方法，其特征在于包括：图像ID输入步骤，输入辨别用户所请求图像的ID；图像ID传输步骤，将图像ID传输到其他通信装置；以及图像接收步骤，接收根据图像ID检索的图像。

    本发明的第16记录介质的程序，其特征在于包括：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；图像ID传输控制步骤，控制将图像ID传输到其他通信装置；以及图像接收控制步骤，控制接收根据图像ID检索的图像。

    本发明的第16程序，其特征在于使计算机执行如下步骤：图像ID输入控制步骤，控制输入辨别用户所请求图像的ID；图像ID传输控制步骤，控制将图像ID传输到其他通信装置；以及图像接收控制步骤，控制接收根据图像ID检索的图像。

    本发明的第12通信装置，其特征在于包括：图像ID接收部件，用于接收从其他通信装置传输的图像ID；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由图像ID接收部件接收的图像ID相对应的图像；输出部件，用于将由检索部件检索的图像输出到其他通信装置；以及收费部件，用于根据由检索部件检索的图像执行收费处理。

    本发明的第12通信方法，其特征在于包括：图像ID接收步骤，接收从其他通信装置传输的图像ID；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在图像ID接收步骤接收的图像ID相对应的图像；输出步骤，将在检索步骤检索的图像输出到其他通信装置；以及收费步骤，根据在检索步骤检索的图像执行收费处理。

    本发明的第17记录介质的程序，其特征在于包括：图像ID接收控制步骤，控制接收从其他通信装置传输的图像ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID接收控制步骤接收的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到其他通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第17程序，其特征在于使计算机执行如下步骤：图像ID接收控制步骤，控制接收从其他通信装置传输的图像ID；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在图像ID接收控制步骤接收的图像ID相对应的图像；输出控制步骤，控制将在检索控制步骤检索的图像输出到其他通信装置；以及收费控制步骤，控制根据在检索控制步骤检索的图像执行收费处理。

    本发明的第13通信装置，其特征在于包括：输入部件，用于输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；存储部件，用于存储由输入部件输入的图像；以及支付部件，用于根据在存储部件中存储的图像，执行支付处理。

    还可以包括分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并且输入部件可以输入由分离部件分离出的前景成分图像和背景成分图像。

    还可以包括合成图像生成部件，用于以预定混合比率合成从图像中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且输入部件可以输入由合成图像生成部件生成的合成图像。

    还可以包括：分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，并生成合成图像，并且输入部件可以输入由合成图像生成部件生成的合成图像。

    本发明的第13通信方法，其特征在于包括：输入步骤，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；存储步骤，存储在输入步骤输入的图像；以及支付步骤，根据在存储步骤存储的图像，执行支付处理。

    本发明的第18记录介质的程序，其特征在于包括：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；存储控制步骤，控制存储在输入控制步骤输入的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第18程序，其特征在于使计算机执行如下步骤：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；存储控制步骤，控制存储在输入控制步骤输入的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第6通信系统，其特征在于，第一通信装置包括：输入部件，用于输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输部件，用于将由输入部件输入的图像传输到第二通信装置，并且第二通信装置包括：图像接收部件，用于接收从第一通信装置传输的图像；存储部件，用于存储由图像接收部件接收的图像；以及支付部件，用于根据在存储部件中存储的图像，执行支付处理。

    第一通信装置还可以包括分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并且输入部件可以输入由分离部件分离出的前景成分图像和背景成分图像。

    第一通信装置还可以包括合成图像生成部件，用于以预定混合比率合成从图像中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且输入部件可以输入由合成图像生成部件生成的合成图像。

    第一通信装置还可以包括：分离部件，用于将图像分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，并生成合成图像，并且输入部件可以输入由合成图像生成部件生成的合成图像。

    本发明的第6通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：输入步骤，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输步骤，将在输入步骤输入的图像传输到第二通信装置，并且第二通信装置的通信方法包括：图像接收步骤，接收从第一通信装置传输的图像；存储步骤，存储在图像接收步骤接收的图像；以及支付步骤，根据在存储步骤存储的图像，执行支付处理。

    本发明的第19记录介质的程序，其特征在于，控制第一通信装置的程序包括：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输控制步骤，控制将在输入控制步骤输入的图像传输到第二通信装置，并且控制第二通信装置的程序包括：图像接收控制步骤，控制接收从第一通信装置传输的图像；存储控制步骤，控制存储在图像接收控制步骤接收的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第19程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输控制步骤，控制将在输入控制步骤输入的图像传输到第二通信装置，并且使控制第二通信装置的计算机执行如下步骤：图像接收控制步骤，控制接收从第一通信装置传输的图像；存储控制步骤，控制存储在图像接收控制步骤接收的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第14通信装置，其特征在于包括：输入部件，用于输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输部件，用于将由输入部件输入的图像传输到其他通信装置。

    本发明的第14通信方法，其特征在于包括：输入步骤，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输步骤，将在输入步骤输入的图像传输到其他通信装置。

    本发明的第20记录介质的程序，其特征在于包括：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输控制步骤，控制将在输入控制步骤输入的图像传输到其他通信装置。

    本发明的第20程序，其特征在于使计算机执行如下步骤：输入控制步骤，控制输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及图像传输控制步骤，控制将在输入控制步骤输入的图像传输到其他通信装置。

    本发明的第15通信装置，其特征在于包括：图像接收部件，用于接收从其他通信装置传输的图像；存储部件，用于存储由图像接收部件接收的图像；以及支付部件，用于根据在存储部件中存储的图像，执行支付处理。

    本发明的第15通信方法，其特征在于包括：图像接收步骤，接收从其他通信装置传输的图像；存储步骤，存储在图像接收步骤接收的图像；以及支付步骤，根据在存储步骤存储的图像，执行支付处理。

    本发明的第21记录介质的程序，其特征在于包括：图像接收控制步骤，控制接收从其他通信装置传输的图像；存储控制步骤，控制存储在图像接收控制步骤接收的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第21程序，其特征在于使计算机执行如下步骤：图像接收控制步骤，控制接收从其他通信装置传输的图像；存储控制步骤，控制存储在图像接收控制步骤接收的图像；以及支付控制步骤，控制根据在存储控制步骤存储的图像，执行支付处理。

    本发明的第16通信装置，其特征在于包括：检索请求信息输入部件，用于输入用户检索请求信息；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由检索请求信息输入部件输入的检索请求信息相对应的图像；输出部件，用于输出检索部件的检索结果；以及收费部件，用于根据检索结果执行收费处理。

    存储部件可以包括分别装备有图像拍摄元件且能够以有线或无线方式通信的多个图像存储单元，其中，图像拍摄元件用于以预定时间间隔更新由图像拍摄元件拍摄的图像，以进行存储。

    检索请求信息可以包括前景对象指定信息，存储部件还可以包括数据库，用于表示辨别装备在多个图像存储单元中的图像拍摄元件的ID与存储在对应图像存储单元中的图像对象之间的关系，并且检索部件可以参考数据库从在存储部件中存储的图像中检索与由检索请求信息输入部件输入的前景对象指定信息相对应的图像。

    还可以包括分离部件，用于将图像的图像数据分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并且存储部件可以存储由分离部件分离出的前景成分图像和背景成分图像。

    还可以包括合成图像生成部件，用于以预定混合比率合成从图像的图像数据中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    还可以包括：分离部件，用于将图像的图像数据分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    输出部件可以输出对应于检索请求信息的图像的存在性信息或者与对应于检索请求信息的图像的存在性信息一起输出检索图像作为检索结果，并且收费部件可以根据由输出部件输出的检索结果执行收费处理。

    收费部件可以根据检索请求信息，生成收费信息包括用户ID、通信装置ID和对应于检索请求信息的费用信息。

    收费部件可以按照收费信息针对用户的金融帐户，根据由输出部件输出的检索结果执行收费处理。

    收费部件可以通过从用于收费处理的各用户的点数中减去对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将检索结果输出到完成收费处理的用户的通信装置。

    本发明的第16通信方法，其特征在于包括：检索请求信息输入步骤，输入用户检索请求信息；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在检索请求信息输入步骤输入的检索请求信息相对应的图像；输出步骤，输出检索步骤的检索结果；以及收费步骤，根据检索结果执行收费处理。

    本发明的第22记录介质的程序，其特征在于包括：检索请求信息输入控制步骤，控制输入用户检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息输入控制步骤输入的检索请求信息相对应的图像；输出控制步骤，控制输出检索控制步骤的检索结果；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第22程序，其特征在于使计算机执行如下步骤：检索请求信息输入控制步骤，控制输入用户检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息输入控制步骤输入的检索请求信息相对应的图像；输出控制步骤，控制输出检索控制步骤的检索结果；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第7通信系统，其特征在于，第一通信装置包括：检索请求信息输入部件，用于输入用户检索请求信息；检索请求信息传输部件，用于将检索请求信息传输到第二通信装置；以及检索结果接收部件，用于接收从第二通信装置传输的检索结果，并且第二通信装置包括：检索请求信息接收部件，用于接收从第一通信装置传输的检索请求信息；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由检索请求信息接收部件接收的检索请求信息相对应的图像；检索结果传输部件，用于将检索部件的检索结果传输到第一通信装置；以及收费部件，用于根据检索结果执行收费处理。

    存储部件可以包括分别装备有图像拍摄元件且能够以有线或无线方式通信的多个图像存储单元，其中，图像拍摄元件用于以预定时间间隔更新由图像拍摄元件拍摄的图像，以进行存储。

    检索请求信息可以包括前景对象指定信息，存储部件还可以包括数据库，用于表示辨别装备在多个图像存储单元中的图像拍摄元件的ID与存储在对应图像存储单元中的图像对象之间的关系，并且检索部件可以参考数据库从在存储部件中存储的图像中检索与由检索请求信息输入部件输入的前景对象指定信息相对应的图像。

    第二通信装置还可以包括分离部件，用于将图像的图像数据分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并且存储部件可以存储由分离部件分离出的前景成分图像和背景成分图像。

    第二通信装置还可以包括合成图像生成部件，用于以预定混合比率合成从图像的图像数据中分离出的前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    第二通信装置还可以包括：分离部件，用于将图像的图像数据分离为前景成分图像和背景成分图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成；以及合成图像生成部件，用于以预定混合比率合成由分离部件分离出的前景成分图像和背景成分图像，并生成合成图像，并且存储部件可以存储由合成图像生成部件生成的合成图像。

    输出部件可以输出对应于检索请求信息的图像的存在性信息或者与对应于检索请求信息的图像的存在性信息一起输出检索图像作为检索结果，并且收费部件可以根据由输出部件输出的检索结果执行收费处理。

    收费部件可以根据检索请求信息，生成收费信息包括用户ID、通信装置ID和对应于检索请求信息的费用信息。

    收费部件可以按照收费信息针对用户的金融帐户，根据由输出部件输出的检索结果执行收费处理。

    收费部件可以通过从用于收费处理的各用户的点数中减去对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将检索结果输出到完成收费处理的用户的通信装置。

    本发明的第7通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：检索请求信息输入步骤，输入用户检索请求信息；检索请求信息传输步骤，将检索请求信息传输到第二通信装置；以及检索结果接收步骤，接收从第二通信装置传输的检索结果，并且第二通信装置的通信方法包括：检索请求信息接收步骤，接收从第一通信装置传输的检索请求信息；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在检索请求信息接收步骤接收的检索请求信息相对应的图像；检索结果传输步骤，将检索步骤的检索结果传输到第一通信装置；以及收费步骤，根据检索结果执行收费处理。

    本发明的第23记录介质的程序，其特征在于，控制第一通信装置的程序包括：检索请求信息输入控制步骤，控制输入用户检索请求信息；检索请求信息传输控制步骤，控制将检索请求信息传输到第二通信装置；以及检索结果接收控制步骤，控制接收从第二通信装置传输的检索结果，并且控制第二通信装置的程序包括：检索请求信息接收控制步骤，控制接收从第一通信装置传输的检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息接收控制步骤接收的检索请求信息相对应的图像；检索结果传输控制步骤，控制将检索控制步骤的检索结果传输到第一通信装置；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第23程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：检索请求信息输入控制步骤，控制输入用户检索请求信息；检索请求信息传输控制步骤，控制将检索请求信息传输到第二通信装置；以及检索结果接收控制步骤，控制接收从第二通信装置传输的检索结果，并且使控制第二通信装置的计算机执行如下步骤：检索请求信息接收控制步骤，控制接收从第一通信装置传输的检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息接收控制步骤接收的检索请求信息相对应的图像；检索结果传输控制步骤，控制将检索控制步骤的检索结果传输到第一通信装置；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第17通信装置，其特征在于包括：检索请求信息输入部件，用于输入用户检索请求信息；检索请求信息传输部件，用于将检索请求信息传输到其他通信装置；以及检索结果接收部件，用于接收从其他通信装置传输的检索结果。

    本发明的第17通信方法，其特征在于包括：检索请求信息输入步骤，输入用户检索请求信息；检索请求信息传输步骤，将检索请求信息传输到其他通信装置；以及检索结果接收步骤，接收从其他通信装置传输的检索结果。

    本发明的第24记录介质的程序，其特征在于包括：检索请求信息输入控制步骤，控制输入用户检索请求信息；检索请求信息传输控制步骤，控制将检索请求信息传输到其他通信装置；以及检索结果接收控制步骤，控制接收从其他通信装置传输的检索结果。

    本发明的第24程序，其特征在于使计算机执行如下步骤：检索请求信息输入控制步骤，控制输入用户检索请求信息；检索请求信息传输控制步骤，控制将检索请求信息传输到其他通信装置；以及检索结果接收控制步骤，控制接收从其他通信装置传输的检索结果。

    本发明的第18通信装置，其特征在于包括：检索请求信息接收部件，用于接收从其他通信装置传输的检索请求信息；存储部件，用于存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索部件，用于从在存储部件中存储的图像中检索与由检索请求信息接收部件接收的检索请求信息相对应的图像；检索结果传输部件，用于将检索部件的检索结果传输到其他通信装置；以及收费部件，用于根据检索结果执行收费处理。

    本发明的第18通信方法，其特征在于包括：检索请求信息接收步骤，接收从其他通信装置传输的检索请求信息；存储步骤，存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索步骤，从在存储步骤存储的图像中检索与在检索请求信息接收步骤接收的检索请求信息相对应的图像；检索结果传输步骤，将检索步骤的检索结果传输到其他通信装置；以及收费步骤，根据检索结果执行收费处理。

    本发明的第25记录介质的程序，其特征在于包括：检索请求信息接收控制步骤，控制接收从其他通信装置传输的检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息接收控制步骤接收的检索请求信息相对应的图像；检索结果传输控制步骤，控制将检索控制步骤的检索结果传输到其他通信装置；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第25程序，其特征在于使计算机执行如下步骤：检索请求信息接收控制步骤，控制接收从其他通信装置传输的检索请求信息；存储控制步骤，控制存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；检索控制步骤，控制从在存储控制步骤存储的图像中检索与在检索请求信息接收控制步骤接收的检索请求信息相对应的图像；检索结果传输控制步骤，控制将检索控制步骤的检索结果传输到其他通信装置；以及收费控制步骤，控制根据检索结果执行收费处理。

    本发明的第19通信装置，其特征在于包括：前景成分图像辨别信息输入部件，用于输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入部件，用于输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；图像位置信息生成部件，用于生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及输出部件，用于输出由图像位置信息生成部件生成的前景成分图像位置信息和背景成分图像位置信息。

    还可以包括：混合比率生成部件，用于从图像数据生成其中前景成分图像和背景成分图像混合在一起的区域的混合比率，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离部件，用于根据混合比率将图像数据分离为前景成分图像和背景成分图像；辨别信息生成部件，用于根据前景成分图像生成前景成分图像辨别信息，并且根据背景成分图像生成背景成分图像辨别信息；以及辨别信息提供部件，用于将由辨别信息生成部件生成的前景成分图像辨别信息提供给前景成分图像辨别信息输入部件，并且将由辨别信息生成部件生成的背景成分图像辨别信息提供给背景成分图像辨别信息输入部件。

    还可以包括：存储部件，用于将由分离部件从图像数据中分离出的前景成分图像和背景成分图像存储在预定位置上；以及位置信息存储部件，用于存储由存储部件存储的图像数据的前景成分图像和背景成分图像的各自位置信息，并且图像位置信息生成部件可以根据由位置信息存储部件存储且表示前景成分图像和背景成分图像的存储位置的位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    存储部件可以将由分离部件从图像数据中分离出的前景成分图像和背景成分图像存储在通过网络连接的其他通信装置中，位置信息存储部件可以存储由存储部件存储在通过网络连接的其他通信装置中的图像数据的前景成分图像和背景成分图像在网络上的各自位置信息，并且图像位置信息生成部件可以根据由位置信息存储部件存储的图像数据的前景成分图像和背景成分图像在网络上的位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    存储部件可以分别将由分离部件从图像数据中分离出的前景成分图像和背景成分图像随同与前景成分图像和背景成分图像相对应的ID一起存储在在预定位置上。

    还可以包括比较部件，用于比较由分离部件从图像数据中分离出的前景成分图像和背景成分图像的各自ID与由存储部件先前存储的前景成分图像或背景成分图像的ID，并且存储部件可以根据比较部件的比较结果，将由分离部件从图像数据中分离出的前景成分图像和背景成分图像随同与前景成分图像和背景成分图像相对应的ID一起存储在预定位置上。

    当比较部件的比较结果匹配时，图像位置信息生成部件可以根据由位置信息存储部件先前存储的前景成分图像或背景成分图像的位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    前景成分图像辨别信息输入部件可以输入前景成分图像作为前景成分图像辨别信息，并且背景成分图像辨别信息输入部件可以输入背景成分图像作为背景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成。

    还可以包括收费部件，用于根据前景成分图像位置信息和背景成分图像位置信息的输出，执行收费处理。

    收费部件可以生成收费信息包括用户ID、自身ID和与前景成分图像位置信息和背景成分图像位置信息的输出相对应的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从用于收费处理的各用户的点数中减去对应于费用信息的点数来执行收费处理。

    输出部件可以以仅在收费部件完成收费处理之后用户才可获得的方式输出前景成分图像位置信息和背景成分图像位置信息。

    本发明的第19通信方法，其特征在于包括：前景成分图像辨别信息输入步骤，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入步骤，输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；图像位置信息生成步骤，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及输出步骤，输出在图像位置信息生成步骤生成的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第26记录介质的程序，其特征在于包括：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及输出控制步骤，控制输出在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第26程序，其特征在于使计算机执行如下步骤：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及输出控制步骤，控制输出在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第8通信系统，其特征在于，第一通信装置包括：前景成分图像辨别信息输入部件，用于输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入部件，用于输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；第一传输部件，用于将前景成分图像辨别信息和背景成分图像辨别信息传输到第二通信装置；以及位置信息接收部件，用于接收从第二通信装置传输的前景成分图像位置信息和背景成分图像位置信息，并且第二通信装置包括：前景成分图像辨别信息接收部件，用于接收从第一通信装置传输的前景成分图像辨别信息；背景成分图像辨别信息接收部件，用于接收从第一通信装置传输的背景成分图像图像辨别信息；图像位置信息生成部件，用于生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及第二传输部件，用于将由图像位置信息生成部件生成的前景成分图像位置信息和背景成分图像位置信息传输到第一通信装置。

    第二通信装置还可以包括：混合比率生成部件，用于从图像数据生成其中前景成分图像和背景成分图像混合在一起的区域的混合比率，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；分离部件，用于根据混合比率将图像数据分离为前景成分图像和背景成分图像；辨别信息生成部件，用于根据前景成分图像生成前景成分图像辨别信息，并且根据背景成分图像生成背景成分图像辨别信息；以及辨别信息提供部件，用于将由辨别信息生成部件生成的前景成分图像辨别信息提供给前景成分图像辨别信息输入部件，并且将由辨别信息生成部件生成的背景成分图像辨别信息提供给背景成分图像辨别信息输入部件。

    还可以包括：存储部件，用于将由分离部件从图像数据中分离出的前景成分图像和背景成分图像存储在预定位置上；以及位置信息存储部件，用于存储由存储部件存储的图像数据的前景成分图像和背景成分图像的各自位置信息，并且图像位置信息生成部件可以根据由位置信息存储部件存储且表示前景成分图像和背景成分图像的存储位置的位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    存储部件可以将由分离部件从图像数据中分离出的前景成分图像和背景成分图像存储在通过网络连接的其他通信装置中，位置信息存储部件可以存储由存储部件存储在通过网络连接的其他通信装置中的图像数据的前景成分图像和背景成分图像在网络上的各自位置信息，并且图像位置信息生成部件可以根据由位置信息存储部件存储的图像数据的前景成分图像和背景成分图像在网络上的各自位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    存储部件可以分别将由分离部件从图像数据中分离出的前景成分图像和背景成分图像随同与前景成分图像和背景成分图像相对应的ID一起存储在在预定位置上。

    第二通信装置还可以包括比较部件，用于比较由分离部件从图像数据中分离出的前景成分图像和背景成分图像的各自ID与由存储部件先前存储的前景成分图像或背景成分图像的ID，并且存储部件可以根据比较部件的比较结果，分别将由分离部件从图像数据中分离出的前景成分图像和背景成分图像随同与前景成分图像和背景成分图像相对应的ID一起存储在预定位置上。

    当比较部件的比较结果匹配时，图像位置信息生成部件可以根据由位置信息存储部件先前存储的前景成分图像或背景成分图像的位置信息，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息。

    前景成分图像辨别信息输入部件可以输入前景成分图像作为前景成分图像辨别信息，并且背景成分图像辨别信息输入部件可以输入背景成分图像作为背景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成。

    第二通信装置还可以包括收费部件，用于根据前景成分图像位置信息和背景成分图像位置信息的输出，执行收费处理。

    收费部件可以生成收费信息包括用户ID、第二通信装置ID和与前景成分图像位置信息和背景成分图像位置信息的输出相对应的费用信息。

    收费部件可以根据收费信息对用户的金融帐户执行收费处理。

    收费部件可以通过从用于收费处理的各用户的点数中减去对应于费用信息的点数来执行收费处理。

    输出部件可以在收费部件完成收费处理之后将前景成分图像位置信息和背景成分图像位置信息输出给完成收费处理的用户。

    本发明的第8通信系统的通信方法，其特征在于，第一通信装置的通信方法包括：前景成分图像辨别信息输入步骤，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入步骤，输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；第一传输步骤，将前景成分图像辨别信息和背景成分图像辨别信息传输到第二通信装置；以及位置信息接收步骤，接收从第二通信装置传输的前景成分图像位置信息和背景成分图像位置信息，并且第二通信装置的通信方法包括：前景成分图像辨别信息接收步骤，接收从第一通信装置传输的前景成分图像辨别信息；背景成分图像辨别信息接收步骤，接收从第一通信装置传输的背景成分图像图像辨别信息；图像位置信息生成步骤，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及第二传输步骤，将在图像位置信息生成步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到第一通信装置。

    本发明的第27记录介质的程序，其特征在于，控制第一通信装置的程序包括：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；第一传输控制步骤，控制将前景成分图像辨别信息和背景成分图像辨别信息传输到第二通信装置；以及位置信息接收控制步骤，控制接收从第二通信装置传输的前景成分图像位置信息和背景成分图像位置信息，并且控制第二通信装置的程序包括：前景成分图像辨别信息接收控制步骤，控制接收从第一通信装置传输的前景成分图像辨别信息；背景成分图像辨别信息接收控制步骤，控制接收从第一通信装置传输的背景成分图像图像辨别信息；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及第二传输控制步骤，控制将在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到第一通信装置。

    本发明的第27程序，其特征在于，使控制第一通信装置的计算机执行如下步骤：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；第一传输控制步骤，控制将前景成分图像辨别信息和背景成分图像辨别信息传输到第二通信装置；以及位置信息接收控制步骤，控制接收从第二通信装置传输的前景成分图像位置信息和背景成分图像位置信息，并且使控制第二通信装置的计算机执行如下步骤：前景成分图像辨别信息接收控制步骤，控制接收从第一通信装置传输的前景成分图像辨别信息；背景成分图像辨别信息接收控制步骤，控制接收从第一通信装置传输的背景成分图像图像辨别信息；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及第二传输控制步骤，控制将在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到第一通信装置。

    本发明的第20通信装置，其特征在于包括：前景成分图像辨别信息输入部件，用于输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入部件，用于输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；传输部件，用于通过网络将前景成分图像辨别信息和背景成分图像辨别信息传输到其他通信装置；以及位置信息接收部件，用于接收通过网络从其他通信装置传输的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第20通信方法，其特征在于包括：前景成分图像辨别信息输入步骤，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入步骤，输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；传输步骤，通过网络将前景成分图像辨别信息和背景成分图像辨别信息传输到其他通信装置；以及位置信息接收步骤，接收通过网络从其他通信装置传输的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第28记录介质的程序，其特征在于包括：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；传输控制步骤，控制通过网络将前景成分图像辨别信息和背景成分图像辨别信息传输到其他通信装置；以及位置信息接收控制步骤，控制接收通过网络从其他通信装置传输的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第28程序，其特征在于使计算机执行如下步骤：前景成分图像辨别信息输入控制步骤，控制输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息输入控制步骤，控制输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；传输控制步骤，控制通过网络将前景成分图像辨别信息和背景成分图像辨别信息传输到其他通信装置；以及位置信息接收控制步骤，控制接收通过网络从其他通信装置传输的前景成分图像位置信息和背景成分图像位置信息。

    本发明的第21通信装置，其特征在于包括：前景成分图像辨别信息接收部件，用于接收通过网络从其他通信装置传输的图像数据的前景成分图像辨别信息，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息接收部件，用于接收从其他通信装置传输的背景成分图像图像辨别信息；图像位置信息生成部件，用于生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及传输部件，用于通过网络将由图像位置信息生成部件生成的前景成分图像位置信息和背景成分图像位置信息传输到其他通信装置。

    本发明的第21通信方法，其特征在于包括：前景成分图像辨别信息接收步骤，接收通过网络从其他通信装置传输的图像数据的前景成分图像辨别信息，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息接收步骤，接收从其他通信装置传输的背景成分图像图像辨别信息；图像位置信息生成步骤，生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及传输步骤，通过网络将在图像位置信息生成步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到其他通信装置。

    本发明的第29记录介质的程序，其特征在于包括：前景成分图像辨别信息接收控制步骤，控制接收通过网络从其他通信装置传输的图像数据的前景成分图像辨别信息，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息接收控制步骤，控制接收从其他通信装置传输的背景成分图像图像辨别信息；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及传输控制步骤，控制通过网络将在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到其他通信装置。

    本发明的第29程序，其特征在于使计算机执行如下步骤：前景成分图像辨别信息接收控制步骤，控制接收通过网络从其他通信装置传输的图像数据的前景成分图像辨别信息，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；背景成分图像辨别信息接收控制步骤，控制接收从其他通信装置传输的背景成分图像图像辨别信息；图像位置信息生成控制步骤，控制生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及传输控制步骤，控制通过网络将在图像位置信息生成控制步骤生成的前景成分图像位置信息和背景成分图像位置信息传输到其他通信装置。

    在本发明的第1通信系统和方法及第2程序中，通过第一通信装置，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；将所输入的请求信息传输到第二通信装置；以及接收从第二通信装置传输的与请求信息相对应的根据图像数据生成的编码数据，并且通过第二通信装置，接收从第一通信装置传输的请求信息；将图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及将当根据所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到第一通信装置。

    在本发明的第2通信装置和方法及第3程序中，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；将所输入的请求信息传输到其他通信装置；接收从其他通信装置传输的与请求信息相对应的根据图像数据生成的编码数据。

    在本发明的第3通信装置和方法及第4程序中，接收从其他通信装置传输的请求信息；将通过图像拍摄元件获得的图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像，其中，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及将当根据所接收的请求信息将图像分离为前景成分图像和背景成分图像时生成的编码数据传输到其他通信装置。

    在本发明的第2通信系统和方法及第5程序中，通过第一通信装置，从多个编码数据中输入用户请求信息，其中，编码数据是根据通过图像拍摄元件获得的预定图像数据生成的，图像拍摄元件具有预定数目像素，其中每个像素均具有时间累积效应，并且预定图像数据由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；将所输入的请求信息传输到第二通信装置到第四通信装置之一；以及接收从第二通信装置到第四通信装置之一传输的与请求信息相对应的根据图像数据生成的编码数据，通过第二通信装置，接收从第一通信装置传输的请求信息；将图像数据分离为由构成前景对象的前景对象成分组成的前景成分图像和由构成背景对象的背景对象成分组成的背景成分图像；以及将根据所接收的请求信息从图像中分离出的前景成分图像和背景成分图像作为编码数据传输到第一通信装置，通过第三通信装置，接收从第一通信装置传输的请求信息；生成辨别前景区域、背景区域和混合区域的区域信息，其中，前景区域由构成预定图像数据的前景对象的前景对象成分组成，背景区域由构成预定图像数据的背景对象的背景对象成分组成，并且混合区域其中混合有前景区域和背景区域；以及将根据所接收的请求信息生成的区域信息作为编码数据传输到第一通信装置，并且通过第四通信装置，接收从第一通信装置传输的请求信息；生成混合比率，表示前景区域和背景区域混合在图像数据的混合区域中的比率；以及将根据所接收的请求信息生成的混合比率传输到第一通信装置。

    在本发明的第4通信装置和方法及第6程序中，输入用户请求信息；根据请求信息合成预定图像数据的前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及输出所生成的合成图像。

    在本发明的第3通信系统和方法及第7程序中，通过第一通信装置，输入用户请求信息；将所输入的请求信息传输到第二通信装置；以及接收根据请求信息从第二通信装置传输的合成图像，并且通过第二通信装置，接收从第一通信装置传输的请求信息；根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及将所生成的合成图像传输到第一通信装置。

    在本发明的第5通信装置和方法及第8程序中，输入用户请求信息；将所输入的请求信息传输到其他通信装置；以及接收根据请求信息从其他通信装置传输的合成数据。

    在本发明的第6通信装置和方法及第9程序中，接收从其他通信装置传输的请求信息；根据请求信息合成前景成分图像和背景成分图像，并且生成合成图像，其中，前景成分图像由构成预定图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成预定图像数据的背景对象的背景对象成分组成，预定图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及将所生成的合成图像传输到其他通信装置。

    在本发明的第7通信装置和方法及第10程序中，输入用户请求信息；根据请求信息，估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；根据混合比率将图像数据分离为前景成分图像和背景成分图像；以预定混合比率合成分离出的前景成分图像和任意背景成分图像，或者分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及输出合成图像。

    在本发明的第4通信系统和方法及第11程序中，通过第一通信装置，输入用户请求信息；将所输入的请求信息传输到第二通信装置；以及接收从第二通信装置传输的合成图像，并且通过第二通信装置，接收从第一通信装置传输的请求信息；根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；根据混合比率将图像数据分离为前景成分图像和背景成分图像；以预定混合比率合成分离出的前景成分图像和任意背景成分图像，或者分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及将合成图像传输到第一通信装置。

    在本发明的第8通信装置和方法及第12程序中，输入用户请求信息；将请求信息传输到其他通信装置；以及接收从其他通信装置传输的合成图像。

    在本发明的第9通信装置和方法及第13程序中，接收从其他通信装置传输的请求信息；根据请求信息估计混合比率，表示前景成分图像与背景成分图像的混合比率，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，并且背景成分图像由构成图像数据的背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；根据混合比率将图像数据分离为前景成分图像和背景成分图像；以预定混合比率合成分离出的前景成分图像和任意背景成分图像，或者分离出的背景成分图像和任意前景成分图像，并且生成合成图像；以及将合成图像传输到其他通信装置。

    在本发明的第10通信装置和方法及第14程序中，输入辨别用户所请求图像的ID；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所输入的图像ID相对应的图像；将所检索的图像传输到用户的通信装置；以及根据所检索的图像执行收费处理。

    在本发明的第5通信系统和方法及第15程序中，通过第一通信装置，输入辨别用户所请求图像的ID；将图像ID传输到第二通信装置；以及接收根据图像ID检索的图像，并且通过第二通信装置，接收从第一通信装置传输的图像ID；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所接收的图像ID相对应的图像；将所检索的图像输出到第一通信装置；以及根据所检索的图像执行收费处理。

    在本发明的第11通信装置和方法及第16程序中，输入辨别用户所请求图像的ID；将图像ID传输到其他通信装置；以及接收根据图像ID检索的图像。

    在本发明的第12通信装置和方法及第17程序中，接收从其他通信装置传输的图像ID；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所接收的图像ID相对应的图像；将所检索的图像输出到其他通信装置；以及根据所检索的图像执行收费处理。

    在本发明的第13通信装置和方法及第18程序中，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；存储所输入的图像；以及根据所存储的图像，执行支付处理。

    在本发明的第6通信系统和方法及第19程序中，通过第一通信装置，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及将所输入的图像传输到第二通信装置，并且通过第二通信装置，接收从第一通信装置传输的图像；存储所接收的图像；以及根据所存储的图像，执行支付处理。

    在本发明的第14通信装置和方法及第20程序中，输入由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；以及将所输入的图像传输到其他通信装置。

    在本发明的第15通信装置和方法及第21程序中，接收从其他通信装置传输的图像；存储所接收的图像；以及根据所存储的图像，执行支付处理。

    在本发明的第16通信装置和方法及第22程序中，输入用户检索请求信息；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所输入的检索请求信息相对应的图像；输出检索结果；以及根据检索结果执行收费处理。

    在本发明的第7通信系统和方法及第23程序中，通过第一通信装置，输入用户检索请求信息；将检索请求信息传输到第二通信装置；以及接收从第二通信装置传输的检索结果，并且通过第二通信装置，接收从第一通信装置传输的检索请求信息；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所接收的检索请求信息相对应的图像；将检索结果传输到第一通信装置；以及根据检索结果执行收费处理。

    在本发明的第17通信装置和方法及第24程序中，输入用户检索请求信息；将检索请求信息传输到其他通信装置；以及接收从其他通信装置传输的检索结果。

    在本发明的第18通信装置和方法及第25程序中，接收从其他通信装置传输的检索请求信息；存储由从图像数据中分离出的前景成分图像和背景成分图像中的至少一个图像组成的图像，其中，前景成分图像由构成前景对象的前景对象成分组成，并且背景成分图像由构成背景对象的背景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；从所存储的图像中检索与所接收的检索请求信息相对应的图像；将检索结果传输到其他通信装置；以及根据检索结果执行收费处理。

    在本发明的第19通信装置和方法及第26程序中，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及输出所生成的前景成分图像位置信息和所生成的背景成分图像位置信息。

    在本发明的第8通信系统和方法及第27程序中，通过第一通信装置，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；将前景成分图像辨别信息和背景成分图像辨别信息传输到第二通信装置；以及接收从第二通信装置传输的前景成分图像位置信息和背景成分图像位置信息，并且通过第二通信装置，接收从第一通信装置传输的前景成分图像辨别信息；接收从第一通信装置传输的背景成分图像图像辨别信息；生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及将所生成的前景成分图像位置信息和所生成的背景成分图像位置信息传输到第一通信装置。

    在本发明的第20通信装置和方法及第28程序中，输入表示前景成分图像的前景成分图像辨别信息，其中，前景成分图像由构成图像数据的前景对象的前景对象成分组成，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；输入表示背景成分图像的背景成分图像辨别信息，其中，背景成分图像由构成图像数据的背景对象的背景对象成分组成；通过网络将前景成分图像辨别信息和背景成分图像辨别信息传输到其他通信装置；以及接收通过网络从其他通信装置传输的前景成分图像位置信息和背景成分图像位置信息。

    在本发明的第21通信装置和方法及第29程序中，接收通过网络从其他通信装置传输的图像数据的前景成分图像辨别信息，其中，图像数据通过具有预定数目像素的图像拍摄元件获得，其中每个像素均具有时间累积效应，并且它由逐像素地根据在时间上累积的形成图像的光量而确定的像素值组成；接收从其他通信装置传输的背景成分图像图像辨别信息；生成与前景成分图像辨别信息和背景成分图像辨别信息相对应的前景成分图像位置信息和背景成分图像位置信息；以及通过网络将所生成的前景成分图像位置信息和所生成的背景成分图像位置信息传输到其他通信装置。

    这样，可以通过将运动模糊加入到图像来对图像进行加密，并且还通过消除运动模糊，即加入与在加密过程中加入的运动模糊相反的运动模糊，对加密图像进行解密。

    此外，可以通过调整包含在前景成分图像中的运动模糊，获得消除了运动模糊的清晰前景成分图像，并且通过组合经过运动模糊调整的前景成分图像和背景成分图像，生成看上去自然的合成图像。因此，通过调整前景成分图像中的运动模糊，并且通过处理所得到的前景成分和背景成分来合成图像，可以更自然地校正图像。

    而且，由于可以通过网络1购买或出售通过根据图像混合状态对图像进行分离、合成、或校正而获得的图像，因此可以通过出售经过用户处理的图像，有效利用分离、合成或校正的图像。

    另外，可以通过简单输入检索条件来检索正由或已由摄像机终端单元28-1到28-n拍摄且存储的图像。

    而且，通过将图像存储在预定存储服务器而不是用户计算机中，并且在需要时根据存储服务器的位置信息读出并利用图像，可以在需要时调出并利用预先存在的图像数据，而无需在它们自己的通信装置中维护这些图像，从而可以高效利用图像。

    根据上面描述，可以通过将运动模糊加入到图像来对图像进行加密，并且通过消除运动模糊来对图像进行解密。此外，还可以消除运动模糊来生成清晰的图像和更自然地校正图像，以通过组合经过运动模糊调整的前景成分与背景图像来合成经过运动模糊调整的图像。而且，可以通过网络有效利用根据图像混合状态分离、合成或校正的图像。而且，还可以通过网络检索分离、合成或校正的图像。此外，可以调出并利用预先存在的图像，而无需在它们自己的通信装置中维护这些图像。

    包含本发明信号处理执行程序的记录介质可以是能够以与计算机分开的方式作为单独组件分发给用户的其中记录有程序的包介质，如图2和3所示，它包括，磁盘61、91(包括活动盘)、光盘62、92(包括CD-ROM(致密盘只读存储器)和DVD(数字多功能盘))、磁光盘63、93(包括MD(小型盘)(商标))和半导体存储器64、94等。上述记录介质还可以是其中记录有该程序的ROM42、72或包含在存储单元48、78中的硬盘，它以预先安装在计算机中的方式提供给用户。

    此外，在本说明书中，描述记录在记录介质上的程序的步骤包括以所述次序串行执行的处理，此外，它还包括以并行或单独方式执行的处理，而不必是串行方式。

    而且，在本说明书中，系统是指包括多个装置的总体装置。

    工业应用

    根据本发明，可以通过分布图像处理来仅执行请求处理，提高图像处理速度，并且降低服务费用。