摄影系统和摄影方法 【技术领域】
这个发明涉及用于把通过拍摄获得的图像与剧情图像进行合成的设备和方法。
背景技术
过去，已经提出了几种用于合成两个图像的技术。色度键(Chroma Key)为这些技术中已知的一种。在色度键中，在某一颜色(通常为蓝色)的背景前面拍摄主题，使该颜色变为透明以便提取主题的图像。然后通过将提取的图像叠加到另一个图像上制作合成的图像。
日本专利公开申请2001-346099公开了用于累积图像以便可以容易地制作基于色度键的合成图像的设备。这个申请认为，通过彼此相关联地存储由照相机当场拍摄的主题的图像以及在拍摄时的照相机的拍摄条件，它们可以用于在将来根据需要创建合成图像。
日本专利公开申请Heisei4-183183公开了一种用于把卡拉OK软件的重放图像与歌手的面容或者形相进行合成地图像信号处理设备。
【发明内容】
日本专利公开申请2001-346099中公开的设备是用于存储获取图像并且以后合成图像的设备。例如，对于电视广播使用的图像，需要高精度的图像合成而且最好是类似于上面的设备用于编辑图像。然而，取决于用法，有时需要在图像合成时候的容易操作或者快速的图像合成。
认为在图像合成时候容易操作是重要的一个示例是将由配备照相机的移动电话所获取的图像与另一个图像进行合成的情况。因为移动电话的屏幕尺寸和键类型具有它们的限制，所以读取曾经获取的图像、从读取的图像中剪辑期望的部分、并且进行编辑是困难的。
虽然有可能把由移动电话所获取的图像移到用于图像合成使用的终端以便处理，但是不能立即看到编辑的合成图像。
在日本专利公开申请Heisei4-183183中公开的设备假定要合成的获取图像将是卡拉OK歌手的面容或者形象。在此假定下，歌手的立姿在显示歌词的屏幕前面差不多是固定的，而且即使不调整用于拍摄的摄像机的位置或者方向也可以恰当地获得获取图像。此外，仅仅必须在视频开始时合成所获取的图像，而且不需要控制合成定时。
如上所述，在依据日本专利公开申请Heisei4-183183的图像信号处理设备中，要合成的获取图像是预定的对象(卡拉OK歌手的面容或者形象)，而且合成定时总是在卡拉OK软件的重放期间。不能依据被重放的剧情图像，控制要被合成的获取图像的对象以及它的合成定时。
考虑到上述背景情况，本发明的目的是提供可以在拍摄的同时合成图像的图像获取设备和图像获取方法。本发明的另一个目的是提供可以在期望的时间恰当地合成获取图像的图像获取设备。
本发明的图像获取设备包括：用于获得获取图像的图像获取装置；用于读取存储的数据以便组成剧情图像的读取装置；存储用于合成剧情图像和获取图像的合成信息的存储装置；合成装置，用于依据存储在存储装置中的合成信息，合成由读取装置读取的剧情图像和由图像获取装置获得的获取图像；以及显示装置，用于显示由合成装置获得的合成图像。
在这个其中依据存储在存储装置中的合成信息合成获取图像和剧情图像、并且由显示装置显示通过合成获得的合成图像的配置中，用户可以在观看由显示装置显示的合成图像的同时进行拍摄。例如，用户可以调整图像获取设备的位置或者方向以便可以恰当地获得获取图像，而且可以选择适于剧情图像的主题。也就是说，用户可以在观看由显示装置显示的合成图像的同时，移动图像获取设备以发现期望的主题。此外，在拍摄同时进行合成可以实现快速的图像合成，其中当拍摄结束时完成图像合成。顺便提及，“剧情图像”是要与获取图像进行合成的图像，而且具有时间概念，它的示例为活动图像、动画、幻灯片放映等。剧情图像通常依据剧情信息进行显示等。剧情信息是这样的信息，其描述诸如活动图像、静止图像、文本、以及声音之类的多媒体数据中的哪一个要在何时、何地、以及如何输出。“获取图像”是由图像获取装置在重放剧情图像期间获得的图像，而且其不由先前存储在存储装置中的数据诸如文件组成。获取图像可以是活动图像或者静止图像。
合成信息包括有关合成获取图像和剧情图像的时间的信息。
在这个配置中，可以基于合成信息定义合成获取图像和剧情图像的时间。例如，有关时间的信息由开始合成的剧情图像时间或者结束合成的剧情图像时间所定义。
合成信息包括以下信息中的至少一个，它们是有关获取图像要与其合成的合成区域的外部形状的信息以及有关在组成剧情图像的图像中的合成区域位置的信息。
在这个配置中，可以定义获取图像要与其合成的合成区域。可以通过把获取图像插入到合成区域中来合成获取图像和剧情图像。顺便提及，由图像获取装置获取的图像的整体可以与合成区域进行合成，或者获取图像的一部分可以与合成区域进行合成。
上述图像获取设备可以进一步包含一装置，用于基于合成信息并且在合成获取图像和剧情图像的时间或者在此之前，向要控制图像获取装置的用户显示有关合成区域的信息。
这个配置允许用户在合成获取图像和剧情图像的时间或者在此之前获得有关合成区域的信息。用户可以因此对图像获取装置、即照相机的位置和方向，或者拍摄条件进行改变等，以便获取要与剧情图像合成的图像。顺便提及，“在合成获取图像和剧情图像的时间或者在此之前”可以意指“在开始合成的时间之前”或者可以意指“在开始合成的时间处”。在其中在开始合成的时间显示有关合成区域的信息的情况下，期望使得剧情图像的重放暂停，以便确保用户控制照相机的时间。
向用户显示的有关合成区域的信息可以基于合成信息中有关外部形状的信息和有关位置的信息中的至少一个。
在这个配置中，用户可以预知要与合成区域合成的图像，而且可以准备拍摄。基于有关外部形状的信息显示信息的一个示例是显示合成区域的轮廓。可以因此显示合成区域的形状和尺寸。当获取图像的一部分要与合成区域合成时、以及当在组成剧情图像的整个图像上叠加整个获取图像时，显示有关位置的信息是有效的。也就是说，仅仅必须调整照相机的位置和方向，以便在获取图像中要被合成的对象的位置对应于在组成剧情图像的图像中的合成区域的位置。
有关要向用户显示的合成区域的信息可以包括，依据合成信息中有关外部形状的信息和有关位置的信息中的至少一个，处理由图像获取装置获得的获取图像而获得的图像。
如上所述显示获取图像允许用户知道正由图像获取装置获得什么获取图像。例如，这允许用户保持要被合成的主题在开始合成的时间之前在焦点上。顺便提及，例如，依据合成信息的处理意指诸如剪辑和缩放获取图像之类的处理，而且这允许用户知道当把获取图像插入合成区域中时将要显示什么图像。例如，可以与在开始合成的时间组成剧情图像的图像一起显示获取图像，或者还可以与当前由显示装置显示的剧情图像、即在开始合成的时间之前的剧情图像一起显示获取图像。在后者的情况下，可以一个在另一个之上或者并排显示获取图像和组成当前显示的剧情图像的图像。
有关要向用户显示的合成区域的信息可以包括通过依据该合成信息，合成由图像获取装置获得的获取图像和组成要在其中出现合成区域的剧情图像的图像，而获得的图像。
如上所述向用户显示合成图像预览，其是由图像获取装置获得的获取图像与组成要在其中出现合成区域的剧情图像的图像的合成，允许用户使要与合成区域合成的获取图像是期望的图像。也就是说，用户可以通过观看合成的图像预览来选择和拍摄适于合成区域的图像。用户可以依据合成区域的形状和尺寸调整图像获取装置的变焦比，或者还可以调整获取图像的亮度以便匹配要成为背景的剧情图像。可以在使剧情图像的重放被暂停之后显示合成图像预览，或者可以在与其中正重放剧情图像的屏幕不同的屏幕上显示该预览。
上述图像获取设备包含一装置，用于在开始合成剧情图像和获取图像的时间，暂停剧情图像的重放。
如上所述使剧情图像的重放暂停允许用户确保有时间控制图像获取装置，即照相机。
在上述图像获取设备中，可以把在组成剧情图像的图像中的合成区域的位置设置为随时间移动。
在这个配置中，即使照相机的位置和方向不改变，组成剧情图像的图像中的合成区域的位置可以随时间移动。例如，如果包括在合成信息中的、有关合成区域位置的信息被表示为时间的函数，则可以把合成区域设置为可移动的。
在上述图像获取设备中，合成区域的外部形状可以被设置为随时间改变。
在这个配置中，合成区域的外部形状可以随时间改变。例如，如果作为有关合成区域外部形状的信息，在合成信息中包括了多个形状信息，而且如果每个形状信息都与时间相关，则可以把合成区域的形状设置为改变。
上述图像获取设备可以进一步包含一装置，用于向用户通知开始合成剧情图像和获取图像的时间已经临近。
在这个配置中，用户可以准备获取要被合成的图像。用于通知用户的装置的示例为使用字符倒计时的配置，通过声音或者光进行通知的配置，通过减速剧情图像的重放速度进行通知的配置，等等。这里的“用户”包括作为主题的人以及进行拍摄的人。
上述图像获取设备可以进一步包含一装置，用于在包括开始合成剧情图像和获取图像的时间在内的某一时间段中，向用户通知有关合成开始的信息。
这个配置允许用户知道合成要很快开始或者合成已经开始了，以便用户可以获得要被合成的获取图像。可以由例如在包括合成开始时间在内的某一时间段中输出声音的配置或者闪光的配置，实现用于向用户通知有关合成开始的信息的装置。在合成开始时间前或后输出声音或者光可以推动用户获得获取图像。即使当用户在合成开始时间之后开始拍摄获取图像时，也可以在从合成开始时间到用户开始拍摄时间的时间恰当地获得合成的图像。它可以例如通过用在开始拍摄之后的获取图像补充要被合成的图像来完成。这里的“用户”包括作为主题的人以及进行拍摄的人。
上述图像获取设备可以进一步包含用于记录已合成图像的装置。
在这个配置中，在正被获取的同时被合成的合成图像可以在以后按照原样重放。
上述图像获取设备可以进一步包含一装置，用于与剧情图像的标识信息相关联地记录由图像获取装置获得的获取图像。
在这个配置中，在合成相关联的剧情图像和获取图像的同时重放它们允许重放已合成的图像。如果为一个剧情图像记录了多个获取图像，则可以从该一个剧情图像中重放多个不同的合成图像。
图像获取装置可以基于包括在合成信息中的有关图像获取条件的信息获取图像。
在这个配置中，可以获取适合于要与合成区域合成的图像的内容的图像。图像获取条件的示例为亮度、是否有照相光、变焦比、色调(棕褐色、黑白、彩色)等。
上述图像获取设备可以包括输入装置，用于让用户输入合成获取图像和剧情图像的起始指令和结束指令中的至少一个。
这个配置允许用户选择获取图像和剧情图像的开始或者结束合成时间。如果采用了让用户输入合成开始指令的配置，用户可以，例如在当用户准备获取要被合成的图像时的步骤处开始合成。如果采用了让用户输入合成结束指令的配置，用户可以，例如当用户变为不能继续获取要被合成的图像时结束合成。此处的“用户”是进行拍摄的人。
在上述图像获取设备中，当在由合成信息定义的时间之后输入合成开始指令以开始合成获取图像和剧情图像时，可以用获取图像或者剧情图像，补充在定义的合成开始时间和合成开始指令的输入之间的、要与合成区域合成的图像。
在这个配置中，即使在由合成信息定义的合成开始时间之后由用户输入合成开始指令，也可以恰当地创建合成图像。用获取图像进行补充的方法示例为：其中在从由合成信息定义的合成开始时间到输入合成开始指令时的时间的时间段，把在输入合成开始指令的时间的获取图像应用于合成区域的方法；或者其中减速获取图像的重放速度、以便使获取图像延续由合成信息定义的合成时间长度的方法。用剧情图像进行补充的方法的示例为这样的方法，其中从由合成信息定义的合成开始时间到输入合成开始指令时的时间，在合成区域中显示缺省的剧情图像。
在上述图像获取设备中，当在由合成信息定义的时间之前输入合成结束指令以结束合成获取图像和剧情图像时，可以用获取图像或者剧情图像，补充在合成结束指令的输入和定义的合成结束时间之间的、要与合成区域合成的图像。
在这个配置中，即使在由合成信息定义的合成结束时间之前输入合成结束指令，也可以恰当地创建合成图像。用所获取的图像进行补充的方法的示例为：其中从输入合成结束指令时的时间到由合成信息定义的合成结束时间，将在输入合成结束指令的时间的获取图像应用于合成区域的方法；或者其中减速获取图像的重放速度、以便使获取图像延续由合成信息定义的合成时间长度的方法。用剧情图像进行补充的方法的示例为这样的方法，其中从输入合成结束指令时的时间到由合成信息定义的合成结束时间，在合成区域中显示缺省的剧情图像。
显示装置可以由多个屏幕组成，屏幕中的至少一个显示剧情图像或者合成的图像。
在这个配置中，在一个屏幂上显示剧情图像或者合成图像的同时，可以在另一个屏幕上检查其它信息。例如，正由图像获取装置获取的图像可以显示在另一个屏幕上。这允许事先聚焦在要被合成的主题上，并且恰当地获得获取图像。图像获取装置正在捕捉的图像也可以作为预览图像显示在另一个屏幕上。如果在主题侧提供一个屏幕以便主题可以观看合成图像，则主题可以检查该合成图像。
上述图像获取设备可以包含发光装置，用于发光以指示要由图像获取装置获取的地点或者区域。
在这个配置中，照向主题的光允许用户预测要由图像获取装置获得的获取图像，并且基于该预测来控制照相机的位置或者方向。
在上述图像获取设备中，由图像获取装置获得的获取图像可以是连续获取的活动图像，而且合成装置可以合成剧情图像和该活动的图像。
如上所述，基于合成信息，由图像获取装置获得的活动图像可以与剧情图像进行合成。
在上述图像获取设备中，由图像获取装置获得的获取图像为一个或多个静止图像，而且合成装置在某一时间段使用静止图像之一，作为要与剧情图像合成的图像。
如上所述，基于合成信息，由图像获取装置获得的静止图像可以与剧情图像进行合成。顺便提及，“某一时间段”可以意指由合成信息定义的合成时间或者可以意指合成时间的一部分。当在合成时间的一部分中合成一个静止图像时，可以在其余合成时间合成另一个或者其它静止图像。
上述图像获取设备可以包含局部图像剪辑装置，用于剪辑由图像获取装置获取的获取图像的一部分作为局部图像，其中合成装置合成由局部图像剪辑装置剪辑的局部图像和剧情图像。
在这个配置中，从获取图像中剪辑的局部图像可以与剧情图像合成。
在上述图像获取设备中，存储在存储装置中的合成信息可以包括局部图像规范信息，以指定局部图像剪辑装置剪辑局部图像的区域和时间段，而且局部图像剪辑装置可以基于该局部图像规范信息从获取图像中剪辑局部图像。
在这个配置中，可以在合成信息中定义要从获取图像中剪辑的局部图像。例如，可以定义匹配剧情图像的局部图像。
在上述图像获取设备中，在局部图像规范信息中指定的、要被剪辑的局部图像的位置可以随时间移动。
在这个配置中，即使照相机的位置和方向不改变，要与剧情图像合成的局部图像的位置也可以随时间移动。
在上述图像获取设备中，在局部图像规范信息中指定的、要被剪辑的局部图像的形状可以随时间改变。
在这个配置中，局部图像的形状可以随时间改变。
在上述图像获取设备中，局部图像规范信息可以依据要包括在局部图像中的对象指定局部图像，而且局部图像剪辑装置可以从获取图像中剪辑包含局部图像规范信息中指定的对象的部分，作为局部图像。
在这个配置中，因为通过对象指定局部图像，所以可以容易地指定匹配剧情图像的局部图像。
在上述图像获取设备中，合成信息可以通过要包括在合成区域中的对象，指定合成区域，而且合成装置可以把剧情图像的一部分当做合成区域，其中该部分显示在合成信息中指定的对象，而且合成装置可以把获取图像与合成区域进行合成。
在这个配置中，因为用对象指定合成区域，可以容易地指定合成区域。
上述图像获取设备可以包含控制装置，用于进行控制，以使当存在有要在开始合成获取图像的时间开始重放的数据时，以及在那个数据的重放开始之后，暂停剧情图像。
在这个配置中，在使剧情图像的重放在开始合成的时间暂停之前，开始要在同一时间开始的数据重放，以便可以利用图像暂停显示在合成开始时间的剧情图像。
上述图像获取设备可以包含：预览图像存储装置，用于把在开始合成获取图像时要显示的剧情图像存储为预览图像；以及控制装置，用于进行控制，以在开始合成获取图像的时候，显示预览图像并且使剧情图像暂停。
在这个配置中，因为在开始合成的时间显示的剧情图像被存储为预览图像，并且在合成开始时间显示存储的预览图像，所以可以利用图像暂停容易地显示在合成开始时间的剧情图像的预览。
在上述图像获取设备中，控制装置可以把恢复剧情图像的重放的点移动到开始合成的时间。
在这个配置中，与使剧情图像的重放暂停所用的处理时间无关，可以从合成开始时间恢复剧情图像的重放。
本发明的剧情数据具有：描述输出存储数据的方法的剧情信息；以及用于把通过拍摄获得的获取图像和要依据剧情信息的描述输出的剧情图像进行合成的合成信息。
在这个配置中，可以容易地合成要基于存储数据输出的剧情图像和获取图像。合成信息是用于把获取图像和剧情图像进行合成的信息，而且它的示例为描述何时以及在什么位置合成获取图像的信息。剧情信息是描述输出已存储数据的方法的信息。虽然剧情信息事先描述了要输出什么数据，但是合成信息不事先固定要输出的数据，而是描述要为每个拍摄输出的每个不同获取图像的数据。因为基于合成信息输出通过拍摄获得的获取图像、并且基于剧情信息输出存储的数据，所以可以容易地合成剧情图像和获取图像。
合成信息可以包括有关合成获取图像和剧情图像的时间的信息。
在这个配置中，可以基于合成信息定义合成获取图像和剧情图像的时间。例如，有关时间的信息由开始合成的剧情图像时间或者结束合成的剧情图像时间所定义。
合成信息可以包括以下信息中的至少一个，它们是有关获取图像要与之合成的合成区域的外部形状的信息、以及有关在组成剧情图像的图像中的合成区域位置的信息。
在这个配置中，可以定义获取图像要与之合成的合成区域。可以通过把获取图像插入到合成区域中来合成获取图像和剧情图像。顺便提及，由图像获取装置获取的图像的整体可以与合成区域进行合成，或者获取图像的一部分可以与合成区域进行合成。
在上述剧情数据中，合成信息可以包含局部图像规范信息，以指定把获取图像的部分剪辑为局部图像的区域和时间段。
在这个配置中，可以定义要与剧情图像合成的、从获取图像中剪辑的局部图像。
在局部图像规范信息中指定的、要被剪辑的局部图像的位置可以随时间移动。
在这个配置中，即使照相机的位置和方向不改变，要与剧情图像合成的局部图像的位置也可以随时间移动。
在局部图像规范信息中指定的、要被剪辑的局部图像的形状可以随时间改变。
在这个配置中，局部图像的形状可以随时间改变。
依据要包括在局部图像中的对象，局部图像规范信息可以指定局部图像的区域和时间段。
在这个配置中，因为用对象指定局部图像，所以可以容易地指定匹配剧情图像的局部图像。
在上述剧情数据中，依据要包括在获取图像要与之合成的合成区域中的对象，合成信息可以指定合成区域以及剧情图像包括合成区域的时间段。
在这个配置中，因为用对象指定了合成区域以及剧情图像包括合成区域的时间段，所以可以容易地指定合成区域。
本发明中的图像获取方法包含步骤：读取存储的数据以便组成剧情图像；获得获取图像；读取用于合成剧情图像和获取图像的合成信息；依据合成信息合成剧情图像和获取图像；以及显示在合成步骤中获得的合成图像。
如上所述，依据合成信息合成获取图像和剧情图像，并且显示通过合成获得的合成图像，以便用户可以在观看显示的合成图像的同时进行拍摄。例如，用户可以调整图像获取装置的位置或者方向，以便可以恰当地获得获取图像，而且可以选择适于剧情图像的主题。也就是说，用户可以移动用于获得获取图像的照相机，以便在观看显示的合成图像的同时捕捉到所期望的主题的视界(sight)。此外，在拍摄同时进行合成可以实现快速的图像合成，其中当拍摄结束时完成图像合成。
本发明的程序，为了合成获取图像和剧情图像，使计算机执行以下步骤：读取存储的数据以便组成剧情图像；获得获取图像；读取用于合成剧情图像和获取图像的合成信息；依据合成信息合成剧情图像和获取图像；以及显示在合成步骤中获得的合成图像。
使其执行这个程序的计算机依据合成信息合成获取图像和剧情图像，并且显示通过合成获得的合成图像。这允许用户在观看显示的合成图像的同时进行拍摄。例如，用户可以调整图像获取装置的位置或者方向以便可以恰当地获得获取图像，而且可以选择适于剧情图像的主题。也就是说，用户可以移动用于获得获取图像的照相机，以便在观看显示的合成图像的同时捕捉到所期望的对象的视界。此外，在拍摄同时进行合成可以实现快速的图像合成，其中当拍摄结束时完成图像合成。
本发明的图像获取设备基于用于合成剧情图像和获取图像的合成信息、合成获取图像和剧情图像，并且通过显示装置显示合成图像。结果，本发明可以提供的重大优点在于，用户可以在观看由显示装置显示的合成图像的同时进行拍摄，并且可以调整图像获取设备的位置或者方向，以便可以恰当地获取要合成的图像。
【附图说明】
图1示出第一实施例的图像获取设备的配置。
图2示出剧情数据的示例。
图3示出剧情图像的显示的示例。
图4A说明记录剧情图像的方法。
图4B说明记录剧情图像的方法。
图5A说明记录剧情图像的方法。
图5B说明记录剧情图像的方法。
图6示出由图像获取设备进行的图像合成的操作流程。
图7示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图8A示出合成图像预览的示例。
图8B示出合成图像的示例。
图9示出第二实施例的图像获取设备的配置。
图10示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图11A示出合成图像的示例。
图11B显示合成区域的呈现示例。
图12示出第三实施例的图像获取设备的配置。
图13示出第四实施例的图像获取设备的配置。
图14示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图15示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图16示出第五实施例的图像获取设备的配置。
图17示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图18示出在图像获取装置的操作、显示装置的显示、以及剧情数据之间的关系。
图19示出第六实施例的图像获取设备的配置。
图20示出剧情数据的示例。
图21A示出获取图像的示例。
图21B示出局部图像的示例。
图22示出合成信息的示例。
图23A示出合成区域的改变的示例。
图23B示出局部图像的示例。
图24示出合成信息的示例。
图25示出第七实施例的图像获取设备的配置。
图26示出剧情数据的示例。
图27A示出获取图像的示例。
图27B示出局部图像的示例。
图28示出剧情数据的示例。
图29A示出剧情图像的示例。
图29B示出剧情图像中的合成区域。
图30示出第九实施例的合成重放控制部分的配置。
图31A示出了剧情数据的示例。
图31B示出计划列表的示例。
图32示出第十实施例的合成重放控制部分的配置。
图33A示出剧情数据的示例。
图33B示出计划列表的示例。
图34示出第十一实施例的合成重放控制部分的配置。
图35A示出剧情数据的示例。
图35B示出计划列表的示例。
图36示出在图像获取设备具有两个屏幕的情况中每个屏幕的显示示例。
图37示出在图像获取设备具有两个屏幕的情况中每个屏幕的显示示例。
图38示出在图像获取设备具有两个屏幕的情况中每个屏幕的显示示例。
图39示出本发明的程序的示例。
【具体实施方式】
将参考附图对本发明的实施例进行描述。
图1示出本发明的第一实施例的图像获取设备10的配置。第一实施例的图像获取设备10是便携式图像获取设备，其允许用户通过改变设备的位置或者方向来改变拍摄主题。便携式摄像机和配备照相机的移动电话是该设备的示例。图像获取设备10包含用于存储剧情数据的剧情存储部分12、用于获得获取图像的图像获取部分18、用于重放剧情图像并且合成剧情图像和获取图像的合成重放部分20、用于控制合成重放部分20的合成重放控制部分22、以及用于显示合成的剧情图像的显示部分24。图像获取部分18由例如，CCD、CMOS、或者其它半导体器件组成，而且具有获得数字图像的功能。图像获取部分18可以获取活动图像和静止图像中的至少一个。
在图像获取设备10的详细描述之前，将要描述要在图像获取设备10中合成的剧情数据。剧情数据包括剧情信息14和合成信息16。剧情信息14为描述输出要被输出的实体数据的方法的信息。基于剧情信息14重放的剧情图像是随时间改变的图像，而且它的示例为活动图像、动画、幻灯显示等。合成信息16为这样的信息，它们关于：用于合成获取图像和剧情图像的合成区域的外部形状；在组成剧情图像的图像中的合成区域的位置；以及当出现合成区域时的时间。出现合成区域时的时间是合成剧情图像和获取图像时的时间。
图2示出了剧情数据示例，而且图3示出了依据图2所示的数据显示在屏幕上的剧情图像和合成区域的示例。剧情图像可以由一个媒体或者多个媒体组成。在图3中，剧情图像由媒体A和媒体B组成，而且合成区域位于媒体A中的图像上。合成区域是由图像获取部分18获得的获取图像与之合成的区域。顺便提及，剧情图像可以包括在重放时间中不重放媒体的时间段。例如，当在图2所示的示例中T2＜T3时，重放媒体A的时间段不和重放媒体B的时间段重叠，而且在时间T2和T3之间不重放媒体。这样的剧情图像包括在本发明的范围之内。
在图2所示的示例中，剧情数据具有剧情信息14和合成信息16。剧情信息14具有描述媒体A的输出方法的剧情信息14a和描述媒体B的输出方法的剧情信息14b。每个剧情信息14a和14b都包括：i)媒体标识符；ii)实体数据的存储位置；iii)有关重放和显示媒体的时间的信息；以及iv)有关要显示图像的区域的信息。在这个示例中，这里的剧情信息14a和14b中的每一个都包括四块信息，但是根据需要可以包括其它的信息。
媒体标识符是用于标识媒体的信息。实体数据的存储位置是指示媒体的实体数据存储在其中的文件的目录和名称的信息。这里的剧情信息14具有有关实体数据的存储位置的信息，而且可与剧情数据分离地存储实体数据。虽然在图2中，媒体A和媒体B的实体数据都存储在目录“home(本地)”中，但是每个媒体的实体数据可以存储在不同的位置中。在这个其中可以指定实体数据存储位置的配置中，例如可以容易地使用各种现有数据作为剧情图像。有关重放和显示媒体的时间的信息是用于指定要基于该媒体重放图像的时间的信息。在这个示例中，通过从开始重放剧情图像的指令开始所经过的时间定义重放开始定时和重放结束定时，以便指定重放显示时间。可以看到，例如，媒体A的重放在开始重放剧情图像的指令之后已经过去了T1秒时的时间开始，而且在已经过去了T2秒时的时间处结束。有关显示图像的区域的信息是有关在哪个位置以及以什么形状显示基于媒体的图像的信息。可以看到，例如，媒体A显示在具有坐标(Xa，Ya)的位置处，而且其形状是矩形的
如上，剧情信息14可以具有有关显示该媒体的时间和区域的信息。基于该信息，在指定时间以及在指定区域中显示媒体中的图像。虽然这里为每个媒体描述了剧情数据，但是可以采用其它的描述方法。例如，可以为剧情图像的每个重放时间描述输出方法。
接下来将描述合成信息16。合成信息16是用于合成剧情图像和获取图像的信息。合成信息16包括有关当合成区域出现时的时间的时间信息，以及包括有关合成区域的位置和外部形状的区域信息。时间信息是这样的信息，其依据从剧情图像的重放开始所经过的时间，定义当合成区域出现在剧情图像中时的时间。在图2所示的示例中，在剧情图像的重放开始之后从T5秒到T6秒的时间段出现合成区域。也就是说，要在这个时间段上合成剧情图像和获取图像。区域信息是这样的信息，其定义了在由时间信息定义的时间段出现的合成区域的位置和外部形状。在图2所示的示例中，合成区域出现的位置的坐标为(Xc，Yc)，而且合成区域的形状是半径为R的圆。顺便提及，通过使定义出现位置的坐标为时间的函数，可以设置合成区域出现的位置，使得合成区域的位置移动。通过设置时间参数，合成区域的外部形状也可以随着剧情图像重放的时间而改变。
显示要与合成区域合成的图像，使得它覆盖另一个图像。当合成区域与媒体中的图像重叠时，优先显示合成区域中的图像。例如，如图3所示，当合成区域和媒体A中的图像的显示区域彼此重叠时，合成区域位于媒体A中图像的前面，而且媒体A中的图像由通过图像获取部分18获取的图像覆盖。
回到图1，现在将描述图像获取设备10的配置。
剧情存储部分12存储类似于图2中描述的那些的剧情数据。图像获取设备10具有：合成重放部分20，用于读取存储在剧情存储部分12中的剧情数据，以在显示部分24上重放剧情图像，以及用于合成由图像获取部分18获取的图像和剧情图像；以及用于控制合成重放部分20的合成重放控制部分22。
合成重放控制部分22从剧情存储部分12中读取剧情信息14和合成信息16，并且基于这些信息控制合成重放部分20。通过基于合成信息16把由图像获取部分18获取的图像插入到剧情图像中的合成区域中，合成重放控制部分22合成获取图像和剧情图像。此时要合成的图像可以是由图像获取部分18获得的图像的整体，或者可以是所获得图像的一部分。当合成由图像获取部分18所获得的图像时，处理该图像以便它匹配合成区域的尺寸。例如，剪辑要合成的图像和/或缩放获取图像，以便它们匹配合成区域。在由图像获取部分18所获得的图像的一部分用于合成的情况下，如果在合成区域出现的开始时间处、从获取图像中剪辑剧情图像中的合成区域所处位置的部分用于合成，则处理是容易的。也就是说，当要显示的剧情图像和由图像获取部分18所获得的图像彼此重叠以显示在显示部分24上时，从获取图像中剪辑与合成区域重叠的部分用于合成。因此易于调整图像获取设备10的方向，以便由图像获取部分18拍摄要放置到合成区域中的对象。可以剪辑处于固定位置(例如，中心)的获取图像部分，以便它匹配合成区域的外部形状以及用于合成，而与合成区域出现的位置无关。合成信息可以包括有关从中剪辑图像的获取图像中的位置的信息，而且基于该信息可以从获取图像中剪辑要与合成区域合成的图像。
合成重放部分20基于合成重放控制部分22的控制重放剧情图像和合成图像。当重放剧情图像时，基于存储在剧情存储部分12中的剧情信息，依据该剧情信息读出存储在未在图1中示出的存储部分中的实体数据，并且重放读出的实体数据。未在图1中示出的实体数据可以存储在任何位置。它可以与剧情数据一起存储在剧情数据存储部分12中。合成重放部分20从在剧情信息中指定的存储位置读取实体数据，并且重放它。还可以由合成重放控制部分22读取实体数据，以发送给合成重放部分20。
在图像记录部分26中记录由合成重放控制部分22合成的图像。作为在图像记录部分26中进行记录的方法，可以采用其中按照原样记录在屏幕上重放的合成图像的方法，或者可以采用其中分别记录要合成的获取图像和剧情图像的方法。在采用前者方法的情况下，仅仅读取所记录的合成图像就允许按照原样重放合成图像。
在采用后者方法的情况下，关联有关获取图像与之合成的剧情图像的标识符信息。例如，如图4A，i)所示，事先在合成信息中包括合成信息标识符。这里给出了标识符“CameraA”，其指示要合成由CameraA所获取的获取图像。当记录获取图像时，如图4B所示，有关由图像获取部分18所获取的获取图像的数据存储其中的位置(目录和文件名)的信息与剧情数据相关联。在重放的时候，在读取剧情图像的同时读取记录的获取图像。然后，基于剧情图像的合成信息，合成读取的获取图像并且显示合成的图像，以便可以重放合成的图像。
可以创建其合成信息包括有关获取图像的信息的剧情数据。也就是说，如图5A、i)所示，事先在合成信息中包括合成信息标识符。当记录获取图像时，如图5B所示，由图像获取部分18获取的获取图像被当做组成剧情数据的媒体中的一个(媒体C)，以创建新的剧情数据。与媒体A或者媒体B相同，媒体C包括：i)媒体标识符；ii)实体数据的存储位置；iii)有关重放和显示媒体的时间的信息；以及iv)有关要显示图像的区域的信息。
至于用于记录的时间段，可以采用从剧情图像重放的开始到结束进行记录的方法，或者可以采用记录其中出现合成区域的一部分剧情图像的方法。
图像获取条件控制部分28具有控制图像获取部分18的图像获取条件等的功能。图像获取条件的示例为亮度、是否有照相光、变焦比、色调(棕褐色、黑白、彩色)等。在合成信息16包括有关要被合成的图像的图像获取条件的信息的情况下，图像获取条件控制部分28基于该信息设置图像获取条件。图像获取条件控制部分28还可以接受由用户设置图像获取条件。
图6示出了由图像获取设备10进行的图像合成的操作流程，而且图7示出了在图像合成时候，在图像获取部分18的操作、显示部分24的显示、以及剧情数据之间的关系。在图7中，横轴表示时间，其从左至右前进。
首先，用户指示图像获取设备10开始剧情图像的重放(步骤S1)。开始剧情图像重放的指令被输入到合成重放控制部分22。合成重放控制部分22控制合成重放部分20(步骤S2)，其允许合成重放部分20重放剧情图像。也就是说，合成重放部分20从实体数据存储部分40中读取剧情信息14，并且基于剧情信息14重放剧情图像(步骤S3)。实体数据存储部分40可以位于任何地方，而且由图6中的虚线所示。这里依据图2所示的剧情数据重放剧情图像。也就是说，合成区域出现在剧情图像中的时间段是从时间T5到时间T6。如图7所示，从时间T0到时间T5，剧情数据不包括合成信息并且仅仅重放剧情图像。顺便提及，从时间t＝0到时间t＝T7，重放媒体A和媒体B。也就是说，媒体A的开始时间T1和媒体B的开始时间T3是时间t＝0，而且媒体A的结束时间T2和媒体B的结束时间T4是时间t＝T7。
合成重放控制部分22在基于从剧情存储部分12读取的合成信息16管理合成区域的出现定时的同时，借助于合成重放部分20重放剧情图像。在合成区域的出现定时(时间T5)，合成重放控制部分22指示合成重放部分20以导致剧情图像的重放暂停(步骤S4)。合成重放控制部分22进一步指示图像获取条件控制部分28以预览模式(在屏幕上显示获取图像但不记录它的模式)进行拍摄。依据来自合成重放控制部分22的指令，图像获取条件控制部分28控制图像获取部分18并且以预览模式开始拍摄(步骤S4)。
在合成信息16包括有关在这时候的图像获取条件的信息的情况下，图像获取条件控制部分28基于该图像获取条件控制图像获取部分18。这允许获得匹配剧情图像的获取图像。例如，在剧情图像处于棕褐色调而且如果剧情图像的创建者认为要合成的图像同样处于棕褐色调是所期望的情况下，使合成信息16包括其处于棕褐色调的图像获取条件。图像获取条件控制部分28在包括在合成信息16中的图像获取条件下控制图像获取部分18，并且获得处于棕褐色调的获取图像。
由图像获取部分18获取的图像被发给合成重放部分20，其合成获取图像和剧情图像(步骤S5)。具体地说，作为静止图像在显示部分24上显示在时间T5处的剧情图像。获取图像与包括在剧情图像中的合成区域进行合成，以便构造合成的图像。这个合成图像是合成图像预览。如图7所示，导致剧情图像的重放在时间T5暂停，并且在显示部分24上显示合成图像预览。
图8A和8B示出了合成图像预览的示例。已经停止了剧情图像的重放，并且显示静止图像。在合成区域中显示由图像获取部分18所获得的获取图像。如果图像获取设备10被移动，要由图像获取部分18获得的图像发生改变，使得要与合成区域合成的图像改变，如图8A和8B所示。
在观看合成图像预览的同时，用户调整图像获取设备10的位置、方向、变焦比、亮度等，以便所期望的图像位于合成区域中。例如，在图8A和8B所示的示例中的剧情图像是在守门员抓住球那个时刻的图像。合成区域位于守门员的面部，并且在合成区域中插入由图像获取部分18所获取的图像。图8A中的获取图像是球和腿，其不适于作为要与剧情图像合成的图像。因此移动图像获取设备10以改变要获取的部分，以便获取面部的图像。如图8B所示，这允许获得适合于剧情图像的合成图像。用这种方法，显示合成图像预览允许用户调整要由图像获取部分18获得的图像。
接下来，用户指示图像获取设备解除暂停。例如，当用户判断已经合成了用于合成区域的期望图像时，给出这个指令。解除暂停的指令输入到合成重放控制部分22(步骤S6)。合成重放控制部分22指示合成重放部分20恢复剧情图像的重放，并且指示图像获取条件控制部分28以记录模式进行拍摄(步骤S6)。如可以从图7中看到，暂停指令时间与暂停释放时间t，即T5相同，并且暂停剧情数据中的时间。与此同时，实际时间在流逝。
由图像获取部分18获取的图像被发给合成重放部分20，并且与剧情图像合成(步骤S7)。具体地说，将获取图像插入包括在剧情图像中的合成区域中，以便构成合成图像。顺便提及，在图像获取部分18获取活动图像而且如果例如主题(subject)移动的情况下，则要插入到合成区域中的图像发生改变。
在创建剧情图像中的合成区域以随着剧情图像的进展而移动的情况下，可以构造其中要合成的获取图像的位置移动的合成图像。在剪辑获取图像的一部分以与合成区域合成而且如果剪辑位置固定的情况下，可以在构造合成图像的同时，将同一对象的视界(sight)捕捉为主题而不用移动图像获取设备，在所述合成图像中，该对象的图像插入其中的合成区域在剧情图像中移动。在剪辑获取图像的一部分以与合成区域合成的情况下，可以移动剪辑位置以遵循合成区域的位置。
合成重放部分20然后在显示部分24上显示合成图像。另一方面，如图6中的虚箭头所示，图像获取部分18向图像记录部分26发送获取图像，并且在图像记录部分26中记录它(步骤S7)。在这时候，与正被重放的剧情图像的标识信息一起记录获取图像。获取图像与剧情图像的相关联使得有可能，当重放合成图像时，将获取图像和与该获取图像相关联的剧情图像进行合成，并且在重放拍摄的时候在屏幕上显示合成图像。
可以采用另一种方法用于在图像记录部分26中进行记录。也就是，如图6中的虚箭头所示，不是在图像记录部分26中记录来自图像获取部分18的获取图像，而是记录从合成重放部分20输出的合成图像。
合成重放控制部分22，基于从剧情存储部分12中读取的合成信息16，管理合成区域结束它的出现时的时间。当合成区域从剧情图像中消失的时间，T6到来时，合成重放控制部分22指示图像获取条件控制部分28结束拍摄。结果，图像获取条件控制部分28结束由图像获取部分18进行的拍摄(步骤S8)。当剧情图像重放的结束时间，T7到来时，合成重放控制部分22向合成重放部分20通知剧情图像重放的结束(步骤S9)。
上述是第一实施例的图像获取设备10的操作示例。
在第一实施例的图像获取设备10中，剧情数据具有用于合成获取图像的合成信息16。基于合成信息16，在合成重放控制部分22的控制之下，合成重放部分20将由图像获取部分18所获取的图像与剧情图像进行合成以构造合成图像，并且在显示部分24上显示合成图像。这允许在拍摄期间合成剧情图像和获取图像。因此快速地合成获取图像和剧情图像，以便可以获得合成图像。
另外，因为在获取要合成的图像的同时在显示部分24上显示合成图像，所以用户可以在拍摄的时候观看合成图像并且可以调整要合成的图像。也就是说，在剧情图像的重放期间由图像获取部分18拍摄要被合成的对象允许按照原样合成获取图像。可以容易地合成图像而不需要这样的时间和工作，它们用于在以后重放曾经获取的图像，然后从获取图像中剪辑要合成的对象，然后以准确的定时将该图像与剧情图像的重放进行合成。特别是，在如同例如利用便携式设备的情况那样、其中屏幕或者小键盘具有它的限制的情况下，因为难以重放剧情图像和获取图像两者以及难以编辑它们，所以这样一种方法是有效的，在该方法中，在由图像获取部分18调整获取图像的同时，在显示部分24上显示剧情图像。
同时，在上述实施例中，虽然依据来自用户的重放剧情图像的指令恢复剧情图像的重放，但是可以从导致剧情图像暂停时的时间点过去某一段时间之后恢复重放。可以包含用于判断正被获取的图像的细节的装置，以便当该装置判断所获取图像是要被放置在合成区域中的图像时自动恢复重放。例如，在图8A和8B所示的示例中，如果图像获取设备10具有辨认面部的例程，则当它判断面部图像已经与合成区域合成时，可以恢复剧情图像的重放。
在上述实施例中，其中在剧情图像上覆盖要与合成区域合成的获取图像的配置被描述为图像合成方法。然而，可以采用另一种合成方法。例如，在能够分配透明颜色的透明gif(图形交换格式)格式用于组成剧情图像的图像的情况下，可以通过将获取图像放置在剧情图像的下面来构造合成图像。在这种情况下，在剧情图像的透明颜色部分中显示在下面的获取图像。
合成信息中可以包括有关获取图像的旋转角度的信息。这允许合成角度匹配剧情图像的图像，而不用移动照相机。例如，在剧情图像是倒立的人物而且获取图像要与人物的脸部区域合成的情况下，如果采用其中合成信息包括有关获取图像旋转角度(180度)的信息、并且基于该信息转动和合成获取图像的配置，则可以恰当地构造合成图像，而不用让主题倒立或者利用照相机倒置来进行拍摄。
图9示出了第二实施例的图像获取设备10的配置。第二实施例的图像获取设备10的基本配置与第一实施例的图像获取设备10的基本配置相同，除了前者还包括用于显示有关合成区域的外部形状的信息的合成区域显示部分30之外。合成区域显示部分30具有基于合成信息16、在合成区域出现的时间之前向用户显示有关合成区域外部形状的信息的功能。具体地说，例如，合成区域显示部分30通过把合成区域的外部形状作为框架(frame)覆盖在剧情图像上，来显示它。框架是用于使合成区域的轮廓突出的线，而且这向用户示出合成区域的形状和尺寸。
图10示出了在图像合成的时候，在图像获取部分18的操作、显示部分24的显示、以及剧情数据之间的关系。将参考图10描述由第二实施例的图像获取设备10所进行的图像合成操作。正如图7中的那样，图10中的横轴是时间轴。
首先，用户指示图像获取设备10开始剧情图像的重放。这里依据图2所示的剧情数据重放剧情图像。也就是说，合成区域出现在剧情图像中的时间段是从时间T5到时间T6。从时间t＝0到时间t＝T7重放媒体A和媒体B。如图10所示，剧情数据不包括从时间T0到时间T5的合成信息。向控制合成重放部分20的合成重放控制部分22输入开始重放的指令，以便开始剧情图像的重放。
从开始剧情图像的重放到时间T5，图像获取设备10借助于合成重放部分20读取剧情信息14，以便重放剧情图像。合成重放控制部分22参考合成信息16，在时间T5之前的时间Tp处，向合成区域显示部分30发送有关要在时间T5出现的合成区域的外部形状的信息。合成区域显示部分30通过在当前显示于显示部分24上的剧情图像的屏幕上覆盖合成区域的框架，来显示它。
图11A示出了在时间T5的合成图像示例，而且图11B示出了在屏幕上显示的、有关合成区域外部形状的信息示例。如图11A所示，在时间T5的剧情图像是已经抓住球的守门员的图像，而且圆形合成区域位于守门员的面部。图像获取设备10在出现合成区域的时间T5之前的时间Tp的时间点，在显示部分24上显示有关合成区域的外部形状的信息。也就是说，如图11B所示，设备通过在剧情图像上覆盖合成区域的外部形状来把它显示为框架F。图像获取设备10从时间Tp到时间T5显示有关合成区域外部形状的信息。
在时间T5之后剧情图像的重放和图像合成操作与第一实施例中的图像获取设备10相同。也就是说，在时间T5之后，合成重放控制部分20将剧情图像与由图像获取部分18所获取的图像进行合成以构造合成图像，而且图像获取设备10借助于合成重放部分20在显示部分24上显示合成图像。因为依据剧情数据的合成信息16，不存在时间T6之后出现的合成区域，所以图像获取设备10仅仅借助于合成重放部分20重放剧情图像。
上述是第二实施例的图像获取设备10的操作示例。
在第二实施例的图像获取设备10中，因为在合成区域出现及图像合成开始之前在剧情图像上显示合成区域的外部形状，所以用户可以基于有关合成区域外部形状的信息，预知要与合成区域进行合成的图像。这允许用户准备获取要被合成的图像。
另外，如同利用第一实施例的图像获取设备10的情况，第二实施例的图像获取设备10也可以在拍摄的同时合成获取图像和剧情图像，而且可以利用容易的操作快速地合成图像。
在上述第二实施例中，如图11B所示，合成重放控制部分22还向合成区域显示部分30发送有关在出现合成区域时显示合成区域的位置的信息，以便在剧情图像中的该位置处显示示出合成区域的外部形状的框架F。像这样事先显示位置信息对于这样的配置是有效的，在该配置中，使在合成开始时间的剧情图像中的合成区域的位置与获取图像中要被剪辑部分的位置彼此符合。在另一个配置中，可以在显示部分24上的任何地方显示有关合成区域的外部形状的信息。在图像获取设备10除了用于重放和显示剧情图像的屏幕之外还具有子屏幕的情况下，可以在该子屏幕上显示有关合成区域外部形状的信息。
在上述第二实施例中，利用框架F显示有关合成区域外部形状的信息。然而，有关外部形状的信息可以用除了框架F之外的显示表示。例如，在合成区域内的剧情图像可以显示得比其余亮些，而不用显示框架。这也允许用户知道合成区域的轮廓。
在上述第二实施例中，由合成区域显示部分30显示的有关外部形状的信息用与实际出现的合成区域的形状和尺寸相同的框架显示。然而，可以由合成区域显示部分30仅仅显示有关合成区域形状或者尺寸的信息。
在上述第二实施例中，显示了有关合成区域外部形状的信息。除此之外，可以显示当前正由图像获取部分18捕捉的获取图像。如上所述显示正由图像获取部分18捕捉的获取图像允许在图像合成之前调整图像获取部分18的位置、方向、变焦比等，以便可以获取适当的图像。
同时，在一个显示部分24上一起显示当前被重放的剧情图像以及由图像获取部分18获取的图像的方法包括，例如其中使获取图像通过透明处理并且显示在剧情图像上的方法。显示在显示部分24上的获取图像可以是由图像获取部分18所获取的图像的整体，或者还可以仅仅是要被合成的获取图像的一部分。在前者情况下，例如，让整个获取图像通过透明处理并且叠加和显示在整个剧情图像上。在后者情况下，从当前正被获取的获取图像中剪辑要从获取图像中剪辑的获取图像部分，让其通过透明处理，并且在合成区域的开始时间处出现合成区域的合成区域位置处，让它叠加和显示在剧情图像上。这允许用户知道实际上要合成的获取图像，以及即使不显示框架也允许用户知道合成区域的外部形状和位置。
顺便提及，与第一实施例相比，在第二实施例中，用户不能在时间T5之前观看要与合成区域一起显示的时间-T5剧情图像。因此，即使在时间T5之前如上所述显示有关合成区域外部形状的信息，也有用户不能理解应该向那里插入什么以便与剧情图像匹配的可能性。可以从时间Tp到时间T5显示有关合成区域的属性(例如，“面部”等)的信息(然而用户可以自由地选择主题而不用理睬这个属性)。
图12示出了本发明第三实施例的图像获取设备10的配置。第三实施例的图像获取设备10的基本配置与第二实施例的图像获取设备10的基本配置相同，除了前者还包括用于通知合成区域的出现定时已经接近的定时通知部分32之外。
定时通知部分32基于包括在合成信息16中、有关出现合成区域时的时间以及有关从剧情重放的开始所经过的时间的信息，检测合成区域的出现时间的接近。例如，可以采用其中通过发出声音来通知合成区域的出现时间正在接近的配置，用于定时通知部分32。可以通过随着合成区域的出现时间的接近使声音更高或者使声音间隔更短来通知合成区域的出现时间的接近。利用图10中的示例描述这个，例如，定时通知部分32从显示合成区域信息时的时间Tp开始，向用户通知合成区域的出现时间正在接近。
这允许用户知道合成区域的出现时间正在接近，以便用户可以准备获取要被合成的图像。
定时通知部分32可以通过除了声音之外的方法来通知合成区域的出现时间正在接近。例如，可以采用其中通过放慢剧情图像重放速度来通知出现定时接近的配置，或者其中在屏幕上显示倒计数的配置。另外，还在合成区域的出现时间之后，可以不断地通知刚刚在出现之间之后。这可以鼓励用户获取要被合成的图像。在这种情况下，可以采用其中在出现时间之后改变声音间距或者音量的配置。
图13示出了本发明的第四实施例中的图像获取设备10的配置。依据第四实施例的图像获取设备10的基本配置与第二实施例的图像获取设备10的基本配置相同，除了前者包括用于输入开始和结束图像合成的指令的合成定时输入部分34之外。从合成定时输入部分34输入的定时信息被发给合成重放控制部分22。合成重放控制部分22基于来自合成定时输入部分34的定时信息，控制合成获取图像和剧情图像的开始或者结束的定时。
这个配置，其包含合成定时输入部分34并且允许输入开始和结束图像合成的指令，允许用户选择图像合成的定时。例如，用户可以在对获取要被合成的图像的准备已经就绪时的时间点开始合成，而且可以在当用户已经变得不能获取要被合成的图像时结束合成。
在第四实施例的图像获取设备10中，因为用户可以确定开始和结束图像合成的定时，所以确定的定时有时不同于基于出现合成区域的合成信息的定时。将在下面对此进行描述。
图14示出了在图像合成的时候，在图像获取部分18的操作、显示部分24的显示、以及剧情数据之间的关系。将参考图14描述由该实施例的图像获取设备10所进行的图像合成操作。正如图7中的那样，图14中的横轴是时间轴。
首先，用户指示图像获取设备10开始剧情图像的重放。这里依据图2所示的剧情数据重放剧情图像。也就是说，合成区域出现在剧情图像中的时间段是从时间T5到时间T6。从时间t＝0到时间t＝T7重放媒体A和媒体B。如图14所示，从时间T0到时间T5，剧情数据不包括合成信息并且重放剧情图像。也就是说，向控制合成重放部分20的合成重放控制部分22输入开始重放的指令，以便开始剧情图像的重放。
当时间T5到来时，在图像获取设备10的屏幕上重放的剧情图像中显示合成区域，而且在该合成区域中显示由图像获取部分18正在获取的图像。然而，在这个时间点处，没有记录正显示于显示部分24上的图像，这是因为还没有向合成定时输入部分34输入合成开始指令。
如果在时间Ts输入了合成开始指令，则图像获取设备10在图像记录部分16中记录在合成区域中显示的获取图像。图像获取设备10还通过在从合成区域出现时间T5到合成开始指令时间Ts的时间段、把在时间Ts的获取图像(静止图像)与合成区域进行合成，来构造和记录合成的图像。这允许用时间Ts处的获取图像来补充在输入合成开始指令之前的合成区域中的图像。
上述是在合成开始指令的输入定时晚于合成区域出现定时的情况下，补充合成区域的一种方法。在其中在记录的时候进行补充的情况下，在图像记录部分26和合成重放部分20之间提供缓冲器，在该缓冲器中积累从时间T5到Ts的剧情图像，并且合成在时间Ts首先输入到缓冲器的获取图像，并且在图像记录部分26中记录然后获得的合成图像。接下来，将要描述用于其中当仍然存在合成区域时输入合成结束指令的情况的补充方法。
图15示出了在图像合成的时候，在图像获取部分18的操作、显示部分24的显示、以及剧情数据之间的关系。将参考图15描述由该实施例的图像获取设备10所进行的图像合成操作。正如图7中的那样，图15中的横轴是时间轴。
首先，用户指示图像获取设备开始剧情图像的重放。这里依据图2所示的剧情数据重放剧情图像。也就是说，合成区域出现在剧情图像中的时间段是从时间T5到时间T6。从时间t＝0到时间t＝T7重放媒体A和媒体B。如图14所示，从时间T0到时间T5，剧情数据不包括合成信息并且重放剧情图像。也就是说，向控制合成重放部分20的合成重放控制部分22输入开始重放的指令，以便开始剧情图像的重放。
当时间T5到来时，在图像获取设备10的屏幕上重放的剧情图像中显示合成区域，而且在该合成区域中显示由图像获取部分18所获取的图像。在时间T5之后，图像获取设备10在图像记录部分26中记录正在屏幕上合成的图像。
如果在作为合成区域的出现时间段终点的时间T6之前的时间Te处输入合成结束指令，则图像获取设备10结束由图像获取部分18所获取的图像的记录。通过在从合成结束指令时间Te到合成区域出现结束时间T6的时间段、合成在时间Te处的获取图像(静止图像)与合成区域，来构造和记录合成图像。这允许在从合成结束指令的输入到合成区域的显示消失时的时间T6的时间段，用在时间Te处的获取图像来补充合成区域中的图像。
用这种方法，在合成开始指令或者合成结束指令的输入定时偏离合成区域的出现时间段的情况下，在该时间段补充在合成区域中的图像允许避免这样的情况，其中没有获取图像与合成区域进行合成。
在上述实施例中，使用在合成开始或者结束时间点处获取的图像补充合成区域中的图像。然而，可以通过另一种方法补充合成区域中的图像。可以这样延伸和记录获取图像以便在时间长度上等于合成区域的出现时间。例如，在合成区域的出现时间是十秒而获取图像的重放时间是五秒的情况下，可以将获取图像的重放速度减半，以便图像的长度匹配合成区域的出现时间。
在获取图像和剧情图像被分别记录的情况下，如上所述在重放的时候完成允许避免没有获取图像与合成区域合成的情况，以便可以恰当地重放合成图像。
以上所述是当合成开始指令或者合成结束指令偏离合成区域的出现时间段时，依据在合成信息中描述的出现时间段进行合成的示例。然而，可以依据合成开始指令或者合成结束指令进行合成。在这种情况下，在合成开始指令的输入之前或者在合成结束指令的输入之后、并且在合成区域的出现时间段内的时间段，应当已经由合成区域隐藏的剧情图像所期望地按照原样显示，而不是以空白来显示合成区域。
图16示出了第五实施例的图像获取设备10的配置。第五实施例的图像获取设备10的基本配置与第一实施例的图像获取设备10的基本配置相同，除了前者将剧情图像与静止图像进行合成之外。第五实施例的图像获取设备10包含快门36。快门36与图像获取部分18相连。当释放快门36时，图像获取部分18获取在释放定时的静止图像作为要记录的图像。
图17示出了在图像合成的时候，在图像获取部分18的操作、显示部分24的显示、以及剧情数据之间的关系。将参考图17描述由该实施例的图像获取设备10所进行的图像合成操作。正如图7中的那样，图17中的横轴是时间轴。
首先，用户指示图像获取设备10开始剧情图像的重放。这里依据图2所示的剧情数据重放剧情图像。也就是说，合成区域出现在剧情图像中的时间段是从时间T5到时间T6。从时间t＝0到时间t＝T7重放媒体A和媒体B。如图14所示，从时间T0到时间T5，剧情数据不包括合成信息并且重放剧情图像。也就是说，向控制合成重放部分20的合成重放控制部分22输入开始重放的指令，以便开始剧情图像的重放。
图像获取设备10使剧情图像的重放在时间T5暂停。在这时候，在屏幕上显示在时间T5的剧情图像。剧情图像包括合成区域。合成重放控制部分22合成在图像获取部分18的视野中的图像与被导致暂停的剧情图像，以便构造合成图像。合成重放部分20基于合成重放控制部分22的控制显示合成的图像。这个合成的图像是合成图像预览。
基于合成图像预览调整图像获取设备10的位置、方向等，并且获取要合成的静止图像。当在合成区域中显示期望的图像时释放快门36，以便获得静止图像。在获得了静止图像之后，恢复剧情图像的重放。至于剧情图像重放的恢复，可以当用户释放快门36时恢复重放，或者可以在从导致剧情图像暂停时的时间点过去某一时间段之后恢复重放。
当恢复剧情图像的重放时，合成重放控制部分22将剧情图像与由图像获取部分18获取的静止图像进行合成以构造合成的图像。具体地说，在合成重放控制部分22的控制下，合成重放部分20向获得的静止图像应用诸如剪辑、缩放等处理，并且将处理的图像与剧情图像中的合成区域进行合成。图像获取设备10然后借助于合成重放部分20在显示部分24上显示合成的图像。在这种情况下，与获取活动图像的情况相反，在插入到合成区域中的图像保持为静止图像的同时剧情图像前进。然而，如果合成信息的位置信息是时间的函数，则如同利用活动图像的情况那样，随着剧情图像的前进，移动相同静止图像插入其中的合成图像。合成重放控制部分22控制合成重放部分20，以在剧情图像中存在合成区域期间，将获取图像与剧情图像进行合成。也就是说，合成重放部分20从时间T5到时间T6将获取图像与剧情图像进行合成。
依据剧情数据的合成信息16，在时间T6之后不出现合成区域。图像获取设备10借助于合成重放部分20重放剧情图像。
图像获取设备10在正在重放剧情图像时，在图像记录部分26中记录图像。至于从时间T5到时间T6的时间段，通过记录来自合成重放部分20的输出的方法或者通过记录获取的静止图像的方法，记录合成的图像。同时，不记录合成图像预览。
上述是第五实施例的图像获取设备10的操作。虽然这里已经基于第一实施例的操作示例描述了静止图像的情况，当然有可能向第二实施例的操作示例、第三实施例的定时通知、或者第四实施例的补充方法应用静止图像的合成。
第五实施例的图像获取设备10可以快速地将获取的静止图像与剧情图像进行合成以便获得合成图像。
另外，因为在正在获取要合成的图像的同时在显示部分24上显示合成图像，所以用户可以在拍摄的时候观看合成图像而且可以调整要合成的图像。也就是说，在剧情图像的重放期间由图像获取部分18拍摄要被合成的对象允许按照原样合成获取的图像。用这种方法，可以容易地合成图像，而不需要下面这样的时间和工作，即，在以后重放曾经获取的图像，然后从获取图像中剪辑要合成的对象，并且以准确的定时将该图像与剧情图像的重放进行合成。特别是，在如同例如利用便携式设备的情况那样、其中屏幕或者小键盘具有它的限制的情况下，因为难以在显示获取的静止图像的同时重放剧情图像以及难以编辑它们，所以这样一种方法是有效的，其中在由图像获取部分18调整获取图像的同时在显示部分24上显示剧情图像。
在上述第五实施例的图像获取设备10中，可以多次获取静止图像。
图18说明了在多次获取静止图像的情况下的图像合成。正如图7中的那样，图18中的横轴是时间轴。如图18所示，在第一次拍摄之后，将第一次拍摄所获取的静止图像与剧情图像进行合成，并且显示该合成图像直到第二次拍摄为止。然后，在第二次拍摄之后，将第二次拍摄所获取的静止图像与剧情图像进行合成，并且显示该合成图像直到第三次拍摄为止。然后，在第三次拍摄之后，将第三次拍摄所获取的静止图像与剧情图像进行合成，并且显示该合成图像，直到合成区域的出现时间段结束为止。这允许正如幻灯片放映那样，在剧情图像的合成区域中显示多个静止图像。
虽然在第n次拍摄之后，将在第n次拍摄所获取的静止图像与剧情图像进行合成，并且在图像记录部分26中记录该合成图像直到第n+1次拍摄为止，但是可以在显示部分24上显示通过将图像获取部分18的视野中的预览图像与剧情图像进行合成而获得的图像。这允许用户在参考显示的预览图像准备下一次(第n+1次)拍摄的同时，继续剧情图像的重放。
同时，在静止图像被获取多次的情况下，不总是必须使用所有的静止图像。例如，可以允许用户从多个静止图像中选择用于合成的图像，或者可以通过使用最近获取的静止图像构造和记录合成图像。在要合成最近获取的静止图像的情况下，在当获取最佳拍摄时结束拍摄允许用户用最佳拍摄的静止图像构造合成图像。参见图18，例如，在用户在合成场景结束之后从缓冲器中积累的获取1到3的静止图像中选择获取2的静止图像的情况下，在选择时间T6或者在剧情图像的重放结束时间T7处，将从时间T5到时间T6的剧情图像与获取2的静止图像进行合成，然后在图像记录部分26中记录然后获得的合成图像。或者，在拍摄的时候，可以与剧情图像分离地(但是与剧情图像的标识信息相关联)在图像记录部分26中记录获取1到3的静止图像，并且在重放的时候，由用户从它们中选出的静止图像可以和剧情图像在被重放的同时进行合成。
图19示出了本发明第六实施例的图像获取设备10。第六实施例的图像获取设备10的基本配置与第三实施例的图像获取设备10的基本配置相同，除了前者包含用于剪辑获取图像的一部分的剪辑部分50之外。
剪辑部分50具有将由图像获取部分18所获取的获取图像的一部分剪辑为局部图像的功能。剪辑部分50依据存储在剧情存储部分12中的合成信息16剪辑局部图像。
图20示出了存储在剧情存储部分12中的剧情数据的示例。如同上述实施例的情况那样，剧情数据包括剧情信息14和合成信息16。合成信息16包括定义合成区域的信息，以及用于从获取图像中剪辑局部图像的剪辑信息。在图20所示的示例中描述的是一些信息，即指定从获取图像中进行剪辑的位置的“剪辑位置”，定义剪辑形状的“剪辑形状”，以及指示局部图像中的改变的“剪辑改变”。
接下来将描述第六实施例的图像获取设备10的操作。第六实施例的图像获取设备10的基本操作与上述描述实施例的图像获取设备10的基本操作相同，除了前者将由剪辑部分50从获取图像中剪辑的局部图像与剧情图像进行合成之外。现在，将描述第六实施例的图像获取设备10的操作。
首先，合成重放控制部分22从剧情存储部分12中读取合成信息16，并且将包括在合成信息16中的剪辑信息传递到剪辑部分50。剪辑部分50从图像获取部分18接收获取图像，并且从接收的获取图像中剪辑局部图像。具体地说，它从获取图像中剪辑这样一个区域作为局部图像，在从合成重放控制部分22传递的剪辑信息中指定了该区域的位置和形状。
图21A示出了获取图像的示例，而且图21B示出了局部图像的示例。在如图20所示的示例那样、剪辑形状被描述为“椭圆形”的情况之下，从图21A所示的获取图像中剪辑类似于图21B所示的椭圆形局部图像P。
剪辑部分50将从获取图像中剪辑的局部图像传送到合成重放部分20。合成重放控制部分22从剧情存储部分12中读取剧情信息14，并且传送读取的剧情信息14到合成重放部分20。合成重放部分20将从剪辑部分50传送的局部图像与剧情图像中的合成区域进行合成。合成重放部分20然后向显示部分24以及图像记录部分26发送合成的图像。显示部分24显示发自合成重放部分20的合成图像。图像记录部分26记录发自合成重放部分20的合成图像。
上述是本发明第六实施例的图像获取设备10。
因为第六实施例的图像获取设备10包括剪辑部分50，而且由剪辑部分50从获取图像中剪辑的局部图像与剧情图像进行合成，所以获取图像的一部分可以与剧情图像进行合成。
另外，因为剪辑部分50依据在合成信息16中描述的剪辑信息剪辑局部图像，所以可以由合成信息定义哪个部分要被剪辑为局部图像。
在上述第六实施例中，剪辑信息指定要被剪辑的局部图像的位置和形状。然而，相反可以指定局部图像。
图22示出了描述剪辑信息的合成信息的另一个示例。如图22所示，要被剪辑的局部图像可以定义为链接到合成区域的区域。
图23A示出了合成区域的位置和形状中的改变，而且图23B示出了从链接到合成区域的获取图像(参见图21A)中剪辑的局部图像。在要被剪辑的局部图像被定义为链接到合成区域的情况下，如果如图23A所示，合成区域G以从矩形到圆形的形状改变进行移动，则利用到该改变的链接、要从图21A所示的获取图像中剪辑的局部图像，如图23B所示的局部图像P那样进行改变。在这个配置中，要从获取图像中剪辑的局部图像链接到合成区域，以便可以获得看起来好象是通过合成区域观看该获取图像的合成图像。这可以提高要合成内容的表现力。
在上述第六实施例中描述的是要记录到图像记录部分26中的数据是由合成重放部分20合成的合成图像的示例。然而，可以在图像记录部分26中记录获取图像。在这种情况下，剪辑部分50一方面向合成重放部分20发送从获取图像剪辑的局部图像，而且另一方面向图像记录部分26发送该获取图像。这允许由合成重放部分20合成局部图像和剧情图像，在显示部分24上显示合成的图像，以及在图像记录部分26中记录获取图像。在这时候，如图24所示，在剧情数据的合成信息中记录要被合成的获取图像的i)标识符和ii)存储位置。当使用图24所示的合成信息16重放合成图像时，从图像记录部分26读取由记录在剧情数据中的i)标识符指示的获取图像，并且在重放的同时，由合成重放部分20使用合成信息16将获取的图像与剧情图像进行合成，以便可以再现合成的图像。
图25示出了第七实施例的图像获取设备10的配置。第七实施例的图像获取设备10的基本配置与第六实施例的图像获取设备10的基本配置相同。但是，不同于第六实施例的图像获取设备10，在第七实施例的图像获取设备10中，通过指定包括在获取图像中的对象类型来定义要从获取图像中剪辑的局部图像。由此，第七实施例的图像获取设备10还包括图像识别部分52。
图26示出了第七实施例的剧情数据的示例。如同上述实施例的情况那样，剧情数据包括剧情信息14和合成信息16。合成信息16包括指定合成区域的信息，以及用于剪辑局部图像的剪辑信息。剪辑信息通过指定包括在局部图像中的对象来指定局部图像。下面将有关指定局部图像的对象的信息称为“剪辑对象”。在图26所示的示例中描述的是要从获取图像中剪辑包括剪辑对象“面部”作为局部图像的部分。
回到图25，图像识别部分52具有在由图像获取部分18所获取的获取图像上执行图像识别、以区分显示在该获取图像中的剪辑对象的功能。图像识别部分52向剪辑部分50传送有关其中显示剪辑对象的区域的信息。
接下来将描述第七实施例的图像获取设备10的操作。第七实施例的图像获取设备10的基本操作与第六实施例的图像获取设备10的基本操作相同，除了前者通过图像识别部分52确定要由剪辑部分50剪辑的区域之外。
首先，图像获取设备10的合成重放控制部分22从存储在剧情存储部分12中的剧情数据中读取合成信息16，并且获得有关指定局部图像的剪辑对象的信息。合成重放控制部分22然后将有关剪辑对象的信息传向图像识别部分52。
图像识别部分52，在由图像获取部分18获取的获取图像中，区分出其中显示了剪辑对象的区域，并且向剪辑部分50传送有关该区域的信息。剪辑部分50剪辑由从图像识别部分52传递的信息指示的区域，作为局部图像。
图27A示出了获取图像的示例，而且图27B示出了局部图像的示例。在剪辑对象由合成信息16指定为“面部”的情况下，区分出在图27A所示的获取图像中显示“面部”的区域，并且如图27B所示，将包括“面部”的区域剪辑为局部图像P。在这个示例中，包括“面部”的圆形区域被剪辑为局部图像。然而，用于剪辑包括剪辑对象的图像的区域的形状不局限于圆。例如，可以剪辑矩形区域，或者可以剪辑匹配剪辑对象的形状的区域。
剪辑部分50然后将从获取图像中剪辑的局部图像传送到合成重放部分20。合成重放部分20将从剪辑部分50传送的局部图像与剧情图像中的合成区域进行合成。合成重放部分20然后向显示部分24以及图像记录部分26发送合成的图像。显示部分24显示发自合成重放部分20的合成图像。图像记录部分26记录发自合成重放部分20的合成图像。
因为第七实施例的图像获取设备10通过指定要包括在局部图像中的剪辑对象来指定局部图像，所以可以容易地指定要被剪辑的局部图像。另外，图像获取设备10的图像识别部分52区分出其中显示了剪辑对象的区域，以便可以剪辑其中包括了剪辑对象的区域。
此外，如同第六实施例的图像获取设备10的情况那样，因为第七实施例的图像获取设备10将由剪辑部分50剪辑的局部图像与剧情图像进行合成，所以获取图像的一部分可以与剧情图像进行合成。
在第七实施例的上述图像获取设备10中，描述了其中合成剧情图像与从获取图像中剪辑的局部图像，并且在图像记录部分26中记录合成的图像的配置。然而，如第六实施例所述，可以在图像记录部分26中记录获取图像本身。
接下来将描述本发明第八实施例的图像获取设备10。第八实施例的图像获取设备10的基本配置与第七实施例的图像获取设备10的基本配置相同(参见图25)，除了存储在剧情存储部分12中的合成信息16的内容以外。另外，图像识别部分52具有从获取图像中区分出对象的功能以及从剧情图像中区分出对象的功能。
图28示出了存储在第八实施例的图像获取设备10的剧情存储部分12中的剧情数据的示例。剧情数据的合成信息16通过指定要包括在合成区域中的对象来定义合成区域。在这个示例中，在从t＝Xb到t＝Yb的时间段，在剧情图像中，其中显示“球”的区域被指定为合成区域。如同第七实施例的情况那样，同样在合成信息16中，由要被包括在局部图像中的剪辑对象“球”来指定局部图像。
接下来将描述第八实施例的图像获取设备10的操作。
首先，图像获取设备10的合成重放控制部分22从存储在剧情存储部分12中的剧情数据中读取剧情信息14和合成信息16，并且获得有关对象的信息以指定合成区域。合成重放控制部分22然后将剧情信息14传送到合成重放部分20。合成重放部分20连同有关指定合成区域的对象的信息一起，将剧情图像传送到图像识别部分52。图像识别部分52在剧情图像中区分出其中显示了对象的图像的区域，并且将有关该区域的信息，作为合成区域信息传送到合成重放控制部分22。例如，图像识别部分52将有关合成区域的位置和形状的信息传送到合成重放控制部分22。合成重放控制部分22然后将合成区域信息传送到合成重放部分20。
图29A示出了剧情图像的示例，而且图29B示出了剧情图像中的合成区域。在合成信息16指定合成区域包括对象“球”的情况下，在图29A所示的剧情图像中区分出其中显示“球”的区域，而且包括“球”的区域变为合成区域G，如图29B所示。
基于从合成重放控制部分22传送的合成区域信息，合成重放部分20将从剪辑部分50传送的局部图像和剧情图像进行合成。由剪辑部分50进行的、用于把获取图像的一部分剪辑为局部图像的处理与第七实施例中的图像获取设备10的那个处理相同。合成重放部分20然后向显示部分24以及图像记录部分26发送合成的图像。显示部分24显示发自合成重放部分20的合成图像。图像记录部分26记录发自合成重放部分20的合成图像。
在第八实施例的图像获取设备10中，可以通过指定要包括在合成区域中的对象容易地指定合成区域。
上述第八实施例中描述的是通过对象定义要从获取图像中剪辑的局部图像的示例。然而，如在第六实施例中描述的那样，可以由剪辑区域的位置和形状定义剪辑信息。并不总是需要剪辑信息，所以合成信息16不需要包括剪辑信息。在这种情况下，由图像获取部分18获取的获取图像的整体与由对象指定的合成区域进行合成。
接下来将描述本发明第九实施例的图像获取设备10。第九实施例的图像获取设备10的基本配置与第一实施例的图像获取设备10的基本配置相同，除了合成重放控制部分22的功能之外。
图30示出了第九实施例的合成重放控制部分22的配置。如图30所示，合成重放控制部分22具有计划(schedule)创建部分54、计划执行部分56、以及合成重放指令部分58。计划创建部分54具有基于从剧情存储部分12中读取的剧情信息14，创建数据计划列表的功能。计划执行部分56具有从由计划创建部分54创建的计划列表中提取当前时间的计划的功能。合成重放指令部分58具有基于由计划执行部分56提取的计划内容，指示合成重放部分20显示合成或者进行重放的功能。
图31A示出了剧情数据的示例，而且图31B示出了从图31A所示的剧情数据中创建的计划列表。在第九实施例中，要创建描述导致剧情图像的重放在合成开始时间(在这个示例中t＝10s)暂停的处理的计划(以下称为PAUSE(暂停)计划)。在其中存在有在合成开始时间处开始重放的媒体(以下称为同时重放媒体)的情况下，将PAUSE计划添加到计划列表，以便以预期的次序、在执行了同时重放媒体的重放之后执行该PAUSE计划。
因为这允许在执行同时重放媒体的重放之后导致剧情图像暂停，所以可以以暂停状态显示包括该同时重放媒体的剧情图像。结果，用户可以在观看显示图像的同时获取要与剧情图像合成的适当图像。
接下来将描述本发明第十实施例的图像获取设备10。第十实施例的图像获取设备10的基本配置与第一实施例的图像获取设备10的基本配置相同，除了合成重放控制部分22的功能之外。
图32示出了第十实施例的合成重放控制部分22的配置。第十实施例的合成重放控制部分22，除第九实施例的合成重放控制部分22的配置之外，还具有状态监控部分60和计划校正部分62。状态监控部分60具有监控CPU利用率、存储器操作条件、以及设备利用率的功能。计划校正部分62具有基于由状态监控部分60所获得的每个状态，设置媒体重放的准备(setup)时间的功能。
图33A示出了剧情数据的示例，而且图33B示出了从图33A所示的剧情数据中创建的计划列表。在第十实施例中，基于由状态监控部分60的监控所获得的状态，计划校正部分62查找准备媒体的重放或者准备设备启动所需要的时间，并且基于查找的时间确定准备时间。在图33B所示的示例中，在计划列表中描述了媒体B的重放开始时间是时间t＝10s，但是从时间t＝8.5s开始它的设置，这是因为需要时间来准备重放。还在计划列表中描述了图像获取部分18的图像获取开始时间是t＝10s，但是它的准备从时间t＝7.5s开始，这是因为需要时间来准备图像获取部分18的启动。
用这种方法，计划校正部分62设置准备时间，以便在剧情数据中定义的媒体重放开始时间或者设备启动开始时间处，可以流畅地开始这种处理。
接下来将描述本发明第十一实施例的图像获取设备10。第十一实施例的图像获取设备10的基本配置与第一实施例的图像获取设备10的基本配置相同，除了合成重放控制部分22的功能之外。
图34示出了第十一实施例的合成重放控制部分22的配置。第十一实施例的合成重放控制部分22，除第九实施例的合成重放控制部分22的配置之外，还具有合成图像信息创建部分64和合成图像创建部分66。合成图像信息创建部分64具有参考剧情数据查找合成开始时间，并且在合成开始时间向合成图像创建部分66传送用于创建合成图像，即剧情图像的静止图像的信息的功能。合成图像创建部分66具有基于从合成图像信息创建部分64传送的合成图像信息创建合成图像的功能。合成图像创建部分66在剧情存储部分12中存储创建的合成图像。
计划创建部分54创建计划列表，其描述了在合成图像的显示之后在剧情图像中的暂停。计划创建部分54还在计划列表中描述了将恢复被导致暂停的剧情图像重放的点调整到合成开始时间的处理。
图35A示出了剧情数据的示例，而且图35B示出了从图35A所示的剧情数据中创建的计划列表。如图35B中的“prevImg”所示，它在计划列表中描述了在合成开始时间处(在这个示例中是时间t＝10s)，重放要开始重放的媒体(媒体B)，启动图像获取部分18，然后显示由合成图像创建部分66创建的合成图像，并且在那之后导致剧情图像暂停。这允许在显示之前在剧情存储部分12中存储合成图像，以便可以流畅地显示合成图像。还计划列表中描述的是，如图35B中的“SEEK(搜索)”所示，把恢复重放的点从暂停调整到合成开始时间的处理(以下称为PAUSE(暂停)点校正处理)。SEEK处理是将重放点移到指定时间的处理，而且SEEK处理将重放点移到完成PAUSE处理时的时间。这允许进行PAUSE点校正，其中恢复实际上由PAUSE处理导致暂停的重放所需要的时间滞后。不在屏幕上显示这个PAUSE点校正处理，而是在屏幕上显示合成图像和显示在合成区域中的获取图像的所合成图像。用这种方法，即使被导致暂停的剧情图像的重放需要时间，也可以在合成开始时间恢复剧情图像的重放。
同时，在这个实施例中描述的SEEK处理，还有在其它实施例中描述的SEEK处理，可以应用于在暂停之后恢复剧情图像的时候。例如，第九或者第十实施例中的计划创建部分54可以创建这样的计划列表，其描述了把恢复剧情图像的重放的点调整到合成开始时间的处理。
到目前为止，已经参考实施例详细描述了本发明的图像获取设备10和图像获取方法。然而，本发明不局限于上述实施例。
图像获取设备10可以具有多个屏幕。图36到38示出了具有两个屏幕的图像获取设备10的每个屏幕的显示示例。例如，如图36所示，一个屏幕(在左边)可以重放和显示剧情图像，而且另一个屏幕(在右边)可以显示图像获取部分18正在捕捉的获取图像。用这种方法，可以掌握正由图像获取部分18获取什么，而且可以恰当地捕捉要被插入到合成区域中的图像。顺便提及，在这个示例中，以与第二实施例中所描述的相同的方法，在剧情图像的屏幕显示中显示示出了合成区域的外部形状的框架F。
另外，如图37所示，一个屏幕(左边)可以重放和显示剧情图像，而且另一个屏幕(右边)可以显示合成图像预览，其是在合成区域出现时间处的剧情图像和当前的获取图像的合成。用这种方法，即使不导致剧情图像的重放暂停，也可以在合成区域出现之前检查合成图像预览，而在第一实施例中则不得不导致剧情图像的重放暂停。
此外，当正合成剧情图像和获取图像时，如图38所示，一个屏幕(在左边)可以显示合成的图像，而且另一个屏幕(在右边)可以显示图像获取部分18获取的获取图像。这允许即使当获取图像正与剧情图像合成时，也可以观看整个获取图像，以便可以恰当地获得获取图像。
此外，在图像获取设备10具有两个屏幕的情况下，可以在主题侧提供一个屏幕。在主题侧屏幕上显示合成图像或者合成图像预览，以允许主题人观看主题他自己/她自己与剧情图像合成的获取图像，以便主题他自己/她自己可以掌握将要创建什么合成图像。这允许例如主题人判断他/她将怎样摆姿势。
在上述实施例中，描述了这样的图像获取设备10，其中通过观看显示在屏幕上的获取图像来检查要由图像获取设备10获取的图像，然后调整图像获取设备10的位置、方向、变焦比等。然而，可以采用这样的配置，其允许通过另一种方法来检查要由图像获取设备10获取的图像。例如，可以向图像获取设备10提供照明部分，以便照明在图像获取设备10的取景器中捕捉的区域。用这种方法，可以在显示部分24上观看剧情图像的同时，通过将光照到主题上来检查图像获取区域。
在上述实施例中描述了本发明的图像获取设备和图像获取方法。然而，组成上述图像获取设备的程序或者执行上述图像获取方法的程序包括在本发明的范围之内。
图39示出了本发明的程序的示例。如图39所示，程序70具有剧情数据管理模块72、读取模块74、图像获取控制模块76、合成重放模块78、显示模块80、以及示出模块82。其中要安装程序70的计算机是诸如数字照相机的计算机，其具有图像获取部分。
剧情数据管理模块72是构造计算机管理剧情数据的模块。执行剧情数据管理模块72允许计算机具有类似于上述实施例的图像获取设备10中的剧情存储部分12的存储部分。读取模块74是使计算机读取剧情数据的模块。图像获取控制模块76是使计算机获取图像以便获得所获取图像的模块。执行图像获取控制模块76允许计算机具有类似于上述实施例的图像获取设备10的图像获取条件控制部分28的功能。合成重放模块78是使计算机重放剧情图像并将获取图像与剧情图像进行合成的模块。显示模块80是使计算机显示剧情图像或者合成图像的模块。示出模块82是使计算机向计算机的用户示出合成信息的模块。执行示出模块82允许实现与上述第二实施例的图像获取设备10的合成区域显示部分30相同的功能。
通过执行程序70，可以实现类似于第二实施例的图像获取设备10的图像获取设备，以便可以在拍摄期间合成剧情图像和获取图像。
工业实用性
如上所述，在本发明图像获取设备中，因为由显示装置显示剧情图像和获取图像的合成图像，所以用户可以在观看由显示装置显示的合成图像的同时进行拍摄，而且可以调整图像获取设备的位置或者方向，以便恰当地获取要合成的图像。本发明作为用于将通过拍摄获得的图像和剧情图像进行合成的设备等，具有这些巨大的优点并且是有用的。