图像处理装置、图像处理方法和程序.pdf

图像选择单元(31)针对每个输入帧根据关于拍摄被摄体的信息确定将要被合成为合成图像的图像的宽度。图像合成单元(32)通过合成待合成的图像来产生显示拍摄被摄体的过渡运动的运动过渡图像，从而在输入帧之中，其宽度被确定的待合成的图像相对于合成图像沿预定方向对齐。可根据拍摄被摄体的状态自动地提取或缝合图像，而无需用户针对每个图像帧设置包含拍摄被摄体的区域或设置将要缝合图像的位置。因此，可容易地产生期望的运动过渡图像。

权利要求书1.  一种图像处理装置，包括：图像选择单元，被构造为根据被摄体信息，针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度；和图像合成单元，被构造为把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合成。2.  如权利要求1所述的图像处理装置，其中所述图像选择单元根据被摄体信息决定输入帧中的移动被摄体层和背景层中的至少一个的宽度。3.  如权利要求2所述的图像处理装置，其中所述图像选择单元提取输入帧的移动被摄体层中被摄体信息指示特定状态的区域作为关注区域，并且决定关注区域的区域宽度作为用于把输入帧的背景层与合成完成图像进行合成的宽度。4.  如权利要求2所述的图像处理装置，其中所述图像选择单元基于输入帧的移动被摄体层中的移动被摄体的宽度决定用于把输入帧的移动被摄体层与合成完成图像进行合成的宽度。5.  如权利要求3所述的图像处理装置，其中所述移动被摄体是人体，以及其中图像选择单元使用人体检测掩模检测人体的预期部分，由此决定关注区域的区域宽度以使得该预期部分被包括在关注区域中。6.  如权利要求3所述的图像处理装置，其中所述图像选择单元使用累积面积掩模决定关注区域的区域宽度以使得移动被摄体的一部分的累积面积具有预定比率。7.  如权利要求2所述的图像处理装置，其中所述图像选择单元根据图像帧尺寸和已经进行合成的图像的图像尺寸决定将要合成的图像的帧的数量。8.  如权利要求7所述的图像处理装置，其中，当图像选择单元根据输入帧决定关键帧并且根据图像帧尺寸和通过合成关键帧的合成目标图像而产生的图像的图像尺寸来改变将要合成的图像的帧的数量时，图像选择单元根据改变后的帧的数量再次决定关键帧。9.  如权利要求7所述的图像处理装置，其中，作为包括合成目标图像的移动被摄体层中的预期移动被摄体的关注区域的关注区域，图像选择单元调整关注区域的区域宽度，以使得通过经由接合合成目标图像的关注区域与在合成完成图像中最终合成的图像的关注区域来执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。10.  如权利要求9所述的图像处理装置，其中所述图像选择单元以相等的调整宽度执行关注区域的每一个的宽度的调整，以使得通过执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。11.  如权利要求9所述的图像处理装置，其中所述图像选择单元以根据关注区域的区域宽度的调整宽度执行关注区域的每一个的宽度的调整，使得通过执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。12.  如权利要求9所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时，图像选择单元基于被摄体信息执行宽度调整以使得预期移动被摄体的更多的关注区域被留下，并且当关注区域的区域宽度将要被扩大时，图像选择单元执行宽度调整以使得预期移动被 摄体的更多的关注区域被包括在关注区域中。13.  如权利要求9所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时，图像选择单元随着相对于每个帧图像的关注关键帧的帧间隔的变长而增加帧图像的调整宽度，并且当关注区域的区域宽度将要被扩大时，图像选择单元增加关注关键帧的帧图像的调整宽度或随着相对于每个帧图像的关注关键帧的帧间隔的缩短而增加帧图像的调整宽度。14.  如权利要求13所述的图像处理装置，其中所述关注关键帧是由用户指示的关键帧或基于被摄体信息决定的关键帧。15.  一种图像处理方法，包括：根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度的步骤；和把决定的输入帧中的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像进行合成的步骤。16.  一种用于使计算机使用输入帧产生指示被摄体的运动过渡的图像的程序，所述程序使计算机执行：根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度的处理；和把决定的输入帧中的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像进行合成的处理。

说明书图像处理装置、图像处理方法和程序
技术领域
本技术涉及一种图像处理装置、图像处理方法和程序。具体地讲，本技术涉及容易地产生运动过渡图像。
背景技术
在相关技术中，为了在体育运动等中检查队形的目的而自动产生运动过渡图像，如例如专利文献1中所公开。为了产生运动过渡图像，自动产生连续的照片，并且使用产生的照片执行图像接合(缝合)。另外，通过检测移动被摄体部分并且执行移动被摄体部分的合成作为前侧，在不降低可见性的情况下产生运动过渡图像。
引用列表
专利文献
专利文献1：JP 2011-030244A(美国专利申请公开No.2010/0039447)
发明内容
技术问题
然而，在相关技术中的运动过渡图像的产生中，将要合成的帧的数量是预先设置的帧的数量或由用户设置的帧的数量，并且仅根据将要合成的帧的数量统一地决定合成宽度。由于这个原因，当将要产生运动过渡图像时，不容易产生预期的运动过渡图像，因为应该通过预先预测被摄体的运动来设置将要合成的帧的最佳的数量并且拍摄距离或变焦放大率应该被调整以使得被摄体被包括在合成宽度中。
因此，本技术旨在提供一种能够容易地产生运动过渡图像的图像 处理装置、图像处理方法和程序。
问题的解决方案
根据本发明的第一方面，为了实现上述目的，提供一种图像处理装置设备，所述图像处理装置设备包括：图像选择单元，被构造为根据被摄体识别结果，针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度；和图像合成单元，被构造为把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合成。
在本技术中，根据被摄体识别结果决定将要与合成完成图像合成的合成目标图像的宽度，例如输入帧的移动被摄体层和背景层中的至少一个的宽度。关于移动被摄体层，基于移动被摄体的宽度决定用于合成输入帧的移动被摄体层与合成完成图像的宽度。另外，移动被摄体层中的被摄体信息代表特定状态的区域被提取作为关注区域，并且关注区域被决定为用于合成输入帧的背景层与合成完成图像的宽度。当移动被摄体是人体时，决定关注区域的区域宽度，以使得使用人体检测掩模检测人体的预期部分并且该预期部分被包括在关注区域中。另外，关于关注区域的区域宽度，使用累积面积掩模基于被摄体信息决定该宽度，以使得移动被摄体部分的累积面积具有预定比率。
另外，根据图像帧尺寸和已经进行合成的图像的图像尺寸，决定将要合成的图像的帧的数量。当从输入帧中决定关键帧并且根据图像帧尺寸和通过关键帧的合成目标图像的合成而产生的图像的图像尺寸改变将要合成的图像的帧的数量时，根据改变的帧的数量再次决定关键帧。另外，通过设置包括合成目标图像的移动被摄体层中的预期移动被摄体的关注区域的关注区域，调整关注区域的区域宽度，以使得通过经由接合合成目标图像的关注区域与在合成完成图像中最后合成的图像的关注区域来执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。在区域宽度的调整中，例如，执行关注区域的宽度的调整以获得相等地调整的宽度或根据关注区域的区域宽度的调整的宽度。另 外，当关注区域的区域宽度将要被减小时，执行宽度调整以使得预期移动被摄体的更多的关注区域被留下，并且当关注区域的区域宽度将要被扩大时，执行宽度调整以使得预期移动被摄体的更多的关注区域被包括在关注区域中。替代地，当关注区域的区域宽度将要被减小时，在相对于关注关键帧的帧间隔变长时，帧图像的调整宽度增加，并且当关注区域的区域宽度将要被扩大时，执行宽度调整以使得在关注关键帧或相对于关注关键帧的帧间隔缩短时，帧图像的调整宽度增加。
根据本发明的第二方面，为了实现上述目的，提供一种图像处理方法，所述图像处理方法包括：根据被摄体识别结果针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度的步骤；和把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合成的步骤。
根据本发明的第三方面，为了实现上述目的，提供一种用于使计算机使用输入帧产生指示被摄体的运动过渡的图像的程序，所述程序使计算机执行：根据被摄体识别结果针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度的处理；和把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合成的处理。
需要注意的是，本技术的程序是能够使用以计算机可读形式提供的存储介质、通信介质(例如，存储介质(诸如，光盘、磁盘或半导体存储器)或通信介质(诸如，网络))在例如能够执行各种程序代码的通用计算机中提供的程序。通过以计算机可读形式提供这种程序，在计算机上实现根据该程序的处理。
发明的有益效果
根据本技术，根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度。另外，输入帧的具有决定的宽度的合成目标图像沿预定方向与合成完成图像平行地与合成完成图像合 成，并且由此产生显示被摄体的运动过渡的运动过渡图像。由于这个原因，在不执行用于针对每个帧图像指示包括被摄体的区域的用户的操纵和由用户为了指示用于图像接合的位置而执行的处理的情况下，能够根据被摄体的状态自动地执行图像的提取和接合，并且由此能够容易地产生期望的运动过渡图像。
附图说明
图1是表示使用图像处理装置的系统的结构的示图。
图2是表示由图像处理装置产生的运动过渡静止图像的示图。
图3是显示第一产生操作的流程图。
图4是表示层分离信息的示图。
图5是用于描述运动过渡有效区域和残存背景区域的设置的示图(当使用人体检测掩模时)。
图6是用于描述运动过渡有效区域和残存背景区域的设置的示图(当使用被摄体累积面积掩模时)。
图7是用于描述使用阈值Th设置运动过渡有效区域的情况的示图。
图8是显示运动过渡有效区域的示图。
图9是用于描述合成帧的数量的计算的示图。
图10是用于描述宽度调整部分的操作的示图。
图11是显示第二产生操作的流程图。
图12是表示在第二产生操作中产生的图像的示图。
图13是用于描述合成区域的另一设置方法的示图。
图14是用于描述另一宽度调整方法的示图。
图15是用于描述又一宽度调整方法的示图。
图16是表示根据移动被摄体的状态调整合成位置和合成方向的情况的示图。
具体实施方式
以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的元素由相同的标号表示，并且省略重复的解释。
以下，将描述用于实现本技术的实施例。需要注意的是，将按照下面的次序提供描述。
1.图像处理装置的结构
2.运动过渡图像的第一产生操作
3.运动过渡图像的第二产生操作
4.图像处理装置的其它操作
<1.图像处理装置的结构>
图1表示使用本技术的图像处理装置的系统的结构。系统10具有图像输入单元21、被摄体信息产生单元22、被摄体信息输入单元23、图像处理装置30和输出装置41。另外，图像处理装置30具有图像选择单元31、图像合成单元32、图像输出单元33和合成图像更新保存单元34。
图像输入单元21、被摄体信息产生单元22、被摄体信息输入单元23、图像处理装置30和输出装置41不必局限于布置在同一壳体中。例如，图像输入单元21、被摄体信息产生单元22、被摄体信息输入单元23和输出装置41可布置在不同壳体中。另外，可仅提供被摄体信息产生单元22和被摄体信息输入单元23之一。
图像处理装置30布置在设备(例如，摄像机或数字静止照相机、具有成像功能的移动设备(诸如，移动电话或平板计算机终端)、记录捕捉图像的图像信号的服务器或处理图像信号的编辑装置、视频再现装置等)里面。另外，该图像处理装置可被构造为专用于图像处理的一个设备。另外，图像处理装置可被构造为个人计算机等中的执行与软件和硬件关联或由软件和硬件中的任何一个实现的图像处理功能的装置。
图像输入单元21输入帧图像组，该帧图像组用作将要产生的运动过渡图像的源。需要注意的是，每个帧图像可以是构成运动图像的 一个帧或从例如连续捕捉获得的一个静止图像。
当图像处理装置30被安装在成像装置中时，图像输入单元21由成像光学系统、图像传感器、照相机信号处理单元等构成，由此产生捕捉图像的图像信号。另外，当接受由外部图像装置获得的捕捉图像时，图像输入单元21用作从外部装置提供的图像信号的接收处理系统。例如，采用用于广播波的调谐器单元、接口单元(诸如，USB(通用串行总线)接口)和另外的有线或无线网络通信单元等。另外，当图像信号被记录在存储卡(固态存储器)或记录介质(诸如，光盘)中时，图像输入单元21用作这种记录介质的再现系统。
图像输入单元21执行作为运动图像的每个帧的图像信号和通过静止图像连续捕捉等获得的多个帧的图像信号的产生、接收或读取，并且将这些信号提供给图像处理装置30和被摄体信息产生单元22。
需要注意的是，如果必要，则图像输入单元21可执行预处理。图像输入单元执行图像至处理所需的形式的合适的转换，以使得当接收到运动图像文件时，图像输入单元以每个帧的形式形成运动图像，并且当接收到隔行图像时，图像输入单元将图像转换成逐行形式。另外，存在这样的情况：图像输入单元执行图像的放大和缩小。
被摄体信息产生单元22使用从图像输入单元21提供的图像信号或外部信息(诸如，深度信息)识别被摄体，然后产生被摄体的状态(例如，每个帧的运动状态)的识别结果作为被摄体信息，然后将该结果输出到图像处理装置30。被摄体信息产生单元22具有例如物体检测部分221和移动被摄体检测部分222。
物体检测部分221通过模板匹配、学习等检测应该观测到其运动过渡的被摄体(例如，人体或人体的一部分)，然后产生指示帧图像的作为预定物体的图像区域的部分的被摄体信息。在人体的探测中，例如，检测脸，并且使用该检测的结果检测人体。另外，在人体的一部分的检测中，例如，能够基于具有与躯干、手、脚等对应的形状的图像是否被包括在参照检测到的脸设置的区域中检测人体的一部分。
移动被摄体检测部分222检测移动被摄体，然后产生指示帧图像 的哪个部分是移动被摄体区域以及哪个部分是背景区域的被摄体信息。当例如成像方向和视角固定时，移动被摄体检测部分222计算两个帧的图像信号之差，然后确定该差值小于阈值的区域作为背景区域并且确定该差值等于或大于阈值的区域作为移动被摄体区域。需要注意的是，当存在多个被摄体时，除了移动被摄体和背景的分离之外，移动被摄体检测部分222还分离各个被摄体。在这种情况下，可根据深度执行分离。当根据深度分离了多个被摄体时，被摄体信息是代表每个像素的深度的多值信息，而非代表每个像素是移动被摄体还是背景的二值信息。
被摄体信息输入单元23获取从外部装置等提供的被摄体信息，然后将该信息输出到图像处理装置30。
需要注意的是，可提供被摄体信息产生单元22和被摄体信息输入单元23中的至少一个。另外，当提供被摄体信息产生单元22和被摄体信息输入单元23时，由被摄体信息产生单元22产生的被摄体信息和由被摄体信息输入单元23获取的被摄体信息可被输出到图像处理装置30。在这种情况下，图像处理装置30使用至少一条被摄体信息执行处理或使用两条被摄体信息执行处理。
图像处理装置30的图像选择单元31根据被摄体信息针对从图像输入单元21顺序地提供的每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度。需要注意的是，当通过沿水平方向布置合成目标图像来把合成目标图像与合成完成图像合成(这对应于连接方向是水平方向的情况)时，合成目标图像沿水平方向的尺寸被设置为合成目标图像的宽度。另外，当通过沿垂直方向布置合成目标图像来把合成目标图像与合成完成图像合成(这对应于连接方向是垂直方向的情况)时，合成目标图像沿垂直方向的尺寸被设置为合成目标图像的宽度。另外，这同样适用于其它图像的宽度以及将在稍后描述的关注区域、运动过渡有效区域、残存背景区域等的区域宽度。
图像选择单元31根据被摄体信息决定输入帧中的移动被摄体层和背景层中的至少一个。在决定合成目标图像的宽度时，图像选择单 元31在例如输入帧的移动被摄体层中提取被摄体信息代表特定状态的区域作为关注区域。图像选择单元31决定关注区域的区域宽度作为用于合成输入帧的背景层与合成完成图像的宽度。另外，图像选择单元31基于例如输入帧的移动被摄体层中的移动被摄体的宽度决定用于合成输入帧的移动被摄体层与合成完成图像的宽度。
图像选择单元31执行合成目标图像的图像提取，然后将提取的图像输出到图像合成单元32。另外，图像选择单元31产生代表关注区域的合成处理信息，然后将该信息输出到图像合成单元32。另外，图像选择单元31将从被摄体信息产生单元22和被摄体信息输入单元23提供的被摄体信息输出到图像合成单元32。需要注意的是，图像提取可由图像合成单元32执行。在这种情况下，图像选择单元31使代表合成目标图像的区域的信息被包括在合成处理信息中，然后将该信息输出到图像合成单元32。
图像选择单元31包括关键帧确定部分311、合成区域设置部分312、合成帧数计算部分313、宽度调整部分314和提取处理部分315。
关键帧确定部分311执行从顺序地提供的帧图像中识别将会用作关键帧的帧的处理。关键帧图像表示在作为最后获得的合成完成图像的运动过渡图像(静止图像)中被留下作为运动过渡的踪迹的、具有不同时间轴的多个图像。例如，在根据时间的一组连续帧图像中，根据合适单位时间以相等间隔捕捉的帧图像通常被认为是关键帧图像。另外，关键帧确定部分311可使用所有的顺序地提供的帧图像作为关键帧图像来产生运动过渡图像。
另外，关键帧的间隔不必被设置为相等时间间隔，并且可以是适合以视觉方式检查成像目标的运动过渡的间隔。例如，通过检测关注关键帧，可参照关注关键帧调整关键帧的间隔。关注关键帧可由用户指定，或基于图像识别的结果自动地决定。在图像识别中，检测物体的形状的变化、人体的姿势的变化、物体的移动速度、物体的加速度、物体的移动方向的变化等，并且发生期望的形状变化或姿势变化 的关键帧被设置为关注关键帧。关键帧确定部分311确定例如移动被摄体的运动最快的时间点作为关注关键帧，从而随着移动被摄体的运动变得更慢时，关键帧的时间间隔(帧间隔)变得更长。另外，当关键帧确定部分311尝试通过设置移动被摄体的加速度显著改变的时间点作为关注关键帧来确定关键帧时，在足球比赛的情况下，例如，当球被设置为移动被摄体时，执行射门的时刻能够被设置为关注帧。另外，关键帧确定部分311可使用例如当通过高尔夫球杆、球棒、球拍等击球时产生的声音设置关注关键帧。在这种情况下，通过在例如击球的时间附近缩短时间间隔(帧间隔)来设置关键帧。
当产生静止图像作为运动过渡图像时，并且当合成帧的数量由将在稍后描述的合成帧数计算部分313改变时，关键帧确定部分311根据改变的合成帧的数量再次执行关键帧的确定。关键帧确定部分311将当确认合成帧的数量时确定的关键帧的图像信号输出到提取处理部分315。另外，当产生运动图像作为运动过渡图像时，所有的输入帧图像的图像信号被输出到提取处理部分315。
合成区域设置部分312基于从被摄体信息产生单元22和被摄体信息输入单元23提供的被摄体信息，根据被摄体的状态设置每个关键帧或每个帧的合成目标图像的区域。例如，合成区域设置部分312基于输入帧的移动被摄体层中的移动被摄体的宽度决定用于合成输入帧的移动被摄体层与合成完成图像的宽度。另外，合成区域设置部分312在输入帧的移动被摄体层中提取指示作为被摄体识别的结果的特定状态的区域作为关注区域，然后决定关注区域的区域宽度作为用于合成输入帧的背景层与合成完成图像的宽度。这个关注区域是当合成目标图像与合成完成图像合成时执行图像接合(缝合)的区域。需要注意的是，在以下的描述中，具有用于合成移动被摄体层的宽度的区域被称为运动过渡有效区域。另外，关注区域也被称为残存背景区域，因为它是合成输入帧的背景层的区域。另外，沿图像连接方向的宽度是运动过渡有效区域的区域宽度和关注区域(残存背景区域)的区域宽度。
残存背景区域(关注区域)被认为是移动被摄体层中的指示例如移动被摄体的特定状态的区域。如果如上所述设置残存背景区域，则残存背景区域布置在运动过渡有效区域内，因此，残存背景区域的区域宽度等于或小于运动过渡有效区域的区域宽度。
合成区域设置部分312在产生静止图像作为运动过渡图像时针对关键帧设置运动过渡有效区域和残存背景区域，并且在产生运动图像作为运动过渡图像时针对每个帧图像设置这些区域。另外，当产生静止图像作为运动过渡图像时并且当关键帧确定部分311由于由合成帧数计算部分313引起的合成帧的数量的变化而再次执行确定时，合成区域设置部分312针对新关键帧再次设置区域。需要注意的是，将在稍后描述用于设置区域的方法。
当产生静止图像作为运动过渡图像时，合成帧数计算部分313基于关键帧的运动过渡有效区域的区域宽度和残存背景区域的区域宽度计算合成帧的数量，以使得运动过渡图像的尺寸变得接近于沿连接方向显示运动过渡图像的显示区域的尺寸(以下被称为“图像帧尺寸”)。在例如运动过渡图像被产生为具有预设数量的帧的情况下，当图像的宽度相对于图像帧尺寸的过大或过小的程度超过一个帧时，或者当图像的宽度相对于图像帧尺寸的过大或过小的程度小于一个帧并且超过预定比率时，改变合成帧的数量。当合成帧的数量改变时，合成帧数计算部分313将改变的合成帧的数量输出到关键帧确定部分311和合成区域设置部分312，并且由此根据改变的合成帧的数量执行关键帧的确定和区域的重新设置。
在关键帧确定部分311、合成区域设置部分312和合成帧数计算部分313中重复该处理。因此，可针对期望图像帧尺寸将合成帧的数量设置为最佳值。另外，可在最佳数量的合成帧中设置关键帧，并且针对关键帧设置运动过渡有效区域和残存背景区域。
宽度调整部分314调整由合成区域设置部分312沿连接方向设置的残存背景区域的区域宽度。当通过接合由合成区域设置部分312沿连接方向设置的残存背景区域来执行图像合成时，宽度调整部分314 调整残存背景区域的宽度，以使得作为合成图像的运动过渡图像具有期望的图像帧尺寸。在宽度调整中，可使用用于通过例如均匀地将图像宽度的过大或过小的程度分配给每个帧来执行宽度调整的均匀改变方法，或者可使用用于与每个帧的残存背景区域的区域宽度成比例地划分图像宽度的过大或过小的程度的宽度比例改变方法。另外，宽度调整部分314可基于相对于关注关键帧的时间距离(帧间隔)或被摄体信息设置调整量。
提取处理部分315从由关键帧确定部分311提供的帧图像的图像信号中提取由合成区域设置部分312设置的运动过渡有效区域的图像信号，然后将该信号输出到图像合成单元32。另外，提取处理部分315将代表在运动过渡有效区域内设置的残存背景区域的信息输出到图像合成单元32作为合成处理信息。
图像合成单元32通过基于由图像选择单元31提取的图像信号、合成处理信息和被摄体信息根据被摄体的状态沿连接方向接合来合成每个帧的运动过渡有效区域的图像与合成完成图像的残存背景区域。图像合成单元32执行这种图像合成以产生指示运动过渡的输出图像。
图像合成单元32具有层分离部分321、层处理部分322和层合成部分323。
层分离部分321基于被摄体信息执行来自图像选择单元31的输入图像(提取的图像)的层分离。层分离部分321基于被摄体信息将输入图像和前一关键帧图像分离为例如背景和移动被摄体的层以产生各层的图像。通过以这种方式执行层分离，将在稍后描述的层合成部分323能够按照由图像选择单元31决定的移动被摄体层和背景层的的宽度合成每个层的图像。需要注意的是，当存在多个移动被摄体并且其深度已知时，图像可根据移动被摄体的数量+背景的数量被分离为多个层并且每个层的宽度可由图像选择单元31决定。
层处理部分322执行每个分离的层的图像的处理，诸如扩大、缩小和坐标移动。换句话说，层处理部分322对已经进行了层分离的每 个层执行这样的各种处理以便以可合成形式处理。由层处理部分322执行的处理多数涉及几何操作，诸如“放大和缩小”、“旋转”、和“平行移动”，但存在执行诸如突出显示运动的图像处理的情况。基于关键帧的数量、输出图像的尺寸决定放大和缩小。
层合成部分323使用处理过的层和先前的合成完成图像执行合成处理。换句话说，通过基于由层处理部分322处理过的图像、合成完成图像、被摄体信息、合成处理信息等执行合成，产生运动过渡图像。层合成部分323基于被摄体信息和合成处理信息确定哪个层具有应该反映在输出图像中的像素，然后基于确定的结果产生输出图像。需要注意的是，在合成期间，可从单个层选择像素，并且可混合并且输出多个层的像素。
另外，当执行图像合成时，层合成部分323基于合成处理信息沿连接方向接合残存背景区域。另外，层合成部分323可不仅根据预先决定的方向还根据将要合成的图像中的被摄体的布置在将要合成的图像中的状态决定布置位置。例如，当将要针对作为移动被摄体的投手产生运动过渡图像时，由于主要沿水平方向执行投手的所有运动，所以通过沿水平方向合成图像来产生运动过渡图像。另外，当将要针对作为移动被摄体的网球拍产生运动过渡图像时，当球拍围绕握着球拍的人的肩膀以弧形回转时，以弧形合成图像。另外，颜色等的变化也可被用作状态的变化。
图像输出单元33将由图像合成单元32合成的运动过渡图像输出到输出装置41。输出装置41代表能够是运动过渡图像的输出目的地的各种装备，诸如监视器装置和存储装置。来自图像输出单元33的运动过渡图像的输出的具体目的地根据系统而不同，包括显示输出、形成在存储器中以及写在外部存储介质(诸如，硬盘、闪存)上或联网目的地。
当产生静止图像作为运动过渡图像时，图像输出单元33将在与合成帧的数量一样多的关键帧图像的合成处理结束时完成的合成完成图像输出到输出装置41作为运动过渡静止图像。
另外，当产生运动图像作为运动过渡图像时，图像输出单元33将在每次图像信号被从图像选择单元31输入到图像合成单元32时顺序地执行的合成处理中获得的合成完成图像输出到输出装置41。换句话说，在顺序地执行的合成处理中获得的合成完成图像被输出到输出装置41作为显示运动过渡的运动图像的一帧图像。
另外，在将要合成处理的所有帧图像是关键帧图像的静止图像产生时，图像输出单元33将在此时的合成中产生的图像的图像信号输出到合成图像更新保存单元34以存储在合成图像更新保存单元34中。通过使在此时的合成中产生的图像的图像信号被存储在合成图像更新保存单元34中，图像输出单元33能够使该图像信号在下一次处理中被用作已有合成完成图像的图像信号。
仅当在产生运动图像时使用关键帧图像执行合成处理时，图像输出单元33将已经进行了合成处理的图像信号输出到合成图像更新保存单元34以存储在合成图像更新保存单元34中，以便能够使该图像信号在下一次处理中被用作已有合成完成图像的图像信号。
合成图像更新保存单元34保存在产生运动过渡图像期间的每个时间点的合成完成图像的图像信号。例如，在产生静止图像时，从图像输出单元33输出的每个时间点的合成完成图像被逐渐保存为新的合成完成图像。例如，保存在前一轮、前两轮等的合成处理期间需要的以前的合成完成图像的图像信号，同时更新这些图像信号。另外，可存储每次合成时的关键帧的信息、关键帧的被摄体信息、合成处理信息等。
合成图像更新保存单元34逐渐地保存在关键帧图像的合成处理中产生的合成完成图像的图像信号，同时在产生运动图像时更新图像信号。在这种情况下，可存储每次合成时的关键帧的信息、关键帧的被摄体信息、合成处理信息等。
<2.运动过渡图像的第一产生操作>
接下来，将描述运动过渡图像的第一产生操作。图2表示由图像处理装置产生的运动过渡静止图像。图像处理装置30使用通过针对 作为被摄体的例如在棒球比赛中执行投球的人执行运动图像捕捉或连续静止图像捕捉获得的多个帧的图像信号产生图2中示出的运动过渡静止图像。以期望的图像帧尺寸利用执行连续投球运动的时间段中的许多时间点的图像表示图2的运动过渡静止图像。另外，根据移动被摄体(执行投球的人)的状态调整运动过渡有效区域和残存背景区域的区域宽度，并且相应地，在运动过渡静止图像中表示移动被摄体的所有的帧。
图3是显示产生静止图像作为运动过渡图像的第一产生操作的流程图。
在步骤ST1中，图像处理装置30接受帧图像和被摄体信息。在图像处理装置30使用图像选择单元31接受从图像输入单元21提供的帧图像、由被摄体信息产生单元22产生的被摄体信息和由被摄体信息输入单元23获取的被摄体信息之后，图像处理装置前进至步骤ST2。
在步骤ST2中，图像处理装置30确定接受是否结束。当图像处理装置30结束将要用于运动过渡静止图像的产生的帧图像和被摄体信息的接受时，图像处理装置前进至步骤ST3，并且当图像处理装置未结束接受时，图像处理装置返回到步骤ST1以继续帧图像和被摄体信息的接受。以这种方式，当处理在接受结束之后前进至步骤ST3时，调整如稍后所述的合成目标图像的宽度和将要合成的图像的帧，由此使运动过渡静止图像的宽度具有期望的尺寸。需要注意的是，每次执行帧图像和被摄体信息的接受时，如果执行决定将要与合成完成图像合成的合成目标图像的宽度的处理以及沿预定方向彼此平行地合成具有决定的宽度的合成目标图像和合成完成图像的处理，则能够输出每次输入帧图像时更新的运动过渡图像。
在步骤ST3中，图像处理装置30执行关键帧确定。图像处理装置30在将在稍后描述的合成帧的数量被设置为预设值时使用关键帧确定部分311从接受的帧图像确定将要用于合成的关键帧的帧图像，并且随后前进至步骤ST4。
在步骤ST4中，图像处理装置30设置合成区域。图像处理装置30使用合成区域设置部分312针对关键帧设置运动过渡有效区域和残存背景区域，并且随后前进至步骤ST5。
在步骤ST5中，图像处理装置30计算合成帧的数量。当通过使用合成帧数计算部分313链接例如关键帧的残存背景区域来产生运动过渡静止图像时，图像处理装置30计算能够使运动过渡静止图像最接近期望的图像帧尺寸的合成帧的数量，并且随后前进至步骤ST6。
在步骤ST6中，图像处理装置30确定是否存在合成帧的数量的改变。图像处理装置30确定在步骤ST5中计算的合成帧的数量是否已相对于合成帧的预设数量改变，或者在步骤ST5中计算的合成帧的数量是否已由于合成帧的数量的重复计算而相对于在前一轮中计算的合成帧的数量改变。当合成帧的数量未改变时，图像处理装置30前进至步骤ST7。另外，当合成帧的数量已改变时，图像处理装置30返回到步骤ST3以根据计算的合成帧的数量执行关键帧的确定，由此重复步骤ST4和ST5的处理。需要注意的是，当在步骤ST6中合成帧的数量的改变重复预定次数时，图像处理装置30前进至步骤ST7，由此防止由于合成帧的数量的反复改变而跳过步骤ST7的处理。
在步骤ST7中，图像处理装置30执行宽度调整。图像处理装置30使用宽度调整部分314调整关键帧的残存背景区域的区域宽度，以使得运动过渡静止图像具有期望的图像帧尺寸。另外，宽度调整部分314产生代表调整的残存背景区域的合成处理信息，并且随后前进至步骤ST8。
在步骤ST8中，图像处理装置30执行图像提取。图像处理装置30从关键帧提取运动过渡有效区域的图像，并且随后前进至步骤ST9。
在步骤ST9中，图像处理装置30执行层分离处理。图像处理装置30使用层分离部分321基于被摄体信息执行层分离处理以将关键帧的运动过渡有效区域分离为例如移动被摄体层和背景层，并且随后 前进至步骤ST10。
通过创建每个层的图像，层分离可被存储在存储区域中。通过创建层分离信息，可执行层分离。层分离信息是使用前一次的关键帧和这一次的关键帧的运动过渡有效区域的交叠部分的像素值(即，合成目标区域中的每个像素)表示最终有效层的信息。
图4表示层分离信息。例如这一次的关键帧KFn中的运动过渡有效区域Wa的移动被摄体区域m中的像素的层分离信息被设置为具有确定值“1”。另外，关键帧KFn的残存背景区域Wb中的背景区域(不包括移动被摄体区域m的区域(由虚线的阴影表示的区域))的像素的层分离信息被设置为具有确定值“3”。另外，通过从关键帧KFn的运动过渡有效区域Wa排除残存背景区域Wb而获得的区域的背景区域(不包括移动被摄体区域m的区域(由交叉阴影表示的区域))的像素的层分离信息被设置为具有确定值“5”。另外，对于在最后的合成中使用的合成完成图像的关键帧KFn-1，设置通过将“1”与关键帧KFn-1的确定值相加获得的值。换句话说，前一关键帧KFn-1中的运动过渡有效区域Wa的移动被摄体区域m的像素的层分离信息被设置为具有确定值“2”。另外，关键帧KFn-1的残存背景区域Wb中的背景区域(由虚线的阴影表示的区域)的像素的层分离信息被设置为具有确定值“4”。另外，通过从关键帧KFn-1的运动过渡有效区域Wa排除残存背景区域Wb而获得的区域的背景区域(由交叉阴影表示的区域)的像素的层分离信息被设置为具有确定值“6”。需要注意的是，具有层分离信息的小像素值的像素被设置为具有高优先级，并且具有大像素值的像素被设置为具有低优先级。
在步骤ST10中，图像处理装置30执行层处理。图像处理装置30使用层处理部分322执行层合成所需的处理，并且随后前进至步骤ST11。作为这种处理，例如，根据输入图像的尺寸和在合成结果图像上反映输入图像的输入图像的尺寸执行图像的放大、缩小或旋转等。特别地，存在这样的情况：当没有改变地在合成结果中反映输入图像的每个像素等时，不需要放大、缩小或旋转的处理。
在步骤ST11中，图像处理装置30执行层合成处理。图像处理装置30使用层合成部分323执行层合成处理以从这一次的关键帧的合成目标图像和合成完成图像产生新合成完成图像，并且随后前进至步骤ST12。层合成部分323沿预定方向彼此平行地合成这一次的关键帧的图像合成目标图像与合成完成图像。层合成部分323通过沿所述预定方向将合成目标图像的残存背景区域链接到合成完成图像的残存背景区域来执行合成完成图像和合成目标图像的层合成处理。
在合成完成图像和合成目标图像的层合成处理中，层合成部分323被设置为将具有高优先级的像素用于这一次的关键帧的合成目标图像与合成完成图像交叠的部分。在图4中，例如，这一次的关键帧KFn的移动被摄体区域m的像素具有确定值“1”，并且前一关键帧KFn-1的移动被摄体区域m的像素具有确定值“2”。因此，对于这一次的关键帧KFn的移动被摄体区域m与前一关键帧KFn-1的移动被摄体区域m交叠的部分，具有高优先级的这一次的关键帧KFn的移动被摄体区域m的像素的像素值被设置为新合成完成图像的像素值。另外，前一关键帧KFn-1的移动被摄体区域m的像素具有确定值“2”，并且这一次的关键帧KFn的残存背景区域Wb中的背景区域的像素具有确定值“3”。因此，对于这一次的关键帧KFn的残存背景区域Wb中的背景区域与前一关键帧KFn-1的移动被摄体区域m交叠的部分，具有高优先级的前一关键帧KFn-1的移动被摄体区域m的像素的像素值被设置为新合成完成图像的像素值。另外，对这一次的关键帧KFn的背景区域与前一关键帧KFn-1的背景区域交叠的部分执行相同处理。层合成部分323使用这一次的关键帧KFn中的残存背景区域Wb的像素的像素值和前一关键帧KFn-1中的残存背景区域Wb的像素的像素值作为新合成完成图像的像素值执行处理。换句话说，新合成完成图像是留下关键帧中的残存背景区域的背景的图像。需要注意的是，新合成完成图像是当合成下一个关键帧图像时的合成完成图像。
如上所述，通过根据层分离信息的确定值选择并且使用这一次的 关键帧图像或合成完成图像的像素值，能够产生已按照优先级次序针执行合成的新合成完成图像。
在步骤ST12中，图像处理装置30确定是否已针对所有帧完成合成。图像处理装置30确定是否已针对所有关键帧完成合成。图像处理装置30在仍然存在未经受合成的关键帧时前进至步骤ST13，并且在已针对所有关键帧完成合成时前进至步骤ST14。
在步骤ST13中，图像处理装置30执行前一合成完成图像的更新。图像处理装置30利用在步骤ST11中新产生的合成完成图像更新存储在合成图像更新保存单元34中的合成完成图像，然后返回到步骤ST9。
在步骤ST14中，图像处理装置30执行合成完成图像的输出。图像处理装置30将在图像合成单元32中最后获得的合成完成图像的图像信号作为输出图像的图像信号从图像输出单元33输出到输出装置41等。
如上所述，本例子的图像处理装置1产生并且输出一个运动过渡静止图像的图像数据。
需要注意的是，层分离信息的产生不限于图4中示出的优先级。当通过例如改变关键帧的背景区域的优先级来升高例如这一次的关键帧中的运动过渡有效区域Wa的背景区域的优先级时，这一次的关键帧中的运动过渡有效区域的背景区域能够被显示在合成完成图像中。
接下来，将描述由图像选择单元31、图像合成单元32、图像输出单元33和合成图像更新保存单元34执行的产生运动过渡图像的处理的具体例子。
关键帧确定部分311确定与预设值的数量对应的许多关键帧图像，关键帧图像是具有不同时间轴的保留在同一静止图像中作为运动过渡的轨迹的多个图像。另外，当将在稍后描述的合成帧数计算部分313调整合成帧的数量(即，将要用于合成的关键帧的数量)时，关键帧确定部分311根据调整后的合成帧的数量再次确定关键帧。
合成区域设置部分312基于被摄体信息针对每个输入帧设置运动 过渡有效区域和残存背景区域。例如，合成区域设置部分312设置包括执行将要观测的运动的整个移动被摄体的最小矩形区域作为运动过渡有效区域。另外，作为指示特定状态的区域，例如，指示上述整个移动被摄体的期望的状态部分或运动部分的矩形区域被设置为残存背景区域。在这种情况下，残存背景区域位于运动过渡有效区域内。当将要产生静止图像时，仅针对关键帧执行运动过渡有效区域和残存背景区域的设置。图5和6是用于描述运动过渡有效区域和残存背景区域的示图。例如，图5和6的(A)举例说明一些关键帧。另外，图5和6的(B)举例说明应该在关键帧中观测到其运动过渡的移动被摄体的图像。
当在被摄体信息的产生中执行移动被摄体检测和人体检测或人体部分检测时，合成区域设置部分312如例如图5的(C)中所示对移动被摄体执行人体检测掩蔽以如斜线所示检测例如头和身体部分的位置。接下来，合成区域设置部分312如图5的(D)中所示设置包括整个身体(整个移动被摄体)的最小宽度矩形区域作为运动过渡有效区域Wa，并且设置包括通过人体检测掩模检测到的头和身体部分的位置的矩形区域作为残存背景区域Wb。
当在被摄体信息的产生中执行移动被摄体检测和人体检测或人体部分检测时，合成区域设置部分312如例如图5的(C)中所示对移动被摄体执行人体检测掩蔽以如斜线所示检测例如头和身体部分的位置。接下来，合成区域设置部分312如图5的(D)中所示设置包括整个身体(整个移动被摄体)的最小宽度矩形区域作为运动过渡有效区域Wa，并且设置包括通过人体检测掩模检测到的头和身体部分的位置的矩形区域作为残存背景区域Wb。
另外，当设置残存背景区域时，合成区域设置部分312可使用被摄体累积面积掩模。在被摄体累积面积掩模中，被摄体部分的面积相对于左侧和右侧(上侧和下侧)区域具有预定比率的位置被设置为掩模的边界。
图6是用于描述被摄体累积面积掩模的示图。当如图6的(C)中 所示掩模的边界在被摄体累积面积掩模中被设置为Na％时，左侧和右侧区域中的每一个占移动被摄体的整个面积的(Na/2)％，并且中心部分占移动被摄体的面积的(100-Na)％。这里，残存背景区域Wb被设置在Na％的位置，并且运动过渡有效区域Wa被设置在0％的位置，如图6的(D)中所示。
另外，合成区域设置部分312可设置残存背景区域，以使得期望的运动部分被包括在残存背景区域中。例如，在投球运动中，合成区域设置部分312可设置残存背景区域，以使得具有挥动运动的部分(诸如，手或臂)基于执行运动的人体部分或被摄体的检测结果被包括在残存背景区域中。
另外，如果使用阈值Th设置运动过渡有效区域，则能够去除噪声。例如，当如图7的(A)中所示在背景的部分MP中执行移动时，设置运动过渡有效区域Wa，以使得如图7的(B)中所示部分MP被包括在运动过渡有效区域Wa中。然而，如果阈值Th被设置为大于部分MP的面积，则能够设置运动过渡有效区域Wa，以使得如图7的(C)中所示部分MP不被包括在运动过渡有效区域Wa中。
另外，运动过渡有效区域不限于如图8的(A)中所示被设置为包括整个移动被摄体的最小宽度矩形区域，并且可以是如图8的(B)中所示具有比最小宽度矩形区域宽的用于移动被摄体的空间的区域。另外，可根据被摄体的状态设置残存背景区域。以这种方式，合成区域设置部分312决定运动过渡有效区域和残存背景区域。
关于合成帧数计算部分313，考虑用于合成帧的数量的自动计算的各种技术，但在这里，将描述使用重复处理的技术。
在使用重复处理的技术中，首先通过使用合成帧的数量的初始值布置关键帧的残存背景区域以沿连接方向彼此接合来计算合成完成图像沿连接方向的宽度。合成完成图像的宽度在这种情况下极少具有图像帧尺寸，并且需要帧的数量的增加或减小。因此，合成帧数计算部分313以十进制单位计算帧的数量的过大或过小的程度，然后例如对计算结果进行舍入，由此获得需要的帧的增加或减小量。另外，当合 成完成图像被显示在多个层(例如，两个层)中时，合成帧数计算部分313计算上层和下层中的每个层的过大或过小的程度，然后从计算结果计算需要的帧的增加或减小量。需要注意的是，对于合成帧的数量的初始值，可使用预设固定值，或者可使用由用户指定的值等。例如，假设显示运动过渡图像的显示区域沿连接方向的尺寸是1920像素，关键帧的数量是21帧，运动过渡有效区域Wa是480像素，残存背景区域Wb是160像素，并且假设残存背景区域Wb位于运动过渡有效区域Wa的中心。在这种情况下，如果合成帧的数量是10帧，则合成完成图像的宽度是1920像素。因此，合成帧的数量的初始值是10帧。
图9是用于描述合成帧的数量的计算的示图，显示关键帧的残存背景区域通过沿水平方向依次布置而被合成的情况。当在合成帧的数量的计算中运动过渡静止图像的尺寸未能达到期望的图像帧尺寸WG时，增加或减小合成帧的数量以使得过大或过小的程度最小化。例如，对于帧的过大或过小的程度，通过对小数点后面的数字进行舍入来决定获得的将要切除的帧的数量。如图9的(A)中所示，当上层超过1.3帧并且下层超过0.6帧时，例如，从上层和下层中的每个层切除一个帧。另外，当存在过小的情况时，如果位于左侧的帧的最接近图像帧尺寸WG的边界的残存背景区域被设置为一帧尺寸时，计算与过小的程度对应的帧的数量，并且通过对小数点后面的数字进行舍入来决定将要增加的帧的数量。当例如如图9的(B)中所示上层缺少1.1帧并且下层缺少0.3帧时，上层增加一个帧，并且下层保持目前的帧的数量。以这种方式，计算合成帧的数量。
当合成帧数计算部分313改变合成帧的数量时，关键帧确定部分311根据合成帧的数量的改变再次确定关键帧。由于这个原因，合成帧数计算部分313将改变的合成帧的数量输出到关键帧确定部分311，然后新的关键帧被确定。
当关键帧的数量如上所述改变时，用作关键帧的帧改变。这是因为，基于在静止图像的产生中使用的合成帧的数量决定关键帧自身， 并且合成帧的数量的改变意味着关键帧的修改。存在这样的情况：以这种方式再次选择的关键帧具有不同于在合成帧的数量的改变之前使用的关键帧的残存背景区域。因此，合成区域设置部分312针对新的关键帧执行运动过渡有效区域和残存背景区域的计算，并且基于计算结果，合成帧数计算部分313再次计算合成帧的数量。
其后执行相同的处理，并且当不存在合成帧的数量的改变时的帧的数量被设置为在图像合成时的合成帧的数量。需要注意的是，当合成帧的数量的改变不消失时，当该处理重复预定次数时的帧的数量被设置为合成帧的数量。
宽度调整部分314调整图像宽度，以使得在合成之后的图像尺寸是期望的图像帧尺寸WG。存在这样的情况：即使当如上所述计算合成帧的数量时，运动过渡静止图像的尺寸也未变为等于期望的图像帧尺寸WG。因此，宽度调整部分314通过调整残存背景区域的区域宽度来使运动过渡静止图像的图像尺寸等于期望的图像帧尺寸WG。
图10是用于描述宽度调整部分的操作的示图。当通过计算最佳的合成帧的数量来执行图像合成时，存在这样的情况：该数量未变为等于期望的图像帧尺寸WG。图10的(A)表示这样的情况：作为输出图像的运动过渡静止图像的图像尺寸超过期望的图像帧尺寸WG。在这种情况下，宽度调整部分314调整残存背景区域的区域宽度以缩窄残存背景区域的区域宽度，如图10的(B)中所示，因此，运动过渡静止图像的图像尺寸变为基本上等于期望的图像帧尺寸WG。
考虑用于调整残存背景区域的宽度的各种技术，但在这里将描述两种简单的技术。在均匀改变方法中，均匀地调整帧的图像宽度的过大或过小的程度，由此使在合成之后的图像尺寸基本上等于期望的图像帧尺寸WG。换句话说，宽度调整部分314执行公式(1)的算术运算以计算帧的共享改变帧宽度dWi，由此执行宽度调整。需要注意的是，在公式(1)中，Wsub代表宽度的过大或过小的程度，并且nwk代表帧的数量。如果使用均匀改变方法，则针对每个帧均匀地执行调整，因此自然可实现精细调整。
[数学表达式1]
dWi=Wsubnwk...(1)]]>
在宽度比例改变方法中，与帧的残存背景区域的区域宽度成比例地分配图像宽度的过大或过小的程度，由此使在合成之后的图像尺寸基本上等于期望的图像帧尺寸WG。换句话说，宽度调整部分314执行公式(2)的算术运算以计算第j帧的改变的帧宽度dWj，由此执行宽度调整。需要注意的是，在公式(2)中，Wsub代表宽度的过大或过小的程度，Wj代表第j帧的图像宽度，并且nwk代表合成帧的数量。如果使用这种宽度比例改变方法，则具有小的宽度的帧受到很小的影响，因此自然可实现没有显著改变的精细调整。
[数学表达式2]
dWj=WsubWjΣj=1nwkwj...(2)]]>
<3.运动过渡图像的第二产生操作>
在上述第一操作中，已描述这样的情况：调整合成帧的数量和图像宽度，以使得运动过渡静止图像的图像尺寸变为等于期望的图像帧尺寸WG。接下来，在第二操作中，将描述这样的情况：根据被摄体状态在每个帧图像中设置运动过渡有效区域和残存背景区域，通过将残存背景区域彼此接合来按照帧的次序执行合成处理，并且由此产生指示运动过渡的运动过渡运动图像。需要注意的是，在运动过渡运动图像的产生中，由于显示通过按照帧的次序执行合成处理而获得的图像，所以预先执行用于使最后获得的合成完成图像的图像尺寸基本上等于期望的图像帧尺寸的合成帧的数量的计算和图像宽度的调整。
图11是显示第二产生操作的流程图。在步骤ST21中，图像处理装置30接受帧图像和被摄体信息。图像处理装置30使用图像选择 单元31接受从图像输入单元21提供的帧图像、由被摄体信息产生单元22产生的被摄体信息和由被摄体信息输入单元23获取的被摄体信息，并且随后前进至步骤ST22。
在步骤ST22中，图像处理装置30执行关键帧确定。图像处理装置30使用关键帧确定部分311确定关键帧的帧图像，并且随后前进至步骤ST23。
在步骤ST23中，图像处理装置30设置合成区域。图像处理装置30使用合成区域设置部分312针对每个帧计算运动过渡有效区域和残存背景区域，并且随后前进至步骤ST24。
在步骤ST24中，图像处理装置30执行图像提取。图像处理装置30提取帧图像的运动过渡有效区域的图像，并且随后前进至步骤ST25。
在步骤ST25中，图像处理装置30执行层分离处理。图像处理装置30使用层分离部分321基于被摄体信息执行层分离处理以将关键帧的每个运动过渡有效区域分离为移动被摄体层和背景层，并且前进至步骤ST26。
通过创建每个层的图像，层分离可被存储在存储区域中，或者通过创建层分离信息，可执行层分离。层分离信息是使用前一次的关键帧和这一次的关键帧的运动过渡有效区域的交叠部分的像素值(即，合成目标区域中的每个像素)表示最后有效层的信息。
在步骤ST26中，图像处理装置30执行层处理。图像处理装置30使用层处理部分322执行层合成所需的处理，并且随后前进至步骤ST27。作为这种处理，例如，根据输入图像的尺寸和在合成结果图像上反映输入图像的输入图像的尺寸执行图像的放大、缩小或旋转等。特别地，存在这样的情况：当没有改变地在合成结果中反映输入图像的每个像素等时，不需要放大、缩小或旋转的处理。
在步骤ST27中，图像处理装置30执行前一次的合成完成图像的读取。图像处理装置30使用层合成部分323读取存储在合成图像更新保存单元34中的前一次的合成完成图像，并且随后前进至步骤 ST28。
在步骤ST28中，图像处理装置30执行层合成处理。图像处理装置30使用层合成部分323执行层合成处理以根据这一次的帧的合成目标图像和合成完成图像产生新合成完成图像，并且随后前进至步骤ST29。层合成部分323沿预定方向彼此平行地合成这一次的关键帧的图像合成目标图像与合成完成图像。层合成部分323通过例如沿所述预定方向接合合成目标图像的残存背景区域与合成完成图像的残存背景区域来执行合成完成图像和合成目标图像的层合成处理。
在合成完成图像和合成目标图像的层合成处理中，层合成部分323使高优先级的像素被用于这一次的帧的合成目标图像与合成完成图像交叠的部分。
在步骤ST29中，图像处理装置30输出合成完成图像。图像处理装置30将由图像合成单元32产生的合成完成图像的图像信号从图像输出单元33输出到输出装置41等，并且随后前进至步骤ST30。
在步骤ST30中，图像处理装置30确定这一次的输入是否是关键帧。当这一次的帧图像被确定为是关键帧图像时，图像处理装置30前进至步骤ST31，并且当帧图像被确定为不是关键帧图像时，图像处理装置前进至步骤ST32。
在步骤ST31中，图像处理装置30更新前一次的合成完成图像。使用由图像合成单元32产生的新合成完成图像，图像处理装置30更新存储在合成图像更新保存单元34中的前一次的合成完成图像，并且随后前进至步骤ST32。
在步骤ST32中，图像处理装置30确定是否所有帧的合成已结束。图像处理装置30确定是否已针对所有的帧完成合成。当仍然存在未被合成的帧时，图像处理装置30返回到步骤ST21，并且当已针对所有的帧完成合成时，该处理结束。
图12是表示在第二产生操作中产生的图像的示图。图12的(A)显示合成完成图像(从关键帧图像提取的图像或存储在合成图像更新保存单元34中的合成完成图像)GA。在合成下一关键帧图像之前， 通过连接从不是关键帧的帧提取的合成目标图像的残存背景区域和合成完成图像GA的残存背景区域来合成从不是关键帧的帧提取的合成目标图像与合成完成图像GA。如图12的(B)中所示，例如，通过连接从不是关键帧的帧提取的合成目标图像G1的残存背景区域和合成完成图像GA的残存背景区域来合成从不是关键帧的帧提取的合成目标图像G1与合成完成图像GA。另外，对于下一帧，通过连接从不是关键帧的下一帧提取的合成目标图像G2(替代于合成目标图像G1)的残存背景区域和合成完成图像GA的残存背景区域来合成从不是关键帧的下一帧提取的合成目标图像G2与合成完成图像GA，如图12的(C)中所示。
然后，当从下一关键帧提取图像时，通过连接从下一关键帧提取的合成目标图像的残存背景区域和合成完成图像的残存背景区域来合成从下一关键帧提取的合成目标图像与合成完成图像。另外，合成完成图像被更新为已与从下一关键帧提取的合成目标图像合成的图像。如图12的(D)中所示，例如，通过连接从关键帧提取的合成目标图像GmKF的残存背景区域和合成完成图像GA的残存背景区域来合成从关键帧提取的合成目标图像GmKF与合成完成图像GA，由此形成新合成完成图像GB。另外，如图12的(E)中所示，通过连接从不是关键帧的下一帧提取的合成目标图像G(m+1)的残存背景区域和合成完成图像GB的残存背景区域来合成从不是关键帧的下一帧提取的合成目标图像G(m+1)与合成完成图像GB。
因此，指示运动过渡的图像能够被显示为运动图像。另外，在运动过渡图像中，从关键帧提取的图像保留作为指示移动被摄体的运动的历史的图像。
<4.图像处理装置的其它操作>
在上述第一和第二操作中，已描述这样的情况：图像的合成方向是水平方向。然而，图像的合成区域、宽度调整和合成方向的设置不限于上述操作。
当根据被摄体的状态设置区域时，能够在合成区域设置中替代于 使用人体检测掩模和面积累积掩模的方法而使用另一方法。图13是用于描述合成区域的另一设置方法的示图。需要注意的是，图13的(A)显示使用例如人体检测掩模设置的残存背景区域以用于比较。
图13的(B)表示这样的情况：设置中心位置，然后参照中心位置设置残存背景区域。例如，中心位置(由点划线指示)被设置为在人体检测中检测到的脸的位置。另外，能够使用面积累积掩模独立地在例如位于中心位置的右侧的区域和位于其左侧的区域中决定残存背景区域的边界。以这种方式，能够针对参照中心位置划分的每个区域设置残存背景区域的边界，并且因此能够以高自由度设置区域。
图13的(C)表示这样的情况：根据被摄体的运动设置残存背景区域。例如，检测人体的各部分，确定每个部分的运动，然后设置区域以使得执行快速运动的部分(例如，握着球的手)被包括在残存背景区域中。以这种方式，可防止这种执行快速运动的部分被下一帧图像(的一部分)隐藏。
另外，当在被摄体信息的产生中执行物体检测时，合成区域设置部分312可根据期望的物体设置运动过渡有效区域。例如，当使用网球的捕捉图像产生运动过渡图像时，通过物体检测检测到球拍，因此，能够设置运动过渡有效区域以使得不仅人体被包括在运动过渡有效区域中，球拍也被包括在运动过渡有效区域中。另外，可使用用于检测球拍的掩模设置残存背景区域，使得检测到的球拍被包括在残存背景区域中。
宽度调整部分314可根据被摄体的状态控制残存背景区域Wb的区域宽度。图14显示用于描述另一宽度调整方法的示图。图14显示这样的情况：使用人体部分的检测结果执行宽度调整。当通过拓宽输出图像的图像宽度来设置期望的宽度时，宽度调整部分314执行宽度调整，以使得吸引对运动过渡的关注的人体部分(例如，握着球的手)被包括在残存背景区域中，换句话说，更多的关注部分被留下，如图14的(A)中所示。另外，当通过缩窄输出图像的图像宽度来设置期望的宽度时，宽度调整部分314执行宽度调整，以使得吸引对运动过渡 的关注的部分不偏离残存背景区域，换句话说，更多的关注部分被包括在残存背景区域中，如图14的(B)中所示。如果以这种方式执行宽度调整，则关注的人体部分等能够被更可靠地显示在合成完成图像中。
另外，宽度调整部分314可根据相对于关注关键帧的时间距离(帧间隔)控制残存背景区域Wb的区域宽度，如图15中所示。关注关键帧可如上所述由用户指定，或者在图像识别中被摄体处于期望的状态等的关键帧被自动地识别，然后识别的关键帧被决定为关注关键帧。
当图像宽度将要被扩大时，宽度调整部分314通过增加关注关键帧和相对于关注关键帧具有短时间距离的帧(与关注关键帧接触的帧，即具有短帧间隔的帧)的调整宽度来增加残存背景区域Wb的区域宽度以大于调整之前，如例如图15的(A)中所示。另外，当图像宽度将要被减小时，宽度调整部分314通过增加相对于关注关键帧具有长时间距离的帧(与关注帧相距较远的帧，即具有长帧间隔的帧)的调整宽度来增加残存背景区域Wb的区域宽度，如例如图15的(B)中所示。以这种方式，由于能够在关注关键帧的周围保证宽的残存背景区域，所以可容易地在合成完成图像中检查关注的时刻部分的运动过渡。
另外，当关注关键帧由用户指定时，或者当使用图像识别结果确定关注关键帧时，宽度调整部分314可将关注关键帧的残存背景区域Wb的区域宽度设置为大于设置关注关键帧之前。以这种方式，当在运动过渡图像中指示例如被摄体的期望的状态的图像部分的区域较窄并且因此不容易被观察到等时，如果用户指示指示期望的状态的图像部分作为关注关键帧，则该部分的观察等变得容易。图像的合成方向不限于水平方向，并且可以是例如垂直方向。例如，沿侧向方向较长的被摄体可被沿纵向方向合成，像在柔道的寝技等情况下一样。另外，基于来自被摄体信息产生单元22的被摄体信息，可确定应该针对合成方向设置哪个垂直方向。
另外，可根据被摄体的状态调整合成位置和合成方向。例如，从排除背景区域的运动过渡有效区域提取移动被摄体部分。另外，根据例如移动被摄体的运动的状态粘贴提取的移动被摄体图像。图16表示根据移动被摄体的状态调整合成位置和合成方向的情况。例如，当观测网球拍的移动时，球拍以具有身体作为轴线的弧形移动。因此，合成方向被调整为根据例如移动被摄体的移动的状态指示的箭头，指示球拍的图像的剩余背景图像被以弧形合成，并且因此能够产生更接近实际移动的运动过渡图像。
另外，可使用第一产生操作产生指示运动过渡的移动图像。在这种情况下，执行图3的从步骤ST1到步骤ST11的处理，并且输出产生的合成完成图像。接下来，该处理返回到步骤ST9，然后使用产生的合成完成图像和下一关键帧的合成目标图像执行从步骤ST9到步骤ST11的处理，由此产生并且输出新合成完成图像。如果执行这种处理，则能够产生指示运动过渡的移动图像。
另外，可使用第二产生操作产生指示运动过渡的静止图像。在这种情况下，该处理从图11的步骤ST28前进至步骤ST30，并且当在步骤ST32中确定接受已结束时，输出合成完成图像。当接受结束时，每个关键帧的合成目标图像的合成完成。因此，输出的合成完成图像是指示运动过渡的静止图像。
另外，运动过渡图像的产生不限于沿如上所述的时间方向合成各个图像以在前面显示最新状态的情况，并且可通过沿相反时间方向执行合成来在前面显示原始状态。需要注意的是，这种情况的连接方向是与当沿所述时间方向合成图像时的连接方向相反的方向。
如上所述，根据本技术，能够容易地产生运动过渡图像，并且即使针对在执行运动(如同例如棒球比赛等中的投球一样)的同时其需要的帧宽度动态地改变的目标也能够容易地产生能够由用户容易地观看的运动过渡图像。另外，在成像期间，能够通过在监视屏幕上显示意见而根据图像自动设置合成区域，而不使捕捉在受限制的拍摄环境(变焦、拍摄距离等)中被执行，因此，能够显著增强方便性。
另外，如上所述，在说明书中解释的处理顺序能够由硬件、由软件以及由组合硬件和软件的结构实现。在处理由软件实现的情况下，可在被包括在专用硬件中的计算机内的存储器中安装记录处理序列的程序并且执行该程序。替代地，也可将程序安装在能够执行各种类型的处理的通用计算机中并且执行该程序。
例如，程序能够被预先记录在作为记录介质的硬盘或ROM(只读存储器)上。替代地，程序能够被暂时地或永久地存储(记录)在可移动记录介质中，诸如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)磁盘、DVD(数字通用盘)、磁盘或半导体存储卡。这种可移动记录介质能够被提供作为所谓的封装软件。
另外，程序不仅能够被从可移动记录介质安装在计算机上，还能够经网络(诸如，LAN(局域网)或互联网)从下载站点以无线或有线方式被传送到计算机。在这种计算机中，以前述方式传送的程序能够被接收并且安装在记录介质(诸如，内置硬盘)上。
需要注意的是，本技术不应被解释为局限于本技术的上述实施例。本技术的实施例以举例说明的形式公开本技术，并且很明显地，本领域技术人员能够在不脱离本技术的主旨的情况下执行实施例的修改或替换。换句话说，为了确定本技术的主旨，应该考虑权利要求。
另外，本技术也可如下构造。
(1)一种图像处理装置，包括：
图像选择单元，被构造为根据被摄体信息，针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度；和
图像合成单元，被构造为把输入帧中的具有决定的宽度的合成目标图像沿预定方向平行于合成完成图像地与合成目标图像合成。
(2)如(1)所述的图像处理装置，其中所述图像选择单元根据被摄体信息决定输入帧中的移动被摄体层和背景层中的至少一个的宽度。
(3)如(2)所述的图像处理装置，其中所述图像选择单元提取输入帧的移动被摄体层中被摄体信息指示特定状态的区域作为关注区域，并且决定关注区域的区域宽度作为用于把输入帧的背景层与合成完成 图像进行合成的宽度。
(4)如(2)或(3)所述的图像处理装置，其中所述图像选择单元基于输入帧的移动被摄体层中的移动被摄体的宽度决定用于把输入帧的移动被摄体层与合成完成图像进行合成的宽度。
(5)如(3)所述的图像处理装置，其中所述移动被摄体是人体，以及
其中图像选择单元使用人体检测掩模检测人体的预期部分，由此决定关注区域的区域宽度以使得该预期部分被包括在关注区域中。
(6)如(3)所述的图像处理装置，其中所述图像选择单元使用累积面积掩模决定关注区域的区域宽度以使得移动被摄体的一部分的累积面积具有预定比率。
(7)如(2)至(6)中任何一项所述的图像处理装置，其中所述图像选择单元根据图像帧尺寸和已经进行合成的图像的图像尺寸决定将要合成的图像的帧的数量。
(8)如(7)所述的图像处理装置，其中，当图像选择单元根据输入帧决定关键帧并且根据图像帧尺寸和通过合成关键帧的合成目标图像而产生的图像的图像尺寸来改变将要合成的图像的帧的数量时，图像选择单元根据改变后的帧的数量再次决定关键帧。
(9)如(7)或(8)所述的图像处理装置，其中，作为包括合成目标图像的移动被摄体层中的预期移动被摄体的关注区域的关注区域，图像选择单元调整关注区域的区域宽度，以使得通过经由接合合成目标图像的关注区域与在合成完成图像中最终合成的图像的关注区域来执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。
(10)如(9)所述的图像处理装置，其中所述图像选择单元以相等的调整宽度执行关注区域的每一个的宽度的调整，以使得通过执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。
(11)如(9)所述的图像处理装置，其中所述图像选择单元以根据关注区域的区域宽度的调整宽度执行关注区域的每一个的宽度的调整，使得通过执行合成而产生的图像的尺寸基本上与图像帧尺寸一致。
(12)如(9)所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时，图像选择单元基于被摄体信息执行宽度调整以使得预期移动被摄体的更多的关注区域被留下，并且当关注区域的区域宽度将要被扩大时，图像选择单元执行宽度调整以使得预期移动被摄体的更多的关注区域被包括在关注区域中。
(13)如(9)所述的图像处理装置，其中，当关注区域的区域宽度将要被减小时，图像选择单元随着相对于每个帧图像的关注关键帧的帧间隔的变长而增加帧图像的调整宽度，并且当关注区域的区域宽度将要被扩大时，图像选择单元增加关注关键帧的帧图像的调整宽度或随着相对于每个帧图像的关注关键帧的帧间隔的缩短而增加帧图像的调整宽度。
(14)如(13)所述的图像处理装置，其中所述关注关键帧是由用户指示的关键帧或基于被摄体信息决定的关键帧。
工业应用性
根据本技术的图像处理装置、图像处理方法和程序，根据被摄体信息针对每个输入帧决定将要与合成完成图像合成的合成目标图像的宽度。另外，沿预定方向合成合成目标图像，以使得输入帧的具有决定的宽度的合成目标图像与合成完成图像平行，并且由此产生指示被摄体的运动过渡的运动过渡图像。由于这个原因，在不执行用于针对每个帧图像指示包括被摄体的区域的用户的操纵或由用户为了指示图像接合的位置而执行的处理的情况下，能够根据被摄体的状态自动地执行图像的提取和接合，并且由此能够容易地产生期望的运动过渡图像。因此，本技术能够被应用于视频照相机或数字静止照相机、具有成像功能的移动设备(诸如，移动电话或平板计算机)、记录捕捉图像的图像信号的服务器或处理图像信号的编辑装置、视频再现装置、计算机装置等。
标号列表
10 系统
21 图像输入单元
22 被摄体信息产生单元
23 被摄体信息输入单元
30 图像处理装置
31 图像选择单元
32 图像合成单元
33 图像输出单元
34 合成图像更新保存单元
41 输出装置
221 物体检测部分
222 移动被摄体检测部分
311 关键帧确定部分
312 合成区域设置部分
313 合成帧数计算部分
314 宽度调整部分
315 提取处理部分
321 层分离部分
322 层处理部分
323 层合成部分