编辑设备、编辑方法、程序以及存储介质.pdf

本发明提供了编辑设备、编辑方法、程序以及存储介质。该编辑设备包括：故事确定单元，确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；评估值计算单元，基于故事确定单元中所确定的故事以及一个或多个特征值，按照故事中的每个选择时间计算多个候选图像中的每一个的评估值，特征值是针对多个候选图像中的每一个所设置的并表示多个候选图像中的每一个的特征；图像选择单元，基于评估值计算单元中所计算出的评估值，按照每个选择时间从多个候选图像中选择候选图像；候选图像校正单元，基于评估值校正所选择的候选图像；以及编辑处理单元，按时间顺序链接按照每个选择时间所选择的候选图像和基于评估值而校正的候选图像。

1.  一种编辑设备，包括：
故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
候选图像校正单元，用于基于所述评估值校正所选择的候选图像；以及
编辑处理单元，用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。

2.  根据权利要求1所述的编辑设备，其中，所述候选图像校正单元在所述评估值等于或小于预定值的情况下校正所选择的候选图像。

3.  根据权利要求2所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像。

4.  根据权利要求3所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像的放大率。

5.  根据权利要求3所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像的拍摄时间。

6.  一种编辑设备，包括：
故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图 像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
故事校正单元，用于基于所述评估值校正所述故事；以及
编辑处理单元，用于按时间顺序链接按照每个选择时间所选择的候选图像。

7.  根据权利要求6所述的编辑设备，其中，所述故事校正单元在所述评估值等于或小于预定值的情况下校正所述故事。

8.  根据权利要求6所述的编辑设备，其中，所述故事校正单元基于用户操作校正所述故事。

9.  根据权利要求6所述的编辑设备，其中，所述故事校正单元以使所述评估值等于或小于预定值的方式校正所述故事。

10.  根据权利要求1至9中任一项所述的编辑设备，其中，所述评估值计算单元按照每个选择时间计算基于所述候选图像的特征值和所述候选图像的特征值的期望值的距离，以作为所述评估值。

11.  根据权利要求10所述的编辑设备，其中，所述图像选择单元按照每个选择时间来选择每个选择时间的评估值最小的候选图像。

12.  根据权利要求1至11中任一项所述的编辑设备，还包括：
图像评估单元，用于基于所述候选图像来设置关于所述候选图像的特征值。

13.  根据权利要求12所述的编辑设备，其中，在所述候选图像是具有超过预定时间的再现时间的运动图像的情况下，所述图像评估单元以使所述再现时间落入所述预定时间内的方式分割所述候选图像，并且对分割后的候选图像中的每一个设置所述特征值。

14.  根据权利要求1至13中任一项所述的编辑设备，其中，所述故事由下述时间函数来表示：该时间函数使用表示图像的特征量的特征值。

15.  一种编辑方法，包括：
确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故 事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
基于所述评估值校正所选择的候选图像；以及
按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。

16.  一种编辑方法，包括：
确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
基于所述评估值校正所述故事；以及
按时间顺序链接按照每个选择时间所选择的候选图像。

17.  一种程序，用于使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于在用于确定的单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所选择的候选图像的单元；以及
用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于 所述评估值而校正的候选图像的单元。

18.  一种程序，用于使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于在用于确定的单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所述故事的单元；以及
用于按时间顺序链接按照每个选择时间所选择的候选图像的单元。

19.  一种其上记录有程序的计算机可读记录介质，所述程序使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所选择的候选图像的单元；以及
用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像的单元。

20.  一种其上记录有程序的计算机可读记录介质，所述程序使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于所确定的故事以及一个或多个特征值，按照所述故事中的每 个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所述故事的单元；以及
用于按时间顺序链接按照每个选择时间所选择的候选图像的单元。

编辑设备、编辑方法、程序以及存储介质
技术领域
本公开涉及编辑设备、编辑方法、程序以及存储介质。
背景技术
近年来，随着诸如PC（个人计算机）的计算机的处理能力显著提高，变得能够在不使用特殊设备的情况下在实际处理时间内编辑图像（例如，运动图像/静止图像）。此外，根据上述情况，例如，以个人或家庭的方式来编辑图像的用户的数量正在增加。这里，为了编辑图像，例如，需要各种操作，诸如“图像（素材）分类”、“故事确定”、“图像选择”以及“关于如何链接图像的选择”。因此，需要对图像编辑进行自动化。
在这样的状态下，开发了自动编辑图像的技术。例如，提供了作为如下技术的日本专利公开2009-153144：该技术从运动图像中提取反映由运动图像表示的内容流的事件；并且自动生成文摘图像（digest image），该文摘图像链接反映内容流的各场景。此外，接下来的日本专利公开2012-94949公开了按照每个选择时间从多个候选图像中选择对应于故事的图像并编辑所选择的图像的技术。
发明内容
在使用运动图像或静止图像来执行自动编辑并获取最终图像的情况下，重要的是选择素材图像。在这种情况下，当不存在适合作为素材的图像时，假设难以沿着故事执行编辑。
因此，甚至在不存在作为素材最优的图像的情况下，也需要能够实现基于故事的编辑。
根据本公开的实施例，提供了一种编辑设备，包括：故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图 像的参考；评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；候选图像校正单元，用于基于所述评估值校正所选择的候选图像；以及编辑处理单元，用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。
候选图像校正单元可以在所述评估值等于或小于预定值的情况下校正所选择的候选图像。
候选图像校正单元可以以使所述评估值等于或小于预定值的方式校正所选择的候选图像。
候选图像校正单元可以以使所述评估值等于或小于预定值的方式校正所选择的候选图像的放大率。
候选图像校正单元可以以使所述评估值等于或小于预定值的方式校正所选择的候选图像的拍摄时间。
根据本公开的实施例，提供了一种编辑设备，包括：故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；故事校正单元，用于基于所述评估值校正所述故事；以及编辑处理单元，用于按时间顺序链接按照每个选择时间所选择的候选图像。
故事校正单元可以在所述评估值等于或小于预定值的情况下校正所述故事。
故事校正单元可以基于用户操作校正所述故事。
故事校正单元可以以使所述评估值等于或小于预定值的方式校正所述故事。
评估值计算单元可以按照每个选择时间计算基于所述候选图像的特征值和所述候选图像的特征值的期望值的距离，以作为所述评估值。
图像选择单元可以按照每个选择时间来选择每个选择时间的评估值最小的候选图像。
编辑设备还可以包括图像评估单元，用于基于所述候选图像来设置关于所述候选图像的特征值。
在所述候选图像是具有超过预定时间的再现时间的运动图像的情况下，所述图像评估单元可以以使所述再现时间落入所述预定时间内的方式分割所述候选图像，并且对分割后的候选图像中的每一个设置所述特征值。
故事可由使用表示图像的特征量的特征值的时间函数来表示。
根据本公开的实施例，提供了一种编辑方法，包括：确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；基于所述评估值校正所选择的候选图像；以及按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。
根据本公开的实施例，提供了一种编辑方法，包括：确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；基于所述评估值校正所述故事；以及按时间顺序链接按照每个选择时间所选择的候选图像。
根据本公开的实施例，提供了一种程序，用于使得计算机起到如下单元的作用：用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；用于基于在用于确定的单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个 候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；用于基于所述评估值校正所选择的候选图像的单元；以及用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像的单元。
根据本公开的实施例，提供了一种程序，用于使得计算机起到如下单元的作用：用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；用于基于在用于确定的单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；用于基于所述评估值校正所述故事的单元；以及用于按时间顺序链接按照每个选择时间所选择的候选图像的单元。
根据本公开的实施例，提供了一种其上记录有程序的计算机可读记录介质，该程序使得计算机起到如下单元的作用：用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；用于基于所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；用于基于所述评估值校正所选择的候选图像的单元；以及用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像的单元。
根据本公开的实施例，提供了一种其上记录有程序的计算机可读记录介质，该程序使得计算机起到如下单元的作用：用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；用于基于所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候 选图像中的每一个的特征；用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；用于基于所述评估值校正所述故事的单元；以及用于按时间顺序链接按照每个选择时间所选择的候选图像的单元。
根据以上描述的本公开的实施例，甚至在不存在作为素材最佳的图像的情况下，也需要能够实现基于故事的编辑。
附图说明
图1是示出根据本公开的实施例的编辑设备中的根据编辑方法的处理的示例的流程图；
图2是示出根据本公开的实施例的为候选图像设置的特征值的示例的说明图；
图3是示出使用C1和C2两种类型作为类别（C）并对候选图像（或素材）A、B、C、D、E、F等进行评分的示例的示意图；
图4是示出在作为类别C存在c1和c2两种类别的情况下的故事的特性图；
图5是示出使图3和图4重叠的状态的特性图；
图6是示出根据本公开的实施例的编辑设备中的故事确定处理的示例的流程图；
图7是示出根据本公开的实施例的编辑设备中的评估值计算处理的示例的流程图；
图8是用于说明根据本公开的实施例的编辑设备中的图像选择处理的示例的说明图；
图9是用于说明根据本公开的实施例的编辑设备中的图像选择处理的另一示例的说明图；
图10是示出改变候选图像的状态的示意图；
图11是示出裁剪（crop）和推摄（zoom up）候选图像F的画面的状态的示意图；
图12是示出根据本公开的实施例的编辑设备中的图像选择处理的示例的流程图；
图13是示出图12的步骤S502中的素材改变处理的流程图；
图14是示出改变在选择时间t=6与选择时间t=8之间的故事的示例的示意图；
图15是用于说明在显示屏幕上使用图形UI来改变故事的过程的示意图；
图16是示出根据本公开的实施例的编辑设备的配置的示例的框图；以及
图17是示出根据本公开的实施例的编辑设备100的硬件配置的示例的说明图。
具体实施方式
下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
此外，下面按下列顺序给出说明。
1.根据本公开的实施例的方法
2.根据本公开的实施例的控制设备
3.根据本公开的实施例的程序
4.记录根据本公开的实施例的程序的存储介质
（根据本公开的实施例的方法）
在说明根据本公开的实施例的编辑设备（该编辑设备在下面可被称为“编辑设备100”）的配置之前，说明根据本公开的实施例的图像的编辑方法。这里，根据本公开的实施例的图像表示静止图像或运动图像。以下，存在将可用作编辑目标图像的候选图像称为“素材”的情况。此外，以下所示的与根据本公开的实施例的编辑方法相关联的处理可以被解释为依据根据本公开的实施例的编辑方法的处理。
[编辑方法的概述]
如上所述，即使使用相关技术或故事模板来执行自动编辑，也可能发生不能选择与故事匹配的候选图像的情况。如上所述，在不能选择候选图像的情况下，由于可获取不完整图像作为编辑后的图像，因此不限制编辑 后的图像用作用户期望图像。
因此，根据本公开的实施例的编辑设备100基于由时间函数表示的故事和为每个候选图像所设置的特征值（即，得分），按照每个选择时间计算每个候选图像的评估值。此外，编辑设备100基于按照每个选择时间所算出的评估值来从候选图像中选择图像。随后，编辑设备100通过按时间顺序链接与按照每个选择时间所选择的图像相对应的选择图像来生成编辑后的图像。
这里，根据本公开的实施例的故事表示编辑设备100编辑的最终作品的指向。该故事是用以从多个候选图像中选择图像的参考，并且由时间函数表示（其具体示例稍后描述）。此外，根据本公开的实施例的选择时间表示故事中的用以计算评估值的时间。即，根据本公开的实施例的选择时间表示编辑设备100沿着故事执行选择候选图像的处理的时间。选择时间的示例包括从编辑开始时间起经过的时间（例如，由秒、分或小时来表示）。这里，例如，根据本公开的实施例的选择时间可预先定义或由用户适当地设置。
如上所述，编辑设备100基于由时间函数表示的故事和为故事候选图像所设置的特征值来顺序地计算每个选择时间的评估值，并且例如将每个选择时间的最小（或最大）评估值的候选图像（即，较高评估的候选图像）处理为每个选择时间的选择图像。因此，在根据本公开的实施例的编辑设备100中，能够防止在使用相关技术或故事模板来执行自动编辑的情况下可能会导致的没有选择每个选择时间中的选择图像。因此，编辑设备100可以按照用于图像选择的每个选择时间来从多个候选图像中选择对应于故事的图像，并且编辑所选择的图像。
此外，由于编辑设备100从多个候选图像中选择由所算出的评估值表示的高评估的候选图像（例如，最小评估值的评估图像或最大评估值的评估图像）作为选择图像，因此例如甚至在使用不确定地大的数量的候选图像来执行编辑的情况下，也可以沿着故事选择更适合的选择图像。因此，例如，甚至在候选图像动态地改变的情况（如，将图像社区网站中由多个用户任意添加或删除的图像处理为候选图像的情况）下，编辑设备100也能从候选图像中沿着故事选择更适合的选择图像。
此外，由于编辑设备100使用例如由时间函数表示的故事，因此能够根据选择时间的设置来扩展或精简故事。与此相反，由于故事模板是由作为人的创建者所创建的，因此难以自动改变故事模板。即，难以通过将改 变添加到故事模板来扩展或精简故事，并且例如在使用故事模板来扩展或精简故事的情况下，需要准备多个故事模板并适当地改变这些故事模板。因此，通过使用由时间函数表示的故事，编辑设备100可以以比如下情况更容易的方式来扩展或精简故事：在该情况下，例如，使用这样的故事模板，在该故事模板中，除非改变所使用的故事模板本身，否则难以扩展或精简故事。因此，通过使用由时间函数表示的故事，编辑设备100可以执行具有更高的一般通用性的图像编辑。
[根据编辑方法的处理的具体示例]
接下来，给出对用于实现根据本公开的实施例的上述编辑方法的处理的示例的说明。图1是示出根据本公开的实施例的编辑设备100中的根据编辑方法的处理的示例的流程图。
编辑设备100确定素材组（S100）。通过执行步骤S100中的处理，确定候选图像。这里，根据本公开的实施例的素材组表示按预定主题（诸如，体育节、结婚典礼和海洋）分组的候选图像。例如，根据本公开的实施例的素材组可由用户手动分类或者通过执行图像处理而由编辑设备100或诸如服务器的外部设备来自动分类。
编辑设备100例如基于用户操作来执行步骤S100中的处理。这里，根据本公开的实施例的“基于用户操作来执行处理”例如是指编辑设备100基于以下信号执行处理：从操作单元（稍后描述）传递的与用户操作对应的控制信号；从诸如远程控制器的外部操作装置传送的与用户操作对应的外部操作信号；或者经由网络（或以直接方式）从外部设备传送的操作信号。
此外，根据本公开的实施例的编辑设备100可以不执行图1所示的步骤S100中的处理。在上述情况下，例如，编辑设备100从基于用户操作而确定的且未被特别分组的候选图像中选择选择图像。
编辑设备100提取与编辑后的作品的指向相对应的多个关注点，并且向每个关注点中的候选图像分配得分。此外，编辑设备100通过根据时间轴设置得分期望值来设置故事以定义作品。随后，编辑设备100基于作品的时间轴来针对故事的期望值顺序地选择具有最适合的得分的候选图像。
更具体地，首先，对候选图像进行分类，并确定用以定义作品的指向的关注点。在这里，关注点被称为“类别（C）”。类别例如包括在拍摄图像时的视角、被拍摄人物的数量、快门速度、GPS的位置信息以及拍摄 时间。类别的内容不被特别限制或约束。此外，针对每个类别来确定候选图像的得分。得分可以是具体值或通过适当地执行诸如归一化的处理而获取的值。
编辑设备100基于例如为在上述步骤S100中确定的候选图像而设置的特征值来执行处理。这里，对根据本公开的实施例的为候选图像设置的特征值给出说明。
图2是示出根据本公开的实施例的为候选图像所设置的特征量的示例的说明图。这里，图2示出了为图像m1至m14所设置的特征量的示例。
在候选图像中，为每个类别（C）设置特征量（或所谓的得分）。这里，根据本公开的实施例的类别是图像中的用以对图像进行分类并定义编辑后的图像的指向的关注点。例如，根据本公开的实施例的类别可被预先定义或者由用户从多个类别候选中任意选择。根据本公开的实施例的类别的示例包括：（c1）时间，其表示基于图像拍摄时间的关注点；（c2）地点，其表示基于图像拍摄地点的关注点；（c3）视角，其表示基于视角的关注点；（c4）肖像程度，其表示基于图像对象是否是特定图像对象的关注点；以及（c5）运动程度，其表示基于拍摄目标或成像设备正移动的程度的关注点（其可包括平移或缩放）。这里，根据本公开的实施例的类别不限于上述。例如，根据本公开的实施例的类别可表示基于对象数量、快门速度等的关注点。
编辑设备100通过对每个候选图像执行图像分析或者参考每个候选图像的元数据来对每个候选图像设置特征值。例如，在设置地点（c2）的特征值的情况下，编辑设备100根据在通过使用GPS（全球定位系统）等而获取的设备的位置与拍摄每个候选图像的位置之间的一维距离来按10个步阶设置每个候选图像的特征值。另外，在设置图像角度（c3）的特征值的情况下，编辑设备100以广角1和远距视图（telephoto view）10来按10个步阶设置每个候选图像的特征值。在设置肖像程度（c4）的特征值的情况下，编辑设备100按10个步阶来设置每个候选图像的特征值，其中，不具有对象的候选图像为1并且关于特定对象（例如，在中心拍摄的对象）的候选图像为10。这里，编辑设备100中的设置特征值的方法不限于上述，并且例如，可以通过对具体值进行归一化来设置归一化特征值。
此外，例如，在候选图像是具有超过预定时间的再现时间的运动图像 的情况下，编辑设备100可以按时间轴分割候选图像，以使得再现时间落入预定时间内。在上述情况下，编辑设备100对每个分割后的候选图像设置特征值。这里，例如，通过参考候选图像的元数据，编辑设备100指定候选图像的再现时间，但根据本公开的实施例的指定候选图像的再现时间的方法不限于上述。此外，例如，可预先定义或基于用户操作设置上述预定时间段。
如所述，通过按时间轴分割候选图像以使得再现时间落入预定持续时间内、并且通过对每个分割后的候选图像设置特征值，与对未分割的候选图像设置特征值的情况相比，编辑设备100可以设置更接近图像的特征的特征值。
图3是示出类别（C）包含C1和C2两种类型并且候选图像（或素材）A、B、C、D、E、F等被评分的示例。在图3中，横轴表示类别C1的特征值，并且纵轴表示类别C2的特征值。参考作为示例的候选图像A（或素材A），候选图像A的类别C1的特征值为“2”而类别C2的特征值为“9”。
在以下说明中，假设作为类别C而关注的类别被表示为C1、C2等，并且素材M被表示为m1、m2、m3等。随后，关于候选图像（或素材）M的类别（C）的特征值被表示为“S(M,C)”。例如，图2所示的图像m1中的类别（c2）的特征值被表示为S(m1,c2)=1。这里，尽管图2示出了对每个候选图像设置多个类别（C）的示例，但是不必说，根据本公开的实施例可对每个候选图像设置仅一个类别（C）。
例如，如上所述，编辑设备100对每个候选图像设置特征值。这里，编辑设备100对例如在步骤S100中被确定为候选图像的图像设置特征值，但根据本公开的实施例的编辑设备100中的处理不限于上述。例如，无论是否执行步骤S100中的处理，编辑设备100都可以对可用作候选图像的图像执行设置特征值的处理。这里，例如，在不执行设置特征值的处理的情况下，编辑设备100可以将候选图像（或可用作候选图像的图像）传送至诸如服务器的外部设备，并且使用在外部设备中所设置的特征值来执行计算评估值的处理（稍后所述）。
再次参照图1，对根据本公开的实施例的编辑设备100中的根据编辑方法的处理的示例给出说明。当在步骤S100中确定了素材组时，编辑设备100确定故事（S102：故事确定处理）。例如，编辑设备100基于从操作单元（稍后描述）传递的与用户操作相对应的操作信号或者从诸如远程 控制器的外部操作装置传送的与用户操作相对应的外部操作信号来确定故事。这里，编辑设备100中的确定故事的方法不限于上述。例如，在接收到从经由网络（或以直接方式）连接的外部设备传送的、记录故事的故事信息的情况下，编辑设备100可以将由故事信息表示的故事确定为要在处理中使用的故事（稍后描述）。
如上所述，根据本公开的实施例的故事是用以从多个候选图像中选择图像的参考并由时间函数来表示。在特定时间，定义关于故事的、每个类别中的得分的期望值（SX）。例如，类别c1中的在时间t处的期望值被表示为“SX(cn,t)”。故事被表示为如下的期望值：该期望值是按照每个类别定义的，并且随着时间改变。图4是示出在类别C由c1和c2两个构成的情况下的故事的特性图。如图4中的曲线特性所示，每个类别的期望值随着时间（t=0至11）改变。因此，例如，使用在选择时间t中的候选图像的特征值的期望值（SX）来表示故事。以下，在选择时间t处的候选图像中的类别（cn）的期望值（其中，“n”是等于或大于1的整数）被表示为“SX(cn,t)”。
图5是示出图3和图4重叠的状态的特性图。根据图5，关于沿着时间轴改变的故事，可以确定要选择的素材。在不存在与故事匹配的素材的情况下，可选择距故事距离最近的素材。
以下等式1至3表示根据本公开的实施例的故事的示例。这里，等式1示出用以基于候选图像（M）的特征值和候选图像的期望值两者来计算曼哈顿距离（Manhattan distance）D(M)(t)以作为在选择时间t的评估值的故事示例。这里，在本说明书中，存在作为在选择时间t的评估值的曼哈顿距离被表示为D(m,t)的情况。此外，等式2和等式3表示在选择时间t的每个类别的期望值的示例。这里，等式1和等式3中的N表示候选图像类别的数量。
D(M)(t)=Σn=1N|S(M,cn)-SX(cn,t)|(t)]]>    等式1
SX(c1,t)=12·t]]>    等式2
SX(ci,t)=t,i=2…N    等式3
这里，根据本公开的实施例的故事不限于上述等式1至3中的那些故事。例如，编辑设备100可在对类别（C）进行加权之后计算作为评估值的曼哈顿距离，而与实际距离无关。此外，例如，编辑设备100可以通过使用户输入关于类别（C）的期望值来使用基于用户操作的故事。此外，可以向用户呈现对应于时间函数的故事的曲线图（例如，具有横轴上的时间和纵轴上的期望值的曲线图），并且作为故事，使用基于用户操作而改变的且由曲线图表示的期望值的值。
[故事确定处理的示例]
这里，更详细地说明根据本公开的实施例的编辑设备100中的故事确定处理。图6是示出根据本公开的实施例的编辑设备100中的故事确定处理的示例的流程图。这里，图6示出在编辑设备100基于对应于用户操作的操作信号或对应于用户操作的外部操作信号来确定故事的情况下的处理示例。以下，对编辑设备100基于对应于用户操作的操作信号来确定故事的情况下的示例给出说明。
编辑设备100对故事进行初始化（S200）。这里，步骤S200中的处理对应于例如设置预先设置的故事的处理。例如，编辑设备100通过读取存储在存储单元（稍后描述）中的故事信息来执行步骤S200中的处理。这里，编辑设备100进行的步骤S200中的处理不限于上述处理。例如，编辑设备100可以与诸如存储故事信息的服务器的外部设备进行通信，并且使用从外部设备获取的故事信息来执行步骤S200中的处理。
当在步骤S200中对故事进行初始化时，编辑设备100呈现可适用的故事（S202）。这里，可适用的故事表示不与在步骤S208（稍后描述）中显示错误的故事相对应的故事。即，在步骤S202中呈现在步骤S200中初始化的故事。
当在步骤S202中呈现故事时，编辑设备100判定故事是否被指定（S204）。编辑设备100例如基于对应于用户操作的操作信号来执行步骤S204中的判定。
在步骤S204中判定故事未被指定的情况下，编辑设备100直到判定故事被指定为止才使该过程前进。此外，尽管图3中未示出，但是例如，在执行步骤S202中的处理之后在预定时间段内没有检测到操作信号的情况下，编辑设备100可终止故事确定处理（所谓的“超时”）。此外，在上述情况下，例如，编辑设备100向用户报告故事确定处理的终止。
在步骤S204中判定故事被指定的情况下，编辑设备100判定所指定的故事是否是可适用的故事（S206）。如上所述，例如，编辑设备100可以通过使用户输入关于类别（C）的期望值来使用基于用户操作的故事。在用户输入异常值的情况下，编辑设备100判定不是可适用的故事。
在步骤S206中判定是可适用的故事的情况下，编辑设备100报告错误（S208）。随后，编辑设备100由此开始重复步骤S202中的处理。这里，例如，尽管编辑设备100通过在显示屏幕上显示错误画面或者输出错误声音来从视觉上和/或听觉上报告错误，但是编辑设备100进行的步骤S208中的处理不限于上述处理。
此外，在步骤S206中判定是可适用的故事的情况下，编辑设备100判定故事是否被固定（步骤S210）。例如，编辑设备100在显示屏幕上显示画面以使用户选择是否要固定故事，并且基于对应于用户操作的操作信号执行步骤S210中的判定。
在步骤S210中未判定故事被固定的情况下，编辑设备100由此开始重复步骤S202中的处理。
在步骤S210中判定故事被固定的情况下，编辑设备100将步骤S204中所指定的故事确定为用于处理的故事（S212），从而终止故事确定处理。
编辑设备100通过例如执行图6所示的处理来确定故事。这里，不必说，根据本公开的实施例的故事确定处理不限于图6所示的示例。
再次参照图1，对根据本公开的实施例的编辑设备100中的根据编辑方法的处理示例给出说明。当在步骤S102中确定了故事时，编辑设备100然后计算关于候选图像的评估值（S104：评估值计算处理）。
[评估值计算处理的示例]
图7是示出根据本公开的实施例的编辑设备100中的评估值计算处理的示例的流程图。这里，图7示出了如下的示例：其中，编辑设备100在等式1中基于候选图像（M）的特征值和候选图像的期望值两者来计算曼哈顿距离D(M)(t)作为在选择时间t的评估值。在图7中，在假设每个候选图像如图2所示那样被表示为mx（其中，“x”是等于或大于1的整数）的情况下来给出说明。
编辑设备100设置t=0作为选择时间t的值（S300），并且设置x=0作为“x”的值，以定义评估值被计算的候选图像（S302）。
当执行步骤S302中的处理时，编辑设备100计算关于候选图像（mx）的评估值D(mx)(t)（S304）。这里，编辑设备100通过使用例如在等式1和图6的步骤S212中固定的期望值来计算曼哈顿距离D(mx)(t)作为评估值。
当在步骤S304中计算了评估值D(mx)(t)时，编辑设备100存储所算出的评估值D(mx)(t)（S306）。随后，编辑设备100将“x”的值更新为“x+1”（S308）。
当在步骤S308中更新了“x”的值时，编辑设备100判定“x”的值是否小于候选图像的数量（S310）。在步骤S310中判定“x”的值小于候选图像的数量的情况下，由于存在评估值未被计算的候选图像，因此编辑设备100由此开始重复步骤S304中的处理。
在步骤S310中未判定“x”的值小于候选图像的数量的情况下，编辑设备100将“t”的值更新为“t+Δt”（S312）。这里，根据本公开的实施例的Δt定义选择时间t的间隔。在图7中，尽管示出了Δt恒定的情况，但是根据本公开的实施例的Δt不限于上述。例如，根据本公开的实施例的Δt可以是由用户改变的非恒定值或者可通过编辑设备100随机地设置。
当在步骤S312中更新“t”的值时，编辑设备100判定“t”的值是否小于编辑后的图像的总再现时间T（S314）。这里，根据本公开的实施例的总再现时间T可以是预先定义的值或者基于用户操作而设置的值。
在步骤S314中判定“t”的值小于总再现时间T的情况下，编辑设备100由此开始重复步骤S302中的处理。此外，在步骤S314中未判定“t”的值小于总再现时间T的情况下，编辑设备100终止评估值计算处理。
例如，通过执行图7中的处理，编辑设备100按照每个选择时间t计算每个候选图像的评估值。这里，不必说，根据本公开的实施例的评估值计算处理不限于图7所示的示例。
再次参照图1，对根据本公开的实施例的编辑设备中的根据编辑方法的处理的示例给出说明。当在步骤S104中计算了关于候选图像的评估值时，编辑设备100基于评估值而从候选图像中选择选择图像（S106：图像选择处理）。
图8是示出根据本公开的实施例的编辑设备100中的图像选择处理的示例的说明图。这里，图8示出通过将由等式1至3表示的故事应用于图2所示的候选图像m1至m14而按照每个选择时间“t”来算出的评估值 （图8所示的“A”）以及按照每个选择时间“t”来选择的选择图像（图8所示的“B”）。
如图8所示，在计算曼哈顿距离D(M)(t)作为评估值的情况下，选择每个选择时间t的具有最小评估值的候选图像作为选择图像。这里，根据本公开的实施例的编辑设备100不限于选择具有最小评估值的候选图像作为选择图像，而是可选择具有最大评估值的候选图像作为选择图像。即，基于评估值，编辑设备100选择具有较高评估值的候选图像作为选择图像。因此，编辑设备100可以按照每个选择时间沿着故事选择更适合的候选图像。此外，例如，在存在具有最小（或最大）评估值的多个候选图像的情况下，编辑设备100可随机地从这多个候选图像中选择选择图像或者根据预先定义的候选图像优先级来选择选择图像。
这里，根据本公开的实施例的编辑设备100中的图像选择处理不限于如图8所示的将同一候选图像多次选择作为选择图像的处理。图9是示出根据本公开的实施例的编辑设备100中的图像选择处理的另一示例的说明图。这里，类似于图8，图9示出了通过将由等式1至3表示的故事应用于图2所示的候选图像m1至m14而按照每个选择时间“t”来算出的评估值（图9所示的“C”）以及按照每个选择时间“t”来选择的选择图像（图9中的“D”）。
如图9所示，编辑设备100可以排除曾经被选择为选择图像的候选图像，并且从进行排除之后的候选图像中选择选择图像。通过选择如图9所示的选择图像，由于防止了同一候选图像被选择为选择图像，因此与执行图8所示的处理的情况下相比，编辑设备100可生成更通用的图像。
根据上述方法，可以从多个候选图像中沿着故事可靠地选择选择图像。同时，假设有如下情况：其中，取决于选择时间，不存在与期望值匹配的候选图像。例如，在图5所示的示例中，在选择时间t=6在接近的位置未提供适合的候选图像。尽管与在选择时间t=6的期望值最接近的素材是候选图像F，但是候选图像C距在选择时间t=6的期望值的距离几乎与候选图像F距在选择时间t=6的期望值的距离相同。然而，由于素材C和素材F均与在时间t=6的期望值分离一定的距离，因此即使选择候选图像C和候选图像F中的任一个，也不能导致得到选择沿着故事的适合图像。
因此，在本实施例中，通过制作候选图像F并使其接近故事在选择时间t=6的期望值，可以选择在选择时间t=6的最佳素材。因此，通过实 现使与故事的期望值分离的候选图像接近候选图像的期望值的处理，可以选择适合于故事的选择图像。
以下详细给出说明。例如，假设类别c1表示“拍摄对象大小”并且类别c2表示“拍摄时间”。此外，假设对象大小随着特征值在类别c1中变大而变大，并且时间轴上的拍摄时间随着特征值在类别c2中变大而前进。如上述，在图5中，候选图像C与故事在选择时间t=6处的期望值分离。在这种情况下，从类别c1的角度（即，对象大小）来看，在选择时间t6的期望值为8并且以相对大的大小拍摄的对象候选图像是理想的，但是，候选图像F的特征值为6，即，没有以相对大的大小来拍摄对象。因此，剪切并修剪候选图像F的图像的周围部分，并且，因此，推摄并放大对象。以此方式，如由图10中的箭头A所示，候选图像F变得接近在选择时间t=6的故事的期望值。
此外，在候选图像F是运动图像的情况下，通过在时间轴上提前剪切图像的时刻，可以在时间轴上将类别c2的拍摄时间提前。这样，如图10的箭头B所示，可以使素材F更接近在选择时间t=6的期望值。
首先，通过上述方法，找到在选择时间t处的候选图像。候选图像的得分关于类别c1被表示为S(m,c1)并且关于类别c2被表示为S(m,c2)。在图5所示的候选图像F的情况下，S(m,c1)为6并且S(m,c2)为6。此外，如图5所示，在选择时间t=6的得分期望值具有SX(c1,t)=8和SX(c2,t)=5。当根据曼哈顿距离计算得分期望值与实际得分之间的距离时，如下所述建立D(M)(t)=D(m,t)=3。
D(m,t)=Σn|S(m,cn)-SX(cn,t)|-|6-8|÷|6-5|=3]]>
另外，将c1<c2设置为类别优先级。最适合的素材是D(m,t)=0，并且期望尽量地提供D(m,t)=0。根据类别优先级，由于c1较低，因此首先关注类别c1以执行调整从而提供D=0。换言之，在调整候选图像的特征值的情况下，按从较低优先级的类别开始的顺序执行调整。由于类别c1表示“对象推摄程度”，因此可使得S(m,c1)更接近SX(c1,t)，以缩短与c1相关联的距离。即，可使得S(m,c1)的值更接近“8”。
如上所述，假设随着S(m,c1)的值变大，对象大小变大。当使得S(m,c1)的值从“6”接近“8”时，对象大小被放大。因此，通过裁剪并推摄如图11所示的候选图像F的画面，可以使得S(m,c1)的值接近“8”。
同时，即使S(m,c1)的值大于SX(c1,t)的值，也需要缩小候选图像F，但是，在执行缩小的情况下，不存在周围图像（即，边缘图像）。因此，在S(m,c1)的值大于SX(c1,t)的值的情况下，关注下一较低优先级的类别。即，在该示例中，关注类别c2。
由于类别c2表示“拍摄时间”，因此改变候选图像F的拍摄时间以改变该值。这里，当从运动图像获取候选图像F时，改变获得候选图像F的时间。更具体地，通过在时间轴上将在运动图像中剪切候选图像F的时刻提前，可以在时间轴上将类别c2的拍摄时间提前。这样，可以将S(m,c2)的值从“6”改变为“5”。这里，在运动图像的情况下，一般地，当使用在不同拍摄时间处的素材时，由于拍摄对象或结构改变，因此假设除了时间外的其他参数改变。因此，可重新评估其他参数。如上所述，通过改变候选图像F的对象大小和拍摄时间，可以使得候选图像F与故事的期望值匹配。
[图像选择处理的示例]
这里，更详细地说明根据本公开的实施例的编辑设备100中的图像选择处理。图12是表示根据本公开的实施例的编辑设备100中的图像选择处理的示例的流程图。这里，图12示出在如下情况下的图像选择处理的示例：其中，编辑设备100基于等式1中所示的候选图像（M）的特征值和候选图像的期望值两者来计算曼哈顿距离D(M)(t)，作为在选择时间t的评估值。此外，如图8所示，图12示出可以在多个选择时间t将同一候选图像选择作为选择图像的图像选择处理的示例。另外，图12示出在如下情况下的处理：其中，当存在具有相同评估值的多个候选图像时，优先选择较早处理的候选图像作为选择图像。
编辑设备100设置min(t)=∞，作为在选择时间t的评估值（或曼哈顿距离）的最小值min(t)的值（S400）。替选地，可设置min(t)=P(其中，P是预定值)或者min(t)=0。此外，类似于图7中的步骤S300和S302，编辑设备100设置t=0作为选择时间t的值（S402），并且设置x=1作为x的值，以定义评估值被计算的候选图像（S404）。
当执行步骤S404中的处理时，编辑设备100判定评估值D(mx)(t)的值是否小于min(t)（S406）。在步骤S406中未判定评估值D(mx)(t)的值小于min(t)的情况下，编辑设备100执行稍后要描述的步骤S410中的处理。
在步骤S406中判定评估值D(mx)(t)的值小于min(t)的情况下，编辑 设备100将min(t)的值更新为min(t)=D(mx)(t)（S408）。
在S406中未判定评估值D(mx)(t)小于min(t)或者执行步骤S408中的处理的情况下，编辑设备100将“x”的值更新为“x+1”（S410）。
当在步骤S410中更新了“x”的值时，编辑设备100判定“x”的值是否小于候选图像的数量（S412）。在步骤S412中判定“x”的值小于候选图像的数量的情况下，编辑设备100由此开始重复步骤S406中的处理。
此外，在步骤S412中未判定“x”的值小于候选图像的数量的情况下，判定min(t)的值是否小于预定阈值（Threshold）（S500）。随后，在min(t)的值等于或大于预定阈值的情况下，执行候选图像（或素材）的改变处理（S502）。在步骤S502中，如上所述，执行从较低类别按优先顺序改变素材的处理以变得接近期望值，将改变后的候选图像的评估值新设置为min(t)。在步骤S502之后，流程进行到步骤S414。
此外，在步骤S500中min(t)的值小于预定阈值的情况下，流程进行到步骤S414。在步骤S414中，编辑设备100将对应于min(t)的候选图像设置为在选择时间“t”的选择图像（S414）。
当执行步骤S414中的处理时，编辑设备100将“t”的值更新为“t+Δt”（S416）。随后，编辑设备100判定“t”的值是否小于编辑后的图像的总再现时间T（S418）。
在步骤S418中判定“t”的值小于总再现时间T的情况下，编辑设备100由此开始重复步骤S404中的处理。此外，在步骤S418中未判定“t”的值小于总再现时间T的情况下，编辑设备100终止图像选择处理。
例如，通过执行图12所示的处理，编辑设备100选择每个选择时间处的具有最小评估值的候选图像（即，具有较高评估的候选图像）作为在每个选择时间的选择图像。这里，不必说，根据本公开的实施例的图像选择处理不限于图12所示的示例。
图13是示出在图12的步骤S502中的素材改变处理的流程图。这里，类似于图10中的示例，对改变候选图像推摄比率（即，放大比率）以改变素材特性的情况给出说明。在步骤S600中，对应于min(t)的是候选图像F。首先，在步骤S600中，将候选图像F的最小评估值设置为min(t)=D，m=1。这里，“m”表示表明候选图像改变了多少级别的数值。接下来，在步骤S602中，将通过将候选图像F的图像放大（或推摄）一个级别而获取的图像称为CE(m)。
在下一步骤S604中，关于表示在CE(m)与在选择时间t的期望值之间的距离的评估值D(CE(m))，判定是否成立D(CE(m))<D。在D(CE(m))<D的情况下，流程进行到步骤S606以新设置D(CE(m)),m=m+1，并且流程返回到步骤S602以执行随后的处理。因此，在D(CE(m))<D的情况下，通过重复执行步骤S602、S604和S606中的处理，减小D(CE(m))的值。
此外，在步骤S604中D(CE(m))≥D的情况下，流程进行到步骤S608以判定是否成立m≠1，并且在m≠1的情况下，流程进行到步骤S610。在步骤S610中，设置min(t)=D并且终止处理。这样，将min(t)的值设置为在步骤S602、S604和S606的循环中所算出的最小值。这里设置的min(t)的值被用在图12中的步骤S414之后的处理中，并且在步骤S414中，将对应于min(t)的改变后的候选图像F设置为在选择时间“t”的选择图像。
同时，在步骤S608中m=1的情况下，由于候选图像F的评估值大于在步骤S600中所设置的值D，因此判定即使在类别c1中改变特征值也不能降低评估值，并且针对其他类别以相同方式来实现步骤S600之后的计算（S612）。例如，在下一较低优先级的类别为“拍摄时间”的情况下，在步骤S602中，将候选图像F的拍摄时间改变一个级别，并且将具有改变后的拍摄时间的候选图像设置为CE(m)。随后，与上述类似，在步骤S604中D(CE(m))<D的情况下，流程进行到步骤S606以新设置D(CE(m))=D,m=m+1，并且流程返回到步骤S602以执行随后的处理。因此，在D(CE(m))<D的情况下，减小D(CE(m))的值。此外，在步骤S604中D(CE(m))≥D的情况下，流程进行到步骤S608，并且在m≠1的情况下，流程进行到步骤S610。在步骤S610中，设置min(t)=D并且终止处理。
[改变故事的示例]
在上述示例中，在候选图像（或素材）与故事的期望值不匹配的情况下，执行处理以使得素材改变以变得接近期望值。同时，通过在这样的情况下改变故事，可以将素材与故事的期望值进行匹配。图14是示出将图3中的在选择时间t=6与选择时间t=8之间的故事改变为由图14所示的虚线表示的故事的示例的模式图。因此，在选择时间t=6至t=8附近的故事根据故事素材而改变，并且被连接至在这些选择时间前后的故事。这样，由于在选择时间t=6与选择时间t=8之间的故事的期望值与候选图像C匹配，因此，通过选择候选图像C，可以选择与故事匹配的选择图像。
在改变故事时，在如图15所示的显示屏幕上，期望使用诸如触摸面 板的图形UI来改变故事。这样，通过在观看屏幕时改变故事，可以抑制改变后的故事与原始故事有很大差别。
基于图15，说明在显示屏幕上使用图形UI来改变故事的过程。如图15所示，例如，对在t=7的期望值与候选图像大大分离并且难以改变候选图像的示例给出了说明。在这种情况下，改变故事期望值本身。此时，如图15所示，通过在曲线图上示出故事并且通过利用鼠标或触摸面板的用户操作改变故事的曲线，可以改变故事本身。
如上所述，在故事期望值和素材得分大大分离的情况下，通过改变素材或故事，可以选择最佳选择图像并沿着故事编辑作品。
此外，在上述说明中，尽管为了易于说明而例示了存在两种类别的情况，但是可设置更多类别。甚至在该情况下，通过与在两种类别的情况下相同的过程，也能够应用最佳素材。在图15的示例中，尽管在设置了许多类别时进行显示是非常复杂的，但是如果用户从多种类别中选择两种要改变的类别或者选择其中素材很可能设置在故事附近的两种类别，则能够生成二维曲线图。随后，通过对曲线图执行操作，能够以图形方式改变故事。
接下来，再次参照图1，对根据本公开的实施例的编辑设备100中的根据编辑方法的处理的示例给出了说明。当在步骤S106中选择了每个选择时间的选择图像时，编辑设备100通过按时间顺序链接各选择图像来执行编辑（S108：编辑处理）。
例如，通过执行图1所示的处理，编辑设备100可基于由时间函数表示的故事和为每个候选图像所设置的特征值来顺序地计算每个选择时间的评估值，并将每个选择时间的最小评估值的候选图像（或者较高评估的候选图像）设置为每个选择时间的选择图像。因此，例如，通过执行图1所示的处理，编辑设备100可以防止在使用现有技术或故事模板来执行自动编辑的情况下可能会导致的在每个选择时间中未选择选择图像。因此，例如，通过执行图1所示的处理，编辑设备100可以按照用于图像选择的每个选择时间从多个候选图像选择对应于故事的图像，并且编辑所选择的图像。这里，不必说，与根据本公开的实施例的编辑方法相关联的处理不限于图1所示的示例。
此外，尽管以上描述了编辑设备100执行与根据本公开的实施例的编辑方法相关联的处理的说明，但不限于由一个设备来实现与根据本公开的 实施例的编辑方法相关联的处理。例如，可以由例如假设连接到诸如云计算的网络的系统（或编辑系统）来实现与根据本公开的实施例的编辑方法相关联的处理（即，依据根据本公开的实施例的编辑方法的处理）。
(根据本公开的实施例的编辑设备)
接下来，对根据本公开的实施例的编辑设备100的配置示例给出说明，其中，编辑设备可以执行与根据本公开的实施例的编辑方法相关联的处理。图16是示出根据本公开的实施例的编辑设备100的配置示例的框图。
参照图16，编辑设备100例如包括存储单元102、通信单元104、控制单元106、操作单元108和显示单元110。
此外，例如，编辑设备100可包括ROM（只读存储器（未示出））以及RAM（随机存取存储器（未示出））。例如，编辑设备100通过作为数据通道的总线来连接各部件。这里，ROM（未示出）例如存储诸如在控制单元106中所使用的程序和计算参数的控制数据。RAM（未示出）临时存储例如由控制单元106执行的程序。
[编辑设备100的硬件配置示例]
图17是示出根据本公开的实施例的编辑设备100的硬件配置的示例的说明图。参照图17，编辑设备100例如包括MPU150、ROM152、RAM154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信单元164。此外，例如，编辑设备100通过作为数据通道的总线166来连接各部件。
MPU150由MPU（微处理单元）、对多个电路进行集成以实现控制功能的集成电路等形成，并且用作用以控制整个编辑设备100的控制单元106。此外，在编辑设备100中，MPU150可以起到如稍后所述的候选图像确定单元120、图像评估单元122、故事确定单元124、评估值计算单元126、图像选择单元128和编辑处理单元130的作用。
ROM152存储诸如在MPU150中所使用的程序和计算参数的控制数据。例如，RAM154临时存储由MPU150执行的程序。
记录介质156用作存储单元102，并且存储例如图像数据、故事信息、记录有如图2所示的图像特征值的图像评估信息、应用等。这里，记录介质156的示例包括诸如硬盘的磁性记录介质、以及非易失性存储器（诸如，EEPROM（电可擦除可编程只读存储器）、闪存、MRAM（磁阻随机存 取存储器）、FeRAM（铁电随机存取存储器）和PRAM（相变随机存取存储器））。此外，编辑设备100可以包括能够从编辑设备100拆除的记录介质156。
输入/输出接口158连接例如操作输入装置160和显示装置162。操作输入装置160用作操作单元108，并且显示装置162用作显示单元110。这里，输入/输出接口158的示例包括USB（通用串行总线）端子、DVI（数字显示接口（Digital Visual Interface））端子、HDMI（高清晰度多媒体接口）端子和各种处理电路。此外，例如，操作输入装置160设置在编辑设备10上并且连接到编辑设备100中的输入/输出接口158。操作输入装置160的示例包括按钮、光标键、诸如转盘（jog dial）的旋转式选择器以及其组合。此外，例如，显示装置162设置在编辑设备100上并连接到编辑设备100中的输入/输出接口158。显示装置162的示例包括液晶显示器（LCD）、有机EL显示器（即，有机电致发光显示器，其可被称为“OLED显示器”（即，有机发光二极管显示器））。此外，不必说，输入/输出接口158可以连接到作为编辑设备100的外部设备的操作输入装置（诸如，键盘和鼠标）或者显示装置（诸如，外部显示器）。此外，显示装置162可以是可进行显示和用户操作的装置（诸如，触摸屏）。
通信接口164是编辑设备100中所拥有的通信单元，并且用作通信单元104以经由网络（或以直接方式）与诸如服务器的外部设进行无线/有线通信。这里，通信接口164的示例包括通信天线和RF电路（无线通信）、IEEE802.15.1端口和发送/接收电路（无线通信）、IEEE802.11b端口和发送/接收电路（无线通信）、以及LAN终端和发送/接收电路（有线通信）。此外，根据本公开的实施例的网络的示例包括诸如LAN（局域网）和WAN（广域网）的有线网络、诸如通过基站的无线WAN（WWAN：无线广域网）的无线网络以及使用诸如TCP/IP（传输控制协议/互联网协议）的通信协议的互联网。
例如，通过图17所示的配置，编辑设备100执行与根据本公开的实施例的编辑方法相关联的处理。此外，根据本公开的实施例的编辑设备100的硬件配置不限于图17所示的配置。例如，编辑设备100可包括DSP（数字信号处理器）以及由放大器（即，amp）和扬声器构成的声音输出装置。在上述情况下，例如，通过在图6的步骤S208中从上述声音输出装置输出错误声音，编辑设备100可以从听觉上报告错误。此外，例如，编辑设备100可采用不具有图17所示的操作输入装置60和显示装置162 的配置。
再次参照图16，说明根据本公开的实施例的编辑设备100的配置。存储单元102表示编辑设备100中所拥有的存储单元。这里，存储单元102的示例包括诸如硬盘的磁性记录介质以及诸如闪存的非易失性存储器。
此外，存储单元102存储例如图像数据、故事信息、图像评估信息和应用。这里，图16示出了如下示例：其中，存储单元102存储图像数据140、故事信息142和图像评估信息144。
通信单元104表示编辑设备100中所拥有的通信单元，并且经由网络（或以直接方式）与诸如服务器的外部设备进行无线/有线通信。此外，在通信单元104中，例如，由控制单元106控制通信。
这里，作为通信单元104，提供了通信天线和RF电路、以及LAN终端和发送/接收电路作为示例，但通信单元104的配置不限于上述。例如，通信单元104可以采用可经由网络与外部设备进行通信的任意配置。
控制单元106由MPU、将多个电路集成以实现控制功能的集成电路等构成，并且起到控制整个编辑设备100的作用。此外，控制单元106包括候选图像确定单元120、图像评估单元122、故事确定单元124、评估值计算单元126、图像选择单元128、候选图像校正单元132、故事校正单元134和编辑处理单元130，并且起到执行与根据本公开的实施例的编辑方法相关联的处理的主导作用。此外，控制单元106可包括用以控制与诸如服务器的外部设备的通信的通信控制单元（未示出）。
候选图像确定单元120基于用户操作来确定候选图像。更具体地，候选图像确定单元120起到执行例如图1所示的步骤S100中的处理的主导作用。
图像评估单元122基于候选图像设置关于候选图像的特征值。更具体地，例如，每当在候选图像确定单元120中确定候选图像时，通过对所确定的候选图像执行图像分析并参考候选图像的元数据，图像评估单元122针对每个候选图像设置特征值。随后，例如，图像评估单元122生成图像评估信息并将其记录在存储单元102中。此外，在图像评估信息被存储在存储单元102中的情况下，可重写并更新或者可单独地记录图像评估信息。此外，图像评估单元122的处理不限于上述。例如，图像评估单元122可对存储在存储单元102中的图像数据设置特征值，而不依赖于候选 图像确定单元120中的候选图像确定。
此外，例如，在候选图像是具有超过预定时间的再现时间的运动图像的情况下，图像评估单元122可分割候选图像进行以使得再现时间落入预定时间内，并且对每个分割后的候选图像设置特征值。
故事确定单元124确定故事。更具体地，故事确定单元124起到执行例如图1所示的步骤S102中的处理的主导作用。
评估值计算单元126基于在故事确定单元124中确定的故事以及为多个候选图像中的每一个所设置的特征值，按照每个选择时间计算每个候选图像的评估值。更具体地，例如，评估值计算单元126起到使用在故事确定单元124中所确定的故事和存储在存储单元102中的图像评估信息144来执行图1所示的步骤S104中的处理的主要作用。
图像选择单元128基于在评估值计算单元126中所算出的评估值，按照每个选择时间从候选图像中选择选择图像。更具体地，例如，图像选择单元128起到执行图1所示的步骤S106中的处理的主导作用。
候选图像校正单元132基于在评估值计算单元126中所算出的评估值来校正所选择的选择图像。更具体地，例如，候选图像校正单元132起到执行图12所示的步骤S502中的处理的主导作用。
故事校正单元134基于在评估值计算单元126中所算出的评估值来校正故事。更具体地，例如，故事校正单元134起到基于用户在操作单元108中所执行的操作来执行图14和图15所示的处理的主导作用。
编辑处理单元130按时间顺序链接在图像选择单元128中按照每个选择时间所选择的选择图像。即，例如，编辑处理单元130起到执行图1所示的步骤S108中的处理的主导作用。
控制单元106例如包括候选图像确定单元120、图像评估单元122、故事确定单元124、评估值计算单元126、图像选择单元128和编辑处理单元130，从而起到执行与编辑方法相关联的处理的主导作用。此外，不必说，控制单元106的配置不限于图16所示的配置。
操作单元108表示允许用户操作的、编辑设备100中所拥有的操作单元。通过拥有操作单元108，编辑设备100可以允许用户操作并根据用户操作执行用户期望的处理。这里，操作单元108的示例包括按钮、光标键、诸如转盘的旋转式选择器以及其组合。
显示单元110表示编辑设备100中所拥有的显示单元，并且显示单元110在显示屏幕上显示各种信息。在显示单元110的显示屏幕上所显示的画面的示例包括用以在图6的步骤S208中在视觉上报告错误的错误画面、用以显示由图像数据表示的图像的再现画面、以及用以使编辑设备100执行期望操作的操作画面。此外，显示单元110的示例包括LCD和有机EL显示器。这里，编辑设备100可以利用触摸屏来构成显示单元110。在上述情况下，显示单元110用作允许用户操作和显示两者的操作显示单元。
例如，通过图16所示的配置，编辑设备100可以实现例如与如图1所示的根据本公开的实施例的编辑方法相关联的处理。因此，例如，通过图16所示的配置，编辑设备100可以按照用于图像选择的每个选择时间从多个候选图像中选择对应于故事的图像，并且编辑所选择的图像。这里，不必说，根据本公开的实施例的编辑设备100的配置不限于图16所示的配置。
如上所述，根据本公开的实施例的编辑设备100基于由时间函数表示的故事和为每个候选图像所设置的特征值来顺序地计算每个选择时间的评估值，并且将每个选择时间的最小（或最大）评估值的候选图像（即，较高评估的候选图像）设置为每个选择时间的选择图像。因此，编辑设备100可以防止在使用现有技术或故事模板执行自动编辑的情况下可能会导致的在每个选择时间中未选择选择图像。因此，编辑设备100可以按照用于图像选择的每个选择时间从多个候选图像中选择对应于故事的图像，并且编辑所选择的图像。
此外，编辑设备100从多个候选图像中选择由所算出的评估值表示的高评估的候选图像作为选择图像，例如，甚至在使用不确定地大的数量的候选图像执行编辑的情况下，也能够沿着故事选择更适合的选择图像。因此，例如，甚至在候选图像动态地改变的情况（如，将图像社区网站中由多个用户任意添加或删除的图像处理为候选图像的情况）下，编辑设备100也能从候选图像中沿着故事选择更适合的选择图像。
另外，由于编辑设备100使用例如由时间函数表示的故事，因此例如能够根据选择时间的设置来扩展或精简故事。即，通过使用由时间函数表示的故事，编辑设备100可以以比如下情况更容易方式扩展或精简故事：在该情况下，例如，使用这样的故事模板，在该故事模板中，除非改变所使用的故事模板本身，否则难以扩展或精简故事。因此，通过使用由时间 函数表示的故事，编辑设备100可以执行具有更高的一般通用性的图像编辑。
尽管以上已使用编辑设备100作为本公开的实施例来描述了说明，但是本公开的实施例不限于此。本公开的实施例可适用于各种装置，诸如包括PC和服务器的计算机、包括电视机的显示设备、包括移动电话的便携式通信设备、图像/音乐再现设备（或图像/音乐记录再现设备）、以及游戏机。
此外，本公开的实施例可适用于构成假设连接到诸如云计算的网络的系统（例如，编辑系统）的计算机组。
（根据本公开的实施例的程序）
通过使计算机用作根据本公开的实施例的编辑设备的程序（例如，用以实现与如图1、图6、图7、图12和图13所示的根据本公开的实施例的编辑方法相关联的处理的程序），可以按照用于图像选择的每个选择时间从多个候选图像中选择对应于故事的图像并且编辑所选择的图像。
（记录根据本公开的实施例的程序的记录介质）
此外，以上描述了提供用以使计算机用作根据本公开的实施例的控制设备的程序（或计算机程序）的情况，但根据本公开的实施例，可以进一步提供存储上述程序的记录介质。
本领域的技术人员应该理解，可取决于设计要求和其他因素而进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同的范围内即可。
例如，根据本公开的实施例的编辑设备100可以单独地包括图16所示的候选图像确定单元120、图像评估单元122、故事确定单元124、评估值计算单元126、图像选择单元128、编辑处理单元130、候选图像校正单元132和故事校正单元134（例如，通过各个处理电路来实现这些单元）。
上述配置表示本公开的实施例的示例，并且自然属于本公开的技术范围。
另外，本技术还可以进行以下配置。
（1）一种编辑设备，包括：
故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候 选图像中选择候选图像的参考；
评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
候选图像校正单元，用于基于所述评估值校正所选择的候选图像；以及
编辑处理单元，用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。
（2）根据（1）所述的编辑设备，其中，所述候选图像校正单元在所述评估值等于或小于预定值的情况下校正所选择的候选图像。
（3）根据（2）所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像。
（4）根据（3）所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像的放大率。
（5）根据（3）所述的编辑设备，其中，所述候选图像校正单元以使所述评估值等于或小于预定值的方式校正所选择的候选图像的拍摄时间。
（6）一种编辑设备，包括：
故事确定单元，用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
评估值计算单元，用于基于在所述故事确定单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
图像选择单元，用于基于在所述评估值计算单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
故事校正单元，用于基于所述评估值校正所述故事；以及
编辑处理单元，用于按时间顺序链接按照每个选择时间所选择的候选 图像。
（7）根据（6）所述的编辑设备，其中，所述故事校正单元在所述评估值等于或小于预定值的情况下校正所述故事。
（8）根据（6）所述的编辑设备，其中，所述故事校正单元基于用户操作校正所述故事。
（9）根据（6）所述的编辑设备，其中，所述故事校正单元以使所述评估值等于或小于预定值的方式校正所述故事。
（10）根据（1）至（9）中任一项所述的编辑设备，其中，所述评估值计算单元按照每个选择时间计算基于所述候选图像的特征值和所述候选图像的特征值的期望值的距离，以作为所述评估值。
（11）根据（10）所述的编辑设备，其中，所述图像选择单元按照每个选择时间来选择每个选择时间的评估值最小的候选图像。
（12）根据（1）至（11）中任一项所述的编辑设备，还包括：
图像评估单元，用于基于所述候选图像来设置关于所述候选图像的特征值。
（13）根据（12）所述的编辑设备，其中，在所述候选图像是具有超过预定时间的再现时间的运动图像的情况下，所述图像评估单元以使所述再现时间落入所述预定时间内的方式分割所述候选图像，并且对分割后的候选图像中的每一个设置所述特征值。
（14）根据（1）至（13）中任一项所述的编辑设备，其中，所述故事由下述时间函数来表示：该时间函数使用表示图像的特征量的特征值。
（15）一种编辑方法，包括：
确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
基于所述评估值校正所选择的候选图像；以及
按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像。
（16）一种编辑方法，包括：
确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考；
基于在确定步骤中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
基于在计算步骤中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像；
基于所述评估值校正所述故事；以及
按时间顺序链接按照每个选择时间所选择的候选图像。
（17）一种程序，用于使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于在用于确定的单元中所确定的故事以及一个或多个特征值，按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所选择的候选图像的单元；以及
用于按时间顺序来链接按照每个选择时间所选择的候选图像和基于所述评估值而校正的候选图像的单元。
（18）一种程序，用于使得计算机起到如下单元的作用：
用于确定由时间函数表示的故事，作为用于从多个候选图像中选择候选图像的参考的单元；
用于基于在用于确定的单元中所确定的故事以及一个或多个特征值， 按照所述故事中的每个选择时间来计算所述多个候选图像中的每一个的评估值的单元，所述一个或多个特征值是针对所述多个候选图像中的每一个所设置的并且表示所述多个候选图像中的每一个的特征；
用于基于在用于计算的单元中所计算出的评估值，按照每个选择时间从所述多个候选图像中选择候选图像的单元；
用于基于所述评估值校正所述故事的单元；以及
用于按时间顺序链接按照每个选择时间所选择的候选图像的单元。
本公开包含与在2012年7月11日向日本专利局提交的日本优先权专利申请JP2012-155711中所公开的主题相关的主题，该申请全部内容通过引用合并于此。