用于产生图像拼贴画的方法和电子装置.pdf

本发明的产生图像拼贴画的方法包括以下步骤：确定背景图像(41)中的感兴趣区域(43)；以及在该感兴趣区域(43)外的该背景图像(41)上显示至少一幅前景图像。本发明的电子装置可工作以执行本发明的方法。本发明的计算机程序可工作以使得可编程装置执行本发明的方法。

1.  一种用于产生图像拼贴画的方法，该方法包括以下步骤：
确定(1)背景图像(41)中的感兴趣区域(43)；以及
在所述感兴趣区域(43)外的所述背景图像(41)上显示(3)至少一幅前景图像。

2.  如权利要求1所述的方法，其中显示(3)至少一幅前景图像的步骤包括显示多幅前景图像，所述背景图像(41)在所述前景图像之间是可见的。

3.  如权利要求1所述的方法，其中确定(1)所述感兴趣区域(43)的步骤包括在所述背景图像(41)中寻找高对比度部分和/或面部。

4.  如权利要求1所述的方法，还包括通过寻找下述图像来选择所述背景图像(41)的步骤，所述图像的感兴趣区域(43)较小和/或不具有不规则形状。

5.  如权利要求1所述的方法，还包括裁剪所述前景图像以除去不提供信息的部分的步骤。

6.  如权利要求1所述的方法，还包括调整所述前景图像的尺寸的步骤。

7.  如权利要求1所述的方法，还包括以某一速度使用另一前景图像替换所述前景图像的步骤，该速度高于使用另一背景图像替换所述背景图像(41)的速度。

8.  如权利要求7所述的方法，其中所述前景图像显示的持续时间取决于所述前景图像的等级。

9.  一种计算机程序，用于使得可编程装置执行如权利要求1所述的方法。

10.  一种用于产生图像拼贴画的电子装置(71)，其包括电子电路(73)，该电子电路(73)可工作以：
确定背景图像(41)中的感兴趣区域(43)；以及
在所述感兴趣区域(43)外的所述背景图像(41)上显示至少一幅前景图像。

用于产生图像拼贴画的方法和电子装置
技术领域
本发明涉及产生图像拼贴画(image collage)的方法。
本发明进一步涉及用于产生图像拼贴画的电子装置，该电子装置包括电子电路。
本发明还涉及用于使得可编程装置执行产生图像拼贴画的方法的计算机程序。
背景技术
产生图像拼贴画的方法的例子在US2005/0220345中见诸描述。在US2005/0220345中描述的该方法中，多幅图像的感兴趣区域被确定，该多幅图像被裁剪以除去不提供信息的部分，即，仅感兴趣区域保留，且该多幅经裁剪的图像相邻地布置在一幅图像内以形成拼贴画。US2005/0220345中描述的该方法的缺点为，拼贴画没有充分地传达某一组特定图像的意境(mood)。
发明内容
本发明的第一目的是提供一种开篇段落中所述类型的方法，该方法产生更好地传达一组图像的意境的图像拼贴画。
本发明的第二目的是提供一种开篇段落中所述类型的系统，该系统产生更好地传达一组图像的意境的图像拼贴画。
根据本发明，该第一目的是通过下述方法来实现，该方法包括以下步骤：确定背景图像中的感兴趣区域；以及在该感兴趣区域外的该背景图像上显示至少一幅前景图像。背景图像传达一组图画的意境并为前景图像提供环境背景。背景图像的感兴趣区域需要不被阻挡，从而有效地传达该意境。背景图像例如可以代表从远距离拍摄的海滩。前景图像例如可以代表被拍摄的人和/或纪念性建筑物。
在该方法的实施例中，显示至少一幅前景图像的步骤包括显示多幅前景图像，该背景图像在该前景图像之间是可见的。在显示多幅前景图像时，可以传达更多的信息，不过该背景图像在前景图像之间应是可见的，从而保持传达该组图像的意境。
确定该感兴趣区域的步骤可包括在该背景图像中寻找高对比度部分和/或面部。高对比度部分和/或面部通常被观察者认为是重要的，且优选地在背景图像中不应被前景图像阻挡。
该方法还可包括通过寻找下述图像来选择背景图像的步骤，该图像的感兴趣区域较小和/或不具有不规则形状。满足这些标准之一或二者的背景图像具有相对多的、前景图像可显示于其上的区域。
该方法还可包括裁剪该前景图像以除去不提供信息的部分的步骤。这使得前景图像足够小以形成部分拼贴画。另外或备选地，该方法还可包括调整该前景图像的尺寸，以使得前景图像足够小以形成部分拼贴画。如果前景图像包括多个分离的感兴趣区域，裁剪该前景图像可得到多幅图像。这些多个分离的感兴趣区域中每一个感兴趣区域可以独立地显示在背景图像上。
该方法还可包括以某一速度使用另一前景图像替换该前景图像的步骤，该速度高于使用另一背景图像替换该背景图像的速度。这形成动态的图像拼贴画，其中人或纪念性建筑物例如可以依序显示在代表该人或纪念性建筑物的照片被拍摄的位置的背景图像上。
该前景图像显示的持续时间取决于该前景图像的等级。按照这种方式，最重要的主题和对象在该动态图像拼贴画中变得最显目。
例如通过鼠标点击或者触摸使得用户能够选择前景对象，可以使该动态拼贴画为交互式的。前景对象所属的内容项于是被放大地显示或者选择成为背景图像。按照这种方式，动态拼贴画不仅可以用作内容集合的视觉上吸引人的表现，也可以用作浏览工具。
根据本发明，该第二目的是通过下述电子装置来实现，该电子装置的电子电路可工作以确定背景图像中的感兴趣区域，并且在该感兴趣区域外的该背景图像上显示至少一幅前景图像。该电子装置可以是便携装置，诸如具有照片功能的MP3播放器、移动电话、数字静态照相机或者PDA，或者是固定装置，诸如个人计算机、HDD记录器或者电视机。该电子装置可以是家用计算机或者服务器计算机，例如，用于在诸如照片/视频分享和备份服务的在线服务、视频点播和媒体在线店铺中提供内容集合的总览。
附图说明
本发明的这些和其他方面将会显而易见，并且将会参考附图以示例性方式予以进一步解释说明，其中：
图1为本发明的方法的流程图；
图2为本发明的方法的实施例的流程图；
图3示出基于对比度的感兴趣区域的探测的四个示例；
图4示出在背景图像中的探测到的感兴趣区域的第五示例；
图5示出图4的背景图像中潜在地将前景图像置于其中的区域；
图6为本发明的电子装置的框图。
附图中的相应要素使用相同参考符号表示。
具体实施方式
本发明的方法包括：在背景图像中确定感兴趣区域的步骤1，以及在该感兴趣区域外的背景图像上显示至少一幅前景图像的步骤3，见图1。
在该方法的实施例中，见图2，多幅图像11用作输入。该多幅图像11例如可以是图片的内容集合的目录，或者是从视频提取的关键帧。
步骤13包括确定多幅图像11中的感兴趣区域。静态图像中的对象和元素可以划分为两种类别：(1)感兴趣部分，其通常为图像的主题，诸如面部、人和纪念性建筑物，(2)无趣或不感兴趣的部分，其通常作为图像的背景，诸如天空、建筑空间的墙壁以及草地。第一类别定义为感兴趣区域。人的注意力被图像的高对比度部分以及面部所吸引(此外，动作对于视频起着重要作用)。在步骤15中，通过寻找图像中的高对比度区域来选择这些区域。这个过程的示例示于图3。可选地，也可以执行面部探测以确保面部包括在感兴趣区域内。
步骤17包括确定合适的背景图像。为了在图像拼贴画中传达尽可能多的信息，该拼贴画由具有内嵌前景图像的背景图像组成。然而，图像的区域不应交叠或者遮挡。因此，在先前步骤中探测到的感兴趣区域被分析以确定其尺寸和形状。当感兴趣区域相对于原始形状而言大，或者当感兴趣区域具有不规则形状时，相应图像不是非常适合作为背景图像。区域的尺寸可以通过对属于感兴趣区域的像素的数目执行求和来计算。备选地，包括整个感兴趣区域的最小矩形的尺寸可被确定。这两种方法的比例为感兴趣区域的不规则性的可能度量之一。在寻找合适背景图像时也可以考虑该比例。按照这种方式，图像分为前景图像21和背景图像23。此外，其他视觉特征(例如，边缘数目、图像复杂性、纹理)可在考虑之列。
步骤19包括裁剪前景图像。前景图像只应是有用且提供信息的对象或要素。因此，前景图像必须裁剪以除去不提供信息的部分。该裁剪基于感兴趣区域完成。包括整个感兴趣区域的最小矩形可以用于此目的。此外，可将感兴趣区域视为由多个连接的子区域组成，这些子区域从尺寸和形状方面被单独分析。随后，在裁剪前景图像的过程中，这些子区域可被合并或忽略。
步骤25包括构成拼贴画。从先前步骤得到两组(裁剪)图像：前景图像21和背景图像23。在构成图像拼贴画时，前景图像灵活地置于背景图像中。这意味着它们不相互交叠且不遮挡感兴趣背景区域。发现每幅前景图像的位置和尺寸的问题可以映射到约束优化问题(二维装箱问题)，其中利用分离轴定理(separating axis theorem)-在计算机游戏中使用的一种已知技术-来模拟不交叠和不遮挡条件。该问题的变量为每幅前景图像的位置和尺寸。尺寸变量是以取决于前景图像内容的最小尺寸为下限。约束为：前景图像之间没有交叠且背景不被遮挡。另外的约束为将背景图像的足够部分留为空闲(例如，通过添加围绕前景图像的空白边界)。待最大化的目标函数为前景图像的数目以及其以像素数目计的面积。二维装箱问题随后使用标准方法求解。当二维装箱问题未发现可行解时，某些条件可以放宽以允许部分交叠/遮挡。“最佳”解(具有最小交叠的解)随后可被接受。图4和5示出这样的情形，其中感兴趣区域使用其边界盒来模拟(包括该盒的最小矩形)。图4示出原始图像41及探测到的感兴趣区域43。图5示出将前景图像置于其中的区域：区域51-54和56-59以及禁止区域55。
上述步骤详细描述了如何自动地构造静态拼贴画。然而，静态拼贴画只能显示数目非常有限的图像，这给出对集合的非常有限的总览。通过动态地及时改变前景图像和背景图像使得拼贴画栩栩如生则可以解决该问题。为了视觉上连续，前景图像变化快于背景图像。拼贴画及时的变化使前景图像的定位复杂化。二维装箱问题从二维问题转变为三维问题(有关背景图像的2个空间维度和1个时间维度)。由于感兴趣区域不是在每幅背景图像中都相同，可用空间的尺寸变化，因此组成动态边界条件。分离轴定理也可以应用于三维装箱问题，且同样可以使用标准方法求出解。如果该问题约束过多(不存在无交叠的解)，则交叠量最小(和最短)的解可被选择。另外，在优化过程中可考虑内容项的相对重要性(等级)，从而与次重要的前景图像相比更快和/或更长时间地显示重要图像。重要性/等级例如可以基于ROI的尺寸、注释、手动分级、图像已被看到的次数来确定。
图6的电子装置71为用于产生图像拼贴画的电子装置。电子装置71的电子电路73可工作以确定背景图像中的感兴趣区域，并在该感兴趣区域外的背景图像上显示至少一幅前景图像。电子装置71可进一步包括存储装置75、再现装置77、输入79和/或输出81。电子装置71可以是固定或便携装置。电子装置71可以是消费类装置或者专业装置。电子电路73可以是通用或专用处理器。电子电路73能够执行计算机程序。
存储装置75例如可包括硬盘、固态存储器、光盘读取器或者全息存储装置。存储装置75可存储前景和/或背景图像和/或图像拼贴画。再现装置77例如可包括显示器和/或扬声器。再现装置77可用于显示图像拼贴画。备选地，输出81可用于在外部显示器(未示出)上显示图像拼贴画。电子装置71可包括输入装置(未示出)，例如触摸屏或触摸板。备选地，输入79可用于接收来自外部输入装置(未示出)的用户输入。该外部输入装置例如可以是鼠标、跟踪球或者数码笔。输入79和输出81例如可包括：网络连接器，诸如USB连接器或以太网连接器；模拟音频和/或视频连接器，诸如cinch连接器或SCART连接器；或者数字音频和/或视频连接器，诸如HDMI或SPDIF连接器。输入79和输出81可包括无线接收器和/或发送器。
尽管已经结合优选实施例对本发明进行了描述，应当理解对于本领域技术人员来说在上述原理范围内的更改是显而易见的，且因而本发明不限于这些优选实施例，而是要包括这些更改。本发明在于各个和每个新颖的特性特征和特性特征的各个和每个组合。权利要求中的参考符号不是对其保护范围的限制。动词“包括”及其变形的使用不排除那些未在权利要求列出的部件的存在。部件之前使用的冠词“一”或“一个”并不排除多个这样的部件的存在。
如本领域技术人员显而易见的，“装置”的含义包括任何硬件(诸如分立或集成的电路或电子元件)或软件(诸如程序或程序部件)，其单独或与其他功能结合，隔离或与其他部件协作地在操作中运行或被设计为执行特定功能。本发明可以通过包括若干不同部件的硬件以及通过合适编程的计算机来实施。在列举若干装置的装置权利要求中，这些装置中的若干个可以由一个相同的硬件来实施。“计算机程序”应被理解为存储在诸如软盘的计算机可读取介质上、通过诸如互联网的网络可下载的、或者通过任何其他方式可购得的任何软件产品。