基于索引和搜索的图像吸引力.pdf

《基于索引和搜索的图像吸引力.pdf》由会员分享，可在线阅读，更多相关《基于索引和搜索的图像吸引力.pdf（22页珍藏版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103988202 A (43)申请公布日 2014.08.13 C N 1 0 3 9 8 8 2 0 2 A (21)申请号 201180075042.6 (22)申请日 2011.11.25 G06F 17/30(2006.01) (71)申请人微软公司 地址美国华盛顿州 (72)发明人 L杨 B耿 X-S华 S李 (74)专利代理机构上海专利商标事务所有限公 司 31100 代理人范玮 (54) 发明名称 基于索引和搜索的图像吸引力 (57) 摘要 图像的吸引力可通过将所提取的视觉特征与 关于图像的上下文线索集成来估算。图像的吸引 力可由图像内包含的元素的视觉。

2、特征(例如，感 知质量、美学敏感度和/或情调)来定义。图像可 基于所估算的吸引力来索引，搜索结果可基于图 像吸引力来呈现，和/或用户可在接收图像搜索 结果之后选择来按吸引力对图像搜索结果重新排 序。 (85)PCT国际申请进入国家阶段日 2014.05.23 (86)PCT国际申请的申请数据 PCT/CN2011/082909 2011.11.25 (87)PCT国际申请的公布数据 WO2013/075324 EN 2013.05.30 (51)Int.Cl. 权利要求书3页 说明书11页 附图7页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书3页 说明书11页 附图。

3、7页 (10)申请公布号 CN 103988202 A CN 103988202 A 1/3页 2 1.一种方法，包括： 在配置有可执行指令的一个或多个处理器的控制下： 从网页接收图像； 从所述图像提取一个或多个视觉特性； 提取所述图像或所述网页的一个或多个上下文特性；以及 基于所提取的一个或多个视觉特性和所提取的一个或多个上下文特性来估算所述图 像的吸引力。 2.如权利要求1所述的方法，其特征在于，进一步包括： 基于所估算的图像吸引力对所述图像进行索引。 3.如权利要求1所述的方法，其特征在于，进一步包括： 至少部分基于所估算的图像吸引力，对搜索查询的结果进行排序。 4.如权利要求1所述的方。

4、法，其特征在于，进一步包括： 接收搜索查询； 基于搜索查询生成结果列表； 保存所述结果列表； 从用户接收基于图像吸引力对所述结果重新定序的输入；以及 基于所估算的图像吸引力对所述结果列表重新排序。 5.如权利要求1所述的方法，其特征在于，进一步包括： 至少部分基于所估算的图像吸引力对所述图像进行索引； 基于所述图像的吸引力对搜索查询的结果进行排序；以及 响应于从用户接收对所述结果重新定序的输入，对所述结果重新排序。 6.如权利要求1所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题 能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表示 通过观看图像调动情绪的。

5、程度的情调。 7.如权利要求1所述的方法，其特征在于，所述一个或多个上下文特性包括可交换图 像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的环境、所述图像位于其中的 页面上的网页内容、和/或所述图像位于其中的页面上的网页结构。 8.如权利要求3所述的方法，其特征在于，所述排序通过将吸引力组件并入排序模型 来确定。 9.一种方法，包括： 在配置有可执行指令的一个或多个处理器的控制下： 接收搜索查询； 将所述搜索查询与至少部分基于图像的吸引力来组织的图像索引进行比较，吸引力根 据以下来估算： 图像的一个或多个视觉特性；以及 所述图像的或所述图像出现在其上的网页的一个或多个上下文特性。

6、； 基于所述搜索查询和所述比较的相关性生成结果列表；以及 提供所述结果列表以供呈现。 10.如权利要求9所述的方法，其特征在于，进一步包括： 权 利 要 求 书CN 103988202 A 2/3页 3 从用户接收基于图像吸引力对所述结果列表排序的输入；以及 响应于从所述用户接收到所述输入，基于所估算的图像吸引力对所述结果列表重新排 序。 11.如权利要求9所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主题 能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表示 通过观看图像调动情绪的程度的情调。 12.如权利要求9所述的方法，其特征在于，所述一个或多个上下文。

7、特性包括可交换图 像文件格式(EXIF)数据，所述EXIF数据描述图像被捕捉的环境、所述图像位于其中的页面 上的网页内容、和/或所述图像位于其中的页面上的网页结构。 13.一个或多个存储指令的计算机可读介质，当所述指令被一个或多个处理器执行时， 配置所述一个或多个处理器以执行包括以下的动作： 基于以下估算来自网页的图像的吸引力： 来自所述图像的一个或多个视觉特性；以及 来自所述图像或所述网页的一个或多个上下文特性； 根据所述吸引力来选择所述图像以便索引 将所选图像存储在所述索引中； 接收搜索查询； 将所述搜索查询与所述索引进行比较； 基于所述图像与所述搜索查询的相关性以及所述图像的吸引力将所述。

8、图像包括在结 果列表中；以及 提供所述结果列表以供显示。 14.如权利要求13所述的一个或多个计算机可读介质，其特征在于，所述一个或多个 视觉特性包括图像的主题能被感知的感知质量、测量与图像相关联的美学的美学敏感度、 和/或表示通过观看图像调动情绪的程度的情调。 15.如权利要求14所述的一个或多个计算机可读介质，其特征在于，所述一个或多个 视觉特性通过应用显著性检测算法从所述图像提取包括亮度、对比度、色彩丰富度、锐度和 /或模糊的所述感知质量特性来确定。 16.如权利要求14所述的一个或多个计算机可读介质，其特征在于，所述图像的美学 敏感度通过分析由一对象到应力点的最近距离估算的所述对象的构。

9、图、色调计数和边缘分 布、和/或对象区域和所述图像之间的清晰度对比来确定。 17.如权利要求14所述的一个或多个计算机可读介质，其特征在于，所述情调通过分 析静态对比动态线条的数量分布、静态对比动态线条的长度、和/或量化色彩对情绪的影 响的直方图来确定。 18.如权利要求13所述的一个或多个计算机可读介质，其特征在于，所述一个或多个 上下文特性包括可交换图像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的 环境、所述图像位于其中的页面上的网页内容、和/或所述图像位于其中的页面上的网页 结构，所述EXIF数据包括曝光程序、焦距、ISO速度、曝光时间和/或焦距比数。 19.如权利要求。

10、13所述的一个或多个计算机可读介质，其特征在于，所述一个或多个 上下文特性包括锚文本、图像名、图像周围的文本、统一资源定位符(URL)、网页标题、网页 权 利 要 求 书CN 103988202 A 3/3页 4 元描述和/或网页元关键词。 20.如权利要求18所述的一个或多个计算机可读介质，其特征在于，所述网页结构包 括所述图像相对于所述网页的大小、图像文件名的长度、围绕所述图像的词的数目、所述图 像在所述网页上的水平位置、和/或所述图像在所述网页上的垂直位置。 21.一种方法，包括： 在配置有可执行指令的一个或多个处理器的控制下： 接收搜索查询； 将所述搜索查询与图像索引进行比较； 基于排。

11、序模型生成与所述搜索查询相关的图像的列表； 至少部分基于所述图像的吸引力对所述图像的列表进行排序；以及 提供至少部分基于吸引力排序的所述图像的列表，以便作为搜索结果呈现。 22.如权利要求21所述的方法，其特征在于，每一图像的吸引力通过以下来估算： 从所述图像提取一个或多个视觉特性；以及 提取所述图像或所述网页的一个或多个上下文特性。 23.如权利要求22所述的方法，其特征在于，所述一个或多个视觉特性包括图像的主 题能被感知的感知质量、与图像的对象和背景之间的对比度相关的美学敏感度、和/或表 示通过观看图像调动情绪的程度的情调。 24.如权利要求22所述的方法，其特征在于，所述一个或多个上下文。

12、特性包括可交换 图像文件格式(EXIF)数据，所述EXIF数据描述所述图像被捕捉的环境、所述图像位于其中 的页面上的网页内容、和/或所述图像位于其中的页面上的网页结构。 权 利 要 求 书CN 103988202 A 1/11页 5 基于索引和搜索的图像吸引力 0001 背景 0002 web搜索引擎被设计成返回与在搜索查询中输入的主题相关的搜索结果。即，如果 在搜索查询中输入猫，则猫的信息和图像作为搜索结果被包括。现有的搜索引擎返回与 在搜索查询中输入的主题相似的图像。因此，作为搜索结果被包括的图像可能与搜索查询 主题相关，但仍拥有不同的质量或美学等级。例如，现有的搜索引擎可返回包括与其它可。

13、用 图像相比，质量差或者较不美观的猫的图像。 发明内容 0003 提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述 的选择的概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不 旨在用于帮助确定所要求保护的主题的范围。 0004 本发明描述了估算图像吸引力的示例方法。图像的吸引力可由图像内包含的元素 的感知质量、美学敏感度和/或情调来定义。图像的吸引力可通过将所提取的视觉特征与 关于图像的上下文线索集成来估算。在一个实施例中，基于所估算的吸引力选择图像以便 索引。在另一实施例中，存储在索引中的、有吸引力的图像被web搜索引擎访问以便作为搜 索结果被包括。以。

14、此方式，可响应于搜索查询，向用户呈现更有吸引力的图像。在另一实施 例中，用户可接收一组图像作为搜索结果，并通过界面或浏览器选择基于吸引力对搜索结 果图像重新排序的选项。 附图说明 0005 参考附图阐述详细描述。在附图中，附图标记最左边的数字标识该附图标记首次 出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。 0006 图1是用于估算图像吸引力并用于促进基于吸引力的索引和搜索的示例体系结 构的示意图。 0007 图2是示出其中将吸引力估算引擎并入web图像搜索引擎的示例应用的示意图。 0008 图3是示出用于估算图像的吸引力的示例操作及其示例应用的示意图。 0009 图4是示出对。

15、作为搜索结果被包括的图像进行示例的、基于吸引力的排序和重新 排序的示意图。 0010 图5是示出用于基于吸引力的图像索引的示例方法的流程图。 0011 图6是示出用于对搜索结果图像进行基于吸引力的排序的示例方法的流程图。 0012 图7是示出用于对搜索结果图像进行基于吸引力的重新排序的示例方法的流程 图。 具体实施方式 0013 概览 0014 如上所述，常规的web搜索引擎被设计成返回与在搜索查询中输入的主题相关的 说 明 书CN 103988202 A 2/11页 6 搜索结果。即，如果在搜索查询中输入猫，则猫的信息和图像作为搜索结果被包括。大量 图像可用来作为搜索结果被包括。然而，当制定。

16、搜索结果时，总体图像的吸引力或质量不被 考虑。因此，用户必须在找到满意的图像之前筛选掉质量差的图像，或者用户因更有吸引力 的图像没有被包括在搜索结果中而利用平均质量的图像。 0015 本发明描述了用于估算总体图像的吸引力的示例方法。根据本发明，图像的吸引 力可由图像内包含的元素的感知质量、美学敏感度和/或情调来定义。在一些实现中，这些 特征或特性可被同等地加权，但在其它实现中，这些特征/特性可被不同地加权。然而，组 合采用这些特征/特性提供了确定图像吸引力的方法，吸引力不是图像中与对象相关联的 物理属性的主观表征，也不是其它单个特征。相反，客观视觉特征被分析以得到图像内的特 征的吸引力估算。例。

17、如，与感知质量、美学敏感度和情调相关联的图像的视觉特征可包括： 光照、色彩、锐度、模糊、色调计数和/或色彩直方图。另外或替换地，吸引力估算可基于集 成视觉特征与同图像相关联的上下文数据来确定。例如，上下文数据可从照片图像的可交 换图像文件格式(EXIF)或从图像所位于的网页内容得到。另外或替换地，上下文数据可与 图像位于其中的网页的结构相关联。 0016 如本文所述，图像可包括照片、绘画、图画、剪贴画、图、图表、视频帧、或其它静态 图像。可通过在整个web域或可被搜索的任何其它图像全集中爬行网页来获取图像。尽管 被描述为可适用于静态图像，但是本文所述的技术也可被适用于视频、动画、运动图像等。 。

18、一般而言，图像吸引力估算包括分析与感知质量、美学敏感度和/或情调相关联的视觉特 征。感知质量表示用户感知到图像内所包含的主题的能力，且可通过确定图像的亮度、对比 度、色彩丰富度、锐度和/或模糊来分析。这些特征被确定的方式将详细地被包含在下文 中。 0017 对图像吸引力估算有贡献的另一视觉特征分量包括美学敏感度。美学敏感度表示 图像被称为美丽的、清楚的、或吸引人的程度。图像的美学敏感度可例如通过应用诸如“三 分法”、简洁性和视觉重量等公知的摄影规则来确定。“三分法”例如可通过分析对象相对于 总体图像的位置来从图像提取。同时，简洁性(即，实现使项从周围凸显的效果)可通过分 析图像的色调计数来确定。

19、。作为示例，图像的视觉重量可通过使图像的对象区域与非对象 部分的清晰度进行对比来捕捉。 0018 估算图像的吸引力的另外视觉特征分量包括情调(即，通过观看图像调动情绪的 程度)。换言之，情调可测量生动程度或用户可与图像相关联的个人情感。情调可通过分 析(i)静态对比动态线条的数量和长度两者的分布和/或(ii)量化色彩对情绪的影响的 直方图来对吸引力估算作出贡献。用于分析图像的情调的技术将更详细地包含在下文中。 0019 如上所述，可结合上下文数据来分析视觉特征以得到图像吸引力分数。上下文数 据可从EXIF数据挖掘。EXIF数据指定当图像被捕捉时的设置、格式和/或环境状况，且可 反映图像吸引力。。

20、例如，诸如曝光程序、焦距、ISO速度(即，胶片或数字图像捕捉设备的传 感器对传入光的敏感度)、曝光时间和/或焦距比数的EXIF数据可反映图像的吸引力。 0020 另外或替换地，上下文数据可从与图像相关联的网页的内容得到。例如，网页上的 文本可通过常规的特征选择方法，诸如信息增益(IG)来分析，以确定一词的存在和/或缺 失。在一些实现中，IG可从诸如锚文本、图像标题、周围文本、统一资源定位符(URL)、网页 标题、网页元描述和/或网页元关键词的文本源中标识文本词。通过标识特定词在网页中 说 明 书CN 103988202 A 3/11页 7 的存在和/或缺失，IG可估算吸引力的正或负反映。例如，。

21、“jpg”或“可打印”可反映包含 在网页中的图像与“gif”或“桌面”相比具有高吸引力，“gif”或“桌面”可反映图像具有低 吸引力。 0021 除了网页内容，网页结构可提供用于估算图像吸引力的其它上下文数据。例如，网 页结构上下文数据可包括图像相对于网页的尺寸、图像文件名的长度、图像周围的词的数 目、和/或图像在水平和垂直维度上的位置。这些特征中的每一个可反映或者吸引力的高 程度或者低程度。例如，具有结构上较长文件名和/或位于网页中心附近的图像与具有结 构上较短文件名或位于网页角落中的图像相比，可与较高的吸引力相关。 0022 图像吸引力可由大量应用来采用。作为示例而非限制，可根据吸引力来选。

22、择性地 索引图像。经索引的图像可例如由搜索引擎访问以便返回遵循搜索查询的有吸引力的图 像。例如，不仅相关且在视觉上有吸引力的图像可在搜索结果中提升位置。有时，不总是希 望呈现按吸引力排序的搜索结果图像。因此，替换地，当前未按吸引力排序的搜索结果图像 可被重新排序，以便在具有较低吸引力分数或排名的图像之前呈现具有较高吸引力分数或 排名的图像。例如，在接收到搜索结果之后，用户可通过在用户界面或搜索引擎窗口中做出 选择来选择对结果重新排序。 0023 以下详细讨论从题为“说明性体系结构”的章节开始，该章节详细描述用于实现本 文所述技术的示例基于吸引力的索引和搜索体系结构。该章节还描述了在用户在对按吸。

23、引 力索引的图像进行搜索时该体系结构内的操作的示例流程。接下来是题为“说明性基于吸 引力的索引和搜索方法”的第二章节。 0024 本简介，包括部分标题和对应的概述，是出于方便读者的目的而提供的，而非旨在 限制权利要求或其后部分的范围。 0025 说明性体系结构 0026 图1是可实现所描述的用于(i)确定图像的吸引力和(ii)对索引、搜索结果的排 序和/或搜索结果的重新排序应用图像吸引力的技术的示例计算体系结构100的示意图。 0027 如图所示，体系结构100包括吸引力估算引擎102来确定图像吸引力。如图所示， 吸引力估算引擎102包括一个或多个处理器104和包括吸引力模块108的存储器10。

24、6。该 一个或多个处理器104以及存储器106使得吸引力估算引擎102能够执行本文所述的功 能。吸引力模块108包括视觉分析组件110和上下文分析组件112。 0028 在一个实现中，吸引力估算引擎102可经网络114从图像数据库118接收或访问 图像116(1)、116(N)(统称为116)以及用吸引力模块108处理图像116。例如，视觉 分析组件110可分析表示感知质量、美学敏感度和/或情调的图像特征。同时，上下文分析 组件112可分析与图像EXIF相关联的上下文数据、图像位于其中的网页的内容和/或图像 位于其中的网页的结构。视觉分析组件110和上下文分析组件112执行的分析的细节将在 以。

25、下参考图3详细讨论。 0029 在另一实现中，吸引力估算引擎102可经网络114将一个或多个经处理的图像 120(1)、120(N)(统称为120)发送到或暴露给吸引力索引122。以此方式，图像吸引 力可被应用于索引。 0030 在另一实现中，如以下参考图2所示的web搜索引擎可采用吸引力估算引擎102 来得到专用于web搜索引擎的基于吸引力的索引。例如，尽管体系结构100展示了其中吸 说 明 书CN 103988202 A 4/11页 8 引力索引122可用于提供搜索结果的示例，但或者，吸引力估算引擎102可被集成到web搜 索引擎中。另外或替换地，吸引力估算可被并入其它应用中。例如，可在电。

26、子邮件平台(未 示出)中采用吸引力估算引擎102。在这种情况下，收件箱或其它电子邮件文件夹中包含 的图像可按吸引力排序，以便首先向用户呈现最高质量的图像。吸引力估算引擎102的另 一实现可包括网络，如社交网络或照片分享站点。在这一实现中，被存储、被接收或在用户 之间发送的图像可按吸引力排序并基于其吸引力显露。又一实现可包括将吸引力估算引擎 102并入图像捕捉设备。例如，用户可捕捉多个图像，但无法确定哪个图像具有最高的质量， 并因此应被保存、保留或以其它方式稍后使用。通过将吸引力估算引擎102并入图像捕捉 设备，多个图像中的每一个可按吸引力排序，向用户给予从对用户而言看起来相似的多个 图像中定位。

27、最高质量的图像的快速且准确的方式。例如，图像可基于吸引力在图像捕捉设 备上被组织，可基于其吸引力从图像捕捉设备下载，和/或可基于吸引力排序在从图像捕 捉设备接收到图像之后在计算设备的图像处理/查看应用中组织或分组。 0031 吸引力估算引擎102的其它实现可以是图像数据库中的组件。例如，相册软件可 使用引擎来按吸引力排序图像。这可使得最终用户更易于标识最高质量的图像。 0032 尽管图1将吸引力估算引擎102示为包含所示的模块和组件，但是这些模块和它 们相应的功能可在多个其他动作者之间散布，每个动作者可以或可以不与吸引力估算引擎 102有关。 0033 网络114便于吸引力估算引擎102、吸引。

28、力索引122和客户机设备124之间的通 信。例如，网络114可以是无线或有线网络，或其组合。网络114可以是彼此互连并用作单 个大型网络的各单独网络的集合(例如，因特网或内联网)。这样的网络的示例包括，但不 仅限于，个人区域网(PAN)、局域网(LAN)、广域网(WAN)，以及城域网(MAN)。此外，各单独 网络也可以是无线或有线网络，或其组合。 0034 在这一示例中，体系结构100包括客户机设备124。在某些实现中，用户 126(1)、126(M)(统称为126)可经客户机设备126与体系结构100交互。如所示，客 户机设备124可以是许多类型的计算设备的代表，包括但不限于移动电话、个人数。

29、字助理、 智能电话、手持式设备、个人计算机、笔记本或便携式计算机、上网本、因特网设备、便携式 阅读设备、电子书阅读器设备、图形输入板或平板计算机、电视机、机顶盒、游戏控制台、媒 体播放器、数字音乐播放器等，或它们的组合。 0035 图1的左上部更详细地示出与客户机设备124相关联的信息。如所示，客户机设 备124包括一个或多个处理器128以及存储器130，存储器进一步包括应用132。该一个或 多个处理器128以及存储器130使得客户机设备124能够执行本文所述的功能。应用132 呈现用户界面(UI)，该用户界面包括重新排序控件134和一个或多个搜索结果136。在一 个实施例中，应用132可从用。

30、户126接收搜索查询，并作为响应，经由网络114访问吸引力 索引122。在此，该搜索请求可包括例如语义搜索查询，或作为替代可包括结构化的搜索查 询。在这一实施例中，应用132可基于图像吸引力呈现搜索结果136。 0036 在另一实现中，用户126可与应用132交互以按图像吸引力过滤搜索结果。例如， 响应于用户126与重新排序控件134交互，具有较高吸引力分数的图像可被提升到具有较 低吸引力分数的图像之前。另外或替换地，用户126可与应用132交互以按特定的吸引力 特性(诸如亮度、色彩丰富度、锐度和/或表示特定情绪的色彩直方图)过滤搜索结果中的 说 明 书CN 103988202 A 5/11页。

31、 9 图像。与重新排序控件134的交互可包括选择按钮、链接、下拉菜单或图标。或者，重新排 序控件134可经由语音或姿势来被选择。尽管应用132在该示例中执行该功能，但是浏览 器或客户机设备124的另一应用可便于访问吸引力索引122。或者，与吸引力索引、排序和 /或重新排序有关的功能的一些或全部可由远程服务器来执行(例如作为web服务)。 0037 仍然参考图1，图像数据库118可经由网络114将图像116发送到吸引力估算引擎 102。作为示例，图像数据库118可通过在部分或整个web域中爬行网页来获取图像116。 0038 在所示示例中，吸引力索引122可从吸引力估算引擎102接收包括吸引力分。

32、数的 经处理的图像120。例如，图像120可从吸引力估算引擎102被接收。或者，吸引力索引122 可向应用132发送图像120以作为搜索结果136被包括。例如，图像120可经由网络114 被发送到客户机设备124。 0039 总体上，体系结构100提供基于吸引力的索引和搜索系统，该系统能够确定图像 吸引力并基于图像吸引力索引、排序搜索结果和/或重新排序搜索结果。例如，体系结构 100可基于视觉和/或上下文特征经由吸引力模块108估算图像吸引力，并将经处理的图像 120存储在吸引力索引122中。以此方式存储图像120可向应用132提供具有高吸引力排 名的图像以便作为搜索结果被包括。另外，用户12。

33、6可经由重新排序控件134按吸引力对 结果重新排序。 0040 在所示实现中，吸引力估算引擎102被示为包括多个模块和组件。所示模块可以 被存储在存储器106中。存储器106以及存储器130可包括诸如随机存取存储器(RAM)等 易失性存储器形式的和/或诸如只读存储器(ROM)或闪速RAM等非易失性存储器形式的计 算机可读存储介质。所示存储器是计算机可读存储介质的示例。计算机可读介质包括至少 两种类型的计算机可读介质，即计算机存储介质和通信介质。 0041 计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其它 数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介。

34、质。计算 机存储介质包括但不限于，相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存 取存储器(DRAM)、其它类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程 只读存储器(EEPROM)、闪存或其它存储器技术、光盘只读存储器(CD-ROM)、数字多功能盘 (DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或可用于存储由计算设备 访问的信息的任何其它非传输介质。 0042 相反，通信介质可在诸如载波之类的已调制数据信号或其它传输机制中体现计算 机可读指令、数据结构、程序模块或其它数据。如本文所定义的，计算机存储介质不包括通 信介质。 0043 。

35、尽管已经示出并描述了一个示例体系结构100，但是多种其它体系结构可实现本 文所述的技术。 0044 图2是示出其中吸引力估算引擎102被并入web搜索引擎202(例如，文本搜索引 擎、图像搜索引擎等)的示例应用200的示意图。通过将吸引力估算引擎102应用到web 搜索引擎202中，专用于web搜索引擎202、考虑图像的吸引力(例如，感知质量、美学敏感 度和/或情调)的索引结构204可被创建。web搜索引擎202可响应于接收搜索查询从索 引结构204返回按吸引力排序的图像。 0045 在所示示例中，将吸引力并入web搜索引擎202从图像获取206开始。例如，图像 说 明 书CN 1039882。

36、02 A 6/11页 10 爬行器从万维网的一个或多个网页208获取一个或多个图像。接下来，web搜索引擎202执 行周围文本提取210、视觉内容特征提取212和吸引力特征提取214。在此示例中，周围文 本提取210和视觉内容提取212是用web图像搜索引擎202使用的常规技术来执行的，而 不与在图像吸引力估算期间描述的技术混淆。吸引力特征提取214可通过将吸引力估算引 擎102用于web搜索引擎202来完成。例如，吸引力估算引擎102作为单独的组件被添加 到web图像搜索引擎202中。在从图像进行周围文本提取210、视觉内容特征提取212以 及吸引力特征提取214之后，web搜索引擎202基。

37、于图像的吸引力对图像进行索引216。索 引216创建索引结构204。在一个实现中，索引结构204可提供按吸引力排序的图像搜索结 果。在另一实现中，索引结构204可响应于接收到对重新排序控件134的选择来提供经排 序的图像。例如，响应于用户与web搜索引擎202的交互而提供经排序的图像。 0046 图3是示出用于估算图像的吸引力的示例操作300及其示例应用的示意图。由 于数据存储和计算成本的限制，不是web域上可用的所有图像均可被选择来进行吸引力估 算。因此，吸引力估算引擎102可包括模型学习302。模型学习302创建可将吸引力预测 306应用于未经标记的图像的吸引力模型304。 0047 示例。

38、操作300示出了(i)估算来自经标记的图像数据库310的经标记图像 308(1)、308(N)(统称为308)的吸引力来创建用于吸引力预测306的吸引力模型304 以及(ii)经由吸引力模块108和/或吸引力预测306估算来自图像数据库118的图像116 的吸引力。 0048 为了生成模型学习302，来自经标记的图像数据库310的经标记的图像308必须首 先由吸引力模块108处理。经标记的图像308可例如由人类、计算机或人类和计算机的组 合来标记，且可使用任何常规标记方法来实现。作为示例，与经标记的图像308相关联的标 记可包括“极好”、“好”、“中性”或“没有吸引力”。或者，可实现其它类型的。

39、标记，诸如星级 排序、数值分数或图像特性(例如，明亮、色彩丰富、生动、模糊、失真、暗、褪色、锐利、暖色、 冷色、低饱和度、高饱和度等)。 0049 在示例操作300中，经标记的图像308经历由吸引力模块108进行的视觉分析和 /或上下文分析。如上所述，视觉分析组件110分析图像的感知质量(例如，亮度、对比度、 色彩丰富度、锐度和/或模糊)、美学敏感度(例如，“三分法”、简洁性和/或对象/背景的 视觉重量)和/或情调(例如，静态对比动态线条的数量和长度两者的分布和/或被设计 成表达图像色彩的情绪影响的直方图)。 0050 视觉分析组件110可通过确定经标记的图像308的亮度、对比度、色彩丰富度、。

40、锐 度和/或模糊来分析经标记的图像的感知质量。在示例实现中，为了确定亮度和对比度，分 析灰色中的像素强度的中间值(亮度)和标准差(对比度)，尽管也可采用其它常规技术。 色彩丰富度例如可通过分析饱和度和色调或色彩对比度的均值和标准差来确定。同时，锐 度例如可由按局部平均照度归一化的拉普拉斯图像的均值和标准差来确定。模糊可例如由 根据快速傅立叶变换(FFT)变换的图像的频率分布来确定。除了分析诸如亮度、色彩丰富 度、锐度和模糊的感知质量特征以外，视觉分析组件100可对经标记图像308应用显著性检 测算法。显著性检测提取图像中独特且有代表性的对象的特征。例如，视觉分析组件100可 应用显著性检测算法。

41、在整个图像上提取特征，其中像素值由显著性图(例如，所提取的指 示对应区域或点的显著性的显著性特征的图像)重新加权。或者，视觉分析组件110可对图 说 明 书CN 103988202 A 10 7/11页 11 像中的对象区域应用显著性检测算法。例如，对象区域可由包含全部显著性重量的90量 的最小边界框来检测，以便确定显著性图重新加权的图像的光照、色彩和锐度。如上所述， 视觉分析组件110可分析图像的感知质量、美学敏感度和/或情调。视觉分析组件110可 例如通过应用诸如“三分法”、简洁性和对象相对于背景的视觉重量的摄影规则来分析经标 记的图像308的美学敏感度。按照通过“三分法”从图像提取质量估。

42、算，图像被分成九个相 等的部分，或被覆盖图像的3x3网格覆盖。网格的中心部分的四个角被称为应力点。对象 越靠近四个应力点之一，图像的美学敏感度一般会增加。因此，分析图像的“三分法”可通 过使用现有的技术来测量由对象到应力点的最近距离所估算的对象的构图来完成。在摄影 中，简洁性是实现将一个或多个项从其环境中凸显的效果的技术。对于估算吸引力，可例如 通过确定图像的色调计数来分析简洁性。例如，与具有较高色调计数的另一图像相比，具有 低色调计数的图像可被确定为表示较高质量的图像。或者，图像的简洁性还可通过确定原 始图像和显著性图重新加权图像两者中边缘的空间分布来确定。例如，一般与有吸引力的 图像相比，。

43、没有吸引力的图像具有更大数目的均匀分布的边缘。使用常规方法来确定色调 计数和边缘的空间分布。最后，通过在对象区域和作为整体的图像之间对清晰度进行对比 来确定分析图像的视觉重量。例如，与低质量或没有吸引力的图像相比，高质量或有吸引力 的图像的清晰度一般在对象和整体图像之间差异较小。 0051 除了分析经标记的图像的感知质量和美学敏感度以外，视觉分析组件110可分析 经标记的图像308的情调(即，通过观看图像调动情绪的程度)。例如，视觉分析组件110 可分析静态对比动态线条的数量和长度两者的分布和/或被设计成表示图像色彩的情绪 影响的直方图。例如，水平线条可与静态地平线相关联，且可表示冷静、平静和。

44、放松；清楚且 直接的垂直线条表示尊严和永恒；另一方面，倾斜线条可被解释成不稳定且可表示活力。在 另一示例中，具有许多不同方向的线条可表示混乱、混淆或动作。较长、较粗且更占支配地 位的线条可被解释为引起较强烈的心理效应。为检测图像中的重要线条斜率，例如可应用 霍夫变换。线条可基于其倾斜角并按长度加权来被分类成静态(例如，水平和垂直)或倾 斜。通过分析图像中静态和动态线条的比例，可确定情调。 0052 另外或替换地，可通过应用被设计成表示图像色彩的情绪影响的直方图来确定情 调。为确定来自图像色彩的情绪，直方图可被设计成表示特定情绪或一组情绪。例如，温 暖软和的直方图可表示唤起冷静或平静的图像。在另。

45、一示例中，高饱和暖直方图可表示图 像暗示快乐或愉悦，而低饱和冷直方图可被用于推断图像表示难过或生气的情绪。作为示 例，通过应用被设计成标识图像中的情绪的直方图，可预测通过观看图像可调动的情绪的 程度。换言之，图像的情调可通过标识与图像相关联或由图像表示的情绪来确定。 0053 尽管提供了示例技术来确定感知质量、美学敏感度和情调，但可使用替换技术。 0054 当视觉分析组件110分析经标记图像308之后，上下文分析组件112可分析图像 的EXIF、图像位于其中的网页的内容和/或图像位于其中的网页的结构。EXIF数据指定当 图像被捕捉时的设置、格式和/或环境状况，且可反映图像吸引力。如上所述，EX。

46、IF数据可 包括曝光(即，在捕捉图像时被允许的光密度)、焦距、ISO速度(即，胶片或数字图像捕捉 设备的传感器对传入光的敏感度)、曝光时间和/或焦距比数。例如，高ISO速度当与曝光 程序中的减少相组合时通常导致图像质量降低。或者，同与短曝光时间组合的长焦距相比， 与长曝光时间组合的长焦距一般导致较低的图像质量。除了分析图像的EXIF以外，上下 说 明 书CN 103988202 A 11 8/11页 12 文分析组件112可分析从与图像相关联的网页的内容得到的上下文数据。例如，网页上的 文本可通过常规的特征选择方法，诸如信息增益(IG)来分析，以确定一词的存在和/或缺 失。在一些实现中，IG可。

47、从诸如锚文本、图像标题、周围文本、统一资源定位符(URL)、网页 标题、网页元描述和/或网页元关键词的文本源中标识文本词。通过标识特定词在网页中 的存在和/或缺失，IG可估算吸引力的正或负反映。在一个实现中，在确定与吸引力的正 或负相关之前，文本词可被归类成两个或更多个组。例如，诸如“墙纸”、“桌面”、“背景”和 “下载”等词可被归类在“图像意图”组中，而“可打印”、“着色”、“jpg”和“gif”可被归类在 另一“图像质量”组中。在示例实现中，如“桌面”和“gif”等词可与图像吸引力负面相关， 而如“背景”、“下载”、“墙纸”、“可打印”和“jpg”等词可与图像吸引力正面相关。 0055 除。

48、了网页内容以外，上下文分析组件112可从网页结构挖掘上下文数据。例如，可 通过分析图像相对于网页的尺寸、图像文件名的长度、图像周围的词数量、和/或图像在水 平和垂直维度上的位置来估算图像吸引力。例如，有吸引力的图像一般覆盖大比例的网页、 具有长文件名和/或位于靠近网页的中央，而没有吸引力的图像一般覆盖小比例的网页、 具有短文件名和/或位于网页角落中或沿网页边缘。 0056 当吸引力模块108分析图像以确定视觉和上下文特征之后，模型学习302可利用 经标记图像308的视觉和/或上下文特征来生成吸引力模型304。例如，常规线性学习方法 可被用于从经标记的图像308中学习，以便推断吸引力。作为示例，。

49、机器学习可包括线性分 类器，诸如支持向量机(SVM)。某些视觉和上下文特征可与吸引力线性相关，并因此被称为 “线性特征”。然而，其它视觉和上下文特征可以是关于吸引力非线性的，并因此被称为“非 线性特征”。为了获取模型学习302的线性特征，通过应用以下等式将某些非线性视觉和上 下文特征变换成线性数据。 0057 0058 在以上等式中，参数r i 是基准点， i ( r )是用于变换比r i 小(或大)的数据f i 的比例参数。非线性上下文特征可例如包括：相对于网页的图像大小、图像周围的词的数量 和/或图像在水平和垂直维度上的位置。非线性视觉特征可例如包括：清晰度、动态、锐度、 亮度、对比读、锐度的标准差、边缘分布、模糊和色调计数。 0059 仍参考图3，模型学习302创建吸引力模型304。通过采用吸引力模型304，吸引力 预测306可被应用于图像。在一个实现中，通过向未经标记的图像应用吸引力模型304，来 确定未经标记的图像的图像吸引力。例如，吸引力预测306可基于吸引力模型304估算来 自图像数据。