《自适应图像检索数据库.pdf》由会员分享，可在线阅读，更多相关《自适应图像检索数据库.pdf（19页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102521233 A (43)申请公布日 2012.06.27 C N 1 0 2 5 2 1 2 3 3 A *CN102521233A* (21)申请号 201110352692.2 (22)申请日 2011.11.01 12/938,310 2010.11.02 US G06F 17/30(2006.01) (71)申请人微软公司 地址美国华盛顿州 (72)发明人杨林军 田奇 倪冰冰 (74)专利代理机构上海专利商标事务所有限公 司 31100 代理人潘明婳 (54) 发明名称 自适应图像检索数据库 (57) 摘要 本发明涉及自适应图像检索数据库。自适应 图像。
2、检索图像允许检索更有可能反映用户偏好和 /或兴趣的当前趋势的图像，从而可向图像搜索 提供相关结果。自适应图像检索包括从一个或多 个客户机接收图像查询日志数据，并基于接收到 的查询日志数据更新特征码本。图像查询日志数 据包括在预定时间段内由一个或多个客户机查询 的图像。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书10页 附图6页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 10 页 附图 6 页 1/2页 2 1.一种计算机实现的方法，包括： 从一个或多个客户机接收(402)图像查询日志数据，所述图像查询日志数据包括在预 定时间。
3、段内由一个或多个客户机查询的多个图像；以及 至少基于所接收到的查询日志数据来更新(404)特征码本。 2.如权利要求1所述的计算机实现的方法，其特征在于，所述方法还包括： 从请求客户机接收包括示例图像的图像查询；以及 从所述示例图像提取多个特征； 将所提取的多个特征与所述更新后的特征码本中的特征进行比较；以及 至少基于所述比较从数据库检索一个或多个数据库图像。 3.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，所述图像查询日 志数据还包括对应于所查询的多个图像的多个查询频率，且其中更新所述特征码本包括相 对于具有低于第一查询频率的第二查询频率的所查询的第二图像的特征，增加检索到具有。
4、 所述第一查询频率的所查询的第一图像的特征的似然率。 4.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，所述图像查询日 志数据还包括对应于所查询的多个图像的多个查询时间，且其中更新所述特征码本包括相 对于具有在第一查询时间之前的第二查询时间的所查询的第二图像的特征，增加检索到具 有所述第一查询时间的所查询的第一图像的特征的似然率。 5.一种计算机实现的方法，包括： 从客户机接收(502)包括示例图像的图像查询； 从所述示例图像提取(504)多个特征； 将多个所提取的特征与特征码本进行比较(506)，以从所述特征码本获取一个或多个 特征； 至少基于一个或多个所获取的特征，将一个或多个。
5、数据库图像提供(508)给所述客户 机；以及 至少基于从所述示例图像提取的多个特征，更新(510)所述特征码本。 6.如权利要求5所述的计算机实现的方法，其特征在于： 接收所述客户机选择所述一个或多个数据库图像中的数据库图像的指示； 进一步基于所选的数据库图像的特征来更新所述特征码本。 7.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，所述方法还包 括： 对所述一个或多个数据库图像中的每一个提供分数，所述分数表示基于所提取的所述 示例图像的多个特征所述一个或多个数据库图像中的每一个与所述示例图像的相对相似 性。 8.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，更新所述。
6、特征码 本包括： 从所查询的多个图像中提取多个特征；以及 至少基于从所查询的多个图像提取的所述多个特征，更新所述码本的各特征的权重。 9.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，所述方法还包 括： 权 利 要 求 书CN 102521233 A 2/2页 3 响应于更新所述码本预定的次数，归一化所述更新后的特征码本，所述归一化包括按 照缩放因子重定所述码本的各特征的权重。 10.如前述权利要求中任一项所述的计算机实现的方法，其特征在于，所述查询日志数 据还包括在预定的时间段内由所述一个或多个客户机选择的多个数据库图像。 权 利 要 求 书CN 102521233 A 1/10。
7、页 4 自适应图像检索数据库 技术领域 0001 本发明涉及检索，尤其涉及图像检索。 背景技术 0002 随着因特网技术的发展，诸如和等搜索引擎当前向因 特网用户提供基于文本的图像搜索服务。这些图像搜索服务允许用户输入描述用户想要寻 找的图像的关键字，并基于所输入的关键字检索一个或多个数据库图像。然而，为了检索所 需的图像，输入的关键字需要准确地和/或充分地描述图像。此外，这种类型的图像搜索要 求数据库图像具有一个或多个文本注释以便允许对该特定数据库图像进行比较和检索。考 虑到因特网上存在数百万个图像，这不可避免地对搜索引擎施加了巨大的工作负担。而且， 必须用文本注释准确且完整地标记图像以便使。
8、用文本搜索查询来发现图像。 0003 考虑到基于文本的图像搜索的缺点，一些搜索引擎现在提供基于内容的图像检索 (CBIR)服务。用户向搜索引擎提交查询图像，搜索引擎随后分析查询图像的实际内容(例 如，颜色、形状和纹理)。基于分析的结果，搜索引擎检索与查询图像类似或相关的图像。然 而，这种类型的基于内容的图像检索仍处于不成熟的阶段。正积极地进行研究以确定有效 且准确的图像搜索和检索策略和/或算法。此外，当前技术水平的基于内容的图像检索方 法是以数据为中心而不是以用户为中心的。例如，现有的图像检索系统不考虑用户的偏好。 发明内容 0004 提供本概述以便介绍将在以下详细描述中进一步描述的自适应图像。
9、检索系统的 一些简化概念。本概述并不旨在标识所要求保护的主题的必要特征，也不旨在用于帮助确 定所要求保护的主题的范围。 0005 本申请描述了自适应图像检索的示例实施例。在一个实施例中，自适应图像检索 系统从一个或多个客户机接收图像查询日志数据。图像查询日志数据包括在预定时间段内 由一个或多个客户机查询的或提交供查询的图像。系统至少基于此接收到的查询日志数据 来更新特征码本。 附图说明 0006 参考附图阐述详细描述。在附图中，附图标记中最左边的数字标识该附图标记首 次出现的附图。在不同附图中使用同一附图标记指示相似或相同的项。 0007 图1示出了包括示例自适应图像检索系统的示例性环境。 0。
10、008 图2更详细地示出了图1的示例自适应图像检索系统。 0009 图3示出了基于图像查询日志数据来更新图像搜索/检索算法的示例性方法。 0010 图4示出了响应于由客户机所提交的图像查询来检索一个或多个数据库图像的 第一示例性方法。 0011 图5示出了响应于由客户机所提交的图像查询来检索一个或多个数据库图像的 说 明 书CN 102521233 A 2/10页 5 第二示例性方法。 0012 图6示出了响应于由客户机所提交的图像查询来检索一个或多个数据库图像的 第三示例性方法。 具体实施方式 0013 概览 0014 如上文所指出的，当前技术的CBIR(基于内容的图像检索)系统不考虑用户的。
11、偏 爱，并返回不能反映用户的偏好和/或兴趣的当前趋势的图像。这些系统检索图像时不考 虑某些图像比较频繁地被用户查询，而其他图像可能很少被访问。此外，用户偏好和兴趣会 随着时间而变化。过去用户感兴趣的图像可能现在用户没有兴趣。此外，新颖的并且新的 图像查询不能被并入图像搜索/检索算法的构建中。典型示例是关于汽车的图像查询。例 如，大多数用户可能对新车型感兴趣。如果用户提交包括汽车的查询图像，则搜索引擎需要 察觉到用户可能希望获得新车型的图像，而不是旧车型。简言之，现有技术的图像搜索不能 满足并反映用户偏好和/或兴趣的这种趋势。这常常导致返回尽管类似于查询图像但是不 是用户所希望的那些图像。 00。
12、15 本发明描述了将图像查询日志数据并入到搜索策略和/或算法中并便于反映用 户的当前偏好和兴趣的图像的检索的自适应图像检索。 0016 一般而言，自适应图像检索系统从一个或多个客户机接收图像查询日志数据。此 图像查询日志数据可以包括以前由一个或多个客户机所提交的多个查询图像。基于日志数 据，系统更新或重构其搜索策略和/或算法，以便于检索更加可能与客户机的当前兴趣更 为相关的图像。例如，如果系统使用特征码本来标识和检索图像，则可以基于接收到的图像 查询日志数据来重构此特征码本。然后，使得到的重构的码本的特征偏向代表由用户最近 查询的图像的特征。另外地或另选地，可以基于图像查询日志数据，更新图像非。
13、相似度度 量，以便使重构的码本的特征偏离与由用户最近查询的图像的特征不同的特征。换句话说， 自适应图像检索系统可以被配置成增加将返回具有类似于由用户最近查询的图像的特征 的图像的似然率和/或降低将返回具有与由用户最近查询的图像不同的特征的图像作为 搜索结果的似然率。 0017 所描述的系统允许图像检索反映用户偏好和/或兴趣的趋势，因此，降低当将不 相关的图像(尽管类似于查询图像)返回给用户时用户遇到的挫折感。 0018 下面将描述多个不同的实现和实施例。在下面的部分，描述了适于实施各种实现 的示例性环境。在此讨论之后，描述了自适应图像检索系统的系统、设备和过程的说明性实 现。 0019 示例性。
14、体系结构 0020 图1示出了可被用来实现自适应图像检索系统的示例性环境100。环境100包括一 个或多个用户102-1，102-2，.102-M(统称为102)、网络104和自适应图像检索系统106。 用户102使用一个或多个设备108-1，108-2，.108-N(统称为108)通过网络104与自适 应图像检索系统106进行通信。 0021 设备108可以被实现为各种常规计算设备，包括，例如，服务器、台式PC、笔记本或 便携式计算机、工作站、大型计算机、移动计算设备、手持式设备、移动电话、因特网设备、网 说 明 书CN 102521233 A 3/10页 6 络路由器等等或其组合。 002。
15、2 网络104可以是无线或有线网络，或其组合。网络104可以是彼此互连并用作单 个大型网络的各单独网络的集合(例如，因特网或内联网)。这样的单独网络的示例包括， 但不仅限于，局域网(LAN)、广域网(WAN)、以及城域网(MAN)。此外，各个网络也可以是无线 或有线网络，或其组合。 0023 在一个实施例中，设备108包括耦合到存储器112的处理器110。存储器112包括 浏览器114及其他程序数据116。存储器112可以耦合到诸如网络服务器、路由器和/或其 他设备108之类的其他设备，或与它们相关联，和/或可以它们被访问。 0024 在一个实施例中，用户102使用设备108的浏览器114将图。
16、像查询提交到自适应 图像检索系统106。在为图像查询检索一个或多个相关图像之后，自适应图像检索系统106 将相关图像返回给用户102。 0025 图2更详细地示出了自适应图像检索系统106。在一个实施例中，系统106可以包 括，但不限于，处理器202、网络接口204、系统存储器206，以及输入/输出接口208。 0026 存储器206包括诸如随机存取存储器(RAM)之类的易失性存储器形式的计算机可 读介质和/或诸如只读存储器(ROM)或闪存RAM之类的非易失性存储器形式的计算机可读 介质。存储器206包括程序模块210和程序数据212。存储器206是计算机可读存储介质 的一个示例。程序数据21。
17、2可以包括图像查询日志数据214、图像数据库216，及其他程序数 据218。虽然此处将图像数据库216描述为被包括在系统106的存储器206中，但是，图像数 据库216也可以与系统106分开并可被系统106访问。可以从一个或多个客户机直接收集 图像查询日志数据214。另选地或另外地，可以从一个或多个其他系统106或搜索引擎(未 示出)收集图像查询日志数据214。图像查询日志数据214可以包括在预定时间段内(例 如，可以是一天、一星期或一个月)收集的多个图像。在一个实施例中，这多个图像可以包 括已经由一个或多个客户机102查询或提交供查询的图像。在另一实施例中，这多个图像 还可以包括响应于相应的。
18、图像查询已经返回给一个或多个客户机102的数据库图像。另选 地或另外地，这多个图像可以包括已经实际上被一个或多个客户机102选定的那些已返回 的数据库图像。在多个图像包括所选数据库图像的情况下，图像查询日志数据214还可以 包括所选数据库图像的相应的相似度分数。所选数据库图像的相似度分数表示所选数据库 图像相对于对应的查询图像的相对相似性，该相对相似性基于，例如，所选数据库图像的特 征和对应的查询图像的特征之间的相似度。例如，第一图像相对于第二图像的相对相似性 可以基于对于第一和第二图像共同的特征的数量相对于两个图像的特征的平均数的比率。 图像查询日志数据214还可以包括在预定时间段内收集的多。
19、个图像的各自的查询频率。另 选地或另外地，图像查询日志数据214还可以包括在预定时间段内收集的多个图像的各自 的查询时间。在一个实施例中，图像查询日志数据214还可以包括已经提交多个图像的一 个或多个客户机的信息。客户机的信息可以包括，但不限于，客户机的标识信息、以及客户 机提交图像查询所使用的计算设备的信息。在收集有关客户机的个人信息的情况下，可以 给予客户机选择停止将这样的信息作为个人可识别的信息进行共享的机会。此外，代替将 实际图像存储在图像查询日志数据214中，可以将存储在图像数据库216中的实际图像的 指针、索引或散列值存储在图像查询日志数据214中。 0027 程序模块210可以包。
20、括查询接收模块220。查询接收模块220从客户机接收图像 说 明 书CN 102521233 A 4/10页 7 查询。图像查询包括客户机用来查找他/她希望的图像的查询图像。在接收到图像查询之 后，查询接收模块220可以将接收到的查询图像记录到图像查询日志数据214中，连同诸如 对应的查询时间之类的额外的信息。可另选地，查询接收模块220可以等待直到到达预定 的记录时间，并将所有查询图像连同相应的额外的信息记录到在该预定记录时间内获得的 图像查询日志数据214中。查询接收模块220还可以将查询图像传输到特征提取模块222， 该特征提取模块222提取代表查询图像的特征。特征提取模块222可以采用。
21、诸如奇异矢量 分解(SVD)、视觉关键词袋等等之类的一种或多种特征提取技术。特征的示例包括，但不限 于，尺度不变特征变换(SIFT)，以及强度直方图。 0028 取决于系统200在哪一种模式下执行，所提取的特征可以被馈送到搜索分层模块 224、码本重构模块226、相似度测量模块228，或者其任何组合中的任何一个。 0029 在一个实施例中，响应于从特征提取模块222接收到所提取的特征，搜索分层模 块224将所提取的特征与现有特征码本进行比较。特征码本，有时也叫做“视觉关键词”，可 以例如通过将图像特征聚集成多个簇来生成。码本的特征或视觉关键词可以被定义为，例 如多个簇中的一个簇的中心。在此类型。
22、的码本构造之下，可以通过将每一所提取的特征分 配到其最近的簇中心，利用视觉关键词/特征的出现次数的直方图来表示图像。在将每一 所提取的特征分配到码本的其中一个视觉关键词之后，可以根据图像相似度度量，将这些 分配的视觉关键词与每一数据库图像的视觉关键词进行比较。图像相似度度量是两个图像 之间的相似度的度量，并可以返回表示数据库图像相对于查询图像的相对相似性的相似度 /非相似度分数。在一个实施例中，相似度测量模块228基于所提取的特征或分配的视觉 关键词，计算数据库图像相对于查询图像的相似度/非相似度分数。例如，相似度测量模块 228基于查询图像和数据库图像的共同的特征或视觉关键词的数量相对于它们。
23、的特征或视 觉关键词的平均数的比率，来计算相似度/非相似度分数。 0030 在另一实施例中，代替与每一数据库图像的视觉关键词进行比较，相似度测量模 块228可以将分配的视觉关键词与每一图像类(例如，汽车类)的代表性的视觉关键词 进行比较，每一图像类都包括共享预定数量或百分比的共同的视觉关键词的多个数据库图 像。此预定数量或百分比的共同的视觉关键词可以由系统106的管理员或操作员来进行设 置。 0031 在又一个实施例中，相似度测量模块228可以使用具有多个级别的搜索分层结 构。搜索分层结构的每一级别都可以包括n个节点，其中，n可以是大于零的任何整数。搜 索分层结构的每一个节点都具有代表性的视觉。
24、特征集合。 0032 在一个实施例中，节点的代表性的视觉特征集合可以是属于该节点以及其子节点 的所有图像的视觉关键词的簇中心。可以将所提取的特征或分配的视觉关键词与一个级别 的每一个节点的代表性的视觉特征集合进行比较。在找到具有该级别的相对于所提取的特 征或分配的视觉关键词的最近的视觉特征集合的节点之后，比较下一级别的对应的一个或 多个子节点，以此类推，直到到达叶节点。然后，可以将与此叶节点相关联的一个或多个数 据库图像作为图像查询的结果返回给客户机。此外，相似度测量模块228还可以获得这些 数据库图像相对于查询图像的一个或多个相似度/非相似度分数。返回的图像查询的结果 可以具有根据它们的相似。
25、度/非相似度分数排列的一个或多个数据库图像，例如，按照它 们的相似度分数/非相似度分数的降序排列。虽然被描述为单独的模块，但是，搜索分层模 说 明 书CN 102521233 A 5/10页 8 块224和相似度测量模块228可以被视为执行其所有上文所描述的操作的单个模块。 0033 当更新或重构系统106的图像搜索/检索策略或算法时，可以更新或重构图像相 似度度量、特征码本或两者。在一个实施例中，可以定期地，例如，每天、每一星期、每个月或 每年，更新或重构系统106的图像搜索或检索策略或算法。在另一实施例中，可以响应于图 像查询日志数据中的图像的数量达到预定数量阈值来更新或重构系统106的图。
26、像搜索/检 索策略或算法。预定数量阈值可以被设置为图像数据库216中的图像的总数的某一百分比 (例如，1)或一绝对值(例如，1000个图像)。在又一个实施例中，可以响应于图像查询 日志数据214中的所有选定数据库图像的相似度分数的平均值(即，平均相似度分数)小 于预定相似度分数阈值，来更新或重构系统106的图像搜索或检索策略或算法。可另选地， 可以响应于图像查询日志数据214中的所有选定数据库图像的非相似度分数的平均值大 于预定非相似度分数阈值，来更新或重构系统106的图像搜索或检索策略或算法。例如，如 果查询图像和数据库图像之间的完美匹配具有相似度分数1或非相似度分数0，则可以响 应于例如平。
27、均相似度分数小于0.7或平均非相似度分数大于0.3，来更新或重构码本。可另 选地，可以将上面的三个策略组合起来，每当达到上面的预定时间或阈值中的一个，或当达 到两者时，就更新或重构图像搜索/检索策略或算法。应该注意，上面的时间、百分比和分 数值只用于说明性用途。可以根据，例如，准确性和/或计算要求，由系统106的管理员或 操作员使用和设置任何值。 0034 按如下方式来描述两个示例性更新/重构算法。所描述的更新/重构算法相对于 具有低于第一查询频率的第二查询频率的第二查询的图像的特征，增大了检索到具有第一 查询频率的第一查询的图像的特征的似然率。然而，下列更新/重构算法只用于说明性用 途。当前。
28、说明书涵盖了将图像查询日志数据包括到图像搜索/检索策略或算法的更新/重 构的任何算法。 0035 示例图像相似度度量 0036 此算法的一个目的是将来自图像查询日志数据的用户的行为信息包括到视觉关 键词加权框架中。直观地，更频繁访问的视觉关键词(来自图像查询)将具有更高的权重， 增大检索到具有更频繁访问的视觉关键词的那些数据库图像的似然率。更具体而言，根据 基于查询-日志加权和常规tf-idf加权方案，形成均匀的概率性框架。从用户的偏好和数 据分布的观点来看，查询-日志相关的组件和词频组件可以被视为互补的先验信息。视觉 关键词的词频被定义为视觉关键词出现在图像中的次数。通过边缘化相对于数据库图。
29、像 和图像类的每一词频，获取每一个视觉关键词的查询-日志相关的先验概率，并将其充当 用于对每一视觉关键词重新加权的重要权重。此新的视觉关键词重要性加权方案被定义为 qf-tf-idf(其中，qf表示查询频率)，并可以充当用户同心CBIR系统的重要构件。 0037 为了描述，此处首先定义某些记号。令图像集合表示为D，第i个图像表示成I i 。 图像集合的大小，即，图像的数量，被假设为N|D|。假设图像数据库中的图像类(或概 念)的数量为K。通过聚类(例如，K均值聚类)，生成视觉关键词(V)的集合或码本，被表 示为V 1 ，V 2 ，.V M ，其中，M是码本的大小。 0038 在常规的tf-id。
30、f框架中，第j个图像中的词频被表示为给定视觉关键词V i 出现 在该图像中的次数。此频率通常被归一化，以防止从每一图像中提取的特征或视觉关键词 (例如，SIFT特征)的数量不平衡。如此，按如下方式来计算归一化的词频： 说 明 书CN 102521233 A 6/10页 9 0039 0040 其中，分母是所有视觉关键词在第j个图像中出现次数的总和。 0041 为反映每一词或视觉关键词的一般重要性，通过对所有数据库图像的总数N和 包括视觉关键词的图像的数量之间的商求对数，获得视觉关键词的逆文档频率，其被定义 为： 0042 0043 其中，|I：V i I|是视觉关键词V i 出现在其中的图像的。
31、数量。因此，逆文档频 率趋向于过滤掉由所有图像共享的那些信息含量不多的视觉关键词。 0044 为度量两个图像之间的非相似度，可以使用通过逆文档频率加权的L P 范数，并将 其表示为： 0045 0046 在实践中，p通常被设置为1或2。作为示例，此处p被设置为1。 0047 从概率观点来看，逆文档频率权重 D 可以被视为视觉关键词的先验分布，取决于 数据库图像，并可以重新写为： 0048 D p(V|D) 0049 i p（V i |D) (4) 0050 p(V i |D)idf i (5) 0051 此处假设每一视觉关键词的分布相对于数据库图像都是独立的。 0052 此先验信息只基于内在的。
32、图像数据分布。然而，假定用户的查询日志数据214可 用，则每一视觉关键词的先验分布将不仅取决于图像数据库216中的数据库图像的集合， 而且还取决于查询日志数据214。这两个资源构成了有关视觉关键词的分布的先验信息的 两个重要的并且互补的方面，即，分别是数据域和用户域。因此，可以就数据库图像的集合 和查询日志数据214而言来定义视觉关键词的先验分布，即，p(V i |D i Q)，其中，Q表示查询日 志数据214的查询日志集。假设查询日志数据214和图像集合信息是独立的，先验分布还 可以进一步被分成两个项： 0053 p(V|D，Q)p(V|D)p(V|Q) 0054 i p(V i |D) i。
33、 p(V i |Q) (6) 0055 其中，此处假设了每一视觉关键词V i 的独立性。 0056 p(V i |Q)表示给定用户的查询日志信息的情况下视觉关键词V i 的先验概率。此先 验概率度量就用户的偏爱和偏好信息而言的视觉关键词的重要性，并可以充当新用户同心 重要性权重，表示为 Q ，因为： 0057 Q p(V|Q) 0058 i p(V i |Q) (7) 0059 其中，如前假设每一视觉关键词V i 的独立性。 0060 项p(V i |Q)可以进一步地分解成： 0061 0062 说 明 书CN 102521233 A 7/10页 10 0063 给定用户的查询日志信息，p(I。
34、 j |Q)度量数据库图像的先验概率，并被定义为： 0064 0065 这是度量图像Ij隔多久被用作查询图像的归一化频率值。较高的p(I j |Q)值表 示，图像I j 对用户来说更有兴趣，因此，图像I j 的对应的视觉关键词应该得到更大的权重。 应该注意， 0066 0067 p(k|I j )表示图像I j 属于第k个图像类(或概念)的概率。如果假设每一数据库 图像都具有单一标记，则p(k|I j )可以进一步地被定义为： 0068 0069 这里，S k 表示属于第k个图像类的图像的子集。类似地，和为1约束适用： 0070 0071 p(V i |k)表示视觉关键词V i 出现在属于第k。
35、个图像类的图像中的似然率，并被定 义为： 0072 0073 0074 如上所述，p(V i |k)度量视觉关键词Vi对于类k的重要性，并且被来自第k个图像 类的更多的图像共享的那些视觉关键词将获得较高的p(V i |k)值。还应该注意： 0075 0076 值得注意的是，上面的三个项p(I J |Q)、p(k|I j )和p(V i |k)以协作的方式将每一图 像的重要性(来自查询频率)传播到属于某些图像类的指定的视觉关键词。以此方式，不 仅感兴趣的图像而且同一个图像类内的其他图像都对在同一个图像类内频繁地出现的视 觉关键词的权重有贡献。换言之，将感兴趣的图像的重要性传播到属于同一个图像类的。
36、其 他图像。此通用性属性对于系统106处理未看见的图像特别重要。相反，在同一个图像类 内随机地出现或者只从不感兴趣的图像得到小的重要性的那些视觉关键词最后将得到较 小的权重。这些特征(视觉关键词)可以被视为伪特征。 0077 这里使用了p(V i |Q)来定义所提出的基于查询频率的权重，即，qf i p(V i |Q)。结 合上文所定义的逆文档频率权重，两个图像之间的新的图像非相似度度量可以被定义为： 0078 0079 图3示出了qf-tf-idf视觉关键词加权方案的图示。图3的上面一行包括频繁地 查询的图像302和较不频繁地查询的图像304。图3的中间一行包括，例如，对于视觉关键 词1-4。
37、的视觉词汇表306、基于查询频率的权重308和基于逆文档频率的权重310。最后一 行示出了在组合了两种类型的权重之后图像非相似度度量的组合权重312。 0080 上面的qf-tf-idf加权方案提供了若干个优点。例如，此方案是以用户为中心的， 直接以改进用户的满意度为目标。此外，由于其相对简洁性，所提出的qf-tf-idf加权方案 是高效的，并可以无缝地采用用户的偏爱信息的统计信息作为CBIR系统的构件。此外，由 说 明 书CN 102521233 A 10 8/10页 11 于是在概率性框架中定义的，所提出的qf-tf-idf加权方案是稳健而有效的。 0081 特征码本的示例更新或重构 00。
38、82 将图像查询日志数据214包括到图像搜索/检索算法中的另一种方法是更新或重 构系统106中所使用的现有的特征码本。例如，可以通过聚类来生成特征/视觉关键词的码 本。在此情况下，可以通过在聚类成本函数中使用图像查询日志数据214的信息(例如，查 询频率)，重新加权图像或图像的所提取的特征来更新或重构码本，以便新形成的簇(或视 觉关键词)将偏向那些频繁地查询的图像或图像特征。在聚类之后，可以检查新簇，可以删 除具有非常低的查询频率累积(即，簇中的图像或图像特征的所有查询频率的总和)的任 何簇。可另选地，在更新期间，不是码本的每一个簇(或视觉关键词)都需要涉及或更改。 为了降低计算工作负荷，可以。
39、只更新图像查询日志数据214中的查询图像的至少一个所提 取的特征所属的簇，而让其他簇保持不变。然后，可以在更新中，或响应于被更新预定次数， 归一化新码本或码本内的权重。如果图像或图像特征的数量巨大，这样的推迟的权重归一 化可能是首选的。可以通过对码本的特征的权重重定一个缩放因子的比例，来进行码本的 归一化。可以将此缩放因子确定为使码本的特征的所有权重的总和将等于某一值，例如，1。 0083 替换实施例 0084 虽然上面的算法将多个图像的的查询频率并入图像查询日志数据214中以更新 图像非相似度度量和/或特征码本，但是，本发明不仅限于此。在一个实施例中，可以将多 个图像的相应的查询时间包括到搜。
40、索/检索算法中。在此算法之下，系统106将相对于具 有早于第一查询时间的第二查询时间的第二查询的图像的特征，增大检索到具有第一查询 时间的第一查询的图像的特征的似然率。 0085 另选地或另外地，所描述的图像检索系统可以允许不同的用户查询的图像相对于 更新或重构码本带有不同的权重或重要性级别。例如，网站或搜索引擎可能需要会员资格 才能使用其图像搜索服务。会员资格可以包括，例如，游客会员资格、普通会员资格，以及金 牌会员资格。网站或搜索引擎还可以要求不同类型的会员每月支付会费，例如，对游客会员 是免费的，普通会员十美元，金牌会员五十美元。由于从不同类型的会员资格产生的不同级 别的收入，网站或搜索。
41、引擎可以，例如比游客会员优先地服务金牌会员。通过允许使由金牌 会员查询的图像具有更高的权重或重要性级别，例如，图像检索系统106可以增大检索到 金牌会员所希望的数据库图像的似然率。在此情况下，图像查询日志数据214还可以包括 网站或搜索引擎的用户的信息(例如，所使用的设备的cookie)。 0086 在另一实施例中，自适应图像检索系统106还可以进一步包括采用所描述的算法 的基于文本的图像搜索。例如，用户可以提供查询图像和描述该查询图像的关键字。然后， 自适应图像检索系统106可以检索与查询图像和关键字相关的一个或多个数据库图像。自 适应图像检索系统106还可以在比没有关键字标记的另一个数据库。
42、图像更高的排序位置， 将被发现与查询图像相关并带有关键字等等的标记的数据库图像返回给用户。 0087 示例性方法 0088 将参考图1-3来描述用于更新特征码本的示例性方法。可以在计算机可执行的指 令的一般上下文中描述这些示例性方法。一般而言，计算机可执行指令可以包括执行特定 功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块、功能等等。 这些方法还能在其中功能由通过通信网络链接的远程处理设备完成的分布式计算环境中 说 明 书CN 102521233 A 11 9/10页 12 实现。在分布式计算环境中，计算机可执行指令可以位于包括存储器存储设备的本地和远 程计算机存储介。
43、质中。 0089 这些示例性方法被示为逻辑流程图中一组框的集合，这表示可用硬件、软件、固件 或其组合实现的一系列操作。描述方法的次序并不旨在被解释为限制，并且任意数量的所 描述的框可以按任何次序组合以实现这些方法或替换方法。另外，在不偏离此处所描述的 主题的精神和范围的情况下，可以从这些方法中删除各单独的框。在软件的上下文中，各个 框表示在由一个或多个处理器执行时执行既定操作的计算机指令。 0090 图4示出了更新特征码本的第一示例性方法400。 0091 在框402，从一个或多个客户机接收图像查询日志数据。图像查询日志数据至少包 括在预定时间段内由一个或多个客户机查询的多个图像。 0092 。
44、在框404，基于接收到的查询日志数据，更新特征码本。 0093 图5示出了更新特征码本的第二示例性方法500。 0094 在框502，从客户机接收包括查询图像的图像查询。 0095 在框504，从查询图像中提取多个特征。 0096 在框506，将多个所提取的特征与特征码本进行比较，以从码本获取一个或多个特 征。 0097 在框508，至少基于一个或多个获取的特征，将一个或多个数据库图像提供给客户 机。 0098 在框510，至少基于从查询图像提取的多个特征，更新特征码本。 0099 图6示出了更新特征码本的第三示例性方法600。 0100 在框602，从一个或多个客户机接收图像查询日志数据。图。
45、像查询日志数据至少包 括在预定时间段内由一个或多个客户机查询的多个图像。 0101 在框604，基于接收到的查询日志数据，更新特征码本。 0102 在框606，从客户机接收包括查询图像的图像查询。 0103 在框608，使用前面的部分所描述的一个或多个特征提取方法，从查询图像中提取 多个特征。 0104 在框610，将多个所提取的特征与特征码本进行比较，以从码本获取一个或多个特 征。 0105 在框612，至少基于一个或多个获取的特征，将一个或多个数据库图像提供给客户 机。 0106 此处所描述的方法中的任何一种方法的任何一个动作都可以至少部分地通过处 理器或其他电子器件并基于存储在一个或多个。
46、计算机可读介质上的指令来实现。计算机可 读介质可以是在更新特征的码本期间可以访问的任何可用介质。作为示例而非限制，计算 机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之 类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机可 读介质包括，但不限于，RAM、ROM、EEPROM、闪存或该它存储器技术、CD-ROM、数字多功能盘 (DVD)或该它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所希望 的信息的任何其它介质。上面各项中的任何项的组合也应该包括在计算机可读介质的范围 内。 说 明 书CN 102521233 A 12。
47、 10/10页 13 0107 结论 0108 尽管已经用对结构特征和/或方法动作专用的语言描述了本发明，但可以理解， 本发明不必受所描述的这些具体特征或动作的限制。相反，这些具体特征和动作是作为实 现本发明的示例性形式而公开的。 说 明 书CN 102521233 A 13 1/6页 14 图1 说 明 书 附 图CN 102521233 A 14 2/6页 15 图2 说 明 书 附 图CN 102521233 A 15 3/6页 16 图3 说 明 书 附 图CN 102521233 A 16 4/6页 17 图4 说 明 书 附 图CN 102521233 A 17 5/6页 18 图5 说 明 书 附 图CN 102521233 A 18 6/6页 19 图6 说 明 书 附 图CN 102521233 A 19 。