使用深度网络将资源分类.pdf

提供了方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用深度网络对概念术语进行评分。方法之一包括：接收包括资源的多个特征的输入，其中每个特征是资源的相应属性的值；使用相应的嵌入函数处理特征中的每一个以生成一个或多个数值；使用一个或多个神经网络层处理数值以生成特征的替代表示，其中处理数值包括向数值应用一个或多个非线性变换；以及使用分类器处理输入的替代表示以生成预定类别集合中的每个类别的相应类别得分，其中相应类别得分中的每一个度量资源属于对应类别的预测可能性。

1.  一种系统，包括：
定义多个非线性操作层的在一个或多个计算机中实现的深度网络，其中，所述深度网络包括：
嵌入函数层，被配置成：
接收包括资源的多个特征的输入，其中，每个特征是所述资源的相应属性的值，并且
使用相应的嵌入函数处理所述特征中的每一个以生成一个或多个数值，以及
一个或多个神经网络层，被配置成：
接收所述数值，并且
处理所述数值以生成所述资源的所述特征的替代表示，其中，
处理所述数值包括向所述数值应用一个或多个非线性变换；以及分类器，被配置成：
处理所述输入的所述替代表示以生成预定类别集合中的每个类别的相应类别得分，其中，所述相应类别得分中的每一个度量所述资源属于对应类别的预测可能性。

2.  如权利要求1所述的系统，其中，所述嵌入函数中的每一个是特定于相应特征类型的特征的，并且其中，所述嵌入函数中的每一个接收相应类型的特征，并向该特征应用变换，该变换根据一组嵌入函数参数将该特征映射成数值表示。

3.  如权利要求1所述的系统，其中，所述预定类别集合包括搜索引擎垃圾信息类别，并且资源的类别得分度量该资源是搜索引擎垃圾信息资源的预测可能性。

4.  如权利要求1所述的系统，其中，所述预定类别集合包括针对多种类型的搜索引擎垃圾信息中的每一种的相应类别。

5.  如权利要求1所述的系统，其中，所述预定类别集合包括针对资源类型群组中的每种资源类型的相应类别。

6.  如权利要求1所述的系统，其中，所述分类器还被配置成向搜索系统提供所述类别得分以供在确定是否在搜索引擎索引中对资源进行索引时使 用。

7.  如权利要求1所述的系统，其中，所述分类器还被配置成向搜索系统提供所述类别得分以供在响应于接收到的搜索查询生成搜索结果并对搜索结果排序时使用。

8.  如权利要求1所述的系统，其中，所述数值是浮点值。

9.  如权利要求1所述的系统，其中，所述数值是量化的整数值，并且其中，所述量化的整数值的编码表示浮点值。

10.  一种由一个或多个计算机执行的方法，该方法包括：
接收包括资源的多个特征的输入，其中，每个特征是所述资源的相应属性的值；
使用相应的嵌入函数处理所述特征中的每一个以生成一个或多个数值；
使用一个或多个神经网络层处理所述数值以生成所述资源的所述特征的替代表示，其中，处理所述数值包括向所述数值应用一个或多个非线性变换；以及
使用分类器处理所述输入的所述替代表示以生成预定类别集合中的每个类别的相应类别得分，其中，所述相应类别得分中的每一个度量所述资源属于对应类别的预测可能性。

11.  如权利要求10所述的方法，其中，所述嵌入函数中的每一个是特定于相应特征类型的特征的，并且其中，所述嵌入函数中的每一个接收相应类型的特征，并向该特征应用变换，该变换根据一组嵌入函数参数将该特征映射成数值表示。

12.  如权利要求10所述的方法，其中，所述预定类别集合包括搜索引擎垃圾信息类别，并且资源的类别得分度量该资源是搜索引擎垃圾信息资源的预测可能性。

13.  如权利要求10所述的方法，其中，所述预定类别集合包括针对多种类型的搜索引擎垃圾信息中的每一种的相应类别。

14.  如权利要求10所述的方法，其中，所述预定类别集合包括针对资源类型群组中的每种资源类型的相应类别。

15.  如权利要求10所述的方法，还包括：
向搜索系统提供所述类别得分以供在确定是否在搜索引擎索引中对资源进行索引时使用。

16.  如权利要求10所述的方法，还包括：
向搜索系统提供所述类别得分以供在响应于接收到的搜索查询生成搜索结果并对搜索结果排序时使用。

17.  一种以计算机程序编码的计算机存储介质，该程序包括指令，所述指令在被一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：
接收包括资源的多个特征的输入，其中，每个特征是所述资源的相应属性的值；
使用相应的嵌入函数处理所述特征中的每一个以生成一个或多个数值；
使用一个或多个神经网络层处理所述数值以生成所述资源的所述特征的替代表示，其中，处理所述数值包括向所述数值应用一个或多个非线性变换；以及
使用分类器处理所述输入的所述替代表示以生成预定类别集合中的每个类别的相应类别得分，其中，所述相应类别得分中的每一个度量所述资源属于对应类别的预测可能性。

18.  如权利要求17所述的计算机存储介质，其中，所述嵌入函数中的每一个是特定于相应特征类型的特征的，并且其中，所述嵌入函数中的每一个接收相应类型的特征，并向该特征应用变换，该变换根据一组嵌入函数参数将该特征映射成数值表示。

19.  如权利要求17所述的计算机存储介质，其中，所述预定类别集合包括搜索引擎垃圾信息类别，并且资源的类别得分度量该资源是搜索引擎垃圾信息资源的预测可能性。

20.  如权利要求17所述的计算机存储介质，其中，所述预定类别集合包括针对多种类型的搜索引擎垃圾信息中的每一种的相应类别。

21.  如权利要求17所述的计算机存储介质，其中，所述预定类别集合包括针对资源类型群组中的每种资源类型的相应类别。

22.  如权利要求17所述的计算机存储介质，所述操作还包括：
向搜索系统提供所述类别得分以供在确定是否在搜索引擎索引中对资源进行索引时使用。

23.  如权利要求17所述的计算机存储介质，所述操作还包括：
向搜索系统提供所述类别得分以供在响应于接收到的搜索查询生成搜索 结果并对搜索结果排序时使用。

使用深度网络将资源分类
背景技术
互联网搜索引擎旨在识别与用户需求相关的资源，例如网页、图像、文本文档或多媒体内容，并以对用户最有用的方式呈现关于这些资源的信息。互联网搜索引擎一般响应于用户提交的查询返回搜索结果的集合，其中每个搜索结果识别一资源。
发明内容
本说明书涉及使用深度网络将资源分类到类别中。
在一般方面1中，一种由一个或多个计算机执行的方法包括：接收包括资源的多个特征的输入，其中每个特征是资源的相应属性的值；使用相应的嵌入函数处理所述特征中的每一个以生成一个或多个数值；使用一个或多个神经网络层(例如，模拟神经回路的人工神经网络)处理数值以生成资源的特征的替代表示，其中，处理浮点值包括向浮点值应用一个或多个非线性变换；以及使用分类器处理输入的替代表示以生成预定类别集合中的每个类别的相应类别得分，其中，相应类别得分中的每一个度量资源属于对应类别的预测可能性。
根据方面1的方面2，其中，嵌入函数中的每一个特定于相应特征类型的特征，并且其中，嵌入函数中的每一个接收相应类型的特征并向该特征应用变换，该变换根据一组嵌入函数参数将该特征映射成数值表示。
根据方面1或2中的任何一个的方面3，其中，预定类别集合包括搜索引擎垃圾信息(spam)类别，并且资源的类别得分度量该资源是搜索引擎垃圾信息资源的预测可能性。
根据方面1到3中的任何一个的方面4，其中，预定类别集合包括针对多种类型的搜索引擎垃圾信息中的每一种的相应类别。
根据方面1到4中的任何一个的方面5，其中，预定类别集合包括针对资源类型群组中的每种资源类型的相应类别。
根据方面1到5中的任何一个的方面6，还包括：向搜索系统提供类别 得分以供在确定是否在搜索引擎索引中对资源进行索引时使用。
根据方面1到6中的任何一个的方面7，还包括：向搜索系统提供类别得分以供在响应于接收到的搜索查询生成搜索结果并对搜索结果排序时使用。
根据方面1到7中的任何一个的方面8，其中，数值包括浮点值或者数值是浮点值。
根据方面1到8中的任何一个的方面9，其中，数值包括量化的整数值或者数值是量化的整数值，并且其中，量化的整数值的编码表示浮点值。
这些方面的其它实施例包括相应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每一个都被配置为执行方法的动作。
一个或多个计算机的系统可被配置为借助于具有安装在该系统上的软件、固件、硬件或它们的组合而执行特定操作或动作，所述软件、固件、硬件或它们的组合在操作时使得所述系统执行动作。一个或多个计算机程序可被配置为借助于包括指令而执行特定的操作或动作，所述指令当被数据处理装置执行时使得该装置执行动作。
可实现本说明书中描述的主题的特定实施例以达到以下优点中的一个或多个。包括一个或多个隐藏神经网络层的深度网络可被有效用于将资源分类到类别中。例如，资源可被有效分类为是垃圾信息或非垃圾信息，被分类为是若干种不同类型的垃圾信息中的一种，或者被分类为两种或更多种资源类型中的一种。使用深度网络来将资源分类到类别中可例如通过向搜索引擎提供信息以便允许搜索引擎通过以下方式更好地满足用户的信息需求来得到更多数量的相关搜索结果：例如通过有效地检测垃圾信息资源并避免向用户提供识别那些资源的搜索结果或者通过提供识别属于更好地匹配用户信息需求的类别的资源的搜索结果。使用深度网络来将资源分类到类别中可提供准确、快速、可靠和高效的方式来执行搜索任务并验证用户关于资源的声称，例如资源属于特定类别并已被错误地分类为属于不同类别的用户声称。
在附图和下面的描述中阐明了本说明书的主题的一个或多个实施例的细节。该主题的其他特征、方面和优点将从描述、图和权利要求中变得清楚。
附图说明
图1示出了示例搜索系统。
图2是示例资源分类系统的框图。
图3是用于将资源分类的示例过程的流程图。
在各图中的同样参考数字和标示指示同样的元素。
具体实施方式
图1示出了示例搜索系统114。搜索系统114是被实现为一个或多个位置中的一个或多个计算机上的计算机程序的信息检索系统的示例，在其中可实现以下描述的系统、组件和技术。
用户102可通过用户设备104与搜索系统114交互。用户设备104一般将包括用于存储指令和数据的存储器，例如随机存取存储器(RAM)106，和用于执行所存储的指令的处理器108。存储器可包括只读存储器和可写入存储器两者。例如，用户设备104可以是通过数据通信网络112耦合到搜索系统114的计算机，所述数据通信网络112例如局域网(LAN)或广域网(WAN)，例如因特网，或者网络的组合，所述网络中的任意一个可包括无线链路。
在一些实现方式中，搜索系统114向用户设备104提供用户界面，用户102可通过该用户设备104与搜索系统114交互。例如，搜索系统114可提供由用户设备104上运行的网页浏览器绘制的网页形式的用户界面。
用户102可使用用户设备104来向搜索系统114提交查询110。搜索系统114内的搜索引擎130执行搜索以识别与查询匹配的资源。当用户102提交查询110时，可通过网络112将查询110发送到搜索系统114。搜索系统114包括索引数据库122和搜索引擎130。搜索系统114通过生成搜索结果128对查询110作出响应，搜索结果128被通过网络发送到用户设备104以供呈现给用户102，例如，作为在用户设备104上运行的网页浏览器所显示的搜索结果网页。
在本说明书中，术语“数据库”将基本上用来指代任意数据集合：该数据不需要以任何特定方式结构化，或者根本不需要被结构化，并且其可被存储在一个或多个位置中的多个存储设备上。因此，例如，索引数据库122可包括多个数据集合，其中每个数据集合可以按不同方式组织和访问。类似地，在本说明书中，术语“引擎”将基本上用来指代能够执行一个或多个特定功能的基于软件的系统或子系统。一般来说，引擎将被实现为一个或多个位置 中的一个或多个计算机上安装的一个或多个软件模块或组件。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，多个引擎可被安装在相同的一个或多个计算机上并在这相同的一个或多个计算机上运行。
当搜索引擎130接收到查询110时，搜索引擎130识别满足查询110的资源。搜索引擎130一般将包括对资源进行索引的索引引擎120，存储索引信息的索引数据库122和为满足查询110的资源生成得分并根据资源各自的得分对资源排序的排序引擎152或其他软件。
搜索系统114还包括将资源分类到预定类别中的资源分类系统140或可与该资源分类系统140通信。搜索系统114可以例如在确定是否在索引数据库122中对资源进行索引时或者在响应于查询110生成搜索结果时，以多种方式中的任意一种使用由资源分类系统140生成的类别。下面将参考图2和图3描述示例资源分类系统和用于将资源分类到预定类别中的示例过程。
图2是示例资源分类系统200的框图。资源分类系统200是实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在其中可实现以下描述的系统、组件和技术。
资源分类系统200接收输入并基于接收到的输入生成预测的输出。具体来说，该输入是资源特征的集合，并且资源分类系统200基于接收到的特征集合生成的输出是预定类别集合中的每个预定类别的相应得分。为每个类别生成的每个得分是对该资源属于对应类别的可能性的预测。
例如，在一些实现方式中，资源分类系统200将资源分类为搜索引擎垃圾信息资源或者非搜索引擎垃圾信息资源，即，预定类别集合中的类别是“垃圾信息”类别和“非垃圾信息”类别。
搜索引擎垃圾信息资源是提供给搜索系统，例如提供给图1的搜索系统114以用于在索引数据库122中进行索引的资源，该资源已被个人或一组人(可被分别地或全体地称为垃圾信息制造者)所操纵，给了该资源作为对一个或多个查询的响应在正当情况下其不会具有的较高的搜索引擎排序。例如，可以使资源中的内容显得与特定地理区域特别相关，从而使资源中的内容对于指向该区域的查询排序较高，而事实上该内容涉及的是例如在该区域中没有业务地点的企业。搜索引擎垃圾信息也可包括其他形式的错误信息。在本说明书中，搜索引擎垃圾信息也可被称为垃圾信息内容，或者当其含义根据上下文是清楚的时，也可被简称为垃圾信息。
在这些实现方式中，资源分类系统200能够生成得分，该得分为资源是垃圾信息资源，即，属于垃圾信息类别的预测可能性。
在其他一些实现方式中，资源分类系统200将资源分类为或者是非垃圾信息，或者是各种类型的搜索引擎垃圾信息中的一种，即，预定类别集合中的类别是“非垃圾信息”类别和每种类型的垃圾信息的对应类别。例如，搜索引擎垃圾信息的类型可以包括：包括内容垃圾信息的资源、包括链接垃圾信息的资源、伪装垃圾信息资源，等等。在这些实现方式中，系统可生成针对每个类别的得分，该得分表示资源属于该类别的预测可能性。
在其他一些实现方式中，资源分类系统200根据预定群组的资源类型将资源分类。例如，资源类型可以包括新闻资源、博客资源、论坛资源、购物资源、产品资源等等中的任何一个。取决于预定群组的资源类型中的资源类型，资源可被分类为属于多于一个预定群组。例如，如果资源类型包括政治资源和博客资源，则关于选举或政治辩论的博客可被分类为政治资源和博客资源两者。在这些实现方式中，预定类别的集合包括群组中每个资源类型的相应类别。
资源的特征是以某种方式表征资源的各个资源属性的值，并且可以包括多种特征类型的特征，所述多种特征类型各自在类别上相异。特定类型的特征是从该特征类型的可能特征元素的词汇中选择的一个或多个有效特征元素的列表，即，标记(token)的列表或标记-值对的列表。例如，标记可以是自然语言(例如英语)中的字词，并且该特征类型的词汇可以是自然语言中已知的字词。特征类型的词汇可以是重叠的或非重叠的，并且给定特征类型的列表可以是有序的或无序的。
例如，资源分类系统200可以从特征数据存储库202接收资源的特征220。特征220是已从资源中提取的特征。具体来说，资源的特征包括来自资源的内容的标记。可选地，标记与标签相关联，其中每个标签与标记在其中出现的资源的特定部分(例如，资源的标题、资源的首部、资源中的链接，等等)相对应。进一步可选地，资源的特征可以包括其他类型的特征，例如：资源的统一资源定位符(URL)、资源的域名、资源的年代、资源的长度中的任何一个。在一些实现方式中，特征还包括由识别与资源相关的类别或实体类型的资源分类系统200获得的数据。资源的特征还可以包括从概括资源的内容或效用的其他系统或服务获得的特征，所述其他系统或服务例如尝试识 别资源中的最重要术语的系统、识别与资源相关的实体的系统，等等。
资源分类系统200使用接收到的输入特征来预测输出，即，包括类别集合中的每个类别的相应得分的得分向量。输出可以被提供给搜索系统，例如图1的搜索系统114，或者可被存储在类别得分数据存储库214中以供稍后被搜索系统使用。搜索系统可以以多种方式中的任何一种利用生成的得分。在一些实现方式中，搜索系统在确定是否在索引数据库中对给定资源进行索引时使用该资源的类别得分。例如，当得分表示资源是搜索引擎垃圾信息资源的可能性时，搜索系统可以在决策过程中使用该得分，以使得更可能是垃圾信息的资源更不可能在索引数据库中被索引。作为另一示例，当得分表示资源是若干不同类型的搜索引擎垃圾信息中的一种的可能性时，搜索系统可以确定对于所述类型之一具有超过阈值得分的得分的资源不在索引数据库中被索引。越高的得分可意味着该资源越可能包括垃圾信息。
在其它一些实现方式中，搜索系统可以在生成特定查询的搜索结果时利用生成的得分。例如，当得分表示资源是搜索引擎垃圾信息资源的可能性时，搜索系统可以使用给定资源的得分来确定是否在提供搜索结果以供呈现给用户之前去除识别该资源的搜索结果，或者是否在搜索结果的顺序中降低识别该资源的搜索结果的顺序。类似地，当得分表示资源属于预定群组的资源类型之一的可能性时，搜索系统可以使用得分来在响应于特定搜索查询(例如，已被确定为是寻找特定类型资源的搜索查询)生成的搜索结果的顺序中提升或降低识别该资源的搜索结果的顺序。
在其它一些实现方式中，当得分表示资源属于预定群组的资源类型之一的可能性时，搜索系统可以在验证关于资源的用户声明时利用生成的得分。例如，搜索系统可以向用户提供识别已被搜索系统错误分类的资源的选项。例如，用户可以能够提交识别产品资源的搜索结果已被包括在新闻搜索结果列表中的声明、或者具有产品评论的博客资源已被包括在可从中购买产品的购物资源列表中的声明。当接收到关于资源的用户声明时，系统可以在评价资源已经被错误分类的可能性以及确定是否调整资源的分类时利用为该资源生成的得分。
资源分类系统200包括深度网络206和分类器212。深度网络使用一组机器学习算法，所述机器学习算法尝试使用由一个或多个非线性变换组成的架构对数据中的结构或抽象进行建模或模仿。具体来说，深度网络是在输入 层和输出层之间包括一个或多个隐藏层的机器学习系统。隐藏层中的每一层根据一组参数向接收自深度网络中的前一层的输入应用相应的非线性变换，并将非线性变换的结果提供给深度网络中的下一层。隐藏层提供抽象级别，从而增加了深度网络的建模能力。深度网络206包括一组嵌入函数208和一个或多个隐藏人工神经网络层210，每个人工神经网络层具有相应的一组参数。嵌入函数208中的每一个接收各自的类型的相应特征，并根据一组嵌入函数参数，向特征应用将特征映射成数值表示的变换。例如，嵌入函数208可以向特征220应用变换以将特征映射成浮点表示222。下面将参照图3更详细地描述嵌入函数。
神经网络层210的初始层接收由嵌入函数生成的输入特征的数值表示作为输入，并且神经网络层210中的每一个向浮点表示应用一个或多个相应的非线性变换以生成该输入的替代表示。替代表示是已经通过向输入的初始数值表示，例如由嵌入函数208生成的表示，应用一个或多个非线性变换而生成的输入的数值表示。例如，神经网络层210可以从接收自嵌入函数208的特征220的浮点表示222生成替代表示224。每个神经网络层是人工节点的集合，所述人工节点接收输入，并根据一组参数，通过向输入应用非线性变换来从输入计算输出。然后，输出被馈送到深度网络的其他神经网络层或其他组件。代替神经网络层210或者除了神经网络层210，深度网络206还可以包括另一群组的层，其在嵌入函数208生成的一些或全部浮点表示上应用连续的线性或非线性变换。
分类器212接收由深度网络206生成的替代表示，并根据分类器212的分类器参数的值预测类别得分向量的每个字段的值。类别得分向量中的每个字段对应于类别集合中的相应类别。例如，分类器212可以从替代表示224生成类别得分向量226。取决于实现方式和类别集合中类别的数量，即，为其生成预测值的字段的数量，分类器212可以是例如逻辑回归分类器、支持向量机分类器、贝叶斯分类器、softmax分类器等等的二元分类器，或者可以是例如多类逻辑回归分类器、多类支持向量机分类器、贝叶斯分类器等等的多类或多标签分类器。
图3是用于将资源分类的示例过程300的流程图。为方便起见，过程300将被描述为由位于一个或多个位置中的一个或多个计算机的系统执行。例如，适当编程的例如图2的资源分类系统200的资源分类系统可执行过程300。
系统获得资源的特征(步骤302)。
系统使用用于特征的特征类型的嵌入函数来处理每个特征(步骤304)以生成特征的数值表示。取决于特征类型和实现方式，用于给定特征类型的嵌入函数可以是多种嵌入函数中的任何一种。系统通过对于每个资源解析由系统接收到的原始输入数据来确定特征的类型。作为一个示例，如果原始输入数据的一部分是具有关联标签“标题”的标记“示例标题”，则系统可解析输入数据以确定资源特征之一是“示例标题”并且该特征是资源标题特征类型。作为另一示例，如果给定资源的原始输入数据的一部分是“URL：www.examplesite.com”，则系统可解析该输入数据以确定资源特征之一是www.examplesite.com并且该特征是URL特征类型。
例如，对于其特征是单个标记的特征类型，嵌入函数可以是简单嵌入函数。简单嵌入函数将单个标记映射到浮点向量，即，浮点值的向量。例如，简单嵌入函数可以基于例如如查找表中存储的嵌入函数的当前参数值，将标记“猫”映射到向量[0.1，0.5，0.2]并且将标记“平板”映射到向量[0.3，0.9，0.0]。
作为另一示例，对于其特征有可能是两个或更多个标记的列表的特征类型，嵌入函数可以是并行嵌入函数。并行嵌入函数将标记列表中的每个标记映射到相应的浮点向量，并输出单个向量，该单个向量是各个浮点向量的串接。例如，对于有序标记列表{“亚特兰大”，“酒店”}，并行嵌入函数可以将“亚特兰大”映射到向量[0.1，0.2，0.3]并且将“酒店”映射到向量[0.4，0.5，0.6]，然后输出[0.1，0.2，0.3，0.4，0.5，0.6]。为了获得相应的浮点向量，并行嵌入函数可以使用单个查找表或多个不同的查找表。
作为另一示例，对于其特征有可能是两个或更多个标记的列表的特征类型，嵌入函数可以是组合嵌入函数。组合嵌入函数将列表中的每个标记映射到对应的浮点向量，然后将各个浮点向量合并成单个合并向量。组合嵌入函数可以使用线性函数，例如，各个浮点向量的求和、平均或加权线性组合，或者使用非线性函数，例如分量形式最大化(component-wisemaximum)或范数约束线性组合(norm-constrainedlinearcombination)来合并各个浮点向量。为了识别相应的浮点向量，并行嵌入函数可以使用单个查找表或多个不同的查找表。例如，对于有序列表{“亚特兰大”，“酒店”}，并行嵌入函数可以将“亚特兰大”映射到向量[0.1，0.2，0.3]并且将“酒店”映射到向量[0.4， 0.5，0.6]，然后输出两个向量的和，即，[0.5，0.7,0.9]。
作为另一示例，对于其特征有可能是两个或更多个标记的列表的特征类型，嵌入函数可以是混合嵌入函数。混合嵌入函数将标记列表中的每个标记映射到相应的浮点向量，并生成初始向量，该初始向量是各个浮点向量的串接。然后，混合嵌入函数将各个浮点向量合并成合并向量并将合并向量与初始向量串接。例如，对于有序列表{“亚特兰大”，“酒店”}，混合嵌入函数可以输出由并行嵌入函数和组合嵌入函数输出的向量的串接，即，[0.1，0.2，0.3，0.4，0.5，0.6，0.5，0.7，0.9]。
取决于实现方式，系统可以针对两个不同的特征类型利用两个不同种类的嵌入函数，并且这两个嵌入函数可以共享或不共享参数。例如，系统可以对于第一特征类型利用组合嵌入函数并对于第二特征类型利用混合嵌入函数。
如果资源的特征中的一个或多个不是离散的，则在使用嵌入函数处理特征之前，系统使用散列函数来对每个非离散特征进行散列。然后系统可以将每个散列的特征划分到预定分区集合中的一个分区中，并使用用于该特征的嵌入函数处理与该分区相对应的值。此外，如果对于给定资源不能获得特定特征，则该系统可以将该特征映射到预定值。
在一些实现方式中，代替浮点值，给定嵌入函数可以生成不同类型的数值。例如，嵌入函数可以生成量化的整数值，其编码表示浮点值。
系统使用一个或多个神经网络层处理数值表示(步骤306)。一个或多个神经网络层包括一层或多层非线性变换，其中每个变换基于相应的一组参数来定义。一般来说，一个或多个神经网络层基于输入的特征的浮点向量表示生成该输入的替代表示。可选地，系统然后可以使用稀疏二元输出层，例如，输出在每个位置为0或1的向量的层，来处理替代表示。在RuslanSalakhutdinov&GeoffreyHinton，Semantichashing，InternationalJournalofApproximateReasoning50(2009)969-978中描述了用于使用神经网络层处理浮点表示的示例技术。然而，可以使用用于利用神经网络层对表示进行处理的许多不同的技术和机制。
系统使用分类器处理输入的替代表示(步骤308)以针对类别集合中的每个类别预测输出。分类器基于一组参数的值和替代表示来预测输出。针对给定类别的输出是对与该类别相对应的变量的值的预测，例如，该类别的得 分，其表示资源属于该类别的预测可能性。在一些实现方式中，系统可以使用排序功能代替分类器来处理输入的替代表示，以根据资源属于每个类别的预测可能性预测类别的排序。
可以执行过程300以预测不知道其期望输出的输入的得分，即，预测不知道其期望分类的资源的得分。还可以对训练数据集合中的输入，即，已知系统应对其预测的输出的输入集合，执行过程300，以便训练系统，即以便确定分类器和深度网络的参数的最优值。例如，可以对从训练数据集合中选择的输入重复地执行过程300，以作为确定每个参数的最优值的反向传播训练技术的一部分。一般来说，训练数据集合中的输入是具有关联类别分类的资源的特征，即，已经被分类到来自预定类别集合的类别的资源的特征。
作为训练过程的一部分，如果分类器对训练数据集合中的特定资源预测的标签不同于该特定训练资源的已知期望标签，即，分类器生成的类别得分与该资源所属的类别不一致，则分类器将使用传统的基于梯度的方法调整其参数以便减少关于该特定输入的预期错误。此外，作为反向传播方法的一部分，分类器向深度网络发送错误信号，这允许深度网络通过连续的反向传播阶段调整其内部组件的参数。
在一些情形下，例如，对于大型训练数据集合，可以用多种不同方式中的任何一种将训练过程并行化。例如，可以使用“LargeScaleDistributedDeepNetworks”，JeffreyDean等，NeuralInformationProcessingSystemsConference，2012中描述的用于将机器学习模型的训练并行化的一种或多种技术来将训练过程并行化。
本说明书中描述的主题和功能操作的实施例可以用数字电子电路、有形地体现的计算机软件或固件、计算机硬件(包括本说明书中公开的结构及其结构等效物)或它们中的一个或多个的组合来实现。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即，在有形非暂态程序载体上编码的计算机程序指令的一个或多个模块，以供数据处理装置执行，或者用于控制数据处理装置的操作。可替换地或额外地，程序指令可被编码在人工生成的传播信号上，例如机器生成的电信号、光信号或电磁信号，生成所述信号以对信息编码，以便传送到适当的接收器装置，供数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行访问存储器设备或它们中的一个或多个的组合。
术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，举例来说包括可编程处理器、计算机或者多个处理器或计算机。所述装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，所述装置还可以包括创建所讨论的计算机程序的运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
计算机程序(也可被称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可以按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。计算机程序可以但不一定对应于文件系统中的文件。程序可被存储在保存其它程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，存储在专用于所讨论的程序的单个文件中，或者存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可被部署为在一个计算机上执行或者在位于一个地点或跨多个地点分布且通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可由执行一个或多个计算机程序的一个或多个可编程计算机执行以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可由专用逻辑电路，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)来执行，并且装置还可实现为专用逻辑电路，例如，FPGA或者ASIC。
适合执行计算机程序的计算机包括，举例来说可以基于，通用或专用微处理器或它们两者，或者任意其他种类的中央处理单元。一般来说，中央处理单元将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的必要元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。
一般来说，计算机还将包括用于存储数据的一个或多个海量存储设备，或者操作性地耦合到该一个或多个海量存储设备以从其接收数据或向其传递数据或者这两者，所述海量存储设备例如磁盘、磁光盘或者光盘。然而，计算机不必具有这样的设备。此外，计算机可被嵌入到另外的设备中，所述另外的设备例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游 戏机、全球定位系统(GPS)接收器、或者例如通用串行总线(USB)闪存驱动的便携式存储设备，等等。
适合用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，举例来说包括半导体存储器设备，例如，EPROM、EEPROM和快闪存储器设备；磁盘，例如，内部硬盘或者可移除盘；磁光盘；以及CDROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
为支持与用户的交互，本说明书中描述的主题的实施例可在具有显示设备和键盘以及指示设备的计算机上实现，所述显示设备例如CRT(阴极射线管)或LCD(液晶显示器)监视器，用于向用户显示信息，所述指示设备例如鼠标或跟踪球，通过所述指示设备用户可向计算机提供输入。其它种类的设备也可用于支持与用户的交互；例如，提供给用户的反馈可以是任意形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可按包括声学、语音或触觉输入的任意形式接收到。此外，计算机可通过向用户使用的设备发送文档以及从该设备接收文档来与用户交互；例如，通过响应于从用户的客户端设备上的网页浏览器接收的请求而向该网页浏览器发送网页来与用户交互。
本说明书中描述的主题的实施例可在计算系统中实现，所述计算系统包括例如作为数据服务器的后端组件，或者包括例如应用服务器的中间件组件，或者包括前端组件，例如，具有通过其用户可与本说明书中描述的主题的实现方式交互的图形用户接口或网页浏览器的客户端计算机，或者所述计算系统包括一个或多个这样的后端、中间件或者前端组件的任意组合。系统的组件可通过任意形式或介质的数字数据通信，例如，通信网络来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，互联网。
计算系统可包括客户端和服务器。客户端和服务器一般相互远离并且通常通过通信网络交互。客户端和服务器的关系借助于在各个计算机上运行且相互具有客户端-服务器关系的计算机程序而产生。
尽管本说明书包含许多具体的实现方式细节，但这些不应被解释为对任何发明的范围或者可能要求保护的内容的范围的限制，而是应被解释为对可能特定于具体发明的具体实施例的特征的描述。在本说明书中描述的在分开的实施例的上下文中的某些特征也可在单个实施例中组合实现。反之，在单 个实施例的上下文中描述的各种特征也可在多个实施例中分开实现或者以任意合适的子组合实现。此外，虽然特征可能在以上被描述为以某些组合动作，甚至最初被要求这样保护，但来自要求保护的组合的一个或多个特征在一些情况下可从该组合中删去，并且要求保护的组合可指向子组合或子组合的变体。
类似地，尽管在图中按特定顺序描绘了操作，但这不应被理解成为实现期望的结果要求这些操作按示出的特定顺序或按连续顺序执行，或者要求所有图示的操作都被执行。在某些情形下，多任务和并行处理可能是有利的。此外，上述实施例中各种系统模块和组件的分离不应被理解为在所有实施例中都要求这样的分离，并且应理解，所描述的程序组件和系统一般可共同集成在单个软件产品中或者封装到多个软件产品中。
已经描述了主题的特定实施例。其他实施例在权利要求的范围内。例如，权利要求中所陈述的动作可以按不同的顺序执行而仍实现期望的结果。作为一个示例，为实现期望的结果，附图中描绘的过程并非必须要求所示出的特定顺序或者连续的顺序。在某些实现方式中，多任务和并行处理可能是有利的。