使用认知概念关系的独立于数据的相关性评估.pdf

提供一种相对人类判定进程评估给定相关性验证进程的可测量手段。作为示例，可以使用认知概念关系(CCR)系统来提供与用于训练待测试的相关性验证算法的测试数据相关性质量无关的相关性验证评估。这提供一种对诸如具有不同相关性标准和/或随时间的相关性标准中的改变的任何数量企业应用评估关键词/项目对的相关性验证的手段，其中无需手动重新标记测试数据和/或重新测量算法相关性。

1.  一种便于数据项目对的相关性验证评估的系统，包括：
接收组件，获取输入数据项目对以便相关性评估；以及
评估组件，采用评估系统以便于评估相关性验证进程以及独立于用于训练所述相关性验证进程的测试数据来确定所述输入数据项目对的相关性。

2.  如权利要求1所述的系统，其特征在于，所述输入数据项目对与广告关键词和广告目标和/或实体相关联。

3.  如权利要求1所述的系统，其特征在于，所述评估组件采用认知概念关系(CCR)系统以便于评估所述相关性验证进程。

4.  如权利要求3所述的系统，其特征在于，所述CCR系统采用测试情形的人类分类。

5.  如权利要求3所述的系统，其特征在于，所述评估组件提供算法相关性准确性的量度。

6.  如权利要求1所述的系统，其特征在于，还包括：
企业模型组件，利用所述相关性确定来自适应地确定关键词对企业模型的相关性。

7.  如权利要求6所述的系统，其特征在于，还包括：
广告组件，基于所述企业相关性对关键词确定企业广告判定。

8.  如权利要求1所述的系统，其特征在于，所述评估组件同时支持多个企业相关性标准和/或支持随时间改变的企业相关性标准而无需重新训练所述评估模型。

9.  一种至少部分地采用如权利要求1所述系统的广告关键词拍卖系统。

10.  一种便于数据项目对的相关性验证评估的方法，包括：
获取要对相关性进行评估的输入数据项目对；以及
经由使用采用认知概念关系(CCR)系统的评估模型，独立于算法相关性验证训练数据来评估所述输入数据项目对的相关性。

11.  如权利要求10所述的方法，其特征在于，所述输入数据项目对与广告关键词和广告实体和/或目标相关联。

12.  如权利要求10所述的方法，其特征在于，还包括：
对所述CCR系统采用由人类分类的测试情形；打破所述测试情形中的数据集边界，并使测试数据独立于相关性评估。

13.  如权利要求10所述的方法，其特征在于，还包括：
利用所述CCR系统来测量算法关于相关性的准确性。

14.  如权利要求10所述的方法，其特征在于，还包括：
将算法输出直接映射到企业标准以支持具有不同企业相关性标准的企业应用、随时间的企业相关性标准中的变化、和/或并发的多个企业相关性标准。

15.  一种在线因特网拍卖方法，至少部分地采用如权利要求10所述的方法以便于自动拍卖关键词。

16.  一种便于评估广告关键词拍卖的方法，包括：
获取企业实体所需的要与其广告相关联的关键词；以及
利用自适应企业相关性决策进程来评估所述关键词是否与所述企业相关。

17.  如权利要求16所述的方法，其特征在于，还包括：
基于所述关键词与企业的相关性，确定是否接受所述企业的出价。

18.  如权利要求16所述的方法，其特征在于，自适应企业相关性决策进程是部分地基于认知概念关系(CCR)技术的。

19.  一种采用如权利要求10所述方法的设备，包括选自计算机、服务器和手持式电子设备中的至少一个。

20.  一种采用如权利要求1所述系统的设备，包括选自计算机、服务器和手持式电子设备中的至少一个。

使用认知概念关系的独立于数据的相关性评估
背景
联网和计算技术的进步促成了计算机从能够执行基本文字处理和进行低级数学计算的低性能/高成本设备转变成能够进行各种不同功能的高性能/低成本机器。例如，可以使用消费级计算设备来帮助用户支付账单、跟踪花费、通过电子邮件与朋友或家人几乎即时地远程通信、从网络化数据存储库获取信息、以及各种其它功能/活动。因此，计算机及其关联外设成为现代社会的必要组成部分，用于个人和商业活动。
尤其是因特网为用户提供了获取关于任何合适主题的信息的机制。例如，各种web站点专门张贴与世界、国家和/或本地新闻有关的文本、图像和视频。了解与这些web站点之一相关联的统一资源定位符(URL)的用户能够简单地向web浏览器输入该URL，以便获取web站点并访问内容。从因特网定位所需信息的另一种常规方式是通过使用搜索引擎。例如，用户可以向搜索字段中输入一个或一连串词语并启动搜索引擎(例如通过按压按钮、一次或多次击键、语音命令等)。然后，搜索引擎利用搜索算法来定位与用户输入到搜索字段中的一个或一连串词语相关的web站点，并且该用户随后可以选择由搜索引擎返回的web站点之一以审阅相关内容。
随着更多的人开始使用因特网，显然对小企业和大企业相同地存在收入机会。例如，许多零售公司利用因特网在线销售货物，从而降低与管理和维护商店场所相关联的成本，提供集中存货的能力以及使传递给消费者的成本降低的各种其它类似好处。考虑到更多的使用因特网产生商业和/或收入，显然可将因特网用作广告机制。在一个示例中，向搜索引擎中输入项目“花”的人可能对买花感兴趣——因此，对于销售花的公司而言，在用户搜索相关项时向该用户作广告是有益的。搜索信息的用户常常会查看相关广告并点击这些广告以购买花，从而为鲜花零售商创造商机。此外，通过在诸如项“花”的相关项被用作搜索项时向零售商出售特定时段的广告空间而向搜索引擎提供额外的收入。
按照贯例，与向搜索引擎提供的搜索项相关的广告空间是以拍卖方式来购买或出售的。具体而言，搜索引擎可以接收(来自用户的)查询，包括多个买家感兴趣的一个或多个搜索项。买家可以对至少一个搜索项出价，与最高出价对应的买家会使其广告在结果页面视图上显示。出价和出价选择可以在几毫秒之内进行，从而不对搜索引擎的使用产生负面影响。因此，两个或更多的竞争出价人可以预定时间帧内彼此竞价，直到与所接收的查询中的一个或多个搜索项相关联的广告空间销售价格被确定。这种出价通常由用特定搜索项的需求曲线进行编程的代理(例如计算机组件)来实现。如上所暗示，拍卖与搜索项相关联的广告空间是搜索引擎的主要收入来源，并且还可能是广告客户的收入来源。
因为来自用搜索项做广告的收入显著增长的潜力，企业很有可能尝试将尽可能多的搜索项与他们的广告相关联，甚至是与他们自己的搜索项不相关的词语。这通常出于两个原因一第一，增加广告曝光度，第二，使竞争对手不能做广告。然而，通过允许与不相关广告的搜索项相关联，用户通常很快对搜索引擎产生不满并切换到另一搜索引擎，或者由于在他们每次搜索时特定广告客户都持续显示不相关的广告而对特定广告客户产生敌意。为了避免这些问题，通常用“相关性标准”来确定搜索项是否足够相关以允许将它与特定广告和/或企业相关联。当前确定相关性的技术极其繁琐，通常需要在数据改变时必须进行训练和重新训练的模型，并且只能对特定企业相关性标准实现。由于相关性可能随时间发生变化(例如企业添加新的生产线、消费趋势发生变化、词语采用新含义等等)，要改变当前对评估相关性的尝试变得非常繁琐和耗时。

概述
以下引入了本主题的简化概述以便提供对本主题实施例的某些方面的基本理解。本概述不是对本主题的详尽的概观。它不旨在标识实施例的重要/关键元素或者刻划本主题的范围。其唯一目的是以简化形式提供本主题的某些概念，作为以下呈现的更详细描述的序言。
本主题一般涉及数据验证，尤其涉及在诸如关键词广告拍卖中使用的评估相关性验证进程的系统和方法。提供将给定相关性验证进程与人类判定进程作比较的可测量手段。作为示例，可以使用认知概念关系(CCR)系统来提供与用于训练待测试的相关性验证算法的测试数据的相关性质量无关的相关性验证评估。这提供一种对具有不同相关性标准和/或相关标准随时间改变的任何数量企业应用评估例如关键词/项目对的相关性验证的手段，而无需手动重新标记测试数据和/或重新测量算法相关性。因此，能够在无需当前相关性验证技术所需的典型资源的情况下实现一种评估相关性验证的十分灵活的手段，从而节约时间和资源用于其它目的。
为了实现以上和相关目的，本文中结合以下描述和附图对实施例的某些说明性方面进行描述。然而，这些方面仅指示可以采用本主题原理的各种方法中的几个，并且本主题旨在包括所有这些方面及其等效方案。结合附图考虑以下详细描述，本主题的其它优点和新颖特征将变得显而易见。

附图简述
图1是根据实施例一方面的自适应RV评估系统的框图。
图2是根据实施例一方面的自适应RV评估系统的另一框图。
图3是根据实施例一方面的自适应关键词RV评估系统的框图。
图4是根据实施例一方面的自适应关键词广告评估系统的框图。
图5是根据实施例一方面的认知概念关系的图示。
图6是根据实施例一方面的具有多个集合的测试数据按CCR类型的示例分布的图表。
图7是根据一实施例的RV机器系统按CCR的准确性的示例输出的图表。
图8是根据实施例一方面的便于RV评估的方法的流程图。
图9是根据实施例一方面的自适应地促进企业相关性决策的方法的流程图。
图10是根据实施例一方面的便于RV评估的方法的另一流程图。
图11示出一实施例发挥功能的示例操作环境。
图12示出一实施例发挥功能的另一示例操作环境。
详细描述
现在参照附图描述主题，其中相同的附图标记用于指代全文中相同的元素。在以下描述中，出于解释目的，阐述了许多具体细节以便提供对本主题的透彻理解。然而，显然，本主题实施例能够在无需这些具体细节的情况下实施。在其它实例中，以框图形式示出公知的结构和设备以便于描述这些实施例。
如本申请中所使用的，术语“组件”旨在指代计算机相关实体，无论是硬件、软硬件组合、软件还是执行中的软件。例如，组件可以是，但不限于正在处理器上运行的进程、处理器、对象、可执行代码、执行线程、程序和/或计算机。作为说明，在服务器上运行的应用程序以及该服务器都可以是计算机组件。一个或多个组件可以驻留在进程和/或执行线程内，并且组件可以位于一个计算机上和/或分布在两个或多个计算机之间。“线程”是进程内的实体，操作系统内核对其进行调度用于执行。如本领域中公知的，每个线程具有相关联的“上下文”，该“上下文”是与线程执行相关联的易失性数据。线程的上下文包括系统寄存器的内容以及属于线程的进程的虚拟地址。因此，包括线程上下文的实际数据在其执行时发生变化。
相关性验证(RV)描述的是一类机器学习(ML)算法，它首先从测试数据学习以建立模型，然后基于从测试数据所学到的(存储在模型中的知识)对任何输入对给出算法判定。不幸的是，要花费时间和资源来收集测试数据并建立RV模型(称为模型训练)，并且存在需要应用到相同输入数据的多个企业相关性标准。本文中系统和方法的实例可以提供使用认知概念关系(CCR)系统作为与测试数据无关的相关性评估的基础的RV评估解决方案。在每个CCR类型中测量算法相关性(水平评估)，而不是按每个数据集来测量算法相关性(垂直评估)。如此，算法相关性是基于人类认知的，因此与测试数据相关性质量无关。因此，本文中系统和方法的实例可以支持具有不同相关性标准的任何数量企业应用，和/或支持企业相关性标准随时间改变，而无需手动重新标记数据和/或重新测量算法相关性。
本文中系统和方法的实例在广告客户对关键词出价以与他们的广告相关联的关键词拍卖中特别有用。通过这种相关联，可以基于将这些关键词用作搜索引擎中的搜索项，而向用户呈现广告。广告与关键词越相关，用户更有可能在该关键词被用于搜索Web等时购买向他们呈现的项目和/或服务。因此，关键词与广告之间的高度相关性对广告客户(例如传达给具有更高销售可能性的更合适的顾客等等)和用户(例如不呈现许多不相关、烦人的广告等等)都有利。
在图1中，示出根据实施例一方面的自适应RV评估系统100的框图。自适应RV评估系统100由获取输入104和提供输出106的自适应RV评估组件102组成。输入104通常是需要检查相关性的输入项目对。在一个实例中，输入104由广告关键词和广告目标(例如由广告web页面、web页面广告、横幅等推销的特定产品和/或产品线)和/或实体(例如企业，而非特定广告目标等)组成。自适应RV评估组件102接收输入104并确定输入104中项目的相关性，并提供输出106。在一个实例中，输出106由自适应RV评估组件102使用的CCR系统所提供的认知概念关系(CCR)类型组成。CCR类型可以用作企业相关性模型(如下所述)的输入，以提供自适应的企业相关性模型。这些模型自身能够通过适应CCR类型如何在企业相关性模型中使用而适应多种类型相关性准则和/或随时间变化的相关性准则中的的变化。然而，自适应RV评估组件102所提供的CCR类型无需变化以获得该适应性。
自适应RV评估组件102提供评估相关性验证算法质量的数据无关的方法。这允许在对测试数据集没有典型依赖性的情况下进行评估。这还降低了因人类与典型相关性模型进行交互而引起的主观倾向性。CCR系统通常具有从中选择的五类关系，这有效消除了对传统技术所使用的相关性的主观相关/不相关“中伤(stab)”。这降低了对CCR类型而非对最终相关性判定的人类主观性。CCR类型如何在企业相关性模型中使用/排序可以随时间改变和/或在不同企业模型中变化。这允许企业随时间改变他们对相关性的理解，而无需自适应RV评估组件102基于变化的相关性模型重新验证输入104。
参照图2，示出根据实施例一方面的自适应RV评估系统200的另一框图。自适应RV评估系统200由获取输入对204和提供输出对CCR类型206的自适应RV评估组件202组成。自适应RV评估组件202由接收组件208和CCR评估组件210组成。输入对204通常由关键词和广告目标/实体组成。接收组件208从例如广告关键词拍卖条目等获取输入对204用于相关性判断。CCR评估组件210从接收组件208接收输入对204并通过使用具有5个CCR类型的CCR系统而对输入对204进行分类。CCR类型分类由CCR评估组件210输出，作为输入对CCR类型206。分类自身可以使用人类交互和/或机器学习来推进该进程。由于任何人类交互都局限于基于CCR系统的分类，因此对由人类对应方引入的相关性的主观影响得到显著降低。
参见图3，示出根据实施例一方面的自适应关键词RV评估系统300的框图。自适应关键词RV评估系统300由获取关键词304和广告目标/实体306并提供关键词企业相关性308的自适应关键词RV评估组件302组成。自适应关键词RV评估组件302由自适应RV评估组件310和企业相关性模型组件312组成。自适应关键词RV评估组件302还能够使用多个企业相关性模型组件来提供对多个关键词企业相关性的评估。自适应RV评估组件310获取关键词304和广告目标/实体306并确定输入对的CCR类型。
企业相关性模型组件312接收CCR类型并应用适当的企业相关性模型以便于确定关键词企业相关性308。应该注意，企业相关性模型组件312所使用的企业相关性模型可以随时间变化，因此在给定由自适应RV评估组件310提供的相同CCR类型的情况下，关键词304和广告目标/实体306的关键词企业相关性308也可以随时间变化。在另一实例中，可以使用可以各自具有不同企业相关性模型的多个企业相关性模型组件。因此，由自适应RV评估组件310提供的CCR类型可以被多个模型(甚至同时)使用来提供不同的关键词企业相关性，而无需自适应RV评估组件310重新确定/验证CCR类型。因此，自适应关键词RV评估系统300可以用来提供对人类认知得到的关键词企业相关性等的评估对比算法得到的关键词企业相关性的评估。
转向图4，示出根据实施例一方面的自适应关键词广告评估系统400的框图。自适应关键词广告评估系统400由获取关键词404和广告目标/实体406并提供关键词企业判定408的自适应关键词广告评估组件402组成。自适应关键词广告评估组件402由自适应关键词RV评估组件410和关键词广告评估组件412组成。自适应关键词RV评估组件410获取关键词404和广告目标/实体406。自适应关键词RV评估组件410确定输入对404/406的CCR类型，并应用适当的企业相关性模型来确定输入对404/406的企业相关性。企业相关性模型可由企业提供和/或由自适应关键词广告评估组件402提供。因此，例如在广告拍卖设置中，企业可以选择关键词并提供企业相关性模型和/或只选择关键词并使拍卖实体提供适当的企业相关性模型。
关键词广告评估组件412从自适应关键词RV评估组件410获取关键词企业相关性，并提供关键词企业判定408。关键词广告评估组件412主要确定关键词404的企业相关性是否足以允许该企业对关键词404出价。可以按照需要动态改变关键词广告评估组件412所使用的准则。可以由拍卖实体来控制关键词广告评估组件412，和/或用于确定关键词企业判定的参数可以散布给广告实体/企业使得他们能够评估自身的系统以确定他们是否有资格对特定关键词出价。通过利用自适应相关性验证、自适应企业模型和/或自适应关键词企业判定模型而获得的充分灵活性提供了在拍卖中评估关键词相关性而无需对数据进行重新标记、对相关性算法进行重新评估、和/或开发多个相关性算法的十分有效的方式。
相关性验证(RV)
相关性验证通常使用根据测试数据进行训练以建立模型的机器学习算法。这些算法于是基于从测试数据获得的模型中所学习的知识提供对输入对的相关性判定。例如，在具有显著商业影响的基于关键词拍卖的支付搜索平台中使用RV。RV在拍卖系统中的角色是自动回答(无需人类编辑审阅)广告客户所出价的关键词是否与他们提交的广告页面相关。在该拍卖系统中，每个关键词/广告页面对必须通过RV检查。因此，RV位于支付搜索系统的关键路径上。因此，RV是比人类审阅方法更具规模且更成本有效的技术解决方案。然而，为了能够替代人类编辑，RV必须做出与人类编辑基本上相似的正确的相关性判断。挑战在于给定RV算法，如何评估相关性以及如何以可由人类认知系统描述的可测量方式将算法判定与人类判定作比较。
此外，收集测试数据和建立RV模型(称之为“模型训练”)是要花费时间和资源的。企业环境不断变化，且关于相关性的企业标准可能随时间变化，因此可能存在需要对相同数据输入应用的多个企业相关性标准。因此，如果解决方案在无需重新训练的情况下支持来自单个RV算法的变化的多个相关性标准，则会最高效。本文的系统和方法的实例提供基于独立于测试数据的人类认知概念关系的RV评估解决方案。在其它实例中，评估解决方案也通过这种概念关系将算法判定映射到企业相关性标准，从而消除对模型重新训练和/或多个模型的需要。
常规RV评估方法
评估RV算法的常规方法通常由以下步骤组成：1)人类对测试数据的标记，通常用多个数据集。每种情形被标记成“相关”或“不相关”；2)针对人类标记比较RV算法判定；以及3)对每个数据集并跨所有数据情形在准确性矩阵中报告结果。准确性矩阵的示例在表1中通过两个测试数据集示出：
表1：常规准确性矩阵



注意，在表1中使用的值仅为描述目的。虽然本文中系统和方法的实例是通过二元输出(相关和不相关)而示出的，但是本文中的系统和方法并不就输出的数目和/或输出值方面受到限制。可以看出，这两个数据集在数据大小和固有数据相关性差异方面具有显著变化。为了处理数据集上的相关性差异，对每个数据集(例如数据集1，数据集2)报告人类标记与机器判定之间的一致(正确)和不一致(错误)，然后对组合的所有测试情形(例如总计)计算准确性矩阵。
常规方法的问题
该现有方法的问题包括：
1)缺乏通用的企业可靠评估基础——在没有这一基础的情况下，相关性的测试数据质量无法被定量描述，因此难以控制人类标记的准确性。当数据情形用判定(相关或不相关)标记时，为什么如此以及基于何种人类判定而作出都是未知的。因此，两个人类编辑对同一情形具有不同相关性标记是常见的。
2)将机器相关性评估绑定到测试数据的相关性质量并因此不是与之无关的——传统方法是通过对每个单独测试集与人类输出作比较而来报告算法输出质量(确切地是每个数据集指示什么)，并且还报告所组合的全部情形的算法输出质量作为总结。这样难以客观独立地评定算法准确性。
3)难以通过变化或多个企业需要来改变企业相关性判定——例如，存在具有不同相关性需要的两个企业应用。第一应用不会给出相关性判定，直到两个输入讨论同一事情。然而，第二应用不需要这样严格的相关性标准。它会输出相关性判定，除非两个输入彼此完全无关。或者同一企业应用会随时间具有变化的相关性标准。所有这些要求都无法由绑定到数据集自身的传统相关性评估方法来满足。它在企业相关性标准改变时需要重新标记并移动的重新训练，或者需要建立各自服务于不同企业相关性标准的多个模型。
可适应的方式
本文的系统和方法的实例允许将认知概念关系(CCR)系统选为相关性评估的基础。这是定量和描述性的企业可靠基础。这些实例还可以将测试情形的人类分类提供到CCR系统中。该步骤按CCR类型对测试情形进行归类，打破了数据的集合边界。如此，实现了独立于测试数据的相关性评估。算法准确性的测量也可以由CCR系统来实现。因此，代替按每个数据集测量算法相关性(垂直评估)，在每个CCR类型中进行测量(水平评估)，这是基于人类认知并独立于测试数据的相关性质量的。这提供自适应的企业相关性决策。对同一CCR系统描述企业相关性判定标准，因此可以将算法输出直接映射到企业标准。本文中系统和方法的实例可以天生地支持具有不同相关性标准的任何数量企业应用，并支持企业相关性标准随时间的改变，而无需人类重新标记数据或重新测量算法相关性。
可适应的方法
本文所述的实例可以采用以下步骤(下文中详细描述)的某些或全部：
1.使用认知概念关系(CCR)系统作为相关性评估基础
2.人类将测试数据分类到CCR中
3.由CCR系统定量测量算法相关性
4.由CCR系统将算法输出映射到企业相关性判定
使用认知概念关系(CCR)类型作为相关性评估基础
如表2所示，在输入对之间共有5类认知概念关系：
表2：认知概念关系