《用于统计地确定在线调查结果中的偏差的系统和方法.pdf》由会员分享，可在线阅读，更多相关《用于统计地确定在线调查结果中的偏差的系统和方法.pdf（23页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104050228A43申请公布日20140917CN104050228A21申请号201410096316522申请日2014031413/831,45520130314USG06F17/30200601G06Q30/0220120171申请人优米有限公司地址美国加利福尼亚州72发明人阿亚潘撒恩卡然哈利姆达默尔吉维杰考希克74专利代理机构北京同达信恒知识产权代理有限公司11291代理人黄志华李欣54发明名称用于统计地确定在线调查结果中的偏差的系统和方法57摘要本发明涉及一种用于统计地确定在线调查结果中的偏差的系统和方法。一种系统、方法、和计算机程序确定在调查结果中由于未响应。
2、的调查响应数据和/或错误的调查响应数据而引起的偏差、评估通过未响应的调查数据和/或错误的调查数据所引入的偏差对调查结果的影响、相应地分析调查结果，以提供对被调查的人群观看的内容（例如，广告）的观看者的印象的更精确的评估。该分析允许广告主改变广告以更好地推广产品或者服务，并且使广告主能够提高广告活动成功的可能性和活动的成本效率。30优先权数据51INTCL权利要求书3页说明书11页附图8页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书11页附图8页10申请公布号CN104050228ACN104050228A1/3页21一种校正关于与多个观看者所观看的媒体相关的广告内容的调。
3、查结果中由于未响应于调查而引起的偏差的系统，包括采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者；调查引擎，所述调查引擎包括能够被所述计算机系统执行以接收包括所述多个观看者对所述调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被所述计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，所述分析引擎包括指令，所述指令在调查完成后能够被所述计算机系统执行，以分析所述调查响应数据从而确定所述调查响应数据的平均值、方差和标准差，并且在响应的观看者中分析所述方差。
4、和所述标准差来推断未响应的调查偏差。2如权利要求1所述的系统，还包括分析仪表板，所述分析仪表板包括被所述计算机系统执行以创建包括平均响应、自所述平均响应的标准差、和基于所述多个观看者的响应确定未响应的调查偏差的报告的指令。3一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的系统，包括采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计所述多个观看者知道答案的问题组成；调查引擎，所述调查引擎包括能够被所述计算机系统。
5、执行以接收包括所述多个观看者对调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被所述计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，所述分析引擎包括在调查完成后能够被所述计算机系统执行以分析所述调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复并且选择性地舍弃包括错误答复的调查数据的指令。4如权利要求3所述的系统，其中，包括错误答复的所述调查数据被舍弃，并且其中，所述分析引擎减去包括错误答复的所舍弃的调查响应的数目并且确定是否保留了统计学上显著数量的响应，并且其中，如果所保留的响应的数量在统计学上是不足的，则所述采样。
6、引擎重复调查。5如权利要求3所述的系统，还包括分析仪表板，所述分析仪表板包括被所述计算机系统执行以创建包括所述调查数据的报告的指令。6一种用于确定关于与被多个观看者所观看的媒体相关的的广告内容的调查结果中的未响应的调查偏差的方法，包括进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者；接收包括所述多个观看者对所述调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中；权利要求书CN104050228A2/3页3在所述调查完成后，使用处理器来获取所述调查响应数据；使用所述处理器确定所述调查响应数据的平均值、方差、和标准差；以及使用所述处理。
7、器在响应的观看者中分析所述方差和所述标准差以推断所述未响应的调查偏差。7如权利要求6所述的方法，还包括追踪提供有所述调查的观看者的总数，并且将所述总数存储在所述处理器可读存储介质中。8如权利要求6所述的方法，还包括分析所述调查响应数据以确定响应的数量。9如权利要求8所述的方法，还包括追踪提供有所述调查的观看者的总数，将所述总数存储在所述处理器可读存储介质中，通过将响应于调查的数量除以提供有所述调查的观看者的总数，来确定响应于所述调查的观看者的百分比，并且确定所述百分比是否至少等于预定的阈值百分比，使得来自所述多个观看者的所述调查结果构成能容许可靠的统计分析的足够的样本。10如权利要求6所述的方。
8、法，其中，所述多个观看者中的第一部分构成对照组，并且所述多个观看者中的第二部分构成测试组。11如权利要求10所述的方法，还包括通过第一部分观看者中的相应的观看者所使用的观看设备上的跟踪COOKIE，来识别所述对照组中的观看者。12如权利要求11所述的方法，其中，最初没有通过用户ID或者跟踪COOKIE识别为所述对照组中的观看者的观看者，随后基于在第二部分观看者中的相应的观看者所使用的观看设备上的用户ID或者跟踪COOKIE识别为所述测试组中的观看者。13如权利要求10所述的方法，还包括将来自所述测试组中的观看者的调查数据和来自所述对照组中的观看者的调查数据分类。14如权利要求13所述的方法，还。
9、包括获取从两组中得到的调查数据，以确定所述对照组的平均响应和所述测试组的平均响应，并且比较来自所述测试组中的多个观看者的平均响应和来自所述对照组中的所述观看者的平均响应，从而确定调查数据的一致性。15如权利要求6所述的方法，还包括创建报告，所述报告包括所述平均响应、自所述平均响应的标准差、和基于所述多个观看者的响应确定未响应的调查偏差。16如权利要求6所述的方法，还包括重新调查未响应的观看者以获取调查数据。17如权利要求6所述的方法，还包括分析所述调查数据以评估品牌认知度。18一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的方法，包括进行包括一个或。
10、多个问题的调查，所述一个或多个问题提供给能够被所述多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计所述多个观看者知道答案的问题组成；接收包括所述多个观看者对调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中；在调查完成后，使用处理器获取所述调查响应数据；以及使用所述处理器分析所述调查响应数据从而检查调查数据中的对包括在调查中的答权利要求书CN104050228A3/3页4案通常已知的所述至少一个问题的答复，并且选择性地舍弃包括错误答复的调查数据。19如权利要求18所述的方法，其中，包括错误答复的所述调查数据被舍弃，并且所述方法还包括减去包括错误答复的所舍弃。
11、的调查响应的数目，确定是否保留了统计学上显著数量的响应，并且如果所保留的响应的数量在统计学上是不足的，则重复调查。20如权利要求18所述的方法，还包括创建包括调查数据的报告。权利要求书CN104050228A1/11页5用于统计地确定在线调查结果中的偏差的系统和方法背景技术0001直到最近，电视和收音机控制将新闻、体育和娱乐提供给公众。然而，随着互联网连接和万维网的出现，信息和娱乐内容的提供已经越来越多地转移到网络连接设备，例如台式计算机和笔记本电脑、平板电脑、移动电话和智能手机、以及连接至CTV电视网的设备。0002就这一点而言，通过互联网，像CNBC这样的服务提供新闻内容，像ESPN这样的。
12、服务提供体育内容，像网飞公司（NETFLIX）和葫芦网（HULU）这样的服务提供包括电影和电视节目的娱乐内容。这些服务中的许多服务依靠广告收入模式，使得伴随着信息或娱乐内容，广告主刊登付费广告。进一步，其他互联网能够实现的服务，例如从电子邮件服务到拍卖服务到信息服务，包括广告来获得收益。0003由于越来越接受通过网络提供信息和娱乐内容，以及通过网络刊登广告有重大成本，广告主已经开始更小心地管理他们的广告内容和相关的广告活动成本。广告主对他们的在线广告的效力很感兴趣，例如，特别是视频广告，这样他们可以评估他们投资收益。如果具有投资收益，广告主很可能会增加在线广告的开销总额。因此，广告主聚焦于基于。
13、网络的广告活动对消费群中的成员的影响和通过网络提供广告是否建立了良好的印象，是否加快建立广告品牌，关于这个调查是至关重要的。0004万维网通常有利于实施调查，将其与通过互联网同时提供广告相关联，并且快速且低价地收集响应作为调查数据。例如，共同转让的共同未决的2009年5月28日递交的名称为“SYSTEMANDMETHODFORAUTOMATEDONLINESURVEY”的美国专利申请NO12/455,314涉及调查网站观众群体的具体特征，例如人口统计和心理统计，这帮助网站所有者和广告主优化广告，该美国专利申请的全部内容通过引用并入本文。0005通常，广告出现在网页上或者结合其他内容（例如新闻、。
14、体育、或者娱乐或者其他基于网络的服务，例如邮件）提供。通过非限制性示例，广告可以作为图像、或者没有声音的视频、或者结合音频内容的视频提供。广告可以在非广告内容前面提供（前置式广告）、在非广告内容期间提供（中置式广告）、或者在非广告内容后面提供（后置式广告）。如果广告在非广告内容期间提供，则该广告可以在该非广告内容的中断期间提供或者与非广告内容同时提供。如果广告与非广告内容同时提供，则广告可以作为叠加在非广告内容上的图像或者视频流来提供。0006调查可以与通过网络提供的内容关联。在预定的时间，通常在提供非广告内容和广告之前，调查被发送给观看者/调查对象。然而，连同调查过程遇到了多种问题，通常可以。
15、归为（1）无响应的调查数据；和（2）错误的调查数据。无响应的调查数据是其中被调查的人没能响应调查的调查结果。错误的调查数据是其中被调查的人利用一个或多个不真实的答案来响应的调查结果。0007广告主的挑战是确定这样的无响应的调查数据和错误的调查数据使从调查中获得的结果产生偏差的程度。不考虑通过无响应的调查数据和错误的调查数据引入调查结果中的偏差，调查数据是不可靠的。因此，需要用于确定是否存在无响应的调查数据和错误的说明书CN104050228A2/11页6调查数据并且适当计算通过无响应的调查数据和错误的调查数据引入调查数据中的偏差的系统和方法。0008对于本领域的技术人员而言，通过阅读下面的说明。
16、书和研究附图，现有技术的这些和其他缺陷将变得清楚。发明内容0009根据示例性实施方式的系统和方法评估在整体调查结果上未响应的调查数据和错误的调查数据的偏差，并且其后基于偏差评估统计地校正整体调查。本文公开的实施方式涉及调查、普查等以及执行其的方案，包括使用在线问卷调查。0010通过示例而非限制的方式提出的某些实施方式，涉及调查观看在网站访问的媒体流的人群，来得到他们的回应。与其他内容，例如视频娱乐（例如，电影）、新闻、体育、或者其他信息内容或者商标相关联的广告的好的或不好的印象，可以是调查的主题。0011通过举例的方式，但不是通过限制的方式，一个实施方式提供一种通过校正在调查结果中由于未响应的。
17、调查响应数据和/或错误的调查响应数据产生的偏差、评估未响应的调查数据或者错误的调查数据对调查结果的影响、相应地分析调查结果，来校正在线调查结果。在这个非限制性示例中，通过基于未响应的调查数据和/或错误的调查数据统计地校正调查结果，可以获取内容（例如，广告）的观看者的印象的更精确的评估，这评估可以被广告主采用来测量他们广告的有效性、广告成本效益、品牌接受度等。0012通过示例而非限制的方式提出的多种实施方式，利用优于现有技术的重要改进以确定未响应的调查和错误的调查数据对整体调查结果的影响，来解决上述难题。描述用于对人们执行调查或者普查的示例性系统和方法，包括用于执行在线调查和普查的方案，征集人们。
18、的响应以将信息提供给调查或者普查的主办方。例如，调查观看媒体的人以得到对媒体内容的反应，媒体例如为网站上的一个或者多个页面或者在网站上访问的流式传输的媒体。结合其他内容提供的广告的良好的印象和不好的印象可以为调查的示例性主题，该其他内容例如为通过网络（诸如因特网）提供的视频娱乐（例如，电影）、新闻、体育或者其他信息内容。0013通过示例而非限制的方式提出的实施方式提供一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中的未响应的调查偏差的系统，包括采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被多个观看者访问的媒体的所。
19、述多个观看者；调查引擎，所述调查引擎包括能够被计算机系统执行以接收包括观看者对调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，分析引擎包括指令，该指令在调查完成后能够被所述计算机系统执行，以分析调查响应数据从而确定调查响应数据的平均值、方差和标准差，并且在响应的观看者中分析方差和标准差来推断未响应的调查偏差。0014另一示例性实施方式提供一种用于确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中的未响应的调查偏差的方法，包括进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被多个观看者。
20、访问的媒体的所述多个观看者；接收包括观看者对调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中。在调说明书CN104050228A3/11页7查完成后，使用处理器来获取调查响应数据，使用处理器确定调查响应数据的平均值、方差和标准差；并且使用处理器在响应的观看者中分析方差和标准差来推断未响应的调查偏差。如果方差和标准差示出响应中的趋势在正方向上远离平均值，则未响应的调查偏差确定为正偏差，如果方差和标准差示出响应中的趋势在负方向上远离平均值，则未响应调查偏差确定为负偏差。0015另一示例性实施方式提供一种校正关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起。
21、的偏差的系统，包括采样引擎，所述采样引擎包括能够被计算机系统执行以进行包括一个或多个问题的调查的指令，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计多个观看者知道答案的问题组成；调查引擎，所述调查引擎包括能够被计算机系统执行以接收包括观看者对调查的响应的调查数据的指令；数据存储器，所述数据存储器包括能够被计算机系统执行以将调查响应数据存储在计算机可读存储介质中的指令；以及分析引擎，分析引擎包括指令，该指令在调查完成后能够被所述计算机系统执行，以分析调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复，并且。
22、选择性地舍弃包括错误答复的调查数据。0016另一示例性实施方式提供一种确定关于与多个观看者所观看的媒体相关的广告内容的调查结果中由于错误的调查数据所引起的偏差的方法，包括进行包括一个或多个问题的调查，所述一个或多个问题提供给能够被多个观看者访问的媒体的所述多个观看者，其中，所述问题中的至少一个问题由预计多个观看者知道答案的问题组成；接收包括观看者对调查的响应的调查数据；将调查响应数据存储在处理器可读存储介质中；在调查完成后，使用处理器获取调查响应数据；以及使用处理器分析调查响应数据从而检查调查数据中的对包括在调查中的答案通常已知的所述至少一个问题的答复，并且选择性地舍弃包括错误答复的调查数据。。
23、0017多种示例性实施方式确定在调查结果中由于未响应的调查响应数据和/或错误的调查响应数据产生的偏差、评估通过未响应的调查数据和/或错误的调查数据所引入的偏差对调查结果的影响、相应地分析调查结果，且基于由于未响应的调查数据和/或错误的调查数据所引起的偏差统计地校正调查结果，来提供对被调查的人群观看的内容（例如，广告）的观看者的印象的更精确的评估。优选地，一个示例性实施方式由在至少一个计算机系统上执行的全自动化软件应用程序和方法来实现。0018有利地，校正的调查结果可以被广告主利用来测量他们的广告的有效性、广告的成本效益、品牌接受度等。校正的调查结果允许广告主改变广告以更好地推广产品或者服务，并。
24、且使广告主能够提高广告活动成功的可能性和活动的成本效率，来从根本上改变广告主分析在线调查结果以调整他们的广告策略的方式。0019对于本领域的技术人员而言，在阅读如下的说明书和研究附图后，上述和其它示例性实施方式、特征、和优点将变得清楚。附图说明0020现将参照附图描述多个示例性实施方式，其中，类似的组件提供有类似的附图标记。这些示例性实施方式旨在说明本发明而非限制本发明。在附图中说明书CN104050228A4/11页80021图1为用于实现根据一个示例性实施方式的系统的计算机系统的框图；0022图2为用于实现根据另一示例性实施方式的系统的替选计算机系统的框图；0023图3是示出根据系统的一个。
25、示例性实施方式的用于分析在线调查结果的调查环境的示例性实施方式的框图；0024图4示出包括在根据示例性实施方式创建的调查中的代表性问题的示例；0025图5为示出用于生成一组调查问题的示例性过程的流程图；0026图6为示出用于进行调查的示例性过程的流程图；0027图7为示出根据本发明的确定在线调查结果中由于未响应的调查数据所引起的偏差的方法的示例性实施方式的流程图；0028图8为示出根据本发明的确定在线调查结果中由于错误的调查数据所引起的偏差的方法的示例性实施方式的流程图。具体实施方式0029多种示例性实施方式提供这样的系统和方法基于校正在调查结果或普查结果中由于对调查或普查无响应和/或错误的数。
26、据引起的偏差，统计地校正在线调查结果或者普查结果。例如，这些在帮助广告主提高广告活动成功的可能性和广告的成本效益方面可以是有价值的。0030示例性实施方式提供了用于评估由于无响应的调查数据引起的偏差所影响的在线调查结果的在线调查的方案。其他示例性实施方式提供了用于评估由于错误的调查数据引起的偏差所影响的在线调查结果的在线调查的方案。示例性实施方式提供了统计地校正由于人（例如广告的观看者）经受调查时对调查无响应和/或错误的调查数据而引起的偏差所影响的在线调查。可以通过各种系统、方法和计算机指令来实现各种方面，该计算机指令存储在计算机可读介质上或存储在计算机可读介质内并且能够被处理器执行以实现所需。
27、的调查以及统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所引起的调查结果。0031多种示例性实施方式尤其适用于计算机实现的基于软件的系统和方法，来提供统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果，在该上下文中，多种示例性实施方式将会予以描述。然而，应当理解，根据本发明的用于提供统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差造成的调查结果的方法和系统有更大的效用，这是因为它们可以在硬件中或者软件和硬件的结合中实现，以及也可以包含本文中没有描述的其他模块或者功能。0032现在，参考附图，图1是示出根据在个人计算机12上实现的一个示例性实施方式的。
28、用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的计算机系统10的示例的框图。具体的，个人计算机12可以包括显示单元14、处理单元16、和一个或者多个输入/输出设备18，输入/输出设备18允许用户与个人计算机12执行的软件应用程序交互。在所说明的示例中，输入/输出设备18可以包括键盘20和鼠标22，但是也可以包括其他外围设备，例如打印机，扫描仪等。处理单元16还可以包括中心处理单元（CPU）24、持久性存储设备26（例如硬盘）、和存储器28。CPU24可以控制持久性存储设备26和存储器28。说明书CN104050228A5/11页90033软件应用程序可以存储在持。
29、久性存储设备26中，并且当软件应用程序要被CPU24执行时该软件应用程序可以被下载到存储器28。在所示出的示例中，用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30可以下载到存储器28。用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30可以实现为被CPU24执行的一个或者多个模块。处理单元16可以与因特网32连接。0034根据其他各种设想的示例性实施方式，计算机系统10也可以使用硬件来实现，或者可以实现在不同类型的计算机系统上，例如客户端/服务器系统、网络服务器、大型计算机、工作站等。因此，根据另一个示例性实施。
30、方式，各种示例性实施方式可以通过托管网络服务器来实现。图2中示出使用托管网络服务器的系统，通常由附图标记1801表示。优选地，系统1801包括由个人计算机1802访问的基于网络的应用程序，如图2所示。例如，个人计算机1802可以是在微软、苹果、UNIX或者其他操作系统下运行的且提供有包括网络浏览器的图形用户界面的个人计算机。在其他示例性实施方式中，个人计算机1802可以被连接因特网的设备（例如平板电脑、智能手机、或者互联网电视）代替。0035个人计算机1802可以与网络1807连接。例如，网络1807可以使用因特网连接实现。在系统1801的一个实现方式中，个人计算机1802可以移植到因特网，并。
31、且由网络服务器1803代管。优选地，系统1801的图形用户界面显示在连接至个人计算机1802的监控器1804上。鼠标1806被提供用于包括系统1801的图形用户界面的屏幕或窗口之间的鼠标驱动的导航。优选地，个人计算机1802还连接至键盘1808。鼠标1806和键盘1808使用户能够利用系统1801来执行用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的应用程序30，该鼠标1806和键盘1808可以位于网络服务器1803上。系统1801也可以包括与个人计算机1802连接的打印机1809来提供调查结果的硬拷件。0036根据该系统的多种示例性实施方式，提供了统计地校正由。
32、于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。使用在线调查数据确定由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果的统计的校正。关于使用支持网络的设备（例如计算机、平板电脑、PDA、网络电视、诸如蜂窝电话的移动设备（例如，智能手机）等，通过网络提供给人们的广告，将通过示例而非限制的方式描述根据本发明的示例性实施方式。0037图3是示出调查环境100的框图。在所示出的示例中，在线调查系统102可以与应用程序30一体或设置成结合应用程序30，应用程序30用于分析调查数据和用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。在线调查系统1。
33、02包括站点管理器110、采样引擎112和调查引擎114，该调查引擎114连接至包括分析引擎116及分析仪表板118的应用程序30，该应用程序30用于统计地校正由于无响应的调查数据和/或错误调查数据引入的偏差所造成的调查结果。在一个示例性实施方式中，部件110118实现为计算机程序指令，该计算机程序指令在包括在一个或多个计算机（诸如图1示出的计算机系统10和/或图2示出的网络服务器1803）中的一个或多个处理器上执行。部件可以实现为同一进程/程序的不同的线程或者实现为不同的进程/程序。在不同的示例性实施方式中，一个或者多个部件可以组合，部件的功能可以混合。在一个示说明书CN104050228A。
34、6/11页10例性实施方式中，部件可以共同提供基于网络的“软件即服务”（SAAS），在线调查系统的用户可以与该“软件即服务”交互，该用户包括各方，例如有兴趣调查在某些网站访问的媒体的观看者的网站所有者（通常称为网站所有者）104、带有支持网络的设备的观看者106、及对调查结果感兴趣的各方（通常称为广告购买者或广告买家）108。在线调查SAAS生成调查，且处理、分析并呈现调查数据。0038站点管理器110允许网站所有者104注册或者提供调查服务和提供信息给广告购买者。在一些示例性实施方式中，网站所有者104可以提供广告，并且因此也等同于广告购买者108。在一些示例性实施方式中，网站所有者104提。
35、供与待被调查的观看者106所访问的任何网站相关联的URL（全球资源定位器，UNIVERSALRESOURCELOCATOR）。网站可以是顶级网站或者子网站。如下面将更详细地描述，关于通过网站将介质提供至多个观看者106生成一个或者多个调查。调查信息存储在数据存储器120中。0039多个观看者106中的所有或者一部分可以被选择来进行调查。在一些示例性实施方式中，当观看者在网站上被提供包括广告的内容或浏览页面时，观看者106的网络浏览器发送请求给采样引擎112。在其它示例性实施方式中，在接收到请求时，采样引擎112控制是否邀请观看者106参加调查。在一些示例性实施方式中，邀请观看者106参加调查可。
36、以基于一个或者多个因素，包括例如，网站点击率、页面点击率、之前的参与接受率、到调查结束所剩的时间、完成调查还需要的样本数量、统计要求等。如果采样引擎112确定邀请应该提供给观看者106，则以横幅、内容层、弹出窗口等形式向观看者提供可视化调查，来确定观看者是否愿意加入调查。如果观看者106做出肯定的响应，则调查引擎114从数据存储器120中获取调查，并将该调查通过浏览器提供给观看者，或者可以将观看者导向至调查引擎创建的调查页面。0040调查引擎114使调查问题显示，收集调查结果，并且将调查结果存储在数据存储器120中。分析引擎116分析调查结果，如下面更详细地描述。分析仪表板118视觉上显示调查。
37、结果，使得调查结果可以被感兴趣的各方（例如网站所有者104和广告购买者108）观看，来了解从观看者106获取的调查结果。0041通常，调查通过网站创建和存储以用于提供调查。如下面更详细地描述，在一些示例性实施方式中，调查可以被网站所有者104创建。在其他示例中，调查可以被广告购买者108创建。在一些示例性实施方式中，网站所有者104和/或广告购买者108可以包括调查问题，该调查问题来自选自存储在数据库中的问题的、数据存储器120中的待用于调查的问题中的一组预定的问题。可选地，在一些示例性实施方式中，网站所有者104和/或广告购买者108可以自己添加额外的问题。在一些示例性实施方式中，某些调查问。
38、题可以自动包括在调查中。调查提供给选自多个观看者106的可能的调查参与者。在一些示例性实施方式中，进行随机选择以减少所选择的样本中的偏差。在一些示例性实施方式中，选择包括对照组的观看者106。0042一旦调查生成，则网站所有者104可以指定脚本标签（例如，/SCRIPT），该脚本标签包括与提供给观看者的具有待被调查的目标广告的内容或在网站上的具有待被调查的目标广告的页面相关的唯一标识符。网站所有者104随后可以指示网站准备好开始调查。因此，每当包含广告的内容或在网站上的包括广告的页面被下载到观看者的浏览器中时，说明书CN104050228A107/11页11脚本标签使得观看者的浏览器发送请求给。
39、采样引擎112，该采样引擎112选择性地招募观看者来参加调查。系统102重复将调查呈现给可能的调查参与者直到大量的观看者106的样本已参与调查。0043图4是示出调查问题的示例的框图。在一些示例性实施方式中，调查问题可以用于收集关于观看者106的人口统计信息（例如，不易改变的性格特征）和关于观看者的心理信息（例如，偏好、兴趣和嗜好）。在一些示例性实施方式中，一组或多组涉及一般信息（诸如观看者的人口统计信息和/或心理信息）的默认问题（例如，“核心”问题和“产品购买”问题）也可以包括在调查中。此外，在一些示例性实施方式中，网站所有者104或广告购买者108可以选择将某些自定义问题包括在调查中。00。
40、44图5是示出用于对调查问题进行排序的非限制性示例的流程图500。在这个非限制性示例中，称为“核心前缀”问题502的问题可以放置在调查的开始。这些问题被认为是基础的和直接的，涉及例如年龄、性别、地理位置、因特网使用等。广告特定问题可以放置在核心前缀问题之后。在广告特定问题中，较容易的问题504（例如对同一产品类别中的不同产品或同一服务类别中的不同服的偏好）可以放置在更具挑战性的问题506（例如产品购买习惯和计划）之前。可选的自定义问题508可以加在类别特定的问题之后。最难/敏感的问题510（例如收入和观看者106所写的反馈/建议）（在该示例中，称为“核心后缀”）可以放在调查的最后。答案通常已知。
41、的一般问题512也可以包括在调查中，如下面将更详细地描述。在另一示例中，调查可以仅问一个问题。0045图6是示出用于执行调查的过程的示例的流程图。可以在诸如系统100上执行过程600。在这个示例中，过程600开始于601，在601处，创建调查，如上所述。在602，使用统计技术确定关于通过网站提供的广告的调查目标。调查目标反映实现具有特定的置信区间的特定的误差范围所需的调查的数量。例如，为了实现置信区间为95的误差范围5，每月提供广告给一百万观看者106的网站将需要来自该月的观看者中的约400名随机采样的调查响应者。在603，网站发起调查。0046在604，来自观看者106的请求被接收。如前面所。
42、述，在一些示例性实施方式中，网站所有者104将脚本标签嵌入到所提供的内容中或者观看者106访问的网页上。因此，当观看者的浏览器在网站上下载内容或者网页时，可以发送请求给在线调查系统102。在605，确定是否应当将参加调查的提议提供给观看者106。在一些示例性实施方式中，参加调查的提议提供给所有观看者106。在一些示例性实施方式中，参加调查的提议仅提供给多个观看者中的一部分或者一定的百分比的观看者。例如，通过将对于观看者106生成的随机数在预定的数量范围内作为提供观看者参与调查的机会的条件，可以确定观看者中的该部分。通过进一步举例的方式，通过相比于预定的数量追踪自提议最后一次提供以来的访问次数，。
43、以确定是否将提议提供给观看者106，可以确定该部分。通过另一个示例，百分比可以被计算为完成率，该完成率等于迄今完成的调查的数量与调查提议的数量之比，并且可以包括基于初始的小的完成数量（例如，35个完成的调查）和对应的初始的调查提议数量计算的初始完成率。0047如果没有选择观看者106并且没有提议要提供，则控制返回到605来等待在604的另一个请求；否则，调查提议提供给观看者106，在606，确定调查提议是否被观看者接受。如果所选择的观看者106没有接受调查提议，控制返回到604来等待另一调查请求。如说明书CN104050228A118/11页12果观看者106接受，则在608，调查问题在观看者。
44、的浏览器中按适当排列的顺序呈现给观看者，并且记录对调查问题的响应。可选地，在610，捕获额外的响应特征。0048本文中使用的响应特征指的是与调查对象而不是对调查响应上下文相关的特征。响应特征的示例包括调查的时间、浏览器类型、浏览器所用的语言、页面上下文信息（例如观看者参照的URL，所参照的URL中的关键词）、操作系统、屏幕尺寸、网络位置、地理位置等。0049在612，结果（包括调查响应和响应特征）存储在数据存储器120中。在614，确定是否已获得目标样本。如果是，在616，过程600结束；否则，控制返回604以等待来自观看者106的另一请求，直到代表性数量的观看者已完成调查，以实现目标样本。0。
45、050一旦大量的观看者106已完成调查，则可以提供对于抽样人口的累积调查结果。调查结果也可以通过多种方法进行分类和分析。例如，分析仪表板118可以基于对调查问题的回答将调查响应者的简介的细目提供给网站所有者104和/或广告购买者108，该细目例如为基于性别、年龄、种族、职业、收入、地理位置、购买习惯、购买意向或者其他调查响应的细目。此外，分析仪表板118可以基于响应特征提供调查信息细目，该响应特征例如时间、网页上下文、浏览器种类、操作系统、地理位置、或涉及的网站，例如博客或者搜索引擎或者其他目录。然而，如果未响应者的比例高或者调查结果包括错误的调查数据，则调查结果通常是有偏差的。0051基于经。
46、验数据，对这样的调查的未响应是高的，约90到95，并且可能高达99。就是说，预计在一百名观看者中能够有约一个观看者响应这样的调查。因此，至关重要的是，评估对于多个数观看者106中的作出响应的百分之一的观察者的调查结果，以确定未响应的调查偏差，因为在调查结果中由于未响应的调查偏差导致的任何偏离会影响调查结果。0052根据一个示例性实施方式，用于确定未响应的调查偏差的方法可以基于初始调查结果执行。如图7所示的过程流程图所示，在图6所示的616完成调查后，在702开始未响应的调查偏差确定方法700。在704，获取存储在处理器可读存储介质（例如数据存储器120）的调查响应数据。在706，包括分析引擎1。
47、16的处理器可执行的样本分析模块分析调查响应，以确定响应的数目。通过采样引擎112追踪提供有调查的观看者106的总数并且将该总数存储在数据存储器120中。在708，样本分析模块通过将对调查响应的数量除以提供有调查的观看者总数，来确定响应于调查的观看者106的百分比。0053如上所述，响应的数量需要实现非常准确的调查目标；就是说，如果响应调查的观看者106的百分比低于预定的阈值百分比，样本可以被认为是太小而易受统计分析影响。在一个示例性实现方式中，预定的阈值百分比可以基于实现具有特定的置信区间的特定的误差范围所需的调查目标。例如，为了实现置信区间为95的误差范围5，每月提供广告给一百万观看者的网。
48、站将需要来自该月的观看者中的约400名随机采样的调查响应者。并且，响应的百分比确定每个响应在统计分析中的权重；就是说，响应的百分比越低，每个响应在统计分析中所占的权重越大，且由于无响应的调查数据而使整体调查结果偏差也越多，例如，如果少数响应的观看者106中的大部分的印象不是良好的，则结论将是在利用未响应的观看者培养良好的印象方面广告可能不成功，因为广告没有与未响应的观看者产生共鸣并且他们选择不去完成调查，这要么因为他们没有理解广告内容并且没有感到有资格说明书CN104050228A129/11页13回复调查问题，要么因为他们不想花费时间回答关于起初没有吸引他们的广告的问题。本领域技术人员也熟悉。
49、其他确定响应调查的百分比的原因。0054在一个优选实现方式中，多个观看者106中的一部分组成对照组。对照组中的观看者106的识别是通过在对照组中的观看者106所使用的观看设备上的用户ID或者“跟踪记录标记（COOKIE）”，相对地，没有通过用户ID或者跟踪COOKIE识别为对照组中的观看者的观看者在下文为了方便将称为“测试组”。此后，在测试组内的多个观看者106可以基于他们的观看设备上的用户ID或者跟踪COOKIE被识别为测试组中的观看者。在710，样本分析模块将来自测试组中的观看者106的调查结果和来自对照组中的观看者106的调查结果分类。0055在712，包括分析引擎116的统计分析模块获取从两组中得到的调查数据，以确定对照组的平均响应和测试组的平均响应，并且比较来自测试组中的观看者106的平均响应和来自对照组中的观看者的平均响应，从而确定调查数据的一致性。通过非限制性示例的方式，可以比较响应于一般问题“您喜欢广告吗是/否。”的调查数据。如果测试组中的大多数观看者106和对照组中的大多数观看者回答“是”，那么调查结果被认为是一致的，并且平均响应是“良好的”。0056统计分析模块也可以分析关于某些调查问题的调查结果中的标准差。通过非限制性示例的方式，统计分析模块可以分析从测试组和对照组中的观看者106获取的对问题“下次我购买手机时，我会考虑做广告的手机强烈不同意1/不同意2/。