《应用外测方法、外测设备管理服务器及应用外测系统.pdf》由会员分享，可在线阅读，更多相关《应用外测方法、外测设备管理服务器及应用外测系统.pdf（17页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104065537A43申请公布日20140924CN104065537A21申请号201410318376722申请日20140704H04L12/2620060171申请人中国联合网络通信集团有限公司地址100033北京市西城区金融大街21号72发明人李朝霞杜杏兰曹万鹏严琦王尧74专利代理机构北京同立钧成知识产权代理有限公司11205代理人刘芳54发明名称应用外测方法、外测设备管理服务器及应用外测系统57摘要本发明提供一种应用外测方法、外测设备管理服务器及应用外测系统。其中，所述方法包括获取预存储的所有外测设备标识对应的外测参数；根据各外测设备标识对应的外测参数，确定各外。
2、测设备标识对应的外测值；获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；接收所述外测设备返回的所述测试报告；根据所述测试报告，更新所述外测设备的外测参数。本发明实施例有效地避免了现有技术中选取外测用户群的盲目性，为提高应用外测测量报告的准确性和权威性提供了可靠的保障。51INTCL权利要求书3页说明书7页附图6页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书7页附图6页10申请公布号CN104065537ACN104065537A1/3。
3、页21一种应用外测方法，其特征在于，包括获取预存储的所有外测设备标识对应的外测参数；根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值；获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；接收所述外测设备返回的所述测试报告；根据所述测试报告，更新所述外测设备的外测参数。2根据权利要求1所述的应用外测方法，其特征在于，所述待外测应用信息包括应用程序和提供所述应用程序的开发设备的标识；所述测试报告携带有应用信息标识；相应地，所述方法还包括根据预置的应用。
4、信息标识与应用信息的对应关系，获取所述测试报告携带的所述应用信息标识对应的应用信息；提取所述应用信息中包含的开发设备的标识；根据所述开发设备的标识，将所述测试报告发送至开发设备，以使所述开发设备根据所述测试报告，修复所述应用程序；接收所述开发设备返回的修复后的应用信息。3根据权利要求1或2所述的应用外测方法，其特征在于，所述根据所述测试报告，更新所述外测设备的外测参数之前，还包括检测所述测试报告；若根据预设的完整性检测原则检测出所述测试报告不完整，则删除所述测试报告；若检测出所述测试报告携带的测试结果信息与已有测试报告携带的测试结果信息相同，则删除所述测试报告。4根据权利要求1或2所述的应用外。
5、测方法，其特征在于，所述外测参数包括外测设备已生成测试报告的分值，外测经验值、活跃度值以及应用领域关键字标签标识中的一个或任意多个的组合。5根据权利要求4所述的应用外测方法，其特征在于，所述根据所述测试报告，更新所述外测设备的外测参数包括广播所述测试报告，所述测试报告携带有生成该测试报告的外测设备标识；接收至少一个接收到所述测试报告的用户设备返回的评分信息；根据接收到的所有评分信息，采用预设算法计算所述测试报告的分值；将所述外测设备的标识与所述测试报告的分值对应存储；和/或累计接收外测设备返回的所有测试报告的数量；根据累计的数量，确定所述外测设备的外测经验值；将所述外测设备的标识和所述外测经验。
6、值对应存储；和/或累计接收外测设备返回的所有测试报告的数量，以及接收所述数量的测试报告的时间；权利要求书CN104065537A2/3页3根据累计的数量及所述时间，计算单位时间内所述外测设备返回测试报告的频率；根据计算得出的所述频率，采用预设的赋值规则为所述频率赋予对应的跃度值；将所述外测设备的标识与所述活跃度值对应存储；和/或接收外测设备发送的携带有所述外测设备标识和应用领域关键字标签标识的上报信息；将所述外测设备的标识与应用领域关键字标签标识对应存储。6根据权利要求5所述的应用外测方法，其特征在于，根据外测参数，确定外测设备标识对应的外测值，包括若所述外测参数包括外测设备已生成测试报告的分。
7、值，则采用平均值计算方法计算外测设备已生成的所有测试报告的分值的平均值，将当前外测值更新为所述当前外测值与所述平均值和第一预设权重的乘积之和；若所述外测参数包括外测经验值，则将当前外测值更新为所述当前外测值与所述外测经验值与第二预设权重的乘积之和；若所述外测参数包括活跃度值，则将当前外测值更新为所述当前外测值与所述活跃度与第三预设权重的乘积之和；若所述外测参数包括应用领域关键字标签标识，则比较所述应用领域关键字标签标识与所述待外测应用信息中包含的应用领域关键字标签标识是否相同，若相同，则将当前外测值更新为所述当前外测值与第四预设权重的乘积。7一种外测设备管理服务器，其特征在于，包括获取模块，用。
8、于获取预存储的所有外测设备标识对应的外测参数；确定模块，用于根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值；处理模块，用于获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；接收模块，用于接收所述外测设备返回的所述测试报告；更新模块，用于根据所述测试报告，更新所述外测设备的外测参数。8根据权利要求7所述的外测设备管理服务器，其特征在于，还包括获取模块，还用于根据预置的应用信息标识与应用信息的对应关系，获取所述测试报告携带的应用信息标识对应的应用。
9、信息；提取模块，用于提取获取模块获取到的所述应用信息中包含的开发设备的标识，其中，所述应用信息包含应用程序和提供所述应用程序的开发设备的标识；发送模块，用于根据所述开发设备的标识，将所述测试报告发送至开发设备，以使所述开发设备根据所述测试报告，修复所述应用程序；所述接收模块，还用于接收所述开发设备返回的修复后的应用信息。9根据权利要求7或8所述的外测设备管理服务器，其特征在于，还包括检测模块，用于检测所述测试报告；当根据预设的完整性检测原则检测出所述测试报告不完整时，删除所述测试报告；当检测出所述测试报告携带的测试结果信息与已有测试权利要求书CN104065537A3/3页4报告携带的测试结果。
10、信息相同时，删除所述测试报告。10根据权利要求7所述的外测设备管理服务器，其特征在于，所述更新模块，具体用于广播所述测试报告，所述测试报告携带有生成该测试报告的外测设备标识；接收至少一个接收到所述测试报告的用户设备返回的评分信息；根据接收到的所有评分信息，采用预设算法计算所述测试报告的分值；将所述外测设备的标识与所述测试报告的分值对应存储；和/或累计接收外测设备返回的所有测试报告的数量；根据累计的数量，确定所述外测设备的外测经验值；将所述外测设备的标识和所述外测经验值对应存储；和/或累计接收外测设备返回的所有测试报告的数量，以及接收所述数量的测试报告的时间；根据累计的数量及所述时间，计算单位时。
11、间内所述外测设备返回测试报告的频率；根据计算得出的所述频率，采用预设的赋值规则为所述频率赋予对应的跃度值；将所述外测设备的标识与所述活跃度值对应存储；和/或接收外测设备发送的携带有所述外测设备标识和应用领域关键字标签标识的上报信息；将所述外测设备的标识与应用领域关键字标签标识对应存储。11根据权利要求7所述的外测设备管理服务器，其特征在于，所述确定模块，包括第一计算单元，用于当所述外测参数包括外测设备已生成测试报告的分值时，采用平均值计算方法计算外测设备已生成的所有测试报告的分值的平均值，并将当前外测值更新为所述当前外测值与所述平均值和第一预设权重的乘积之和；第二计算单元，用于当所述外测参数包。
12、括外测经验值时，将当前外测值更新为所述当前外测值与所述外测经验值与第二预设权重的乘积之和；第三计算单元，用于当所述外测参数包括活跃度值时，将当前外测值更新为所述当前外测值与所述活跃度与第三预设权重的乘积之和；第四计算单元，用于所述外测参数包括应用领域关键字标签标识时，比较所述应用领域关键字标签标识与所述待外测应用信息中包含的应用领域关键字标签标识是否相同，若相同，则将当前外测值更新为所述当前外测值与第四预设权重的乘积。12一种应用外测系统，其特征在于，包括上述权利要求711中任一所述的外测设备管理服务器，以及至少一个外测设备，其中，所述外测设备与所述外测设备管理服务器连接。权利要求书CN104。
13、065537A1/7页5应用外测方法、外测设备管理服务器及应用外测系统技术领域0001本发明涉及通信技术，尤其涉及一种应用外测方法、外测设备管理服务器及应用外测系统。背景技术0002应用外测是指应用开发者将应用信息提交给应用商店运营商后，在应用正式被发布之前，应用商店运营商会将该应用的BETA版测试第二版提供给用户下载，以获取下载该应用的用户返回的测试报告，其中，该测试报告包含有用户在使用该应用过程中发现的缺陷BUG信息和/或改进建议信息等。0003现有应用外测技术由用户自发的下载应用，并对该应用进行测试，虽然可以在一定程度上发现应用存在的缺陷BUG，也可以生成测试报告反馈给应用开发者，但由于。
14、是外测用户自发的行为，同时也缺乏对于外测用户的激励，所以外测用户并不一定熟知被测应用领域的相关内容，对应用的测试不够充分，对于应用的某些操作或功能，外测用户测试不到，致使测试报告不够详细，参考价值不高。现有应用外测技术显然不能担起保障应用质量的重担。发明内容0004本发明提供一种应用外测方法、外测设备管理服务器及应用外测系统，以避免现有技术中选取外测用户群的盲目性。0005本发明的第一个方面是提供一种应用外测方法，包括0006获取预存储的所有外测设备标识对应的外测参数；0007根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值；0008获取大于预设阈值的外测值对应的外测设备标识，。
15、并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；0009接收所述外测设备返回的所述测试报告；0010根据所述测试报告，更新所述外测设备的外测参数。0011本发明的另一个方面是提供一种外测设备管理服务器，包括0012获取模块，用于获取预存储的所有外测设备标识对应的外测参数；0013确定模块，用于根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值；0014处理模块，用于获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外。
16、测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；0015接收模块，用于接收所述外测设备返回的所述测试报告；0016更新模块，用于根据所述测试报告，更新所述外测设备的外测参数。说明书CN104065537A2/7页60017本发明的又一个方面是提供一种应用外测系统，包括本发明实施例提供的所述外测设备管理服务器、及至少一个外测设备，其中，所述外测设备与所述外测设备管理服务器连接。0018由上述技术方案可知，本发明实施例根据获取各外测设备的外测参数来确定外测设备标识对应的外测值，外测值高的作为外测设备，有效的避免现有技术中选取外测用户群的盲目性，为提高应用外测测量报告的准确性和权威性提。
17、供了可靠的保障。附图说明0019图1为本发明提供的应用外测方法实施例一的流程示意图；0020图2为本发明提供的应用外测方法实施例二的流程示意图；0021图3为本发明提供的应用外测方法实施例三的流程示意图；0022图4为本发明提供的应用外测方法实施例四的流程示意图；0023图5为本发明提供的应用外测方法实施例五的流程示意图；0024图6为本发明提供的应用外测方法实施例六的流程示意图；0025图7为本发明提供的外测设备管理服务器实施例一的结构示意图；0026图8为本发明提供的外测设备管理服务器实施例二的结构示意图；0027图9为本发明提供的应用外测系统实施例一的结构示意图。具体实施方式0028如图。
18、1所示，本发明提供的应用外测方法实施例一的流程示意图。如图1所示，本实施例一所述的方法，包括0029步骤101、获取预存储的所有外测设备标识对应的外测参数。0030具体地，外测设备管理服务器获取其内预存储的所有外测设备对应的外测参数。其中，所述外测参数包括外测设备已生成测试报告的分值，外测经验值、活跃度等级以及应用领域关键字标签标识中的一个或任意多个的组合。0031步骤102、根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值。0032具体地，所述外测设备管理服务器根据获取到的外测参数，确定外测设备标识对应的外测值。所述外测参数包括外测设备已生成测试报告的分值，外测经验值、活跃度。
19、等级以及应用领域关键字标签标识中的一个或任意多个的组合。更具体地0033若所述外测参数包括外测设备已生成测试报告的分值，则所述外测设备管理服务器采用平均值计算方法计算外测设备已生成的所有测试报告的分值的平均值，将当前外测值更新为所述当前外测值与所述平均值和第一预设权重的乘积之和。0034若所述外测参数包括外测经验值，则所述外测设备管理服务器将当前外测值更新为所述当前外测值与所述外测经验值与第二预设权重的乘积之和。0035若所述外测参数包括活跃度值，则所述外测设备管理服务器将当前外测值更新为所述当前外测值与所述活跃度与第三预设权重的乘积之和。0036若所述外测参数包括应用领域关键字标签标识，则所。
20、述外测设备管理服务器比较所述应用领域关键字标签标识与所述待外测应用信息中包含的应用领域关键字标签标识说明书CN104065537A3/7页7是否相同，若相同，则将当前外测值更新为所述当前外测值与第四预设权重的乘积。0037步骤103、获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告。0038具体地，所述外测设备管理服务器获取高于预设阈值的外测值对应的外测设备标识，即外测设备管理服务器选出分值高出预设阈值的外测设备作为待测试应用的外测设备。其中，所述待外测应用信。
21、息包含应用程序和提供所述应用程序的开发设备的标识，或者，所述待外测应用信息包含应用程序、提供所述应用程序的开发设备的标识以及所述应用程序所属应用领域关键字标签标识。0039步骤104、接收所述外测设备返回的所述测试报告。0040具体地，所述外测设备管理服务器接收其选出的这些外测设备通过测试后返回的测试报告。其中，所述测试报告携带有应用信息标识、测试错误信息；或者所述测试报告携带有应用信息标识、测试错误信息和修改建议信息。在实际应用中，所述测试错误信息可具体包括测试的环境、输入的数据或输入的操作，对应的测试发现的问题、该问题的严重程度评价信息等。0041步骤105、根据所述测试报告，更新所述外测。
22、设备的外测参数。0042具体地，所述外测设备管理服务器根据其接收到的测试报告，将预存储的外测设备标识对应的外测参数进行更新。所述外测参数包括外测设备已生成测试报告的分值，外测经验值、活跃度等级以及应用领域关键字标签标识中的一个或任意多个的组合。本实施例根据获取各外测设备的外测参数来确定外测设备标识对应的外测值，外测值高的作为外测设备，有效的避免现有技术中选取外测用户群的盲目性，为提高应用外测测量报告的准确性和权威性提供了可靠的保障。0043进一步地，在本步骤105中，根据测试报告，更新外测设备的外测参数，具体可以包括0044如图2所示，包括步骤1001、所述外测设备管理服务器广播所述测试报告。。
23、0045其中，所述测试报告携带有生成该测试报告的外测设备标识。0046步骤1002、所述外测设备管理服务器接收至少一个接收到所述测试报告的用户设备返回的评分信息。0047步骤1003、所述外测设备管理服务器根据接收到的所有评分信息，采用预设算法计算所述测试报告的分值。0048其中，所述评分信息中携带有评分分值。所述预设算法可以是取平均值的计算方法，即将接收到的所有评分信息携带的评分分值相加取平均，该计算得出的平均值为所述测试报告的分值。当前，还可以是其他计算方法，本实施例并不仅限于取平均值的计算方法。0049步骤1004、所述外测设备管理服务器将所述外测设备的标识与所述测试报告的分值对应存储。。
24、0050如图3所示，和/或包括0051步骤1005、所述外测设备管理服务器累计接收外测设备返回的所有测试报告的数量。说明书CN104065537A4/7页80052步骤1006、所述外测设备管理服务器根据累计的数量，确定所述外测设备的外测经验值。0053具体地，所述外测设备管理服务器累计的数量即可作为外测设备的外测经验值。0054步骤1007、所述外测设备管理服务器将所述外测设备的标识和所述外测经验值对应存储。0055如图4所示，和/或包括0056步骤1008、所述外测设备管理服务器累计接收外测设备返回的所有测试报告的数量，以及接收所述数量的测试报告的时间。0057步骤1009、所述外测设备管。
25、理服务器根据累计的数量及所述时间，计算单位时间内所述外测设备返回测试报告的频率。0058步骤1010、所述外测设备管理服务器根据计算得出的所述频率，采用预设的赋值规则为所述频率赋予对应的跃度值。0059具体地，所述预设的赋值规则可以是当频率小于预设第一频率时，所述活跃度值为第一预设值。当频率大于或等于所述预设第一频率，且小于或等于预设第二频率时，所述活跃度值为第二预设值。当频率大于所述预设第二频率时，所述活跃度值为第三预设值。当然，本发明实施例并不仅限于上述赋值规则，在实际应用中还可根据需要具体设定。0060步骤1011、所述外测设备管理服务器将所述外测设备的标识与所述活跃度值对应存储。006。
26、1如图5所示，和/或包括0062步骤1012、所述外测设备管理服务器接收外测设备发送的携带有所述外测设备标识和应用领域关键字标签标识的上报信息。0063步骤1013、所述外测设备管理服务器将所述外测设备的标识与应用领域关键字标签标识对应存储。0064进一步地，上述实施例一中步骤102中，所述外测设备管理服务器根据获取到的外测设备标识对应的外测参数，确定所述外测设备标识对应的外测值的具体实现过程，可采用如下方法实现0065步骤1021、若所述外测参数包括外测设备已生成测试报告的分值，则所述外测设备管理服务器采用平均值计算方法计算外测设备已生成的所有测试报告的分值的平均值，将当前外测值更新为所述当。
27、前外测值与所述平均值和第一预设权重的乘积之和。0066步骤1022、若所述外测参数包括外测经验值，则所述外测设备管理服务器将当前外测值更新为所述当前外测值与所述外测经验值与第二预设权重的乘积之和。0067步骤1023、若所述外测参数包括活跃度值，则所述外测设备管理服务器将当前外测值更新为所述当前外测值与所述活跃度与第三预设权重的乘积之和。0068步骤1024、若所述外测参数包括应用领域关键字标签标识，则所述外测设备管理服务器比较所述应用领域关键字标签标识与所述待外测应用信息中包含的应用领域关键字标签标识是否相同，若相同，则将当前外测值更新为所述当前外测值与第四预设权重的乘积。0069再进一步地。
28、，所述外测设备管理服务器在接收到外测设备返回的测试报告后，如图6所示，还包括如下步骤说明书CN104065537A5/7页90070步骤201、所述外测设备管理服务器根据预置的应用信息标识与应用信息的对应关系，获取所述测试报告携带的所述应用信息标识对应的应用信息。0071其中，应用信息包含有应用程序和提供所述应用程序的开发设备的标识。或者，应用信息包含有应用程序、提供所述应用程序的开发设备的标识及应用程序所属应用领域关键字标签标识。所述测试报告包含有被测应用信息的标识和测试错误信息。或者所述测试报告除包含有被测应用信息的标识和测试错误信息外，还包含有修改建立信息。0072步骤202、所述外测设。
29、备管理服务器提取所述应用信息中包含的开发设备的标识。0073步骤203、所述外测设备管理服务器根据所述开发设备的标识，将所述测试报告发送至开发设备，以使所述开发设备根据所述测试报告，修复所述应用程序。0074步骤204、所述外测设备管理服务器接收所述开发设备返回的修复后的应用信息。0075本实施例所述方法在所述外测设备管理服务器接收到外测设备返回的测试报告后，将其返回给被测应用信息的开发设备，以便于开发设备返回修复后的应用信息。这样外测设备管理服务器即可将修复后的应用信息通过网络发布至例如应用商店的平台上，供用户下载。0076再进一步地，上述实施例所述的方法，还包括所述外测设备管理服务器在根据。
30、所述测试报告，更新所述外测设备的外测参数之前，检测所述测试报告的步骤，即若根据预设的完整性检测原则，检测出所述测试报告不完整，则删除所述测试报告；若检测出所述测试报告携带的测试结果信息与已有测试报告携带的测试结果信息相同，则删除所述测试报告。通过上述步骤，所述外测设备管理服务器可预先剔除一些不合格的测量报告，以让应用开发者根据合格的测试报告对应用信息进行完善。0077本领域普通技术人员可以理解实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括ROM、RAM、磁碟。
31、或者光盘等各种可以存储程序代码的介质。0078如图7所示，本发明提供的外测设备管理服务器实施例一的结构示意图。如图7所示，所述外测设备管理服务器包括获取模块1、确定模块2、处理模块3、接收模块4和更新模块5。其中，所述获取模块1用于获取预存储的所有外测设备标识对应的外测参数。所述确定模块2用于根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值。所述处理模块3用于获取大于预设阈值的外测值对应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告。所述接收模块4用于接收所述外测设备返。
32、回的所述测试报告。所述更新模块5用于根据所述测试报告，更新所述外测设备的外测参数。本实施例所述的外测设备管理服务器可实现上述各实施例所述的应用外测方法。0079本实施例所述外测设备管理服务器根据获取到的各外测设备的外测参数来确定外测设备标识对应的外测值，外测值高的作为外测设备，有效的避免现有技术中选取外测用户群的盲目性，为提高应用外测测量报告的准确性和权威性提供了可靠的保障。0080进一步地，上述实施例一中所述的外测设备管理服务器，如图8所示，还包括提取模块6和发送模块7。具体地，所述获取模块1还用于根据预置的应用信息标识与应用说明书CN104065537A6/7页10信息的对应关系，获取所述。
33、测试报告携带的应用信息标识对应的应用信息。所述提取模块6用于提取获取模块获取到的所述应用信息中包含的开发设备的标识，其中，所述应用信息包含应用程序和提供所述应用程序的开发设备的标识。所述发送模块7用于根据所述开发设备的标识，将所述测试报告发送至开发设备，以使所述开发设备根据所述测试报告，修复所述应用程序。所述的接收模块4还用于接收所述开发设备返回的修复后的应用信息。0081再进一步地，上述实施例一中所述的外测设备管理服务器，如图8所示，还包括检测模块8。所述检测模块8用于检测所述测试报告；当根据预设的完整性检测原则，检测出所述测试报告不完整时，删除所述测试报告；当检测出所述测试报告携带的测试结。
34、果信息与已有测试报告携带的测试结果信息相同时，删除所述测试报告。0082具体地，上述实施例一中所述的外测设备管理服务器中的更新模块5具体用于广播所述测试报告，所述测试报告携带有生成该测试报告的外测设备标识；接收至少一个接收到所述测试报告的用户设备返回的评分信息；根据接收到的所有评分信息，采用预设算法计算所述测试报告的分值；将所述外测设备的标识与所述测试报告的分值对应存储。0083和/或累计接收外测设备返回的所有测试报告的数量；根据累计的数量，确定所述外测设备的外测经验值；将所述外测设备的标识和所述外测经验值对应存储。0084和/或累计接收外测设备返回的所有测试报告的数量，以及接收所述数量的测试。
35、报告的时间；根据累计的数量及所述时间，计算单位时间内所述外测设备返回测试报告的频率；根据计算得出的所述频率，采用预设的赋值规则为所述频率赋予对应的跃度值；将所述外测设备的标识与所述活跃度值对应存储。0085和/或接收外测设备发送的携带有所述外测设备标识和应用领域关键字标签标识的上报信息；将所述外测设备的标识与应用领域关键字标签标识对应存储。0086具体地，上述实施例中所述确定模块，可由如下多个单元构成。具体地，所述确定模块包括第一计算单元、第二计算单元、第三计算单元和第四计算单元。其中，所述第一计算单元用于当所述外测参数包括外测设备已生成测试报告的分值时，采用平均值计算方法计算外测设备已生成的。
36、所有测试报告的分值的平均值，并将当前外测值更新为所述当前外测值与所述平均值和第一预设权重的乘积之和。所述第二计算单元用于当所述外测参数包括外测经验值时，将当前外测值更新为所述当前外测值与所述外测经验值与第二预设权重的乘积之和。所述第三计算单元用于当所述外测参数包括活跃度值时，将当前外测值更新为所述当前外测值与所述活跃度与第三预设权重的乘积之和。所述第四计算单元用于所述外测参数包括应用领域关键字标签标识时，比较所述应用领域关键字标签标识与所述待外测应用信息中包含的应用领域关键字标签标识是否相同，若相同，则将当前外测值更新为所述当前外测值与第四预设权重的乘积。0087在本发明所提供的几个实施例中，。
37、应该理解到，所揭露的设备，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到一个模块中。0088如图9所示，本发明实施例提供的应用外测系统实施例一的结构示意图。如图所示，本实施例所述的应用外测系统包括外测设备管理服务器20及至少一个外测设备30。其中，所述外测设备管理服务器20用于获取预存储的所有外测设备标识对应的外测参数；说明书CN104065537A107/7页11根据各外测设备标识对应的外测参数，确定各外测设备标识对应的外测值；获取大于预设阈值的外测值对。
38、应的外测设备标识，并向所述外测设备标识对应的外测设备发送携带有待外测应用信息的测试请求，以使所述外测设备根据所述测试请求，对所述应用信息进行测试并生成测试报告；接收所述外测设备返回的所述测试报告。具体地，所述外测设备管理服务器可采用上述装置实施例提供的所述外测设备管理服务器。0089本实施例根据获取各外测设备的外测参数来确定外测设备标识对应的外测值，外测值高的作为外测设备，有效的避免现有技术中选取外测用户群的盲目性，为提高应用外测测量报告的准确性和权威性提供了可靠的保障。0090所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和网络系统的具体工作过程，可以参考前述方法实施。
39、例中的对应过程，在此不再赘述。0091另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。0092最后应说明的是以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。说明书CN104065537A111/6页12图1说明书附图CN104065537A122/6页13图2说明书附图CN104065537A133/6页14图3说明书附图CN104065537A144/6页15图4图5说明书附图CN104065537A155/6页16图6图7说明书附图CN104065537A166/6页17图8图9说明书附图CN104065537A17。