设备测试方法、装置及系统技术领域
本发明涉及设备测试领域，尤其涉及一种设备测试方法、装置及系统。
背景技术
在设备测试领域，如无线通讯设备软件测试，往往涉及较多的网元及测试工具和其他测试相关组件，以GSM(Global System for Mobile Communications,全球移动通信系统)无线软件测试为例，基础环境配置包括：基站，基站控制器，核心网，各网元的信令服务器及客户端，各网元的网管服务器及客户端，以及测试工具，测试脚本等组件；软件测试的目的是发现设备软件存在的问题，但不可避免的会出现其他测试组件异常或者无线环境干扰等诸多外界因素导致测试失败；这些失败不是通讯设备软件本身的问题。在现有技术中，若遇到此类问题则是简单的对失败条目进行重复测试，或者逐一排查各网元异常，或者对测试脚本进行排查等，这样就导致测试中断，不能连续进行，排查起来也非常耗时耗力。
因此，如何提供一种可以解决现有测试失败导致测试中断问题的设备测试方法，是本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种设备测试方法、装置及系统，以解决现有测试方法存在的测试失败导致测试中断问题的问题。
本发明提供了一种设备测试方法，其包括：
使用测试脚本对设备进行测试，当测试到错误时，获取错误的错误识别码；
在错误数据库中，根据错误识别码查找对应的处理代码；
利用处理代码处理错误；
继续使用测试脚本对设备进行测试。
进一步的，还包括：根据错误识别码判断错误是否为新错误，若否，则利用处理代码处理错误，若是，则继续使用测试脚本对设备进行测试。
进一步的，在使用测试脚本对设备进行测试之后，还包括：对新错误进行处理，设置其对应的处理代码，并将其对应的错误识别码写入错误数据库。
进一步的，在利用处理代码处理错误之前，还包括：获取与错误识别码对应的最大处理次数，判断对错误的处理重试次数是否大于最大处理次数，若否，则利用处理代码处理错误，若是，则不处理错误。
进一步的，当存在多个错误需要处理时，在利用处理代码处理错误之前，还包括：获取与各错误识别码对应的初始阈值及重试次数，利用自适应算法计算所有待处理错误的总阈值，根据总阈值判断是否处理错误，若是，则处理错误，若否，则不处理错误。
进一步的，利用自适应算法计算所有待处理错误的处理阈值包括：
当获取到第一个错误识别码且还未进行错误处理及重试之前，设置总阈值为第一错误识别码的初始阈值；
当检测到第N个错误识别码时，N≥2且为整数，判断第N-1个错误识别码的重试次数是否增加，若第N-1个错误识别码的重试次数未增加，则判断第N-1个错误识别码的重试次数是否等于第N-1个错误识别码的初始阈值，若第N-1个错误识别码的重试次数不等于第N-1个错误识别码的初始阈值，则更新总阈 值为：当前总阈值+第N-1个错误识别码的初始阈值-第N-1个错误识别码的重试次数，并将第N-1个错误识别码的重试次数设置为第N-1个错误识别码的初始阈值数；
若第N-1个错误识别码的重试次数增加，或者，第N-1个错误识别码的重试次数等于第N-1个错误识别码的初始阈值，判断第N个错误识别码是否未存储在错误临时表中，错误临时表用于存储所有正在处理的错误的错误识别码、重试次数及初始阈值；
若第N个错误识别码未存储在错误临时表中，则判断当前总阈值是否大于预设的总阈值上限值，若当前总阈值大于总阈值上限值，则设置总阈值保持不变，若当前总阈值不大于总阈值上限值，则更新总阈值为：当前总阈值+第N个错误识别码的初始阈值+临时错误表的错误数目；
若第N个错误识别码存储在错误临时表中，则总阈值减1，若更新后的总阈值小于等于0，则不处理第N个错误识别码，若更新后的总阈值大于0，则判断第N个错误识别码的重试次数是否大于第N个错误识别码的重试次数上限，若第N个错误识别码的重试次数大于第N个错误识别码的重试次数上限，则不处理第N个错误识别码，若第N个错误识别码的重试次数不大于第N个错误识别码的重试次数上限，则处理第N个错误识别码。
本发明提供了一种设备测试装置，其包括：
测试模块，用于使用测试脚本对设备进行测试，当测试到错误时，获取错误的错误识别码；
查找模块，用于在错误数据库中，根据错误识别码查找对应的处理代码；
处理模块，用于利用处理代码处理错误；
测试模块还用于继续使用测试脚本对设备进行测试。
进一步的，查找模块还用于根据错误识别码判断错误是否为新错误，若否，则利用处理代码处理错误，若是，则继续使用测试脚本对设备进行测试。
进一步的，处理模块还用于在使用测试脚本对设备进行测试之后，对新错误进行处理，设置其对应的处理代码，并将其对应的错误识别码写入错误数据库。
进一步的，还包括控制模块，用于在利用处理代码处理错误之前，获取与错误识别码对应的最大处理次数，判断对错误的处理重试次数是否大于最大处理次数，若否，则利用处理代码处理错误，若是，则不处理错误。
进一步的，当存在多个错误需要处理时，在利用处理代码处理错误之前，控制模块还用于获取与各错误识别码对应的初始阈值及重试次数，利用自适应算法计算所有待处理错误的总阈值，根据总阈值判断是否处理错误，若是，则处理错误，若否，则不处理错误。
进一步的，控制模块还用于：
当获取到第一个错误识别码且还未进行错误处理及重试之前，设置总阈值为第一错误识别码的初始阈值；
当检测到第N个错误识别码时，N≥2且为整数，判断第N-1个错误识别码的重试次数是否增加，若第N-1个错误识别码的重试次数未增加，则判断第N-1个错误识别码的重试次数是否等于第N-1个错误识别码的初始阈值，若第N-1个错误识别码的重试次数不等于第N-1个错误识别码的初始阈值，则更新总阈值为：当前总阈值+第N-1个错误识别码的初始阈值-第N-1个错误识别码的重试次数，并将第N-1个错误识别码的重试次数设置为第N-1个错误识别码的初始阈值数；
若第N-1个错误识别码的重试次数增加，或者，第N-1个错误识别码的重试次数等于第N-1个错误识别码的初始阈值，判断第N个错误识别码是否未存 储在错误临时表中，错误临时表用于存储所有正在处理的错误的错误识别码、重试次数及初始阈值；
若第N个错误识别码未存储在错误临时表中，则判断当前总阈值是否大于预设的总阈值上限值，若当前总阈值大于总阈值上限值，则设置总阈值保持不变，若当前总阈值不大于总阈值上限值，则更新总阈值为：当前总阈值+第N个错误识别码的初始阈值+临时错误表的错误数目；
若第N个错误识别码存储在错误临时表中，则总阈值减1，若更新后的总阈值小于等于0，则不处理第N个错误识别码，若更新后的总阈值大于0，则判断第N个错误识别码的重试次数是否大于第N个错误识别码的重试次数上限，若第N个错误识别码的重试次数大于第N个错误识别码的重试次数上限，则不处理第N个错误识别码，若第N个错误识别码的重试次数不大于第N个错误识别码的重试次数上限，则处理第N个错误识别码。
本发明提供了一种设备测试系统，其使用本发明提供的设备测试装置测试设备。
本发明的有益效果：
本发明提供了一种设备测试方法，在检测到错误时，自动查找对应的处理代码，并对错误进行处理，在处理之后继续进行设备测试，而不需要中断设备测试，减少了测试过程中的异常中断，提高了测试成功率；进一步的，通过自适应阈值调节重试次数，以保证既能够有效的进行重试，又能保证重试次数最小化；进一步的，不断的对新入库错误进行优化结果使得测试脚本更加健壮，达到了主动，自动发现问题并解决问题的效果。
附图说明
图1为本发明第一实施例提供的设备测试装置的结构示意图；
图2为本发明第二实施例提供的设备测试方法的流程图；
图3为本发明第三实施例提供的设备测试装置的结构示意图；
图4为本发明第三实施例提供的设备测试方法的流程图；
图5为本发明第三实施例中自适应阈值算法的流程图。
具体实施方式
现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。
第一实施例：
图1为本发明第一实施例提供的设备测试装置的结构示意图，由图1可知，在本实施例中，本发明提供的设备测试装置1包括：
本发明提供了一种设备测试装置，其包括：
测试模块11，用于使用测试脚本对设备进行测试，当测试到错误时，获取错误的错误识别码；
查找模块12，用于在错误数据库中，根据错误识别码查找对应的处理代码；
处理模块13，用于利用处理代码处理错误；
测试模块11还用于继续使用测试脚本对设备进行测试。
在一些实施例中，上述实施例中的查找模块12还用于根据错误识别码判断错误是否为新错误，若否，则利用处理代码处理错误，若是，则继续使用测试脚本对设备进行测试。
在一些实施例中，上述实施例中的处理模块13还用于在使用测试脚本对设 备进行测试之后，对新错误进行处理，设置其对应的处理代码，并将其对应的错误识别码写入错误数据库。
在一些实施例中，如图1所示，上述实施例中的设备测试装置1还包括控制模块14，用于在利用处理代码处理错误之前，获取与错误识别码对应的最大处理次数，判断对错误的处理重试次数是否大于最大处理次数，若否，则利用处理代码处理错误，若是，则不处理错误。
在一些实施例中，当存在多个错误需要处理时，在利用处理代码处理错误之前，上述实施例中的控制模块14还用于获取与各错误识别码对应的初始阈值及重试次数，利用自适应算法计算所有待处理错误的总阈值，根据总阈值判断是否处理错误，若是，则处理错误，若否，则不处理错误。进一步的，在处理错误之后，还包括将总阈值减一，以保证所有错误的重试次数的总和不会过大。
在一些实施例中，上述实施例中的控制模块14还用于：
当获取到第一个错误识别码且还未进行错误处理及重试之前，设置总阈值为第一错误识别码的初始阈值；
当检测到第N个错误识别码时，N≥2且为整数，判断第N-1个错误识别码的重试次数是否增加，若第N-1个错误识别码的重试次数未增加，则判断第N-1个错误识别码的重试次数是否等于第N-1个错误识别码的初始阈值，若第N-1个错误识别码的重试次数不等于第N-1个错误识别码的初始阈值，则更新总阈值为：当前总阈值+第N-1个错误识别码的初始阈值-第N-1个错误识别码的重试次数，并将第N-1个错误识别码的重试次数设置为第N-1个错误识别码的初始阈值数，将第N-1个错误的重试次数置为N-1个错误的初始阈值是为了避免下次再进入流程循环中则判断N-1错误重试不等于N-1初始阈值则又会进行下 面一系列操作，因此这里设置第N-1错误重试次数置为N-1的初始阈值之后，再次判断时，会直接进入下一步骤；
若第N-1个错误识别码的重试次数增加，或者，第N-1个错误识别码的重试次数等于第N-1个错误识别码的初始阈值，判断第N个错误识别码是否未存储在错误临时表中，错误临时表用于存储所有正在处理的错误的错误识别码、重试次数及初始阈值；
若第N个错误识别码未存储在错误临时表中，则判断当前总阈值是否大于预设的总阈值上限值，若当前总阈值大于总阈值上限值，则设置总阈值保持不变，若当前总阈值不大于总阈值上限值，则更新总阈值为：当前总阈值+第N个错误识别码的初始阈值+临时错误表的错误数目；在实际使用中，临时错误表用于存储所有(可能有M个错误，M>N,或者M＝N)正在处理的错误的错误识别码，重试次数，初始阈值，此时，“个数M”是相同类型的参数都是整数，这里是加M，意义是防止本次错误(第N个错误)阻止了其他错误的处理，因此需要更新总阈值，
若第N个错误识别码存储在错误临时表中，则总阈值减1，若更新后的总阈值小于等于0，则不处理第N个错误识别码，若更新后的总阈值大于0，则判断第N个错误识别码的重试次数是否大于第N个错误识别码的重试次数上限，若第N个错误识别码的重试次数大于第N个错误识别码的重试次数上限，则不处理第N个错误识别码，若第N个错误识别码的重试次数不大于第N个错误识别码的重试次数上限，则处理第N个错误识别码。
对应的，本发明提供了一种设备测试系统，其使用本发明提供的设备测试装置1测试设备。
第二实施例：
图2为本发明第二实施例提供的设备测试方法的流程图，由图2可知，在本实施例中，本发明提供的设备测试方法包括以下步骤：
S201：使用测试脚本对设备进行测试，当测试到错误时，获取错误的错误识别码；
S202：在错误数据库中，根据错误识别码查找对应的处理代码；
S203：利用处理代码处理错误；
S204：继续使用测试脚本对设备进行测试。
在一些实施例中，上述实施例中的方法还包括：根据错误识别码判断错误是否为新错误，若否，则利用处理代码处理错误，若是，则继续使用测试脚本对设备进行测试。
在一些实施例中，上述实施例中的方法在使用测试脚本对设备进行测试之后，还包括：对新错误进行处理，设置其对应的处理代码，并将其对应的错误识别码写入错误数据库。
在一些实施例中，上述实施例中的方法在利用处理代码处理错误之前，还包括：获取与错误识别码对应的最大处理次数，判断对错误的处理重试次数是否大于最大处理次数，若否，则利用处理代码处理错误，若是，则不处理错误。
在一些实施例中，当存在多个错误需要处理时，在利用处理代码处理错误之前，上述实施例中的方法还包括：获取与各错误识别码对应的初始阈值及重试次数，利用自适应算法计算所有待处理错误的总阈值，根据总阈值判断是否处理错误，若是，则处理错误，若否，则不处理错误。
在一些实施例中，上述实施例中的利用自适应算法计算所有待处理错误的处理阈值包括：
当获取到第一个错误识别码且还未进行错误处理及重试之前，设置总阈值为第一错误识别码的初始阈值；
当检测到第N个错误识别码时，N≥2且为整数，判断第N-1个错误识别码的重试次数是否增加，若第N-1个错误识别码的重试次数未增加，则判断第N-1个错误识别码的重试次数是否等于第N-1个错误识别码的初始阈值，若第N-1个错误识别码的重试次数不等于第N-1个错误识别码的初始阈值，则更新总阈值为：当前总阈值+第N-1个错误识别码的初始阈值-第N-1个错误识别码的重试次数，并将第N-1个错误识别码的重试次数设置为第N-1个错误识别码的初始阈值数；
若第N-1个错误识别码的重试次数增加，或者，第N-1个错误识别码的重试次数等于第N-1个错误识别码的初始阈值，判断第N个错误识别码是否未存储在错误临时表中，错误临时表用于存储所有正在处理的错误的错误识别码、重试次数及初始阈值；
若第N个错误识别码未存储在错误临时表中，则判断当前总阈值是否大于预设的总阈值上限值，若当前总阈值大于总阈值上限值，则设置总阈值保持不变，若当前总阈值不大于总阈值上限值，则更新总阈值为：当前总阈值+第N个错误识别码的初始阈值+临时错误表的错误数目；在实际使用中，临时错误表用于存储所有(可能有M个错误，M>N,或者M＝N)正在处理的错误的错误识别码，重试次数，初始阈值，此时，“个数M”是相同类型的参数都是整数，这里是加M，意义是防止本次错误(第N个错误)阻止了其他错误的处理，因此需要更新总阈值，
若第N个错误识别码存储在错误临时表中，则总阈值减1，若更新后的总阈 值小于等于0，则不处理第N个错误识别码，若更新后的总阈值大于0，则判断第N个错误识别码的重试次数是否大于第N个错误识别码的重试次数上限，若第N个错误识别码的重试次数大于第N个错误识别码的重试次数上限，则不处理第N个错误识别码，若第N个错误识别码的重试次数不大于第N个错误识别码的重试次数上限，则处理第N个错误识别码。
现结合具体应用场景对本发明做进一步的诠释说明。
第三实施例：
现在结合附图，以GSM基站控制器例软件测试为例，对本发明进行说明。
如图3所示，设备测试装置1外围连接着GSM基站控制器软件测试所需的所有基本组件，包括多个基站、多个基站控制器、多个测试装置、基站网管，基站控制器网管以及信令跟踪服务器；在实际应用中如果测试用例有其他特殊需求则需要另外增加测试组件。
如图3所示，在本实施例中，对设备测试装置1的功能模块重新进行了定义，其包括：日志获取模块31，错误识别码库32，错误处理模块33，自适应阈值模块34，错误识别码管理模块35，脚本驱动模块36，测试脚本37；具体的，
日志获取模块31，与外围组件和错误识别码库32相连，负责获取测试过程中的外围组件的打印日志，并且进行解析，如果解析到测试脚本中条目测试的错误打印，同时查询其他组件错误打印，进入错误识别码库32进行关联查询；
错误识别码库32与日志获取模块31和自适应阈值模块34相连，提供错误识别码给日志获取模块31查询，提供初始阈值和重试次数上限值给自适应阈值模块34。初始阈值和重试次数上限值都保存在错误识别码库32中；初始阈值是根据错误处理经验为每个错误识别码分配的一个的初始数值，其代表了解决该 错误所需重试的期望次数门限值；重试次数上限值是根据错误处理经验为每个错误识别码分配的可以重试的最大门限值，每进行一次错误处理后会系统会进行一次重试，相应的自适应阈值模块记录的重试次数也会增加，重试次数上限值作用是处理解决该错误所需重试次数的上限做出限定，避免无限循环重试发生。在实际应用中，根据不同场景，重试次数上限值大于初始阈值，且一般大于2倍。
自适应阈值模块34与错误识别码库32、错误处理模块33、错误识别码管理模块35相连，日志获取模块31查询错误识别码库32，查询到对应的错误识别码，则结果匹配为成功，则自适应阈值模块34判断是否满足处理条件，满足条件，错误处理模块33则进行错误处理，查询结果不匹配，错误识别码管理模,35则把新的错误识别码进行入库。自适应阈值模块34中存放一张错误临时表，用于记录各个错误识别码及其初始阈值和重试次数，每成功完成一个条目测试后，自适应阈值模块重新初始化，错误临时表被清空，设置总阈值为0，总阈值被定义为自适应阈值模块的全局变量，当日志获取模块截获到第一个错误识别码且还未进行错误处理及重试之前，总阈值被赋值为该错误识别码初始阈值，其他情况下，总阈值为自适应阈值算法计算结果。系统中还默认设置了一个总阈值上限值，该值为常量，在自适应阈值计算过程中，如果总阈值大于总阈值上限值，则总阈值不再继续增加，其作用是限制总阈值无限制增加，导致循环无法跳出，同时也能控制减少测试重试次数。一般实际使用中，该总阈值上限常量值通常设置为一个偏大的值。如果总阈值减少到零，系统将不会继续尝试错误处理和重试。自适应阈值模块使用总阈值全局变量作为自适应的阈值，而不是采用单个错误识别码的初始阈值作为自适应阈值其理由是单个错误初始阈值无法胜任错误处理过程中又产生新的错误的情况。总阈值的增加和减少的详细情 况请参考如图5所示的自适应阈值算法的流程步骤。
错误识别码管理模块35与错误识别码库32和自适应阈值模块34相连，接收新的未能识别的错误识别码，对新的未能识别的错误识别码进行入库，待测试结束后对这些新的未能识别的错误识别码进行分析，处理，对软件或者测试脚本进行修改，对错误处理模块33增加相应的处理代码，通过不断的发现新错误识别码、修正代码和增加错误处理模块的处理方法，达到主动，自动发现问题并解决问题目的，减少了人工对测试系统软件的测试工作，省时省力，发现软件错误准确率高。
错误处理模块33与脚本驱动模块36和自适应阈值模块34相连，错误识别码库32中的每个错误识别码在错误处理模块都有一一对应的错误识别码处理代码。自适应阈值模块34流程正常走完之后，即开始错误处理模块33进行错误处理，处理完毕后脚本驱动模块36驱动测试脚本37进行重试，相应的错误识别码对应的重试次数也会在自适应阈值模块34中相应增加。
脚本驱动模块36与测试脚本37相连和错误处理模块33相连，错误处理模33处理错误后，通知脚本驱动模块继续驱动测试脚本进行测试。
如图4所示，本实施例提供的设备测试方法的流程部分的处理步骤如下：
S401-S403：脚本驱动模块驱动测试脚本开始工作后，日志获取模块开始工作。
S404：日志获取模块把错误在错误识别码库中进行查询匹配。
S405-S407：自适应阈值模块处理查询匹配结果，如果是新的未能识别错误识别码，则错误识别管理模块将这些新的未能识别错误，进行入库到错误识别码库，待测试结束后，错误处理模块对这些新的未能识别的错误识别码进行分 析处理。
S408-S411：自适应阈值模块根据自适应阈值判断是否需要处理，如果不需要处理，则直接继续设备测试，若需要，则错误处理模块进行错误处理，对于未能识别的错误识别码不进行处理，处理完成后继续设备测试，自适应阈值模块中的重试次数增加一次，继续驱动测试脚本进行测试。
如图5所示，在本实施例中，自适应阈值模块中的自适应算法处理流程如下：
S501-S502：自适应阈值模块获取到新的错误识别码匹配结果后，错误临时表保存错误识别码，初始阈值，错误重试次数。
S503-S506：在错误临时表中查找上一条错误记录，观察上一条错误的重试次数是否增加；若重试次数未增加，则进一步判断上一条错误的重试次数是否等于上一条错误的初始阈值，若初始阈值不等于重试次数，则更新总阈值＝总阈值+上一条错误的初始阈值-上一条错误的重试次数，设置重试次数为初始阈值数。若上一条错误的重试次数增加或者上一条错误的重试次数等于上一条错误的初始阈值初始阈值已经等于重试次数，则进行下一步骤S507。
S507：判断该错误识别码是否是新出现的错误识别码，即该错误识别码不存在错误临时表中，若是新出现的错误识别码，则转步骤S508-S509，否则转步骤S510-S512。
S508-S509:判断当前总阈值与总阈值上限值的关系，若总阈值大于总阈值上限值，则总阈值保持不变，若未达到上限则对总阈值进行更新，计算方法为：总阈值＝当前总阈值+新错误识别码的初始阈值+临时错误表中记录的错误数目。
S510-S512：将总阈值减1，若总阈值小于等于0，则返回继续设备测试， 若总阈值大于0，则进一步判断新检测到的错误的重试次数是否大于重试次数上限，若重试次数达到重试次数上限，则返回继续设备测试，否则进行下一步操作。
S513：错误处理模块处理错误临时表中的待处理错误，本次处理新检测到的错误。
综上可知，通过本发明的实施，至少存在以下有益效果：
本发明提供了一种设备测试方法，在检测到错误时，自动查找对应的处理代码，并对错误进行处理，在处理之后继续进行设备测试，而不需要中断设备测试，减少了测试过程中的异常中断，提高了测试成功率；
进一步的，通过自适应阈值调节重试次数，以保证既能够有效的进行重试，又能保证重试次数最小化；
进一步的，不断的对新入库错误进行优化结果使得测试脚本更加健壮，达到了主动，自动发现问题并解决问题的效果。
以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。