多因素工业系统的故障检测方法.pdf

本发明公开了一种用于减小工业系统故障因素确认范围的多因素工业系统的故障检测方法。首先确定测试用例集Ts，然后用Ts中的测试用例对系统进行测试，运行时发生和不发生故障的测试用例分别组成集合Ts1和Ts2，在Ts1中去除Ts1和Ts2共同涉及到的因素及因素的组合，剩下的因素以及因素的各种组合集M是所有可能导致系统故障的原因，通过逐个修改Ts1中每个发现故障的测试用例涉及到的因素生成一组附加测试用例Cts，然后用这些测试用例重新对系统进行相似的测试，最后剩下的M中的因素或因素组合将是有可能导致错误发生的成分集。此方法具有科学性、高效性和准确性等特点，还具有针对性、经济性、灵活和可扩展等优良特性。

1、  一种用于减小工业系统故障因素确认范围的多因素工业系统的故障检测方法，该方法首先根据待测试的多因素工业系统的安全性要求、安全测试的成本预算或时间等要求确定测试用例集Ts，然后用Ts中的测试用例对系统进行测试，运行时发生故障的测试用例组成集合Ts1，不发生故障的测试用例组成集合Ts2，其特征在于对比Ts1和Ts2，将Ts1中测试用例所涉及到的因素及因素的组合集中去掉Ts2的测试用例也涉及到的因素及因素的组合，剩下的因素以及因素的各种组合集M是所有可能导致系统故障的原因，通过逐个修改Ts1中每个发现故障的测试用例涉及到的因素生成一组附加测试用例Cts，然后用这些测试用例重新对系统进行测试，仍将运行时发生故障的测试用例组成的集合记为Ts1，运行时不发生故障的测试用例组成的集合记为Ts2，在M中去掉Ts2测试用例中涉及的因素及因素组合，最后剩下的M中的因素或因素组合将是有可能导致错误发生的成分集。

2、  根据权利要求1所述的多因素工业系统的故障检测方法，其特征还在于：确定测试用例集Ts的方法是根据待测试的多因素工业系统的测试要求等因素确定不同组合覆盖要求的测试用例集Ts，可以选择规模较小的单因素覆盖测试用例集覆盖所有参数的各个取值，也可以选择规模适中的两两组合覆盖测试用例集覆盖任意两个参数间的两两组合，或者选择规模稍大一点的三三组合覆盖测试用例集等，这些选择取决于该工业系统的测试要求和现有的测试条件等。

3、  根据权利要求1所述的多因素工业系统的故障检测方法，其特征还在于：暴露出来的系统故障归结为由测试用例涉及到的因素及因素的组合所造成，即系统故障有可能由Ts1的测试用例中含有的，而在Ts2的测试用例中没有涉及到的系统因素或因素组合。

4、  根据权利要求1所述的多因素工业系统的故障检测方法，其特征还在于：附加测试用例的生成方法是将Ts1中每一个形如(v₁，v₂，…，v_n)的测试用例，逐个修改其涉及到的因素值，相应生成一组测试用例，形如：(*，v₂，…，v_n)，(v₁，*，…，v_n)，…，(v₁，v₂，…v_n-1，*)，进行下一轮测试，其中，“*”表示异于原来的因素值。

多因素工业系统的故障检测方法
                        技术领域
本发明涉及一种系统故障主要来源于系统中各个因素及其相互作用的多因素工业系统的故障检测方法。
                        背景技术
在一些多因素工业系统的安全测试中，针对某个待测系统受到n个因素影响，每个因素有t_i个可能取值的情况，一般设计一组形如(v₁，v₂，…，v_i，…，v_n)的测试用例(其中v_i是的第i个因素的一个值)，用于检测该系统中哪些因素或哪些因素的相互作用是否会引发系统故障。组合测试方法因能以较少的测试用例实现对被测系统科学有效的测试而得到广泛的研究和应用，特别是对于这些系统错误来源于系统中一些因素和因素之间的相互作用的待测系统。该方法利用组合设计方法产生各种不同组合覆盖程度的测试用例集，来实现对各个因素及相互之间的各种组合的覆盖。有效的针对多因素工业系统的测试及故障诊断方法具有十分重要的意义，可以很好地提高系统测试的效率和质量、降低成本。
                        技术内容
本发明提供一种多因素工业系统的故障检测方法，本发明不但可以迅速将故障原因锁定在很小的范围内，而且可以进一步发现多因素工业系统的隐患。
本发明采用如下技术方案：
一种用于减小工业系统故障因素确认范围的多因素工业系统的故障检测方法，该方法首先根据待测试的多因素工业系统的安全性要求、安全测试的成本预算或时间等要求确定测试用例集Ts。然后用Ts中的测试用例对系统进行测试，运行时发生故障的测试用例组成集合Ts1，不发生故障的测试用例组成集合Ts2，其特征在于对比Ts1和Ts2，将Ts1中测试用例所涉及到的因素及因素的组合集中去掉Ts2的测试用例也涉及到的因素及因素的组合，剩下的因素以及因素的各种组合集M是所有可能导致系统故障的原因。通过逐个修改Ts1中每个发现故障的测试用例涉及到的因素生成一组附加测试用例Cts。然后用这些测试用例重新对系统进行测试，仍将运行时发生故障的测试用例组成的集合记为Ts1，运行时不发生故障的测试用例组成的集合记为Ts2，在M中去掉Ts2测试用例中涉及的因素及因素组合。最后剩下的M中的因素或因素组合将是有可能导致错误发生的成分集。
与现有技术相比，本发明具有如下优点：
①本发明是组合测试方法的自然延伸，因而具有科学性、高效性和准确性等特点。
●关于科学性。组合测试方法主要是用来检测系统参数或其相互作用对系统产生的影响，在应用组合测试方法对软件系统进行测试之后，如果发现某些故障，一方面说明测试工作是成功的，另一方面还需要通过对试验结果的分析和处理，对故障进行诊断，即确定出是哪些参数或哪些参数的相互作用导致了系统故障。
●关于高效性。对于一个具有n个参数的系统，当某条测试数据在测试中发现故障时，直接导致故障的所有可能的取值模式有2ⁿ个，利用未发现故障的测试数据及附加测试数据可以将这个庞大的可能性进行迅速地缩减，从而限制在一个较小的范围内，因而该方法具有高效性。
●关于准确性。由于在软件系统中，导致系统故障的原因是很复杂的，采用本发明得到的结果是导致系统故障的原因的集合，大大排除了各种可能导致系统故障的因素或因素的组合，具有较高的准确性。
②本发明具有针对性、经济性、灵活和可扩展等优良特性。
●针对性。虽然传统方法中有关于实验结果分析的方法，如直观分析方法、方差分析方法等，但是这些方法并不适合于对测试结果的分析。本发明针对在组合测试中发现故障的测试用例设计一组新的测试用例进行第二轮测试，因而具有很强的针对性。
●经济性。本方法只对发现故障的测试用例设计新测试用例进行第二轮测试，可以有效地提高效率、降低成本，因而很经济实用。
●灵活和可扩展性。如果对于一个具体的多因素工业系统，组合测试没有发现故障，就无需使用本方法，本方法的使用可以根据具体软件系统地测试情况进行调整，而不是千篇一律的固定方法，因此，具有优良的灵活性和可扩展性。
                        附图说明
图1是本发明的多因素工业系统故障检测方法流程图。
图2是本发明的多因素工业系统的导致故障因素缩减流程图。
图3是本发明的多因素工业系统的第二轮测试用例生成方法流程图。
                      具体实施方案
实施例1
一种用于减小工业系统故障因素确认范围的多因素工业系统的故障检测方法，该方法首先根据待测试的多因素工业系统的安全性要求、安全测试的成本预算或时间等要求确定测试用例集Ts。然后用Ts中的测试用例对系统进行测试，运行时发生故障的测试用例组成集合Ts1，不发生故障的测试用例组成集合Ts2，其特征在于对比Ts1和Ts2，将Ts1中测试用例所涉及到的因素及因素的组合集中去掉Ts2的测试用例也涉及到的因素及因素的组合，剩下的因素以及因素的各种组合集M是所有可能导致系统故障的原因。通过逐个修改Ts1中每个发现故障的测试用例涉及到的因素生成一组附加测试用例Cts。然后用这些测试用例重新对系统进行测试，仍将运行时发生故障的测试用例组成的集合记为Ts1，运行时不发生故障的测试用例组成的集合记为Ts2，在M中去掉Ts2测试用例中涉及的因素及因素组合，最后剩下的M中的因素或因素组合将是有可能导致错误发生的成分集。在本实施例中，确定测试用例集Ts的方法是根据待测试的多因素工业系统的测试要求等因素确定不同组合覆盖要求的测试用例集Ts，可以选择规模较小的单因素覆盖测试用例集覆盖所有参数的各个取值，也可以选择规模适中的两两组合覆盖测试用例集覆盖任意两个参数间的两两组合，或者选择规模稍大一点的三三组合覆盖测试用例集等，这些选择取决于该工业系统的测试要求和现有的测试条件等；暴露出来的系统故障归结为由测试用例涉及到的因素及因素的组合所造成，即系统故障有可能由Ts1的测试用例中涉及的，而在Ts2的测试用例中没有涉及到的系统因素或因素组合；附加测试用例的生成方法是将Ts1中每一个形如(v₁，v₂，…，v_n)的测试用例，逐个修改其涉及到的因素值，相应生成一组测试用例，形如：(*，v₂，…，v_n)，(v₁，*，…，v_n)，…，(v₁，v₂，…v_n-1，*)，进行下一轮测试，其中，“*”表示异于原来的因素值。
实施例2
多因素工业系统的故障检测方法，首先分析用组合测试用例集Ts中的测试用例对系统进行测试，如果没有发现故障，那么当然就无需进行故障诊断。所以，该方法共分四步进行：第一步，根据待测试的多因素工业系统的测试要求等因素确定不同组合覆盖要求的测试用例集Ts，用Ts中的测试用例对系统进行测试，并将运行时发生某个故障的测试用例组成的集合记为Ts1，运行时不发生故障的测试用例组成的集合记为Ts2。第二步，对集合Ts1和Ts2中测试用例进行分析；第三步，生成附加测试用例集Cts以辅助故障诊断；第四步，根据附加测试用例的运行情况重新进行分析验证，如果仍然发现故障，转第三步，直到不发现故障为止。
第一步：确定组合测试用例集并进行测试
根据待测试的多因素工业系统的测试要求等因素确定不同组合覆盖要求的测试用例集Ts，用Ts中的测试用例对系统进行测试，并将运行时发生某个故障的测试用例组成的集合记为Ts1，运行时不发生故障的测试用例组成的集合记为Ts2。
第二步：对测试结果进行初步分析
组合测试模型把暴露出来的系统故障归结为由测试用例涉及到的各种因素的值或值的组合所造成，即系统故障有可能由Ts1中测试用例涉及到的而Ts2中测试用例未涉及到的因素或因素组合所引发。因此，将Ts1和Ts2进行对比，把Ts1中测试用例涉及到因素及因素组合去掉Ts2测试用例也涉及到的成分，最后剩下的集合M中的元素很可能就是直接导致故障的原因，这时M中的元素可为进一步分析和确认故障原因提供非常重要的依据。
第三步：生成附加测试用例以辅助故障诊断
为每个发现故障的测试用例生成相应附加测试用例，然后用这些测试用例重新对系统进行测试，下一步将对测试结果进行处理。
第四步：根据附加测试用例的运行情况重新进行分析和验证
将附加测试用例中发现故障的测试用例集仍记为Ts1，未发现故障的测试用例集仍记为Ts2。从M中去掉Ts2中涉及到的因素或因素的组合，剩下的成分将是有可能导致错误发生的因素。Ts1非空时，转第三步，否则结束。
本发明基于以下原理工作：
(1)根据多因素工业系统的安全性要求、安全测试的成本预算和时间等要求，选择不同覆盖程度(具体有覆盖所有系统因素各个取值的单因素覆盖、覆盖系统任意两个因素间所有组合的两两组合覆盖等等，关于这些不同覆盖程度的测试用例集生成已有很多公开的研究成果可以直接使用)的组合测试用例集Ts，并运行该测试用例集。
(2)将组合测试的测试用例集Ts根据测试时是否发生故障分成两个子集：将在执行中发现故障的测试用例组成的集合记为Ts1，未发现故障的测试用例组成的集合记为Ts2。计算 M = ∪ t ∈ Ts 1 M t - ∪ t ∈ Ts 2 M t , ]]>其中t＝(v₁，v₂，…，v_i，…，v_n)表示集合中的一个测试用例，M_t表示该测试用例t涉及到的所有的因素或因素的组合组成的集合(例如，当t＝(2，1，4)时，M_t＝{(2，-，-)，(-，-，4)，(-，1，-)，(-，1，4)，(2，-，4)，(2，1，-)，(2，1，4)})，表示所有发现故障的测试用例涉及到的因素和因素组合，这些是所有可能引发系统故障的原因，是由所有未发现故障的测试用例所涉及到的因素和因素组合组成的集合，其中每个元素一般不会成为引发系统故障的原因，故集合 M = ∪ t ∈ Ts 1 M t - ∪ t ∈ Ts 2 M t ]]>包含了引发故障的所有可能的因素和因素组合。在一般情况下，这个集合中的元素比较多，需要进行进一步精简和确认。
(3)为了进一步确定出是哪些因素或因素组合导致了软件故障，并充分利用组合测试的结果，检查是否有新的隐错存在，为Ts1中每个运行时发生故障的测试用例t＝(v₁，v₂，…，v_i，…，v_n)设计n个附加测试用例：t₁＝(*，v₂，…，v_i，…，v_n)，t₂＝(v₁，*，…，v_i，…，v_n)，…，t_n＝(v₁，v₂，…，v_n-1，*)，其中“*”号表示我们可以用任意不同于原来测试用例t＝(v₁，v₂，…，v_i，…，v_n)相应位置因素的取值来代入。这样产生的一组测试用例为附加测试用例集，记为CTs。
(4)运行附加测试用例集CTs，仍记发生故障的测试用例组成的集合为Ts1，不发生该故障的测试用例组成的集合记为Ts2，即：Ts1∪Ts2＝CTs。根据这个结果，我们就可以确定出很小范围的导致故障的因素，即
M = M - ∪ t ∈ Ts 2 M t ]]>
如果Ts1≠Φ，转(3)，否则，M中的元素是所有可能引发系统故障的原因。
实施例3
本实施例涉及电信系统交换机通话功能的测试，本实施例以4个参数作为这个测试模型的输入，分别为呼叫种类、资费方式、接入方式和状态。对于这4个参数变量的每一个参数均可以有3种不同的状态，如表1所示。
第一步：确定组合测试用例集并进行测试
如果要把表1中的所有情况都测试到，那么将需要3⁴＝81个测试用例来遍历所有的测试情况。一般认为81次测试的工作量太大，而且没有必要进行完全测试，所以需要根据该系统的测试要求、现有的测试资源等选择测试用例集。如果考虑只覆盖待测系统中的各个因素，只需要按照表1设计三个测试用例就可以了；如果考虑对任意两个因素的两两组合进行覆盖，需要选择一组两两组合覆盖的测试用例集(如表2)，表2中每一行都给出了一个测试用例，9条测试用例实现了对任意两个因素间所有值组合的完全覆盖，都至少出现一次。当然，要求更高时，可以设计使用三三组合覆盖测试用例(至少需要27条测试用例)、四四组合覆盖测试用例(在本例中即为完全测试)等等，这里我们只考虑用两两组合覆盖测试用例集(表2)进行测试。
     表1待测系统SUT的测试需求