具有自动测试功能的嵌入式系统教学设备及其方法.pdf

本发明涉及一种将自动测试功能加入嵌入式系统教学实验设备中的方法及其设备。测试的方法主要包括启动自动测试部件、读取一个测试用例的信息、根据当前的测试用例来设置测试条件和测试信号、自动测试部件将作业请求信号发给作业控制部件、作业控制部件发送设备控制命令给设备仿真部件、设备仿真部件执行作业并且记录所有测试数据、自动测试部件判断测试是否通过、如果测试用例全部执行完毕则显示测试报告等步骤。具有自动测试部件的嵌入式系统教学实验设备包括作业控制部件、配置模块、自动测试部件和设备仿真部件等等。本发明的实验设备简化了问题的定位和解决过程，缩短了完成实验任务的时间，可以对实验效果进行多方面的自动测试。

1.  一种对嵌入式系统教学实验设备执行的任务进行测试的方法，其特征在于包括下列步骤：
a.启动自动测试部件；
b.读取一个测试用例的信息；
c.自动测试部件根据当前的测试用例来设置测试条件和测试信号；
d.自动测试部件将作业请求信号发给作业控制部件；
e.作业控制部件发送设备控制命令给设备仿真部件；
f.设备仿真部件执行作业，并且记录所有测试数据；
g.设备仿真部件执行作业完毕后，自动测试部件判断测试是否通过；
h.判断测试用例是否都执行完毕，如果没有，则返回步骤b；
i.如果测试用例全部执行完毕，显示测试报告。

2.  根据权利要求1的对嵌入式系统教学实验设备执行的任务进行测试的方法，其特征在于设备仿真部件执行作业的过程进一步包括：
a.读取任务数量配置信息；
b.创建所述任务数量的设备仿真执行程序；
c.接收作业控制部件的命令；
d.如果接收到的命令有误，则将错误信息发送给自动测试部件和作业控制部件；
e.如果接收到的命令无误，则执行相应的任务；
f.将执行结果发送给作业控制部件和自动测试部件。

3.  根据权利要求1的对嵌入式系统教学实验设备执行的任务进行测试的方法，其特征在于，所述测试用例包括系统的性能测试、稳定性和健壮性测试、取消作业机制测试、对设备出错的处理机制的测试和对系统内存泄漏测试以及相关的组合测试。

4.  根据权利要求1的对嵌入式系统教学实验设备执行的任务进行测试的方法，其特征在于，自动测试部件的启动是通过用户按下一个按键实现的。

5.  一种具有自动测试部件的嵌入式系统教学实验设备，其特征在于所述设备包括由用户编写，用来控制作业执行的作业控制部件；用来由用户设置任务数量的配置模块；用于执行用户任务的设备仿真部件，它从作业控制部件接收设备控制命令，以并行流水线的方式完成作业；用于管理自动测试过程的自动测试部件，其启动测试用例，保存测试数据，并对测试数据进行分析，最后给出测试报告；用于完成自动测试部件、作业控制部件和设备仿真部件之间的数据传输的通讯接口部件；显示状态信息、数据信息的显示部件；用于输入用户任务和启动测试过程的输入部件；以及存储部件。

6.  根据权利要求5的具有自动测试部件的嵌入式系统教学实验设备，其特征在于所述自动测试部件包括管理自动测试过程的自动测试控制模块、根据测试数据判断测试用例是否执行成功的自动测试判断模块和生成测试报告的自动测试报告模块。

7.  根据权利要求5的具有自动测试部件的嵌入式系统教学实验设备，其特征在于所述设备仿真部件包括仿真控制模块、设备仿真创建模块和设备仿真执行模块，其中，所述设备仿真控制模块管理设备仿真执行模块并进行异常情况处理和恢复管理，所述设备仿真创建模块读取任务数量的配置信息并根据任务数量的配置信息创建指定个数的任务，所述设备仿真执行模块由设备仿真创建模块创建，由多个任务组成，以并行流水线方式完成所述作业控制部件的作业。

8.  根据权利要求5的具有自动测试部件的嵌入式系统教学实验设备，其特征在于所述显示部件是嵌入式设备自身的显示设备。

9.  根据权利要求5的具有自动测试部件的嵌入式系统教学实验设备，其特征在于所述显示部件是PC机上的终端设备，它通过通讯接口与嵌入式系统教学实验设备相连。

具有自动测试功能的嵌入式系统教学设备及其方法
技术领域
本发明涉及一种嵌入式系统教学实验设备，特别是涉及一种将自动测试功能加入嵌入式系统教学实验设备中的设备及其方法。
背景技术
目前，嵌入式系统技术发展迅速，其应用也十分广泛，因此，对从事嵌入式系统开发人员的需求也愈加迫切。但是，嵌入式系统开发的教育发展缓慢。
当前，用于教学的实验设备基本上是与具体设备或模型相关的，具有比较强的专用性，其应用领域也比较有限。现在市场上也提供一些实验板来加强学员们的动手能力。但这些实验板多数只是提供硬件，最多提供嵌入式操作系统的支持。而且这些实验板大多数是与具体的应用领域或者具体的实验模型相关的，例如路由器的实验板只能用来做与路由器相关的实验、打印机的实验板只能做与打印机相关的实验；这样实验板的应用领域就受到一定的限制。对于大多数嵌入式领域应用来说，具体实现中采用的任务的数量是可变的，但是它们多数遵守并行流水线方式来完成特定的功能，具有共通性。如激光打印机，为了完成一份作业的打印，通常需要由抽纸→上墨粉→烘干→出纸等步骤并行来完成，其中的每一个步骤都可以用一个任务来控制完成。又比如自动倒茶机，为了冲好一杯茶，通常需要由取茶杯→取茶叶→倒开水等步骤并行来完成，其中的每一个步骤都可以用一个任务来控制完成。所谓的并行流水线方式，它实际上含有三层含义。第一，为了完成一件事，需要由N个步骤来完成，并且这些步骤的执行是有先后顺序的(比如，为了完成一页的打印，通常需要由抽纸→上墨粉→烘干→出纸等步骤来完成)；第二，在这N个步骤中，其中每一个步骤又可能跟其它步骤同时运行(比如，打印一个包含5页的作业，可能第一页正处于烘干时，第二页已经开始抽纸了)；第三，每个任务内部一次只能处理一个作业。
在原有的实验设备中，存在的另一个问题是没有提供对实验效果进行评估的功能，学员不能对自己的实验水平有所评估，或者说为了检查学员们的实验效果，老师需要进行手工检查(如查看代码或者手动进行一些测试)。
发明内容
针对已有技术存在的问题，本发明所要解决的技术问题在于提供一种对嵌入式系统教学实验设备中执行的任务进行自动测试的方法。使得实验设备可以自动对实验结果进行评估。
本发明所要解决的另一个技术问题在于提供一种具有自动测试部件的嵌入式系统教学实验设备。当学员们按照规格说明书完成特定功能开发后，自动测试部件可以对学员们的实验结果进行测试，给出测试结果。
为了解决现有技术存在的上述技术问题，根据本发明的第一方案，提供一种对嵌入式系统教学实验设备执行的任务进行测试的方法，该方法包括：
a.启动自动测试部件；
b.读取一个测试用例的信息；
c.根据当前的测试用例来设置测试条件和测试信号；
d.自动测试部件将作业请求信号发给作业控制部件；
e.作业控制部件发送设备控制命令给设备仿真部件；
f.设备仿真部件执行作业，并且记录所有测试数据；
g.设备仿真部件执行作业完毕后，自动测试部件判断测试是否通过；
h.判断测试用例是否都执行完毕，如果没有，则返回步骤b；
i.如果测试用例全部执行完毕，显示测试报告。
根据本发明的第一方案的对嵌入式系统教学实验设备执行的任务进行测试的方法，其中设备仿真部件执行作业的过程进一步包括：
a.读取任务数量配置信息；
b.创建所述任务数量的设备仿真执行程序；
c.接收作业控制部件的命令；
d.如果接收到的命令有误，则将错误信息发送给自动测试部件和作业控制部件；
e.如果接收到的命令无误，则执行相应的任务；
f.将执行结果发送给作业控制部件和自动测试部件。
根据本发明的第二方案，提供一种具有自动测试部件的嵌入式系统教学实验设备，其包括由用户编写，用来控制作业执行的作业控制部件；用来由用户设置任务数量的配置模块；用于执行用户任务的设备仿真部件，它从作业控制部件接收设备控制命令，以并行流水线的方式完成作业；用于管理自动测试过程的自动测试部件，其启动测试用例，保存测试数据，并对测试数据进行分析，最后给出测试报告；用于完成自动测试部件、作业控制部件和设备仿真部件之间的数据传输的通讯接口部件；显示状态信息、数据信息的显示部件；用于输入用户任务和启动测试过程的输入部件；以及存储部件。
测试用例可以包括系统的性能测试、稳定性和健壮性测试、取消作业机制测试、对设备出错的处理机制的测试和对系统内存泄漏测试以及相关的组合测试(如把设备出错和取消作业组合在一起)。
此外，自动测试部件包括管理自动测试过程地自动测试控制模块、根据测试数据判断测试用例是否执行成功的自动测试判断模块和生成测试报告的自动测试报告模块。
设备仿真部件包括设备仿真控制模块、设备仿真创建模块和设备仿真执行模块。其中，设备仿真控制模块管理设备仿真执行模块并进行异常情况处理和恢复管理，设备仿真创建模块读取任务数量的配置信息并根据任务数量的配置信息创建指定个数的任务，设备仿真执行模块由设备仿真创建模块创建，由多个任务组成，以并行流水线方式完成所述作业控制部件的作业。
本发明的实验设备采用了较为通用的并行流水线实验模型，其中的任务的数量是可供配置的(3～N)，简化了问题的定位和解决过程，缩短了完成实验任务的时间。
由于本教学实验设备具有自动测试功能，它可以对学员们的实验效果进行多方面的自动测试。在学员完成实验后，自动测试模块将进行一批测试(如性能测试，稳定性测试等)，当所有的测试完成后，报告每类测试的情况(通过/失败，问题出现在何处)。这样，学员们可以得知实验中的缺陷，从中总结经验，同时，也节省了老师检查学员实验结果的时间。
附图说明
图1是根据本发明具有自动测试部件的嵌入式系统教学实验设备的一个实施例的方框图；
图2是根据本发明的具有自动测试部件的嵌入式系统教学实验设备的简化工作流程图；
图3显示了设备仿真部件的主要工作流程；
图4显示了自动测试过程的运行流程图。
具体实施方式
本发明是带有自动测试功能的可配置任务个数的嵌入式教学实验设备，它提供了一个嵌入式教学的实验平台，并且包含有自动测试功能。
图1是根据本发明具有自动测试部件的嵌入式系统教学实验设备的一个实施例。整个设备用附图标记1来表示。它主要包括作业控制部件2(由用户编写)、配置模块3、自动测试部件4、设备仿真部件5、显示部件6、输入部件7、通讯接口部件8、存储部件9。
图2是根据本发明的具有自动测试部件的嵌入式系统教学实验设备的简化工作流程。步骤21中用户通过本发明提供的配置模块3来进行配置，主要是设置系统中需要运行的任务的数目。配置完后，在步骤22用户可以根据选择的任务数量来编制作业控制部件，编制完成后就可以执行自动测试了；当自动测试被启动后，在步骤23中自动测试部件4将根据配置的任务数量来进行测试。测试执行完后，在步骤24将显示测试的结果/报告。
以下对根据本发明的具有自动测试部件的嵌入式系统教学实验设备做详细说明。
由用户根据配置的任务的个数编写作业控制部件2，并存储在存储部件9中。配置模块3是提供给用户对设备进行配置的一个接口，用户可以通过配置模块3来设置系统中应该运行多少个任务，当用户配置完后，这些配置信息将被保存在存储部件9中，这些信息可以放在关电以后还能继续保存的部件中，如Flash ROM和NVRAM，这些信息也可以在系统启动的时候要求用户输入，然后放存储部件9中，也可以在系统空闲时动态修改，改完以后系统会重新启动，修改后的配置才能起作用。
在本发明设备中，具体需要运行的任务的数量是可以通过配置模块3来进行配置的，虽然任务的个数是可变的，但是从执行时的功能来看，可简单地分为3大类。第一类是用来处理作业开始命令(Start Job)的任务，该任务是所有这些任务中的第一个任务。在该任务中，当收到作业控制部件发来的作业开始命令时，该任务需要分配一块存储单元用来存储该作业执行过程中的相关信息，并记录作业的开始时间；第二类是用来处理作业结束命令(Job Finish)的任务，该任务是所有这些任务中的最后一个任务。当一个作业执行完成时，该任务要释放一些相关的临时存储空间，并记录该作业完成的时间，并发送命令通知自动测试部件(和作业控制部件)。第三类就是作业执行时的中间任务，这类任务除了在并行流水线的位置上有不同外，其他功能具有共同的特性，即执行相同的操作(接受并行流水线的上一个任务发送的操作，用一定时间进行相应的处理，处理完成后将这个作业发送给并行流水线的下一个任务)，并保存该操作步骤中的相关信息。因此，不管本发明设备需要运行多少个任务，可以简化为诸如三类任务，在创建任务时，第一类和第二类，需要单独的服务处理程序，至于第三类，由于它们具有相同的特性，因此我们可以利用同一个服务处理程序来实现这类任务的功能，这个公共的服务处理程序有一个参数来表示当前任务在并行流水线上的位置，对于每一个第三类的任务来说，在创建的时候这个位置参数的值是不同的。
设备仿真部件5进一步包括设备仿真控制模块、设备仿真创建模块、设备仿真执行模块。图3显示了设备仿真部件的主要工作流程。当本发明设备加电后，在步骤31中，设备仿真部件5的创建模块将从存储部件中读取任务数量的配置信息，并根据任务数量的配置信息在步骤32中创建指定个数的任务(即，设备仿真执行模块中任务的个数)。这些任务会以并行流水线的方式完成指定的功能。在步骤33中，设备仿真部件5接收作业控制部件传来的设备控制命令。在步骤34中，如果判断接收的命令有误，则转到步骤38，向作业控制部件2和自动测试部件4报告收到错误命令。如果命令无误，则执行步骤35，将命令传送给相应的执行任务。接下来，当前相应的任务执行该命令的操作。在步骤37中，当相应的任务执行完毕后，设备仿真部件5将执行结果发送给作业控制部件2和自动测试部件4。其中，设备仿真控制模块主要是来管理设备仿真执行模块，以便正确地完成作业控制部件发送的作业请求，设备仿真控制模块还要进行异常情况处理和恢复的操作。设备仿真执行模块是由设备仿真部件的创建模块创建的，由多个任务组成，以并行流水线的方式完成作业控制部件要求的指定功能的作业。
自动测试部件4可以进一步包括自动测试控制模块、自动测试判断模块、自动测试报告模块。自动测试控制模块主要是管理整个自动测试的过程，包括启动一系列的测试用例，保存测试数据，对测试数据进行分析，最后调用自动测试报告模块把测试情况报告给用户。自动测试判断模块根据收集到的测试数据判断测试用例是否执行成功，如果不成功问题出在哪里，经过仔细分析后，对每一个测试用例的结果给出一个结论。自动测试报告模块将自动测试判断模块的最终结论经过一些排版和格式处理后，通过嵌入式设备的显示部件(如LCD等)直接显示出来或者通过串行口送给PC上运行的超级终端程序显示出来。
图4显示了自动测试的运行流程图。首先，在步骤41中，用户可以通过按下一个按键来启动自动测试的功能，自动测试部件会直接产生相应的启动作业中断来模拟用户按启动作业键的动作。自动测试部件4也可以直接产生取消作业的中断来模拟用户按取消作业的按键。自动测试部件4还可以给设备仿真部件5发送设备错误的命令和清除设备错误的命令，以便强制设备仿真部件5进入/退出设备错误状态。因为自动测试部件4可以在任何时间模拟如用户按键以及强制设备仿真部件5进入/退出设备错误状态，所以自动测试部件4可以在各种不同的时间点测试嵌入式系统，这个特性是非常重要的，因为嵌入式系统有很多的错误是和特定的时间点相关的。启动测试功能后，在步骤42判断所有测试用例是否都执行完毕，如果是，则进入步骤40，调用自动测试报告模块显示报告信息。如果没有执行完毕，则在步骤43选择下一个测试用例。接下来，进行步骤44，自动测试部件4根据当前的测试用例来设置测试条件和测试信号，随后将作业请求信号发送给作业控制部件2。在步骤45中，自动测试部件4根据测试信息产生作业请求信号。在步骤46中，作业控制部件2发送设备控制命令给设备仿真部件5。随后，在步骤47，设备仿真部件5执行作业。在步骤48，存储部件9记录所有测试数据直到测试完成(由设备仿真部件5在执行作业的过程中保存在存储部件9的)。在步骤49，将测试数据传送给自动测试判断模块46，然后根据当前所执行的测试，对作业执行时的信息进行分析，看是否达到预期的结果。自动测试判断模块主要从完成的作业数是否正确、是否超时、作业执行速度、是否符合流水线规则等方面的信息来进行分析判断。之后，返回步骤42，如此循环直到所有测试用例执行完毕，并把分析后的结果通过显示部件显示出来。有关具体的测试实例将在后面进行说明。
存储部件9主要是指RAM，ROM等存储设备，它主要用来存储程序代码和存储系统运行过程中的相关信息、临时数据和系统的配置信息。
通讯接口部件8主要用来和作业控制部件2通讯，作业控制部件2可以通过通讯接口部件8向设备仿真部件5发送各种命令，以自动售茶机为例，作业控制部件2可以发送取茶杯命令、取茶叶命令、倒开水命令和查询状态命令。同时设备仿真部件5可以使用通讯接口部件8向作业控制部件2发送命令执行的结果和设备的状态，同时自动测试部件4也可以通过通讯接口部件8向作业控制部件2发送用户的操作，比如启动一个倒茶的作业，或者是用户取消之前所有发送的作业请求，实际实现中，通讯接口部件8可以是串口、USB、网络等通讯设备，也可以是操作系统所提供的任务和任务之间通讯方式，比如信号量，消息队列等。
显示部件6除了嵌入式设备自身的LCD、LED，也可能是一些运行在PC上的终端程序，嵌入式设备可以通过RS232等接口把状态信息发送到终端。
输入部件7指的是面板的按钮、键盘或者别的相关输入设备。用户通过输入部件7输入执行作业请求后，会产生中断或者发送消息给作业控制部件2。
在本发明设备中在自动测试部件4中内置的测试用例包括性能/速度测试、稳定性和健壮性测试、取消作业机制测试、设备出错状况处理测试以及组合测试。除了这5类测试，本发明设备还可以对原料不足，通讯错误等情况进行测试。当然，用户可以通过修改自动测试仿真部件来添加或者删除测试用例。
下面对这5个方面的测试进行详细的描述。
性能/速度测试：该测试主要通过在该系统上执行一些作业，在执行结束时，通过计算每个作业所消耗的时间来进行衡量，以下描述了该测试的重点，并对如何对测试结果进行评估进行了说明。
该测试的实现主要过程包括通过自动测试部件4模拟用户通过输入部件7输入执行作业请求的操作，向作业控制部件2发送执行100个作业的请求，作业控制部件2收到作业请求后，发送设备控制命令给设备仿真部件5。当设备仿真部件5接收到作业控制部件2发来的开始执行作业的请求时，记录下当前的时间。当设备仿真部件5执行完一个作业时，返回执行结果给作业控制部件2，并保存完成的时间和该作业正确执行完毕的信息，同时将向自动测试部件4发送命令。在设备仿真执行模块执行相关操作时，将相关的作业信息保存在存储部件中。为了避免运行过程中出现异常情况，自动测试部件4在模拟用户按下按键操作而向作业控制部件2发送执行作业请求时，同时会启动一个超时(TimeOut)机制(通过时钟中断来实现)。
为了判断执行结果的正确性，对该测试的检查会包括以下几个方面，只有当以下所有的条件都满足时，才证明该测试通过。
a).设备仿真部件5能够从作业控制部件2正确收到并且只收到100个作业的执行请求；
b).所有的100个作业是在规定的时间内完成的(即没有出现超时错误(TimeOut Error))；
c).执行每个作业所花的时间应该比规定的基准时间小(在执行完100个作业时，自动测试判断模块将从存储部件中读取作业信息，并把第100个作业执行完的时间减去第1个作业开始执行时的时间，所得的时间就是执行100个作业总共消耗的时间，再除以100，得到执行每个作业所需要的时间)；
d).要确保没有内存泄漏的现象发生(即开始执行测试的空闲内存和执行完测试的空闲内存应该一样)；
e).在执行过程中，没有出现流水线时序错误的情况，即在执行一个作业的过程中，没有出现还没有收到第n个命令，就已经收到了第n+1个命令的情况。
稳定性或健壮性测试：该测试主要是通过在该系统上执行大批量的作业，在执行结束时，判断在执行过程中是否有错误发生，以下描述了该测试的重点，并对如何对测试结果进行评估进行说明。
该测试的主要实现过程包括通过自动测试部件4来模拟用户通过输入部件7输入执行作业请求的操作，向作业控制部件2发送执行1000个作业的请求，作业控制部件2收到作业请求后，发送设备控制命令给设备仿真部件5，当设备仿真部件5接收到作业控制部件2发来的开始执行作业的时候，记录下当前的时间。当设备仿真部件5执行完一个作业时，返回执行结果给作业控制部件2，并保存完成的时间和该作业正确执行完毕的信息，同时将发送命令告诉自动测试部件4。在设备仿真执行模块执行相关操作时，记录相关的作业信息，并保存在存储部件9中。为了避免运行过程中出现异常情况，自动测试仿真部件在模拟用户按键向作业控制部件2发送执行作业请求时，同时会启动一个超时(TimeOut)机制(通过时钟中断来实现)。
为了判断执行结果的正确性，对该测试的检查会包括以下几个方面，只有当以下所有的条件都满足时，才证明该测试通过。
a).设备仿真部件5能够从作业控制部件2收到并且只有收到1000个作业的执行请求；
b).所有的1000个作业是在规定的时间内完成的(即没有出现超时错误(TimeOut Error))；
c).要确保没有内存泄漏的现象发生(即开始执行测试的空闲内存和执行完测试的空闲内存应该一样)；
d).在执行过程中，没有出现流水线时序错误的情况，即在执行一个作业的过程中，没有出现还没有收到第n个命令，就已经收到了第n+1个命令的情况。
执行过程中取消作业测试：该测试是在该系统正在执行作业时，向该系统发送取消作业的命令，并在执行结束时，判断该取消作业的命令是否被执行，以及系统对该命令的响应时间，以下描述了该测试的主要过程，并对如何对该测试结果进行评估进行了描述。
对取消作业操作的定义包含以下两个方面
1).当收到取消作业命令后，作业控制部件2不能发送新的作业的开始命令。
2).当执行取消作业时，作业控制部件2必须保持作业处理命令的完整性，即在收到取消作业命令时，已经向设备仿真部件5发送过作业开始命令的作业，必须继续发送后续相关的作业处理命令，确保作业能被正确执行完毕。
该测试的主要实现过程包括通过自动测试部件4来模拟用户通过输入部件7输入执行作业请求的操作，自动测试部件4向作业控制部件2发送执行100个作业的请求。作业控制部件2收到作业请求后，发送设备控制命令给设备仿真部件5。当设备仿真部件5接收到作业控制部件2发来的开始执行作业的时候，记录下当前的时间。当设备仿真部件5执行完一个作业时，返回执行结果给作业控制部件2，并保存完成的时间和该作业正确执行完毕的信息，同时将向自动测试部件4发送命令。在设备仿真执行模块执行相关操作时，将相关的作业信息保存在存储部件9中。在仿真设备部件5执行作业的过程中，自动测试部件的自动测试控制模块将随机产生取消作业的命令，并把命令传送给作业控制部件2和设备仿真部件5，并记录执行取消作业的时间。当然为了避免运行过程中出现异常情况，自动测试部件4在模拟用户按下按键向作业控制部件2发送执行作业请求时，同时会启动一个超时(TimeOut)机制(通过时钟中断来实现)。
为了判断执行结果的正确性，对该测试的检查会包括以下几个方面，只有当以下所有的条件都满足时，才证明该测试通过。
a).作业控制部件2具有取消作业处理功能，即判断所有收到的作业数量应该少于100；
b).作业控制部件2对取消作业命令的响应时间应该在一个范围内；
c).在自动测试部件4发送了取消作业的命令后，作业控制部件2最多只能再发送一个新的作业给设备仿真部件5；
d).在执行过程中，没有出现超时错误情况；
e).要确保没有内存泄漏的现象发生(即开始执行测试的空闲内存和执行完测试的空闲内存应该一样)；
f).在执行过程中，没有出现流水线时序错误的情况，即在执行一个作业的过程中，没有出现还没有收到第n个命令，就已经收到了第n+1个命令的情况。
g).设备仿真部件5收到的作业命令是完整的，即在执行一个作业的过程中，所有流水线的N个命令都已经收到。
上面的说明只是其中的一种方式，还可以在作业运行到任务n(1＜n＜N)的时候产生取消作业的信号，其中n是不定的。还有一种就是，在作业开始的一段时间后，产生取消作业的信号，比如，我们可以在作业开始时，设定一个为18秒的定时器，当这个定时器触发时，产生取消作业的信号。
设备出错状况测试：该测试是在系统在执行作业的过程中，产生设备错误，在执行结束时，看系统是否具有设备出错的处理机制，以下描述了该测试的主要过程，并对如何对测试结果进行评估进行了描述。
该测试的主要实现过程包括通过自动测试部件4来模拟用户通过输入部件7输入执行作业请求的操作，自动测试部件4向作业控制部件2发送执行100个作业的请求。作业控制部件2收到作业请求后，发送设备控制命令给设备仿真部件5。当设备仿真部件5接收到作业控制部件2发来的开始执行作业的时候，记录下当前的时间。当设备仿真部件5执行完一个作业时，将保存完成的时间和作业正确执行完毕的信息，同时将向自动测试部件4发送命令。在设备仿真执行模块执行相关操作时，记录相关的作业信息，并保存在存储部件9中。在设备仿真部件5执行作业的过程中，自动测试控制模块将随机产生设备出错的命令，并把命令传送给作业控制部件2和设备仿真部件5。然后间隔一定的时间，向作业控制部件2和设备仿真部件5发送设备就绪命令。为了避免运行过程中出现异常情况，自动测试部件4在模拟用户按下按键向作业控制部件2发送执行作业请求时，同时会启动一个超时(TimeOut)机制(通过时钟中断来实现)。
为了判断执行结果的正确性，对该测试的检查会包括以下几个方面，只有当以下所有的条件都满足时，才证明该测试通过。
a).作业控制部件2应该具有异常处理和恢复的功能，即通过分析作业的处理信息，判断正确完成的作业数应该为100，并且只能是100；
b).在执行过程中，没有出现超时错误情况；
c).要确保没有内存泄漏的现象发生(即开始执行测试的空闲内存和执行完测试的空闲内存应该一样)；
d).在执行过程中，没有出现流水线时序错误的情况。
上述测试用例只是为了说明本发明实施例的实例，本发明也可以采用其他实例或测试参数和步骤进行测试。
以上对本发明的具有自动测试功能的嵌入式系统教学实验设备及其实现方法做了详细的说明。本领域技术人员在本发明的精神和范围内所做出的修改和改进应当包含在本发明所附的权利要求限定的范围内。