一种对通用数据文件进行检查的装置及方法.pdf

本发明公开了一种对通用数据文件进行检查的装置及方法，该装置包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)，该装置具有星型连接结构，数据存储单元(02)位于该装置的中心，数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02)。利用本发明，减少了移行过程中程序开发的工作量，节约了人力和时间，降低了企业移行的成本，实现了文本检查的通用性，提高了工作效率和检查的准确性。

1、  一种对通用数据文件进行检查的装置，其特征在于，包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)，该装置具有星型连接结构，数据存储单元(02)位于该装置的中心，数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02)。

2、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据接收单元(01)用于将数据文件从外部导入并存储到所述数据存储单元(02)中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。

3、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据存储单元(02)包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表，用于存放数据文件以及数据接收单元(01)、参数配置单元(03)、规则管理单元(04)数据执行处理单元(05)或数据检查输出单元(06)的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。

4、  根据权利要求3所述的对通用数据文件进行检查的装置，其特征在于，所述文本信息登记表用于登记保存数据文件的名称和长度，所述文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；所述字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；所述条件信息登记表用于登记保存检查表与参照表之间约束关系；所述外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。

5、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述参数配置单元(03)用于定义、修改和删除数据文件的文本、字段、规则、关系或约束信息，形成文本检查的规则信息，并将该规则信息存储到数据存储单元(02)中。

6、  根据权利要求5所述的对通用数据文件进行检查的装置，其特征在于，所述参数配置单元(03)包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元(02)。

7、  根据权利要求6所述的对通用数据文件进行检查的装置，其特征在于，
所述数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除；
所述文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能；
所述规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除；
所述文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系；
所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。

8、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述规则管理单元(04)用于文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元(02)中，供数据执行处理单元(05)使用。

9、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据执行处理单元(05)用于运行规则管理单元(04)生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元(06)。

10、  根据权利要求1所述的对通用数据文件进行检查的装置，其特征在于，所述数据检查输出单元(06)用于将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。

11、  一种对通用数据文件进行检查的方法，其特征在于，该方法通过对各种文本格式校验特点的归纳，定义好文件检查规则，实现对各种文本格式的移行数据文件校查效验，具体包括：
步骤1：参数配置单元设定文本的字段规则，并设置字段检查规则；
步骤2：规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令；
步骤3：数据接收单元导入待检查数据文件；
步骤4：数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，并将检查结果保存在存储单元中；
步骤5：数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。

12、  根据权利要求11所述的对通用数据文件进行检查的方法，其特征在于，步骤1中所述参数配置单元设定文本的字段规则，并设置字段检查规则，具体包括：
参数配置单元添加新文件或表，并输入文件或表的名称和描述信息，生成的文件信息保存在数据存储单元的文本信息登记表中；
参数配置单元添加文件或表的结构信息，选择手工或自动化方式导入数据，生成文件属性信息表，文件属性信息表中各字段按照字段序号排列；
参数配置单元设置字段检查规则，包括简单规则、条件规则和复杂规则，该规则信息以多个表的形式保存在数据存储单元中。

13、  根据权利要求11所述的对通用数据文件进行检查的方法，其特征在于，步骤2中所述规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令，具体包括：
所述规则管理单元从文件信息登记表中获取文件信息，从文本属性表中获取各字段的详细信息，再根据文本序号查找字段检查规则表，将此文本对应的规则全部取出放到一个临时表中，该临时表的结构与字段检查规则表相同，接着根据字段检查规则表的检查类型生成检查命令。

14、  根据权利要求11所述的对通用数据文件进行检查的方法，其特征在于，步骤3中所述数据接收单元导入待检查数据文件后，数据接收单元可浏览导入文件信息，如果文件格式不匹配，则数据接收单元将以文本格式输出文件导入失败信息。

15、  根据权利要求11所述的对通用数据文件进行检查的方法，其特征在于，步骤4中所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，具体包括：
在数据接收单元导入原始检查文件的过程中，数据执行处理单元进行简单规则的检查，接着输出导入文件检查结果，包括简单规则检查信息，若导入失败或有检查错误信息，则通知用户修改原始数据文件；若全部成功，则进行复杂规则检查。

一种对通用数据文件进行检查的装置及方法
技术领域
本发明涉及计算机数据处理技术领域，尤其是一种对各种格式的通用数据文件进行检查的装置及方法。
背景技术
随着计算机应用系统的推广和普及，应用系统之间的整合也越来越频繁，系统整合势必涉及到对数据文件的移行检查，由于各个应用系统结构差别很大，对数据移行文件的格式要求也不尽相同，校验规则不统一，文本之间通常还存有各种校验关系，这导致移行文本的校验和转换变得非常复杂，需要根据不同系统的实际要求更改移行数据文件格式。
数据移行时，业界通常的做法是根据每次移行的文本格式、校验规则等要求，为其设计开发一套文本校验的程序软件。每次移行都使用新程序软件，使得移行校验的正确率得不到明显提高，并且随着业务的发展，移行的复杂度会越来越高，数据量也会越来越大，对业务人员、开发人员和测试人员都是更大的挑战。这样，不仅做了很多的重复开发，耗费大量的人力和时间，企业的开发成本也会大大上升。
发明内容
(一)要解决的技术问题
针对以上问题，本发明的目的在于提供一种对通用数据文件检查装置和方法，以减少移行过程中程序开发的工作量，节约人力和时间，降低企业移行的成本，实现文本检查的通用性，提高工作效率和检查的准确性。
(二)技术方案
为达到上述目的的一个方面，本发明提供了一种对通用数据文件进行检查的装置，包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06，该装置具有星型连接结构，数据存储单元02位于该装置的中心，数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02。
上述方案中，所述数据接收单元01用于将数据文件从外部导入并存储到所述数据存储单元02中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。
上述方案中，所述数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表，用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04数据执行处理单元05或数据检查输出单元06的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。
上述方案中，所述文本信息登记表用于登记保存数据文件的名称和长度，所述文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；所述字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；所述条件信息登记表用于登记保存检查表与参照表之间约束关系；所述外键信息登记表用于登记保存检查表与参照表之间的约束关系。
上述方案中，所述参数配置单元03用于定义、修改和删除数据文件的文本、字段、规则、关系或约束信息，形成文本检查的规则信息，并将该规则信息存储到数据存储单元02中。
上述方案中，所述参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元02。
上述方案中，所述数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除；所述文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能；所述规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除；所述文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系；所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。
上述方案中，所述规则管理单元04用于文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元02中，供数据执行处理单元05使用。
上述方案中，所述数据执行处理单元05用于运行规则管理单元04生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元06。
上述方案中，所述数据检查输出单元06用于将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。
为达到上述目的的另一个方面，本发明提供了一种对通用数据文件进行检查的方法，该方法通过对各种文本格式校验特点的归纳，定义好文件检查规则，实现对各种文本格式的移行数据文件校查效验，具体包括：
步骤1：参数配置单元设定文本的字段规则，并设置字段检查规则；
步骤2：规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令；
步骤3：数据接收单元导入待检查数据文件；
步骤4：数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，并将检查结果保存在存储单元中；
步骤5：数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。
上述方案中，步骤1中所述参数配置单元设定文本的字段规则，并设置字段检查规则，具体包括：
参数配置单元添加新文件或表，并输入文件或表的名称和描述信息，生成的文件信息保存在数据存储单元的文本信息登记表中；
参数配置单元添加文件或表的结构信息，选择手工或自动化方式导入数据，生成文件属性信息表，文件属性信息表中各字段按照字段序号排列；
参数配置单元设置字段检查规则，包括简单规则、条件规则和复杂规则，该规则信息以多个表的形式保存在数据存储单元中。
上述方案中，步骤2中所述规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令，具体包括：所述规则管理单元从文件信息登记表中获取文件信息，从文本属性表中获取各字段的详细信息，再根据文本序号查找字段检查规则表，将此文本对应的规则全部取出放到一个临时表中，该临时表的结构与字段检查规则表相同，接着根据字段检查规则表的检查类型生成检查命令。
上述方案中，步骤3中所述数据接收单元导入待检查数据文件后，数据接收单元可浏览导入文件信息，如果文件格式不匹配，则数据接收单元将以文本格式输出文件导入失败信息。
上述方案中，步骤4中所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，具体包括：在数据接收单元导入原始检查文件的过程中，数据执行处理单元进行简单规则的检查，接着输出导入文件检查结果，包括简单规则检查信息，若导入失败或有检查错误信息，则通知用户修改原始数据文件；若全部成功，则进行复杂规则检查。
(三)有益效果
从上述技术方案可以看出，本发明具有以下有益效果：
1、利用本发明，减少了移行过程中程序开发的工作量，节约了人力和时间，降低了企业移行的成本，实现了文本检查的通用性，提高了工作效率和检查的准确性。
2、利用本发明，不仅仅减少了技术人员的工作量，而且可以为业务人员提供了文本检查装置平台，提供了灵活的文本检查方案，规范了各类文本检查规则定义、设置、检查相关流程，在不受行业限制的情况下，实现文本检查的通用性、提高工作效率。
3、利用本发明，使得在移行过程中减少了大量程序开发和文本规则定义的时间，降低了企业移行的成本。同时使用通用的文件装置大大减少了技术人员在移行过程中的工作量，规范了移行中文本格式更改的操作流程，由用户自行进行文本设定和校验也可以大大提高测试进度。
4、本发明支持多平台多操作装置的特性使其可以应用于许多测试工作中，科学规范的文件检查提高了工作效率和检查的正确性，为测试工作赢得了更多的时间。
附图说明
图1是本发明提供的对通用数据文件进行检查的装置的结构示意图；
图2是本发明提供的对通用数据文件进行检查的装置中数据存储单元的结构示意图；
图3是本发明提供的对通用数据文件进行检查的装置中参数配置单元的结构示意图；
图4是本发明提供的对通用数据文件进行检查的方法流程图；
图5是本发明提供的规则管理单元生成命令规则的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明通过建立一种通用数据文件检查模型，将各种文本格式校验的共同点归纳出来，使得用户可以方便的定义文件检查规则，实现对各种文本格式的移行数据文件自动校查效验。
如图1所示，图1是本发明提供的对通用数据文件进行检查的装置的结构示意图，该装置包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06。该装置具有星型连接结构，数据存储单元02位于该装置的中心，数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02。
数据接收单元01用于将数据文件从外部导入并存储到所述数据存储单元02中，导入过程中支持数据异常处理和导入后的数据信息浏览查看。其中，数据异常处理是指检查导入的数据文件文本长度、格式是否符合要求，并提示用户成功导入的记录数和失败的记录数。导入后的数据信息浏览查看是指数据文件导入后，用户可选择查看导入信息，确认导入文本内容是否正确。
数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表等(如图2所示)，用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04数据执行处理单元05或数据检查输出单元06的执行处理结果，该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果等信息。
其中，文本信息登记表用于登记保存数据文件的名称和长度；文本属性表用于登记保存文件字段的属性，包括字段序号、字段名称和字段长度；字段检查规则表用于登记保存文本字段的检查规则信息，包括字段类型检查、必输项检查和常数项检查规则；条件信息登记表用于登记保存检查表与参照表之间约束关系；外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。
其中，检查表是指待检查的文本内容。在检查过程中，此表的某些字段需要与另一个检查表(即参照表)中的某个字段做条件比较，则其比较信息存入条件登记表中；检查表如果有外键，则还需要检查其外键关联的表(外键关联表)是否符合要求，二者的关联信息保存在外键信息登记表中。
参数配置单元03用于定义、修改和删除数据文件的文本、字段、规则、关系或约束等信息(如图3所示)，形成文本检查的规则信息，并将该规则信息存储到数据存储单元02中。参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元、文本约束定义子单元和文本约束定义子单元，且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置，通过一并行接口分别连接于数据存储单元02。
其中，数据文本定义子单元为用户提供相关操作界面，实现文本基本信息的定义、修改和删除。文本字段定义子单元为用户提供文本字段维护相关操作界面，实现该文本字段基本信息的定义和删除，同时提供在任意字段后面增加新的字段功能。规则定义子单元为用户提供文本规则维护相关操作界面，实现该文本规则信息的定义和删除。文本关系定义子单元选择相关文本、相关字段、以及相关规则，为用户提供文本关系维护相关操作界面，实现该文本关系信息定义和删除，通过设置文本关系来确定文本与文本间的比较关系。文本约束定义子单元为用户提供文本约束条件维护相关操作界面，实现该文本约束条件信息定义和删除，通过设置文本约束条件来确定文本与文本间比较条件，用于规则校验条件。
规则管理单元04用于文本和字段管理规则的有效性验证及浏览，以及用于定义命令规则，生成行之有效的校验命令，并将生成的校验命令存储到数据存储单元02中，供数据执行处理单元05使用。
数据执行处理单元05用于运行规则管理单元04生成的行之有效校验命令，对文本中的数据逐一检查，直到文本结束，并把校验结果输出给数据检查输出单元06。
数据检查输出单元06用于将检查输出结果生产报表清单，提供给用户，供用户查找文本问题的所在。
基于图1至图3所示的对通用数据文件进行检查的装置，图4示出了本发明提供的对通用数据文件进行检查的方法流程图，该方法通过对各种文本格式校验特点的归纳，定义好文件检查规则，实现对各种文本格式的移行数据文件校查效验。具体包括以下步骤：
步骤1：参数配置单元设定文本的字段规则，并设置字段检查规则；
步骤2：规则管理单元提取数据存储单元保存的文件检查规则信息，将其组织成检查执行命令；
步骤3：数据接收单元导入待检查数据文件；
步骤4：数据执行处理单元根据规则管理单元生成的检查规则进行文件检查，并将检查结果保存在存储单元中；
步骤5：数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。
上述步骤1中，所述参数配置单元设定文本的字段规则，并设置字段检查规则，具体包括：
步骤10：参数配置单元添加新文件或表，并输入文件或表的名称和描述信息，生成的文件信息保存在数据存储单元的文本信息登记表中；文本信息登记表的格式如表1所示：