应用仓储物流中心模型实现业务系统间数据交换的方法 【技术领域】
本发明属于计算机和通信领域的数据处理技术,具体是一种应用仓储物流中心模型实现业务系统间数据交换的方法。
背景技术
目前各业务系统之间的数据交换机制多采用直接的文件形式交互或消息形式接口交互。在各个业务系统数据交换时,如果发现接收的数据有缺失或者接收的数据的记录数和发送的记录数不一致,无法定位究竟是发送方的责任还是接收方的责任。单纯的数据转发,没有一个有效的机制来验证接收、发送的数据文件的是否齐全、有无遗漏,如果出现问题,也无法定位问题发生的原因和责任方。
【发明内容】
本发明引入物流处理模式,采用一套有保障的机制规范数据的交换机制和管理流程,以仓储物流的思想进行数据交换方法,尤其是不同层面业务系统的数据交换方法来解决处理这些实际生产中的问题。
本发明目的是,引入物流处理模式,采用一套有保障的机制规范数据的发送和接收流程,对数据自动进行传送和复制,并且通过严格的数据稽核和校验机制保证了在数据中心交换的数据的一致性、可靠性和安全性,同时对异常数据也有相应的错误处理和拒收处理流程。
本发明的技术解决方案如下:
一种应用仓储物流中心模型实现业务系统间数据交换的方法,以仓储物流中心模型,建立数据存储管理中心,数据存储管理中心接收存储各个业务系统的数据,和向发送数据提取请求的业务系统发送相应数据;所述数据存储管理中心在接收和发送数据的过程中,对数据进行稽核和校验;
1)所述数据存储管理中心接收存储数据的步骤包括:
101)数据存储管理中心在各个业务系统实时扫描发现数据,按不同业务的优先级和频度生成触发采集的数据报;
102)对数据报进行分析,生成数据提取单和数据库存储单;数据提取单记录数据的属性信息;
103)数据提取单被插入数据提取单队列,按照提取单的优先级、业务特征和配送频度要求,进行数据提取(例如,移动业务中的漫游上下传数据可以定义较高的优先级,固网业务的数据定义较低的优先级,保证在多种业务复合传输的时候,确保优先级高的数据先处理);
104)数据提取过程中,先与数据所在业务系统的客户端建立数据连接,校验数据提取单上的数据信息,核对无误后,再将数据采集到数据存储管理中心的数据接收缓存区,并记录该数据提取成功的信息;
105)数据提取成功后,才许可数据存储进数据库;所述数据接收缓存区的数据还需和数据库存储单核对无误后,再将数据存放到数据库;
2)所述数据存储管理中心发送数据的步骤包括:
201)先根据业务系统发送的数据请求,制定数据发送单,数据发送单记载的信息是数据的属性信息;
202)将数据库记载的实际数据和数据库输出单上的数据核对无误后,再将数据发到数据发送缓存区,并记录该过程;
203)根据数据发送单核对数据发送缓存区的相应数据,核对无误后,再和目的地业务系统客户端建立数据连接,发送数据到目的地。
所述步骤101~105,201~203中,每个步骤都有日志记录。
所述数据存储管理中心将数据库中的数据,定期做数据生命周期管理:生命周期中的数据做数据备份,过期的数据进行清理;按各种频度做数据的分析和挖掘,提供各种业务系统数据的条状,饼状分析图和各类报表。
所述数据库中的数据,根据不同业务系统的需要,通过优先级、目的地和频度因素,将相同业务需求的任务合并到一份数据库输出单中。
所述步骤102)中地数据提取单(取货单)记录的属性信息可以包括:记录数据大小,数量,业务来源等关键信息。类似的,所述数据库存储单(入库单)、数据库输出单(出库单)以及数据发送单(发货单)等记录的信息都是根据具体应用时的需求而设定。例如,
数据库存储单(入库单)可以记录上架地址,数据大小,数量,业务来源等关键信息;
数据库输出单(出库单)可以记录上架地址,数据大小,数量,业务来源,发货广场地址等关键信息;
与现有技术相比,本方法的效果是,通过实际使用验证表明,基于物流中心模型的数据交换比割裂的传输系统(现有技术中最典型的系统),性能提高10%,资源消耗减少30%,系统故障率下降20%,每个过程都可查可控。
【附图说明】
图1是仓储物流中心模型;
图2是本方法运行模型;
图3是本方法的控制连接和数据连接分离示意图。
【具体实施方式】
下面结合附图与具体实施方式对本发明作进一步说明。
实现本方法的系统的组件包括:数据交换事务调度中心1、事务控制组件2、控制连接客户端组件3数据客户端组件4、数据读取和发送进程组件5、数据存储、输出数据库的调度进程组件6、数据存储管理中心7(包括数据存储缓存区、数据发送缓存区和数据库)。上述组件和进程都可以利用现有编程技术,根据本方法的步骤要求编程得到,在此不进一步加以限制。
参考图1,是本方法参考的仓储物流中心模型,图2是本方法的模型,结合两个模型,对本方法说明如下:
本方法的步骤包括:
1.物流客户端在各个业务系统实时扫描发现数据,按不同业务的优先级、频度生成触发采集的数据报,通过控制连接发送给事务控制组件。
2.事务控制组件分析数据报,生成物流取货单(记录数据大小,数量,业务来源等关键信息)提交给物流交换事务调度中心,确保采集数据有单可查。
3.物流交换事务调度中心将取货单插入取货单队列,根据优先级,业务特征,配送频度要求,将取货单派发给具体的物流取货进程。
4.物流取货进程和客户端建立数据连接,将取货单上的货品和实际采集数据校验,核对,确保无误后,将数据采集到物流仓储数据管理中心的取货广场,并把取货成功的回执单据提交给物流调度中心。
5.物流调度中心派发入库单(记录上架地址,数据大小,数量,业务来源等关键信息)给物流入库进程,入库进程将收货广场上的数据和入库单核对无误后,将数据采集到数据仓库的货架上。
6.物流仓储数据管理中心将数据仓库中的数据,定期做数据生命周期管理,生命周期中的数据做数据备份,过期数据自动派生清理进程清理。按各种频度做数据的分析和挖掘,提供各种业务系统数据的条状,饼状分析图和各类报表,解决以往信息孤岛,不同业务系统割裂等It系统群的不调问题。
7.物流交换事务调度中心对数据仓库中的数据,根据不同业务系统的需要,通过优先级,目的地,频度等因素,综合计算将相同业务需求的任务合并到一张出库单(记录上架地址,数据大小,数量,业务来源,发货广场地址等关键信息)中,派发出库单给物流出库进程。
8.物流出库进程、出库进程,将相应货架上的实际数据和出库单上的数据核对无误后,将数据下架到配送广场,并回执物流中心单据。
9.物流中心再配发配送单给物流配送进程,物流配送进程从配送广场,核对数据后,和目的地业务系统客户端建立数据连接,配送数据到目的地。每个步骤都有日志记录,整个物流交换过程透明,可控。
本方法的特点和主要优势在于:
1.解决同一层面的业务系统之间、不同层面的业务系统之间数据直接交换没有对证的问题,数据枢纽化管理交换的数据。
2.物流交换中心模型是业务系统之间的数据交换枢纽,以网元概念来看待业务系统,周边网元的数据都可以利用物流中心集中交换和共享,减轻了网元做接口的开销,节省了宝贵的主机资源、存储资源、网络资源。
3.引入了物流仓储管理原理,参照一整套完善的货运单证管理理论,把数据交互的双方都作为独立的网元,打破点对点的概念,建立了数据跟踪查询和管理机制,保证了数据交换的事物完整性。
4.参照物流流程自动创建数据传输的链路,把数据安全、可靠的发送到目的网元。如果目的网元暂时没有启动或者不能工作的时候,物流中心会暂存文件、消息,当网元启动或者可以工作的时候再将暂存的文件、消息交给网元处理,从而大大提高了传送的可靠性和简便性。
一、实际环境下的服务端处理过程:
1.主服务器上的安装物流交换事务调度中心和物流仓储数据管理中心和其他各个组件。
2.主服务器上的在实际应用的磁盘下划分收、发货广场区域和数据仓库区域。
3.启动物流交换中心系统和物流仓储数据管理系统。
二、实际环境下的客户端处理过程:
1.业务系统主机安装客户端程序。
2.业务系统主机开放相应传输和控制端口(用于扫描数据和传输数据),启动客户端程序。