一种实时监控系统网络通讯方法和装置.pdf

本发明涉及一种实时监控系统网络通讯方法和装置，该方法步骤为：内存报文池中设工作池、备份池和镜像池，系统中至少设置主备两台通讯服务器；数据源分别向主备通讯服务器发送数据报文；主通讯服务器将接收到的数据报文投递至它的工作池，同时向备通讯服务器的镜像池投递；备通讯服务器将接收到的数据报文投递至备它的备份池；上层访问接口按时对内存报文池进行查询，并从它的工作池中读取报文，再返回报文到上层访问接口进行数据应用，完毕后删除相应的已读报文；进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：分

1.  一种实时监控系统网络通讯方法，其特征在于：该方法包括如下步骤：
(1)内存报文池中设有工作池、备份池和镜像池，系统中至少设置主备两台通讯服务器；
(2)数据源分别向主备通讯服务器发送数据报文；
主通讯服务器将接收到的数据源的数据报文投递至主通讯服务器的工作池，同时自动向备通讯服务器的镜像池投递一份；
备通讯服务器将接收到的数据源数据报文投递至备通讯服务器的备份池；
(3)上层访问接口按时对内存报文池进行查询，并从内存报文池的工作池中读取报文，然后将其传递至相关应用，待数据处理完毕，报文池删除这些已被读取的报文；
若主通讯服务器崩溃或者主通讯服务器与数据源的通讯通道中断进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：先将备份池中存储的数据报文搬移至工作池；然后将镜像池中数据报文搬移至工作池。

2.  根据权利要求1所述的实时监控系统网络通讯方法，其特征在于：所述将镜像池中的数据搬移至工作池具体为：备通讯服务器的内存报文池自动基于报文索引对镜像池中的数据报文进行合并与过滤，然后搬移至工作池。

3.  根据权利要求1或2所述的实时监控系统网络通讯方法，其特征在于：报文池将读入的数据源的数据报文先存入内存，若内存已满则迁移至磁盘。

4.  根据权利要求3所述的实时监控系统网络通讯方法，其特征在于：报文池将读入的数据源的数据报文存入内存之前，报文池需对下层访问接口进行动态身份认证；上层访问接口按时对内存报文池进行查询之前，报文池需对上层访问接口进行动态身份认证。

5.  根据权利要求3所述的实时监控系统网络通讯方法，其特征在于：在生命周期时间之内，生命周期管理模块定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移；生命周期临界时，生命周期管理模块删除包括磁盘文件在内的所有生命临界的报文。

6.  根据权利要求3所述的实时监控系统网络通讯方法，其特征在于：若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。

7.  根据权利要求5所述的报文池及生命周期的管理方法，其特征在于：所述生命周期的时间由使用者设定。

8.  一种实时监控系统网络通讯装置，其特征在于：该通讯装置包括设于内存中的报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：
分布式并发访问接口模块，用于与客户端进行通讯；
报文池间数据迁移接口模块，用于报文池间报文的传输；
报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；
工作池存储空间，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；
备份池存储空间，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；
镜像池模块存储空间，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；
所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。

一种实时监控系统网络通讯方法和装置
技术领域
本发明涉及网络通讯技术，具体涉及一种实时监控系统网络通讯方法和装置。
背景技术
网络通讯是自动化实时监控系统中很重要的一部分，传统的实时网络通讯无论采用何种通讯介质，其通讯方式一般都是在数据采集方(发送者)将采集到的数据进行发送的同时，数据应用方(接收者)同步接收并处理这些数据，为了避免由于不同步而造成通讯数据的丢失，无论是发送方或接收方都需要在自己的内存中建立缓存，以暂时保存那些无法及时通讯的数据。但由于这些缓存都是利用程序进程的内存建立的，容量有限，当某一时段数据量较大或应用程序忙于其它事务来不及接收数据，报文量超出了缓存的限制时，就会造成通讯数据的丢失。
在较为复杂的大型实时监控系统中，为了提高系统运行的可靠性和通讯容量，常常需要部署主备冗余的双通讯主机，或者建立数量更多的通讯服务集群以满足系统的要求。由于每个通讯主机只是处理本机的数据通讯，彼此之间没有联系，而主备的切换又需要一个过程，不可能瞬间即时完成，这就造成了长期困扰业界的一个问题，即：从本机或自己的通讯通道出现问题，到系统成功切换至另一个通讯主机或通道这一时间段的通讯数据往往会丢失掉。
发明内容
本发明的目的是提供一种解决通讯通道切换时报文丢失问题的实时监控系统网络通讯方法。
本发明的另一目的是提供一种高效率的解决因短期内报文量过大而造成通讯数据被丢弃和通讯通道切换时报文丢失问题的实时监控系统网络通讯装置。
本发明的实时监控系统网络通讯方法的技术方案是：该方法包括如下步骤：
(1)内存报文池中设有工作池、备份池和镜像池，系统中至少设置主备两台通讯服务器；
(2)数据源分别向主备通讯服务器发送数据报文；
主通讯服务器将接收到的数据源的数据报文投递至主通讯服务器的工作池，同时自动向备通讯服务器的镜像池投递一份；
备通讯服务器将接收到的数据源数据报文投递至备通讯服务器的备份池；
(3)上层访问接口按时对内存报文池进行查询，并从内存报文池的工作池中读取报文，然后将其传递至相关应用，待数据处理完毕，报文池删除这些已被读取的报文；
若主通讯服务器崩溃或者主通讯服务器与数据源的通讯通道中断进行主备通道切换时，备通讯服务器的内存报文池将自动进行报文迁移：先将备份池中存储的数据报文搬移至工作池；然后将镜像池中数据报文搬移至工作池。
所述将镜像池中的数据搬移至工作池具体为：备通讯服务器的内存报文池自动基于报文索引对镜像池中的数据报文进行合并与过滤，然后搬移至工作池。
报文池将读入的数据源的数据报文先存入内存，若内存已满则迁移至磁盘。
报文池将读入的数据源的数据报文存入内存之前，报文池需对下层访问接口进行动态身份认证；上层访问接口按时对内存报文池进行查询之前，报文池需对上层访问接口进行动态身份认证。
在生命周期时间之内，生命周期管理模块定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移；生命周期临界时，生命周期管理模块删除包括磁盘文件在内的所有生命临界的报文。
若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。
所述生命周期的时间由使用者设定。
本发明的实时监控系统网络通讯装置的技术方案是：该通讯装置包括设于内存中的报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：
分布式并发访问接口模块，用于与客户端进行通讯；
报文池间数据迁移接口模块，用于报文池间报文的传输；
报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；
工作池存储空间，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；
备份池存储空间，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；
镜像池模块存储空间，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；
所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。
本发明中报文池能够自动完成磁盘与内存之间的迁移，使得真正的通讯只是针对内存的操作，从而保证了通讯的实时与高速性能，并且能够进行海量存储，必要时可存入磁盘；工作池与备份池、镜像池数据报文的自动迁移使得来自主备通道的数据能够自动迁移至相应通讯主机，并加以编号给予缓存，当双机主备通道切换时，发送方或者接收方无需作出额外的处理，报文池即可自动给予报文索引进行合并与过滤，保证了这一时刻通讯数据的唯一性和完整性；在生命周期临界时能够自动实现报文的删除，避免无效通讯数据的干扰；报文池的远程高速访问接口隔离了数据采集模块与后台处理模块之间直接的数据交互，通过其动态的身份认证功能，使得系统可以根据实际需要进行模块的部署，并可以在运行过程中在线动态地增加发送者或接收者，从而大大提高了系统的灵活性与开放性。
附图说明
图1是本发明报文池及生命周期管理模块图；
图2是本发明报文池访问及生命周期管理序列图；
图3是双机配置下本发明的工作池、镜像池、备份池的运行状态示意图；
图4是本发明主备切换时的报文自动迁移及运行状态示意图。
具体实施方式
以变电站远动通讯为例来说明实时监控系统网络通讯方法和装置。
设变电站远动通讯系统配置了两台通讯服务器，其工作方式是它们要通过主备冗余通道接入数据源Y的数据，然后将这些数据报文传递至后台应用程序X进行处理。在开始的时候，通讯服务器A针对数据源作为主机进行工作，通讯服务器B作为冗余的备机运行。
首先在通讯服务器A和B上安装如图1所示的“报文池及生命周期管理模块”。
报文池及生命周期管理模块包括报文池和生命周期管理模块，生命周期管理模块用于定时扫描报文池，并删除包括磁盘文件在内的所有生命期临界的报文；报文池包括：分布式并发访问接口模块，用于与客户端进行通讯；报文池间数据迁移接口模块，用于报文池间数据报文的传输；并发访问及远程通讯管理模块，用于多客户端同时并发产生远程或本地访问；报文自动迁移管理模块，用于磁盘与内存之间数据的自动迁移及自主备通道的数据自动迁移至相应通讯主机；工作池模块，用于自动缓存本机或本通讯通道在处于主机状态下的通讯数据的临时缓存；备份池模块，用于自动缓存本机或本通讯通道在处于备机状态下通讯数据的临时缓存；镜像池模块，用于自动缓存本机或本通讯通道处于备机或备通道状态下，来自主机或主通道的通讯数据的缓存；所述生命周期管理模块、并发访问及远程通讯管理模块、报文自动迁移管理模块和报文池间数据迁移接口模块均与工作池、备份池或镜像池相连；分布式并发访问接口与并发访问及远程通讯管理模块相连。
报文池及生命周期管理模块将按照图2的报文池访问及生命周期管理序列进行工作。系统开始运行，则数据采集模块通过下层访问接口所加载的报文池的分布式并发访问接口将自动向通讯服务器A和通讯服务器B的内存报文池进行登录，在通过了并发访问及远程通讯管理模块的动态身份认证后，数据采集模块就可以把来自数据源Y的数据提交至分布式并发访问接口，它不用关心这些数据报文是如何处理的，被存储到通讯服务器A还是通讯服务器B，最终又将被投递到哪里；报文池将收到的数据源Y的数据报文存入内存，若内存已满，则存入磁盘；后台应用程序X通过上层访问接口所加载的分布式并发访问接口将自动向通讯服务器A和通讯服务器B的报文池进行动态身份认证，然后就将从该访问接口在设定的时间间隔或在设定时间对内存报文池中的数据进按时池中来自数据源Y的报文，它也不用关心这些报文到底是来自通讯服务器A还是通讯服务器B；报文池中的报文都是只从内存中读取的，然后返回报文到上层访问接口的后台应用程序X，上层访问数据接口后台应用程序X进行数据应用，完毕后删除相应的已读报文，同时报文池删除已经被读取的报文；生命周期管理模块会在使用者设定的生命周期时间之内，定时扫描报文池，同时报文池自动实现报文在磁盘与内存之间的迁移，在生命周期临界时自动删除包括磁盘文件在内的所有生命期临界的报文；若磁盘存有报文且内存报文池有空间，则报文池自动将报文从磁盘迁移至内存中。
上文所述的报文池将收到的数据源Y的数据报文存入内存报文池运行状态为：数据源Y分别向通讯服务器A和通讯服务器B发送数据报文，通讯服务器A将接收到的数据源Y的数据报文投递至通讯服务器A的工作池，同时也自动将该报文向通讯服务器B的镜像池投递一份；通讯服务器B接收到的数据源Y的数据投递至通讯服务器B报文池的备份池，参见图3双机配置下本发明的工作池、镜像池、备份池的运行状态示意图。
若通讯服务器A崩溃或者通讯服务器A与数据源Y的通讯通道中断需要进行主备切换时，如图4所示，通讯服务器B的报文池将自动进行报文迁移：先将备份池中存储的数据源Y的数据搬移至工作池，然后将镜像池中数据源Y的数据依据报文的索引进行相关重复报文的过滤、合并再搬移至工作池。正是因为在切换之前后台应用程序X还没来得及接收的，来自通讯服务器A接收的数据源Y的数据存储在通讯服务器B的镜像池中，而在切换开始至切换完成的这段时间内，来自通讯服务器B接收的数据源Y的数据存储在通讯服务器B的备份池中，所以这就保证了在针对数据源Y的整个主备切换的过程中，数据报文不会丢失；同时在镜像数据搬移到工作池的过程中，因为有了依据报文池自动添加的索引进行数据过滤的功能，也保证了来自数据源Y的报文不会发生重复。后台应用程序X并不会感知针对数据源Y的通讯主机的切换，但它所加载的报文池访问接口将会自动由通讯服务器A切换至通讯服务器B进行数据报文的读取。