性能数据的上传方法和设备 【技术领域】
本发明涉及通信技术领域， 特别涉及一种性能数据的上传方法和设备。背景技术 近年来， 随着通信技术的发展， 通信网络也在不断的发展壮大， 无论是无线通信网 络还是有线通信网络， 其覆盖范围和复杂程度都有很大程度的扩大和提高。 因此， 对网络管 理系统的要求也随之越来越高， 仅仅依靠各个网络设备自身的管理工具进行分别管理已经 不能满足网络发展的需要。现代化的移动网络需要一个覆盖面广、 自动化程度高并可以灵 活配置和扩展的标准的网络管理系统或可以对系统中的网络设备实现管理的网络管理设 备。
从管理功能上， 网络管理设备主要包括配置管理、 故障管理、 性能管理、 安全管理 和计费管理等方面的网络管理功能。每个功能都侧重于某一方面的网络管理， 但它们并不 是各自独立的， 在一定条件下这五个功能可以相互转化。 其中， 性能管理在实际应用中对系 统运行状态和效率影响最大， 所以， 所得到的关注也是最多的。
性能管理主要是对移动网络的性能进行管理。具体来讲， 就是通过对网络运行状 况的监测， 保证网络能够有效、 平稳、 安全地运行。 并通过对网络设备数据的采集和分析， 给 网络管理人员提供充足、 完整的运行数据， 供管理人员根据网络运行状况制定合适的运行 策略， 使网络运行在最高效的状态下。
性能管理包括监视和分析被管网络及其所提供服务的性能机制。 性能分析的结果 可能会触发某个诊断测试过程或重新配置网络以维持网络的性能。 性能管理收集分析有关 被管网络当前状况的数据信息， 并维持和分析性能日志。一些典型的功能包括 ：
(1) 性能监控
由用户定义被管对象及其属性。被管对象类型包括线路和路由器 ； 被管对象属性 包括流量、 延迟、 丢包率、 CPU 利用率、 温度、 内存余量。对于每个被管对象， 定时采集性能数 据， 自动生成性能报告。
(2) 阈值控制
可对每一个被管对象的每一条属性设置阈值， 对于特定被管对象的特定属性， 可 以针对不同的时间段和性能指标进行阈值设置。 可通过设置阈值检查开关控制阂值检查和 告警， 提供相应的阈值管理和溢出告警机制。
(3) 性能分析
对历史数据进行分析， 统计和整理， 计算性能指标， 对性能状况作出判断， 为网络 规划提供参考。
(4) 可视化的性能报告
对数据进行扫描和处理， 生成性能趋势曲线， 以直观的图形反映性能分析的结果。
(5) 实时性能监控
提供了一系列实时数据采集 ； 分析和可视化工具， 用以对流量、 负载、 丢包、 温度、
内存、 延迟等网络设备和线路的性能指标进行实时检测， 可任意设置数据采集间隔。
(6) 网络对象性能查询
可通过列表或按关键字检索被管网络对象及其属性的性能记录。
相应的， 为了实现上述的各项功能， 网管系统需要从各个网元设备中获取大量的 性能数据， 以便进行性能分析。
网管系统中， 性能数据由网元设备上传到网管系统中， 常用上传方式包括以下两 种方式 ：
方式一、 文件方式
网管系统中， 各网元设备将性能数据以文件方式向网关设备上传， 网管系统收到 该文件后， 对其中的性能数据进行解析， 然后， 将完成解析的性能数据存入数据库。
如图 1 所示， 具体的处理流程包括以下步骤 ：
步骤 S101、 网管系统的 FTP(File Transfer Protocol， 文件传输协议 ) 服务器接 收到从网元设备上传的性能文件， 并保存在本地。
在本步骤中， 性能文件是网元设备上传的文件形式的性能数据。
步骤 S102、 网管系统中的应用程序读取性能文件， 并解析其中的性能数据， 得到性 能解析结果。 步骤 S103、 网管系统将完成上述解析操作的性能数据存入数据库中。
方式二、 消息方式
即网元设备将性能数据以消息方式上传给网管系统。在这样的处理中， 网管系统 对硬盘只进行了一次写操作。
在实现本发明实施例的过程中， 申请人发现现有技术至少存在以下问题 ：
对于上述的方式一， 在整个处理过程中， 解析过程以及入库过程都是比较复杂的， 例如， 涉及读文件、 文件解析、 SQL 语句的组织、 SQL 的效率分析等。稍有不慎就会引起低效 和错误。
对于上述的方式二， 虽然减少了硬盘读写次数， 但实际的处理效率却比方式一的 处理效率还低， 具体原因如下 ：
1、 性能数据数据量大， 涉及的性能指标非常多， 往往若干组性能指标作为一条消 息上传， 使得网管和网元之间产生频繁的消息交互， 这是最核心的一个原因。
2、 应用层复杂的协议， 例如， 消息发送， 确认， 无论是停等协议， 还是滑动窗口协 议， 这些协议都会使得传输过程变得复杂， 降低效率。
3、 和方式一一样， 需要组织比较复杂的 SQL 语句， 进行 SQL 语句的效率分析和 SQL 的优化。稍有不慎， 就会引起低效。
基于以上的原因， 使得消息方式上传往往比文件方式上传更慢了， 不仅如此， 消息 方式的处理过程中的编程还更加复杂， 需要进行大量的编码工作， 进一步降低了效率。
因此， 上述两种方式都不能解决网元设备向网管系统上传性能数据的效率问题。
发明内容 本发明实施例提供一种性能数据的上传方法和设备， 解决网元设备向网管系统进 行数据传输效率低， 影响网络管理效果的问题。
为达到上述目的， 本发明实施例一方面提供了一种性能数据的上传方法， 包括 ：
网管系统接收到网元设备按照预设的上报周期上传的压缩文件组， 所述压缩文件 组包含所述网元设备根据配置文件所生成的一个或多个可导入性能数据文件 ；
所述网管系统将所述压缩文件组中的可导入性能数据文件通过数据库导入工具 导入数据库。
另一方面， 本发明实施例还提供了一种网管系统， 包括 ：
接收模块， 用于接收到网元设备按照预设的上报周期上传的压缩文件组， 所述压 缩文件组包含所述网元设备根据配置文件所生成的一个或多个可导入性能数据文件 ；
导入模块， 用于将所述接收模块所接收到的所述压缩文件组中的可导入性能数据 文件通过数据库导入工具导入数据库。
另一方面， 本发明实施例还提供了一种性能数据的上传方法， 包括 ：
网元设备获取网管系统所生成的配置文件 ；
所述网元设备根据所述配置文件， 将获取到的数据生成一个或多个可导入性能数 据文件， 并在本地存储 ；
当所述网元设备判断当前达到预设的上报周期时， 所述网元设备将当前存储的可 导入性能数据文件组成压缩文件组， 并上传给所述网管系统。 另一方面， 本发明实施例还提供了一种网元设备， 包括 ：
接收模块， 用于接收网管系统发送的配置文件 ；
获取模块， 用于获取网管系统所生成的配置文件 ；
存储模块， 用于根据所述获取模块所获取的所述配置文件， 将获取到的数据生成 一个或多个可导入性能数据文件， 并在本地存储 ；
设置模块， 用于设置上报周期 ；
上传模块， 用于在当前达到所述设置模块所设置的上报周期时， 将所述存储模块 当前存储的可导入性能数据文件组成压缩文件组， 并上传给所述网管系统。
与现有技术相比， 本发明实施例具有以下优点 ：
通过应用本发明实施例的技术方案， 一方面， 网元设备通过文件方式向网管系统 进行数据传输， 保证了数据传输的高效， 另一方面， 网管系统接收到的数据文件是可直接通 过数据库导入工具导入数据库的， 因此， 省略掉了解析文件的过程， 提高了处理效率， 且避 免了复杂的解析以及入库操作所带来的错误风险以及可能的性能低下的问题， 从而， 进一 步提高了网元设备向网管系统上传数据的传输效率和处理速度， 在简化处理流程的情况 下， 保证上传的数据能够得到及时处理， 保证了网络管理的效果和效率。
附图说明
图 1 为现有技术中各网元设备将性能数据以文件方式向网关设备上传的流程示 意图 ；
图 2 为本发明实施例所提出的一种性能数据的上传方法的流程示意图 ；
图 3 为本发明实施例所提出的一种性能数据的上传方法的流程示意图 ；
图 4 为本发明实施例所提出的一种数据上传的网络管理系统的示意图 ；
图 5 为本发明实施例提出的一种网管系统的结构示意图 ；图 6 为本发明实施例提出的一种网元设备的结构示意图。具体实施方式
如背景技术所述， 网元设备需要向网管系统上传性能数据等待解析的数据信息， 以使网管系统能够通过解析这些数据了解当前的网络状态， 并进行相应的网络管理。
但是， 由于网元设备不间断产生大量性能数据， 均需要上传给网管系统， 而网管系 统对性能数据的处理速度必须大于网元设备产生性能数据的速度， 否则， 就会形成性能数 据的积压， 最终导致网管系统的崩溃。
目前， 虽然正常情况下， 网管系统对这些性能数据的处理速度大于网元产生的速 度， 但随着通信技术的发展， 由于性能指标等监测项目的不断增加， 性能数据的总量也有进 一步增加的趋势， 同时， 在系统比较繁忙， 资源比较紧张的情况下， 则会出现网管系统对这 些性能数据的处理速度低于网元设备产生的速度的情况。
不仅如此， 在现有的技术方案中， 不论是以文件形式还是以消息形式所上传的数 据信息都需要由网管系统进行解析， 然后才能存入数据库， 而解析过程以及入库过程比较 复杂， 稍有不慎， 便会造成性能比较低下的情况， 使解析数据无法及时存入数据库。 为了避免上述情况的出现， 需要进一步提高网元设备向网管系统进行数据传输的 效率， 本发明实施例就是基于此目的， 提出了一种效率更高的性能数据的上传方法。
如图 2 所示， 为本发明实施例所提出的一种性能数据的上传方法的流程示意图， 该方法具体包括以下步骤 ：
步骤 S201、 网管系统接收到网元设备按照预设的上报周期上传的压缩文件组。
其中， 压缩文件组包含网元设备根据配置文件所生成的一个或多个可导入性能数 据文件。
在具体的应用场景中， 上述的可导入性能数据文件， 具体为 CSV(COMMASEPARATED VALUE， 逗号分隔值 ) 文件。
在实际的应用中， 与 CSV 文件类似的其他可以直接通过数据库导入工具导入数据 库的文件格式也可以应用于本发明实施例的技术方案中， 这样的变化并不影响本发明的保 护范围。
需要指出的是， 在本步骤之前， 还包括网管系统根据自身的数据库的结构信息生 成配置文件的过程， 网管系统生成配置文件后， 可以将配置文件发送给相应的网元设备， 使 该网元设备根据该配置文件， 将相应的数据信息生成可导入的数据文件， 也可以将配置文 件加入网元设备的软件安装包中， 直接通过软件安装包的配置过程， 在性能数据交互前为 网元设备配置该配置文件， 这样可以避免从网管系统获取该配置文件， 减少网管系统和网 元设备之间的交互， 节省相应的网络资源。
具体的， 配置文件是网管系统根据数据库中所包含的数据表中的字段与性能数据 的对应存储关系生成的， 据此可以使网元设备将需要存储在同一个数据表中的数据信息生 成一个可导入性能数据文件， 以方便后续的导入处理过程。
在实际的应用场景中， 本步骤的实现过程具体可以为网管系统接收网元设备按照 预设的上报周期根据 FTP 协议上传的压缩文件组。
通过这样的处理， 网管系统接收网元设备根据 FTP 协议上传的压缩文件组， 通过
稳定而高效率的 FTP 协议以文件的形式对待解析的数据进行传输， 保证了数据传输的效率 和稳定性。
需要进一步指出的是， 网元设备上传的压缩文件组可以具体为压缩文件， 即将多 个可导入的数据文件压缩为一个压缩文件上传给网管系统， 如果是这样， 本步骤中， 网管系 统还需要对该压缩包进行解压， 从而获取可导入的数据文件。
步骤 S202、 网管系统将压缩文件组中的可导入性能数据文件通过数据库导入工具 导入数据库。
在实际的操作中， 本步骤的处理具体可以依靠数据库的导入工具实现， 具体应用 哪种数据库导入工具并不会影响本发明的保护范围。
通过以上描述， 可以发现， 在整个的流程中， 网管系统中避免了对数据文件的解析 过程， 从而， 避免了复杂的解析过程以及入库过程， 带来错误风险以及可能的性能低下的可 能， 将数据文件直接通过数据库导入工具导入数据库的处理效率明显高于先解析文件再组 织 SQL 语句将性能数据入库的处理过程， 进一步提高了数据上传过程的处理效率。
上述的处理过程是本发明实施例所提出的技术方案在网管系统侧的处理过程， 下 面， 进一步说明该技术方案在网元设备侧的处理过程。
如图 3 所示， 为本发明实施例所提出的一种性能数据的上传方法在网元设备侧的 流程示意图， 具体包括以下步骤 ：
步骤 S301、 网元设备获取网管系统所生成的配置文件。
具体的获取方式包括以下两种 ：
(1) 网元设备接收网管系统发送的配置文件。
即网管系统根据自身的数据库的结构信息生成配置文件后， 将配置文件发送给相 应的网元设备， 使该网元设备根据该配置文件， 将相应的数据信息生成可导入的数据文件。
(2) 网元设备通过安装含配置文件的软件安装包。
即网管系统根据自身的数据库的结构信息生成配置文件后， 将配置文件加入网元 设备的软件安装包中， 直接通过软件安装包的配置过程， 在性能数据交互前为网元设备配 置该配置文件， 这样可以避免从网管系统获取该配置文件， 减少网管系统和网元设备之间 的交互， 节省相应的网络资源
在实际应用中， 本步骤之前还包括上报周期的设定过程， 具体包括以下两种方 式：
方式一、 网元设备设置上报周期。
方式二、 网元设备接收包含上报周期信息的设置消息， 并根据上报周期信息设置 上报周期。
设置消息的发送方可以是网管系统， 也可以是其他网络设备。
在实际的应用中， 可以根据需要确定使用哪种方式设置上报周期， 这样的变化并 不影响本发明的保护范围。
步骤 S302、 网元设备根据配置文件， 将获取到的数据生成一个或多个可导入性能 数据文件， 并在本地存储。
根据前述的步骤 S201 中配置文件的说明， 本步骤中， 网元设备根据配置文件中的 信息， 将需要存入网管系统的数据库中的同一个数据表的多个性能指标对应的性能数据生成一个可导入性能数据文件， 并在本地存储生成的可导入性能数据文件。
在具体的应用场景中， 上述的可导入性能数据文件， 具体为 CSV 文件。
在实际的应用中， 与 CSV 文件类似的其他可以直接通过数据库导入工具导入数据 库的文件格式也可以应用于本发明实施例的技术方案中， 这样的变化并不影响本发明的保 护范围。
步骤 S303、 当网元设备判断当前达到预设的上报周期时， 网元设备将当前存储的 可导入性能数据文件组成压缩文件组， 并上传给网管系统。
其中， 上传的压缩文件组可以具体为压缩文件， 即将多个可导入的数据文件压缩 为一个压缩文件上传给网管系统， 如果是这样， 压缩文件组上传后， 网管系统还需要对该压 缩包进行解压， 从而获取可导入的数据文件。
与现有技术相比， 本发明实施例具有以下优点 ：
通过应用本发明实施例的技术方案， 一方面， 网元设备通过文件方式向网管系统 进行数据传输， 保证了数据传输的高效， 另一方面， 网管系统接收到的数据文件是可直接通 过数据库导入工具导入数据库的， 因此， 省略掉了解析文件的过程， 提高了处理效率， 且避 免了复杂的解析操作所带来的错误风险， 从而， 进一步提高了网元设备向网管系统上传数 据的传输效率和处理速度， 在简化处理流程的情况下， 保证上传的数据能够得到及时处理， 保证了网络管理的效果和效率。 下面， 结合具体的应用场景， 对本发明实施例所提出的技术方案进行说明。
如图 4 所示， 为本发明实施例所提出的一种数据上传的网络管理系统的示意图。
为方便描述， 以下说明以性能数据的上传为例进行说明。
网管系统将数据库中存储各项数据的表的信息导出， 生成一个配置文件， 这个配 置文件中描述了哪些指标保存在数据库的哪个表中、 对应哪个字段。
网管系统将该配置文件发送给网元设备， 或者将这个配置文件包含在网元设备的 软件安装包中， 直接在性能数据上报之前配置给网元设备。
网元设备把上述配置文件保存在本地， 根据配置文件的描述， 将性能数据写入相 应的 CSV 文件。
例如 ： 网管系统的数据库中有 3 个表 ： A 表、 B 表和 C 表。A 表包含指标 A1、 A2， B表 包含指标 B1、 B2， C 表包含指标 C1、 C2， 则将这些信息形成配置文件， 发送给网元设备。
网元设备根据这个配置文件将性能数据写入 3 个文件， A.csv、 B.csv、 C.csv。即 将 A1、 A2 指标的数据写入 A.csv， 将 B1、 B2 指标的数据写入 B.csv， 将 C1、 C2 指标的数据写 入 C.csv。
网元设备将一个上报周期 ( 例如 15 分钟 ) 内产生的多个性能数据文件 (CSV 文 件 )， 全部压缩成一个压缩包， 通过 FTP 的方式传给网管系统。
网管系统获取到压缩后的文件， 解压出原始的 CSV 文件后， 利用数据库的导入工 具 ( 例如 oracle 的 sqlload)， 直接将 CSV 文件导入数据库。
与现有技术相比， 本发明实施例具有以下优点 ：
通过应用本发明实施例的技术方案， 一方面， 网元设备通过文件方式向网管系统 进行数据传输， 保证了数据传输的高效， 另一方面， 网管系统接收到的数据文件是可直接通 过数据库导入工具导入数据库的， 因此， 省略掉了解析文件的过程， 提高了处理效率， 且避
免了复杂的解析操作所带来的错误风险， 从而， 进一步提高了网元设备向网管系统上传数 据的传输效率和处理速度， 在简化处理流程的情况下， 保证上传的数据能够得到及时处理， 保证了网络管理的效果和效率。
为了实现本发明实施例的技术方案， 本发明实施例还提供了一种网管系统， 其结 构示意图如图 5 所示， 具体包括 ：
接收模块 51， 用于接收到网元设备按照预设的上报周期上传的压缩文件组， 压缩 文件组包含网元设备根据配置文件所生成的一个或多个可导入性能数据文件 ；
导入模块 52， 用于将接收模块 51 所接收到的压缩文件组中的可导入性能数据文 件通过数据库导入工具导入数据库。
在具体的应用场景中， 网管系统还包括生成模块 53， 用于根据网管系统的数据库 的结构信息生成配置文件， 进一步的， 该网管系统中还包括 ：
发送模块 54， 用于将生成模块 53 所生成的配置文件发送给网元设备 ； 或，
处理模块 55， 用于将生成模块 53 所生成的配置文件加入网元设备的软件安装包 中， 对网元设备进行配置， 在此情况下， 将不再需要向网元设备进行配置文件的发送， 即发 送模块 54 将不再存在。 在具体的应用场景中， 上述的可导入性能数据文件， 具体为 CSV 文件。
在实际的应用中， 与 CSV 文件类似的其他可以直接通过数据库导入工具导入数据 库的文件格式也可以应用于本发明实施例的技术方案中， 这样的变化并不影响本发明的保 护范围。
进一步的， 网元设备上传的压缩文件组可以具体为压缩文件， 即将多个可导入的 数据文件压缩为一个压缩文件上传给网管系统， 如果是这样， 压缩文件组上传后， 网管系 统还需要对该压缩包进行解压， 从而获取可导入的数据文件， ， 因此， 上述的网管系统， 还包 括：
解压模块 56， 用于对接收模块 51 所接收到的压缩文件解压， 获取一个或多个可导 入性能数据文件。
在实际应用中， 接收模块 51， 具体用于接收网元设备按照预设的上报周期根据 FTP 协议上传的压缩文件组。
另一方面， 本发明实施例还提出的了一种网元设备， 如图 6 所示， 为本发明实施例 所提出的一种网元设备的结构示意图， 包括 ：
获取模块 61， 用于获取网管系统所生成的配置文件。
存储模块 62， 用于根据获取模块 61 所接收的配置文件， 将获取到的数据生成一个 或多个可导入性能数据文件， 并在本地存储。
设置模块 63， 用于设置上报周期。
上传模块 64， 用于在当前达到设置模块 63 所设置的上报周期时， 将存储模块 62 当 前存储的可导入性能数据文件组成压缩文件组， 并上传给网管系统。
在实际应用中， 设置模块 63， 具体用于 ：
直接设置上报周期 ； 或，
根据获取模块 61 接收到的设置消息中所包含的上报周期信息， 设置上报周期。
设置消息的发送方可以是网管系统， 也可以是其他网络设备。
在实际的应用中， 可以根据需要确定使用哪种方式设置上报周期， 这样的变化并 不影响本发明的保护范围。
进一步的， 获取模块 61， 具体用于 ：
接收网管系统发送的配置文件 ； 或，
安装含配置文件的软件安装包， 以使该网元设备获取到该配置文件， 并进行相应 的后续处理。
需要指出的是， 存储模块 62， 具体用于根据获取模块 61 所接收的配置文件中的信 息， 将需要存入网管系统的数据库中的同一个数据表的多个性能指标对应的性能数据生成 一个可导入性能数据文件， 并在本地存储生成的可导入性能数据文件。
在具体的应用场景中， 上述的可导入性能数据文件， 具体为 CSV 文件。
在实际的应用中， 与 CSV 文件类似的其他可以直接通过数据库导入工具导入数据 库的文件格式也可以应用于本发明实施例的技术方案中， 这样的变化并不影响本发明的保 护范围。
需要指出的是， 上传模块 64， 具体用于将存储模块 62 当前存储的可导入性能数据 文件组成压缩文件组， 并根据 FTP 协议上传给网管系统。 其中， 上传的压缩文件组可以具体为压缩文件， 即将多个可导入的数据文件压缩 为一个压缩文件上传给网管系统， 如果是这样， 压缩文件组上传后， 网管系统还需要对该压 缩包进行解压， 从而获取可导入的数据文件。
与现有技术相比， 本发明实施例具有以下优点 ：
通过应用本发明实施例的技术方案， 一方面， 网元设备通过文件方式向网管系统 进行数据传输， 保证了数据传输的高效， 另一方面， 网管系统接收到的数据文件是可直接通 过数据库导入工具导入数据库的， 因此， 省略掉了解析文件的过程， 提高了处理效率， 且避 免了复杂的解析操作所带来的错误风险， 并且避免了复杂的解析和入库操作可能带来的性 能低下的问题， 进一步提高了网元设备向网管系统上传数据的传输效率和处理速度， 在简 化处理流程的情况下， 保证上传的数据能够得到及时处理， 保证了网络管理的效果和效率。
通过以上的实施方式的描述， 本领域的技术人员可以清楚地了解到本发明实施例 可以通过硬件实现， 也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理 解， 本发明实施例的技术方案可以以软件产品的形式体现出来， 该软件产品可以存储在一 个非易失性存储介质 ( 可以是 CD-ROM， U 盘， 移动硬盘等 ) 中， 包括若干指令用以使得一台 计算机设备 ( 可以是个人计算机， 服务器， 或者网络设备等 ) 执行本发明实施例各个实施场 景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图， 附图中的模块或 流程并不一定是实施本发明实施例所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进 行分布于实施场景的装置中， 也可以进行相应变化位于不同于本实施场景的一个或多个装 置中。上述实施场景的模块可以合并为一个模块， 也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述， 不代表实施场景的优劣。
以上公开的仅为本发明实施例的几个具体实施场景， 但是， 本发明实施例并非局 限于此， 任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。