一种用于PDM系统的大数据采集与处理方法技术领域
本发明涉及大数据分析技术领域。
背景技术
随着企业信息化建设的过程，国内外PDM系统的应用已相对成熟，企业已PDM系统
为平台，实现了与CAx系统的集成。工业企业经过多年的生产经营，积累下来历年的产品设
计数据、工艺数据、原材料数据和生产设备数据，越来越多的外部数据也被收集回来，包括
市场数据、企业竞品数据等。数据粒度不断细化，从一款产品到多款、多系列产品使得产品
数据不断细化和提升。企业所积累的数据量以加速度的方式在增加，构成了工业大数据的
集合。
在产品的质量与分析、生产计划与排程，以及销售需求分析与预测等领域，越来越
多的工业企业开始认识到工业大数据的价值，并开始积极利用工业大数据实现业务的革
新，工业大数据已经成为推动企业智能化转型的重要力量。大数据技术与PDM技术的结合对
企业工业化、信息化的深度融合具有十分重要的意义。现有技术存在以下不足，为工业大数
据在PDM系统进行数据采集与分析带来不便：
（1）PDM系统业务流程涵盖了企业各个部门，管理了产品全生命周期的数据，不仅要分
析PDM系统中产生的过程，还要针对三维设计数据文件进行特征提取，对分析算法的数量和
种类要求较多，现有技术无法做到对各类算法的管理；（2）针对PDM系统进行大数据分析，数
据来源包括从PDM系统中获取，从三维设计数据文件中获取，如何获取数据并作为算法的输
入数据，现有技术无法实现。
综合上述可知，目前的大数据分析系统缺乏一种对PDM系统数据进行采集和使用
的有效方法，如果能在大数据分析系统中加载并分析PDM系统管理的数据，为产品的设计
者、制造者和使用者提供可靠的数据分析、事件预警，可以有效地解决海量数据存储访问、
高并发、高扩展等问题，提高生产效率。
发明内容
针对上述问题，本发明所要解决的技术问题是提供一种针对PDM系统中大数据的
采集与处理方法。
本发明的技术方案是：
一种用于PDM系统的大数据采集与处理方法，所述方法使用到的系统模块包括PDM系
统、PDM系统数据库、PDM系统文件卷、数据采集接口模块、选项管理模块、算法管理模块、决
策分析模块、分析结果显示模块、算法库、大数据分析系统数据库；具体使用方法包括以下
步骤：
步骤1、在决策分析模块分析选项设置子功能中加载大数据分析系统存储的分析选项，
并从分析选项列表中选取要进行大数据分析的选项组合，填写数据筛选条件，生成一份选
项清单。由分析选项设置子功能将选项清单及对应的属性信息、数据筛选条件存储到大数
据分析系统数据库；
步骤2、决策分析模块算法加载与校验子功能根据选项清单及属性信息、筛选条件，从
算法库中加载关联的大数据分析算法和特征提取算法程序，遍历并校验大数据分析算法程
序算法输入字段与分析选项的数据字段名称映射是否完整，完成校验后将数据字段名称列
表、数据字段采集方式、筛选条件传入数据采集接口；
步骤3、数据采集接口模块根据传入的数据字段名称列表、数据字段采集方式、筛选条
件，确定每个数据字段的采集方式，生成PDM系统数据库SQL查询语句；
步骤4、数据采集接口模块连接PDM系统数据库, 使用生成的数据库SQL语句，从PDM系
统数据库表中查询与大数据分析选项数据字段映射的属性值，将属性值存储到大数据分析
系统数据库，并以数据集Attribute_Dataset的方式缓存到计算机内存；
步骤5、数据采集接口模块从PDM系统文件卷中获取三维设计数据物理文件，调用三维
CAD软件的图形数据加载程序，在计算机内存中加载获取到的三维设计数据物理文件，执行
预加载的特征提取算法程序，输出三维设计数据特征值，将特征值存储到大数据分析系统
数据库，并以数据集Feature_Dataset的方式缓存到计算机内存；
步骤6、决策分析模块大数据分析子功能将计算机内存中数据集Attribute_Dataset、
Feature_Dataset作为大数据分析程序的算法输入字段；执行大数据分析算法，将处理结果
推送至分析结果显示模块。
优选的，步骤1所述选项清单及属性信息包括每个分析选项的编号、名称、功能描
述、选项清单生成时间，分析选项关联的算法编号、算法名称、算法程序文件名，每个分析选
项所需的数据字段名称列表、数据字段采集方式；数据字段采集方式分为两种：从PDM系统
数据库表中采集属性信息的方式、从特征提取算法提取三维模型特征数据的方式。
优选的，步骤1所述数据筛选条件包括按部门筛选，按人员筛选、按时间范围筛选、
按产品类型筛选，按三维设计数据的编号、版本、名称、类型筛选，数据筛选条件的输入值支
持精确值与模糊值两种方式。
优选的，步骤2所述数据字段采集方式分为从PDM系统数据库表中采集、从三维设
计数据的特征值中采集。
优选的，步骤2所述字段映射包含三级映射模式，通过算法管理模块，实现将大数
据分析算法的算法输入字段与分析选项创建的数据字段名称进行映射，确定算法输入字段
的数据源。通过数据采集接口，实现将数据字段与PDM系统数据库的三维设计数据的属性
值、三维模型设计文件的特征值进行映射。
本发明的有益效果：
本发明所述用于PDM系统的大数据采集与处理方法，采用以上技术方案与现有技术相
比，具有以下技术效果：
1．实现PDM系统与大数据分析系统的集成，将PDM系统中管理的产品全生命周期数据输
出到大数据分析系统中使用。2．有效管理针对PDM系统数据进行分析的大数据分析算法程
序和特征提取算法程序。3．通过数据字段三级映射模式，为大数据分析系统采集PDM系统数
据提供了保障。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明所述的用于PDM系统的大数据采集与处理方法的模块示意图；
图2为本发明所述的用于PDM系统的大数据采集与处理方法的流程图；
图3为本发明所述的决策分析模块的示意图；
图4为本发明所述的数据字段三级映射的结构图。
具体实施方式
如图1，本发明所揭示一种用于PDM系统的大数据采集与处理方法，所述方法使用
到的系统模块包括PDM系统、PDM系统数据库、PDM文件卷、数据采集接口模块、选项管理模
块、算法管理模块、决策分析模块、分析结果显示模块、算法库、大数据分析系统数据库。
如图2所示，一种用于PDM系统的大数据采集与处理方法按如下步骤进行操作：
步骤1、在决策分析模块分析选项设置子功能中加载大数据分析系统存储的分析选项，
并从分析选项列表中选取要进行大数据分析的选项组合，填写数据筛选条件，生成一份选
项清单。由分析选项设置子功能将选项清单及对应的属性信息、数据筛选条件存储到大数
据分析系统数据库；
步骤2、决策分析模块算法加载与校验子功能根据选项清单及属性信息、筛选条件，从
算法库中加载关联的大数据分析算法和特征提取算法程序，遍历并校验大数据分析算法程
序算法输入字段与分析选项的数据字段名称映射是否完整，完成校验后将数据字段名称列
表、数据字段采集方式、筛选条件传入数据采集接口；
步骤3、数据采集接口模块根据传入的数据字段名称列表、数据字段采集方式、筛选条
件，确定每个数据字段的采集方式，生成PDM系统数据库SQL查询语句；
步骤4、数据采集接口模块连接PDM系统数据库, 使用生成的数据库SQL语句，从PDM系
统数据库表中查询与大数据分析选项数据字段映射的属性值，将属性值存储到大数据分析
系统数据库，并以数据集Attribute_Dataset的方式缓存到计算机内存；
步骤5、数据采集接口模块从PDM系统文件卷中获取三维设计数据物理文件，调用三维
CAD软件的图形数据加载程序，在计算机内存中加载获取到的三维设计数据物理文件，执行
预加载的特征提取算法程序，输出三维设计数据特征值，将特征值存储到大数据分析系统
数据库，并以数据集Feature_Dataset的方式缓存到计算机内存；
步骤6、决策分析模块大数据分析子功能将计算机内存中数据集Attribute_Dataset、
Feature_Dataset作为大数据分析程序的算法输入字段；执行大数据分析算法，将处理结果
推送至分析结果显示模块。
选项管理模块用于创建大数据分析选项，设置编号、名称、功能描述、数据字段名
称列表、数据字段采集方式。创建数据筛选条件，通过关联PDM系统数据库来设置筛选条件
值。选项管理模块将创建好的大数据分析选项、数据筛选条件存储到大数据分析系统数据
库。
数据字段采集方式分为从PDM系统数据库表中采集、从三维设计数据的特征值中
采集。
选项清单及属性信息包括每个分析选项的编号、名称、功能描述、选项清单生成时
间，分析选项关联的算法编号、算法名称、算法程序文件名，每算法管理模块用于管理大数
据分析算法和三维设计数据特征提取算法，以界面的方式显示算法名称、算法功能描述、算
法输入字段、算法输出字段、算法库中对应的物理文件，可管理由C语言、C++语言、Java语言
编写的算法程序。算法管理模块提供数据映射的功能，实现将大数据分析算法的算法输入
字段与大数据分析选项创建的数据字段名称进行关联。
算法库以文件夹的方式分类存储大数据分类算法和三维设计数据特征提取算法。
算法库文件支持的格式包括动态链接库DLL文件，JAR文件。
如图3所示，所述大数据分析系统的决策分析模块由三项子功能组成：分析选项设
置子功能、算法加载与校验子功能、大数据分析子功能。
分析选项设置子功能连接大数据分析系统数据库，加载存储的分析选项，由用户
从分析选项列表选取要进行大数据分析的选项组合，填写数据筛选条件，生成一份选项清
单。由分析选项设置子功能将选项清单及对应的属性信息、数据筛选条件存储到大数据分
析系统数据库。
算法加载与校验子功能根据选项清单及属性信息、筛选条件，从算法库中加载关
联的大数据分析算法和特征提取算法程序，遍历并校验大数据分析算法程序算法输入字段
与大数据分析选项的数据字段名称映射是否完整，完成校验后将数据字段名称列表、数据
字段采集方式传入数据采集接口。
大数据分析子功能读取计算机内存缓存的数据集Attribute_Dataset、Feature_
Dataset，作为大数据分析算法的算法输入字段。执行大数据分析算法，将算法输出字段作
为处理结果，推送至分析结果显示模块。
数据采集接口模块用于接收数据字段名称列表、数据字段采集方式，通过PDM系统
数据库获取三维设计数据的属性值，通过运行三维设计特征提取程序获取三维模型设计文
件的特征值。数据采集接口将属性值与特征值存入大数据分析系统数据库，并分别以数据
集缓存的方式加载到计算机内存。
如图4所示，所述字段映射包含三级映射模式，通过算法管理模块，实现将大数据
分析算法的算法输入字段与分析选项创建的数据字段名称进行映射，确定算法输入字段的
数据源。通过数据采集接口，实现将数据字段与PDM系统数据库的三维设计数据的属性值、
三维模型设计文件的特征值进行映射。
分析结果显示模块显示大数据分析结果，通过可视化方式针对一份选项清单提供
一个总的分析概览，再通过缩放和筛选，提供更深入的细节信。显示方式包括图表、仪表板，
可进行预测、预警、决策分析。
大数据分析系统数据库采用NoSQL数据库技术，管理从PDM系统数据库及三维模型
采集到的非结构化、半结构化的数据。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人
能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主
要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。个分析选项所需
的数据字段名称列表、数据字段采集方式；数据字段采集方式分为两种：从PDM系统数据库
表中采集属性信息的方式、从特征提取算法提取三维模型特征数据的方式。
下表是在选项管理模块中预设的大数据分析选项：
![]()
数据筛选条件包括按部门筛选，按人员筛选、按时间范围筛选、按产品类型筛选，按三
维设计数据的编号、版本、名称、类型筛选，数据筛选条件的输入值支持精确值与模糊值两
种方式。
下表是在选项管理模块中预设的数据筛选条件：
![]()
算法管理模块用于管理大数据分析算法和三维设计数据特征提取算法，以界面的方式
显示算法名称、算法功能描述、算法输入字段、算法输出字段、算法库中对应的物理文件，可
管理由C语言、C++语言、Java语言编写的算法程序。算法管理模块提供数据映射的功能，实
现将大数据分析算法的算法输入字段与大数据分析选项创建的数据字段名称进行关联。
算法库以文件夹的方式分类存储大数据分类算法和三维设计数据特征提取算法。
算法库文件支持的格式包括动态链接库DLL文件，JAR文件。
如图3所示，所述大数据分析系统的决策分析模块由三项子功能组成：分析选项设
置子功能、算法加载与校验子功能、大数据分析子功能。
分析选项设置子功能连接大数据分析系统数据库，加载存储的分析选项，由用户
从分析选项列表选取要进行大数据分析的选项组合，填写数据筛选条件，生成一份选项清
单。由分析选项设置子功能将选项清单及对应的属性信息、数据筛选条件存储到大数据分
析系统数据库。
算法加载与校验子功能根据选项清单及属性信息、筛选条件，从算法库中加载关
联的大数据分析算法和特征提取算法程序，遍历并校验大数据分析算法程序算法输入字段
与大数据分析选项的数据字段名称映射是否完整，完成校验后将数据字段名称列表、数据
字段采集方式传入数据采集接口。
大数据分析子功能读取计算机内存缓存的数据集Attribute_Dataset、Feature_
Dataset，作为大数据分析算法的算法输入字段。执行大数据分析算法，将算法输出字段作
为处理结果，推送至分析结果显示模块。
数据采集接口模块用于接收数据字段名称列表、数据字段采集方式，通过PDM系统
数据库获取三维设计数据的属性值，通过运行三维设计特征提取程序获取三维模型设计文
件的特征值。数据采集接口将属性值与特征值存入大数据分析系统数据库，并分别以数据
集缓存的方式加载到计算机内存。
如图4所示，所述字段映射包含三级映射模式，通过算法管理模块，实现将大数据
分析算法的算法输入字段与分析选项创建的数据字段名称进行映射，确定算法输入字段的
数据源。通过数据采集接口，实现将数据字段与PDM系统数据库的三维设计数据的属性值、
三维模型设计文件的特征值进行映射。
分析结果显示模块显示大数据分析结果，通过可视化方式针对一份选项清单提供
一个总的分析概览，再通过缩放和筛选，提供更深入的细节信。显示方式包括图表、仪表板，
可进行预测、预警、决策分析。
大数据分析系统数据库采用NoSQL数据库技术，管理从PDM系统数据库及三维模型
采集到的非结构化、半结构化的数据。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人
能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主
要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。