一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf

上传人:111****112 文档编号:628555 上传时间:2018-02-27 格式:PDF 页数:20 大小:1.19MB
返回 下载 相关 举报
摘要
申请专利号:

CN201410332474.6

申请日:

2014.07.11

公开号:

CN104090960A

公开日:

2014.10.08

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20140711|||公开

IPC分类号:

G06F17/30

主分类号:

G06F17/30

申请人:

北京科技大学

发明人:

谢永红; 杜宏博; 张德政; 阿孜古丽·吾拉木; 谷晓轮; 赵利民

地址:

100083 北京市海淀区学院路30号

优先权:

专利代理机构:

北京金智普华知识产权代理有限公司 11401

代理人:

皋吉甫

PDF下载: PDF下载
内容摘要

本发明提出一种基于热连轧生产流程的动态多主题数据仓库建立方法,该方法步骤如下:1业务数据提取;2业务数据可视化分析;3螺旋式动态构建数据仓库;4在线分析处理。本方法根据业务需求,在可视化数据分析的基础上,用户自主动态构建分析维度、分析主题,并在多主题数据仓库中进行分析和挖掘。本发明针对热连轧生产流程数据量庞大的特点,提供了数据可视化处理方法,使用户可以观察数据特征,挑选有价值的数据,解决了用户面对海量数据时出现盲需求的特点,基于生产流程动态建立多维度、多主题挖掘,满足了用户对现场数据完整性、数据仓库管理的高效性,满足了不断发展的业务需求。该方法同样适用于工业领域流程化生产类数据的数据仓库构建。

权利要求书

1.   一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,所述方法包括以下步骤:
步骤1,业务数据提取:遍历业务数据库,同时提取业务数据的元数据构更新业务数据的字段元表和表元表;
步骤2,业务数据可视化分析:对业务数据库中的业务数据进行可视化处理,展示业务数据的数学特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库;其中,业务数据为用户选择数据项对应的业务数据;
步骤3,螺旋式动态构建数据仓库:根据步骤2中获得的业务数据可视化分析结果,选择数据,构建个性主题表;从业务数据库选择字段构建个性维度表,并更新主题信息表、维度信息表;
步骤4,在线分析处理,用维度表及主题表构建业务分析模型,进行数据在线分析。

2.
  如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表和维度信息表,所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据仓库数据与业务数据的同步,数据仓库的主题表字段、维度表字段通过业务数据的表元表和字段元表访问到业务数据表中的数据,从而对数据进行相关操作。

3.
  如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,业务数据库由多个业务数据表构成,数据仓库通过业务数据库的字段元表、表元表和业务数据表的字段一一映射。

4.
  如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他数据项对应的数据的相关性。

5.
  如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤3具体包括以下步骤:
步骤3.1,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建维度表;
步骤3.2,固定主题表的构建,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定字段项构建固定主题表,根据主题信息表字段提取业务数据创建固定主题,其中固定主题在数据仓库中以固定主题表的形式存在;
步骤3.3,用户根据步骤2的业务数据可视化分析结果,根据业务数据分布进行选择,确认选择数据后,更新主题信息表信息,根据业务数据字段元表、业务数据表元表定位业务数据位置,提取数据,构建个性主题表。

6.
   如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤3.2中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号中的一项或多项。

7.
  如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤3.3中所述根据业务数据分布进行选择的数据包括正态分布、均匀分布、数据重复率低、非空或与关键字段相关性强的数据。

8.
  如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤4后还包括重复步骤2和步骤3添加个性维度表和个性主题表,螺旋式扩展多主题数据仓库。

说明书

一种基于热连轧生产流程的动态多主题数据仓库建立方法
技术领域
本发明涉及热连轧生产、数据仓库领域,特别是涉及一种基于热连轧生产流程的动态多主题数据仓库建立方法。
背景技术
热连轧生产流程伴随有海量的设计、实验、调试、现场生产等工程数据,以及大量系统安装和调试经验知识等,这些数据是生产线设计、建设和轧制模型开发研究的重要参考资料,长期以来这些数据一直零散存放,没有得到系统地整理,更加没有进行有效地分析利用,所以,建立轧制模型基础数据库,对相关信息资源进行整理、管理和有效利用是一项迫在眉睫的工作。
面向冶金钢铁流程控制的集成建模与优化控制技术需求,针对“4V+1C”的数据特点(英文全称Volume,Velocity,Variety,Value,Complexity的缩写)。利用数据仓库技术为复杂的生产过程控制提供基于机理、数据和知识的集成建模方法,以及过程控制与优化技术;实现面向钢铁流程控制,实现生产过程中数据、信息与知识的集成、融合以及动态处理,建立管控一体化控制系统;研究基于模型的钢铁生产流程关键过程优化技术,实现设备自动化控制、设备运行参数优化与在线调整;实现钢铁生产效率综合指标的管理与优化控制以及与钢铁生产管理与数据仓库系统的有机整合。
数据仓库是信息处理的基础,是面向对象、整合、永久并随时间变化的一个支持管理决策的数据的集合。数据仓库系统包含了整合后的粒状历史数据,整合的数据使得用户可以观察企业级的整体数据;而根据数据的粒状特性,用户依旧可以观察局部数据的特点,反应真实情况。
管理者的决策通常建立在结构化的记录基础上,但是,由于企业内部存在大量异构数据,这些数据通常以文本的非结构化形式存在并且大量冗余,所以整合各种异构数据、数据清洗,并进行分析挖掘支持决策是传统数据仓库面临的巨大困难。
而处理数据仓库产生的海量数据也是传统数据仓库面临的问题。多维多主题数据仓库是建立在海量数据基础上的,而大量数据会阻塞数据通道,阻碍用户进行业务分析,但是这些数据中存在巨大分析价值,因此需要合理有效的存放这些重要数据。
传统数据仓库系统,要求用户需求明确,分析主题事先确定。但是随着数据量的不断增加, 用户对数据的分析需求不甚明确、甚至盲需求,所以需要数据仓库提供探索性的开发模式让用户进行操作,本发明利用螺旋式的构建方法完善数据仓库,根据业务、需求变化增加分析主题,满足用户不断增长、明确的需求。
发明内容
为了解决上述问题,本发明的目的是针对热连轧生产流程数据量庞大的特点,提供了数据可视化处理方法,使用户可以观察数据特征,挑选有价值的数据,解决了用户面对海量数据时出现盲需求的特点,基于生产流程动态建立多维度、多主题挖掘,满足了用户对现场数据完整性、数据仓库管理的高效性,满足了不断发展的业务需求的基于热连轧生产流程的动态多主题数据仓库建立方法。
本发明的技术方案是:一种基于热连轧生产流程的动态多主题数据仓库建立方法,该方法包括以下步骤:
步骤1,业务数据提取:遍历业务数据库,同时提取业务数据的元数据构更新业务数据的字段元表和表元表;
步骤2,业务数据可视化分析:对业务数据库中的业务数据进行可视化处理,展示业务数据的数学特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库;其中,业务数据为用户选择数据项对应的业务数据;
步骤3,螺旋式动态构建数据仓库:根据步骤2中获得的业务数据可视化分析结果,选择数据,构建个性主题表;从业务数据库选择字段构建个性维度表,并更新主题信息表、维度信息表;
步骤4,在线分析处理,用维度表及主题表构建业务分析模型,进行数据在线分析。
进一步,所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表和维度信息表,所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据仓库数据与业务数据的同步,数据仓库的主题表字段、维度表字段通过业务数据的表元表和字段元表访问到业务数据表中的数据,从而对数据进行相关操作;
进一步,业务数据库由多个业务数据表构成,数据仓库通过业务数据库的字段元表、表元表和业务数据表的字段一一映射。
进一步,步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他数据项对应的数据的相关性。
进一步,所述步骤3具体包括以下步骤:
步骤3.1,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元 表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建维度表;步骤3.2,固定主题表的构建,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定字段项构建固定主题表,根据主题信息表字段提取业务数据创建固定主题,其中固定主题在数据仓库中以固定主题表的形式存在;
步骤3.3,用户根据步骤2的业务数据可视化分析结果,根据业务数据分布进行选择,确认选择数据后,更新主题信息表信息,根据业务数据字段元表、业务数据表元表定位业务数据位置,提取数据,构建个性主题表。
进一步,步骤3.2中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号中的一项或多项。
进一步,步骤3.3中所述根据业务数据分布进行选择的数据包括正态分布、均匀分布、数据重复率低、非空或与关键字段相关性强的数据。
进一步,步骤4后还包括重复步骤2和步骤3添加个性维度表和个性主题表,螺旋式扩展多主题数据仓库。
本发明的工作原理是:从业务数据库中提取热连轧生产流程常用业务数据、分析维度,并在多主题数据仓库中构建固定主题表和固定维度表;用户可以根据业务发展和自身需求,通过企业仓库数据的可视化处理,选择具有分析价值的数据构建个性主题表,创建个性维度表将数据在新的维度上进行上卷下钻,通过用户的探索操作实现多主题数据仓库的动态创建。
本发明的有益效果是:
1.使用本发明,可以排除业务数据库中冗余的数据项,从大量数据项中提取具有分析价值的数据项,为用户明确需求提供帮助;
2.使用本发明可以实现对经验主题的动态创立,在业务数据提取的同时,根据经验,提取热连轧生产流程中普遍关注的数据、维度构建固定主题表和固定维度表;
3.使用本发明可以实现数据仓库的动态创立,根据用户对业务数据库数据的可视化分析,自主提取具有分析价值的数据构建个性主题表以及个性维度表,并由多主题数据仓库进行分析展示。
4.使用本发明可以螺旋式完善数据仓库,用户根据业务发展以及需求变化,自主选择数据进行展示,不断完善数据仓库内容,使仓库不断满足新阶段的要求。
5.该方法同样适用于工业领域流程化生产类数据的数据仓库构建。
附图说明
图1本发明钢铁轧制流程的动态多主题数据仓库建立方法流程图。
图2本发明钢铁轧制流程的动态多主题数据仓库业务数据库及可视化分析图。
图3本发明钢铁轧制流程的动态多主题数据仓库主题定制的个性主题定制流程图。
图4本发明钢铁轧制流程的动态多主题数据仓库固定主题事实表构建。
图5本发明钢铁轧制流程的动态多主题数据仓库个性主题事实表构建。
具体实施方式
下面参考说明书附图描述根据本发明实施例的基于钢铁轧制流程的动态多主题数据仓库的建立方法。
本发明提供一种基于钢铁轧制流程的动态多主题数据仓库的建立方法,构建数据仓库流程如图1所示,包括数据提取、数据可视化分析、动态构建多主体数据仓库等步骤,完成从数据采集、数据入库、元数据库创建、数据仓库构建等。本例业务数据库存于oracle数据库中,包含57456项数据项(数据项为轧制过程中产生的计算值、设定值和检测值),从业务数据库中提取业务数据(包括板坯基本信息、轧线数据、粗轧设定结果、粗轧修正结果、精轧设定结果、精轧修正结果、板形数据、卷曲数据、层流冷却数据等),用户根据钢铁轧制领域业务需求以及经验为已拥有的数据集(业务数据库)定制固有主题表时,选择相应数据更新主题信息表,创建主题表时,根据主题信息表、业务数据字段元表、表元表定位业务数据,提取数据构建主题表;当业务需求发生改变,用户可根据业务数据可视化分析,观察业务数据的数据特征(最大值、最小值、中位数、与其他数据间相关性分析)自主选择数据,并存入主题信息表,确认创建后根据主题信息表字段信息从业务数据库中提取数据进行个性主题创建;从轧线数据中提取时间、班组、钢种等数据项,构建钢铁轧制领域普遍使用的固定维度表,选择数据后将数据信息存入维度信息表,指定维度父-子关系,确认创建后根据维度信息表从业务数据库提取对应数据构建维度表;当固定维度不能满足分析需求时,用户可以从业务数据库中提取数据项并指定维度父-子关系构建个性维度表,并更新维信息表;数据仓库将固定主题、个性主题在固定维度、个性维度进行分析挖掘,即将固定主题、个性主题包含数据通过维度进行展示分析,例如各班组在一周内轧制钢卷的厚度分布情况、某厂年产量等。上述主题表、字段元表、表元表、主题信息表统一存储于(如Oracle)数据库中。
主题的定制就是根据主题信息表建立主题表的过程。主题信息表是定制好的具有多个固定主题(如:厚度主题、宽度主题、钢卷规格主题等)的归档主题集,每个主题包 括若干主题项,包含表名、列名以及主题名等相关数据。固定主题是通过已有的一些相关领域的数据挖掘系统,继承他们已定制的归档好的比较完善的主题库(用户根据业务数据库不同结构指定数据项与主题信息表字段对应),所有主题以数据表的形式存放于数据仓库中。个性主题定制流程如下:用户选择业务数据库中的数据项,当用户选定一个数据表的数据项时,进行数据的可视化分析(显示数据的最值、中位数值、与其他数据项的相关性分析),根据实际需求选择是否使用该数据项;当用户选择数据并定制个性主题后,新主题项注册进主题信息表,根据业务数据表的字段元表、业务数据表的表元表定位数据,从业务数据库中提取数据构建相应主题事实表,即主题表;维度表的建立过程与主题表相同,维度相关数据存入维度信息表中,根据相应业务数据表的字段元表、业务数据表的表元表进行定位,从业务数据库中抽取相应数据构建维度的事实表,即维度表。
基于上述方法,对钢铁轧制领域复杂数据集的数据可视化分析、构建主题、维度,进而达到动态创建数据仓库的目的,其中具体方法流程如下:
步骤1,业务数据提取:遍历业务数据库,同时生成业务数据的元数据更新业务数据的字段元表、业务数据表元表。
业务数据库由多个业务数据表构成,业务数据表如表1,在业务数据表的字段元表(也称业务数据字段元表)、表元表(也称业务数据表元表)和业务数据表的字段之间通过位置的一一映射方式,在操作数据时,通过业务数据字段元表、表元表映射字段的位置来操作数据(提取数据构建主题表和维度表,可视化分析时对所选字段进行定位,显示该字段的字段元表)。业务数据库的字段元表和表元表是定制主题的主要依据,是主题表字段、维度表字段和业务数据表之间的主要联系,主题表字段、维度表字段通过业务数据表元表、字段元表访问到业务数据表中的数据,从而对数据进行相关的语句操作。
以业务数据库中表F01_06_FMSC_DATA为例(业务数据表如表1所示),数据提取时遍历业务数据表F01_06_FMSC_DATA,提取表中数据,更新业务数据字段元表及表元表,如表2、表3所示。


表1业务数据表F01_06_FMSC_DATA

ID(表ID)TABLE_NAME(表名)ATTR_COUNT(字段数量)1F01_01_HEADER7072F01_02_PRI_DATA7073F01_03_MILLLINEDATA7074F01_04_RPSC_DATA7075F01_05_PRCC_DATA7076F01_06_FMSC_DATA707

表2业务数据表元表

表3业务表字段元表
此外,在步骤1的业务数据提取过程的同时,在多主题数据仓库中更新数据仓库的主题信息表、维度信息表;其中,主题信息表根据行业经验预设固定主题表字段,由用户选择对应业务数据,完成固定主题信息表。以固定主题-规格(STANDARD)为例,Type(主题类别):1-固定主题,2-个性主题,Method为数据提取方法描述,即获取该数据时需要执行的操作,包括SQL语句或为获取数据所需的程序代码等,创建各主题表时,根据主题信息表所提供的信息,提取业务数据库中相应数据项构建主题表。具体过程如下:
通过已有的一些轧钢领域的数据挖掘系统,继承比较完善的主题库(如表4a未选择数据的固定主题信息表为继承的完善的主题库),所有主题以数据表的形式存放于数据仓库中。用户从业务数据库中选择业务数据,更新主题信息表(如表4b用户选择数据后的固定主题信息表),根据业务数据字段元表、业务数据表元表定位储存于业务数据库中的业务数据。
NameField_nameTypeFieldTABLE_IDMethodSTANDARDtime_key1NullNullNullSTANDARDcoil_thk1NullNullNull

STANDARDexit_thk1NullNullNullSTANDARDcoil_wid1NullNullNullSTANDARDexit_wid1NullNullNullSTANDARDid1NullNullNull

表4a未选择数据的固定主题信息表
NameField_nameTypeFieldTABLE_IDMethodSTANDARDtime_key1ID1SQL(具体语句)STANDARDcoil_thk1Coilthk7_12476SQL(具体语句)STANDARDexit_thk1Exitthk7_3232447SQL(具体语句)STANDARDcoil_wid1Coilthk7_13526SQL(具体语句)STANDARDexit_wid1Exitwid7_3322447SQL(具体语句)STANDARDid1ID1SQL(具体语句)

表4b用户选择后的固定主题信息表
维度信息表更新过程与主题信息表相同,如表5,表所包含字段相同,Method为数据提取所用代码,可通过接口执行,创建维度表。
根据行业特点,数据仓库预存固定维度表(如表5a未选择数据的固定维度信息表),用户从业务数据库中选择业务数据,更新维度信息表(如表5b固定维度信息表),根据业务数据字段元表、业务数据表元表定位储存于业务数据库中的业务数据。

表5a未选择的固定维度信息表
NameField_nameTypeFieldTABLE_IDMethodTIMEtime_key1ID1SQL(具体语句)TIMEYEAR1ID1SQL(具体语句)TIMEMONTH1ID1SQL(具体语句)TIMEDAY1ID1SQL(具体语句)

表5b固定维度信息表
建立多主题数据仓库时根据业务数据元数据库中的表元表、字段元表定位所需的业务数据,构建主题表及维度表;其中字段元表也用于可视化分析,提供数据特征描述信息,为用户选择作向导。
数据仓库包含固定主题表,但是主题字段未与业务数据库对应(如表5),本步骤1中用户根据数据仓库固定主题表、固定维度表字段从业务数据库中选择相应数据,并更新维度信息表、主题信息表,在之后的步骤3中根据维度信息表、主题信息表从业务数据库相应位置提取数据构建主题事实表、维度事实表。
步骤2,业务数据可视化分析:对业务数据库中的业务数据进行可视化处理,展示业务数据的特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库。其中,业务数据为用户选择数据项对应的业务数据。
以表F01_06_FMSC_DATA为例,用户选择ENTRYTHK0_1249等字段,实际是根据业务元数据表对业务数据库进行操作(例如执行SQL语句,select ENTRYTHK0_1249,ENTRYTHK1_1250from F01_06_FMSC_DATA获取业务数据),从业务数据库查询ENTRYTHK0_1249(第一道次出口厚度)等字段的数据,利用R语言进行可视化分析,数据可视化分析如图2所示,用户从业务数据库中选择数据项(数据项实际为字段,例如ID:钢卷号、目标出口厚度:Coilthk7_1247;选择数据项实际操作是把该字段的数据存入数据仓库),多主题数据仓库根据步骤1建立的业务元数据表定位所选数据在业务数据库的位置,通过对所选业务数据进行可视化分析(本例采用调用R语言进行分析),包括所选字段的数据分布情况以及与其他所选数据的相关性分析,并展示所选业务数据的字段元表,图2中所选精轧第1道次入口厚度(ENTRYTHK0_1249)、精轧第2道次入口厚度(ENTRYTHK1_1250)、精轧第3道次入口厚度(ENTRYTHK2_1251)、精轧第4道次入口厚度(ENTRYTHK3_1252)、精轧第5道次入口厚度(ENTRYTHK4_1253)等5项业务数据重复值很少,且每个字段所含707条数据分布具有一定规律,用户可选择该数据构建主题表进行探索性分析。当用户确认选择业务数据构建主题表后,所选业务数据的元数据将写入主题信息表,更新元数据库;选择构建维度表时,所选业务数据元数据写入维度信息表。
主题信息表变化如表6:


表6主题信息表(用户选择数据后)
步骤3,螺旋式动态构建数据仓库:结合热连轧生产流程普遍关注的数据以及不断变化的业务需求,螺旋式动态构建数据仓库,数据仓库主题定制的个性主题定制操作的流程如图3所示,用户通过数据可视化结果,可以选择数据重复率低、与主题关键指标(如钢卷规格主题中,产品质量重要指标之一为钢卷厚度)相关性强的数据,构建个性主题表;根据业务需求构建个性维度,其中个性维度是在固定维度(如时间、工厂)外,用户根据业务需求从业务数据库选择字段构建个性维度表(即用户选择业务数据,将所选数据的元数据、位置信息的数据更新进维度信息表,建立仓库时根据主体信息表构建个性主题表),将业务数据在个性维度上进行分析。例如,用户选择业务数据-厚度分档构建个性维度厚度维,可以分析厚度分档为5的钢卷轧制力、轧制温度等的影响,并更新主题信息表、维度信息表,即将所选数据的元数据更新进维度信息表、主题信息表,根据维度信息表与业务数据一一映射,提取业务数据构建维度表和主题表。
步骤3具体包括以下步骤:
步骤3.1,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建维度表。以固定维度-时间维度为例(由于数据量大,抽取2012年12月4日-2012年12月12日707条钢卷为例):从业务数据库表F01_01_HEADER中提取ID(钢卷号)字段,如表7,根据维度信息表中数据提取方法描述,利用数据库接口(本例利用JAVA程序)执行数据提取方法描述中的相应代码更新时间维度表各项数据,时间维度表如表8所示。钢卷号左起前七位包含了轧制日期,取钢卷号前七位为时间键,用以连接主题表,其中前两位为轧制时间-年,利用SQL语句(或JAVA等编程语句)截取前两位存入时间维度表YEAR项,3-4位为轧制时间-月,截取后存入时间维度表MONTH项,6-7位为轧制时间-日,指定父-子关系,YEAR(父级)-MONTH(1层子级)-DAY(2层子级),完成时间维度的构建;
ID
121200907040
121200602060
121200908010
121200909010
121201001010
121200603030
121201001070
121201004020

表7钢卷号
TIME_KEYYEARMONTHDAY121100112111121100312113121100412114121200112121121200212122121200312123121200412124121200512125121200612126121200712127121200812128121200912129121201012121012120111212111212012121212

表8TIME(时间)维度表
个性维度表的构建,用户根据实际生产需要,选择业务数据库中数据构建个性维度,以个性维度厚度维度为例,工厂所轧钢卷厚度分档为0-24,不同分档表示所轧钢卷厚度范围,用户选择业务数据库中厚度分档所对应的数据(ThkClassNo),并更新维度信息表,完成厚度维度表的构建。
个性维度表如表9所示,Thk_grade为企业厚度分档号,Thk表示厚度范围,如厚度分档号1表示所轧钢卷实际厚度为1.25-1.45(mm)。通过构建厚度维度表,用户可研究轧制不同厚度钢卷时轧制力分布变化,优化各道次负荷分配从而优化轧制规程,改善轧制效果。
Thk_gradeThk(mm)11.25

21.452425

表9个性维度(厚度维度)表
步骤3.2,固定主题表的构建。固定主题是行业常用分析主题,固定主题表(只有字段名)存于数据仓库中,由用户指定业务数据库中相应字段,如表4,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定热连轧行业常规分析字段项如:目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号等数据构建产品规格(Standard)-固定主题表,根据主题信息表字段提取业务数据创建固定主题(如表4),固定主题在数据仓库中以固定主题表的形式存在。过程如图4所示,生成的规格主题表如表10;
TIME_KEYCOIL_THKCOIL_WIDEXIT_THKEXIT_WIDID12120042.413841262.942.432111279.3612120050406012120052.413841262.942.456821277.6312120050502012120052.413841262.942.442011278.912120050503012120052.413841262.942.458711278.4612120050504012120052.413841262.942.422881279.4612120050505012120052.770321262.942.721961277.9612120050808012120052.413841262.942.426841279.2512120050507012120052.770321262.942.764531277.5112120050508012120052.413841262.942.465541277.8312120050601012120052.413841262.942.465521277.9312120050602012120053.024951262.943.116081275.212120050807012120052.770321262.942.750471278.3612120050501012120052.413841262.942.432691278.48121200505060


表10规格主题表
步骤3.3,用户根据可视化分析结果,如图2,选择数据分布具有规律(正态分布、均匀分布等),数据重复率低、非空或与关键字段相关性强的数据,确认选择数据后,更新主题信息表信息,系统根据元数据库定位业务数据位置,提取数据,构建个性主题表。以添加精度(Accuracy)-个性主题进行探索性分析为例,凸度、平直度是衡量产品精度的重要指标,用户从业务数据库中选择凸度数据(如步骤2)作为观测指标,从业务数据库中任意选取数据项观察该数据与凸度数据间的相关性,并选择相关性较高的数据如目标出口厚度、实测出口厚度、目标出口宽度、实测出口宽度、目标出口温度、实测出口温度、钢卷厚度命中、钢卷宽度命中、钢卷温度命中、钢卷号等数据构建精度主题继续深入分 析,创建过程如图5所示,精度主题表如表11所示;
TIME_KEYCOILTHKCOILWIDCOILTEMPEXITTHKEXITWIDEXITTEMPTHK_HIT12120052.3712409502.432111257.291035.171 12120052.7212409502.750471258.451038.561 12120052.3712409502.456821256.031038.091 12120052.3712409502.442011256.031036.191 12120052.3712409502.458711256.031033.251 12120052.3712409502.422881256.041033.681 12120052.3712409502.432691256.041030.831 12120052.3712409502.426841256.051034.091 12120052.7212409502.764551258.481033.811 12120052.3712409502.465541256.041035.71 12120052.3712409502.465521256.051033.371 12120052.3712409502.443891257.21049.511 12120052.3712409502.468111257.221049.661 12120052.3712409502.46921257.21042.261 12120052.3712409502.461111257.211040.681 12120052.3712409502.439921257.311038.921 12120052.3712409502.440591257.241038.181 12120052.3712409502.347961257.231031.751 12120052.3712409502.479411257.221033.740 12120052.3712409502.458491257.221034.481 12120052.3712409502.439641257.231032.951 12120052.3712409502.449581257.211033.391 12120052.9712409503.116081258.331026.610 12120052.7212409502.721961258.481042.211 12120052.3712409502.455511257.231032.381 

表11精度主题表
步骤4,在线分析处理,用维度表及主题表构建业务分析模型,如图6所示,并进行数据在线分析,例如用户根据业务需求进行分析,根据所需主题(如产品质量、厚度轧制情况)选择数据,通过不同维度的分析获得结果,如设备控制精度、参数调整、轧制规程优化、钢卷生产情况、各班组生产效率、厚度命中情况(时间、班组、厚度分档等维度条件下)等;用户根据需求和业务变化,重复步骤2和步骤3添加个性维度表和个性主题表,并更新元数据库,添加相应字段,螺旋式扩展多主题数据仓库。
本实施实例基本完成了从数据抽取、仓库构建、主题定制和挖掘分析,让用户可以轻松利用现有的数据资源有针对性的挖掘更多有价值的规律,引导用户从大量数据中筛选具有分析价值的数据,动态构建数据仓库进行分析挖掘。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理 解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf_第1页
第1页 / 共20页
一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf_第2页
第2页 / 共20页
一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf_第3页
第3页 / 共20页
点击查看更多>>
资源描述

《一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf》由会员分享,可在线阅读,更多相关《一种基于热连轧生产流程的动态多主题数据仓库建立方法.pdf(20页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104090960A43申请公布日20141008CN104090960A21申请号201410332474622申请日20140711G06F17/3020060171申请人北京科技大学地址100083北京市海淀区学院路30号72发明人谢永红杜宏博张德政阿孜古丽吾拉木谷晓轮赵利民74专利代理机构北京金智普华知识产权代理有限公司11401代理人皋吉甫54发明名称一种基于热连轧生产流程的动态多主题数据仓库建立方法57摘要本发明提出一种基于热连轧生产流程的动态多主题数据仓库建立方法,该方法步骤如下1业务数据提取;2业务数据可视化分析;3螺旋式动态构建数据仓库;4在线分析处理。本方。

2、法根据业务需求,在可视化数据分析的基础上,用户自主动态构建分析维度、分析主题,并在多主题数据仓库中进行分析和挖掘。本发明针对热连轧生产流程数据量庞大的特点,提供了数据可视化处理方法,使用户可以观察数据特征,挑选有价值的数据,解决了用户面对海量数据时出现盲需求的特点,基于生产流程动态建立多维度、多主题挖掘,满足了用户对现场数据完整性、数据仓库管理的高效性,满足了不断发展的业务需求。该方法同样适用于工业领域流程化生产类数据的数据仓库构建。51INTCL权利要求书2页说明书13页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书13页附图4页10申请公布号CN1040909。

3、60ACN104090960A1/2页21一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,所述方法包括以下步骤步骤1,业务数据提取遍历业务数据库,同时提取业务数据的元数据构更新业务数据的字段元表和表元表;步骤2,业务数据可视化分析对业务数据库中的业务数据进行可视化处理,展示业务数据的数学特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库;其中,业务数据为用户选择数据项对应的业务数据;步骤3,螺旋式动态构建数据仓库根据步骤2中获得的业务数据可视化分析结果,选择数据,构建个性主题表;从业务数据库选择字段构建个性维度表,并更新主题信息表、维度信息表;步骤4,在线分析处理,用维。

4、度表及主题表构建业务分析模型,进行数据在线分析。2如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表和维度信息表,所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据仓库数据与业务数据的同步,数据仓库的主题表字段、维度表字段通过业务数据的表元表和字段元表访问到业务数据表中的数据,从而对数据进行相关操作。3如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,业务数据库由多个业务数据表构成,数据仓库通过业务数据库的字段元表、表元表和业务数据表的字段一一映射。4。

5、如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他数据项对应的数据的相关性。5如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤3具体包括以下步骤步骤31,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建维度表;步骤32,固定主题表的构建,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定字段项构建固定主题表,根据主题信息表字段提取业务数据创建固定主题,其中。

6、固定主题在数据仓库中以固定主题表的形式存在;步骤33,用户根据步骤2的业务数据可视化分析结果,根据业务数据分布进行选择,确认选择数据后,更新主题信息表信息,根据业务数据字段元表、业务数据表元表定位业务数据位置,提取数据,构建个性主题表。6如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤32中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号中的一项或多项。7如权利要求5所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤33中所述根据业务数据分布进行选择的数据包括正态分布、均匀分布、数据重复率低、非空或与关。

7、键字段相关性强的数据。权利要求书CN104090960A2/2页38如权利要求1所述的一种基于热连轧生产流程的动态多主题数据仓库建立方法,其特征在于,步骤4后还包括重复步骤2和步骤3添加个性维度表和个性主题表,螺旋式扩展多主题数据仓库。权利要求书CN104090960A1/13页4一种基于热连轧生产流程的动态多主题数据仓库建立方法技术领域0001本发明涉及热连轧生产、数据仓库领域,特别是涉及一种基于热连轧生产流程的动态多主题数据仓库建立方法。背景技术0002热连轧生产流程伴随有海量的设计、实验、调试、现场生产等工程数据,以及大量系统安装和调试经验知识等,这些数据是生产线设计、建设和轧制模型开发。

8、研究的重要参考资料,长期以来这些数据一直零散存放,没有得到系统地整理,更加没有进行有效地分析利用,所以,建立轧制模型基础数据库,对相关信息资源进行整理、管理和有效利用是一项迫在眉睫的工作。0003面向冶金钢铁流程控制的集成建模与优化控制技术需求,针对“4V1C”的数据特点英文全称VOLUME,VELOCITY,VARIETY,VALUE,COMPLEXITY的缩写。利用数据仓库技术为复杂的生产过程控制提供基于机理、数据和知识的集成建模方法,以及过程控制与优化技术;实现面向钢铁流程控制,实现生产过程中数据、信息与知识的集成、融合以及动态处理,建立管控一体化控制系统;研究基于模型的钢铁生产流程关键。

9、过程优化技术,实现设备自动化控制、设备运行参数优化与在线调整;实现钢铁生产效率综合指标的管理与优化控制以及与钢铁生产管理与数据仓库系统的有机整合。0004数据仓库是信息处理的基础,是面向对象、整合、永久并随时间变化的一个支持管理决策的数据的集合。数据仓库系统包含了整合后的粒状历史数据,整合的数据使得用户可以观察企业级的整体数据;而根据数据的粒状特性,用户依旧可以观察局部数据的特点,反应真实情况。0005管理者的决策通常建立在结构化的记录基础上,但是,由于企业内部存在大量异构数据,这些数据通常以文本的非结构化形式存在并且大量冗余,所以整合各种异构数据、数据清洗,并进行分析挖掘支持决策是传统数据仓。

10、库面临的巨大困难。0006而处理数据仓库产生的海量数据也是传统数据仓库面临的问题。多维多主题数据仓库是建立在海量数据基础上的,而大量数据会阻塞数据通道,阻碍用户进行业务分析,但是这些数据中存在巨大分析价值,因此需要合理有效的存放这些重要数据。0007传统数据仓库系统,要求用户需求明确,分析主题事先确定。但是随着数据量的不断增加,用户对数据的分析需求不甚明确、甚至盲需求,所以需要数据仓库提供探索性的开发模式让用户进行操作,本发明利用螺旋式的构建方法完善数据仓库,根据业务、需求变化增加分析主题,满足用户不断增长、明确的需求。发明内容0008为了解决上述问题,本发明的目的是针对热连轧生产流程数据量庞。

11、大的特点,提供了数据可视化处理方法,使用户可以观察数据特征,挑选有价值的数据,解决了用户面对海量数据时出现盲需求的特点,基于生产流程动态建立多维度、多主题挖掘,满足了用户对说明书CN104090960A2/13页5现场数据完整性、数据仓库管理的高效性,满足了不断发展的业务需求的基于热连轧生产流程的动态多主题数据仓库建立方法。0009本发明的技术方案是一种基于热连轧生产流程的动态多主题数据仓库建立方法,该方法包括以下步骤0010步骤1,业务数据提取遍历业务数据库,同时提取业务数据的元数据构更新业务数据的字段元表和表元表;0011步骤2,业务数据可视化分析对业务数据库中的业务数据进行可视化处理,展。

12、示业务数据的数学特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库;其中,业务数据为用户选择数据项对应的业务数据;0012步骤3,螺旋式动态构建数据仓库根据步骤2中获得的业务数据可视化分析结果,选择数据,构建个性主题表;从业务数据库选择字段构建个性维度表,并更新主题信息表、维度信息表;0013步骤4,在线分析处理,用维度表及主题表构建业务分析模型,进行数据在线分析。0014进一步,所述数据仓库的元数据库包括业务数据的字段元表、表元表、主题信息表和维度信息表,所述业务数据的字段元表、表元表、主题信息表和维度信息表用于实现数据仓库数据与业务数据的同步,数据仓库的主题表字段、维度表字段通过业。

13、务数据的表元表和字段元表访问到业务数据表中的数据,从而对数据进行相关操作;0015进一步,业务数据库由多个业务数据表构成,数据仓库通过业务数据库的字段元表、表元表和业务数据表的字段一一映射。0016进一步,步骤2中所述业务数据的特征为业务数据的最值、中位数值或是与其他数据项对应的数据的相关性。0017进一步,所述步骤3具体包括以下步骤0018步骤31,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建维度表;步骤32,固定主题表的构建,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定字。

14、段项构建固定主题表,根据主题信息表字段提取业务数据创建固定主题,其中固定主题在数据仓库中以固定主题表的形式存在;0019步骤33,用户根据步骤2的业务数据可视化分析结果,根据业务数据分布进行选择,确认选择数据后,更新主题信息表信息,根据业务数据字段元表、业务数据表元表定位业务数据位置,提取数据,构建个性主题表。0020进一步,步骤32中所述指定字段项为目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号中的一项或多项。0021进一步,步骤33中所述根据业务数据分布进行选择的数据包括正态分布、均匀分布、数据重复率低、非空或与关键字段相关性强的数据。0022进一步,步骤4后还包括重复步骤。

15、2和步骤3添加个性维度表和个性主题表,螺旋式扩展多主题数据仓库。0023本发明的工作原理是从业务数据库中提取热连轧生产流程常用业务数据、分析维度,并在多主题数据仓库中构建固定主题表和固定维度表;用户可以根据业务发展和自身需求,通过企业仓库数据的可视化处理,选择具有分析价值的数据构建个性主题表,创建说明书CN104090960A3/13页6个性维度表将数据在新的维度上进行上卷下钻,通过用户的探索操作实现多主题数据仓库的动态创建。0024本发明的有益效果是00251使用本发明,可以排除业务数据库中冗余的数据项,从大量数据项中提取具有分析价值的数据项,为用户明确需求提供帮助;00262使用本发明可以。

16、实现对经验主题的动态创立,在业务数据提取的同时,根据经验,提取热连轧生产流程中普遍关注的数据、维度构建固定主题表和固定维度表;00273使用本发明可以实现数据仓库的动态创立,根据用户对业务数据库数据的可视化分析,自主提取具有分析价值的数据构建个性主题表以及个性维度表,并由多主题数据仓库进行分析展示。00284使用本发明可以螺旋式完善数据仓库,用户根据业务发展以及需求变化,自主选择数据进行展示,不断完善数据仓库内容,使仓库不断满足新阶段的要求。00295该方法同样适用于工业领域流程化生产类数据的数据仓库构建。附图说明0030图1本发明钢铁轧制流程的动态多主题数据仓库建立方法流程图。0031图2本。

17、发明钢铁轧制流程的动态多主题数据仓库业务数据库及可视化分析图。0032图3本发明钢铁轧制流程的动态多主题数据仓库主题定制的个性主题定制流程图。0033图4本发明钢铁轧制流程的动态多主题数据仓库固定主题事实表构建。0034图5本发明钢铁轧制流程的动态多主题数据仓库个性主题事实表构建。具体实施方式0035下面参考说明书附图描述根据本发明实施例的基于钢铁轧制流程的动态多主题数据仓库的建立方法。0036本发明提供一种基于钢铁轧制流程的动态多主题数据仓库的建立方法,构建数据仓库流程如图1所示,包括数据提取、数据可视化分析、动态构建多主体数据仓库等步骤,完成从数据采集、数据入库、元数据库创建、数据仓库构建。

18、等。本例业务数据库存于ORACLE数据库中,包含57456项数据项数据项为轧制过程中产生的计算值、设定值和检测值,从业务数据库中提取业务数据包括板坯基本信息、轧线数据、粗轧设定结果、粗轧修正结果、精轧设定结果、精轧修正结果、板形数据、卷曲数据、层流冷却数据等,用户根据钢铁轧制领域业务需求以及经验为已拥有的数据集业务数据库定制固有主题表时,选择相应数据更新主题信息表,创建主题表时,根据主题信息表、业务数据字段元表、表元表定位业务数据,提取数据构建主题表;当业务需求发生改变,用户可根据业务数据可视化分析,观察业务数据的数据特征最大值、最小值、中位数、与其他数据间相关性分析自主选择数据,并存入主题信。

19、息表,确认创建后根据主题信息表字段信息从业务数据库中提取数据进行个性主题创建;从轧线数据中提取时间、班组、钢种等数据项,构建钢铁轧制领域普遍使用的固定维度表,选择数据后将数据信息存入维度信息表,指定维度父子关系,确认创建后根据维度信息表从业务数据库提取对应数据构建维度表;当固定维度不能满足分析说明书CN104090960A4/13页7需求时,用户可以从业务数据库中提取数据项并指定维度父子关系构建个性维度表,并更新维信息表;数据仓库将固定主题、个性主题在固定维度、个性维度进行分析挖掘,即将固定主题、个性主题包含数据通过维度进行展示分析,例如各班组在一周内轧制钢卷的厚度分布情况、某厂年产量等。上述。

20、主题表、字段元表、表元表、主题信息表统一存储于如ORACLE数据库中。0037主题的定制就是根据主题信息表建立主题表的过程。主题信息表是定制好的具有多个固定主题如厚度主题、宽度主题、钢卷规格主题等的归档主题集,每个主题包括若干主题项,包含表名、列名以及主题名等相关数据。固定主题是通过已有的一些相关领域的数据挖掘系统,继承他们已定制的归档好的比较完善的主题库用户根据业务数据库不同结构指定数据项与主题信息表字段对应,所有主题以数据表的形式存放于数据仓库中。个性主题定制流程如下用户选择业务数据库中的数据项,当用户选定一个数据表的数据项时,进行数据的可视化分析显示数据的最值、中位数值、与其他数据项的相。

21、关性分析,根据实际需求选择是否使用该数据项;当用户选择数据并定制个性主题后,新主题项注册进主题信息表,根据业务数据表的字段元表、业务数据表的表元表定位数据,从业务数据库中提取数据构建相应主题事实表,即主题表;维度表的建立过程与主题表相同,维度相关数据存入维度信息表中,根据相应业务数据表的字段元表、业务数据表的表元表进行定位,从业务数据库中抽取相应数据构建维度的事实表,即维度表。0038基于上述方法,对钢铁轧制领域复杂数据集的数据可视化分析、构建主题、维度,进而达到动态创建数据仓库的目的,其中具体方法流程如下0039步骤1,业务数据提取遍历业务数据库,同时生成业务数据的元数据更新业务数据的字段元。

22、表、业务数据表元表。0040业务数据库由多个业务数据表构成,业务数据表如表1,在业务数据表的字段元表也称业务数据字段元表、表元表也称业务数据表元表和业务数据表的字段之间通过位置的一一映射方式,在操作数据时,通过业务数据字段元表、表元表映射字段的位置来操作数据提取数据构建主题表和维度表,可视化分析时对所选字段进行定位,显示该字段的字段元表。业务数据库的字段元表和表元表是定制主题的主要依据,是主题表字段、维度表字段和业务数据表之间的主要联系,主题表字段、维度表字段通过业务数据表元表、字段元表访问到业务数据表中的数据,从而对数据进行相关的语句操作。0041以业务数据库中表F01_06_FMSC_DA。

23、TA为例业务数据表如表1所示,数据提取时遍历业务数据表F01_06_FMSC_DATA,提取表中数据,更新业务数据字段元表及表元表,如表2、表3所示。00420043说明书CN104090960A5/13页80044表1业务数据表F01_06_FMSC_DATA0045ID表IDTABLE_NAME表名ATTR_COUNT字段数量1F01_01_HEADER7072F01_02_PRI_DATA7073F01_03_MILLLINEDATA7074F01_04_RPSC_DATA7075F01_05_PRCC_DATA7076F01_06_FMSC_DATA7070046表2业务数据表元表00。

24、470048表3业务表字段元表0049此外,在步骤1的业务数据提取过程的同时,在多主题数据仓库中更新数据仓库的主题信息表、维度信息表;其中,主题信息表根据行业经验预设固定主题表字段,由用户选择对应业务数据,完成固定主题信息表。以固定主题规格STANDARD为例,TYPE主题类别1固定主题,2个性主题,METHOD为数据提取方法描述,即获取该数据时需要执行的操作,包括SQL语句或为获取数据所需的程序代码等,创建各主题表时,根据主题信息表所提供的信息,提取业务数据库中相应数据项构建主题表。具体过程如下0050通过已有的一些轧钢领域的数据挖掘系统,继承比较完善的主题库如表4A未选择数据的固定主题信息。

25、表为继承的完善的主题库,所有主题以数据表的形式存放于数据仓库中。用户从业务数据库中选择业务数据,更新主题信息表如表4B用户选择数据后的固定主题信息表,根据业务数据字段元表、业务数据表元表定位储存于业务数据库中的业务数据。说明书CN104090960A6/13页90051NAMEFIELD_NAMETYPEFIELDTABLE_IDMETHODSTANDARDTIME_KEY1NULLNULLNULLSTANDARDCOIL_THK1NULLNULLNULLSTANDARDEXIT_THK1NULLNULLNULLSTANDARDCOIL_WID1NULLNULLNULLSTANDARDEXIT。

26、_WID1NULLNULLNULLSTANDARDID1NULLNULLNULL00520053表4A未选择数据的固定主题信息表0054NAMEFIELD_NAMETYPEFIELDTABLE_IDMETHODSTANDARDTIME_KEY1ID1SQL具体语句STANDARDCOIL_THK1COILTHK7_12476SQL具体语句STANDARDEXIT_THK1EXITTHK7_3232447SQL具体语句STANDARDCOIL_WID1COILTHK7_13526SQL具体语句STANDARDEXIT_WID1EXITWID7_3322447SQL具体语句STANDARDID1I。

27、D1SQL具体语句0055表4B用户选择后的固定主题信息表0056维度信息表更新过程与主题信息表相同,如表5,表所包含字段相同,METHOD为数据提取所用代码,可通过接口执行,创建维度表。0057根据行业特点,数据仓库预存固定维度表如表5A未选择数据的固定维度信息表,用户从业务数据库中选择业务数据,更新维度信息表如表5B固定维度信息表,根据业务数据字段元表、业务数据表元表定位储存于业务数据库中的业务数据。0058说明书CN104090960A7/13页100059表5A未选择的固定维度信息表0060NAMEFIELD_NAMETYPEFIELDTABLE_IDMETHODTIMETIME_KE。

28、Y1ID1SQL具体语句TIMEYEAR1ID1SQL具体语句TIMEMONTH1ID1SQL具体语句TIMEDAY1ID1SQL具体语句0061表5B固定维度信息表0062建立多主题数据仓库时根据业务数据元数据库中的表元表、字段元表定位所需的业务数据,构建主题表及维度表;其中字段元表也用于可视化分析,提供数据特征描述信息,为用户选择作向导。0063数据仓库包含固定主题表,但是主题字段未与业务数据库对应如表5,本步骤1中用户根据数据仓库固定主题表、固定维度表字段从业务数据库中选择相应数据,并更新维度信息表、主题信息表,在之后的步骤3中根据维度信息表、主题信息表从业务数据库相应位置提取数据构建主。

29、题事实表、维度事实表。0064步骤2,业务数据可视化分析对业务数据库中的业务数据进行可视化处理,展示业务数据的特征,为构建主题提供基础,主题以主题表的形式存放在数据仓库。其中,业务数据为用户选择数据项对应的业务数据。0065以表F01_06_FMSC_DATA为例,用户选择ENTRYTHK0_1249等字段,实际是根据业务元数据表对业务数据库进行操作例如执行SQL语句,SELECTENTRYTHK0_1249,ENTRYTHK1_1250FROMF01_06_FMSC_DATA获取业务数据,从业务数据库查询ENTRYTHK0_1249第一道次出口厚度等字段的数据,利用R语言进行可视化分析,数据。

30、可视化分析如图2所示,用户从业务数据库中选择数据项数据项实际为字段,例如ID钢卷号、目标出口厚度COILTHK7_1247;选择数据项实际操作是把该字段的数据存入数据仓库,多主题数据仓库根据步骤1建立的业务元数据表定位所选数据在业务数据库的位置,通过对所选业务数据进行可视化分析本例采用调用R语言进行分析,包括所选字段的数据分布情况以及与其他所选数据的相关性分析,并展示所选业务数据的字段元表,图2中所选精轧第1道次入口厚度ENTRYTHK0_1249、精轧第2道次入口厚度ENTRYTHK1_1250、精轧第3道次入口厚度ENTRYTHK2_1251、精轧第4道次入口厚度ENTRYTHK3_125。

31、2、精轧第5道次入口厚度ENTRYTHK4_1253等5项业务数据重复值很少,且每个字段所含707条数据分布具有一定说明书CN104090960A108/13页11规律,用户可选择该数据构建主题表进行探索性分析。当用户确认选择业务数据构建主题表后,所选业务数据的元数据将写入主题信息表,更新元数据库;选择构建维度表时,所选业务数据元数据写入维度信息表。0066主题信息表变化如表6006700680069表6主题信息表用户选择数据后0070步骤3,螺旋式动态构建数据仓库结合热连轧生产流程普遍关注的数据以及不断变化的业务需求,螺旋式动态构建数据仓库,数据仓库主题定制的个性主题定制操作的流程如图3所示。

32、,用户通过数据可视化结果,可以选择数据重复率低、与主题关键指标如钢卷规格主题中,产品质量重要指标之一为钢卷厚度相关性强的数据,构建个性主题表;根据业务需求构建个性维度,其中个性维度是在固定维度如时间、工厂外,用户根据业务需求从业务数据库选择字段构建个性维度表即用户选择业务数据,将所选数据的元数据、位置信息的数据更新进维度信息表,建立仓库时根据主体信息表构建个性主题表,将业务数据在个性维度上进行分析。例如,用户选择业务数据厚度分档构建个性维度厚度维,可以分析厚度分档为5的钢卷轧制力、轧制温度等的影响,并更新主题信息表、维度信息表,即将所选数据的元数据更新进维度信息表、主题信息表,根据维度信息表与。

33、业务数据一一映射,提取业务数据构建维度表和主题表。0071步骤3具体包括以下步骤0072步骤31,构建维度表,根据步骤1获得的维度信息表、业务数据表元表、业务数据字段元表,确定维度表各项在业务数据数据库中的位置,从业务数据库提取相应数据构建说明书CN104090960A119/13页12维度表。以固定维度时间维度为例由于数据量大,抽取2012年12月4日2012年12月12日707条钢卷为例从业务数据库表F01_01_HEADER中提取ID钢卷号字段,如表7,根据维度信息表中数据提取方法描述,利用数据库接口本例利用JAVA程序执行数据提取方法描述中的相应代码更新时间维度表各项数据,时间维度表如。

34、表8所示。钢卷号左起前七位包含了轧制日期,取钢卷号前七位为时间键,用以连接主题表,其中前两位为轧制时间年,利用SQL语句或JAVA等编程语句截取前两位存入时间维度表YEAR项,34位为轧制时间月,截取后存入时间维度表MONTH项,67位为轧制时间日,指定父子关系,YEAR父级MONTH1层子级DAY2层子级,完成时间维度的构建;0073ID007412120090704000751212006020600076121200908010007712120090901000781212010010100079121200603030008012120100107000811212010040200。

35、0820083表7钢卷号0084TIME_KEYYEARMONTHDAY121100112111121100312113121100412114121200112121121200212122121200312123121200412124121200512125121200612126121200712127说明书CN104090960A1210/13页131212008121281212009121291212010121210121201112121112120121212120085表8TIME时间维度表0086个性维度表的构建,用户根据实际生产需要,选择业务数据库中数据构建个性维度,。

36、以个性维度厚度维度为例,工厂所轧钢卷厚度分档为024,不同分档表示所轧钢卷厚度范围,用户选择业务数据库中厚度分档所对应的数据THKCLASSNO,并更新维度信息表,完成厚度维度表的构建。0087个性维度表如表9所示,THK_GRADE为企业厚度分档号,THK表示厚度范围,如厚度分档号1表示所轧钢卷实际厚度为125145MM。通过构建厚度维度表,用户可研究轧制不同厚度钢卷时轧制力分布变化,优化各道次负荷分配从而优化轧制规程,改善轧制效果。0088THK_GRADETHKMM11252145242500890090表9个性维度厚度维度表0091步骤32,固定主题表的构建。固定主题是行业常用分析主题。

37、,固定主题表只有字段名存于数据仓库中,由用户指定业务数据库中相应字段,如表4,根据主题信息表中已有的固定主题表字段信息,由用户从业务数据库中指定热连轧行业常规分析字段项如目标出口厚度、实测出口厚度、目标入口宽度、实测出口宽度、钢卷号等数据构建产品规格STANDARD固定主题表,根据主题信息表字段提取业务数据创建固定主题如表4,固定主题在数据仓库中以固定主题表的形式存在。过程如图4所示,生成的规格主题表如表10;0092TIME_KEYCOIL_THKCOIL_WIDEXIT_THKEXIT_WIDID12120042413841262942432111279361212005040601212。

38、005241384126294245682127763121200505020说明书CN104090960A1311/13页1412120052413841262942442011278912120050503012120052413841262942458711278461212005050401212005241384126294242288127946121200505050121200527703212629427219612779612120050808012120052413841262942426841279251212005050701212005277032126294276。

39、453127751121200505080121200524138412629424655412778312120050601012120052413841262942465521277931212005060201212005302495126294311608127521212005080701212005277032126294275047127836121200505010121200524138412629424326912784812120050506000930094表10规格主题表0095步骤33,用户根据可视化分析结果,如图2,选择数据分布具有规律正态分布、均匀分布等,数据重。

40、复率低、非空或与关键字段相关性强的数据,确认选择数据后,更新主题信息表信息,系统根据元数据库定位业务数据位置,提取数据,构建个性主题表。以添加精度ACCURACY个性主题进行探索性分析为例,凸度、平直度是衡量产品精度的重要指标,用户从业务数据库中选择凸度数据如步骤2作为观测指标,从业务数据库中任意选取数据项观察该数据与凸度数据间的相关性,并选择相关性较高的数据如目标出口厚度、实测出口厚度、目标出口宽度、实测出口宽度、目标出口温度、实测出口温度、钢卷厚度命中、钢卷宽度命中、钢卷温度命中、钢卷号等数据构建精度主题继续深入分析,创建过程如图5所示,精度主题表如表11所示;0096TIME_KEYCO。

41、ILTHKCOILWIDCOILTEMPEXITTHKEXITWIDEXITTEMPTHK_HIT121200523712409502432111257291035171121200527212409502750471258451038561121200523712409502456821256031038091121200523712409502442011256031036191说明书CN104090960A1412/13页151212005237124095024587112560310332511212005237124095024228812560410336811212005237。

42、124095024326912560410308311212005237124095024268412560510340911212005272124095027645512584810338111212005237124095024655412560410357112120052371240950246552125605103337112120052371240950244389125721049511121200523712409502468111257221049661121200523712409502469212572104226112120052371240950246111125。

43、721104068112120052371240950243992125731103892112120052371240950244059125724103818112120052371240950234796125723103175112120052371240950247941125722103374012120052371240950245849125722103448112120052371240950243964125723103295112120052371240950244958125721103339112120052971240950311608125833102661012。

44、12005272124095027219612584810422111212005237124095024555112572310323810097表11精度主题表0098步骤4,在线分析处理,用维度表及主题表构建业务分析模型,如图6所示,并进行数据在线分析,例如用户根据业务需求进行分析,根据所需主题如产品质量、厚度轧制情况选择数据,通过不同维度的分析获得结果,如设备控制精度、参数调整、轧制规程优化、钢卷生产情况、各班组生产效率、厚度命中情况时间、班组、厚度分档等维度条件下等;说明书CN104090960A1513/13页16用户根据需求和业务变化,重复步骤2和步骤3添加个性维度表和个性主题表。

45、,并更新元数据库,添加相应字段,螺旋式扩展多主题数据仓库。0099本实施实例基本完成了从数据抽取、仓库构建、主题定制和挖掘分析,让用户可以轻松利用现有的数据资源有针对性的挖掘更多有价值的规律,引导用户从大量数据中筛选具有分析价值的数据,动态构建数据仓库进行分析挖掘。0100尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。说明书CN104090960A161/4页17图1说明书附图CN104090960A172/4页18图2说明书附图CN104090960A183/4页19图3图4说明书附图CN104090960A194/4页20图5说明书附图CN104090960A20。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1