《数据清洗与整合智能系统.pdf》由会员分享，可在线阅读，更多相关《数据清洗与整合智能系统.pdf（5页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 104077359 A (43)申请公布日 2014.10.01 CN 104077359 A (21)申请号 201410246840.6 (22)申请日 2014.06.05 G06F 17/30(2006.01) (71)申请人 南京智库商务咨询有限公司 地址 210061 江苏省南京市高新区丽景路 20 号研发 2 号楼 B2102 室 (72)发明人 胥斌 (74)专利代理机构 北京联瑞联丰知识产权代理 事务所 ( 普通合伙 ) 11411 代理人 曾少丽 (54) 发明名称 数据清洗与整合智能系统 (57) 摘要 本发明公开了一种数据清洗与整合智能系 统，。
2、 包括 ： 数据库单元、 云存储平台、 人工智能数 据平台、 终端， 所述云存储平台收集各类数据源与 该数据源具有父子关系的相关信息并构建逻辑 关系， 与数据库单元进行比对分析， 以该父子关系 中的最上层信息进行修正匹配并逐一向下修正匹 配， 对匹配好的数据进行算法加密并存储 ； 通过 人工智能数据平台对数据进行数据审计、 数据迁 移、 数据抓取、 数据清洗、 数据抽取与报表的一系 列动作， 完成对数据的整理， 确保数据一致性、 完 整性和正确性。 (51)Int.Cl. 权利要求书 1 页 说明书 2 页 附图 1 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书1。
3、页 说明书2页 附图1页 (10)申请公布号 CN 104077359 A CN 104077359 A 1/1 页 2 1. 一种数据清洗与整合智能系统， 其特在于， 所述系统包括 ： 数据库单元 ： 根据行业所需构建数据库单元， 并建立索引 ； 云存储平台 ： 收集数据源与该数据源具有父子关系的相关信息并构建逻辑关系， 对照 数据库单元， 以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配， 对匹配好 的数据进行算法加密并存储 ； 人工智能数据平台 ： 对存储于云存储平台的数据进行数据审计， 并结合终端调用规则 提出审计建议， 将现有数据规范成适合CRM应用的形式， 根据调用规则建立。
4、终端的CRM数据 库， 将审计后并规范化的现有数据迁移至终端的 CRM 数据库中， 为 CRM 应用提供数据基础 ； 终端 ： 为终端提供最合适的数据抓取方案， 确保数据完整载入 CRM 数据库， 对单位时间 内抓取到的数据按照规范进行数据清洗， 确保数据符合 CRM 应用规范， 整合成日常报表的 形式， 按照终端需求， 临时进行数据抽取， 按照终端需求， 提供按需报表。 2. 根据权利要求 1 所述的数据清洗与整合智能系统， 其特征在于， 所述云存储平台 将 ASCII 文本文件、 XML 文件、 Excel 表格文件的主流数据源导出到 SQL server、 Oracle、 Teradat。
5、a， 并通过 Sterling File Gateway、 FTP/SFTP/HTTPS 的方式传输到云存储平台。 权 利 要 求 书 CN 104077359 A 2 1/2 页 3 数据清洗与整合智能系统 技术领域 0001 本发明涉及一种数据清洗与整合智能系统。 背景技术 0002 大数据是朝阳产业， 但其运用还处在初创阶段， 一方面是由于企业对大数据处理 的认识不够深入， 业自身所积累的数据量不够多， 在相对有限的数据中， 无法提炼出对企业 有价值的信息 ； 另一方面是因为无较为成熟的大数据分析处理的经验， 因为现有数据分析 技术基本停留在数据展示的层面， 并不能提供太多的增量信息和智。
6、能建议， 企业仍然要依 靠自己来进行决策， 从数据中提取价值的能力太弱。 0003 企业对商用大数据分析解决方案的需求正处于萌芽阶段， 现状是企业自身对日益 累计的巨量数据束手无策。经常是既不知道如何分析也不知道分析的目标是什么。在国家 产业升级的大背景下， 各类企业都在试图创新， 提供高附加值的产品与服务。 如何利用已有 的数据帮助及时、 有效、 自动而科学的决策日益成为企业核心竞争力的体现。 未来企业对数 据分析的依赖将越来越强， 而这正是数据分析的巨大市场空间所在。 0004 随着云概念的产生， 目前企业已经有能力创建自己的云平台， 大数据的收集与存 储已成为可能， 如何将云平台运用到为。
7、企业的自身发展上成为目前研究的迫切课题。 发明内容 0005 发明目的 ： 本发明的目的是为了解决现有技术的不足， 适应日积月累的数据处理 的发展需求， 提供一种管理灵活、 效率高、 且信息量准确的数据清洗与整合智能系统。 0006 技术方案 ： 本发明所述的数据清洗与整合智能系统， 其目的是这样实现的， 0007 一种数据清洗与整合智能系统， 包括 ： 0008 数据库单元 ： 根据行业所需构建数据库单元， 并建立索引 ； 0009 云存储平台 ： 收集数据源与该数据源具有父子关系的相关信息并构建逻辑关系， 对照数据库单元， 以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配， 对匹 。
8、配好的数据进行算法加密并存储 ； 0010 人工智能数据平台 ： 对存储于云存储平台的数据进行数据审计， 并结合终端调用 规则提出审计建议， 将现有数据规范成适合 CRM 应用的形式， 根据调用规则建立终端的 CRM 数据库， 将审计后并规范化的现有数据迁移至终端的CRM数据库中， 为CRM应用提供数据基 础 ； 0011 终端 ： 为终端提供最合适的数据抓取方案， 确保数据完整载入 CRM 数据库， 对单位 时间内抓取到的数据按照规范进行数据清洗， 确保数据符合 CRM 应用规范， 整合成日常报 表的形式， 按照终端需求， 临时进行数据抽取， 按照终端需求， 提供按需报表。 0012 所述云。
9、存储平台将 ASCII 文本文件、 XML 文件、 Excel 表格文件的主流数据源导出 到 SQL server、 Oracle、 Teradata， 并通过 Sterling File Gateway、 FTP/SFTP/HTTPS 的方 式传输到云存储平台。 说 明 书 CN 104077359 A 3 2/2 页 4 0013 有益效果 ： 数据清洗与整合平台实现共享数据中心的数据采集与分发， 提供对被 交换信息进行清洗、 转换、 装载入库等数据交换服务， 即清理脏数据， 完成对数据的整理， 确 保数据一致性、 完整性和正确性。 0014 各业务系统通过清洗与整合系统与共享数据中心平台。
10、进行数据交换与共享， 各业 务系统独立运行， 互不影响， 某一业务系统故障不会造成对其它系统的影响。 具体实施方式 0015 为了加深对本发明的理解， 下面将结合实施例对本发明作进一步详述， 该实施例 仅用于解释本发明， 并不构成对本发明保护范围的限定。 0016 一种数据清洗与整合智能系统， 包括 ： 0017 数据库单元 ： 根据行业所需构建数据库单元， 并建立索引 ； 0018 云存储平台 ： 收集数据源与该数据源具有父子关系的相关信息并构建逻辑关系， 对照数据库单元， 以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配， 对匹 配好的数据进行算法加密并存储 ； 0019 人工智能。
11、数据平台 ： 对存储于云存储平台的数据进行数据审计， 并结合终端调用 规则提出审计建议， 将现有数据规范成适合 CRM 应用的形式， 根据终端调用规则建立终端 的 CRM 数据库， 将审计后并规范化的现有数据迁移至终端的 CRM 数据库中， 为 CRM 应用提供 数据基础 ； 0020 终端 ： 为终端提供最合适的数据抓取方案， 确保数据完整载入 CRM 数据库， 对单位 时间内抓取到的数据按照规范进行数据清洗， 确保数据符合 CRM 应用规范， 整合成日常报 表的形式， 按照终端需求， 临时进行数据抽取， 按照终端需求， 提供按需报表。 0021 参见图 1， 本发明系统的构建流程如下 ： 。
12、0022 第一步 ： 建立数据库， 根据需要收集的某一行业信息， 构建数据库单元， 并建立索 引 ； 0023 第二步 ： 数据分析， 收集数据源与该数据源具有父子关系的相关信息并构建逻辑 关系， 对照数据库单元， 以该父子关系中的最上层信息进行修正匹配并逐一向下修正匹配， 对匹配好的数据进行算法加密并存储 ； 0024 第三步 ： 数据审计， 对存储于云存储平台的数据进行数据审计， 并结合终端调用规 则提出审计建议， 将现有数据规范成适合 CRM 应用的形式 ； 0025 第四步 ： 数据迁移， 根据终端调用规则建立终端的 CRM 数据库， 将审计后并规范化 的现有数据迁移至终端的 CRM 。
13、数据库中， 为 CRM 应用提供数据基础 ； 0026 第五步 ： 数据抓取， 为终端提供最合适的数据抓取方案， 确保数据完整载入 CRM 数 据库 ； 0027 第六步 ： 数据清洗， 对单位时间内抓取到的数据按照规范进行数据清洗， 确保数据 符合 CRM 应用规范， 整合成日常报表的形式 ； 0028 第七步 ： 数据抽取与报表， 按照终端需求， 临时进行数据抽取， 按照终端需求， 提供 按需报表。 0029 以上所述仅为本发明的较佳实施例而已， 并不用以限制本发明， 凡在本发明的精 神和原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 说 明 书 CN 104077359 A 4 1/1 页 5 图 1 说 明 书 附 图 CN 104077359 A 5 。