数据存储方法和装置 【技术领域】
本发明实施例涉及数据存储技术， 尤其涉及一种数据存储方法和装置。背景技术 目 前， 采 用 金 融 服 务 逻 辑 数 据 模 型 (Finance Serve Logic DataModel， 简称 FS-LDM) 的数据仓库的数据存储技术在银行业具有广泛应用。 该采用 FS-LDM 的数据仓库的 数据存储技术独立于任何物理数据库平台， 因此具有广适性。
FS-LDM 的数据仓库采用二层架构， 相应地， 基于该 FS-LDM 的数据仓库的数据存储 装置也采用二层架构， 即， 该数据存储装置包括基础层和汇总层。其中， 基础层严格遵循标 准的第三范式。 具体地， 在采用第三范式的基础层中 ： 源业务系统表的一笔记录需要分拆到 几张目标表中存储， 业务数据零散拆分 ； 父类表囊括所有子类业务的共性信息， 使得涵盖子 类较多的父类表的数据量极其庞大， 子类业务数据的完整存取需要用子表关联庞大的父类 表； 对于任意两实体之间的各种关系都记录到关联实体中， 用关系种类来区分不同的关系 类型， 关系表非常庞大。在现有的基于 FS-LDM 的数据仓库的数据存储装置中， 在基础层之 上是汇总层。 汇总层存储面向各个应用的衍生数据， 对于不同应用的共性部分， 在汇总层对 基础层数据进行重复汇总。
总之， 根据现有的数据存储装置的上述特点， 采用该数据存储装置， 数据存取操作 的响应速度慢、 效率低。
发明内容
本发明实施例提供一种数据存储方法， 用以解决现有技术中的缺陷， 提高数据存 取效率。
本发明实施例还提供一种数据存储装置， 用以解决现有技术中的缺陷， 提高数据 存取效率。
本发明实施例提供一种数据存储方法， 包括 ：
数据存储装置的存储控制器获取数据存储命令 ；
所述存储控制器控制数据存储装置的基础层存储基础数据 ；
所述存储控制器控制数据存储装置的中间层从所述基础层的基础数据中提取至 少一个应用对应的中间数据并存储到中间汇总信息表 ；
所述存储控制器控制数据存储装置的应用层从所述中间层的中间数据中提取应 用的通用汇总数据并存储到通用汇总信息表， 从所述中间层的中间数据和所述通用汇总信 息表中提取应用的数据集市数据并存储到至少一个应用数据集市。
如上所述的方法， 其中， 所述存储控制器控制数据存储装置的基础层存储基础数 据包括 ：
所述存储控制器控制协议信息表存储至少一种协议号和协议种类代码 ； 所述存储 控制器控制作为协议信息表的子表的至少一个类型信息表存储对应类型的协议号和协议种类代码 ； 所述存储控制器控制作为类型信息表的子表的至少一个数据表存储对应协议的 数据 ；
和 / 或， 所述存储控制器控制属性历史表根据协议类型， 分类存储至少一个协议 的属性信息。
如上所述的方法， 其中， 所述存储控制器控制数据存储装置的中间层从所述基础 层的基础数据中提取至少一个应用对应的中间数据并存储到中间汇总信息表包括 ：
所述存储控制器控制所述中间层从所述基础层的基础数据中提取账户级汇总信 息对应的数据并存储到账户级汇总信息表 ；
和 / 或， 所述存储控制器控制所述中间层从所述基础层的基础数据中提取凭证级 汇总信息对应的数据并存储到凭证汇总信息表 ；
和 / 或， 所述存储控制器控制所述中间层从所述基础层的基础数据中提取借据级 汇总信息对应的数据并存储到借据汇总信息表 ；
和 / 或， 所述存储控制器控制所述中间层从所述基础层的基础数据中提取客户存 款级汇总信息对应的数据并存储到客户存款汇总信息表 ；
和 / 或， 所述存储控制器控制所述中间层从所述基础层的基础数据中提取客户贷 款级汇总信息对应的数据并存储到客户贷款汇总信息表。 如上所述的方法， 其中， 所述存储控制器控制所述数据存储装置的中间层将所述 中间数据存储到中间汇总信息表包括 ：
采用添加前缀的基础层的数据表的主键作为所述中间汇总信息表的主键， 或， 采 用基础层的数据表的主键和预设的补充字段组成所述中间汇总信息表的主键 ；
和 / 或， 根据至少一个基础层的数据表中的共性字段的类型， 确定所述中间汇总 信息表的该共性字段的类型， 当至少一个基础层的数据表中的共性字段的类型不同时， 所 述中间汇总信息表的该共性字段的类型为可变类型 ；
和 / 或， 采用基础层的数据表的币种字段与值类型代码字段的组合作为所述中间 汇总信息表的主键， 将基础层的数据表中不同币种的数据转换为指定币种并存储到所述中 间汇总信息表 ；
和 / 或， 根据所述基础数据计算衍生属性的数据并存储到所述中间汇总信息表 ；
和 / 或， 向所述中间汇总信息表存储预设时间周期内的所述中间数据。
如上所述的方法， 其中， 所述存储控制器控制数据存储装置的应用层从所述中间 层的中间数据中提取应用的通用汇总数据之后还包括 ： 所述存储控制器控制所述数据存储 装置的应用层从所述基础层的基础数据中提取应用的通用汇总数据 ；
所述存储控制器控制数据存储装置的应用层从所述中间层的中间数据和所述通 用汇总信息表中提取应用数据集市数据之后还包括 ： 所述存储控制器控制所述数据存储装 置的应用层从所述基础层的基础数据中提取应用的数据集市数据。
本发明实施例还提供一种数据存储装置， 包括 ： 存储控制器、 基础层、 中间层和应 用层 ；
存储控制器获取数据存储命令， 控制基础层存储基础数据， 控制中间层从所述基 础层的基础数据中提取至少一个应用对应的中间数据并存储到中间汇总信息表， 控制应用 层从所述中间层的中间数据中提取应用的通用汇总数据并存储到通用汇总信息表， 从所述
中间层的中间数据和所述通用汇总信息表中提取应用的数据集市数据并存储到至少一个 应用数据集市。
如上所述的数据存储装置， 其中， 所述基础层具体用于根据所述存储控制器的控 制， 在协议信息表存储至少一种协议号和协议种类代码， 在作为协议信息表的子表的至少 一个类型信息表存储对应类型的协议号和协议种类代码， 在作为类型信息表的子表的至少 一个数据表存储对应协议的数据 ；
和 / 或， 所述基础层具体用于根据所述存储控制器的控制， 在属性历史表根据协 议类型分类存储至少一个协议的属性信息。
如上所述的数据存储装置， 其中，
所述中间层具体用于根据所述存储控制器的控制从所述基础层的基础数据中提 取账户级汇总信息对应的数据并存储到账户级汇总信息表 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 从所述基础层的基础 数据中提取凭证级汇总信息对应的数据并存储到凭证汇总信息表 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 从所述基础层的基础 数据中提取借据级汇总信息对应的数据并存储到借据汇总信息表 ； 和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 从所述基础层的基础 数据中提取客户存款级汇总信息对应的数据并存储到客户存款汇总信息表 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 从所述基础层的基础 数据中提取客户贷款级汇总信息对应的数据并存储到客户贷款汇总信息表。
如上所述的数据存储装置， 其中，
所述中间层具体用于根据所述存储控制器的控制， 采用添加前缀的基础层的数据 表的主键作为所述中间汇总信息表的主键， 或， 采用基础层的数据表的主键和预设的补充 字段组成所述中间汇总信息表的主键 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 根据至少一个基础层 的数据表中的共性字段的类型， 确定所述中间汇总信息表的该共性字段的类型， 当至少一 个基础层的数据表中的共性字段的类型不同时， 所述中间汇总信息表的该共性字段的类型 为可变类型 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 采用基础层的数据表 的币种字段与值类型代码字段的组合作为所述中间汇总信息表的主键， 将基础层的数据表 中不同币种的数据转换为指定币种并存储到所述中间汇总信息表 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 根据所述基础数据计 算衍生属性的数据并存储到所述中间汇总信息表 ；
和 / 或， 所述中间层具体用于根据所述存储控制器的控制， 向所述中间汇总信息 表存储预设时间周期内的所述中间数据。
如上所述的数据存储装置， 其中，
所述存储控制器还用于控制所述数据存储装置的应用层从所述基础层的基础数 据中提取应用的通用汇总数据和数据集市数据 ；
所述数据存储装置的应用层还用于根据所述存储控制器的控制， 从所述基础层的 基础数据中提取应用的通用汇总数据和数据集市数据。
由上述技术方案可知， 本发明实施例通过在数据存储装置中增加中间层， 存储控 制器控制该中间层从基础层中提取基础数据并汇总成中间数据， 将中间数据存储到中间 层。存储控制器控制应用层从中间层存储的数据中提取数据。由于在中间层对基础层的数 据进行初步的汇总， 应用层能够从中间层的存储表格中获取数据， 而不必逐一查找基础层 的大量的存储表格， 并且避免了现有的二层架构的技术方案中应用层对基础层数据的重复 汇总， 从而提高了数据存取操作的效率。 附图说明 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍， 显而易见地， 下面描述中的附图是本发 明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根 据这些附图获得其他的附图。
图 1 为本发明实施例一的数据存储方法的流程图 ；
图 2 为本发明实施例二的数据存储装置的结构示意图。
具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发明实施例 中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
图 1 为本发明实施例一的数据存储方法的流程图。如图 1 所示， 该方法包括如下 过程。
步骤 101 ： 数据存储装置的存储控制器获取数据存储命令。
步骤 102 ： 存储控制器控制数据存储装置的基础层存储基础数据。
步骤 103 ： 存储控制器控制数据存储装置的中间层从基础层的基础数据中提取至 少一个应用对应的中间数据并存储到中间汇总信息表。
步骤 104 ： 存储控制器控制数据存储装置的应用层从中间层的中间数据中提取应 用的通用汇总数据并存储到通用汇总信息表， 从中间层的中间数据和通用汇总信息表中提 取应用的数据集市数据并存储到至少一个应用数据集市。
在本发明实施例一中， 在数据存储过程中增加了中间层存储过程。在将基础数据 存储到基础层之后， 从基础层中提取应用对应的中间数据存储到中间层， 应用层存储的数 据是从中间层存储的数据中提取而来的。由于在基础层与应用层之间增加了中间层， 在中 间层对基础层的数据进行初步的汇总， 从而增强了数据粒度的层次化。应用层的存储表格 与对数据进行初步汇总的中间层的存储表格相关联， 减少了与繁多的基础层的存储表格的 关联。 在读取数据时， 应用层能够从中间层的存储表格中获取数据， 而不必像现有技术那样 逐一查找基础层的大量的存储表格， 并且通过中间层的初步汇总， 避免了现有的二层架构 的技术方案中应用层对基础层数据的重复汇总， 从而提高了数据存取操作的效率。
在上述技术方案的基础上， 具体地， 步骤 101 中， 使用数据存储装置的用户通过客 户端向数据存储装置的存储控制器发送数据存储命令， 该数据存储命令中包括待存储的基
础数据。在步骤 104 之后， 还可以包括步骤 105 ： 存储控制器返回数据存储完成消息。具体 地， 存储控制器向用户的客户端返回数据存储完成消息。
在上述技术方案的基础上， 进一步地， 在上述步骤 103 中， 存储控制器还可以控 制数据存储装置的应用层从基础层的基础数据中提取应用的通用汇总数据， 并且， 存储控 制器还可以控制数据存储装置的应用层从基础层的基础数据中提取应用的数据集市数据。 具体地， 数据存储装置的应用层可细分为两部分， 即： 通用汇总部分和数据集市部分， 步骤 103 的具体过程包括 ： 第一步， 存储控制器控制数据存储装置的应用层的通用汇总部分从 中间层的中间数据和基础层的基础数据中提取应用的通用汇总数据并存储到至少一个应 用汇总信息表 ； 第二步， 存储控制器控制数据存储装置的应用层的数据集市部分从上述应 用汇总信息表、 中间层的中间数据和基础层的基础数据中提取应用的数据集市数据并存储 到至少一个应用数据集市表。其中， 在第一步中， 通用汇总部分优先从中间层的中间数据 中提取所需的通用汇总数据， 如果中间层的中间数据无法满足通用汇总数据的需要， 通用 汇总部分再从基础层的基础数据中进行提取。在第二步中， 数据集市部分优先从通用汇总 信息表和中间层的中间数据中提取所需的数据集市数据， 如果通用汇总信息表和中间层的 中间数据均无法满足数据集市数据的需要， 数据集市部分再从基础层的基础数据中进行提 取。此步骤通过从中间层和基础层共同提取应用层的数据， 增加了数据存储的灵活性。
以下分别通过具体实例， 对在存储控制器的控制下， 基础层、 中间层、 应用层的存 储过程进行详细介绍。
基础层
在上述步骤 101 中， 在存储控制器的控制下， 数据存储装置的基础层存储基础数 据时， 对于协议主题的存储， 采用如下处理方式 ： 首先， 存储控制器控制协议信息表存储至 少一种协议号和协议种类代码 ； 然后， 存储控制器控制作为协议信息表的子表的至少一个 类型信息表存储对应类型的协议号和协议种类代码 ； 最后， 存储控制器控制作为类型信息 表的子表的至少一个数据表存储对应协议的数据。
以下通过一个具体实施例介绍本发明提出的基础层在存储控制器的控制下的存 储方法。基础层涵盖了业务系统的基础数据， 例如， 基础层可以包括以下系统的数据 ： 核心 系统、 个贷系统、 对公风险系统、 网银系统、 基金系统、 三方存管系统、 票据系统、 国际结算系 统、 外汇买卖系统、 贷记卡系统、 大额支付系统、 小额支付系统等。 在本发明提出的数据存储 方法中， 根据业务需求以及数据的查询和使用频率， 对基础层的数据存储按照协议对应的 业务特点和业务逻辑进行分类。 协议是金融机构与客户之间针对某种特定产品或服务而签 立的契约关系， 一个协议的数据内容可以包括 ： 银行的存款账户、 贷款账户、 内部账户、 贷款 借据、 合同、 保险公司的保单等。以源业务系统为例， 表 1 为源业务系统中各种协议的数据 表。 参见表 1， 该源业务系统包括但不限于表 1 中记载的协议， 具体的， 各个协议的数据内容 如表 1 中。
表 1 为源业务系统中各种协议的数据表
在本发明实施例中， 针对上述各种协议， 根据业务特点的不同， 对上述协议进行分 类， 根据分类存储各个协议的数据。 例如， 在表 1 记载的各种协议中 ： 存款账户协议、 贷款账 户协议和内部账户协议均属于账户类协议 ； 个人贷款借据协议和对公贷款借据协议均数据 借据类协议。 在基础层存储的表格中， 包括协议信息表、 类型信息表和数据表， 其中， 协议信 息表作为超级父表， 协议信息表下属至少一个类型信息表， 类型信息表作为协议信息表的 子表。 类型信息表作为父表， 类型信息表下属至少一个数据表， 数据表作为类型信息表的子 表。其中， 协议信息表存储至少一种协议号和协议种类代码。类型信息表存储对应类型的 协议号和协议种类代码。根据表 1 记载的各种协议， 类型信息表可以分为账户类信息表和 借据类信息表， 账户类信息表中存储账户类协议的协议号和协议种类代码， 借据类信息表 中存储借据类协议的协议号和协议种类代码。数据表存储对应协议的数据。根据表 1 记载 账户类信息表下属的数据表可以包括存款账户数据表、 贷款账户数据表和内 的各种协议，部账户数据表等等。借据类合约信息表下属的数据表可以包括个人贷款借据数据表、 对公 贷款借据数据表等等。其中， 各个数据表存储各自对应的协议的相关数据。以存款账户数 据表为例， 存款账户数据表中存储存款账户协议的协议号、 协议种类代码、 机构号、 协议状 态代码、 币种、 协议开始日期、 协议终止日期、 利率、 科目代码、 钞汇标志、 存款余额、 最后财 务交易日和客户经理等数据。进一步地， 对于不便分类的协议， 例如表 1 中记载的卡和合同 等协议， 其对应的卡数据表和合同数据表可以直接作为协议信息表的子表。
一种较佳的实施方式是， 在实际应用中， 上述作为超级父表的协议信息表表和作 为父表的类型信息表都只是逻辑表， 实际未物理化。
在上述技术方案中， 在存储基础层的基础数据时， 通过根据业务特点对协议进行 分类， 对不同协议对应的数据分类存储， 从而便于读取数据时根据分类快速准确地获取所 需数据， 提高了数据存取效率。
在上述步骤 101 中， 在存储控制器的控制下， 数据存储装置的基础层存储基础数 据时， 对于属性历史表的存储， 采用如下处理方式 ： 存储控制器控制属性历史表根据协议类 型， 分类存储至少一个协议的属性信息。 通过将不同协议类型的属性分类存放， 针对某一类 协议的数据的存取操作只涉及该协议对应的属性历史表。 与现有基础层不区分协议类型而 将各个协议属性均直接存储到协议主表的属性历史表集中相比， 本发明实施例的上述分类 存储协议属性的方法能够显著提高数据存取过程中用户访问定位的效率。 中间层
在本发明实施例的数据存储方法中， 在基础层和应用层之间增加了中间层。
在实际应用中， 利用基础层存储的数据， 实际业务需要实现多种应用， 例如， 可以 包括但不限于以下应用 ： 客户单一视图、 客户关系管理、 利润贡献度分析、 客户积分管理、 零 售客户经理考核、 财务总账报表等。 这些应用涉及的数据都来源于基础层存储的基础数据， 并需要根据应用的具体需求对基础数据进行处理。例如， 客户单一视图应用需要从基础数 据中提取客户基本信息、 各类存款账户、 卡及每笔贷款借据的余额、 月日均余额、 季日均余 额及年日均余额等数据， 以及客户级的存贷款余额和各类日均余额等数据。客户关系管理 应用需要从基础数据中提取客户的基本信息、 客户各类产品的持有情况、 客户交易偏好汇 总等数据。客户积分管理应用需要从基础数据中提取各类账户及贷款余额、 交易分类的汇 总、 客户基本信息等数据。零售客户经理考核应用需要从基础数据中提取客户经理开发或 提升的每位客户的资产、 负债、 中间业务信息等数据。 财务总账报表应用需要从基础数据中 提取各科目下的账户余额数据并进行汇总， 以使总账和分户账保持一致。
根据对上述应用以及其它应用所需数据的分析， 在本发明实施例中， 在应用层提 取数据之前， 先在中间层对基础数据进行初步的提取和汇总。 在此基础上， 应用层直接应用 上述中间层提取的数据或者再将中间层提取的数据汇总到客户级、 科目级和机构级等更粗 粒度的数据。
具体地， 在上述步骤 102 中， 中间汇总信息表可以包括以下各表中的一种或任意 几种的组合 ： 账户级汇总信息表、 凭证汇总信息表、 借据汇总信息表、 客户存款汇总信息表 和客户贷款汇总信息表。相应地， 在存储控制器的控制下， 数据存储装置的中间层从基础 层的基础数据中提取至少一个应用对应的中间数据并存储到中间汇总信息表时， 采用如下 处理方式中的一种或任意几种的组合 ： 第一， 存储控制器控制中间层从基础层的基础数据
中提取账户级汇总信息对应的数据并存储到账户级汇总信息表 ； 第二， 存储控制器控制中 间层从基础层的基础数据中提取凭证级汇总信息对应的数据并存储到凭证汇总信息表 ； 第 三， 存储控制器控制中间层从基础层的基础数据中提取借据级汇总信息对应的数据并存储 到借据汇总信息表 ； 第四， 存储控制器控制中间层从基础层的基础数据中提取客户存款级 汇总信息对应的数据并存储到客户存款汇总信息表 ； 第五， 存储控制器控制中间层从基础 层的基础数据中提取客户贷款级汇总信息对应的数据并存储到客户贷款汇总信息表。
以中间层从基础层的基础数据中提取账户级汇总信息对应的数据为例， 中间层从 基础层提取账户级别的属性、 余额及各频度的均值数据。以上述表 1 所示的各种协议以及 上述基础层的存储方法为例， 根据各种应用的具体需求， 在存储控制器的控制下， 中间层从 基础层中提取需要记账的基础数据， 即， 中间层从基础层中提取有科目代码和业务代号的 基础层数据。 例如， 采用上述方法的基础层存储的数据中， 中间层从基础层中提取存款账户 数据表、 贷款账户数据表和内部账户数据表中的数据。
在中间层从基础层提取到数据之后， 将上述数据存储到中间汇总信息表中。具体 地， 在上述步骤 102 中， 在存储控制器的控制下， 数据存储装置的中间层将中间数据存储到 中间汇总信息表时， 采用如下处理方式 ： 第一， 采用添加前缀的基础层的数据表的主键作为中间汇总信息表的主键， 或， 采 用基础层的数据表的主键和预设的补充字段组成中间汇总信息表的主键。
根据所需提取的数据， 如果将所需的多个基础层的数据表中的主键设置在一张表 格中时各个主键仍然具有唯一性， 则可以以基础层的数据表中的主键作为中间汇总信息表 的主键。否则， 如果将所需的多个基础层的数据表中的主键设置在一张表格中时存在主键 不具有唯一性的情况， 则可以采用以下两种方式中的任意一种方式设置中间汇总信息表的 主键。 方式一 ： 在各个基础层的数据表的主键前添加不同的前缀加以区分， 以添加前缀的基 础层的数据表的主键作为中间汇总信息表的主键。方式二 ： 中间汇总信息表的主键采用组 合主键， 将基础层的数据表的主键作为该组合主键的一部分， 并且再增加另外一个用于区 分基础层的数据表主键的字段， 作为中间汇总信息表补充字段， 由基础层的数据表的主键 和补充字段组合作为中间汇总信息表的组合主键。方式二不改变原表主键的记录， 既有利 于快速准确查找又能提高中间层与基础层的表间关联的效率。
第二， 根据至少一个基础层的数据表中的共性字段的类型， 确定中间汇总信息表 的该共性字段的类型。当至少一个基础层的数据表中的共性字段的类型不同时， 中间汇总 信息表的该共性字段的类型为可变类型。
在中间汇总信息表中， 设置共性字段的类型时， 需要同时考虑各个基础层的数据 表该字段的类型， 进一步还需要考虑未来其它数据源的扩展需要。例如， 某个共性字段 在基础层的第一个数据表中的类型为 4 位字符型， 记为 CHAR(4) ； 在基础层的第二个数据 表中的类型为 5 位字符型， 记为 CHAR(5) ； 在基础层的第三个数据表中的类型为 6 位字符 型， 记为 CHAR(6)， 则可以将该共性字段在中间汇总信息表中的类型设置为 6 位变量字符 型， 记为 VARCHAR(6)， 进一步地， 还可以考虑未来其它业务所需的数据源的需要， 对该字段 的长度进行扩展， 将该共性字段在中间汇总信息表中的类型设置为 8 位变量字符型， 记为 VARCHAR(8)。采用上述方式设置中间汇总信息表中的共性字段的类型， 能够保证对从基础 层的数据表中提取的数据进行准确存储， 并且还可以节省存储空间。 进一步地， 通过对字段
长度进行扩展， 提高了中间层的中间汇总信息表的可扩展性。
第三， 采采用基础层的数据表的币种字段与值类型代码字段的组合作为中间汇总 信息表的主键， 将基础层的数据表中不同币种的数据转换为指定币种并存储到中间汇总信 息表。
在基础层存储的基础数据中， 不同的账户采用的币种可能各不相同。因为在应用 层无法对不同的币种直接进行运算， 因此在中间层对不同币种的情况进行汇总， 从而使得 应用层能够仅通过简单求和的方式即可根据账户获得客户级、 科目级、 机构级等细粒度的 汇总结果。在中间层的中间汇总信息表中， 采用基础层的数据表中的币种字段和值类型代 码字段的组合， 作为中间汇总信息表的主键的一部分。 在中间层， 将基础层的数据表中不同 币种的数据转换为指定币种并存储到中间汇总信息表。例如， 将基础层数据表中存储的余 额类属性的数据转换到人民币和 / 或美元对应的数据， 在中间汇总信息表中， 对原币、 折人 民币和折美元的数据分别进行存储。在中间层对币种及对应的数据进行折算， 从而为应用 层提取汇总数据提供方便， 节省了应用层提取数据的时间， 提高了数据存取效率。
第四， 根据基础数据计算衍生属性的数据并存储到中间汇总信息表。
根据应用层的各种应用的具体需要， 在中间层对各应用层所需的根据基础层数据 进行计算的衍生属性进行计算。 例如， 从基础层存储的余额历史表中提取当日余额数据， 并 根据应用的具体业务规则， 根据当日余额数据计算获得余额月均数据、 余额季均数据、 余额 年均数据、 余额近三个月日均数据、 余额近一年日均数据等衍生属性对应的数据， 将上述衍 生属性及对应的数据存储到中间汇总信息表中。在应用层需要提取上述衍生数据时， 不必 对基础层的基础数据进行提取和计算， 只需要从中间层提取所需的衍生属性对应的数据即 可， 从而提高了应用层读取数据的速度， 提高了数据存取效率。
第五， 向中间汇总信息表存储预设时间周期内的中间数据。
在中间层需要对基础层的数据进行汇总， 并且要求中间层汇总的数据能够支持应 用层的多种应用的具体需求， 因此， 中间层的中间汇总信息表中需要存储预设时间周期内 的中间数据。如果该预设时间周期过长， 会浪费存储空间， 如果该预设时间周期过短， 则无 法满足应用层全部应用的具体需求。一种较佳的实施方式是， 将该时间周期预设为 13 个 月， 即中间层的中间汇总信息表中保留最近 13 个月月底的数据。并且， 在此基础上， 还可以 根据应用的具体情况对预设的时间周期进行调整。
具体地， 在中间层采用上述提取、 汇总并存储中间数据的方法， 在中间层可以存储 多种中间汇总信息表， 具体可以包括但不限于以下各表 ： 账户级汇总信息表、 卡汇总信息 表、 其它凭证汇总信息表、 借据汇总信息表、 客户存款汇总信息表和客户贷款汇总信息表。
在上述技术方案中， 通过在基础层与应用层之间设置中间层， 在基础层与应用层 之间起到传承作用。对于基础层而言， 中间层存储对基础层数据进行加工、 汇总后的数据， 更加接近应用的需要 ； 而对于应用层而言， 中间层从基础层提取并计算出支持应用层的各 种应用的汇总数据。在应用层提取数据之前， 先在中间层对基础数据进行初步的提取和汇 总。 在应用层需要提取数据时， 首选从中间层提取中间数据， 当中间层未保存应用层所需的 数据时， 应用层再从基础层提取基础数据。从而通过增加中间层的存储丰富了应用层数据 的汇总层级与粒度， 使得数据汇总粒度更加精细化。并且， 通过设置中间层， 避免了在应用 层通过多张表中存储满足各种应用的共性数据， 减少了冗余， 有效地减少了共性应用的重复汇总， 提高了数据存取操作的访问响应速度。
应用层
在存储控制器的控制下， 应用层根据各种应用的具体需求， 对基础层和中间层存 储的数据进行提取和汇总， 将汇总后的数据存储到的通用汇总数据表和至少一个面向特定 应用的应用数据集市表中。
其中， 应用数据集市表与具体的应用直接相关。 例如， 按照业务条线和业务类型可 以划分为以下应用数据集市表， 但并不局限于以下各表， 包括 ： 客户单一视图集市、 客户关 系管理集市、 经营指标快报集市、 反洗钱集市、 零售非凡积分集市、 零售考核集市、 电子银行 数据集市、 多维数据集市、 对公及事业部集市等。具体地， 不同集市的数据粒度和时间周期 根据该集市的具体需求设置。例如， 对于全面风险管理数据集市， 满足新巴塞尔协议的要 求， 需要保留最近五年的明细数据 ； 对于各分行零售考核数据集市， 需要保留最近两年季末 的客户经理和各团队的考核汇总结果 ； 对于没有特殊需求的数据集市， 保留近一年月末的 汇总数据。
以上述客户单一视图集市中的客户汇总信息表为例， 在存储控制器的控制下， 应 用层从中间层或者从中间层和基础层提取数据并汇总具体包括如下过程。
应用层从中间层的账户汇总信息表、 借据汇总信息表、 客户存款汇总信息表和客 户贷款汇总信息表中提取相同统计日期的数据， 并通过核心客户号主键、 币种和值类型代 码主键进行关联。客户汇总信息表中存储客户开户机构号、 当事人分类代码、 持有产品数、 存款余额月日均、 存款余额季日均、 存款余额年日均、 存款余额和贷款总额等数据。 其中， 从 中间层的客户存款汇总信息表中的客户开户机构号字段提取客户汇总信息表中的客户开 户机构号的数据 ； 从中间层的客户存款汇总信息表中的当事人分类代码字段提取客户汇总 信息表中的当事人分类代码的数据 ； 通过对中间层的账户汇总信息表和借据汇总信息表中 不同的产品编号字段按照核心客户号属性进行汇总， 获取客户汇总信息表的持有产品数的 数据 ； 分别通过对中间层的客户存款汇总信息表中余额月均、 余额季均、 余额年均和余额字 段， 按照核心客户号属性进行汇总， 分别获取客户汇总信息表的存款余额月日均、 存款余额 季日均、 存款余额年日均和存款余额等数据 ； 通过对中间层的客户贷款汇总信息表中的剩 余本金字段按照核心客户号属性进行汇总， 获取客户汇总信息表的贷款总额的数据。应用 层的客户汇总信息表中的数据全部从中间层存储的数据中提取 ； 进一步地， 在应用层存储 的其它的汇总信息表中， 部分汇总信息表存储的数据需要同时从中间层存储的数据以及基 础层存储的数据中进行提取。 在上述技术方案中， 通过在数据存储时设置中间层， 应用层在 提取数据时优选从中间层提取数据， 从而使得应用层的操作更加简洁、 快速。
以上对本发明提出的数据存储方法进行了介绍， 以下通过本发明实施例二， 介绍 采用上述数据存储方法的数据存储装置。
图 2 为本发明实施例二的数据存储装置的结构示意图。如图 2 所示， 该数据存储 装置包括 ： 存储控制器 20、 基础层 21、 中间层 22 和应用层 23。
其中， 存储控制器 20 获取数据存储命令， 控制基础层 21 存储基础数据， 控制中间 层 22 从基础层 21 的基础数据中提取至少一个应用对应的中间数据并存储到中间汇总信息 表， 控制应用层 23 从中间层 22 的中间数据中提取应用的通用汇总数据并存储到通用汇总 信息表， 从所述中间层的中间数据和所述通用汇总信息表中提取应用的数据集市数据并存储到至少一个应用数据集市。
基础层 21 用于在存储控制器 20 的控制下存储基础数据。中间层 22 用于在存储 控制器 20 的控制下从基础层 21 的基础数据中提取至少一个应用对应的中间数据并存储到 中间汇总信息表。应用层 23 用于在存储控制器 20 的控制下从中间层 22 的中间数据中提 取应用的通用汇总数据并存储到通用汇总信息表， 并且用于在存储控制器 20 的控制下从 中间层 22 的中间数据和上述通用汇总信息表中提取应用的数据集市数据并存储到至少一 个应用数据集市。
在上述方案的基础上， 具体地， 基础层 21 用于在存储控制器 20 的控制下， 在协议 信息表存储至少一种协议号和协议种类代码， 在作为协议信息表的子表的至少一个类型信 息表存储对应类型的协议号和协议种类代码， 在作为类型信息表的子表的至少一个数据表 存储对应协议的数据。在上述方案的基础上， 具体地， 基础层 21 还可以用于在存储控制器 20 的控制下， 在属性历史表中， 根据协议类型， 分类存储至少一个协议的属性信息。
在上述方案的基础上， 具体地， 中间层 22 具体用于在存储控制器 20 的控制下从基 础层 21 的基础数据中提取账户级汇总信息对应的数据并存储到账户级汇总信息表。和 / 或， 中间层 22 具体用于在存储控制器 20 的控制下从基础层 21 的基础数据中提取凭证级汇 总信息对应的数据并存储到凭证汇总信息表。 和 / 或， 中间层 22 具体用于在存储控制器 20 的控制下从基础层 21 的基础数据中提取借据级汇总信息对应的数据并存储到借据汇总信 息表。和 / 或， 中间层 22 具体用于在存储控制器 20 的控制下从基础层 21 的基础数据中提 取客户存款级汇总信息对应的数据并存储到客户存款汇总信息表。和 / 或， 中间层 22 具体 用于在存储控制器 20 的控制下从基础层 21 的基础数据中提取客户贷款级汇总信息对应的 数据并存储到客户贷款汇总信息表。 在上述方案的基础上， 具体地， 中间层 22 用于根据存储控制器 20 的控制， 采用添 加前缀的基础层 21 的数据表的主键作为中间汇总信息表的主键， 或， 采用基础层 21 的数据 表的主键和预设的补充字段组成中间汇总信息表的主键。中间层 22 还用于根据存储控制 器 20 的控制， 根据至少一个基础层 21 的数据表中的共性字段的类型， 确定中间汇总信息表 的该共性字段的类型， 当至少一个基础层 21 的数据表中的共性字段的类型不同时， 中间汇 总信息表的该共性字段的类型为可变类型。 中间层 22 还用于根据存储控制器 20 的控制， 采 用基础层 21 的数据表的币种字段与值类型代码字段的组合作为中间汇总信息表的主键， 将基础层 21 的数据表中不同币种的数据转换为指定币种并存储到中间汇总信息表。中间 层 22 还用于根据存储控制器 20 的控制， 根据基础数据计算衍生属性的数据并存储到中间 汇总信息表。中间层 22 还用于根据存储控制器 20 的控制， 向中间汇总信息表存储预设时 间周期内的中间数据。
在上述方案的基础上， 具体地， 存储控制器 20 还用于控制数据存储装置的应用层 23 从基础层 21 的基础数据中提取应用的通用汇总数据和数据集市数据。数据存储装置的 应用层 23 还用于根据存储控制器 20 的控制， 从基础层 21 的基础数据中提取应用的通用汇 总数据和数据集市数据。
上述数据存储装置中， 存储控制器 20 控制基础层 21、 中间层 22 和应用层 23 的数 据存储方法按照本发明实施例一记载的数据存储方法执行， 在此不再赘述。
在上述技术方案的基础上， 在实际应用中， 可以采用一个存储控制器 20 对基础层
21、 中间层 22 和应用层 23 进行综合控制， 也可以对基础层 21、 中间层 22 和应用层 23 分别 采用三个存储控制器进行控制， 即， 采用基础层存储控制器、 中间层存储控制器和应用层存 储控制器分别对基础层 21、 中间层 22 和应用层 23 进行控制， 具体对各层的控制方法与上述 技术方案相同， 在需要向数据存储装置存储新的数据时， 基础层存储控制器控制基础层 21 进行存储操作。在基础层存储控制器控制基础层 21 完成存储操作后， 基础层存储控制器向 中间层存储控制器发送通知消息。在中间层存储控制器控制中间层 22 完成存储操作后， 中 间层存储控制器向应用层存储控制器发送通知消息。在应用层存储控制器控制应用层 23 完成存储操作后， 应用层存储控制器向用户的客户端返回数据存储完成消息。
在本发明实施例二中， 在数据存储装置中增加了中间层， 从而增强了数据粒度的 层次化。 中间层从基础层中提取基础数据并汇总， 获取中间数据并存储， 应用层从中间层存 储的中间数据中提取数据， 而不必像现有技术那样逐一查找基础层的大量的存储表格， 因 此提高了数据存取效率。 并且， 通过中间层对数据的初步汇总， 避免了现有的二层架构的技 术方案中应用层对基础层数据的重复汇总， 提高了数据存取效率。
本发明提出的数据存储方法和数据存储装置， 采用三层架构， 从传统的单一呆板 的数据存储装置架构向能够体现不同层次分工的分层架构转化。与现有的二层架构相比， 本发明提出的三层架构的数据存储装置层次分明、 架构清晰， 不仅提高了数据存储装置的 可扩展性， 而且还提高了数据存取的效率以及对数据存储装置进行管理和维护的效率。在 银行业的具体应用中， 各类信息应用与业务需求与日俱增， 该数据存储装置的先进性、 适用 性与高效性对后续最大限度的发挥数据存储装置决策支持、 营销支持、 管理支持的职能起 到决定性的作用。本发明提出的数据存储装置的三层架构， 在继承业界现有的数据存储装 置架构的基础上进行创新。在数据存储装置架构中首次设置中间层， 构建出的多层数据存 储装置架构， 能够增强数据粒度的层次化和多样化， 全面快速的满足各类应用的需求， 有效 地解决传统数据存储装置架构存在的重复汇总、 冗余存储、 共享度低、 标准不一、 一致性差 等问题， 为实现全行管理信息逻辑集中创造了条件， 极大提高了全行经营管理数据的存储、 处理和使用的效率， 降低了管理成本。 并且， 本发明提出的数据存储装置的架构可以缩短数 据建模周期和数据加载时间， 提高数据存储装置的整体运行和维护效率。本发明的新型架 构把银行数据分层设计， 尽量减少各层数据之间的干扰和影响， 使数据存储装置的扩展性 更加强大， 能灵活适应新形势下银行业务快速迅猛发展的需求， 尤其适用于银行业对企业 级数据存储装置的设置。
需要说明的是 ： 对于前述的各方法实施例， 为了简单描述， 故将其都表述为一系列 的动作组合， 但是本领域技术人员应该知悉， 本发明并不受所描述的动作顺序的限制， 因为 依据本发明， 某些步骤可以采用其他顺序或者同时进行。其次， 本领域技术人员也应该知 悉， 说明书中所描述的实施例均属于优选实施例， 所涉及的动作和模块并不一定是本发明 所必须的。
在上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没有详述的部 分， 可以参见其他实施例的相关描述。
本领域普通技术人员可以理解 ： 实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成， 前述的程序可以存储于一计算机可读取存储介质中， 该程序 在执行时， 执行包括上述方法实施例的步骤 ； 而前述的存储介质包括 ： ROM、 RAM、 磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是 ： 以上实施例仅用以说明本发明的技术方案， 而非对其限制 ； 尽 管参照前述实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解 ： 其依然 可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替 换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精 神和范围。