一种分布式协同加密方法及装置.pdf

本发明公开了一种分布式协同加密方法及装置，所述方法包括：在对源数据的ETL的加载过程中，当根据所述隐私数据的范围确定所加载的源数据包括隐私数据时，读取配置好的加密策略，根据所述加密策略对所述隐私数据进行加密；将加密后的源数据发送给所述数据仓库，所述加密后的源数据寄存于所述数据仓库的缓存中；根据所述映射关系确定在所述一个以上的数据集市中目标数据集市和所述目标数据集市中对应的目标数据对象；向所述目标数据集市发送数据同步请求消息；将所述加密后的源数据写入所述数据仓库的磁盘中；接收所述目标数据集市发送的数据同步响应消息后，根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。

1.  一种分布式协同加密方法，其特征在于，应用于异构数据平台系统，所 述异构数据平台系统包括数据提取、转换和加载ETL服务器、数据仓库和一个 以上的数据集市，所述数据仓库中的第一数据对象与所述一个以上的数据集市 中的各第二数据对象之间分别存在映射关系；配置源数据中的隐私数据的范围 和隐私属性，所述隐私属性至少包括加密的第一版本信息和加密策略，所述方 法包括：
所述ETL服务器在对源数据进行加载的过程中，根据所述隐私数据的范围 确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略， 根据所述加密策略对所述隐私数据进行加密，得到加密后的源数据；
所述ETL服务器将所述加密后的源数据发送给所述数据仓库；
所述数据仓库将所述加密后的源数据寄存于缓存中；
所述数据仓库根据所述映射关系在所述一个以上的数据集市中确定目标数 据集市和所述目标数据集市中对应的目标数据对象；
所述数据仓库向所述目标数据集市发送数据同步请求消息，并将所述加密 后的源数据写入所述数据仓库的磁盘中；其中，所述数据同步请求消息中包括 所述加密的第一版本信息。

2.  根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述数据仓库接收所述目标数据集市发送的数据同步响应消息后，根据所 述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。

3.  根据权利要求1所述的方法，其特征在于，所述方法还包括：配置源数 据中的隐私数据的范围；
所述数据仓库确认隐私数据的范围扩大时，根据所述加密策略对新增的数 据对象进行加密；
所述数据仓库根据所述映射关系在所述一个以上的数据集市中确定目标数 据集市；
所述数据仓库向所述目标数据集市发送数据同步请求消息，所述数据同步 请求消息中包括加密版本信息；
所述数据仓库接收所述目标数据集市发送的数据同步响应消息后，根据所 述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。

4.  根据权利要求2或3所述的方法，其特征在于，所述数据仓库根据所述 数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理，包括：
所述数据仓库根据所述数据同步响应消息确定所述目标数据集市无需接收 所述数据对象时，将寄存于所述缓存中的所述加密后的源数据清除。

5.  根据权利要求2或3所述的方法，其特征在于，所述数据仓库根据所述 数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理，包括：
所述数据仓库根据所述数据同步响应消息确定所述目标数据集市需接收所 述目标数据对象时，将寄存于所述数据仓库的缓存中的所述目标数据对象发送 给所述目标数据集市；
所述数据仓库接收所述目标数据集市发送的第一确认消息，所述第一确认 消息用于表明接收数据成功，将寄存于所述缓存中的所述加密后的源数据清除。

6.  根据权利要求4所述的方法，其特征在于，所述方法还包括：
所述目标数据集市接收所述数据同步请求消息，所述数据同步请求消息中 包括当前使用的加密算法的第一版本信息；
所述目标数据集市确定所述第一版本信息与预先存储的加密算法的第二版 本信息不一致时，向所述数据仓库发送数据同步响应消息，所述数据同步响应 消息包括第一确认信息，所述第一确认信息表明使所述数据仓库在接收到所述 数据同步响应消息时，向所述目标数据集市发送目标数据对象。

7.  根据权利要求5所述的方法，其特征在于，所述方法还包括：
所述目标数据集市接收所述数据同步请求消息，确定所述数据同步请求消 息的接收时间与配置的同步周期相一致时，向所述数据仓库发送所述数据同步 响应消息，所述数据同步响应消息包括第一确认信息，所述第一确认信息表明 使所述数据仓库在接收到所述数据同步响应消息时，向目标数据集市发送所需 同步的目标数据对象。

8.  根据权利要求5所述的方法，其特征在于，所述方法还包括：所述目标 数据集市接收所述数据同步请求消息，所述数据同步请求消息中包括当前使用 的加密算法的第一版本信息；
所述目标数据集市确定所述第一版本信息与预先存储的加密算法的第二版 本信息一致，且确定所述数据同步请求消息的接收时间与配置的同步周期相不 一致时，向所述数据仓库发送数据同步响应消息，所述数据同步响应消息包括 第二确认信息，所述第二确认信息表明所述数据仓库在接收到所述数据同步响 应消息时，不向所述目标数据集市发送需同步的目标数据对象。

9.  根据权利要求1或2或3或6或7或8所述的方法，其特征在于，所述 方法还包括：
所述目标数据集市接收所述数据同步请求消息，所述数据同步请求消息中 包括发送方的身份标识；
所述目标数据集市根据所述数据同步请求消息中发送方的身份标识对所述 发送方的通信身份进行确认，确认成功时，向所述数据仓库发送所述数据同步 响应消息。

10.  根据权利要求9所述的方法，其特征在于，所述方法还包括：
所述目标数据对象接收所述目标数据对象完毕后，所述目标数据集市根据 所述数据同步请求消息对所接收的数据对象进行完整性和一致性确认；所述数 据同步请求消息中包括目标数据对象的起始位置和大小；
所述目标数据对象确认成功时，向所述数据仓库发送用于表明接收数据对 象成功的第一确认消息；
所述目标数据对象确认失败时，向所述数据仓库发送用于表示接收数据对 象失败的第二确认消息。

11.  一种分布式协同加密方法，其特征在于，应用于异构数据平台系统的 数据提取、转换和加载ETL服务器，所述异构数据平台系统包括ETL服务器 和数据仓库；
所述ETL服务器配置源数据中的隐私数据的隐私属性，所述隐私属性至少 包括加密策略，所述方法包括：
在对源数据进行加载的过程中，所述ETL服务器根据所述隐私数据的范围 确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略；
所述ETL服务器根据所述加密策略对所述隐私数据进行加密，得到加密后 的源数据；
所述ETL服务器将所述加密后的源数据发送给所述数据仓库。

12.  根据权利要求11所述的方法，其特征在于，所述方法还包括：所述加 密策略作为动态链接库中函数的执行输入参数。

13.  一种分布式协同加密方法，其特征在于，应用于异构数据平台系统， 所述异构数据平台系统包括数据提取、转换和加载ETL服务器、数据仓库和一 个以上的数据集市，所述数据仓库中的第一数据对象与所述一个以上的数据集 市中的各第二数据对象之间分别存在映射关系；
所述方法包括：
所述数据仓库接收ETL服务器发送的加密后的源数据，并将所述加密后的 源数据寄存于所述数据仓库的缓存中；
所述数据仓库根据所述映射关系确定在所述一个以上的数据集市中目标数 据集市和所述目标数据集市中对应的目标数据对象；
所述数据仓库将所述加密后的源数据写入所述数据仓库的磁盘中；
所述数据仓库接收所述目标数据集市发送的数据同步响应消息后，根据所 述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。

14.  根据权利要求13所述的方法，其特征在于，所述方法还包括：配置源 数据中的隐私数据的范围；
所述数据仓库确认隐私数据的范围扩大时，所述数据仓库根据所述加密策 略对新增的数据对象进行加密；
所述数据仓库根据所述映射关系确定在所述一个以上的数据集市中目标数 据集市；
所述数据仓库向所述目标数据集市发送数据同步请求消息，所述数据同步 请求消息中包括加密版本信息；
所述数据仓库接收所述目标数据集市发送的数据同步响应消息后，根据所 述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。

15.  根据权利要求13或14所述的方法，其特征在于，所述数据仓库根据 所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理， 包括：
所述数据仓库根据所述数据同步响应消息确定所述目标数据集市需要接收 所述目标数据对象时，将寄存于所述数据仓库的缓存中的所述目标数据对象发 送给所述目标数据集市；
所述数据仓库接收所述目标数据集市发送的第一确认消息，所述第一确认 消息用于表明接收数据成功，将寄存于所述缓存中的所述加密后的源数据清除。

16.  一种分布式协同加密装置，其特征在于，应用于异构数据平台系统， 所述异构数据平台系统包括数据提取、转换和加载ETL服务器、数据仓库和一 个以上的数据集市，所述数据仓库中的第一数据对象与所述一个以上的数据集 市中的各第二数据对象之间分别存在映射关系；所述装置包括配置单元、加密 单元、存储单元、第一确定单元、写入单元和第一处理单元，其中：
所述配置单元，用于配置源数据中的隐私数据的隐私属性，所述隐私属性 至少包括加密版本信息和加密策略；
所述加密单元，用于在对源数据的提取、转换和加载ETL的加载过程中， 当根据所述隐私数据的范围确定所加载的源数据包括隐私数据时，读取配置好 的加密策略，根据所述加密策略对所述隐私数据进行加密，得到加密后的源数 据，并将所述加密后的源数据发送给所述数据仓库；
所述存储单元，用于将所述加密后的源数据寄存于所述数据仓库的缓存中；
所述第一确定单元，用于根据所述映射关系确定在所述一个以上的数据集 市中目标数据集市和所述目标数据集市中对应的目标数据对象；
所述写入单元，用于向所述目标数据集市发送数据同步请求消息，所述数 据同步请求消息中包括加密版本信息，将所述加密后的源数据写入所述数据仓 库的磁盘上；
所述第一处理单元，用于接收所述目标数据集市发送的数据同步响应消息 后，根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进 行处理。

17.  一种分布式协同加密装置，其特征在于，应用于异构数据平台系统的 数据提取、转换和加载ETL服务器，所述异构数据平台系统包括ETL服务器 和数据仓库；
所述装置包括配置单元、读取单元、第一加密单元和第一发送单元，其中：
所述配置单元，用于配置源数据中的隐私数据的隐私属性，所述隐私属性 至少包括加密策略；
所述读取单元，用于在对源数据的提取、转换和加载ETL的加载过程中， 当确定所加载的源数据包括隐私数据时，读取配置好的加密策略，所述加密策 略作为动态链接库中函数的执行输入参数；
所述第一加密单元，用于根据所述加密策略对所述隐私数据进行加密，得 到加密后的源数据；
所述第一发送单元，用于将所述加密后的源数据发送给所述数据仓库。

18.  一种分布式协同加密装置，其特征在于，应用于异构数据平台系统， 所述装置包括存储单元、第一确定单元、写入单元和处理单元，其中：
所述存储单元，用于接收ETL服务器发送的加密后的源数据，并将所述加 密后的源数据寄存于所述数据仓库的缓存中；
所述第一确定单元，用于根据所述映射关系确定在所述一个以上的数据集 市中目标数据集市和所述目标数据集市中对应的目标数据对象；
所述写入单元，用于将所述加密后的源数据写入所述数据仓库的磁盘中；
所述处理单元，用于接收所述目标数据集市发送的数据同步响应消息后， 根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处 理。

一种分布式协同加密方法及装置
技术领域
本发明涉及大数据领域的加密技术，尤其涉及一种分布式协同加密方法及 装置。
背景技术
现有数据加密方式包括单系统加密方式和镜像拷贝方式，这两者适合于单 数据平台或数据规模较小的情况；其中，由于数据是以表方式存储的，镜像加 密方式基本上是表级数据对象的映射同步，不适合多平台的异构环境模型。对 于海量数据的加密，现有技术一般存在两种解决方案：
一种解决方案是采用由分布式数据仓库与其他数据库组成的异构数据平台 系统，在该异构数据平台系统中，同步各平台间的隐私数据保护采用的是二次 加密方式，即数据仓库加密和其他数据库的加密是分两次进行的：首先，数据 仓库根据已经设定的安全策略对库内的隐私数据进行加密；之后，其他数据库 根据自身的安全策略再进行加密；当使用隐私数据时用各自的安全策略包括加 密算法和密钥进行还原。
另一种解决方案是在数据提取、转换和加载（ETL，Extraction Transformation  Loading）的过程中采用一次加密，然后异步传输给数据仓库与数据集市。这种 方案的问题是无法保证数据仓库由于其他原因发生变更时，数据的一致性同步， 比如密钥发生变更后，加密数据要重新更新，ETL无法负责同时增加ETL的管 理负载，从而降低了数据装载的速度。
现有技术所采用的二次加密方式导致同一数据源信息要进行两次加密，消 耗大量计算资源，同时二次加密会导致分开加密的算法、密钥可能不一致，客 户隐私数据可能会产生加密结果差异；现有技术所采用的异步传输方式可以实 现一次加密，但是无法保障在异步传输过程中由于网络故障，缓冲溢出导致的 数据丢失、错序，带来的数据质量问题。
以上两种解决方案都无法解决异构大数据平台系统在运营过程中，主数据 仓库由于密钥版本更新等而导致客户隐私数据密文发生变更后，数据仓库与其 他数据库中客户隐私数据的关联同步和一致性问题。
发明内容
有鉴于此，本发明实施例为解决现有技术中存在的问题而提供一种分布式 协同加密方法及装置，在实现一次加密的同时，能够解决数据仓库与系统内其 他数据库之间隐私数据的协同管理问题。
本发明实施例的技术方案是这样实现的：
一种分布式协同加密方法，应用于异构数据平台系统，所述异构数据平台 系统包括数据提取、转换和加载ETL服务器、数据仓库和一个以上的数据集市， 所述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对 象之间分别存在映射关系；配置源数据中的隐私数据的范围和隐私属性，所述 隐私属性至少包括加密的第一版本信息和加密策略，所述方法包括：
所述ETL服务器在对源数据进行加载的过程中，根据所述隐私数据的范围 确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略， 根据所述加密策略对所述隐私数据进行加密，得到加密后的源数据；
所述ETL服务器将所述加密后的源数据发送给所述数据仓库；
所述数据仓库将所述加密后的源数据寄存于缓存中；
所述数据仓库根据所述映射关系在所述一个以上的数据集市中确定目标数 据集市和所述目标数据集市中对应的目标数据对象；
所述数据仓库向所述目标数据集市发送数据同步请求消息，并将所述加密 后的源数据写入所述数据仓库的磁盘中；其中，所述数据同步请求消息中包括 所述加密的第一版本信息。
一种分布式协同加密方法，应用于异构数据平台系统的数据提取、转换和 加载ETL服务器，所述异构数据平台系统包括ETL服务器和数据仓库；
所述ETL服务器配置源数据中的隐私数据的隐私属性，所述隐私属性至少 包括加密策略，所述方法包括：
在对源数据进行加载的过程中，所述ETL服务器根据所述隐私数据的范围 确定所加载的源数据包括隐私数据时，读取为所加载的源数据配置的加密策略， 所述加密策略作为动态链接库中函数的执行输入参数；
所述ETL服务器根据所述加密策略对所述隐私数据进行加密，得到加密后 的源数据；
所述ETL服务器将所述加密后的源数据发送给所述数据仓库。
一种分布式协同加密方法，应用于异构数据平台系统，所述异构数据平台 系统包括数据提取、转换和加载ETL服务器、数据仓库和一个以上的数据集市， 所述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对 象之间分别存在映射关系；
所述方法包括：
所述数据仓库接收ETL服务器发送的加密后的源数据，并将所述加密后的 源数据寄存于所述数据仓库的缓存中；
所述数据仓库根据所述映射关系确定在所述一个以上的数据集市中目标数 据集市和所述目标数据集市中对应的目标数据对象；
所述数据仓库将所述加密后的源数据写入所述数据仓库的磁盘中；
所述数据仓库接收所述目标数据集市发送的数据同步响应消息后，根据所 述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。
一种分布式协同加密装置，应用于异构数据平台系统，所述异构数据平台 系统包括数据提取、转换和加载ETL服务器、数据仓库和一个以上的数据集市， 所述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对 象之间分别存在映射关系；所述装置包括配置单元、加密单元、存储单元、第 一确定单元、写入单元和第一处理单元，其中：
所述配置单元，用于配置源数据中的隐私数据的隐私属性，所述隐私属性 至少包括加密版本信息和加密策略；
所述加密单元，用于在对源数据的提取、转换和加载ETL的加载过程中， 当根据所述隐私数据的范围确定所加载的源数据包括隐私数据时，读取配置好 的加密策略，根据所述加密策略对所述隐私数据进行加密，得到加密后的源数 据，并将所述加密后的源数据发送给所述数据仓库；
所述存储单元，用于将所述加密后的源数据寄存于所述数据仓库的缓存中；
所述第一确定单元，用于根据所述映射关系确定在所述一个以上的数据集 市中目标数据集市和所述目标数据集市中对应的目标数据对象；
所述写入单元，用于向所述目标数据集市发送数据同步请求消息，所述数 据同步请求消息中包括加密版本信息，将所述加密后的源数据写入所述数据仓 库的磁盘上；
所述第一处理单元，用于接收所述目标数据集市发送的数据同步响应消息 后，根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进 行处理。
一种分布式协同加密装置，应用于异构数据平台系统的数据提取、转换和 加载ETL服务器，所述异构数据平台系统包括ETL服务器和数据仓库；
所述装置包括配置单元、读取单元、第一加密单元和第一发送单元，其中：
所述配置单元，用于配置源数据中的隐私数据的隐私属性，所述隐私属性 至少包括加密策略；
所述读取单元，用于在对源数据的提取、转换和加载ETL的加载过程中， 当确定所加载的源数据包括隐私数据时，读取配置好的加密策略，所述加密策 略作为动态链接库中函数的执行输入参数；
所述第一加密单元，用于根据所述加密策略对所述隐私数据进行加密，得 到加密后的源数据；
所述第一发送单元，用于将所述加密后的源数据发送给所述数据仓库。
一种分布式协同加密装置，应用于异构数据平台系统，所述装置包括存储 单元、第一确定单元、写入单元和处理单元，其中：
所述存储单元，用于接收ETL服务器发送的加密后的源数据，并将所述加 密后的源数据寄存于所述数据仓库的缓存中；
所述第一确定单元，用于根据所述映射关系确定在所述一个以上的数据集 市中目标数据集市和所述目标数据集市中对应的目标数据对象；
所述写入单元，用于将所述加密后的源数据写入所述数据仓库的磁盘中；
所述处理单元，用于接收所述目标数据集市发送的数据同步响应消息后， 根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处 理。
本发明实施例中，在对源数据的ETL的加载过程中，当根据所述隐私数据 的范围确定所加载的源数据包括隐私数据时，读取配置好的加密策略，根据所 述加密策略对所述隐私数据进行加密；将加密后的源数据发送给所述数据仓库， 所述加密后的源数据寄存于所述数据仓库的缓存中；根据所述映射关系确定在 所述一个以上的数据集市中目标数据集市和所述目标数据集市中对应的目标数 据对象；向所述目标数据集市发送数据同步请求消息；将所述加密后的源数据 写入所述数据仓库的磁盘中；接收所述目标数据集市发送的数据同步响应消息 后，根据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进 行处理；如此，在实现一次加密的同时，能够解决数据仓库与系统内其他数据 库之间隐私数据的协同管理问题。
附图说明
图1为本发明实施例一异构数据平台系统的组成结构示意图；
图2为本发明实施例二分布式协同加密方法的实现流程示意图；
图3为本发明实施例三分布式协同加密方法部署在数据仓库上的实现流程 示意图；
图4为本发明实施例协同加密方法的实现流程示意图；
图5为本发明实施例四目标数据集市确定同步响应消息的实现流程示意 图；
图6为本发明实施例五数据仓库与目标数据集市之间数据同步过程的实现 流程示意图；
图7为本发明实施例七分布式协同加密方法的实现流程示意图；
图8为本发明实施例八分布式协同加密方法的实现流程示意图；
图9为本发明实施例九分布式协同加密方法的实现流程示意图；
图10为本发明实施例十分布式协同加密装置的组成结构示意图；
图11为本发明实施例十一分布式协同加密装置的组成结构示意图；
图12为本发明实施例十二分布式协同加密装置的组成结构示意图；
图13为本发明实施例十三分布式协同加密装置的组成结构示意图。
具体实施方式
实施例一
本发明实施例一提供的一种分布式协同加密方法及装置，应用于异构数据 平台系统，图1为本发明实施例一异构数据平台系统的组成结构示意图，如图 1所示，该异构数据平台系统包括隐私信息保护层设备11、获取层设备12、数 据层设备13和应用层设备14，其中：
所述隐私信息保护层设备11包括去隐私化处理引擎和隐私还原引擎，去隐 私化处理引擎可以为解密器，用于对隐私信息的解密；相应地，隐私还原引擎 可以为加密器，用于对隐私信息的加密。
所述获取层设备12用于对获取的源数据经过ETL和去隐私化处理，所述 获取层设备12可以为ETL服务器。
所述数据层设备13包括数据仓库（DW或DWH，Data Warehouse）和各数 据集市；经过所述获取层设备12处理后的数据输入到所述DW，然后经过判断 同步到各数据集市。
应用层设备14将所述数据层设备13存储的数据输入到相应的应用中，例 如有些数据无需隐私还原，则直接输入到不需还原的应用中；有些数据需要隐 私还原，则经过隐私还原后输入到需隐私还原的应用中；应用层设备14还包括 密钥管理的功能。
这里，所述ETL服务器用于对源数据进行提取、转换和加载，以便存储于 数据仓库中。数据仓库又称为数据主仓库，所述数据仓库中的第一数据对象与 所述一个以上的数据集市中的各第二数据对象之间分别存在映射关系；所述映 射关系包括第一、第二和第三映射关系，所述第一映射关系用于表明数据仓库 和数据集市之间的对应关系，所述第二映射关系用于表明数据仓库中存储数据 的第一表和数据集市中存储数据的第二表之间的对应关系，所述第三映射关系 用于表明所述第一表中的第一数据对象和所述第二表中的第二数据对象之间的 对应关系，所述第一数据对象和所述第二数据对象都以行为单位进行表示。本 发明实施例中数据仓库与数据集市之间的这种映射关系可以定位到行级，能够 更加精确地对数据进行同步，从而突破了传统的加密的表级映射同步。
实施例二
本发明实施例提供一种分布式协同加密方法，应用于异构数据平台系统， 所述异构数据平台系统包括ETL服务器、数据仓库和一个以上的数据集市，所 述数据仓库中的第一数据对象与所述一个以上的数据集市中的各第二数据对象 之间分别存在映射关系；图2为本发明实施例二分布式协同加密方法的实现流 程示意图，如图2所示，该分布式协同加密方法包括以下步骤：
步骤201，配置源数据中的隐私数据的范围和隐私属性；
这里，所述源数据可以来自商业智能（BI，Business Intelligence）等源数据 库，当异构数据平台系统用于通信领域时，该源数据可能为客户资料及详单等， 客户资料和详单中可能包括客户的隐私信息，即该源数据包括隐私数据。
这里，所述隐私属性至少包括隐私属性类型、加密的第一版本信息和加密 策略；其中，所述隐私属性类型包括手机号码、对端号码、姓名、地址和证件 号码；所述隐私属性设置：对隐私属性进行增、删、改、查的操作。所述加密 策略包括加密算法、密钥的初始值输入、开始加密位置和加密长度；所述加密 算法至少为以下加密算法之一：字符型加密算法、可见单字节加密算法和数值 加密算法。
步骤202，在对源数据进行加载过程中，当根据所述隐私数据的范围确定 所加载的源数据包括隐私数据时，读取为所加载的源数据配置好的加密策略， 根据所述加密策略对所述隐私数据进行加密，得到加密后的源数据；将所述加 密后的源数据发送给所述数据仓库；
这里，所述步骤201和步骤202都可以在ETL服务器上完成，所述加密策 略作为动态链接库中函数的执行输入参数；ETL服务器上设置有第一加密引擎， 该第一加密引擎能够根据配置好的加密策略对转换完成的源数据进行加密。需 要说明的是，本发明实施例中隐私数据的范围和隐私属性配置也可以在其他的 服务器上来完成，ETL服务器可以在需要的时候读取该服务器中配置的隐私数 据的范围和隐私属性。本发明实施例中，源数据的加密操作是在ETL服务器上 完成的，消耗的是消耗ETL服务器资源，源数据的加密操作与数据仓库和数据 集市无关。
步骤203，将所述加密后的源数据寄存于所述数据仓库的缓存中；根据所 述映射关系确定在所述一个以上的数据集市中目标数据集市和所述目标数据集 市中对应的目标数据对象，向所述目标数据集市发送数据同步请求消息；将所 述加密后的源数据写入所述数据仓库的磁盘中；
这里，所述目标数据集市为一个以上的所述数据集市，所述目标数据对象 为加密后的源数据中的一部分；所述数据同步请求消息中包括所述加密的第一 版本信息；
步骤204，接收所述目标数据集市发送的数据同步响应消息后，根据所述 数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。
这里，所述步骤203和步骤204可以在数据仓库上完成，数据仓库接收来 自ETL服务器的加密后的源数据，一般会先保存在在缓存上；然后确定该加密 后的源数据是否需要同步到数据集市上，当需要同步到目标数据集市上时，就 会将该加密后的源数据发送给目标数据集市；也就是说，本发明实施例中数据 仓库与目标数据集市之间的同步采用的是数据不落地的方式，这样，节省了数 据仓库的CPU资源。
本发明实施例中，所述方法还包括步骤B1、步骤B2和步骤B3，其中：
步骤B1，所述目标数据集市接收所述数据同步请求消息，所述数据同步请 求消息中包括发送方的身份标识；
步骤B2，根据所述数据同步请求消息中发送方的身份标识对所述发送方的 通信身份进行确认，确认成功时，向所述数据仓库发送数据同步响应消息；
步骤B3，根据所述数据同步请求消息中发送方的身份标识对所述发送方的 通信身份进行确认；确认失败时，不向所述数据仓库发送数据同步响应消息。
上述步骤B1至B3是在目标数据集市上完成的，通过上述步骤提供了传输 过程中的通信身份确认，并为后续数据仓库与目标数据集市之间的数据同步提 供了可靠性保障。
本发明实施例中，所述方法还包括步骤C1、步骤C2和步骤C3，其中：
步骤C1，所述目标数据对象接收所述目标数据对象完毕后，所述目标数据 集市根据所述数据同步请求消息对所接收的数据对象进行完整性和一致性确 认；所述数据同步请求消息中包括目标数据对象的起始位置和大小；
步骤C2，确认成功时，向所述数据仓库发送用于表明接收数据对象成功的 第一确认消息；
步骤C3，确认失败时，向所述数据仓库发送用于表示接收数据对象失败的 第二确认消息。
上述步骤B1至B3页是在目标数据集市上完成的，通过上述步骤提供了在 传输完成后的校验和稽核。
实施例三
本发明实施例二中的步骤201和步骤202是在ETL服务器上设置有第一加 密引擎，从而根据隐私数据的范围和加密策略对新增的源数据进行加密，本发 明实施例中还可以在数据仓库上设置第二加密引擎，该第二加密引擎与第一加 密引擎完全相同，所不同的是，第一加密引擎是为新增的源数据进行加密，而 第二加密引擎则是在隐私数据的范围扩大时，为存储在数据仓库上的第一数据 对象进行加密，具体来说，图3为本发明实施例三分布式协同加密方法部署在 数据仓库上的实现流程示意图，如图3所示，该分布式协同加密方法包括以下 步骤：
步骤301，确认隐私数据的范围扩大时，所述数据仓库根据所述加密策略 对新增的第一数据对象进行加密，将加密后的第一数据对象寄存于缓存中；
步骤302，根据所述映射关系确定在所述一个以上的数据集市中目标数据 集市；
步骤303，向所述目标数据集市发送数据同步请求消息，所述数据同步请 求消息中包括加密版本信息，将所述加密后的源数据写入所述数据仓库的磁盘 中；
步骤304，接收所述目标数据集市发送的数据同步响应消息后，根据所述 数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理。
本发明实施例二中的步骤204以及本发明实施例三中的步骤304，所述根 据所述数据同步响应消息对寄存于所述缓存中的所述加密后的源数据进行处 理，包括步骤F1：
步骤F1，根据所述数据同步响应消息确定所述目标数据集市无需接收所述 数据对象时，将寄存于所述缓存中的所述加密后的源数据清除。
本发明实施例中的步骤204，所述根据所述数据同步响应消息对寄存于所 述缓存中的所述加密后的源数据进行处理，包括步骤F2和步骤F3，其中：
步骤F2，根据所述数据同步响应消息确定所述目标数据集市需要接收所述 目标数据对象时，将寄存于所述数据仓库的缓存中的所述目标数据对象发送给 所述目标数据集市；
步骤F3，接收所述目标数据集市发送的第一确认消息，所述第一确认消息 用于表明接收数据成功，将寄存于所述缓存中的所述加密后的源数据清除。
图4为本发明实施例协同加密方法的实现流程示意图，如图4所示，其中， 步骤401至403为在ETL服务器上的第一加密过程，步骤404至步骤406为在 数据仓库上的第二加密过程，其中第一加密过程如本发明实施例二中步骤201 至步骤203所述，第二加密过程如本发明实施例步骤301至304所述。其中， 隐私识别加密识别模块可以根据隐私数据的范围进行设置，在具体实施的过程 中，数据仓库中上述加密功能可以通过增加用户自定义函数（UDF，User Define  Function）来实现。
实施例四
本发明实施例二步骤204和实施例三中步骤304中，所述根据所述数据同 步响应消息对寄存于所述缓存中的所述加密后的源数据进行处理中的数据同步 响应消息，是由目标数据集市发送给数据仓库，目标数据集市在收到数据同步 请求消息时，会进行一系列的判断，当判断需要同步目标数据对象时，就会在 数据同步响应消息中携带第一确认信息；当判断不需要同步目标数据对象时， 会就在数据同步响应消息中携带第二确认信息。图5为本发明实施例四目标数 据集市确定同步响应消息的实现流程示意图，如图5所示，目标数据集市确定 同步响应消息包括以下步骤：
步骤501，为所述一个以上的数据集市配置同步策略；
这里，所述同步策略包括同步周期；所述为所述一个以上的数据集市配置 同步策略可以是用户配置的，也可以是数据仓库或者数据集市根据用户的设置 进行自动配置的，本领域的技术人员可以根据各种现有技术来实现，这里不再 赘述。
步骤502，接收所述数据仓库发送的所述数据同步请求消息；
这里，所述数据同步请求消息中包括当前使用的加密算法的第一版本信息；
步骤503，判断所述第一版本信息与所存储的加密算法的第二版本信息是 否一致，一致时，执行步骤504，不一致时，执行步骤505；
步骤504，向所述数据仓库发送携带有第一确认信息的数据同步响应消息；
这里，所述数据同步响应消息包括第一确认信息，所述第一确认信息表明 使所述数据仓库在接收到所述数据同步响应消息时，向所述目标数据集市发送 目标数据对象；
步骤505，继续判断所述数据同步请求消息的接收时间与所述同步周期是 否一致，一致时，执行步骤504，不一致时，执行步骤506；
步骤506，向所述数据仓库发送携带有第二确认信息的数据同步响应消息；
这里，所述数据同步响应消息包括第二确认信息，所述第二确认信息表明 使所述数据仓库在接收到所述数据同步响应消息时，不向所述目标数据集市发 送需要同步的目标数据对象。
实施例五
在本发明实施例二和三中，当目标数据集市判断需要同步目标数据对象时， 目标数据集市向数据仓库发送携带有第一确认信息的数据同步响应消息，数据 仓库在收到携带有第一确认消息的数据同步响应消息时，会向目标数据集市发 送目标数据对象，开始数据传输过程；在实施数据传输过程中，可以在数据仓 库和数据集市之间建立应用程序编程接口（API，Application Programming  Interface）。
数据仓库与目标数据集市之间的数据同步支撑全量同步方式和增量同步方 式两种同步方式，其中，全量同步方式是一种覆盖式的同步方式，而增量同步 方式为追加式的同步方式；当目标数据集市接收到目标数据对象时，根据映射 关系中的第二映射关系查询对应的第二表，然后根据映射关系中的第三映射关 系查询出第二表中的相关行，然后根据同步方式对第二表中的相关行进行同步。 需要说明的是，在ETL加密完成后，还会对所述加密后的源数据创建加密索引， 所述加密索引以行为单位；这样，就可以根据第三映射关系将加密后的源数据 从数据仓库同步到目标数据集市中，也可以将隐私数据范围后的新增数据从数 据仓库同步到目标数据集市中。
目标数据集市也可以将目标数据对象寄存于缓存中，当完成数据的完整性 和一致性检验之后，根据映射关系将目标数据对象写入到第二表中的相关行。 也可以当缓存的数据量达到一定阈值时，根据映射关系将目标数据对象写入到 第二表中的相关行。目标数据集市在进行数据同步时，还需要记录数据变更状 况以便形成变更日志，变更日志包括加密策略；如果数据同步失败，则根据变 更日志进行数据恢复。
上述的数据同步过程可以通过增加用户自定义函数（UDF，User Define  Function）来实现；图6为本发明实施例五数据仓库与目标数据集市之间数据同 步过程的实现流程示意图，如图6所示，该数据同步过程包括以下步骤：
步骤601，数据仓库向所述目标数据集市发送数据同步请求消息；
所述数据同步请求消息中包括加密版本信息；
步骤602，写入磁盘，即将所述加密后的源数据写入所述数据仓库的磁盘 中；
步骤603，目标数据集市向数据仓库发送数据同步响应消息，即：数据集 市根据图5所示的流程生成数据同步响应消息；
步骤604，数据仓库对数据进行预处理、对比，解决冲突数据或生成冲突 解决文件，并发送给目标数据集市；
步骤605，目标数据集市解决不一致的数据，或者根据冲突解决文件解决 不一致的数据；
这里，步骤604和步骤605，本领域的技术人员可以根据各种现有技术进 行常规处理，这里不再赘述。
在本发明实施例中，通过同步加密来解决数据仓库与数据集市中数据不一 致的问题。数据仓库在新增数据源、数据源内容变更和数据消除等情况下，会 触发上述的同步加密过程。
实施例六
在本发明实施例二的步骤201和步骤202以及实施例三中的步骤301中， 源数据中的信息可以分为数值和非数值信息，其中，非数值信息包括字母、控 制符号和图形符号等，非数值信息是以二进制字符代码的方式存入计算机并得 以处理，计算机中常用的字符编码有ASCII码和EBCDIC码，而针对汉字的标 准也比较多，如GB2312、BIG-5、GBK、GB18030等都采用多字节码进行编码。
本发明实施例二中，加密引擎中加密算法至少为以下加密算法之一：字符 型加密算法、可见单字节加密算法和数值加密算法，表1为这三种加密算法的 加密范围以及关于范围的描述，其中加密范围采用的十六进制的描述方式。