一种多时间粒度的数据备份方法.pdf

1、10申请公布号CN102331955A43申请公布日20120125CN102331955ACN102331955A21申请号201110270306522申请日20110914G06F11/1420060171申请人天津火星科技有限公司地址300384天津市南开区华苑产业园区华天道8号海泰信息广场D座130172发明人黄疆74专利代理机构天津盛理知识产权代理有限公司12209代理人王来佳54发明名称一种多时间粒度的数据备份方法57摘要本发明涉及一种多时间粒度的数据备份方法，包括以下步骤步骤1、系统主控模块进行初始化处理；步骤2、数据同步模块进行源端数据同步处理；步骤3、前端接收模块接收源端的

2、数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。本发明有效地将定时备份方法和CDP备份方法结合在一起，提高了CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了CDP服务器上数据的安全。51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书5页附图9页CN102331968A1/1页21一种多时间粒度的数据备份方法，其特征

3、在于包括以下步骤步骤1系统主控模块进行初始化处理；步骤2数据同步模块进行源端数据同步处理；步骤3前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。2根据权利要求1所述的一种多时间粒度的数据备份方法，其特征在于还包括一定时器处理步骤，该定时器处理步骤通过定时器模块判断快照生成触发时间或快照回收触发时间是否达到，当到达快照生成触发时间或快照回收触发时间时，分别触发快照生成处理和快照回收触处理。3根据

4、权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在于所述步骤1包括系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块的处理过程。4根据权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在于所述步骤2包括将源端数据同步到镜像存储区域中并且生成当前镜像存储区域的一个只读快照的处理过程。5根据权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在于所述的快照生成处理包括以下处理步骤1将增量存储区域内记录写入镜像存储区域；2生成当前镜像存储区域的一个只读快照。6根据权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在

5、于所述快照回收处理包括以下处理步骤1搜索创建时间最早的一个文件和与之对应的快照；2加载对应的快照，进行离线磁带备份；3删除最早的一个文件和与之对应的快照。权利要求书CN102331955ACN102331968A1/5页3一种多时间粒度的数据备份方法技术领域0001本发明属于数据备份技术领域，尤其是一种多时间粒度的数据备份方法。背景技术0002目前，现有的数据备份类方法主要包括定时备份方法和CDP持续数据保护备份方法。0003定时备份方法通过备份代理和备份服务器来实现，通过在备份服务器上设定备份任务，备份代理每隔一定时间时间粒度至少为1小时对数据包括文件和数据库进行备份，备份介质可以为在线磁盘

6、或离线磁带库，恢复时由备份代理在备份服务器的控制下从在线磁盘或离线磁带库调用备份过的数据进行恢复，恢复的时间粒度由需要恢复的数据量而定，一般在几十分钟到几个小时之间。定时备份方法的缺点是对数据备份的时间粒度过大，不能对数据进行实时保护，数据恢复速度慢。0004CDP备份方法通过CDP代理端和CDP服务器来实现，CDP代理端通过对底层卷或裸设备写IO的捕获和复制，获得需要保护卷或裸设备中变化的数据块，然后加入控制信息传输到CDP服务器端，在CDP服务器端存储变化的数据块，同时保留原有的数据块，这样CDP服务器端就不仅保留了当前时刻的数据，而且记录了以前的数据，它实际上反映了数据的变化历史，允许将

7、数据回滚到以前的某个时刻。CDP备份方法能够实时记录数据包括文件和数据库的变化，可以使数据备份的时间粒度减少到秒级，数据恢复时，可以直接加载CDP备份过的数据，时间粒度不受需要恢复的数据量的限制，一般在几分钟几十分钟之间。CDP备份方法要求实现对随机IO读写的高速访问。CDP备份方法的缺点是多采用先读出原有数据块、将原有数据块写入另外区域、写入变化数据块的方式实现，增加了CDP服务器端读写的次数，降低了性能；对历史数据的记录占用了大量的CDP服务器端存储空间，为了降低对存储空间的占用，使得CDP服务器端只能记载几天到一周的数据，对于再早的数据不能提供保护；备份的数据全部存储在CDP服务器上，一

8、旦发生问题，则会失去所有备份过的数据。0005综上所述，现有的数据备份方法普遍存在安全性差、工作效率低等问题，不能有效地对数据进行实时保护，如果用户需要完善的数据备份方案，往往需要购买定时备份产品和CDP两套不同的产品，增加了用户的采购成本和维护压力。发明内容0006本发明的目的在于克服现有技术的不足，提供一种安全性好、工作效率高并能够有效地对数据进行实时保护的多时间粒度的数据备份方法。0007本发明解决现有的技术问题是采取以下技术方案实现的0008一种多时间粒度的数据备份方法，包括以下步骤0009步骤1系统主控模块进行初始化处理；0010步骤2数据同步模块进行源端数据同步处理；说明书CN10

9、2331955ACN102331968A2/5页40011步骤3前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。0012而且，还包括一定时器处理步骤，该定时器处理步骤通过定时器模块判断快照生成触发时间或快照回收触发时间是否达到，当到达快照生成触发时间或快照回收触发时间时，分别触发快照生成处理和快照回收触处理。0013而且，所述步骤1包括系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储

10、区域、调用数据同步模块并且启动前端接收模块和定时器模块的处理过程。0014而且，所述步骤2包括将源端数据同步到镜像存储区域中并且生成当前镜像存储区域的一个只读快照的处理过程。0015而且，所述的快照生成处理包括以下处理步骤00161将增量存储区域内记录写入镜像存储区域；00172生成当前镜像存储区域的一个只读快照。0018而且，所述快照回收处理包括以下处理步骤00191搜索创建时间最早的一个文件和与之对应的快照；00202加载对应的快照，进行离线磁带备份；00213删除最早的一个文件和与之对应的快照。0022本发明的优点和积极效果是0023本发明有效地将定时备份方法和CDP备份方法结合在一起，

11、其将CDP代理端产生的数据按顺序写入前端接收模块，将随机IO模式转变为顺序IO模式，并且通过对SSD固态硬盘的支持，提高了CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了CDP服务器上数据的安全。附图说明0024图1是本发明的应用拓扑图；0025图2是本发明的处理模块连接示意图；0026图3是本发明的处理过程示意图；0027图4是快照生成处理方法示意图；0028图5是快照回收处理方法示意图；0029图6是初始化处理流程图；0030图7是数据同步处理流程图；0031图8是前端接收处理流程图；0032图9是定时处理流程图；003

12、3图10是快照生成处理流程图；0034图11是快照回收处理流程图。具体实施方式说明书CN102331955ACN102331968A3/5页50035以下结合附图对本发明实施例做进一步详述。0036一种多时间粒度的数据备份方法，是在图1所示的网络拓扑结构上实现的，该网络拓扑结构包括客户端、CDP服务器、CDP代理端、磁带机、光纤交换机，客户端、CDP服务器、CDP代理端、磁带机、光纤交换机连接在一起组成千兆以太网。在CDP服务器中安装有本发明的多时间粒度的数据备份软件，该CDP服务器使用X86PC服务器或SPARC小型机，其采用的ZFSZETTABYTEFILESYSTEM文件系统。0037本

13、发明以CDP代理端源端至CDP服务器的数据流作为数据输入，以CDP服务器输出到离线磁带库的备份数据数据流作为数据输出，从而完成将源端至离线磁带库的数据备份功能。为此，本发明利用硬件平台磁盘已有存储空间，划分出两块特定的系统用存储区域一块区域为镜像存储区域该区域用于存储某一时刻源端数据的全部备份版本，存储方式为裸设备存储方式；另一块区域为增量存储区域该区域用于存储一定时间内源端数据的增量备份版本，存储方式为一组固定大小的文件。0038如图2所示，本发明包括以下功能处理模块00391、系统主控模块初始化并协调调度各个子模块；00402、前端接收模块以后台进程的方式运行，用于实时接收源端传输过来的数

14、据流变化的数据块、位置信息和时间戳信息，填入到一个数据结构中记录并存储到增量存储区域的一个文件中；00413、快照生成模块按照一定算法和机制生成镜像存储区域的只读快照；00424、快照回收模块按照一定算法和机制生成回收镜像存储区域的只读快照；00435、数据同步模块将源端数据同步到镜像存储区域；00446、定时器模块以后台进程的方式运行，用于触发快照生成模块或快照回收模块。0045一种多时间粒度的数据备份方法，包括以下步骤0046步骤1系统主控模块进行初始化处理0047在本步骤中，系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块。

15、0048步骤2数据同步模块进行源端数据同步处理0049在本步骤中，数据同步模块主要将源端数据同步到镜像存储区域中，生成当前镜像存储区域的一个只读快照。0050步骤3前端接收模块接收新数据流并将新数据流写入到增量存储区域的可用文件中0051在本步骤中，前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息，填入记录的数据结构中，判断增量存储文件空间是否已满或增量存储区域内可用文件数量是否小于最少可用个数，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。0052本数据备份方法还包

16、括一个定时器处理步骤，快照生成处理和快照回收处理除了按照上述实时方式触发外，还可以通过定时器处理步骤通过定时方式触发，即通过设定快照生成触发时间和快照回收触发时间，当定时器模块判断快照生成触发时间到或快照回收触发时间到时，分别触发快照生成处理和快照回收触处理。说明书CN102331955ACN102331968A4/5页60053如图4所示，快照生成处理主要完成以下任务00541、将增量存储区域内记录写入镜像存储区域；00552、生成当前镜像存储区域的一个只读快照。0056如图5所示，快照回收处理完成以下任务00571、搜索创建时间最早的一个文件和与之对应的快照；00582、加载对应的快照，进

17、行离线磁带备份；00593、删除最早的一个文件和与之对应的快照。0060通过上述步骤即可实现实时和定时数据备份功能。0061下面结合在CDP服务器上的多时间粒度的数据备份软件的流程图，详细软件中各个模块的处理过程。0062一、初始化0063如图6所示，初始化包括以下步骤00641、初始化设定镜像存储区域大小和位置，创建镜像存储区域；00652、初始化设定增量存储区域文件总个数、最少可用个数、每个文件的大小和位置，创建增量存储区域；增量存储区域的介质如果采用SSD固态硬盘会有更好的效果；00663、调用数据同步模块；00674、启动前端接收模块；00685、启动定时器模块。0069二、数据同步模

18、块0070如图7所示，数据同步模块包括以下步骤00711、通知源端暂停应用；00722、将源端数据同步到镜像存储区域中；00733、打开增量存储区域内的下一个可用的文件；00744、在可用文件开始位置添加快照标志位，并置快照标志位为1，后面采用伪数据填充记录数据结构；00755、生成当前镜像存储区域的一个只读快照，名称为MARSTTSTS系统当前时间；0076三、前端接收模块0077如图8所示，前端接收模块包括以下步骤00781、等待新数据块的到来；00792、当新数据流到来时，读取数据块、位置信息和时间戳信息，填入记录的数据结构中；00803、判断当前可用文件是否还用存储空间，如有转到步骤4

19、，没有转到步骤5；00814、添加快照标志位，置快照标志位为0，将记录添加到增量存储区域内当前打开的文件中，转到步骤1；00825、调用快照生成模块和/或快照回收模块；00836、关闭当前可用文件，打开下一个可用的文件，转到步骤4。0084四、定时器模块0085如图9所示，定时器模块包括以下步骤说明书CN102331955ACN102331968A5/5页700861、设定快照生成模块和快照回收模块触发的时间间隔；00872、启动快照生成模块定时器；00883、启动快照回收模块定时器；00894、快照生成模块触发时间间隔是否已到，是调用快照生成模块，转到步骤5；否转到步骤5；00905、快照回

20、收模块触发时间间隔是否已到，是调用快照回收模块，转到步骤4；否转到步骤4。0091五、快照生成模块0092如图10所示，快照生成模块包括以下步骤00931、记录当前系统时间T；00942、定位到增量存储区域内当前打开的文件中最近一次快照标志为1的记录LOC；00953、计算LOC之后的记录中时间戳T的记录个数N；00964、LOC，N；00975、将记录中的数据块按照位置信息写入当前镜像存储区域的对应位置中；00986、判断N0是则将记录中快照标志置1，提取时间戳为TS，转到步骤7；否，转到步骤4；00997、生成当前镜像存储区域的一个只读快照，名称为MARSTTS；01008、结束。0101

21、六、快照回收模块0102如图11所示，快照回收模块包括以下步骤01031、增量存储区域内可用文件数量最少可用个数是，转到步骤2，否，转到步骤8；01042、搜索增量存储区域内创建时间最早的一个文件；01053、定位最早的文件到最后一条记录，读取记录的时间戳信息TS；01064、计算只读快照中TSTS的只读快照TS快照创建时名称中的时间信息数量M；01075、M，加载只读快照，进行离线磁带库备份；01086、M0是，转到步骤7，否，转到步骤5；01097、删除该文件，创建一个新的可用文件；01108、结束。0111本发明所述的实施例是说明性的，而不是限定性的，因此发明并不限于具体实施方式中所述的

22、实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。说明书CN102331955ACN102331968A1/9页8图1说明书附图CN102331955ACN102331968A2/9页9图2图3说明书附图CN102331955ACN102331968A3/9页10图4图5说明书附图CN102331955ACN102331968A4/9页11图6说明书附图CN102331955ACN102331968A5/9页12图7说明书附图CN102331955ACN102331968A6/9页13图8说明书附图CN102331955ACN102331968A7/9页14图9说明书附图CN102331955ACN102331968A8/9页15图10说明书附图CN102331955ACN102331968A9/9页16图11说明书附图CN102331955A