《一种数据同步方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种数据同步方法及装置.pdf（11页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102843395 A (43)申请公布日 2012.12.26 C N 1 0 2 8 4 3 3 9 5 A *CN102843395A* (21)申请号 201110169773.9 (22)申请日 2011.06.22 H04L 29/08(2006.01) (71)申请人阿里巴巴集团控股有限公司 地址英属开曼群岛大开曼岛资本大厦一座 四层847号邮箱 (72)发明人李智慧 梅庆 桑植 李彦超 雷继斌 (74)专利代理机构北京集佳知识产权代理有限 公司 11227 代理人逯长明 王宝筠 (54) 发明名称 一种数据同步方法及装置 (57) 摘要 本申请公开了一。
2、种数据的同步方法，每一数 据中心中设置数据表集合以及备份文件，该方法 还包括：第一数据中心确定进行数据的写入时， 向第一数据中心本地的数据表集合中第一数据中 心对应的数据表写入所述数据，并且，将被写入的 所述数据同时写入第一数据中心本地的备份文件 中；当同步时刻到来时，将所述备份文件发送到 其他数据中心，以便其他数据中心根据所述备份 文件更新所述其他数据中心本地的数据表集合。 本申请同时公开了一种数据同步装置，该方法及 装置能够解决由于数据的同步和删除无序进行所 导致的同步数据丢失问题。 (51)Int.Cl. 权利要求书2页 说明书6页 附图2页 (19)中华人民共和国国家知识产权局 (12。
3、)发明专利申请 权利要求书 2 页 说明书 6 页 附图 2 页 1/2页 2 1.一种数据的同步方法，其特征在于，每一数据中心中设置数据表集合以及备份文件， 该方法还包括： 第一数据中心确定进行数据的写入时，向第一数据中心本地的数据表集合中第一数据 中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入第一数据中心本地 的备份文件中； 当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所 述备份文件更新所述其他数据中心本地的数据表集合。 2.根据权利要求1所述的方法，其特征在于，还包括： 确定进行数据的读取时，第一数据中心从本地的数据表集合中读取对应的数据，并从。
4、 本地的数据表集合中删除所读取的数据。 3.根据权利要求1所述的方法，其特征在于，还包括： 当删除时刻到来时，第一数据中心从备份文件中删除保存时间超过预设时间长度的数 据。 4.根据权利要求1至3任一项所述的方法，其特征在于，还包括： 接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文件更新本地的数 据表集合。 5.根据权利要求4所述的方法，其特征在于，第一数据中心本地的数据表集合中包含 数据中心数据个数据表，且每一数据表对应一数据中心；相应的，所述根据各个数据中心发 来的备份文件更新本地的数据表集合包括： 根据发送备份文件的数据中心，从本地的数据表中查找得到发送备份文件的数据中心 。
5、所对应的数据表，根据备份文件更新查找得到的所述数据表。 6.一种数据同步装置，其特征在于，包括： 写入单元，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集合中自 身所属数据中心对应的数据表写入所述数据，并且，将被写入的数据同时写入自身所属数 据中心本地的备份文件中； 同步单元，用于当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数 据中心根据所述备份文件更新所述其他数据中心本地的数据表集合； 存储单元，用于存储自身所属数据中心中设置的数据表集合以及备份文件。 7.根据权利要求6所述的装置，其特征在于，还包括： 读取单元，用于确定进行数据的读取时，从本地的数据表中读取对应。
6、的数据，并从本地 的数据表中删除所读取的数据。 8.根据权利要求6所述的装置，其特征在于，还包括： 删除单元，用于当删除时刻到来时，从备份文件中删除保存时间超过预设时间长度的 数据。 9.根据权利要求6至8任一项所述的装置，其特征在于，还包括： 更新单元，用于接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文 件更新存储单元中存储的数据表集合。 10.根据权利要求9所述的装置，其特征在于，存储单元所存储的数据表集合包括数据 中心数目个数据表，且每个数据表对应一数据中心；相应的，更新单元具体用于：接收其他 权 利 要 求 书CN 102843395 A 2/2页 3 数据中心发来的备份。
7、文件，根据发送备份文件的数据中心，从存储单元存储的数据表中查 找得到发送备份文件的数据中心所对应的数据表，根据备份文件更新查找得到的所述数据 表。 权 利 要 求 书CN 102843395 A 1/6页 4 一种数据同步方法及装置 技术领域 0001 本申请涉及数据处理技术，尤其涉及一种数据同步方法及装置。 背景技术 0002 在一些电子商务网站的效果付费(P4P，Pay For Performance)系统中，是按照效 果来付费的，也即在进行广告的收费时，只有用户点击了广告才会进行该广告的扣费。 0003 在现有的P4P系统中，国外用户的广告点击数据一般由设置于国外例如美国的国 外数据中心。
8、来进行处理，而设置于国内的国内数据中心则主要处理用户和客服人员对于广 告商家的账户操作数据，例如修改广告商家的账户金额等。 0004 P4P系统内部维护有各个广告在P4P系统中的位置信息。对于每一广告，不管是国 外用户对该广告的点击所引起的对于该广告的扣费数据，还是广告商家修改金额引起的账 户变化等账户操作数据，都会导致该广告在P4P系统中的位置发生变化，该位置的变化可 以理解为广告在P4P系统中的排名，或者广告在P4P系统中是否可见等。 0005 由于P4P系统中存在设置于不同物理位置的国外数据中心和国内数据中心，而广 告的位置变化情况要求两数据中心必须一致。这样，就要求国外数据中心的扣费数。
9、据能够 同步到国内数据中心，而国内数据中心的账户操作数据能够同步到国外数据中心。而两个 数据中心在处理完数据后就要删除被处理的数据，以避免重复操作，影响广告在P4P系统 中的位置。 0006 在现有的P4P系统中，进行国外数据中心和国内数据中心之间扣费数据以及账户 操作数据等广告位置相关数据的同步时，在国外数据中心和国内数据中心中各设置有1张 数据表，用于进行广告位置相关数据的管理，而国外数据中心和国内数据中心中的两张数 据表之间需要保证数据的同步，以便国外数据中心和国内数据中心能够读取到相同的数 据，进行P4P系统中各个广告位置的计算。也即是说：国外数据中心的第一数据表中增加了 一条关于某一。
10、广告的扣费数据的记录时，需要将增加的这条记录同步到国外数据中心的第 二数据表中，以便国内数据中心也能读取到该条记录，从而使得两数据中心中计算得到的 各个广告在P4P系统中的位置一致。 0007 具体的，国外数据中心和国内数据中心之间广告位置相关数据的同步方法包括： 预设同步周期，在同步周期指示的每个同步时刻到来时，国外数据中心和国内数据中心之 间相互将本地的数据表发送给对端数据中心，以便对端数据中心根据接收到的数据表进行 本地数据表的更新。 0008 但是，在以上的数据同步方法中，存在以下的情况发生的可能：国外数据中心在本 地的第一数据表中写入了一条关于某一广告的扣费数据的记录，而在下一个同步。
11、时刻到来 之前，国外数据中心读取并对该条记录进行了处理，这时，国外数据中心将在本地的第一数 据表中删除该条记录，以防止本地对该条记录进行重复处理，导致对应广告的位置产生偏 差；但是在国外数据中心删除该条记录之前，国外数据中心和国内数据中心之间并未进行 数据表的同步，因此，在下一个同步时刻到来时，国内数据中心将无法从国外数据中心获取 说 明 书CN 102843395 A 2/6页 5 到该条记录的数据。也即是说，在现有技术中，由于广告位置相关数据的同步和删除是无 序进行的，如果出现广告位置相关数据的写入和删除操作均在数据同步之前进行的话，则 会出现被写入和删除的上述数据在另一需要同步的数据中心。
12、无法读取的情况，造成需要同 步的广告位置相关数据的丢失，进而造成国外数据中心和国内数据中心中广告位置的不一 致。以上仅仅是以P4P系统中被推荐位置相关数据的同步为例进行说明，而现有技术中多 个数据中心之间进行数据同步时的均会遇到各种数据的同步和删除是无序进行的情况，从 而导致在一个数据中心被写入和删除的数据在另一需要同步的数据中心无法读取的情况， 造成需要同步的数据的丢失。 发明内容 0009 有鉴于此，本申请要解决的技术问题是，提供一种数据同步方法及装置，能够解决 由于数据的同步和删除无序进行所导致的同步数据丢失问题。 0010 为此，本申请实施例采用如下技术方案： 0011 本申请实施例提。
13、供一种数据的同步方法，每一数据中心中设置数据表集合以及备 份文件，该方法还包括： 0012 第一数据中心确定进行数据的写入时，向第一数据中心本地的数据表集合中第一 数据中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入第一数据中心 本地的备份文件中； 0013 当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根 据所述备份文件更新所述其他数据中心本地的数据表集合。 0014 本申请实施例还提供一种数据同步装置，包括： 0015 写入单元，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集合 中自身所属数据中心对应的数据表写入所述数据，并且，将被写入的数据。
14、同时写入自身所 属数据中心本地的备份文件中； 0016 同步单元，用于当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其 他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合； 0017 存储单元，用于存储自身所属数据中心中设置的数据表集合以及备份文件。 0018 对于上述技术方案的技术效果分析如下： 0019 第一数据中心确定进行数据的写入时，同时在第一数据中心对应的数据表以及备 份文件中写入该信息；当同步周期确定的同步时刻到来时，将所述备份文件发送到预设的 其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表 集合，从而当数据中心从本地的数据表集。
15、合中读取并删除某一数据时，备份文件中的数据 并未受到影响，从而即使数据中心在同步之前进行了本地数据表集合中某些数据的写入和 删除，也不会出现现有技术中指出的同步数据丢失的问题。 附图说明 0020 图1a为本申请实施例所适用网络环境举例； 0021 图1为本申请实施例一种数据同步方法流程示意图； 0022 图2为本申请实施例另一种数据同步方法流程示意图； 说 明 书CN 102843395 A 3/6页 6 0023 图3为本申请实施例一种数据同步装置结构示意图。 具体实施方式 0024 以下，结合附图详细说明本申请实施例数据同步方法及装置的实现。 0025 首先，介绍本申请实施例数据同步方法。
16、及装置可以适用的网络环境，其中可以包 括：至少两个数据中心，每一数据中心中均进行相同或者不同的数据的处理；并且，需要将 自身获取到的数据同步到其他的数据中心。 0026 在图1a所示的网络环境举例中，包括数据中心A、数据中心B以及数据中心C共三 个数据中心，两两之间相互连接，以进行同步数据的交互。 0027 本申请实施例出于理解的方便，将以被推荐数据的相关位置数据为例来作为各数 据中心之间同步的数据，当然本申请对各数据中心之间同步的数据本身是什么并不作限 定。其中，所述被推荐数据可以为广告，也可以为网络交易平台中的产品等。 0028 当被推荐数据为广告时，所述位置相关数据可以为：用户点击引起的。
17、广告扣费数 据；或者，广告对应账户的账户操作数据等； 0029 当被推荐数据为产品时，所述位置相关数据可以为：用户对于产品的点击所引起 的扣费，或者产品对应商家账户的帐户操作数据等。 0030 图1为本申请实施例一种数据同步方法流程示意图，如图1所示，该方法包括： 0031 预先在各个数据中心中设置并存储数据表集合以及备份文件，所述备份文件用于 保存自身所属数据中心所写入的数据，示例性的可以是被推荐数据的位置相关数据； 0032 步骤101：第一数据处理中心确定进行数据的写入时，向第一数据处理中心本地 的数据表集合中第一数据处理中心对应的数据表写入所述数据，并且，将所述数据同时写 入本地的备份。
18、文件中； 0033 步骤102：当同步时刻到来时，将所述备份文件发送到预设的其他数据处理中心， 以便其他数据处理中心根据所述备份文件更新所述其他数据中心本地的数据表集合。 0034 其中，所述第一数据处理中心属于泛指，可以为图1a所示网络中的任一数据处理 中心。 0035 其中，可以将一条对于被推荐数据的位置相关数据作为一条记录，写入对应的数 据表和备份文件中。例如，当所述被推荐数据为广告时，可以将用户对于该广告的一次点击 所形成的扣费数据作为一条记录写入对应的数据表和备份文件中，具体需要写入哪些字段 信息可以在实际应用中自主设置，这里不赘述。 0036 在图1所示的本申请实施例数据同步方法中。
19、，在各个数据中心中均设置了备份文 件，并且，将需要写入的被推荐数据的位置相关数据同时写入数据中心对应的数据表和备 份文件中，每个同步时刻需要进行数据同步时，将备份文件发送给其他数据中心，而当进行 数据的读取时，仍然从本地数据表集合中读取并删除对应的数据，并不进行备份文件对应 数据的删除，备份文件中的数据并未受到影响，从而即使数据中心在同步之前进行了本地 数据表中数据的删除，也不会出现现有技术中指出的同步数据丢失的问题，从而保证了不 同数据中心中被推荐数据的位置相关数据的一致性，进而保证了不同数据中心中被推荐数 据的位置一致。 0037 在图1的基础上，通过图2对本申请实施例的数据同步方法进行更。
20、为详细的说明， 说 明 书CN 102843395 A 4/6页 7 如图2所示，该数据同步方法包括： 0038 预先在各个数据中心中设置并存储数据表集合以及备份文件，所述备份文件用于 保存备份文件所属数据中心所写入的所述位置相关数据； 0039 所述数据表集合用于存储各个数据中心所写入的所述位置相关数据； 0040 其中，数据中心中存储的数据表集合可以仅包含一个数据表，此时，该数据表中可 以存储自身所属数据中心所写入的所述位置相关数据，并且还存储所有与自身所属数据中 心进行数据同步的数据中心同步来的所述位置相关数据。 0041 或者，数据中心中存储的数据表集合也可以由数据中心数目个数据表构成。
21、，此时， 数据表集合中的每个数据表都对应着一个数据中心，例如，第一数据中心A1有(n-1)个需 要与自身进行位置相关数据同步的数据中心，则第一数据中心A1本地设置的数据表集合 中将存储n个数据表，每个数据表对应着一个数据中心，第一数据中心A1对应的数据表用 于存储第一数据中心A1写入的所述被推荐数据的位置相关数据，而其他数据中心对应的 数据表则用于存储其他数据中心通过备份文件传输来的同步数据，也即其他数据中心写入 的所述被推荐数据的位置相关数据。n是大于1的整数。 0042 步骤201：第一数据中心确定进行被推荐数据的位置相关数据的写入时，向本地 的数据表集合中第一数据中心对应的数据表写入所述。
22、位置相关数据，并且，将被写入的所 述位置相关数据同时写入本地的备份文件中； 0043 其中，当第一数据中心本地存储的数据表集合中只包含一个数据表时，第一数据 中心对应的数据表即是该数据表集合中的这个数据表。 0044 步骤202：当同步周期确定的同步时刻到来时，第一数据中心将本地的备份文件 发送到预设的其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心 本地的数据表集合。 0045 其中，其他数据中心根据备份文件更新本地数据表集合的方法参见步骤203中的 描述。 0046 步骤203：接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文 件更新本地的数据表集合。 004。
23、7 第一数据中心本地的数据表集合中包含数据中心数目个数据表，且每个数据表对 应一个数据中心时，本步骤中的所述根据各个数据中心发来的备份文件更新本地的数据表 集合可以包括： 0048 根据发送备份文件的数据中心，从本地的数据表集合中查找得到该数据中心对应 的数据表，根据备份文件更新查找得到的所述数据表。 0049 而第一数据中心本地的数据表集合中只包含一个数据表时，本步骤中直接根据备 份文件更新该数据表即可。 0050 步骤204：第一数据中心确定进行被推荐数据的位置相关数据的读取时，从本地 数据表集合中读取对应的位置相关数据，并相应从本地数据表集合中删除被读取的位置相 关数据。 0051 步骤。
24、205：当删除周期确定的删除时刻到来时，第一数据中心从备份文件中删除 保存时间超过预设时间长度的数据。 0052 其中，所述预设时间长度大于所述同步周期，从而保证被删除的数据至少经过了 说 明 书CN 102843395 A 5/6页 8 一次数据同步，保证备份文件中删除的数据已经被同步到了其他数据中心中。 0053 其中，步骤201步骤205这5个步骤的执行顺序并非是固定的，在实际应用中， 数据的写入以及读取一般是可以重复进行，且随机触发的；而步骤202中触发同步操作的 时刻与同步周期有关，而步骤203中接收其他数据中心的备份文件的触发时刻与其他好总 段的同步时刻有关，各个数据中心之间进行同。
25、步的同步时刻可以相同，也可以不同，当同步 时刻相同时，步骤202和步骤203需要同时执行；步骤205中触发删除操作的时刻与删除周 期有关；另外，在同步周期和删除周期不同时，在一段足够长的时间中，同步时刻和删除时 刻之间并没有固定的执行顺序。 0054 其中，所述备份文件可以为数据表，或者也可以为其他文件格式，只要能够实现对 于写入数据的备份，并有利于其他数据中心根据该备份文件进行数据表更新即可。 0055 对于通过数据表集合存储各个数据中心的数据的实现方式，现通过举例进行更为 具体的说明： 0056 假设存在数据中心A和数据中心B两个数据中心，数据中心A中建立了数据表 messageA、mes。
26、sageA_sync(MessageA的备份文件)、messageB_sync(数据中心B的备份文 件MessageB_sync在数据中心A上的同步文件)，数据中心B中建立了数据表messageB、 messageA_sync(数据中心A的备份文件MessageA_sync在数据中心B上的同步文件)、 messageB_sync(MessageB的备份文件)，数据中心A的数据写入MessageA，MessageA_sync， 数据中心B的数据写入MessageB，MessageB-sync。进行同步时，数据中心A将备份文件 MessageA_sync同步到数据中心B的MessageA_sync。
27、，数据中心B将备份文件MessageB_ sync同步到A地的MessageB_sync。进行数据的读取并删除的时候，数据中心A读取 MessageA和MessageB_sync，数据中心B读取MessageB和MessageB_sync；从而最终实现 了本申请实施例的数据同步。 0057 与上述的被推荐数据的位置相关数据同步的方法相对的，本申请实施例还提供一 种数据同步装置，该装置可以设置于各个数据中心中，以便实现数据中心之间数据的同步。 如图3所示，该装置包括： 0058 写入单元310，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集 合中自身所属数据中心对应的数据表写入所述数。
28、据，并且，将被写入的所述数据同时写入 本地的备份文件中； 0059 同步单元320，用于当同步时刻到来时，将所述备份文件发送到预设的其他数据中 心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合； 0060 存储单元330，用于存储数据表集合以及备份文件。 0061 优选地，该装置还可以包括： 0062 读取单元340，用于确定进行数据的读取时，从本地的数据表中读取对应的数据， 并从本地的数据表中删除所读取的所述数据。 0063 优选地，该装置还可以包括： 0064 删除单元350，用于当删除时刻到来时，从备份文件中删除保存时间超过预设时间 长度的所述数据。 0065 优。
29、选地，该装置还可以包括： 0066 更新单元360，用于接收其他数据中心发来的备份文件，根据各个数据中心发来的 说 明 书CN 102843395 A 6/6页 9 备份文件更新本地的数据表集合。 0067 优选地，当存储单元330所存储的数据表集合包括数据中心数目个数据表，且每 一数据表对应一数据中心时；相应的，更新单元360具体用于：接收其他数据中心发来的备 份文件，根据发送备份文件的数据中心，从本地的数据表中查找得到该数据中心对应的数 据表，根据备份文件更新查找得到的所述数据表。 0068 优选地，所述预设时间长度不小于删除周期。 0069 所述备份文件为数据表，或者也可以为其他文件格式。
30、，只要能够实现对于写入数 据的备份，并有利于其他数据中心根据该备份文件进行数据表更新即可。 0070 图3所示的数据同步装置中，写入单元确定进行数据的写入时，同时在所属数据 中心对应的本地数据表以及备份文件中写入数据；当同步周期确定的同步时刻到来时，同 步单元将所述备份文件发送到预设的其他数据中心，以便其他数据中心根据所述备份文件 更新所述其他数据中心本地的数据表集合，从而当数据中心从本地的数据表集合中读取并 删除所述数据时，备份文件中的数据并未受到影响，从而即使数据中心在同步之前进行了 本地数据表中某个或某些数据的删除，也不会出现现有技术中指出的同步数据丢失的问 题。 0071 所述数据表以。
31、及备份文件在进行管理时，可以选择mysql或者oracle等能够支持 数据同步的数据库系统。 0072 本领域普通技术人员可以理解，实现上述实施例的方法的过程可以通过程序指令 相关的硬件来完成，所述的程序可以存储于可读取存储介质中，该程序在执行时执行上述 方法中的对应步骤。所述的存储介质可以如：ROM/RAM、磁碟、光盘等。 0073 以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本申请的保护范围。 说 明 书CN 102843395 A 1/2页 10 图1a 图1 说 明 书 附 图CN 102843395 A 10 2/2页 11 图2 图3 说 明 书 附 图CN 102843395 A 11 。