数据读写控制方法及装置.pdf

本发明公开了一种数据读写控制方法及装置，所述方法应用于包含至少两台存储服务器的数据存储系统，所述方法包括：将数据分散存储于所述至少两台存储服务器；将所述至少两台存储服务器中的每至少两台存储服务器之间相互进行数据同步；如果目标存储服务器故障或负载超过阀值，则将对于目标存储服务器的读写请求，转为与所述目标存储器进行数据同步的存储服务器进行处理，所述目标存储服务器为所述至少两台存储服务器中的任意一台存储服务器。本发明实施例实现将目标存储服务器的读写任务分配到系统中其他存储服务器，从而减轻目标存储器的负荷增加并发读写请求量，提高存储系统数据读写性能。

权利要求书1.  一种数据读写控制方法，其特征在于，所述方法应用于包含至少两台 存储服务器的数据存储系统，所述方法包括: 将数据分散存储于所述至少两台存储服务器； 将所述至少两台存储服务器中的每至少两台存储服务器之间相互进行数 据同步； 如果目标存储服务器故障或负载超过阀值，则将对于目标存储服务器的读 写请求，转为与所述目标存储器进行数据同步的存储服务器进行处理，所述目 标存储服务器为所述至少两台存储服务器中的任意一台存储服务器。 2.  根据权利要求1所述的方法，其特征在于，所述将所述至少两台存储 服务器之间进行数据同步包括： 根据所述至少两台存储服务器的配置信息，将所述至少两台存储服务器中 的每至少两台存储服务器之间相互进行数据同步。 3.  根据权利要求1或2所述的方法，其特征在于，还包括： 如果所述目标存储服务器故障解除或负载未超过阀值，则由所述目标存储 服务器处理对于所述目标存储服务器的读写请求。 4.  根据权利要求1或2所述的方法，其特征在于，还包括： 如果所述目标存储服务器故障解除或负载超过阀值变为未超过阀值，则对 所述目标存储服务器进行数据恢复。 5.  根据权利要求1或2所述的方法，其特征在于，还包括： 根据数据被读取频率，将被读取频率大于阀值的数据存于所述至少两台数 据存储服务器的内存中。 6.  一种数据读写控制装置，其特征在于，所述装置应用于包含至少两台 存储服务器的数据存储系统，所述装置包括: 第一控制单元，用于将数据分散存储于所述至少两台存储服务器； 第二控制单元，用于将所述至少两台存储服务器中的每至少两台存储服务 器之间相互进行数据同步； 第三控制单元，用于如果目标存储服务器故障或负载超过阀值，则将对于 目标存储服务器的读写请求，转为与所述目标存储器进行数据同步的存储服务 器进行处理，所述目标存储服务器为所述至少两台存储服务器中的任意一台存 储服务器。 7.  根据权利要求6所述的装置，其特征在于，所述第二控制单元具体用 于，根据所述至少两台存储服务器的配置信息，将所述至少两台存储服务器中 的每至少两台存储服务器之间相互进行数据同步。 8.  根据权利要求6或7所述的装置，其特征在于，所述第三控制单元还 用于，如果所述目标存储服务器故障解除或负载未超过阀值，则由所述目标存 储服务器处理对于所述目标存储服务器的读写请求。 9.  根据权利要求6或7所述的装置，其特征在于，还包括： 第四控制单元，用于如果所述目标存储服务器故障解除或负载超过阀值变 为未超过阀值，则对所述目标存储服务器进行数据恢复。 10.  根据权利要求6或7所述的装置，其特征在于，还包括： 第五控制单元，用于根据数据被读取频率，将被读取频率大于阀值的数据 存于所述至少两台数据存储服务器的内存中。

说明书数据读写控制方法及装置
技术领域
本发明涉及计算机领域，特别涉及一种数据读写控制方法及装置。
背景技术
数据存储系统是指向客户端提供数据存储、读写服务的系统。数据存储系 统通常采用集中的存储服务器存放所有数据，客户端可以通过接口向存储服务 器写入数据，以及从数据存储器读取数据。
但是，随着访问量的增加，存储系统数据读写性能随之下降。
发明内容
本发明实施例提供一种数据读写控制方法及装置，能够提高存储系统数据 读写性能。
本发明实施例采用如下技术方案：
一种数据读写控制方法，所述方法应用于包含至少两台存储服务器的数据 存储系统，所述方法包括:
将数据分散存储于所述至少两台存储服务器；
将所述至少两台存储服务器中的每至少两台存储服务器之间相互进行数 据同步；
如果目标存储服务器故障或负载超过阀值，则将对于目标存储服务器的读 写请求，转为与所述目标存储器进行数据同步的存储服务器进行处理，所述目 标存储服务器为所述至少两台存储服务器中的任意一台存储服务器。
可选的，所述将所述至少两台存储服务器之间进行数据同步包括：
根据所述至少两台存储服务器的配置信息，将所述至少两台存储服务器中 的每至少两台存储服务器之间相互进行数据同步。
可选的，还包括：
如果所述目标存储服务器故障解除或负载未超过阀值，则由所述目标存储 服务器处理对于所述目标存储服务器的读写请求。
可选的，还包括：
如果所述目标存储服务器故障解除或负载超过阀值变为未超过阀值，则对 所述目标存储服务器进行数据恢复。
可选的，还包括：
根据数据被读取频率，将被读取频率大于阀值的数据存于所述至少两台数 据存储服务器的内存中。
一种数据读写控制装置，所述装置应用于包含至少两台存储服务器的数据 存储系统，所述装置包括:
第一控制单元，用于将数据分散存储于所述至少两台存储服务器；
第二控制单元，用于将所述至少两台存储服务器中的每至少两台存储服务 器之间相互进行数据同步；
第三控制单元，用于如果目标存储服务器故障或负载超过阀值，则将对于 目标存储服务器的读写请求，转为与所述目标存储器进行数据同步的存储服务 器进行处理，所述目标存储服务器为所述至少两台存储服务器中的任意一台存 储服务器。
可选的，所述第二控制单元具体用于，根据所述至少两台存储服务器的配 置信息，将所述至少两台存储服务器中的每至少两台存储服务器之间相互进行 数据同步。
可选的，所述第三控制单元还用于，如果所述目标存储服务器故障解除或 负载未超过阀值，则由所述目标存储服务器处理对于所述目标存储服务器的读 写请求。
可选的，还包括：
第四控制单元，用于如果所述目标存储服务器故障解除或负载超过阀值变 为未超过阀值，则对所述目标存储服务器进行数据恢复。
可选的，还包括：
第五控制单元，用于根据数据被读取频率，将被读取频率大于阀值的数据 存于所述至少两台数据存储服务器的内存中。
基于上述技术方案，本发明实施例的数据读写控制方法及装置，将数据分 散存储于存储至少两台存储服务器，将存储至少两台存储服务器中的每至少两 台存储服务器之间相互进行数据同步，如果目标存储服务器故障或负载超过阀 值，则将对于目标存储服务器的读写请求，转为与存储目标存储器进行数据同 步的存储服务器进行处理。这样，实现将目标存储服务器的读写任务分配到系 统中其他存储服务器，从而减轻目标存储器的负荷增加并发读写请求量，提高 存储系统数据读写性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种数据读写控制方法的流程图；
图2为本发明实施例1提供的另一种数据读写控制方法的流程图；
图3为本发明实施例2提供的一种数据读写控制装置的结构示意图；
图4为本发明实施例2提供的另一种数据读写控制装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描 述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实 施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。
实施例1
如图1所示，本实施例一种数据读写控制方法，所述方法应用于包含至少 两台存储服务器的数据存储系统，所述方法包括:
11、将数据分散存储于所述至少两台存储服务器。
12、将所述至少两台存储服务器中的每至少两台存储服务器之间相互进行 数据同步。
13、如果目标存储服务器故障或负载超过阀值，则将对于目标存储服务器 的读写请求，转为与所述目标存储器进行数据同步的存储服务器进行处理，所 述目标存储服务器为所述至少两台存储服务器中的任意一台存储服务器。
其中，该阀值可以根据不同的应用场景进行设置变更。
本发明实施例可以通过数据读写控制装置实现，该装置可以为单独的设 备，也可以位于存储服务器上，本发明实施例不做限定。
本实施例的方法，将数据分散存储于存储至少两台存储服务器，将存储至 少两台存储服务器中的每至少两台存储服务器之间相互进行数据同步，如果目 标存储服务器故障或负载超过阀值，则将对于目标存储服务器的读写请求，转 为与存储目标存储器进行数据同步的存储服务器进行处理。这样，实现将目标 存储服务器的读写任务分配到系统中其他存储服务器，从而减轻目标存储器的 负荷增加并发读写请求量，提高存储系统数据读写性能。
本实施例中可选的，上述12中将所述至少两台存储服务器之间进行数据 同步时，可以根据所述至少两台存储服务器的配置信息，将所述至少两台存储 服务器中的每至少两台存储服务器之间相互进行数据同步。
具体地，可以根据数据存储系统中存储服务器的数量确定两台或两台以上 的数据存储服务器之间相互进行数据同步，实现相互之间的数据备份，这样当 其中一台存储服务器出现故障或负荷较高时，可以由数据同步的其他存储服务 器实现数据读写。
其中，配置信息可以是数据存储系统的信息，包括分片和块数据信息。主 要存储块数据信息，每个配置服务器上都有一份所有块数据信息的拷贝，以保 证每台配置服务器上的数据的一致性。
如图2所示，本实施例中可选的，该方法还包括：
14、如果所述目标存储服务器故障解除或负载未超过阀值，则由所述目标 存储服务器处理对于所述目标存储服务器的读写请求。
其中，该阀值可以根据不同的应用场景进行设置变更。
如图2所示，本实施例中可选的，该方法还包括：
15、如果所述目标存储服务器故障解除或负载超过阀值变为未超过阀值， 则对所述目标存储服务器进行数据恢复。
其中，该阀值可以根据不同的应用场景进行设置变更。
本发明实施例中可选的，该方法还包括：
根据数据被读取频率，将被读取频率大于阀值的数据存于所述至少两台数 据存储服务器的内存中。这样可以提高数据存储系统的数据读取效率。
其中，该阀值可以根据不同的应用场景进行设置变更。
本实施例的方法，可分散并发访问、存储、读写压力，自动分配请求到空 闲存储服务器，从而增加并发请求数量，提高存储系统数据读写性能。
实施例2
本实施例提供一种数据读写控制装置，如图3所示，该装置包括：
第一控制单元31，用于将数据分散存储于所述至少两台存储服务器；
第二控制单元32，用于将所述至少两台存储服务器中的每至少两台存储服 务器之间相互进行数据同步；
第三控制单元33，用于如果目标存储服务器故障或负载超过阀值，则将对 于目标存储服务器的读写请求，转为与所述目标存储器进行数据同步的存储服 务器进行处理，所述目标存储服务器为所述至少两台存储服务器中的任意一台 存储服务器。
本实施例中可选的，所述第二控制单元具体用于，根据所述至少两台存储 服务器的配置信息，将所述至少两台存储服务器中的每至少两台存储服务器之 间相互进行数据同步。
本实施例中可选的，所述第三控制单元还用于，如果所述目标存储服务器 故障解除或负载未超过阀值，则由所述目标存储服务器处理对于所述目标存储 服务器的读写请求。
本实施例中可选的，如图4所示，该装置还包括：
第四控制单元34，用于如果所述目标存储服务器故障解除或负载超过阀值 变为未超过阀值，则对所述目标存储服务器进行数据恢复。
本实施例中可选的，如图4所示，，还包括：
第五控制单元35，用于根据数据被读取频率，将被读取频率大于阀值的数 据存于所述至少两台数据存储服务器的内存中。
本实施例的数据读写控制装置中各个单元的功能仅为简要描述，想实习实 现过程请参阅上述方法实施例。本实施例的数据读写控制装置可以实现上述实 施例的数据读写控制方法。
本实施例的方法，将数据分散存储于存储至少两台存储服务器，将存储至 少两台存储服务器中的每至少两台存储服务器之间相互进行数据同步，如果目 标存储服务器故障或负载超过阀值，则将对于目标存储服务器的读写请求，转 为与存储目标存储器进行数据同步的存储服务器进行处理。这样，实现将目标 存储服务器的读写任务分配到系统中其他存储服务器，从而减轻目标存储器的 负荷增加并发读写请求量，提高存储系统数据读写性能。
实施例3
本实施例的数据存储系统采用读写分离的方法，增加数据的服务器数量， 分散读的压力。且支持数据分片存储，将不同数据根据一定分配规则，分配到 不同存储服务器。每台存储服务器之间支持备份，当某一台数据库宕机后，备 存储服务器将立即接替它的工作，保证用户服务不受任何影响。并将经常被读 取的数据放到内存中提供读服务，从而提升读取速度和效率。
本实施例以采用6台存储服务器组成数据存储系统为例进行说明，应当理 解，本发明其他实施例中还可以采用其他数量的存储服务器，本发明实施例不 限定存储服务器的具体数量。
本实施例中存储设备之间，横向进行数据的主备存储，主备存储的目的在 于进行故障转移，平时横向数据库上的所有数据是一致的，系统会自动进行数 据的同步，在高并发请求的环境下，可以提供高可靠的数据存储、读取服务。 一旦主备中的某一台服务器发生异常或宕机，业务不会因此暂停。
本实施例中存储设备之间，纵向进行数据的水平切分，水平切分的目的是 将数据根据一定规则进行拆分，分散读写、存储压力，使数据库能够根据需求 进行数据的读写、存储。
6台数据服务器中有3台服务器还承载了配置服务，负责存储数据库集群 的配置信息，主备信息的同步，故障转移，数据恢复就靠配置信息来完成。另 外3台服务器承载了路由服务，负责根据当前集群中的负载情况，动态、合理 的分配访问请求，使整个集群中的服务器平均承载压力。
当服务压力不断激增时，可以动态在该数据存储系统中增加存储服务器来 提供数据的纵向或横向的切分或配置、路由服务的扩展和支持，以便让整个数 据存储系统在高并发请求的环境下可以持续提供高效、稳定的服务。
本实施例的数据存储系统，高性能、易部署、易使用，存储数据方便，模 式自由，支持安全可靠的故障转移机制，保证系统稳定运行，高效，完备的数 据恢复机制，根据操作日志机制恢复数据，扩展性好，自动处理碎片，以支持 云计算层次的扩展性，当数据库集群压力不断激增时，可以快速增加服务器到 集群中，减轻服务器压力，集群中的某台服务器宕机后，系统会自动进行故障 转移，不会影响业务正常运行。
为使本领域技术人员充分了解本发明实施例的有益效果，将本发明实施例 与现有技术比较如下：
在同样的大并发量请求数据读写、存储的环境下，现有的数据存储系统的 性能会急剧下降，并发读的数量在1W/s次左右时，存储服务器已经不堪重负， CPU接近100%，内存也飙升到3G的占用量，请求回应的效率下降明显，甚 至不能及时响应。
应用本发明实施例的数据读写控制方法及装置的数据存储系统，并发读的 数量到达5W/s次时，服务器集群仍然可以正常的提供高效的服务，系统中的 存储服务器CPU平均在30%上下，内存占用量也仅仅为1G左右，响应请求及 时且稳定。
现有的数据存储系统，存储服务器不堪重负宕机后，整个线上业务停滞， 无法提供服务。而应用本发明实施例的数据读写控制方法及装置的数据存储系 统，系统中的某一台存储服务器宕机后，另外一台服务器会立即接替它的工作， 使整个数据库系统持续保持对线上服务的支持。
本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的 精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等 同技术的范围之内，则本发明也意图包含这些改动和变型在内。