数据处理方法及装置技术领域
本发明涉及计算机技术领域,尤其涉及一种数据处理方法及装置。
背景技术
在大数据时代,人们常常利用分布式系统来存储数据以及处理数据。分布式系统可
以包括一个处理服务器及多个存储服务器,处理服务器分别与每个存储服务器相连接,
存储服务器用于存储数据,处理服务器可以从存储服务器中获取数据并对获取的数据进
行处理。
其中,当用户需要对分布式系统中存储的某一数据进行处理时,用户需要在处理服
务器中输入该数据的数据标识、存储该数据的存储服务器的标识、以及对该数据进行处
理的处理方式;处理服务器需要首先确定出用户输入的存储服务器的标识对应的存储服
务器,然后在该存储服务器中获取该数据标识对应的数据,最后以该处理方式对获取的
该数据进行处理。
然而,发明人发现,用户必须知晓该数据存储在分布式系统中的哪个存储服务器中,
否则处理服务器就无法获取到该数据,进而无法实现对该数据进行处理的目的。
发明内容
为克服相关技术中存在的问题,本发明提供一种数据处理方法及装置。
根据本发明实施例的第一方面,提供一种数据处理方法,所述方法包括:
接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理方式;
在存储服务器的标识与数据标识之间的第一预设对应关系中查找与所述目标数据标识
相对应的目标存储服务器的标识;
在所述目标存储服务器的标识对应的目标存储服务器中查找所述目标数据标识对应的
数据;
当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识对
应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
进一步地,所述方法还包括:
当未在所述目标存储服务器的标识对应的目标存储服务器中查找到所述目标数据标识
对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对
应的数据;
当在与所述目标存储服务器相对应的备份服务器中查找到所述目标数据标识对应的数
据时,执行所述以所述目标处理方式对所述目标数据标识对应的数据进行处理的步骤。
其中,所述在与所述目标存储服务器相对应的备份服务器中查找所述目标数据标识对
应的数据,包括:
获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
在所述第二预设对应关系中查找与所述目标存储服务器的标识相对应的备份服务器的
标识;
在查找到的所述备份服务器的标识对应的备份服务器中查找所述目标数据标识对应的
数据。
进一步地,所述方法还包括:
将所述目标存储服务器中存储的数据备份至所述备份服务器中;
将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录存储在所述第二
预设对应关系中。
进一步地,所述方法还包括:
检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识对应的数据;
当接收到所述存储请求时,将所述目标数据标识对应的数据存储在所述存储服务器中;
将所述存储服务器的标识与所述目标数据标识作为一条记录存储在所述第一预设对应
关系中。
进一步地,查找到的数据为多个,所述方法还包括:
判断查找到的多个数据的数据类型是否全部为预设数据类型;
当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预设数据类型的数
据的数据类型转换为预设数据类型,执行所述以所述目标处理方式对所述目标数据标识对
应的数据进行处理的步骤。
根据本发明实施例的第二方面,提供一种数据处理装置,所述装置包括:
接收模块,用于接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理
方式;
第一查找模块,用于在存储服务器的标识与数据标识之间的第一预设对应关系中查找
与所述目标数据标识相对应的目标存储服务器的标识;
第二查找模块,用于在所述目标存储服务器的标识对应的目标存储服务器中查找所述
目标数据标识对应的数据;
处理模块,用于当在所述目标存储服务器的标识对应的目标存储服务器中查找到所述
目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处
理。
进一步地,所述装置还包括:
第三查找模块,用于当未在所述目标存储服务器的标识对应的目标存储服务器中查找
到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找
所述目标数据标识对应的数据;
所述处理模块还用于当在与所述目标存储服务器相对应的备份服务器中查找到所述目
标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处理。
其中,所述第三查找模块包括:
获取单元,用于获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
第一查找单元,用于在所述第二预设对应关系中查找与所述目标存储服务器的标识相
对应的备份服务器的标识;
第二查找单元,用于在查找到的所述备份服务器的标识对应的备份服务器中查找所述
目标数据标识对应的数据。
进一步地,所述第三查找模块还包括:
备份单元,用于将所述目标存储服务器中存储的数据备份至所述备份服务器中;
存储单元,用于将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录
存储在所述第二预设对应关系中。
进一步地,所述装置还包括:
检测模块,用于检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识
对应的数据;
第一存储模块,用于当接收到所述存储请求时,将所述目标数据标识对应的数据存储
在所述存储服务器中;
第二存储模块,用于将所述存储服务器的标识与所述目标数据标识作为一条记录存储
在所述第一预设对应关系中。
进一步地,查找到的数据为多个,所述装置还包括:
判断模块,用于判断查找到的多个数据的数据类型是否全部为预设数据类型;
转换模块,用于当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预
设数据类型的数据的数据类型转换为预设数据类型,以所述目标处理方式对所述目标数据
标识对应的数据进行处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无
法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无
法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要
处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对
于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量
非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别
存储在哪个存储服务器中。
在本发明中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理
方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目标数据标识
相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目标存储服务器中查
找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标存储服务器中查找
到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应的数据进行处理。
本发明支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知晓需要
处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入需要处
理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务器根据
存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数据存储
在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实现对需
要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量和用户
的成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限
制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,
并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种分布式系统示意图;
图2是根据一示例性实施例示出的一种数据处理方法的流程图;
图3是根据一示例性实施例示出的一种数据处理方法的流程图;
图4是根据一示例性实施例示出的一种数据处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图
时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中
所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权
利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
分布式系统中可以包括一个或多个处理服务器,以及多个存储服务器。存储服务器用
于存储数据,每个处理服务器与至少一个存储服务器相连接;每个存储服务器均与一个处
理服务器相连接。
其中,当分布式系统中的处理服务器为一个时,处理服务器与分布式系统中的所有存
储服务器分别相连接,处理服务器可以从存储服务器中获取数据并对获取的数据进行处
理。
当分布式系统中的处理服务器为多个时,每个处理服务器与至少一个存储服务器相
连接,每个存储服务器均与一个处理服务器相连接;每个处理服务器可以从与其相连接的
存储服务器中获取数据,然后这些处理服务器将各自获取的数据汇聚至一个处理服务器
中,该一个处理服务器对汇聚的所有数据进行处理。
其中,在本发明实施例中,以分布式系统中包括一个处理服务器为例进行举例说明,
但不作为对本发明保护范围的限制。
图1是本发明实施例示出的一种分布式系统的示意图。如图1所示,分布式系统包括
一个处理服务器1和多个存储服务器2,处理服务器1与多个存储服务器2分别相连接。
图2是根据一示例性实施例示出的一种数据处理方法的流程图,如图2所示,该方法
用于图1所示的分布式系统中的处理服务器1中,该方法包括以下步骤。
在步骤S101中,接收目标数据标识和对目标数据标识对应的数据进行处理的目标处理
方式;
其中,用户可以在分布式系统中存储数据,当用户需要在分布式系统中存储数据时,
用户可以在分布式系统中的处理服务器中输入存储请求,并提交给处理服务器,该存储请
求至少携带待存储数据,还可以携带有该用户的用户标识等信息。或者,用户通过其他设
备向处理服务器发送存储请求,该存储请求至少携带待存储数据,还可以携带有该用户的
用户标识等信息。
处理服务器检测是否接收到存储请求;当接收到该存储请求时,处理服务器从该存储
请求中提取出待存储数据,将待存储数据存储在分布式系统中的一个存储服务器中。
在本发明实施例中,为了保障负载均衡,处理服务器会在分布式系统中的多个存储服
务器中确定出一个当前存储量较小的存储服务器,然后将待存储数据存储在该存储量较小
的存储服务器中,以使分布式系统中的所有存储服务器的存储量保持均衡。
其中,当用户需要对分布式系统中存储的某些数据进行处理时,用户可以在处理服务
器中输入目标数据标识以及对目标数据标识对应的数据进行处理的处理方式,并提交给处
理服务器;处理服务器接收用户输入的目标数据标识以及目标处理方式。
或者,用户通过其他设备向处理服务器发送目标数据标识以及对目标数据标识对应的
数据进行处理的处理方式;处理服务器接收其他设备发送的目标数据标识以及目标处理方
式。
其中,对目标数据标识对应的数据进行处理的处理方式可以为:在目标数据标识数据
所处的存储服务器中删除目标数据标识对应的数据;或,将目标数据标识对应的数据添加
至某一数组中;或,当目标数据标识对应的数据为多个时,计算该多个数据的平均值;或,
将目标数据标识对应的数据从其所处的存储服务器中迁移至分布式系统中的另一个存储服
务器等。
数据标识用于唯一标识数据,可以为数据的名称或编号等,本发明对此不加以限定。
在步骤S102中,在存储服务器的标识与数据标识之间的第一预设对应关系中查找与目
标数据标识相对应的目标存储服务器的标识;
其中,当处理服务器将一条数据存储在分布式系统中的一个存储服务器中之后,处理
服务器可以获取该数据的数据标识以及该存储服务器的标识;然后将该存储服务器的标识
与该数据的数据标识作为一条记录存储在第一预设对应关系中。
在本发明实施例中,处理服务器的目的是从分布式系统中查找到目标数据标识对应的
数据,而处理服务器能成功地从分布式系统中查找到目标数据标识对应的数据的前提是处
理服务器事先已经将目标数据标识对应的数据存储在分布式系统中的一个存储服务器中,
相应地,在处理服务器事先将目标数据标识对应的数据存储在分布式系统中的一个存储服
务器后,处理服务器会将目标数据标识和存储目标数据对应的数据的存储服务器的标识作
为一条记录存储在第一预设对应关系中。
因此,在本步骤中,处理服务器可以获取第一预设对应关系,并从第一预设对应关系
中确定出目标数据标识对应的数据所处的存储服务器,这样就可以迅速确定出目标数据标
识对应的数据存储在哪个存储服务器中;然后直接从确定出的存储服务器中查找目标数据
标识对应的数据。
在步骤S103中,在目标存储服务器的标识对应的目标存储服务器中查找目标数据标识
对应的数据;
其中,每个存储服务器中都存储了大量的数据,不同的数据的数据类型可能不一致,
例如,在存储数据时,有些数据是整型数据,有些数据是浮点型数据,以及有些数据是字
符型数据等。
这样,在本发明实施例中,在步骤S101中接收到的目标数据标识可能为一个也可能为
多个,当接收到的目标数据标识为一个时,则在本步骤中查找到目标数据标识对应的数据
也为一个,在查找到目标数据标识对应的数据后直接执行步骤S104。
而当接收到的目标数据标识为多个时,则在本步骤中查找到目标数据标识对应的数据
也为多个,获取的这些数据的数据类型可能完全相同,也可能不完全相同。
因此,为了方便对查找到的数据进行运算,当查找到数据为多个时,判断查找到的多
个数据的数据类型是否全部为预设数据类型;当查找到的数据的数据类型全部为预设数据
类型时,则执行步骤S104。当查找到的数据的数据类型不全部为预设数据类型时,在查找
到的多个数据中,将不是预设数据类型的数据的数据类型转换为预设数据类型,然后执行
步骤S104。
当在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数据
时,在步骤S104中,以目标处理方式对目标数据标识对应的数据进行处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无
法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无
法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要
处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对
于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量
非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别
存储在哪个存储服务器中。
在本发明图2所示的实施例中,接收目标数据标识和对目标数据标识对应的数据进
行处理的目标处理方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查
找与目标数据标识相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目
标存储服务器中查找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标
存储服务器中查找到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应
的数据进行处理。
本发明实施例支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知
晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入
需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务
器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数
据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实
现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量
和用户的成本。
其中,在前述实施例中,有时候分布式系统中的存储服务器可能因为宕机或其他原因
无法正常工作。其中,当目标存储服务器无法工作时,处理服务器就无法从目标存储服务
器中查找到目标数据标识对应的数据,查找不到目标数据标识对应的数据就无法对目标数
据标识对应的数据进行处理,最终导致处理失败。
因此,为了提高对目标数据标识对应的数据进行处理成功率,在本发明另一实施例中,
参见图3,该方法还包括:
当未在目标存储服务器的标识对应的目标存储服务器中查找到目标数据标识对应的数
据时,在步骤S201中,在与目标存储服务器相对应的备份服务器中查找目标数据标识对应
的数据;
在本发明实施例中,为了避免存储服务器由于宕机等原因无法正常工作而造成无法查
找到目标存储服务器中存储的数据的问题,用户事先会在分布式系统中配置多个备份服务
器,每个备份服务器分别与处理服务器相连接。
当配置完毕之后,对于任一存储服务器,处理服务器会将该存储服务器中存储的数据
备份至一个备份服务器中;备份完毕之后,处理服务器将该存储服务器的标识与该备份服
务器的标识存储在存储服务器的标识与备份服务器的标识之间的第二预设对应关系中。对
于分布式系统中的其他每个存储服务器,均执行上述操作;以实现对分布式系统中的每个
存储服务器中存储的数据都进行备份。
这样,在本步骤中,当由于目标存储服务器宕机等原因处理服务器未能在目标存储服
务器中查找到数据标识对应的数据时,可以获取存储服务器的标识与备份服务器的标识之
间的第二预设对应关系;在第二预设对应关系中查找与目标存储服务器的标识对应的备份
服务器的标识;在查找到的备份服务器的标识对应的备份服务器中查找目标数据标识对应
的数据。这样就增加了能够查找到目标数据标识对应的数据的成功率,从而提高了对目标
数据标识对应的数据进行处理的成功率。
当在与目标存储服务器相对应的备份服务器中查找到目标数据标识对应的数据时,在
步骤S104中,以目标处理方式对目标数据进行处理。
其中,当未在与目标存储服务器相对应的备份服务器中查找到目标数据标识对应的数
据时,说明与目标存储服务器相对应的备份服务器可能因为宕机或其他原因无法正常工作,
这样就无法成功查找到目标数据标识对应的数据,从而结束流程。
进一步地,可以向用户提示无法查找到目标数据标识对应的数据,以使用户获知处理
服务器无法查找到目标数据标识对应的数据并无法对目标数据标识对应的数据进行处理。
图4是根据一示例性实施例示出的一种数据处理装置的框图。参照图4,该装置包括:
接收模块11,用于接收目标数据标识和对目标数据标识对应的数据进行处理的目标处
理方式;
第一查找模块12,用于在存储服务器的标识与数据标识之间的第一预设对应关系中查
找与所述目标数据标识相对应的目标存储服务器的标识;
第二查找模块13,用于在所述目标存储服务器的标识对应的目标存储服务器中查找所
述目标数据标识对应的数据;
处理模块14,用于当在所述目标存储服务器的标识对应的目标存储服务器中查找到所
述目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行
处理。
其中,在现有技术中,如果用户不知晓需要处理的数据所处的存储服务器,则就无
法准确告知处理服务器需要处理的数据存储在哪个存储服务器中,这样处理服务器就无
法查找到需要处理的数据,进而无法对需要处理的数据进行处理。因此,每当要对需要
处理的数据进行处理时,用户必须知晓需要处理的数据所处的存储服务器,然而这样对
于用户而言工作量非常大,用户成本很高。尤其是当分布式系统中的存储服务器的数量
非常多且每个存储服务器中存储的数据的数据量非常大时,用户要知晓每一条数据分别
存储在哪个存储服务器中。
在本发明图4所示的实施例中,接收目标数据标识和对目标数据标识对应的数据进
行处理的目标处理方式;在存储服务器的标识与数据标识之间的第一预设对应关系中查
找与目标数据标识相对应的目标存储服务器的标识;在目标存储服务器的标识对应的目
标存储服务器中查找目标数据标识对应的数据;当在目标存储服务器的标识对应的目标
存储服务器中查找到目标数据标识对应的数据时,以目标处理方式对目标数据标识对应
的数据进行处理。
本发明实施例支持当用户需要对分布式系统中存储的数据进行存储时,用户无需知
晓需要处理的数据存储在分布式系统中的哪些存储服务器中,只需在处理服务器中输入
需要处理的数据的数据标识以及对需要处理的数据进行处理的数据方式即可,处理服务
器根据存储服务器的标识与数据标识之间的第一预设对应关系就可以确定出需要处理的数
据存储在哪些服务器中,以及从确定出的存储服务器中获取需要处理的数据,进而可以实
现对需要处理的数据进行处理的目的,不仅方便了用户,且极大地降低了用户的工作量
和用户的成本。
进一步地,所述装置还包括:
第三查找模块,用于当未在所述目标存储服务器的标识对应的目标存储服务器中查找
到所述目标数据标识对应的数据时,在与所述目标存储服务器相对应的备份服务器中查找
所述目标数据标识对应的数据;
所述处理模块14还用于当在与所述目标存储服务器相对应的备份服务器中查找到所述
目标数据标识对应的数据时,以所述目标处理方式对所述目标数据标识对应的数据进行处
理。
其中,所述第三查找模块包括:
获取单元,用于获取存储服务器的标识与备份服务器的标识之间的第二预设对应关系;
第一查找单元,用于在所述第二预设对应关系中查找与所述目标存储服务器的标识相
对应的备份服务器的标识;
第二查找单元,用于在查找到的所述备份服务器的标识对应的备份服务器中查找所述
目标数据标识对应的数据。
进一步地,所述第三查找模块还包括:
备份单元,用于将所述目标存储服务器中存储的数据备份至所述备份服务器中;
存储单元,用于将所述目标存储服务器的标识与所述备份服务器的标识作为一条记录
存储在所述第二预设对应关系中。
进一步地,所述装置还包括:
检测模块,用于检测是否接收到存储请求,所述存储请求至少携带所述目标数据标识
对应的数据;
第一存储模块,用于当接收到所述存储请求时,将所述目标数据标识对应的数据存储
在所述存储服务器中;
第二存储模块,用于将所述存储服务器的标识与所述目标数据标识作为一条记录存储
在所述第一预设对应关系中。
进一步地,查找到的数据为多个,所述装置还包括:
判断模块,用于判断查找到的多个数据的数据类型是否全部为预设数据类型;
转换模块,用于当查找到的多个数据的数据类型不全部为预设数据类型时,将不为预
设数据类型的数据的数据类型转换为预设数据类型,以所述目标处理方式对所述目标数据
标识对应的数据进行处理。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实
施例中进行了详细描述,此处将不做详细阐述说明。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实
施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者
适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯
用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利
要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可
以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。