《一种管理数据访问的方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种管理数据访问的方法及装置.pdf（11页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104182490A43申请公布日20141203CN104182490A21申请号201410392257622申请日20140811G06F17/3020060171申请人浪潮（北京）电子信息产业有限公司地址100085北京市海淀区上地信息路2号21号C栋1层72发明人丛戎何志平邢伟74专利代理机构北京安信方达知识产权代理有限公司11262代理人王丹李丹54发明名称一种管理数据访问的方法及装置57摘要本发明公开了一种管理数据访问的方法及装置，应用于异构融合架构，包括当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值。
2、；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。本发明的技术方案降低了由于请求总量的差异而带来的对大数据处理的影响，从而提升了对大数据处理请求的效率，从而节约了系统开销。51INTCL权利要求书3页说明书6页附图1页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书6页附图1页10申请公布号CN104182490ACN104182490A1/3页21一种管理数据访问的方法，应用于异构融合架构，其特征。
3、在于，包括当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。2根据权利要求1所述的方法，其特征在于，该方法之前还包括预先设置所述请求队列；所述当请求到来时，所述获取请求队列中有效请求的总个数之前还包括将请求按照时间顺序添加到所述请求队列中。3根据权利要求1所述的方法，其特征在于，该方法之前还包括预先设置请求名称为。
4、数据名称属性标签；其中，标签的初始值设置为0，请求每被处理完一次，对所述请求的标签进行递增处理；属性包括读数据请求或写数据请求。4根据权利要求1或2所述的方法，其特征在于，在所述采用轮询的方法对请求队列中所有请求进行处理之后，该方法还包括设置完成队列；当所述请求队列中的请求被处理完成后，按照时间顺序将请求从请求队列转移至完成队列中。5根据权利要求3所述的方法，其特征在于，所述采用轮询的方法对请求队列中所有请求进行处理，包括获取所述请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序；按照各个请求的标签的由大到小的顺序对各个请求进行处理。6根据权利要求5所述的方法，其特征在。
5、于，所述按照各个请求的标签由大到小的顺序对各个请求进行处理，包括按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性；当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成；请求被处理完成后，对所述请求的标签进行递增处理。7根据权利要求2所述的方法，其特征在于，在所述获取请求队列中有效请求的总个数之前，该方法还包括获取所述请求队列中请求的总个数；所述确定请求队列中有效请求的总个数包括根据所述请求队列中不同时间所对应的请求，判断相邻。
6、的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求；所述请求队列中有效请求的总个数等于请求队列中请求的总个数减去合并请求的个数。权利要求书CN104182490A2/3页38根据权利要求7所述的方法，其特征在于，按照以下方式判断相邻的两个请求是否是同一个请求如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。9一种管理数据访问的装置，应用于异构融合架构，其特征在于，包括请求队列管理模块、判断模块和轮询协调模块；其中，请求队列管理模块，用于当请求到来时，获取请求队列中有效请求的总个数；判断模块，用于判断获得的有效请求的总个数是否大于或等于。
7、预先设置的请求个数阈值；轮询协调模块，用于当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；所述请求队列管理模块，还用于当获得的有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来。10根据权利要求9所述的装置，其特征在于，该装置还包括设置模块，用于预先设置请求队列；当请求到来时，将请求按照不同的时间顺序添加到请求队列中。11根据权利要求9所述的装置，其特征在于，该装置还包括设置模块，用于预先设置请求名称为数据名称属性标签；其中，标签的初始值设置为0，请求每被处理完一次，对所述请求的标签进行递增处理；属性包括读数据请求或写数据请求。
8、。12根据权利要求11所述的装置，其特征在于，所述轮询协调模块具体用于获取所述请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序；按照各个请求的标签的由大到小的顺序对各个请求进行处理。13根据权利要求12所述的装置，其特征在于，所述轮询协调模块按照各个请求的标签的由大到小的顺序对各个请求进行处理，包括按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性；该装置还包括请求访问读写模块，用于当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读。
9、操作返回至操作系统并记录该请求完成。14根据权利要求9或10所述的装置，所述轮询协调模块还用于在所述采用轮询的方法对请求队列中所有请求进行处理之后，设置完成队列；当所述请求队列中的请求被处理完成后，按照时间顺序将请求从请求队列转移至完成队列中；对所述请求的标签进行递增处理。15根据权利要求10所述的装置，其特征在于，所述请求队列管理模块还用于获取所述请求队列中请求的总个数；权利要求书CN104182490A3/3页4所述确定请求队列中有效请求的总个数包括根据所述请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求；所述请求队列中有效请。
10、求的总个数等于请求队列中请求的总个数减去合并请求的个数。16根据权利要求15所述的装置，其特征在于，所述请求队列管理模块按照以下方式判断相邻的两个请求是否是同一个请求如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。权利要求书CN104182490A1/6页5一种管理数据访问的方法及装置技术领域0001本发明涉及大数据调度管理技术，尤指一种管理数据访问的方法及装置。背景技术0002随着计算机技术的飞速发展，数据量也随之增大，大数据处理的速度问题愈发突出，为了保证其时效性，目前，业界提出采用即时处理的方法来对大数据进行处理，即当大数据处理请求来时就对该请求进。
11、行处理。0003但是，当请求集中在某一个时刻一起到来时，现有对大数据的即时处理的方法会带来一些问题，比如由于需要处理的请求的总数量很大而导致服务器处理效率低下，以及当大数据处理请求量较少时，服务器也要对这些少量的大数据处理请求进行处理，这就会导致服务器一直在低功耗运转，浪费了系统开销。发明内容0004为了解决上述技术问题，本发明提供了一种管理数据访问的方法及装置，能够降低由于请求总量的差异而带来的对大数据处理的影响，从而提升对大数据处理请求的效率，节约系统开销。0005为了达到本发明目的，本发明提供了一种管理数据访问的方法，应用于异构融合架构，包括当请求到来时，获取请求队列中有效请求的总个数；。
12、0006判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；0007当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行获取请求队列中有效请求的总个数的步骤。0008进一步地，该方法之前还包括预先设置请求队列；0009当请求到来时，获取请求队列中有效请求的总个数之前还包括将请求按照时间顺序添加到请求队列中。0010以及，0011预先设置请求名称为数据名称属性标签；0012其中，标签的初始值设置为0，请求每被处理完一次，对请求的标签进行递增处理；0013。
13、属性包括读数据请求或写数据请求。0014进一步地，在采用轮询的方法对请求队列中所有请求进行处理之后，该方法还包括设置完成队列；0015当请求队列中的请求被处理完成后，按照时间顺序将请求从请求队列转移至完成队列中。0016进一步地，采用轮询的方法对请求队列中所有请求进行处理，包括0017获取请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序说明书CN104182490A2/6页6进行排序；0018按照各个请求的标签的由大到小的顺序对各个请求进行处理。0019进一步地，按照各个请求的标签由大到小的顺序对各个请求进行处理，包括0020按照各个请求的标签的由大到小的顺序，依次获取各个请。
14、求的属性；0021当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成；0022请求被处理完成后，对请求的标签进行递增处理。0023进一步地，在获取请求队列中有效请求的总个数之前，该方法还包括0024获取请求队列中请求的总个数；0025确定请求队列中有效请求的总个数包括0026根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求；0027请求队列中有效请求的总个数等于请求。
15、队列中请求的总个数减去合并请求的个数。0028进一步地，按照以下方式判断相邻的两个请求是否是同一个请求0029如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。0030本发明还提供了一种管理数据访问的装置，应用于异构融合架构，包括请求队列管理模块、判断模块和轮询协调模块；其中，0031请求队列管理模块，用于当请求到来时，获取请求队列中有效请求的总个数；0032判断模块，用于判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；0033轮询协调模块，用于当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进。
16、行处理；0034请求队列管理模块，还用于当获得的有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来。0035进一步地，该装置还包括设置模块，用于预先设置请求队列；0036当请求到来时，将请求按照不同的时间顺序添加到请求队列中。0037以及，0038预先设置请求名称为数据名称属性标签；0039其中，标签的初始值设置为0，请求每被处理完一次，对请求的标签进行递增处理；0040属性包括读数据请求或写数据请求。0041进一步地，轮询协调模块具体用于0042获取请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序；0043按照各个请求的标签的由大到小的顺序对各个请求进行。
17、处理。0044进一步地，轮询协调模块按照各个请求的标签的由大到小的顺序对各个请求进行说明书CN104182490A3/6页7处理，包括0045按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性；0046该装置还包括请求访问读写模块，用于0047当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成。0048进一步地，轮询协调模块还用于在采用轮询的方法对请求队列中所有请求进行处理之后，设置完成队列；0049当请求队列中的请求被处理。
18、完成后，按照时间顺序将请求从请求队列转移至完成队列中；0050对请求的标签进行递增处理。0051进一步地，请求队列管理模块还用于0052获取请求队列中请求的总个数；0053确定请求队列中有效请求的总个数包括0054根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则将这两个请求合并为一个请求；0055请求队列中有效请求的总个数等于请求队列中请求的总个数减去合并请求的个数。0056进一步地，请求队列管理模块按照以下方式判断相邻的两个请求是否是同一个请求0057如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。0058本发。
19、明技术方案包括应用于异构融合架构，包括当请求到来时，获取请求队列中有效请求的总个数；判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值；当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总个数的步骤。本发明的技术方案降低了由于请求总量的差异而带来的对大数据处理的影响，从而提升了对大数据处理请求的效率，从而节约了系统开销。附图说明0059此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及。
20、其说明用于解释本发明，并不构成对本发明的不当限定。在附图中0060图1为本发明一种管理数据访问的方法的流程图；0061图2为本发明一种管理数据访问的装置的结构示意图。具体实施方式0062下面结合附图及具体实施例对本发明进行详细的说明。0063图1为本发明基于异构融合架构的缓存管理方法的流程图，如图1所示，该方法应说明书CN104182490A4/6页8用于异构融合架构，包括以下步骤0064步骤101，当请求到来时，获取请求队列中有效请求的总个数。0065在该步骤之前，还包括预先设置请求队列；0066其中，当请求到来时，在获取请求队列中有效请求的总个数之前还包括将请求按照时间顺序添加到请求队列中。
21、。0067以及，0068预先设置请求名称为数据名称属性标签；0069其中，标签的初始值设置为0；也可以将标签的初始值设置为其他的数值，并不用来限制本发明的保护范围；请求每被处理完一次，对所述请求的标签进行递增处理0070属性包括读数据请求或写数据请求。0071进一步地，在获取请求队列中有效请求的总个数之前，该方法还包括获取请求队列中请求的总个数。0072本步骤中，确定请求队列中有效请求的总个数具体包括0073根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则可以将这两个请求合并为一个请求；0074请求队列中有效请求的总个数等于请求队列中请求的总个数减去合。
22、并请求的个数。0075其中，按照以下方式判断相邻的两个请求是否是同一个请求0076如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相邻的两个请求是同一个请求。0077需要说明的是，关于如何获取请求队列中请求的总个数是本领域技术人员所熟知的惯用技术手段，在此不再赘述。0078步骤102，判断请求队列中有效请求的总个数是否大于或等于预先设置的请求个数阈值。0079步骤103，当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理；当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来并执行所述获取请求队列中有效请求的总。
23、个数的步骤。0080这里，当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，对所有请求不进行处理，即将请求暂时搁置，等待下一个请求的到来。0081本步骤中，采用轮询的方法对请求队列中所有请求进行处理，包括0082获取请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序；0083按照各个请求的标签的由大到小的顺序对各个请求进行处理。0084进一步地，在采用轮询的方法对请求队列中所有请求进行处理之后，该方法还包括设置完成队列；0085当所述请求队列中的请求被处理完成后，按照时间顺序将请求从请求队列转移至完成队列中。0086其中，按照各个请求的标签由大到小的顺序对各个请。
24、求进行处理，包括说明书CN104182490A5/6页90087按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性；0088当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成；0089请求被处理完成后，对所述请求的标签进行递增处理。0090本发明的方法中需要说明的是，请求队列、完成队列以及文件系统都存放在异构融合架构中的硬件层中。0091图2为本发明一种管理数据访问的装置的结构示意图，如图2所示，该装置应用于异构融合架构，包。
25、括请求队列管理模块、判断模块和轮询协调模块。其中，0092请求队列管理模块，用于当请求到来时，获取请求队列中有效请求的总个数。0093进一步地，请求队列管理模块还用于0094获取请求队列中请求的总个数；0095确定请求队列中有效请求的总个数包括0096根据请求队列中不同时间所对应的请求，判断相邻的两个请求是否是同一个请求，若是同一个请求，则可以将这两个请求合并为一个请求；0097请求队列中有效请求的总个数等于请求队列中请求的总个数减去合并请求的个数。0098其中，请求队列管理模块按照以下方式判断相邻的两个请求是否是同一个请求0099如果相邻的两个请求的请求名称中的数据名称和属性相同，则判断出相。
26、邻的两个请求是同一个请求。0100判断模块，用于判断获得的有效请求的总个数是否大于或等于预先设置的请求个数阈值。0101轮询协调模块，用于当获得的有效请求的总个数大于或等于预先设置的请求个数阈值时，采用轮询的方法对请求队列中所有请求进行处理。0102进一步地，轮询协调模块具体用于0103获取请求队列中各个请求的标签，对获得的各个请求的标签按照由大到小的顺序进行排序；0104按照各个请求的标签的由大到小的顺序对各个请求进行处理。0105进一步地，轮询协调模块还用于在所述采用轮询的方法对请求队列中所有请求进行处理之后，设置完成队列；0106当请求队列中的请求被处理完成后，按照时间顺序将请求从请求队。
27、列转移至完成队列中；0107对所述请求的标签进行递增处理。0108其中，轮询协调模块按照各个请求的标签的由大到小的顺序对各个请求进行处理，包括0109按照各个请求的标签的由大到小的顺序，依次获取各个请求的属性；0110请求队列管理模块，还用于当获得的有效请求的总个数小于预先设置的请求个数阈值时，继续等到请求到来。0111这里，当请求队列中有效请求的总个数小于预先设置的请求个数阈值时，对所有说明书CN104182490A6/6页10请求不进行处理，即将请求暂时搁置，等待下一个请求的到来。0112该装置还包括请求访问读写模块，用于0113当请求的属性显示为写数据请求时，将该数据写入异构融合架构中的。
28、文件系统中，并将该写操作返回至操作系统并记录该请求完成；当请求的属性显示为读数据请求时，读取读数据请求所要的数据并将该读操作返回至操作系统并记录该请求完成。0114该装置还包括设置模块，用于预先设置请求队列；0115当请求到来时将请求按照不同的时间顺序添加到请求队列中。0116以及，0117预先设置请求名称为数据名称属性标签，请求每被处理完一次，对所述请求的标签进行递增处理；0118其中，标签的初始值设置为0；此处也可以将标签的初始值设置为其他的数值，并不用来限制本发明的保护范围。0119属性包括读数据请求或写数据请求。0120本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。0121以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。说明书CN104182490A101/1页11图1图2说明书附图CN104182490A11。