《一种数据处理方法、装置及终端.pdf》由会员分享，可在线阅读，更多相关《一种数据处理方法、装置及终端.pdf（13页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104125163A43申请公布日20141029CN104125163A21申请号201310148437522申请日20130425H04L12/861201301H04L29/0620060171申请人腾讯科技（深圳）有限公司地址518044广东省深圳市福田区振兴路赛格科技园2栋东403室72发明人刘啸南熊欢74专利代理机构北京派特恩知识产权代理有限公司11270代理人蒋雅洁张颖玲54发明名称一种数据处理方法、装置及终端57摘要本发明公开了一种数据处理方法、装置及终端，其中，该方法包括接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数。
2、据队列以应答用户信息进行排序标识；将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。采用本发明，既能满足数据有效性，又能缓解系统资源占用和网络开销增大的问题。51INTCL权利要求书2页说明书7页附图3页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书7页附图3页10申请公布号CN104125163ACN104125163A1/2页21一种数据处理方法，其特征在于，该方法包括接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将所述。
3、应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。2根据权利要求1所述的方法，其特征在于，该方法还包括所述将请求用户数据队列推送给用户终端之前，将接收的时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。3根据权利要求2所述的方法，其特征在于，该方法还包括将请求用户数据队列推送给用户终端之前，从所述请求用户数据队列中删除无效数据。4根据权利要求3所述的方法，其特征在于，所述从所述请求用户数据队列中删除无效数据具体包括对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时。
4、间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。5一种数据处理方法，其特征在于，该方法包括触发数据交互请求来获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。6根据权利要求5所述的方法，其特征在于，所述触发数据交互请求具体包括由请求用户采用用户账号成功登录来触发所述数据交互请求。7根据权利要求5或6所述的方法，其特征在于，该方法还包括在所述数据交互请求中携带有时间戳，所述时间戳标识请求用户成功登录的时间。8根据权利要求7所述的方法，其特征在于，该方法还包括所述获取请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户。
5、数据队列包括所述时间戳。9一种数据处理装置，其特征在于，该装置包括获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；转换及排序单元，用于将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；推送单元，用于将请求用户数据队列推送给用户终端。10根据权利要求9所述的装置，其特征在于，该装置还包括封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。11根据权利要求10所述的装置，其特征在于，该装置还包括数据删除单元，。
6、用于从所述请求用户数据队列中删除无效数据。12根据权利要求11所述的装置，其特征在于，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。权利要求书CN104125163A2/2页313根据权利要求9至12任一项所述的装置，其特征在于，该装置位于后台服务器侧。14一种数据处理终端，其特征在于，该终端包括数据请求单元，用于触发数据交互请求；数据获取单元，用于获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。15根据权利要求14所述的终。
7、端，其特征在于，所述数据请求单元，进一步用于由请求用户采用用户账号成功登录来触发所述数据交互请求。16根据权利要求15所述的终端，其特征在于，该终端还包括数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。17根据权利要求16所述的终端，其特征在于，该终端还包括数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。权利要求书CN104125163A1/7页4一种数据处理方法、装置及终端技术领域0001本发明涉及互联网数据交互的处理技术，尤其涉及一种数据处理方法、装置及终端。背景技术0002随着互联网技术的普及，人们获得。
8、有效数据的方式，已经由传统的媒体如报纸，期刊等转到互联网媒体，互联网中存在信息量巨大的数据，用户可以根据自身需求直接从互联网中获取大量数据，也可以通过数据共享的方式获得数据。互联网技术兴起后出现了大量社交应用类的工具，这些社交应用类的工具就是为了方便用户间数据共享来设计的，虽然提供了多种数据共享途径，但是也存在问题，诸如，数据共享是能获得更多的数据，但是哪些是用户需要的有效数据未可知；数据共享是基于数据交互存在的，信息量巨大的数据在数据交互时必定导致系统资源占用，如接收端接收数据时的缓存占用，交互时网络带宽占用导致网络开销增大的问题。0003目前，为了解决上述问题，采用的方案主要有两种数据处理。
9、方案，对数据进行处理来获得有效数据，以减少数据交互时的数据量，分别阐述如下0004方案一对于数据交互时传输的数据，采用存储量固定的数据格式，比如可以设置最多存储的数据量上限，数据按照先进先出的方式进行处理。这个方案存在的问题是设定数据量上限的数据格式，没法完整的表述所有的数据，因为超过数据量上限就不支持了，因此，这种处理方案只是针对局部数据的，无法针对所有的全量数据，数据量虽然小了，对系统资源占用和网络开销增大的问题有所缓解，但是由于不是针对全量数据，分析不准确，会导致从全量数据中得到有效数据的概率大大降低。0005方案二对于数据交互时传输的数据，不限定具体的数据格式，区别于上述方案一是针对局。
10、部数据进行处理，本方案是针对全量数据进行处理，以获得有效数据。这个方案存在的问题是虽然没有设定数据量上限，针对全量数据，可以完整的表述所有的数据，针对全量数据处理，分析准确，得到有效数据的概率大大提高，但是，交互时获得全量数据的过程，由于数据量巨大，没法缓解系统资源占用和网络开销增大的问题。0006综上所述，无论采用哪种现有方案，都没法既能满足数据有效性，又能缓解系统资源占用和网络开销增大的问题。发明内容0007有鉴于此，本发明的主要目的在于提供一种数据处理方法、装置及终端，既能满足数据有效性，又能缓解系统资源占用和网络开销增大的问题。0008为达到上述目的，本发明的技术方案是这样实现的000。
11、9一种数据处理方法，该方法包括0010接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；说明书CN104125163A2/7页50011将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；0012将请求用户数据队列推送给用户终端。0013其中，该方法还包括所述将请求用户数据队列推送给用户终端之前，将接收的时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。0014其中，该方法还包括将请求用户数据队列推送给用户终端之前，从所述请求用户数据队列中删。
12、除无效数据。0015其中，所述从所述请求用户数据队列中删除无效数据具体包括对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。0016一种数据处理方法，该方法包括0017触发数据交互请求来获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。0018其中，所述触发数据交互请求具体包括由请求用户采用用户账号成功登录来触发所述数据交互请求。0019其中，该方法还包括在所述数据交互请求中携带有时间戳，所述时间戳标识请求用户成功登录的时间。0020其中，该方法还包括所述获。
13、取请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。0021一种数据处理装置，该装置包括0022获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；0023转换及排序单元，用于将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；0024推送单元，用于将请求用户数据队列推送给用户终端。0025其中，该装置还包括封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。0026其中，该装。
14、置还包括数据删除单元，用于从所述请求用户数据队列中删除无效数据。0027其中，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。0028其中，该装置位于后台服务器侧。0029一种数据处理终端，该终端包括0030数据请求单元，用于触发数据交互请求；0031数据获取单元，用于获取请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。0032其中，所述数据请求单元，进一步用于由请求用户采用用户账号成功登录来触发说明书CN104125163A3/。
15、7页6所述数据交互请求。0033其中，该终端还包括数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。0034其中，该终端还包括数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。0035本发明的方法是接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。0036采用本发明，由于是根据用户相关度关系获取与请求用户对应的应答用户的数据。
16、队列，因此，处理得到的数据既不会有遗漏，又是和请求用户最相关的有效数据，从而既能满足数据有效性，又能缓解系统资源占用和网络开销增大的问题。附图说明0037图1为本发明方法实施例一的实现流程示意图；0038图2为本发明方法实施例二的实现流程示意图；0039图3为本发明装置实施例的组成结构示意图；0040图4为本发明终端实施例的组成结构示意图；0041图5为本发明应用实例一的数据交互示意图；0042图6为本发明应用实例二的数据交互示意图。具体实施方式0043本发明的基本思想是接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识；将应。
17、答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；将请求用户数据队列推送给用户终端。0044下面结合附图对技术方案的实施作进一步的详细描述。0045方法实施例一本发明的数据处理方法，如图1所示，该方法包括以下步骤0046步骤101、接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列以应答用户信息进行排序标识。0047这里，数据交互请求由请求用户采用用户账号成功登录后触发。0048这里，该应答用户数据队列的数据结构为以应答用户信息进行排序标识，该应答用户数据队列的具体结构形式，在后续方法实施例有具体描述。0049步骤10。
18、2、将应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识。0050这里，请求用户数据队列存储在数据库中，数据库可以为REDIS，REDIS为高性能的KEYVALUE数据库，是开源的内存数据库，REDIS是其名称。0051这里，请求用户数据队列以用户帐号进行指示，即请求用户数据队列为以用户帐号指示的包含请求用户信息的队列，且请求用户信息中包括时间戳，时间戳也可以单独说明书CN104125163A4/7页7表示，不加入对应请求用户信息中。也就是说，所述时间戳在所述请求用户数据队列的封装方式有两种一将所述请求用户成功登录的时间以时间戳的形式直接加入请求用户数据队列中。
19、的对应请求用户信息中；或者，将所述请求用户成功登录的时间以时间戳的形式加入请求用户数据队列，与对应请求用户信息分别表示在数据队列中。请求用户数据队列的具体结构形式，在后续方法实施例有具体描述。0052步骤103、将请求用户数据队列推送给用户终端。0053这里，将请求用户数据队列推送给用户终端之前，将时间戳封装到请求用户数据队列中的对应请求用户信息中；时间戳标识请求用户成功登录的时间。0054这里，将请求用户数据队列推送给用户终端之前，从请求用户数据队列中删除无效数据。0055这里，所述从请求用户数据队列中删除无效数据具体为对请求用户数据队列进行定期扫描或定时扫描，当时间戳超过预设时间上限仍没有。
20、更新时，将对应请求用户信息判定为无效数据，从请求用户数据队列中删除对应请求用户信息。0056这里，定期扫描为周期性的定期扫描，是按照预设的频率来进行扫描，比如一天，一周等来扫描；而定时扫描是按照预设的时间点进行扫描，比如9点，10点等来扫描。0057方法实施例二本发明的数据处理方法，如图2所示，该方法包括以下步骤0058步骤201、触发数据交互请求，请求根据用户相关度关系返回与请求用户对应的应答用户数据队列；应答用户数据队列以应答用户信息进行排序标识。0059这里，所述请求根据用户相关度关系返回与请求用户对应的应答用户数据队列具体包括由请求用户采用用户账号成功登录后触发所述请求。0060步骤2。
21、02、获取对应答用户数据队列转换后得到的请求用户数据队列；请求用户数据队列以请求用户信息进行排序标识。0061这里，所述获取对所述应答用户数据队列转换后得到的请求用户数据队列之前，将时间戳携带在数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。0062这里，所述获取对所述应答用户数据队列转换后得到的请求用户数据队列之后，显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。0063装置实施例本发明的数据处理装置，位于后台服务器侧，如图3所示，该装置包括0064获取及排序单元，用于接收数据交互请求，根据用户相关度关系获得与请求用户对应的应答用户数据队列，将应答用户数据队列。
22、以应答用户信息进行排序标识；0065转换及排序单元，用于将所述应答用户数据队列转换为请求用户数据队列，将请求用户数据队列以请求用户信息进行排序标识；0066推送单元，用于将请求用户数据队列推送给用户终端。0067这里，该装置还包括封装单元，用于将时间戳封装到所述请求用户数据队列中的对应请求用户信息中；所述时间戳标识请求用户成功登录的时间。0068这里，该装置还包括数据删除单元，用于从所述请求用户数据队列中删除无效数据。0069这里，所述数据删除单元，进一步用于对所述请求用户数据队列进行定期扫描或说明书CN104125163A5/7页8定时扫描，当所述时间戳超过预设时间上限仍没有更新时，将对应请。
23、求用户信息判定为无效数据，从所述请求用户数据队列中删除对应请求用户信息。0070这里，该装置还包括数据存储单元，用于存储所述请求用户数据队列。0071进一步的，所述获取及排序单元、所述转换及排序单元、所述封装单元、所述数据删除单元不仅可以如上述描述在该装置中分开独立设置，还可以合并设置到该装置内的一个数据处理执行单元中。0072所述数据存储单元，数据存储单元可以采用一主模块和多个从模块配合工作的逻辑结构；其中，从模块用于执行并发处理的读操作，并将收到的、用户采用用户帐号成功登录触发数据交互请求后获取的请求用户信息读入所述主模块。主模块用于对来自于多个所述从模块的所述请求用户信息进行去重复处理后。
24、存储，将去重复处理后的信息提供给数据处理执行单元进行数据处理，存储数据处理后获得的所述请求用户数据队列。从模块进一步用于以批处理的方式，收到用户采用用户帐号成功登录触发数据交互请求后获取的请求用户信息。0073终端实施例本发明的数据处理终端，位于前端用户终端侧，如图4所示，该终端包括0074数据请求单元，用于触发数据交互请求，请求根据用户相关度关系返回与请求用户对应的应答用户数据队列；所述应答用户数据队列以应答用户信息进行排序标识；0075数据获取单元，用于获取对所述应答用户数据队列转换后得到的请求用户数据队列；所述请求用户数据队列以请求用户信息进行排序标识。0076这里，所述数据请求单元，进。
25、一步用于由请求用户采用用户账号成功登录来触发所述数据交互请求。0077这里，该终端还包括数据发送单元，用于将时间戳携带在所述数据交互请求中发送给服务器；所述时间戳标识请求用户成功登录的时间。0078这里，该终端还包括数据显示单元，用于显示所述请求用户数据队列，所述请求用户数据队列包括所述时间戳。0079这里需要指出的是，本发明适用于所有数据交互场景，包括应用各种社交应用类的工具的情况，不限于微博的数据交互场景。0080应用实例一为本发明数据交互及数据处理的一应用实例，社交应用类的工具为微博时的数据交互应用场景。本实例基于本发明分别位于用户终端侧和服务器侧的上述装置中的单元进行数据交互及数据处理。
26、。0081这里，在本实例具体的微博应用中，具体的，通过用户成功登录后的上线命令触发数据交互请求，请求用户为粉丝，应答用户为偶像，用户相关度关系为粉丝与偶像间的收听与被收听关系，有效数据为粉丝是否为活跃度用户，活跃度并不是以即时在线或离线的状态来界定，而是以粉丝和偶像间相互收听与被收听的关注度关系来界定，比如，一个粉丝虽然在线，但是与偶像间即时没有相互收听与被收听的关注度关系，那这个粉丝就不算活跃，不属于有效数据，以此类推，不做赘述。其中，就偶像和粉丝而言，A收听了B，则A是B的粉丝，B是A的偶像。本实施例中以A表示粉丝用户，B表示偶像用户。就活跃度而言，如果A在30分钟内发表过微博或拉取过首页。
27、，则认为A活跃，在线状态，反之则认为A不活跃，离线状态。说明书CN104125163A6/7页90082如图5所示，本实例的流程包括以下内容00831、通过用户UIN的上线命令触发数据交互请求。00842、收到上线命令后，拉取粉丝A的偶像链B的数据队列偶像链AIDOL1，IDOL2，。00853、对以B进行排序标识的数据队列AIDOL1，IDOL2，进行数据格式转换，得到以A进行排序标识的数据队列粉丝链IDOL1A，IDOL2A，。00864、将粉丝链IDOL1TIME，A，IDOL2TIME，A，存储到包含REDIS类型数据库的数据存储单元。0087这里，每个粉丝A多了一个时间戳TIME，用。
28、于标识A的上线时间。00885、对REDIS类型数据库中的粉丝进行周期性扫描，如果粉丝的时间戳超过30分钟没有更新，则删除该粉丝。0089以下以微博应用场景，对比本发明和现有技术，以体现本发明的优越性。0090现有技术的微博应用场景下，采用的处理方案有两种0091处理方案一数据交互时传输的数据，采用存储量固定的数据格式，数据量上限为存储最近的1万粉丝。该方案存在的问题是数据在存储上有所限制，限定只存储1万个粉丝，多出来粉丝，按照先进先出的方法进行淘汰，一方面，长度会受限，只能存储1万个在线粉丝，而实际中很多用户的在线粉丝会超出100万，可见，设置数据量上限后，只能针对局部数据处理，虽然数据交互。
29、时的数据量减少了，但是有效数据也会随之减少；另一方面，数据有效性很低，最近的1万个粉丝不一定都在线，而很多在线粉丝又不在这1万个里面，不能真实反映用户活跃度。0092处理方案二数据交互时传输的数据，不限定具体的数据格式，针对全量数据，即拉取全量粉丝然后处理出在线粉丝。具体的，首先将一个用户的全量粉丝拉取出来，然后根据这些粉丝的状态处理出在线的粉丝。该方案存在的问题是针对全量数据，数据量大，则有效数据也有更多选择，会更加精确，但是，一方面，通信和计算开销过大，因为很多用户的粉丝多达百万甚至千万，拉取全量粉丝会导致很大的网络开销，拉取完后再处理出在线粉丝又会导致很大的计算开销，对系统资源，如缓存占。
30、用大，加重CPU的负载；另一方面，延迟太大，因为全量粉丝数据量很大，拉取和处理需要一定时间，导致延迟很大。0093综上所述，采用处理方案一和处理方案二，无法既能满足数据有效性，又能缓解系统资源占用和网络开销增大的问题，因为它们都是基于单向数据来处理的，所谓单向数据是指仅仅针对用户的粉丝来展开的数据，不考虑相关度，得到的粉丝会有很多。而本发明可以理解为基于双向数据来处理，所谓双向数据是指根据用户相关度关系来处理，具体到微博应用为粉丝与偶像间的收听与被收听关系，因为是相关度来看，所以得到的数据相比现有技术就会少很多，而且基于相关度来看的粉丝成为有效数据的概率更高，除了交互数据量减小，有效数据的概率。
31、更高，由于能尽快得到有效数据，因此，交互的延时也小。0094应用实例二社交应用类的工具为微博时的数据交互应用场景。0095如图6所示，图6为数据处理执行单元和数据存储单元间的交互示意图。本实例中，数据存储单元为一主多从的逻辑结构，即一个主模块和多个从模块构成的逻辑结构，且采用REDIS的数据库。0096数据存储单元存储数据的时候，采用现有REDIS的有序集合，简称ZSET，由于有序说明书CN104125163A7/7页10集合自身的特点，使得两个问题得到了高效解决一在线粉丝的自动去重复处理，多个从模块并行处理，会将读入的数据都传输给主模块，这样数据传输效率会高，而且多个从模块间保存的同样的数据。
32、可以互相备份，如果任一个出现问题，都确保数据不会丢失，提高安全性，但是由于多个从模块读入的数据会有所重复，因此，需要主模块进行去重复处理，在微博应用场景下，重复粉丝只保留一个；二一个用户的所有在线粉丝自动按照上线时间进行排序，很容易得到时间戳。0097在数据存储单元存储数据时，数据格式也称为存储结构的逻辑表示为0098UINTIME1，FAN1，TIME2，FAN2，TIME3，FAN3，0099其中，UIN表示用户的用户帐号，后面跟着该用户的在线粉丝链，每个在线粉丝用一对元组TIME，FAN来表示，TIME表示上线时的时间戳，FAN表示该粉丝的用户帐号。0100数据处理执行单元从数据存储单元。
33、获得待处理数据实现处理。0101这里需要指出的是图6的逻辑结构为2层架构，即逻辑层数据处理执行单元与存储层数据存储单元，两层通过网络相连。分为2层降低了系统的耦合性，使得逻辑与存储可以独立维护。逻辑层数据处理执行单元与存储层数据存储单元也可以集成在一起。0102逻辑层数据处理执行单元与存储层数据存储单元采用流水线，应用程序编程接口API，APPLICATIONPROGRAMMINGINTERFACE进行通信，使得多个粉丝通过批处理方式可以一次添加完成，而不需要一次次分别添加，因此大大提高了操作效率并降低了整体延时。0103存储层数据存储单元采用一主多从，即一个主MASTER多个从SLAVE的逻辑结构，数据存储单元的主模块承担写操作，数据存储单元的从模块承担读操作。一主多从结构适应了业务的多读少写的特点，提高了系统的整体性能。0104以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。说明书CN104125163A101/3页11图1图2说明书附图CN104125163A112/3页12图3图4图5说明书附图CN104125163A123/3页13图6说明书附图CN104125163A13。