《一种基于分布式系统架构的数据映射推送系统及方法.pdf》由会员分享，可在线阅读，更多相关《一种基于分布式系统架构的数据映射推送系统及方法.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102946423 A (43)申请公布日 2013.02.27 C N 1 0 2 9 4 6 4 2 3 A *CN102946423A* (21)申请号 201210433646.X (22)申请日 2012.10.31 H04L 29/08(2006.01) (71)申请人中国运载火箭技术研究院 地址 100076 北京市9200信箱38分箱 (72)发明人毕经元 张巍 侯雄 杨秋皓 杨玉堃 王立伟 贾倩 杜俊鹏 褚厚斌 康磊晶 章乐平 王志勇 张冶 许怡婷 郭莉 (74)专利代理机构中国航天科技专利中心 11009 代理人安丽 (54) 发明名称 一种基于分。
2、布式系统架构的数据映射推送系 统及方法 (57) 摘要 一种基于分布式系统架构的数据映射推送系 统及方法，该系统及方法在分布式系统环境下提 供一种数据推送的有效途径。该系统由6个模块 组成：数据采集模块、数据推送模块、数据解析封 装模块、数据匹配模块、数据映射模块以及数据展 示模块，实现了数据资源的跨业务领域映射，提升 了基于用户业务行为的数据推送实时性，本发明 具有跨业务、实时推送的优点。 (51)Int.Cl. 权利要求书2页 说明书7页 附图4页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 7 页 附图 4 页 1/2页 2 1.一种基于分布式。
3、系统架构的数据映射推送系统，其特征在于：所述分布式系统由客 户端服务器和中心服务器构成，在客户端服务器部署数据采集模块、数据推送模块及数据 展示模块；中心服务器部署于数据解析封装模块、数据匹配模块及数据映射模块； 数据采集模块：当客户端发生数据资源提交行为时，对分布式系统客户端的用户业务 行为与用户的数据资源提交行为进行记录，并将记录结果传递至中心服务器，所述的分布 式系统由中心服务器与客户端服务器组成，客户端服务器间的通讯由中心服务器完成，所 述的用户业务行为由行为名称、行为时间和分布式系统客户端标识组成，行为名称为数据 流来源应用程序名称，所述的数据资源提交行为由数据资源名称、数据资源存放。
4、地址、行为 时间和分布式系统客户端标识组成，所述的记录结果由用户业务行为和数据资源提交行为 组成；当客户端服务器与中心服务器通讯时，在客户端TCP/IP端口过滤数据流，若数据流 在dataflow集(数据流格式集合)中存在定义，则对用户业务行为与数据资源提交行为进 行记录并形成记录结果文件，供数据解析封装模块调用；若本地dataflow集内无对应数据 流格式，则在本地dataflow集和action集(用户业务行为名称集合)中增加新记录，供数 据解析封装模块调用；所述的dataflow集是数据流格式集合；所述的action集是用户业 务行为名称集合； 数据解析封装模块：接收数据采集模块产生的记。
5、录结果文件，解析文件中客户端标识、 用户业务行为名称、数据资源名称、数据资源存放地址四项属性信息，并以XML格式存储于 中心服务器端，供数据映射模块调用；接收数据推送模块产生的数据资源推送请求文件，解 析文件中的用户业务行为名称、时间、客户端标识三项属性信息，并以XML格式存储于中心 服务器端，供数据匹配模块调用；接收数据匹配模块产生的数据资源列表文件，解析文件中 的推送请求客户端标识，根据得到的客户端位置，将数据资源列表文件分发至相应客户端； 接收数据采集模块发送的dataflow集与action集，转换为XML格式后供数据映射模块调 用；接收数据映射模块发送的最新dataflow集与act。
6、ion集，并分发至系统内各客户端； 数据映射模块：接收数据解析封装模块传送的记录结果文件，创建按照主键、客户端标 识、用户业务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成的数据映 射记录，并将该记录写入数据映射表；接收数据解析封装模块发送的dataflow集与action 集，并将新增信息写入数据映射表中的对应集合；提取数据映射表中的最新dataflow集与 action集，将其发送至数据映射模块； 数据推送模块：在客户端服务器进程中捕捉用户业务行为，并在action集内进行匹 配，若存在对应记录，则生成数据资源推送请求文件，所述请求文件由业务行为名称、客户 端标识及时间组成，。
7、供数据映射模块调用；接收并解析数据资源列表文件，生成包含数据资 源名称、客户端标识以及时间的数据资源列表，供数据展示模块调用； 数据匹配模块：接收数据解析封装模块产生的数据资源推送请求文件，得到推送请求 的用户业务行为名称，并根据用户业务行为名称从数据映射记录中检索，将请求客户端标 识、数据资源名称、数据资源存放地址及来源客户端标识封装为数据资源列表文件，发送至 数据解析封装模块； 数据展示模块：接收数据推送模块发送的数据资源列表文件，解析文件中的数据资源 名称、客户端位置及时间属性，并采用悬浮窗方式在客户端服务器进行动态显示。 2.一种基于分布式系统架构的数据映射推送方法，其特征在于实现步骤。
8、如下： 权 利 要 求 书CN 102946423 A 2/2页 3 (1)当客户端发生数据资源提交行为时，对分布式系统客户端的用户业务行为与用户 的数据资源提交行为进行记录，并将记录结果传递至中心服务器；当客户端服务器与中心 服务器通讯时，在客户端TCP/IP端口过滤数据流，若数据流在dataflow集中存在定义，则 对用户业务行为与数据资源提交行为进行记录并形成记录结果文件，供数据解析封装模块 调用；若本地dataflow集内无对应数据流格式，则在本地dataflow集和action集中增加 新记录，供数据解析封装模块调用； (2)接收数据采集模块产生的记录结果文件，解析文件中客户端标识、。
9、用户业务行为名 称、数据资源名称、数据资源存放地址四项属性信息，并以XML格式存储于中心服务器端， 供数据映射模块调用；接收数据推送模块产生的数据资源推送请求文件，解析文件中的用 户业务行为名称、时间、客户端标识三项属性信息，并以XML格式存储于中心服务器端，供 数据匹配模块调用；接收数据匹配模块产生的数据资源列表文件，解析文件中的推送请求 客户端标识，根据得到的客户端位置，将数据资源列表文件分发至相应客户端；接收数据采 集模块发送的dataflow集与action集，转换为XML格式后供数据映射模块调用；接收数据 映射模块发送的最新dataflow集与action集，并分发至系统内各客户端；。
10、 (3)接收数据解析封装模块传送的记录结果文件，创建按照主键、客户端标识、用户业 务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成的数据映射记录，并 将该记录写入数据映射表；接收数据解析封装模块发送的dataflow集与action集，并将新 增信息写入数据映射表中的对应集合；提取数据映射表中的最新dataflow集与action集， 将其发送至数据映射模块； (4)在客户端服务器进程中捕捉用户业务行为，并在action集内进行匹配，若存在对 应记录，则生成数据资源推送请求文件，所述请求文件由业务行为名称、客户端标识及时间 组成，供数据映射模块调用；接收并解析数据资源列表文件，生。
11、成包含数据资源名称、客户 端标识以及时间的数据资源列表，供数据展示模块调用； (5)接收数据解析封装模块产生的数据资源推送请求文件，得到推送请求的用户业务 行为名称，并根据用户业务行为名称从数据映射记录中检索，将请求客户端标识、数据资源 名称、数据资源存放地址及来源客户端标识封装为数据资源列表文件，发送至数据解析封 装模块； (6)接收数据推送模块发送的数据资源列表文件，解析文件中的数据资源名称、客户端 位置以及时间属性，并采用悬浮窗方式在客户端服务器进行动态显示。 权 利 要 求 书CN 102946423 A 1/7页 4 一种基于分布式系统架构的数据映射推送系统及方法 技术领域 0001。
12、 本发明涉及一种基于分布式系统架构的数据映射推送系统及方法，属于计算机网 络应用领域。 背景技术 0002 当前的数据映射推送方法注重数据本身的积累与分析。通过对某一特定业务的数 据进行积累，对数据本身的内容进行关联度、用户兴趣度等多维度分析后，根据分析结果完 成推送操作。 0003 但是，目前的分布式系统架构下，缺少统一的跨业务、实时性的数据映射与推送方 法。现有数据映射推送方法无法快速应对客户端服务多样性，通常需要针对某一项业务定 制开发数据映射推送方法，且对数据推送的实时性关注度不足，导致了不同业务应用中的 数据流无法统一管理、数据推送方法难以通用以及数据推送严重异步。 发明内容 000。
13、4 本发明的技术解决问题：克服现有技术的不足，提供一种基于分布式架构的数据 映射推送系统及方法，克服了数据流跨业务领域管理问题，提高了数据推送实时性。 0005 本发明的技术解决方案：基于分布式系统架构的数据映射推送系统，所述分布式 系统由客户端服务器和中心服务器构成，在客户端服务器部署数据采集模块、数据推送模 块及数据展示模块；中心服务器部署于数据解析封装模块、数据匹配模块及数据映射模 块； 0006 数据采集模块：当客户端发生数据资源提交行为时，对分布式系统客户端的用户 业务行为与用户的数据资源提交行为进行记录，并将记录结果传递至中心服务器，所述的 分布式系统由中心服务器与客户端服务器组成。
14、，客户端服务器间的通讯由中心服务器完 成，所述的用户业务行为由行为名称、行为时间和分布式系统客户端标识组成，行为名称为 数据流来源应用程序名称，所述的数据资源提交行为由数据资源名称、数据资源存放地址、 行为时间和分布式系统客户端标识组成，所述的记录结果由用户业务行为和数据资源提交 行为组成；当客户端服务器与中心服务器通讯时，在客户端TCP/IP端口过滤数据流，若数 据流在dataflow集中存在定义，则对用户业务行为与数据资源提交行为进行记录并形成 记录结果文件，供数据解析封装模块调用；若本地dataflow集内无对应数据流格式，则在 本地dataflow集和action集中增加新记录，供数据。
15、解析封装模块调用；所述的dataflow 集是数据流格式集合；所述的action集是用户业务行为名称集合； 0007 数据解析封装模块：接收数据采集模块产生的记录结果文件，解析文件中客户端 标识、用户业务行为名称、数据资源名称、数据资源存放地址四项属性信息，并以XML格式 存储于中心服务器端，供数据映射模块调用；接收数据推送模块产生的数据资源推送请求 文件，解析文件中的用户业务行为名称、时间、客户端标识三项属性信息，并以XML格式存 储于中心服务器端，供数据匹配模块调用；接收数据匹配模块产生的数据资源列表文件，解 说 明 书CN 102946423 A 2/7页 5 析文件中的推送请求客户端标。
16、识，根据得到的客户端位置，将数据资源列表文件分发至相 应客户端；接收数据采集模块发送的dataflow集与action集，转换为XML格式后供数据映 射模块调用；接收数据映射模块发送的最新dataflow集与action集，并分发至系统内各客 户端； 0008 数据映射模块：接收数据解析封装模块传送的记录结果文件，创建按照主键、客 户端标识、用户业务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成 的数据映射记录，并将该记录写入数据映射表；接收数据解析封装模块发送的dataflow 集与action集，并将新增信息写入数据映射表中的对应集合；提取数据映射表中的最新 dataflow。
17、集与action集，将其发送至数据映射模块； 0009 数据推送模块：在客户端服务器进程中捕捉用户业务行为，并在action集内进行 匹配，若存在对应记录，则生成数据资源推送请求文件，所述请求文件由业务行为名称、客 户端标识以及时间组成，供数据映射模块调用；接收并解析数据资源列表文件，生成包含数 据资源名称、客户端标识及时间的数据资源列表，供数据展示模块调用； 0010 数据匹配模块：接收数据解析封装模块产生的数据资源推送请求文件，得到推送 请求的用户业务行为名称，并根据用户业务行为名称从数据映射记录中检索，将请求客户 端标识、数据资源名称、数据资源存放地址及来源客户端标识封装为数据资源列表文。
18、件，发 送至数据解析封装模块； 0011 数据展示模块：接收数据推送模块发送的数据资源列表文件，解析文件中的数据 资源名称、客户端位置以及时间属性，并采用悬浮窗方式在客户端服务器进行动态显示。 0012 基于分布式系统架构的数据映射推送方法，实现步骤如下： 0013 (1)当客户端发生数据资源提交行为时，对分布式系统客户端的用户业务行为与 用户的数据资源提交行为进行记录，并将记录结果传递至中心服务器；当客户端服务器与 中心服务器通讯时，在客户端TCP/IP端口过滤数据流，若数据流在dataflow集中存在定 义，则对用户业务行为与数据资源提交行为进行记录并形成记录结果文件，供数据解析封 装模块。
19、调用；若本地dataflow集内无对应数据流格式，则在本地dataflow集和action集 中增加新记录，供数据解析封装模块调用； 0014 (2)接收数据采集模块产生的记录结果文件，解析文件中客户端标识、用户业务行 为名称、数据资源名称、数据资源存放地址四项属性信息，并以XML格式存储于中心服务器 端，供数据映射模块调用；接收数据推送模块产生的数据资源推送请求文件，解析文件中的 用户业务行为名称、时间、客户端标识三项属性信息，并以XML格式存储于中心服务器端， 供数据匹配模块调用；接收数据匹配模块产生的数据资源列表文件，解析文件中的推送请 求客户端标识，根据得到的客户端位置，将数据资源列表。
20、文件分发至相应客户端；接收数据 采集模块发送的dataflow集与action集，转换为XML格式后供数据映射模块调用；接收数 据映射模块发送的最新dataflow集与action集，并分发至系统内各客户端； 0015 (3)接收数据解析封装模块传送的记录结果文件，创建按照主键、客户端标识、用 户业务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成的数据映射记 录，并将该记录写入数据映射表；接收数据解析封装模块发送的dataflow集与action集， 并将新增信息写入数据映射表中的对应集合；提取数据映射表中的最新dataflow集与 action集，将其发送至数据映射模块； 说 。
21、明 书CN 102946423 A 3/7页 6 0016 (4)在客户端服务器进程中捕捉用户业务行为，并在action集内进行匹配，若存 在对应记录，则生成数据资源推送请求文件，所述请求文件由业务行为名称、客户端标识以 及时间组成，供数据映射模块调用；接收并解析数据资源列表文件，生成包含数据资源名 称、客户端标识以及时间的数据资源列表，供数据展示模块调用； 0017 (5)接收数据解析封装模块产生的数据资源推送请求文件，得到推送请求的用户 业务行为名称，并根据用户业务行为名称从数据映射记录中检索，将请求客户端标识、数据 资源名称、数据资源存放地址以及来源客户端标识封装为数据资源列表文件，发送。
22、至数据 解析封装模块； 0018 (6)接收数据推送模块发送的数据资源列表文件，解析文件中的数据资源名称、客 户端位置以及时间属性，并采用悬浮窗方式在客户端服务器进行动态显示。 0019 本发明与现有技术相比的优点在于： 0020 (1)本发明通过给出的数据采集、数据推送以及数据展示功能，实现了用于实现数 据资源与用户业务行为的跨业务领域的紧密映射，有助于从用户业务行为角度进行多业务 领域的数据映射操作。 0021 (2)本发明通过给出的数据匹配、数据映射以及数据解析封装功能，提升了基于用 户业务行为的数据推送实时性。 附图说明 0022 图1为本发明系统的组成框图； 0023 图2为本发明系。
23、统中的数据采集模块实现过程； 0024 图3为本发明系统中的数据推送模块实现过程； 0025 图4为本发明系统中的数据解析封装模块实现过程； 0026 图5为本发明系统中的数据匹配模块实现过程； 0027 图6为本发明系统中的数据映射模块实现过程； 0028 图7为本发明系统中的数据展示模块实现过程。 具体实施方式 0029 如图1所示，本发明一种基于分布式系统架构的数据映射推送系统由分布式系统 由客户端服务器和中心服务器构成，在客户端服务器部署数据采集模块、数据推送模块及 数据展示模块；中心服务器部署于数据解析封装模块、数据匹配模块及数据映射模块； 0030 整个实现过程如下： 0031 (。
24、1)当客户端发生数据资源提交行为时，对分布式系统客户端的用户业务行为与 用户的数据资源提交行为进行记录，并将记录结果传递至中心服务器；当客户端服务器与 中心服务器通讯时，在客户端TCP/IP端口过滤数据流，若数据流在dataflow集中存在定 义，则对用户业务行为与数据资源提交行为进行记录并形成记录结果文件，供数据解析封 装模块调用；若本地dataflow集内无对应数据流格式，则在本地dataflow集和action集 中增加新记录，供数据解析封装模块调用； 0032 (2)接收数据采集模块产生的记录结果文件，解析文件中客户端标识、用户业务行 为名称、数据资源名称、数据资源存放地址四项属性信息。
25、，并以XML格式存储于中心服务器 说 明 书CN 102946423 A 4/7页 7 端，供数据映射模块调用；接收数据推送模块产生的数据资源推送请求文件，解析文件中的 用户业务行为名称、时间、客户端标识三项属性信息，并以XML格式存储于中心服务器端， 供数据匹配模块调用；接收数据匹配模块产生的数据资源列表文件，解析文件中的推送请 求客户端标识，根据得到的客户端位置，将数据资源列表文件分发至相应客户端；接收数据 采集模块发送的dataflow集与action集，转换为XML格式后供数据映射模块调用；接收数 据映射模块发送的最新dataflow集与action集，并分发至系统内各客户端； 003。
26、3 (3)接收数据解析封装模块传送的记录结果文件，创建按照主键、客户端标识、用 户业务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成的数据映射记 录，并将该记录写入数据映射表；接收数据解析封装模块发送的dataflow集与action集， 并将新增信息写入数据映射表中的对应集合；提取数据映射表中的最新dataflow集与 action集，将其发送至数据映射模块； 0034 (4)在客户端服务器进程中捕捉用户业务行为，并在action集内进行匹配，若存 在对应记录，则生成数据资源推送请求文件，所述请求文件由业务行为名称、客户端标识以 及时间组成，供数据映射模块调用；接收并解析数据资。
27、源列表文件，生成包含数据资源名 称、客户端标识以及时间的数据资源列表，供数据展示模块调用； 0035 (5)接收数据解析封装模块产生的数据资源推送请求文件，得到推送请求的用户 业务行为名称，并根据用户业务行为名称从数据映射记录中检索，将请求客户端标识、数据 资源名称、数据资源存放地址以及来源客户端标识封装为数据资源列表文件，发送至数据 解析封装模块； 0036 (6)接收数据推送模块发送的数据资源列表文件，解析文件中的数据资源名称、客 户端位置以及时间属性，并使用悬浮窗方式在客户端服务器进行动态显示。 0037 上述实现过程的具体实施如下： 0038 1.硬件设备选型 0039 上述客户端服务。
28、器与中心服务器的硬件选型如下： 0040 客户端服务器最低配置要求： 0041 CPU主频：1GHz 0042 内存：1GB 0043 硬盘容量：1T 0044 以太网卡：百兆 0045 中心服务器最低配置要求： 0046 CPU主频：128GHz 0047 内存：64GB 0048 硬盘容量：128T 0049 以太网卡：千兆 0050 2.数据采集模块 0051 该模块的实现过程如图2所示： 0052 (1)从客户端服务器获取数据流的产生操作，并读取数据流类型。 0053 (2)如果在dataflow集内不存在此类型，则在本地dataflow集和action集内增 加新记录，假设数据类型为。
29、A，产生数据的业务行为名称为B，则dataflow集新增记录格式 说 明 书CN 102946423 A 5/7页 8 依照，action 集新增记录格式依照。 0054 (3)如果在dataflow集内存在此类型，则生成记录结果文件，该文件格式为 ，分别记录客户端标识、用户业务行为名称、数据资源名称以及数据资 源存放地址四项属性信息。 0055 (4)数据采集完成，结束。 0056 上述数据采集过程中，dataflow集、action集以及记录结果文件的属性信息见下 表。 0057 0058 3.数据推送模块 0059 该模块的实现过程如图3所示： 0060 (1)使用系统监视程序获取客户端。
30、服务器当前用户业务行为，以windowsxp操作 系统为例，使用钩子函数监视系统中所有的线程信息，当有新线程启动时，捕获该线程名称 相关信息，封装为用户业务行为信息。 0061 (2)若获取的用户行为名称存在于本地action集，则生成数据资源推送请求文 件，其数据格式依照， 说 明 书CN 102946423 A 6/7页 9 并将文件发送至数据解析封装模块。 0062 (3)若获取的用户行为名称在本地action集中不存在，则继续捕获用户业务行为 信息。 0063 (4)接收数据解析封装模块发送的数据资源列表文件，解析完成后发送至数据展 示模块。 0064 上述数据推送过程中，数据资源推送。
31、请求文件的属性信息见下表。 0065 0066 4.数据解析封装模块 0067 该模块的实现过程如图4所示： 0068 (1)解析记录结果文件，获取文件中的客户端标识、用户业务行为名称、数据资源 名称、数据资源存放地址四项属性信息，并转化为XML格式，提供给数据映射模块。 0069 (2)接收数据推送模块产生的数据资源推送请求文件，解析文件中的用户业务行 为名称、时间、客户端标识三项属性信息，并以XML格式存储于中心服务器端，提供至数据 匹配模块调用。 0070 (3)接收数据匹配模块产生的数据资源列表文件，解析文件中的推送请求客户端 标识，根据得到的客户端位置信息，将数据资源列表文件分发至相。
32、应客户端。 0071 (4)接收数据采集模块发送的dataflow集与action集，转换为XML格式后供数据 映射模块调用。 0072 (5)接收数据映射模块发送的最新dataflow集与action集，并根据客户端与服务 器映射信息分发至系统内各客户端。 0073 5.数据匹配模块 0074 该模块的实现过程如图5所示： 0075 (1)接收数据解析封装模块产生的数据资源推送请求文件，得到推送请求的用户 业务行为名称。 0076 (2)根据用户业务行为名称从数据映射记录中检索。 0077 (3)将请求客户端标识、数据资源名称、数据资源存放地址以及来源客户端标识封 装为数据资源列表文件，发送。
33、至数据解析封装模块。 0078 6.数据映射模块 0079 该模块的实现过程如图6所示： 说 明 书CN 102946423 A 7/7页 10 0080 (1)接收数据解析封装模块传送的记录结果文件，创建按照主键、客户端标识、用 户业务行为名称、数据资源名称、数据资源存放地址以及时间五个属性构成的数据映射记 录。 0081 (2)将创建的数据映射记录写入数据映射表。 0082 (3)接收数据解析封装模块发送的dataflow集与action集，并将新增信息写入数 据映射表中的对应集合。 0083 (4)提取数据映射表中的最新dataflow集与action集，将其发送至数据映射模 块。 00。
34、84 7.数据展示模块 0085 该模块的实现过程如图7所示： 0086 (1)接收数据推送模块发送的数据资源列表文件，解析文件中的数据资源名称、客 户端位置以及时间属性。 0087 (2)使用悬浮窗方式在客户端服务器进行动态显示，可采用跨平台能力强的技术 手段实现。 0088 应用举例：本发明的系统及方法已经成功应用于航天运载火箭技术研究院的航天 器型号的研制中，辅助不同业务领域的设计人员在第一时间得到最新的数据，证明了本发 明系统及方法具有跨业务领域以及实时性的优点。 0089 本发明未详细描述的部分属于本领域公知技术。 说 明 书CN 102946423 A 10 1/4页 11 图1 说 明 书 附 图CN 102946423 A 11 2/4页 12 图2 图3 说 明 书 附 图CN 102946423 A 12 3/4页 13 图4 图5 说 明 书 附 图CN 102946423 A 13 4/4页 14 图6 图7 说 明 书 附 图CN 102946423 A 14 。