金融风险管理辅助挖掘分析系统.pdf

本发明公开了一种金融风险管理辅助挖掘分析系统，该系统基于计算机局域网，采用分布式结构，包括：一数据管理服务器；一管理控制器；一挖掘处理服务器；一个以上模型应用服务器；以及输入输出终端；系统装置包含有相应的软件系统。本发明分析系统采用数据挖掘技术，直接以数据驱动来获取模式规律的分析系统，不是基于传统方法所普遍采用的以“假设”为基础的建模技术，因而它能客观、真实地把握市场规律特征。

1、  一种金融风险管理辅助挖掘分析系统，基于计算机局域网，采用分布式结构，其特征在于包括：一数据管理服务器，用于实现数据的采集、存储、预处理和检索功能，为整个系统提供挖掘基础数据和应用原始数据，根据具体情况需要，它与Internet和其它业务数据库服务器相连；一管理控制器，用于向用户提供操作平台，实现数据管理、挖掘、规则知识维护、应用模型建立和模型应用的维护控制命令的发布；一挖掘处理服务器，用于接受管理控制器的挖掘任务，调用挖掘工具，在指定的挖掘数据集上进行挖掘产生知识规则；一个以上模型应用服务器，包括相应的信息显示终端，利用挖掘出的知识构建应用模型，并构成监控工具监控和分析实时采集数据，提供风险和决策信息；以及输入输出终端；系统装置内包含有相应的软件系统。

2、  根据权利要求1所述的金融风险管理辅助挖掘分析系统，其特征在于所述软件系统，包括：
一总控子系统，包括系统操作框架界面、系统参数维护等，运行于管理控制器上，通过计算机网络实现同其它服务器的信息交换，发布命令，控制其它服务器功能的实现；
一数据管理子系统，运行于数据管理服务器上，用于将各种纷繁复杂的数据集成，保证数据的可用性和有效性，为数据挖掘提供清晰、规范、一致的接口；
一挖掘算法管理子系统，运行于挖掘处理服务器上，包括一个算法库，用于定义、检索、更新基本数据挖掘算法；
一挖掘应用模型管理子系统，运行于管理控制器上，包含一个应用模型库，用于实现应用模型的定义、查看、删除和启动；
一规则知识管理子系统，运行于管理控制器上，用于对已挖掘出的规则知识进行查询、添加、删除等维护管理，也包括根据实际应用的效果反馈信息对规则知识进行适当调整；
一风险识别与监控子系统，运行于应用服务器上。它利用挖掘规则知识，监控采集的实时数据，提供风险管理的决策信息。

3、  根据权利要求2所述的金融风险管理辅助挖掘分析系统，其特征在于数据管理子系统包括数据采集与转换模块、数据预处理功能模块、数据源管理模块，其中数据采集与转换模块用于从不同格式的数据源获取数据信息；数据预处理功能模块用于解决数据的空缺、不完整、不一致以及噪声平滑；数据源管理模块，用于定义、检索、更新挖掘数据源和监控数据源。

4、  根据权利要求2所述的金融风险管理辅助挖掘分析系统，其特征在于挖掘算法管理子系统预置了如下基本的挖掘技术，主要包括：
·分类技术：包括决策树ID3算法、C4.5算法、CART算法，SLIQ算法，SVM；
·聚类技术：包括基于最短距离、最长距离和中间距离的分层聚类方法，分割聚类算法PAM，CLARA算法，k-means，k-modes聚类算法；
·关联分析技术：包括Apriori算法，多值属性的MAQA算法，基于共同机制的关联算法；
·时间序列分析技术：包括ARMA、ARCH、GARCH、TSEOPM算法；
·神经网络技术：包括BP网络，Elaman网络和Hopfield网络。

5、  根据权利要求2所述的金融风险管理辅助挖掘分析系统，其特征在于挖掘应用模型管理子系统的应用模型库内的应用模型具体划分为信用挖掘分析、利率挖掘分析、汇率挖掘分析、股价挖掘分析以及整合分析几个部分。

6、  根据权利要求2所述的金融风险管理辅助挖掘分析系统，其特征在于风险识别与监控子系统包括监控数据采集、监控规则维护、监控信息发布三个功能模块。

金融风险管理辅助挖掘分析系统
技术领域
本发明是一种采用数据挖掘技术，并结合数量化金融风险管理技术，通过对大量历史数据的分析，获取金融市场规律特征信息，为金融机构对其市场风险和信用风险进行有效管理提供辅助决策信息的分析系统。
背景技术
当今世界是一个信息化和数量化的时代，每天都有不计其数的数据在产生。目前金融机构的许多业务活动(如客户分析、投资决策、风险管理、价格预测等)为实现其科学化管理决策都越来越依赖于对大量历史数据的分析。数据挖掘则是一门能自动从大量数据中发现其隐藏的、有用的、令用户感兴趣的模式和规律并以简洁、易于理解的形式为人们的决策提供信息的技术。其概念在1989国际人工智能联合会议(IJCAI)上首次提出，立即引起国际上很多学者、机构的重视。在90年代掀起了数据挖掘的研究热潮，到目前，经过十来年的努力，已取得很大进展，并已成功应用于许多行业。金融风险是金融活动的内在属性，其广泛存在是现代金融市场的重要特征。20世纪70年代以来，由于放松管制与金融自由化、信息技术与金融创新活动等因素的影响，金融市场的波动性增强，金融体系的稳定性下降。这对风险管理的技术、方法的创新提出了越来越紧迫的要求。现代信息技术在风险管理中扮演的角色越来越重要。国际上大的金融机构都非常重视采用最新的信息技术，建立先进的风险管理系统和开发新的风险管理方法。事实上，金融风险的本质在于金融活动中未来收益(损失)的不确定性，因而风险管理的目的就是要如何度量，降低甚至消除各种不确定性。这又关键依赖于信息和知识的获取。而从大量纷繁复杂的数据当中获取有意义的信息正是数据挖掘的本质所在。
从金融数据中获取特征信息也是现代金融计量经济学理论中的重要内容，传统方法主要以数理统计模型为基础，通过模型假设、参数估计、模型检验等手段和技术来获得描述金融时间序列规律的数学模型。为了构建模型，许多假设条件是必须的。比如常用的ARMA模型要求时间序列数据是平稳的，并要求ARMA模型所产生的时间序列与观察序列间的误差相互独立，且呈正态分布。然而，对许多现实情况而言，这些假设条件却是相当“苛刻”的。而且，这种统计模型分析技术总是基于一种“全局”性的观点，模型参数估计时常以对“所有”考察数据的最佳适应为准则。模型一旦构建出来，它将“适用”于数据的所有部分，这显然是不现实的。
发明内容
本发明的目的是提供一种采用数据挖掘技术，直接以数据驱动来获取模式规律的分析系统，该分析系统不是基于传统方法所普遍采用的以“假设”为基础的建模技术，因而它能客观、真实地把握市场规律特征。
为了实现上述发明目的，本发明采用以下技术方案：
金融风险管理辅助挖掘分析系统基于计算机局域网，采用分布式结构，包括：一数据管理服务器，用于实现数据的采集、存储、预处理和检索功能，为整个系统提供挖掘基础数据和应用原始数据，根据具体情况需要，它与Internet和其它业务数据库服务器相连；一管理控制器，用于向用户提供操作平台，实现数据管理、挖掘、规则知识维护、应用模型建立和模型应用的维护控制命令的发布；一挖掘处理服务器，用于接受管理控制器的挖掘任务，调用挖掘工具，在指定的挖掘数据集上进行挖掘产生知识规则；一个以上模型应用服务器，包括相应的信息显示终端，利用挖掘出的知识构建应用模型，并构成监控工具监控和分析实时采集数据，提供风险和决策信息；以及输入输出终端。
所述金融风险管理辅助挖掘分析系统装置包含有相应的软件系统，包括：一总控子系统、一数据采集与转换子系统、一挖掘算法管理子系统、一挖掘应用模型管理子系统、一规则知识管理子系统、一风险识别与监控子系统。通过各个功能子系统的配合实现对金融数据的采集、预处理、规则挖掘和规则应用等功能。为金融风险管理提供传统分析系统所不能提供的一些隐含信息。各子系统的基本功能如下：
总控子系统，包括系统操作框架界面、系统参数维护等，运行于管理控制器上，通过计算机网络实现同其它服务器的信息交换，发布命令，控制其它服务器功能的实现。
数据管理子系统，运行于数据管理服务器上，包括数据采集与转换模块、数据预处理功能模块、数据源管理模块，其目的在于将各种纷繁复杂的数据集成，保证数据的可用性和有效性，为数据挖掘提供清晰、规范、一致的接口。其中数据采集与转换模块用于从不同格式的数据源，如ORACLE/SQL SERVER/INFORMIX/DB2/SYSBASE等数据库、数据仓库、文本文件、XML、Excel等获取数据信息；数据预处理功能模块用于解决数据的空缺、不完整、不一致以及噪声平滑，其中噪声平滑针对金融数据的实际特点提供了移动平均、小波变换等多个工具模块；数据源管理模块，用于定义、检索、更新挖掘数据源和监控数据源。
挖掘算法管理子系统，运行于挖掘处理服务器上，包括一个算法库，用于定义、检索、更新基本数据挖掘算法，目前系统预置了如下基本的挖掘技术，主要包括：
·分类技术：包括决策树ID3算法、C4.5算法、CART算法，SLIQ算法，SVM等；
·聚类技术：包括基于最短距离、最长距离和中间距离的分层聚类方法，分割聚类算法PAM，CLARA算法，k-means，k-modes聚类算法等；
·关联分析技术：包括Apriori算法，多值属性的MAQA算法，基于共同机制的关联算法；
·时间序列分析技术：包括ARMA、ARCH、GARCH、TSEOPM算法；
·神经网络技术：包括BP网络，Elaman网络和Hopfield网络。
挖掘应用模型管理子系统，运行于管理控制器上，包含一个应用模型库。各挖掘应用模型是有着具体应用目的，指定了具体挖掘数据源、挖掘算法、挖掘参数以及步骤的处理逻辑。该子系统实现应用模型的定义、查看、删除和启动。本系统根据金融数据类别不同，将应用模型具体划分为信用挖掘分析、利率挖掘分析、汇率挖掘分析、股价挖掘分析以及整合分析几个部分。对于每个部分在选择适当数据基础上、应用挖掘基础算法与技术构建挖掘模型。例如，信用挖掘分析，系统根据贷款申请人的基本信息、信用记录信息、人口统计信息等通过分类挖掘方法，获取信用评价规则知识；又如，可根据机构申请者的财务信息、行业信息、公开市场交易信息等获取机构的信用评价规则与知识；再如股价挖掘分析，可根据历史的股价序列、交易量序列进行挖掘，对未来某段时间范围的股价进行预测，获取预测规则知识。
规则知识管理子系统，运行于管理控制器上，用于对已挖掘出的规则知识进行查询、添加、删除等维护管理，也包括根据实际应用的效果反馈信息对规则知识进行适当调整。
风险识别与监控子系统，运行于应用服务器上。它利用挖掘规则知识，监控采集的实时数据，提供风险管理的决策信息。主要包括监控数据采集、监控规则维护、监控信息发布三个功能模块。应用服务器的数目可根据应用个数灵活配置。即不同应用可服务器分别运行不同的应用子系统，确保系统的响应速度和处理性能。
整个系统按功能层次可划分四层体系结构，即数据层、算法层、模型层和应用层。
本系统融合多种数据挖掘技术，可从数据中获取隐藏的、新颖的信息，实现对金融数据的“深加工”。金融风险的实质是金融变量波动的不确定性。数据挖掘是一个包括数据选择、预处理、模型挖掘获取、模型评估、模型运用和巩固等多个步骤的过程。过程中的每个步骤对挖掘结果的成功应用具有举足轻重的作用，都应当考虑到金融数据的实际特点和金融风险管理的特殊需求。另外，金融风险管理的涵义是相当广泛的，从风险形态上说包括信用风险、市场风险(利率、汇率、股票)、法律风险、操作风险、政策风险等等。从风险主体来说包括银行、保险、证券、企业、居民、国家等。本系统基于数据挖掘的方法，从大量历史数据中获取隐含信息或知识，并利用这些知识监控数据的动态变化，识别其中隐含的风险因子，从而起到对金融机构所面临的市场风险和信用风险进行识别与监控，及时给出警示信息的作用。
本系统包括分类分析、聚类分析、关联分析、时间序列分析、异常分析等多种挖掘技术，可从数据中获取各种不同类型的信息。可由用户利用预置的工具自主分析、开发挖掘应用模型，多侧面、多角度地识别与监控存在的各种风险因子。这是传统的风险管理技术和风险管理系统没有实现的。
本系统预置的基本风险分析功能具体有：
利率分析：包括利率走势分析、利率波动性分析、利率关联性分析、期限结构分析、利率风险因子分析等。并量化利率缺口和利率风险，计算利差，提供情景模拟器，模拟多种情景假设的利率变动与风险-回报。
汇率分析：包括汇率走势分析、汇率波动性估计、汇率关联性分析、异常波动分析、政策影响分析功能。
信用分析：包括信用等级评价、违约概率分析、信用关联分析、欺诈检测分析、异常交易行为分析、坏帐客户特征分析；
股价分析：包括股价预测分析、股价波动分析、价量关联分析，股价局部预测模式分析，股票聚类分析、股票交易策略分析等；
整合分析：包括利率与股价关系分析、利率与汇率关系分析、股价与信用状况关联分析。
其中各种预测分析中既有点值预测，也有区间概率预测。点值预测的结果为一个具体的数值，而区间预测结果为一个附有概率的数值区间。
本系统与现有技术相比具有以下特色：
(1)能实现对金融数据的深入分析。传统的金融风险分析系统只是对金融数据进行简单地加工处理，提供汇总、回归和图表等分析功能。其对金融数据的认识建立在人们对已有知识的把握和了解基础上。知识类型在分析之前用户就已知，只是借助计算机进行参数估计和结果计算。而本系统基于数据挖掘技术，目的是从数据中获得人们尚未知晓的信息。这些信息的知识类型、结构在挖掘之前，用户是完全未知的。由于金融风险所造成的损失多数都具有出乎意料，关键原因就在于风险因子的隐含性和未知性，而本系统通过数据挖掘技术、深层次地从大量、多维、复杂的数据当中挖掘隐藏信息，给出的信息具有新颖性、有趣性，恰恰是一类出乎意料、让人惊奇的信息。因而更能适合金融风险管理的需要。
(2)开放式平台结构设计。随着数据挖掘技术的不断深入研究，新的技术不断涌现。本系统采用开放式结构设计，用户可以自我管理和维护挖掘技术库，不断扩充新的挖掘算法。此外，根据用户的需要和研究，可以自我管理和维护挖掘应用模型库，扩充新的应用模型，从而提高系统的可用性与灵活性。
(3)用户经验参数的可视化获取。数据挖掘非常重视将挖掘者的主观经验或背景知识融入挖掘过程，这对保证挖掘结果的有趣性和有用性是非常重要的。然而问题是，挖掘者的经验偏好往往表现为一种直觉，是一种只可意会，却难以言状的东西。如何定量化地表达这种偏好性是过去大多数系统的难题，一般采取基于某种假设的固定参数设置方法，甚至完全回避这个问题。本系统采用了可视—应答技术来获取用户经验与偏好信息。既降低了参数给定的随意性，使其更加准确、符合用户真实经验要求，同时又不失操作的方便与快捷。
(4)嵌入独有挖掘技术。系统除了包含许多目前比较成熟的基本数据挖掘技术外，也包括了发明人在研究中所取得的最新挖掘技术成果。如TSEOPM，即“时间序列事件征兆模式挖掘方法”(Time SeriesEvent Omen Pattern Mining)。可从时间序列中寻找对所感兴趣的事件具有预测作用的序列模式——征兆模式。
附图说明
图1系统硬件结构图
图2系统软件功能结构图
图3系统逻辑层次结构图
图4系统应用处理模式图
图5挖掘算法对象组成部件
图6序列相似性偏好的可视—对话方式获取
图7新股发行价预测数据Excel文件
图8数据源管理主操作界面
图9数据导入界面
图10算法库管理主界面
图11应用模型库管理主界面
图12应用模型定义界面
具体实施方式
参见图1，金融风险管理辅助挖掘分析系统基于计算机局域网01，采用分布式结构，包括：一数据管理服务器1、一管理控制器2、一挖掘处理服务器3、一个以上模型应用服务器4、以及输入输出终端5。参见图2，在系统装置内包含有相应的软件系统，包括：运行于管理控制器上的总控子系统6、运行于数据管理服务器上的数据管理子系统7、运行于挖掘处理服务器上的挖掘算法管理子系统8、运行于管理控制器上的挖掘应用模型管理子系统9和规则知识管理子系统10、运行于应用服务器上的风险识别与监控子系统11。其中，数据管理子系统7，包括数据采集与转换模块12、数据预处理功能模块13、数据源管理模块14；挖掘应用模型管理子系统9，包含整合分析15、利率挖掘分析16、股价挖掘分析17、汇率挖掘分析18、以及信用挖掘分析19几个部分；风险识别与监控子系统11，包括监控数据采集20、监控规则维护21、监控信息发布22三个功能模块。
参见图3，整个系统按功能层次可划分四层体系结构，即数据层23、挖掘算法层24、挖掘应用模型层25和应用层26。数据层23包括各种OLE DB数据库，excel文件，文本文件，XML等；挖掘算法层24包括分类、聚类、关联分析、时序分析算法、异常挖掘，神经网络、SVM、回归等；挖掘应用模型层25包括信用分析模型，利率分析模型、股价分析模型、整合分析模型和其它模型；应用层26包括规则应用，风险识别，监控。
本发明系统的工作原理
结合图1，如图4所示。首先利用管理控制器2，启动数据管理服务器1，利用数据采集工具28从数据来源网络02采集挖掘训练数据27；并根据需要经过适当的转换与预处理，规范、整理形成挖掘对象数据，并存入挖掘数据库中29；通过管理控制器2，然后选择适当的数据挖掘工具32，定义挖掘逻辑过程模型，启动挖掘处理服务器3，挖掘处理服务器3的挖掘引擎根据挖掘逻辑过程模型的指令，从挖掘算法库中调用指定算法，并从挖掘数据库29中调用指定数据，对其进行挖掘计算，挖掘结果存入规则知识库33；通过管理控制器2，利用规则知识库33中的规则与模型，构建挖掘应用模型，将应用模型嵌入应用服务器中4，启动应用服务器4，应用服务器4利用数据采集工具30从数据管理服务器1中调用实时数据31，通过计算，匹配规则知识，利用风险识别与监控工具34结合其它数量化金融风险管理技术给出风险管理决策信息。
系统为了实现挖掘技术与算法的不断扩充，在算法管理上本系统采用了图5所示开放式结构，挖掘算法35是一由算法描述36、算法参数37和算法执行代码38三位一体组成的结构。算法描述采用数据库存储，算法参数采用文件方式存储，而算法执行代码以独立动态链接库的形式存储。从而充分保证输入、输出参数形式、个数各不相同，功能各异的挖掘算法的彼此兼容，统一管理，并且其维护代价较低，操作便捷。算法描述包括如下一些关键数据项，保证对算法的统一管理：
·算法代号
·算法名称
·算法类别号
·算法功能描述
·算法参数文件
·算法DLL文件
·算法建立日期
·用户
·关联应用模型记录数
·关联应用模型链指针
算法参数文件描述了挖掘算法所需的输入/输出参数类别，参数个数，默认参数。由于采用文件形式存储，因而其灵活性比采用数据库形式存储更强。
在挖掘应用模型的管理上，通过应用模型定义语言MDL实现对挖掘处理逻辑的定义。一个应用模型包括数据源、数据整理逻辑、挖掘算法三大要素，共同构成一个处理逻辑。通过MDL语言可以灵活的指定要挖掘的数据源、数据字段，在调用具体挖掘算法前，对某些字段要进行的特殊处理和转换、处理过程、临时存储位置等。MDL语言包含了常用挖掘处理逻辑所需要的操作要素和操作函数。
本系统采用可视化的方式来获取用户经验参数，其基本原理是这样的：通过可视化的方式，向用户提出一系列问题，用户根据自己的偏好对给出的图形进行一系列的判断选择，最后系统采用评价模型计算用户的偏好系数，获取用户偏好。如图6所示，是一个获取用户对时间序列相似性判断偏好参数的例子。通过用户对一系列上下两组图的相似性进行判断，给出判断结论。系统这一系列判断结果构建如下约束方程组，拟合用户偏好，获取参数信息：
                   min(f(X′，Y′)-θ)²
s . t . g i ( ω 1 , ω 2 , ω 3 , ψ , φ ) ≥ 0 , i = 1,2 , Λ , k ω 1 + ω 2 + ω 3 = 1 , ω 1 ≥ 0 , ω 2 ≥ 0 , ω 3 ≥ 0 1 ≥ ψ > 0 , 1 ≥ φ > 0 ]]>
每个约束方程g_i表示用户所做的一项判断选择。例如，如果用户判断上面的序列更相似，则取g_i≥0，而判断下面序列更相似，则取g_i≤0。最后系统通过遗传算法求解该约束优化问题，计算出反映其偏好和经验的相似度量参数。
下面通过建立一个新股发行价挖掘预测的具体实例介绍本系统的应用方式。
根据有关金融理论，影响股价的因素包括政治因素，经济周期、通胀、利率、汇率、财政金融政策等宏观经济状况，行业的寿命周期因素，上市公司本身的财务状况，市场的期望水平，一级二级市场资金的供求状况，周边市场的景气状况等。这里我们选择前股本、新股数、发行价、净值、股指、业绩、市盈率、市净率等指标来预测新股发行的市价。设数据已经整理放到EXCEL文件当中，如图7所示。在图8所示数据源管理界面中点添加数据源按钮，在随后出现的如图9所示导入界面中选择原始EXCEL文件，导入数据并设置数据源的有关信息，如数据源名称“新股市价数据源”。在算法库中，系统内置了BP神经网络模型的一般算法，如图10。在图11所示模型管理视图中通过模型维护，定义新的应用模型。在图12所示的模型定义界面中输入有关信息，包括模型名称、类别、数据源、算法，并在处理逻辑框中通过依内嵌的MDL语言给出具体的处理方法信息，比如算法所需的各参数的赋值，输出形式、输出位置等。“确定”后即建立了一新的应用模型。运行该模型，系统调用指定的算法，并按处理逻辑的规定读取数据源数据，并与算法参数信息文件中的参数信息对应，设置参数，运行算法结束后，根据处理逻辑的规定，结果存入指定位置。