数据分析与挖掘在金融方面的应用.docx

数据挖掘在操作风险的量化和管理中的应用根据《新巴塞尔资本协议》（2003）给出的定义“操作风险是指由于不正确的内部操作流程、人员、系统或外部事件所导致的直接或间接损失的风险。”这一定义侧重于从操作风险的成因包括法律方面的风险但将策略风险和声誉风险排除在外。随着世界经济和银行业的发展多种可供分析的操作风险管理方法正在逐渐的形成商业银行多年来一直试图对它进行一定程度的控制定性并尝试测量这一风险作为非金融机构的财务公司也不例外。在量化模型技术的推动下操作风险量化测评和管理的技术获得了相当大的发展。操作风险管理能通过减少风险、改善服务质量和降低经营成本从而形成一种竞争优势并在股东价值中得到相应体现。本文拟从数据分析与挖掘角度入手对财务公司操作风险的量化测评和管理进行初步探讨和简要分析。一、解决问题的整体思路财务公司要实现科学且合理的对操作风险进行量化测评与管理一般要进行以下几个步骤的工作：数据挖掘→数据分析→模型构建→模型检验。其具体思路如下图所示：图1：操作风险量化测评和管理的整体思路数据收集数据分析模型构建模型检验数据定义数据分类制定数据模板嵌入业务流程特征值分析形态拟合测试形态模拟数据输入分析及预测自动化预测结果输出历史数据检验外部数据检验二、数据挖掘与分析的方法与实现（一）数据收集在数据收集阶段财务公司首先按照其业务主线对现有业务进行分类梳理明确其业务流程找出关键节点并在关键节点处科学设置风险监测指标通过对风险监测指标的观测来纵向监控各业务模块的操作风险。需要注意的是依据巴塞尔新资本协议对操作风险模型构建的要求财务公司在设置风险检测指标时将这些指标划分为操作风险事件发生频率指标（以下简称为“频率指标”）和操作风险事件损失指标（以下简称为“损失指标”）。在完成风险指标设置的工作后财务公司对上述指标进行横向分类即按照人员、系统、流程和外部事件所引发的四类风险将上述风险监测指标分别归类于七种表现形式：内部欺诈外部欺诈聘用员工做法和工作场所安全性客户、产品及业务做法实物资产损坏业务中断和系统失灵交割及流程管理。财务公司通过制作特定格式的风险指标监控报告（日报/月报）来实现对上述信息的物理存储或非物理存储以便查询或日后进行回溯检验。在完成对操作风险指标的纵向和横向定义之后财务公司便着手开展数据分析工作一方面财务公司通过查阅2007-2012年的历史操作记录完成对历史数据的补充和积累另一方面借助信息化手段将现有业务流程植入信息系统实现对当前业务的实时监控和数据积累。在数据积累到特定数量等级后财务公司开展数据分析工作并能依此进行模型构建。（二）数据分析1.非参数法目前风险管理领域中所常用到方法时运用概率论与数理统计研究的理论对随机不确定性现象进行收集、整理和分析着重考察随机不确定性现象的历史统计规律然后利用特定的数据分布形态（概率密度函数）对该历史统计规律进行拟合从而构造出具有预测作用的特定数据分布形态然后利用该分布形态所对应的概率密度函数去考察具体随机现象的发生概率但在实际工作中由于种种原因历史数据往往难以获取或者历史数据的分布形态很难用已知的分布形态去拟合。在这种情况下非参数法就体现出其独有的优势。拔靴法作为非参数法中一种最具代表性的方法目前已在金融研究领域被广泛运用。其核心思想即利用有限的样本资料经由多次重复抽样重新建立起足以代表母体样本分配之新样本。它的优点在于无需对分布特性做严格的假定就能进行推断分析因为其假设样本数据分布就是真实数据的分布。结合上一阶段的数据挖掘工作在实际工作中对于样本数据有限且分布规律难以用现有的数据分布形态进行拟合的操作风险指标尝试利用非参数法对其进行分析预测其在给定置信度下的变动范围从而达到对该操作风险指标精确、量化管理的目的。2.参数法根据巴塞尔协议的核心指导思想其度量操作风险的一种主要的方法是以历史事件重复出现为假设前提以历史数据统计规律为基础以较大样本数据为分析对象以特定分布形态为指导以假设检验为辅助手段对特定风险事件的概率分布进行确定并进行拟合从而实现对风险事件的预测。依此指导思想为依据以第一步工作中积累的历史数据为基础财务公司对其存续期限内频率指标和损失指标进行分析。利用现有的多种统计软件财务公司可先对频率指标进行统计特征分析确定历史数据的相关特征值并利用特定检验方法确定其数据分布形态。一般情况下财务公司可对历史数据的均值、方差和标差进行测算并利用Chi-Squared（）Test进行匹配度检验来精确测定分布形态。在确定历史数据分布形态后财务公司便可尝试用计算机技术对该频率指标进行模拟以便预测其在特定置信度下发生的可能性。目前金融机构所常用的频率指标概率分布形态为泊松分布、帕斯卡分布和二项分布。具体公式如下所示：(泊松分布概率函数)(帕斯卡分布概率函数)(二项分布概率函数)利用特定