OLAP数据挖掘技术在QAD产品审计中研究.docx

OLAP和数据挖掘技术在QAD产品审计中的应用与研究摘要随着时代的发展如今的企业已大多进入了“无纸化”的办公时代。原有的手工信息输入与分析已无法适应如今日益增多的信息数据。可以说企业每天都面临着大量的商业信息而如何利用、分析好这些数据从而为企业的发展提供指导就显得尤其重要。对于QAD公司而言它是一家专门为制造业提供企业解决方案的软件供应商它在全球范围内的九十多个国家拥有超过六千多个客户。每一年它都会对每个客户使用公司软件产品的情况进行审计。在每个客户审计的过程中自然会产生大量的数据。对于公司而言所有客户的审计数据将是百万级的。面对如此庞大的数据如何从这些数据中获取公司所需的信息分析出审计的结果并得出一定的指导性结论就显得尤其重要。为此本文提出了一种基于联机分析处理（OLAP）和数据挖掘技术的审计信息分析的设计。OLAP和数据挖掘技术是近年来数据库领域和人工智能领域研究的热点它通过对大量数据进行分析和处理得到隐含在这些数据背后有用的信息和知识。本项目实现了基于SQLServer2008分析服务（SSAS）在审计信息立方体之上的OLAP多维数据分析和MDX多维数据查询并利用决策树、神经网络等数据挖掘算法对审计信息数据进行挖掘得出有用的知识。为实现上述目标首先需要决定存储分析后的审计信息的数据库版本与类型以及最终生成审计结果报表所需使用的报表生成工具。为此针对数据库的选择提出了以下几种可行的解决方案：Progress数据库、MySQL数据库、Access数据库和SQLServer数据库。根据实际需求分别比较了以上四种数据库的优缺点最终权衡之后选择了SQLServer数据库作为本项目的关系数据库服务器。同样针对报表生成工具也提出了以下几种可行的解决方案：QAD公司自己实现的报表生成框架、微软的Access工具和微软的Excel工具。分析了以上几种工具使用的便捷性以及代价考虑最终选择了大家比较常用且比较轻量型的Excel作为我们最终的报表生成工具。在选定了数据库和报表生成工具的解决方案之后便要对历史审计数据进行一定的整理、分析以及数据提取和存储工作。审计数据是由公司产品所提供的功能菜单运行后自动生成的客户在对这些多种多样的报表整理时可能根据自身的习惯进行不同的打包方式。因此公司从客户手上得到的审计数据结构则是复杂繁多的没有一定的规律性可循这对我们进行历史审计信息的提取造成了一定的困难与阻碍。经过对历史审计数据的详细分析之后找到了所需要的两个审计文件：应用使用详细报告和许可权使用情况报告。其他诸如数据库使用报告等日志文件目前对我们来说并没有太大的意义。因此我们的目标只是在每个客户的审计数据文件夹下找到这两个文件分析提取数据并存入数据库中。在实践中发现如果不对历史数据进行处理直接运行数据分析提取程序则效率十分低下。究其原因是因为程序每次都需要遍历每个文件来确认该文件是否为所需的那两个报告文件因此要花费大量的时间。为解决这一问题就需要在程序之上再加上一层数据预处理的程序即将不需要的历史数据文件过滤按照原有的目录结构只留下所需的那两个文件。这样在数据预处理的基础上程序运行的效率将大大提高。解决了这一问题之后便是要将分析出的数据存入数据库中。根据历史审计数据信息及相关的外部数据信息按照需求共设计了六张数据表。该数据库将为后面的OLAP提供高效的数据源。有了关系数据库源便可利用SSAS对审计数据进行维度建模。本文重点论述了审计信息数据的概念模型设计和逻辑模型设计包括度量、维度和粒度的设计事实表和维表的设计同时采用了雪花模型构造了逻辑视图最终生成了审计信息的多维立方体供最终生成审计结果报表和数据挖掘提供了多维数据源完成了OLAP在QAD产品审计中的应用。在生成审计结果报表时使用Excel中的透视表建立数据库连接选择建立的多维数据源便可读取多维数据中的内容。为了方便客户审阅特别定义了十多个报表模板可供客户选择基本涵盖了所有的审计结果且客户可以自主选择想要查看的内容对数据进行一定的钻取等十分方便。最后便是使用数据挖掘技术对审计数据进行一定的挖掘任务研究。传统的数据挖掘过程往往基于关系数据库。本文探讨了基于OLAP的数据挖掘技术在产品审计中的应用分别使用了决策树算法和神经网络算法对同一个挖掘模型进行了挖掘并利用提升图比较了两个算法的挖掘准确性。本文所建立的挖掘模型为分析客户选择QAD公司不同产品类型组合的因素意在发现一个行业领域内使用QAD公司产品组合的最佳实践为不同的客户在选择公司产品组合时提供一定的建议。由于时间及精力的有限只是粗略探索了数据挖掘在公司审计中应用的可能性。相信可以利用该技术挖掘出更多对公司经营决策有指导性意义的知识。本文的研究和结果表明OLAP和数据挖掘技术在QAD公司产品审计中的应用是可行的而且是便捷高效的。它不仅从企业管理的