OLAP数据挖掘技术在QAD产品审计中研究.docx

OLAP和数据挖掘技术在QAD产品审计中的应用与研究OLAP和数据挖掘技术在QAD产品审计中的应用与研究摘要随着时代的发展，如今的企业已大多进入了“无纸化”的办公时代。原有的手工信息输入与分析已无法适应如今日益增多的信息数据。可以说，企业每天都面临着大量的商业信息，而如何利用、分析好这些数据从而为企业的发展提供指导就显得尤其重要。对于QAD公司而言，它是一家专门为制造业提供企业解决方案的软件供应商，它在全球范围内的九十多个国家拥有超过六千多个客户。每一年，它都会对每个客户使用公司软件产品的情况进行审计。在每个客户审计的过程中，自然会产生大量的数据。对于公司而言，所有客户的审计数据将是百万级的。面对如此庞大的数据，如何从这些数据中获取公司所需的信息，分析出审计的结果，并得出一定的指导性结论就显得尤其重要。为此，本文提出了一种基于联机分析处理（OLAP）和数据挖掘技术的审计信息分析的设计。OLAP和数据挖掘技术是近年来数据库领域和人工智能领域研究的热点，它通过对大量数据进行分析和处理，得到隐含在这些数据背后有用的信息和知识。本项目实现了基于SQLServer2008分析服务（SSAS）在审计信息立方体之上的OLAP多维数据分析和MDX多维数据查询，并利用决策树、神经网络等数据挖掘算法对审计信息数据进行挖掘，得出有用的知识。为实现上述目标，首先需要决定存储分析后的审计信息的数据库版本与类型以及最终生成审计结果报表所需使用的报表生成工具。为此，针对数据库的选择提出了以下几种可行的解决方案：Progress数据库、MySQL数据库、Access数据库和SQLServer数据库。根据实际需求，分别比较了以上四种数据库的优缺点，最终权衡之后选择了SQLServer数据库作为本项目的关系数据库服务器。同样，针对报表生成工具，也提出了以下几种可行的解决方案：QAD公司自己实现的报表生成框架、微软的Access工具和微软的Excel工具。分析了以上几种工具使用的便捷性以及代价考虑，最终选择了大家比较常用且比较轻量型的Excel作为我们最终的报表生成工具。在选定了数据库和报表生成工具的解决方案之后，便要对历史审计数据进行一定的整理、分析以及数据提取和存储工作。审计数据是由公司产品所提供的功能菜单运行后自动生成的，客户在对这些多种多样的报表整理时，可能根据自身的习惯进行不同的打包方式。因此公司从客户手上得到的审计数据结构则是复杂繁多的，没有一定的规律性可循，这对我们进行历史审计信息的提取造成了一定的困难与阻碍。经过对历史审计数据的详细分析之后，找到了所需要的两个审计文件：应用使用详细报告和许可权使用情况报告。其他诸如数据库使用报告等日志文件目前对我们来说并没有太大的意义。因此我们的目标只是在每个客户的审计数据文件夹下找到这两个文件，分析提取数据，并存入数据库中。在实践中，发现如果不对历史数据进行处理，直接运行数据分析提取程序，则效率十分低下。究其原因是因为程序每次都需要遍历每个文件来确认该文件是否为所需的那两个报告文件，因此要花费大量的时间。为解决这一问题，就需要在程序之上再加上一层数据预处理的程序，即将不需要的历史数据文件过滤，按照原有的目录结构，只留下所需的那两个文件。这样，在数据预处理的基础上，程序运行的效率将大大提高。解决了这一问题之后，便是要将分析出的数据存入数据库中。根据历史审计数据信息及相关的外部数据信息，按照需求，共设计了六张数据表。该数据库将为后面的OLAP提供高效的数据源。有了关系数据库源，便可利用SSAS对审计数据进行维度建模。本文重点论述了审计信息数据的概念模型设计和逻辑模型设计，包括度量、维度和粒度的设计，事实表和维表的设计，同时采用了雪花模型构造了逻辑视图，最终生成了审计信息的多维立方体，供最终生成审计结果报表和数据挖掘提供了多维数据源，完成了OLAP在QAD产品审计中的应用。在生成审计结果报表时，使用Excel中的透视表，建立数据库连接，选择建立的多维数据源，便可读取多维数据中的内容。为了方便客户审阅，特别定义了十多个报表模板，可供客户选择，基本涵盖了所有的审计结果，且客户可以自主选择想要查看的内容，对数据进行一定的钻取等，十分方便。最后，便是使用数据挖掘技术对审计数据进行一定的挖掘任务研究。传统的数据挖掘过程往往基于关系数据库。本文探讨了基于OLAP的数据挖掘技术在产品审计中的应用，分别使用了决策树算法和神经网络算法对同一个挖掘模型进行了挖掘，并利用提升图比较了两个算法的挖掘准确性。本文所建立的挖掘模型为分析客户选择QAD公司不同产品类型组合的因素，意在发现一个行业领域内使用QAD公司产品组合的最佳