数据挖掘2章数据仓库和数据挖掘的OLAP技术.pptx

第3章数据仓库和数据挖掘的OLAP技术数据仓库的发展数据仓库的发展数据仓库的发展数据挖掘的发展数据仓库的适用范围面向主题稳定性支持管理决策操作数据库与数据仓库的区别分析型处理OLTP和OLAP的区别访问模式:OLTP系统的访问主要由短的原子事务组成.这种系统需要并行和恢复机制.OLAP系统的访问大部分是只读操作.3.2多维数据模型定义模式的例子度量的分类和计算整体的:如果一个聚集函数无法用具有M个参数的代数函数进行这一计算,则这个函数称是整体的,如rand()等许多度量可以用关系的聚集操作计算对应图2-4,我们也可写出SQL语句.概念分层3.3数据仓库的系统结构三层数据仓库结构数据仓库的类型特殊的SQL服务器,为了满足在关系数据库中日益增长的OLAP需要,实现了特殊的SQL服务器,提供高级查询语言和查询处理,在星型和雪花模式上支持SQL查询.方体的选择计算索引OLAP数据具体步骤数据仓库后端工具进一步发展和探讨联机分析挖掘(OLAM)数据仓库的我国的发展3.1数据仓库(DataWarehouse)数据仓库中数据的特点集成性时变性数据仓库的技术要求事务型处理与分析型处理事务型处理数据和分析型处理数据的区别数据库设计:OLTP采用实体-联系ER模型和面向应用的数据库设计.OLAP采用星型或雪花模型和面向主题的数据库设计.视图:OLTP主要关注一个企业或部门内部的当前数据,不涉及历史数据或不同组织的数据OLAP则相反.为什么需要分离的数据仓库多维数据库模式定义维Definedimensiontimeas(time_key,day,day_of_week,month,quarter,year)代数的:如果一个聚集函数能够由一个具有M个参数的代数函数计算,且每个参数都可以用一个分布聚集函数求得.如avg()可以由sum()/count()计算,其中sum()和count()是分布聚集函数.计算dollars_sold和units_sold多维数据模型的OLAP操作数据仓库设计过程顶层是客户,它包括查询和报告工具,分析工具和数据挖掘工具(例如趋势分析,预测等)OLAP服务器类型数据立方体的有效计算多路数组聚集OLAP查询的有效处理元数据存储数据仓库的维护3.6从数据仓库到数据挖掘环绕数据仓库的有价值的信息处理基础设施:谨慎的做法是尽量利用可用的基础设施,而不是一切从头做起.基于OLAP的探测式数据分析:有效的数据挖掘需要探测式数据分析.用户常常想在不同粒度上分析它们.联机分析挖掘提供在不同的数据子集和不同的抽象层上进行数据挖掘的工具.数据挖掘功能的联机选择:用户常常不知道想挖掘些什么.通过将OLAP与多种数据挖掘功能集成在一起,联机分析挖掘为用户选择所期望的数据挖掘功能动态修改挖掘任务提供了灵活性