【优选】大数据挖掘与商务智能简述PPT文档.pptx

数据是宝贵的财富，其中蕴含大量有用的（有助于管理和决策）信息和知识。计算机和通讯技术的发展，使数据量急剧增加，人类进入大数据时代。收集、传输、存储、整合、分析与挖掘数据的各项技术快速发展。大数据时代，数据分析与数据挖掘作为一门信息技术，其兴起主要是受数据积累的增长和对数据分析的需求的驱动。在大数据时代，我们共同探讨数据分析与数据挖掘的思想、方法、工具和应用前景。尽量向大家介绍数据挖掘与商务智能的全貌，给一些资料性的信息。由于数据挖掘与商务智能涉及的方法广泛，软件、工具、公司太多，应用太广，此次以介绍方法为主。大数据挖掘与商务智能概论大数据将变革既有数据观大数据”对社会发展的影响商务智能和数据挖掘的作用云计算构建新型信息基础设施信息时代的高科技犯罪从数据谈起数据无所不在大数据现象与来源（1）国家统计局推进“大数据”应用大数据现象与来源（2）金融大数据的挑战与应对在超市中，数据通过条码扫描机获得。这样的“购物蓝”数据库由大量的交易记录组成。什么是物联网？物联网的大数据挑战北斗“三步走”的发展战略大数据与北斗系统生物信息学（人类基因组计划）神经信息学（人类脑计划）生命科学的大数据时代来临网络大数据我们来到大数据时代全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年…每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年…推特上每天发布5千万条消息，假设10秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16年…每天亚马逊上将产生6.3百万笔订单…每个月网民在Facebook上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达…Google上每天需要处理24PB的数据…20世纪90年代，数据仓库之父的BillInmon就经常提及BigData大数据=海量数据+复杂类型数据如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。1.体量Volume大数据不仅仅是数据“大”大数据与传统数据库的区别大数据市场分析国际企业角力大数据大数据的产业价值链分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等高并发读写大数据的分析模型大数据变革既有数据观：以变革始大数据是组织的一种资产大数据处理行为技术特征大数据系统的定义大数据系统的设计目标大数据系统的逻辑架构与现有系统的关系HADOOPMaHout主流大数据库大数据现象大数据的价值（Value）广义的大数据新信息世界观：物理世界、信息世界、人类社会组成三元世界大数据对社会发展的影响《自然》《科学》大数据专刊第四种范式《第四范式:数据密集型的科学发现》中文版大数据国家战略国家大数据战略公共管理——智慧城市建设愿景“智慧城市”系统体系结构物理空间智慧城市的三个空间理论44大数据：变革世界的关键资源产业界的关注大数据产业链大数据产业链大数据产业链Gartner魔力象限年数据仓库和数据管理解决方案魔力象限年商务智能（BI）魔力象限智能决策与管理科学管理与管理系统决策与信息决策需要信息与知识什么是商务智能？商业智能——Gartner什么是商务智能？企业企业——这里用“组织机构”或“实体”会显得更完整，因为所有的组织机构和实体（不只是企业）都可以而且应该利用商务智能；之所以仍用“企业”是为保持与“商务”的一致性。各行各业，包括非企业性机构，比如政府部门、教育机构、医疗机构和公用事业等，都应该而且能够利用商务智能。现代信息技术收集数据管理和分析数据结构化与非结构化数据商务数据和信息商务智能的目的商务行动与商务流程商务绩效综合竞争力商务智能的关键技术大数据技术体系：取、存、管、用大数据引发的数据观变革全国第一个城市级教育云平台，支持100万用户，10万人在线，2万人并发大数据系统的逻辑架构作案对象筛选及行为分析：电信诈骗，购买用户信息，筛选对象88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.知识（Knowledge）信息时代，高科技犯罪的技术手段数据解析学（DataAnalytics）-N个市级政务云的同城备份中心满足业务不断发展和改革的需要。这样的“购物蓝”数据库由大量的交易记录组成。传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高据IDC估计和推算，从年底到年底，云计算