大数据与知识自动化.ppt

大数据与知识自动化主要内容维克托迈尔舍恩伯格、肯尼思库克耶著，大数据时代，浙江人民出版社，2013年。
维克托迈尔舍恩伯格，被誉为“大数据时代的预言家”、牛津大学网络学院教授
肯尼思库克耶，《经济学人》数据编辑
在这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。2012年其著作《大数据》在中国社会开大数据之先河，引发了大数据战略、数据治国和开放数据的讨论。
涂子沛，江西吉安人，现居美国硅谷。作者本科毕业于华中科技大学计算机系，研究生毕业于中山大学和卡内基梅隆大学，获公共管理硕士和信息科学硕士学位。

在人类社会发展进程中，人们观测自然现象、揭示和把握自然规律并进而用于改善自身生存和生活状况的活动从来都没有停止过。人类揭示和运用自然规律是从观测和记录自然现象开始的，而这种观测和记录的结果要么就是数据，要么可以通过某种方法转化为数据。
人类把握和运用自然规律的能力越强，社会经济和科学技术就越发展；社会经济和科学技术越发展，人类揭示和运用自然规律的愿望和需求就越强烈，结果是获取和存储的观测数据就会越来越多。
伴随着近代传感器、无线通信、计算机与互联网等技术的迅猛发展及在各个领域的广泛应用，人类获取数据的手段和途径越来越多，成本越来越低，速度越来越快，所获数据的种类、层次和尺度也越来越多样化，这就在广度、深度和速度三个方面催生了大数据时代的到来。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。
“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。大数据将逐渐成为现代社会基础设施的一部分。就像公路、铁路、港口、水电、和通信网络一样不可或缺。而大数据同这些物理化的基础设施不同，不会因为人们的使用而折旧和贬值。
世界的本质就是数据。因此大数据时代的经济学、政治学、社会学和许多科学门类都会发生巨大甚至是本质上的变化和发展，进而影响人类的价值体系、知识体系和生活方式。进入2012年，大数据一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻。
数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。
《纽约时报》2012年一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。
哈佛大学社会学教授加里·金说：这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）……
2进制数据单位：Byte、KB(103)、MB(106)、GB(109)、TB(1012)、PB(1015)、EB(1018)、ZB(1021)、YB(1024)、DB(1027)、NB(1030)
国际数据公司（IDC）的研究结果表明，2009年全球产生的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。预计到2020年，全世界所产生的数据规模将达到今天的44倍。大数据公司的现状
Google公司通过大规模集群和MapReduce软件，每个月的数据量超过400PB。
百度的数据量：数百PB，每天大约要处理几十PB数据，大多要实时处理，如微博、团购、秒杀。
Facebook：截至2012年5月，拥有约9亿用户，是全球第一大社交网站，每月上传10亿照片，每天生成300TB日志数据
淘宝网：截止2014年，淘宝网注册会员超5亿人每天有超过1.2亿的活跃用户，在线商品数达到10亿件，淘宝网和天猫平台的交易额