大数据和云计算.doc

大数据和云计算大数据手机已经成为我们生活中必不可少的伙伴，可以用来工作，娱乐，购物，社交，搜索，找路等等，但我们没有意识到，所有这些便利的功能，背后都依赖海量数据的运算。同时，我们自己也成为数据“供应商”---当我们使用微信，数据会保存在腾讯的服务器上：当我们查阅天气预报，客气质量，搜索路线，接发邮件，不仅第三方服务商掌握了这些数据，通讯运营商也会了解我们一天的活动轨迹。至于看电影和购物，服务商很容易就此可以判定出我们个人的喜好。人类历史上，从来没有一个时代像今天这样与数据紧密相连，各种各样的智能终端设备使得数据生产无处不在。同时，社交媒体，即时通讯和视频网站的普及，又使得我们产生的数据不再局限于传统的文字，表格，非结构数据已经远远超越了结构化数据。单纯以量来说，一家谷歌公司每天要处理的数据量就超过24PB(1PB=1024TB,1TB=1024GB)相当于美国国家图书馆所有纸质出版物数据量的上千倍。人们用了很多种类比方式来描述今天的数据量之庞大，但其实，在超越了一定量级之后，数据到底有多少已经不再是最主要的问题。更重要的问题是，我们该如何面对海量的数据？大数据（BigData)并非新鲜事物，但直到2011年6月，麦肯锡咨询公司发布了《大数据：下一个竞争，创新和生产力的前沿领域》的研究报告，这一概念才成为业界竞相解读的对象。2012年，牛津大学教授维克托.迈尔.舍恩伯格与《经济学人》数据编辑肯尼迪.库克耶合著的《大数据时代》一书出版，顿时掀起一股大数据风潮。传统思维对数据的认识大多局限在记录和查找上，但大数据时代，我们需要重新来认识数据的价值。比如以前不会计入交易记录的点击浏览，实际上反映了你的兴趣偏好，是有价值的。必须要转变思维----首先，样本=总体；其次，承认数据的混杂性；再者，重视数据之间的相关关系，而非因果关系。与“大”相比，对数据之间关系的认识则更需要我们来一场思维革命。IBM新兴市场部大数据中心总监王晓梅向我们强调，传统的数据库处理方式一直强调因果关系，为的是做预测性分析，而大数据时代的思维，则更强调从大量、混沌的数据去寻找规律。“不需要追究为什么，只需要告诉我是什么，只要数据本身是真实的，哪怕不精确，也应该大胆拥抱，只要大到一定量级，自然可以弥补不精确性的缺陷。”云计算更实际的问题是，即使认识到这些，我们该用什么样的方法去存储与处理大数据-----如果离开云计算来谈大数据，则容易浮在云端；而如果离开大数据来谈云计算，则变成无本之木。云计算的概念最早出现在2006年，在当年8月举行的搜索引擎战略大会上，谷歌CEO施密特在回答主持人提问的时候，第一次使用了“云”(cloud)这个词来描述他的服务器。但是，在现实中，业界对这一计算方式的探索则要早得多。就在施密特提出“云计算”几周之后，亚马逊推出了EC2业务----将闲置的大量存储和计算资源向外出售或出租。这是云计算的第一个转折点，亚马逊的贝索斯为云技术找到了一个行之有效的商业模式，也让云计算通过一种具体的服务方式落了地。而这事之所以由亚马逊公司首创，也在情理之中。作为号称销售一切的电子商务网站，为了应对高峰期大规模的交易业务，亚马逊一直在不断扩充其服务器等基础设施建设。但是，这些耗资巨大的服务器，过了销售高峰期就会陷入大量资源的闲置状态中，如何利用这些被浪费的资源一直是贝索斯思考的商业方向。即使是大型互联网公司的服务器，往往也不是集中在一个地方，如果将它们链接起来，通过软件实现资源的统一调配，存储和计算能力将会进一步释放。顺着贝索斯思考的方向延伸下去，以英特尔和微软主导的产业方向，一直在追求更高的CPU性能、更大的存储空间，但承载他们的是一台台独立的PC，只是每个人对PC的使用，毕竟各不相同，总会有很多资源处于闲置状态。如果能够将这些暂时闲置的计算资源整合起来，形成一团虚拟的“云”，大家就能各取所需。其实，这样的想法由来已久。早在1995年，为了对抗快速崛起的微软，甲骨文（Oracle)公司的CEO拉里.埃里森就推出了一款名为“网络计算机”的设备，当时售价500美元，不需要安装微软的操作系统就可以使用。埃里森揶揄道：“个人电脑（PC)是一种可笑的设备。”他设想这样一台设备，可以像插入插座获得电力一样即插就能获得数据。但是，这款设备生不逢时，很快就退出了市场，因为当时的网络传输速度极慢，产生的数据也没有那么大，在自家的电脑上就能轻松完成。但是，埃里森的这个想法却深深地影响了硅谷，奠定了现在云计算的雏形。这就是“云存储”和“云计算”的由来。简而言之，就像是工业革命时期的“福特生产线”一样，云计算就是信息时代的社会分工----主机即将消失，未来不管你使用什么设备，一台手机或者一部平板电脑，都只是一款简单的显示屏和操作平台，而把复杂的存储和计算交给“云”端的专业机构----