大数据时代的挑战、价值与应对策略.doc

大数据时代的挑战、价值与应对策略【摘要】在社会的发展之下，人们已经全面进入了大数据时代，在这一时代中，人们的生活与工作方式发生了极大的改变，本文主要分析大数据时代的挑战、价值以及相关的应对策略。【关键词】大数据时代；挑战；价值；应对策略当今社会，互联网、物联网、云计算等技术高速发展，视频监控技术、智能终端系统、手机应用等也快速进入人们的视线，普及量日益见长。随之而来，全球数据量也呈现出指数式的增加，以太字节为单位的数据时代已经到来了。面对以太字节为单位的大数据时代，电信运营商的网络扩容每秒都在无限量的增加，但其收益却没有因此而增加多少。一些公司为了提高其生产力，采用“数据驱动型决策”模式取得了显著成效。那么在大数据时代，人们可以做什么呢？人们可以通过技术对海量的数据进行分析，得到用户的喜好和行为，例如，在因材施教方面，学校和老师可以通过大数据来分析学生的个性和爱好，以此来进行教学，增强老师的教育工作能力，同时也提高了学生的学习效率，事半功倍。在公司管理方面，公司可以通过对公司各项数据的分析，开源节流，建立起精细型管理模式，提高公司发展水平。在产品生产方面，通过对大数据的分析，优化产品生产结构，合理规划生产流程，提高产品生产能力。一、大数据时代的特征。全球知名的咨询公司麦肯锡最早提出了“大数据时代”。现在人们用“大数据”来定义信息爆炸时代产生的海量数据。关于多少的数据量可以称得上是“大数据”，到目前为止，还尚未达成共识。一般认为，大数据应该在10TB至1PB（P为T的1024被）以上。其特征主要有四个。（一）数据量大——核心特征大数据时代之所以称之为“大”，就是其量大。数据量已经进入以太字节为单位了，其包含数量之广是我们难以相信和预测的。据统计，2009年，全球信息量已经达到了80万PB（1021字节），2010年比2009年增加了40万PB，达到了120万PB。120万PB是什么概念呢？就是把这些字节刻录在DVD上面，再把这些刻录了120万PB数据的DVD叠放在一起，可以从地球到月球叠放一个来回。（二）种类繁多这里的“多”指的是数据形式的多样性。在这个时代，网页，图片，视频，音频，文字等各种形式的数据承载方式，数据结构繁多，在2012年半结构化和非结构化的数据占全球网络数据量的85%左右。（三）速度快大数据时代的一个基本特征就是传播速度之“快”，现在不仅仅是传播速度，就是处理数据的速度因为软件工程的日新月异和人工智能的发展，也在急速增加。（四）价值密度低因为过多的数据和无处不在的信息感知，信息的价值密度相对较低，如何从海量的数据中提取出我们确实需要的数据，成为了大数据时代的一大难题。二、大数据时代的挑战（一）数据洪流的急速发展使得运营商的带宽能力更不上，适应能力亟待提高。运营商的带宽虽然也在不停的发展，但远远比不上数据的指数式增长，因此目前日益增长的数据传输能力和现有的带宽承载能力无法相匹配。（二）数据量大、形式多样以及快速等特征也对数据的处理和存储提出了全新的要求。那么多的数据，那么多样化的数据，快速更新的数据要求更加宽大，更加便利的软件工程和人工智能来处理和存储，单单的人脑已经无法满足数据的需求。（三）在大数据时代，海量的数据往往为网络罪犯和黑客提供了可乘之机。他们利用海量的数据作为反追踪的利器。海量的数据也为他们的作案工具和作案手法提供了新思路。例如我们熟知的APT（高级持续性安全威胁），一些小团体就是利用了先进的数据攻击手段对特定目标进行长期的持续性网络攻击。（四）一些个人或者企业通过非法手段窃取了某些用户的私人数据，并用这些数据非法分析用户的行为和爱好，一些企业的商业机密也在海量的数据中被泄露出去。因此个人隐私和企业利益在大数据时代中受到了重大的冲击和损害。如何保护个人和企业的利益成为关键。（五）在海量的数据面前，数据是否真实，这点显得有些扑朔迷离。“去伪存真”就成了十分重要的一项工作。但其方法和过程之分复杂。我们首先需要了解需要数据的基本特点，根据其特点来对已有的数据进行筛选，接着把已经筛选出来的数据进行分析和清理，通常是用相关工具和分析模型赖进行评估，看看结果是否符合我们需要的数据的基本特点。最后把已经分析出来的我们需要的数据进行整理和呈现。三、大数据时代的应对策略面对上述五个挑战，我们需要措施来应对以适应更好的大数据时代的发展。（一）面对带宽不足的问题，电信运营商已经想出了初步的解决办法，它们将以智能管道与聚合平台作为基础，将扩大流量规模、提升流量层次和丰富流量内涵三者并驾齐驱，把释放流量价值作为导向，实现大数据和云计算的深层次结合。（二）面对大数据时代的特征带来的挑战，这需要惠普、IBM、微软等IT巨头们携手共进，全方面加强科技创新，通