大数据时代的挑战、价值与应对策略.doc

大数据时代的挑战、价值与应对策略【摘要】在社会的发展之下人们已经全面进入了大数据时代在这一时代中人们的生活与工作方式发生了极大的改变本文主要分析大数据时代的挑战、价值以及相关的应对策略。【关键词】大数据时代；挑战；价值；应对策略面对以太字节为单位的大数据时代电信运营商的网络扩容每秒都在无限量的增加但其收益却没有因此而增加多少。一些公司为了提高其生产力采用“数据驱动型决策”模式取得了显著成效。那么在大数据时代人们可以做什么呢？人们可以通过技术对海量的数据进行分析得到用户的喜好和行为例如在因材施教方面学校和老师可以通过大数据来分析学生的个性和爱好以此来进行教学增强老师的教育工作能力同时也提高了学生的学习效率事半功倍。在公司管理方面公司可以通过对公司各项数据的分析开源节流建立起精细型管理模式提高公司发展水平。在产品生产方面通过对大数据的分析优化产品生产结构合理规划生产流程提高产品生产能力。一、大数据时代的特征。全球知名的咨询公司麦肯锡最早提出了“大数据时代”。现在人们用“大数据”来定义信息爆炸时代产生的海量数据。关于多少的数据量可以称得上是“大数据”到目前为止还尚未达成共识。一般认为大数据应该在10TB至1PB（P为T的1024被）以上。其特征主要有四个。（一）数据量大——核心特征大数据时代之所以称之为“大”就是其量大。数据量已经进入以太字节为单位了其包含数量之广是我们难以相信和预测的。据统计2009年全球信息量已经达到了80万PB（1021字节）2010年比2009年增加了40万PB达到了120万PB。120万PB是什么概念呢？就是把这些字节刻录在DVD上面再把这些刻录了120万PB数据的DVD叠放在一起可以从地球到月球叠放一个来回。（二）种类繁多这里的“多”指的是数据形式的多样性。在这个时代网页图片视频音频文字等各种形式的数据承载方式数据结构繁多在2012年半结构化和非结构化的数据占全球网络数据量的85%左右。（三）速度快大数据时代的一个基本特征就是传播速度之“快”现在不仅仅是传播速度就是处理数据的速度因为软件工程的日新月异和人工智能的发展也在急速增加。（四）价值密度低因为过多的数据和无处不在的信息感知信息的价值密度相对较低如何从海量的数据中提取出我们确实需要的数据成为了大数据时代的一大难题。二、大数据时代的挑战（一）数据洪流的急速发展使得运营商的带宽能力更不上适应能力亟待提高。运营商的带宽虽然也在不停的发展但远远比不上数据的指数式增长因此目前日益增长的数据传输能力和现有的带宽承载能力无法相匹配。（二）数据量大、形式多样以及快速等特征也对数据的处理和存储提出了全新的要求。那么多的数据那么多样化的数据快速更新的数据要求更加宽大更加便利的软件工程和人工智能来处理和存储单单的人脑已经无法满足数据的需求。（三）在大数据时代海量的数据往往为网络罪犯和黑客提供了可乘之机。他们利用海量的数据作为反追踪的利器。海量的数据也为他们的作案工具和作案手法提供了新思路。例如我们熟知的APT（高级持续性安全威胁）一些小团体就是利用了先进的数据攻击手段对特定目标进行长期的持续性网络攻击。（四）一些个人或者企业通过非法手段窃取了某些用户的私人数据并用这些数据非法分析用户的行为和爱好一些企业的商业机密也在海量的数据中被泄露出去。因此个人隐私和企业利益在大数据时代中受到了重大的冲击和损害。如何保护个人和企业的利益成为关键。（五）在海量的数据面前数据是否真实这点显得有些扑朔迷离。“去伪存真”就成了十分重要的一项工作。但其方法和过程之分复杂。我们首先需要了解需要数据的基本特点根据其特点来对已有的数据进行筛选接着把已经筛选出来的数据进行分析和清理通常是用相关工具和分析模型赖进行评估看看结果是否符合我们需要的数据的基本特点。最后把已经分析出来的我们需要的数据进行整理和呈现。三、大数据时代的应对策略面对上述五个挑战我们需要措施来应对以适应更好的大数据时代的发展。（一）面对带宽不足的问题电信运营商已经想出了初步的解决办法它们将以智能管道与聚合平台作为基础将扩大流量规模、提升流量层次和丰富流量内涵三者并驾齐驱把释放流量价值作为导向实现大数据和云计算的深层次结合。（二）面对大数据时代的特征带来的挑战这需要惠普、IBM、微软等IT巨头们携手共进全方面加强科技创新通过软件工程和人工智能的创新发展来扩大数据存储容量增加数据存储方式提高数据分析效率让海量的数据更好的为我们服务。（三）面对APT带来的安全威胁政府需要借助大数据来创新处理技术。针对APT的的单点隐蔽强、攻击路径不定等特点在全流量审计方面需要加强事时流量监测能力和事后回溯的能力并且提高安全工作人员的分析素质把计算机存储和运算能力相结合运做出一套完整的解决反APT方案。（四）面的个人隐私安全最主要的是加强信息