大数据时代下如何利用小数据创造大价值.docx

大数据时代下如何利用小数据创造大价值摘要：继物联网、云计算之后大数据（Bigdata）开始引起越来越多的关注2012年3月29日奥巴马政府公布“大数据研发计划”（BigDataResearchandDevelopmentInitiative）将“大数据战略”上升为国家战略白宫科技政策委员会还成立了大数据高层指导小组以推动这一战略规划奥巴马政府甚至将大数据定义为“未来的新石油”。关键词：小数据；大数据；企业数据战略；数据价值当今CIO们都已经接受了“大数据”的概念虽然小数据的容易会被过滤和忽视主要是因为目前人们还没有一个明确概念和定义去解释小数据。但毋庸置疑的是如果没有小数据往往会使大数据管理充满陷阱。所以数据管理的正确方式应该是两者相辅相成。一、什么是大数据？为什么人人言必称大数据？对于大数据有许多定义其中维基百科的定义是一个最大众的定义：“大数据指的是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。根据美国麦肯锡公司的预测大数据每年将会为美国医疗服务业带来3000亿美元的潜在增加值为位置服务产业带来6000亿美元的潜在年收入为欧洲的公共管理带来2500亿欧元的潜在价值。此外制造业可使设备装配成本降低50%通过充分利用大数据零售商可以使其运营利润增长60%。通过经合组织（OECD）的一项最新研究成果以及对互联网数据市场价值的估计更加证明了大数据存在巨大的潜在价值。二、大数据存在的缺陷1.大数据只是一种辅助工具。大数据毫无疑问确实是一个非常有价值的工具并且在某些领域产生了至关重要的影响。但是大数据只是可以辅助科学调查而不能完全的代替大数据能告诉我们是什么但不能告诉我们为什么。因为虽然大数据能够非常好地检测相关性特别是那些用小数据集可能无法测出的微妙相关性但是它并不会告诉我们哪一种相关性是有意义的。2.大数据可能带来大风险。大数据可以给我们提供更多的信息相关性但是如果你在两个变量中不断地寻找相关性那么你很可能会纯粹出于偶然发现虚假的相关性由于缺乏谨慎的检查这些大数据的量级会造成一些错误的分析结论。正如统计学家冯启思所说依赖于网站的大数据收集常常把一些用不同方法、有不同目的数据整合起来有时候这会产生负面的影响。从这样的数据样本得出结论通常是需要冒很大风险的。3.大数据难以测量人的感受。组织机构总是想了解人们想知道什么而且在这方面得心应手但是却不知道人们的感受。行为经济学证明：我们依靠偶获的灵感直觉和猜测选择人生的道路。一旦这些灵感被庞大的数字所遮蔽这便成了一个不能处理的巨大问题。英国《卫报》认为大数据削弱了人们的同理心数字化已经渗透到我们生活的各个方面我们以这种方式获得政务服务管理自己的金钱―甚至我们与朋友交流的方式也越来越依赖数字媒体。感受虽然不能被量化但是社会、经济和人道主义精神对数据的产生和使用影响深远。4.大数据掩盖了价值观念。数据总是依照某人的倾向和价值观念而被构建出来的大数据可以把任何事都简化为数字并给出听上去很科学的解释而那些看起来很客观公正的数据分析结果其实从构建到解读的整个过程都贯穿了价值的选择。著名商业思想家纳西姆？塔勒布）曾指出数据会制造出更大的“干草垛”在这个庞大的“干草垛”中我们需要找的那根针会被埋的更深。换言之就是那些“重大”发现的数量会被数据扩张带来的噪音而淹没。三、如何利用“小数据”决胜大数据时代1.从小数据流中获取灵感。面多“大数据”浪潮的冲击人们往往认为数据达到一定的规模才有用数据的量大但并不意味着全都能用到。小细节解锁大问题所以需要学会去筛选那些具有潜在商业导向价值的数据善于从小数据流中获得灵感并将其落实为具体行动。2.提高数据的可信性。大数据侧重于广度更加强调标准化其统计结果一般体现出其规律并预示着未来趋势。现阶段大数据时代只是刚刚开启大数据分析往往缺乏谨慎的检查导致人们做出错误决策。而小数据侧重于深度贵在挖掘使人们摆脱了对经验的依赖使决策由主观性走向客观性从而使数据更加可信。譬如通过收集多元异构的数据来对数据进行分析理解从而提高数据的可信性通过历史数据的对比可以推断数据的可信性最终运用数学模型来检验数据的可信性。3.使大数据更加可视化。数据的可视化可能用到虚拟现实的结合或增强现实技术从可视化的效果可以有助于判断大数据挖掘的可信性。例如美国统计参加NBA的球队的比赛情况发现投篮概率与投篮命中率以及投篮位置有一定的规律从80年代开始他们就对球员在赛场上的表现数据进行可视化通过30多年的积累NBA已经可以辨别每一个球员在场上的弱点方便教练进行针对性战术安排到目前为止约有15家NBA球队俱乐部请了数据分析