预览加载中，请您耐心等待几秒...

基于MapReduce并行计算的词频统计的研究.pdf

预览
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲，该文档总共21页，到这已经超出免费预览范围，如果喜欢就直接下载吧～

下载提示 文本预览

如果您无法下载资料，请参考说明：

1、部分资料下载需要金币，请确保您的账户上有足够的金币

2、已购买过的文档，再次下载不重复扣费

3、资料包下载后请先用软件解压，在使用对应软件打开

南阳理工学院 本科生毕业设计(论文) 学院(系)：软件学院 专业：软件工程 学生：周楠 指导教师：陈可 完成日期2016年04月 南阳理工学院本科生毕业设计（论文） 基于MapReduce并行计算的词频统计的研究 ResearchoftheWordCountbyParallelComputingonMapReduce 总计：毕业设计(论文)15页 表格：3个 插图：5幅 基于MapReduce并⾏计算的词频统计的研究 南阳理工学院本科毕业设计(论文) 基于MapReduce并行计算的词频统计的研究 ResearchoftheWordCountbyParallelComputingon MapReduce 学院(系)：软件学院 专业：软件工程 学生姓名：周楠 学号：1415925713 指导教师(职称)：陈可讲师 评阅教师：陈可 完成日期：2016年04月16日 南阳理工学院 NanyangInstituteofTechnology 基于MapReduce并⾏计算的词频统计的研究 चԭMapReduceଚᤈᦇᓒጱ᦯᷇ᕹᦇጱᎸᑪ 软件工程周楠 [摘要]我们正处在大数据时代，数据，已经渗透到当今每一个行业和业务职能领 域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率 增长和消费者盈余浪潮的到来大数据时代，数据爆炸式增长，数据量巨大，数据种 类繁琐，很难统计，处理和分析，所以数据挖掘显得格外重要，，而词频统计正是 数据挖掘的一个重要分支。在谷歌，超过一万个不同的项目已经采用MapReduce来 实现,包括大规模的算法图形处理、文字处理、数据挖掘、机器学习、统计机器翻 译以及众多其他领域。 [关键词]词频统计；MapReduce；并⾏计算；Hadoop； 基于MapReduce并⾏计算的词频统计的研究 ResearchoftheWordCountbyParallelComputingon MapReduce SoftwareEngineeringMajorZhouNan AbstractWeareintheeraofbigdata,data,haspenetratedintoeveryindustrytodayand thebusinessfunctionalareas,becomeanimportantproductionfactor.Forhugeamountsof dataminingandutilization,heraldanewwaveofproductivitygrowthandtheinfluenceofthe consumersurpluscomingeraofbigdata,dataexplosion,thegreatamountofdata,datatypes, itisdifficulttostatistics,processingandanalysis,appearsespeciallyimportant,sodata mining,andwordfrequencystatisticsisanimportantbranchofdatamining.InGoogle,more thantenthousanddifferentprojectshavebeenimplementedusinggraphs,includinglarge- scaleimageprocessingalgorithm,wordprocessing,datamining,machinelearningand statisticalmachinetranslationaswellasmanyotherareas. KeyWordsWordCount；MapReduce；ParallelComputing； 基于MapReduce并⾏计算的词频统计的研究 目录 1.绪论........................................................................................................................................1 1.1.词频统计的意义.........................................................................................................1 1.2.MapReduce介绍与应⽤............................................................................