实验3-MapReduce编程初级实践.doc

实验3MapReduce编程初级实践
实验目得
1、通过实验掌握基本得MapReduce编程方法;
2、掌握用MapReduce解决一些常见得数据处理问题,包括数据去重、数据排序与数据挖掘等。
实验平台
已经配置完成得Haｄoｏｐ伪分布式环境。
实验内容与要求
１、编程实现文件合并与去重操作
对于两个输入文件,即文件Ａ与文件Ｂ，请编写ＭａpRedｕcｅ程序，对两个文件进行合并,并剔除其中重复得内容,得到一个新得输出文件C.下面就是输入文件与输出文件得一个样例供参考。
实验最终结果(合并得文件)：

代码如下:
ｐackage、Mｅrge；
imｐoｒtjaｖa、ｉo、IOExｃeption；
impｏrtorｇ、apａche、hadｏop、ｃｏnf、Confiｇuration；
imporｔoｒg、apache、haｄｏop、ｆs、Pａth;
imporｔｏrg、ａpache、hadoｏｐ、ｉo、Texｔ;
importoｒg、ａpacｈe、hadoｏp、maｐreduce、Joｂ；
impｏrtｏrg、apache、hadoop、mapreduce、Mapper;
impoｒtoｒｇ、apaｃhe、hａdoｏp、mａpreduｃe、Ｒeｄucｅr；
iｍｐoｒｔｏrg、aｐache、hadoop、ｍapｒｅduce、liｂ、inpｕｔ、；
importoｒg、apａche、haｄoop、ｍapreｄｕｃe、liｂ、outpuｔ、;
publicclａｓｓＭerge{
ｐｕｂｌiｃｓｔaticclａsｓMａpeｘtenｄsMapｐｅr<Oｂject，Tｅxt，Ｔｅxｔ,Texｔ>{
priｖａtｅstaticTexｔtext=ｎewＴｅxt（);
publicvｏidmaｐ(Oｂjeｃｔｋｅｙ,Textvaｌuｅ，Conteｘｔcoｎtｅxｔ)
thｒowsIOＥxｃeptioｎ,ＩnteｒrｕptedＥxceptiｏｎ{
ｔext=value;
cｏnｔeｘt、writｅ(text,newTｅxt(””)）;
｝
}
pｕbliｃｓtaticclassRｅdｕｃeeｘteｎdsReducer<Teｘt，Text，Text，Text＞{
pｕblicvｏidrｅducｅ（Textkｅｙ,Iterabｌe〈Ｔeｘt＞valuｅs，Contextcontext)
thrｏwsIOExcｅptioｎ，IntｅrrｕpｔedEｘｃeｐtion{
ｃontext、ｗｒiｔｅ(key,ｎewTeｘt（"”）);
}
}
ｐublicstatiｃvoidｍain（String[]arｇs)ｔhrowsExcｅptiｏn{
Ｃonｆigurａtｉonｃonf=newConfigurａｔion(）；
conf、sｅt（”ｆs、defaultFS”,”ｈdfs：//localhost：900０＂);
Ｓtrｉng［]othｅｒＡrgs=newString［］｛"input"，”oｕtput"}；
iｆ（otherArgs、lenｇth！=２){
Ｓyｓteｍ、ｅrr、printｌｎ(”Usagｅ:Meｒgｅaｎddupｌicａｔerｅmovａl〈ｉｎ><out＞"）;
Sysｔem、ｅxｉｔ（２)；
}
Jobjｏb=Job、ｇetInｓtanｃe(coｎf,”Meｒgeａnｄduｐlicatｅremoval＂);
job、setＪａｒByCｌａsｓ(Mｅrge、cｌaｓs)；
job、seｔMapｐerClass(Mａp、cｌass)；
job、setReducerClass（Ｒeducｅ、class）；
job、setOｕtｐutKeyClass（Ｔｅxt、cｌass);
job、setＯutputValｕｅClass(Tｅxt、clａsｓ);
（job，ｎeｗPath(othｅrArｇs[0］));
(ｊｏb，ｎｅｗPath(oｔｈerＡrgs[1]))；
Sysｔeｍ、exit(jｏb、waｉtFｏrｐleｔｉon(true)?0:1）；
｝
}
2、编写程序实现对输入文件得排序
现在有多个输入文件,每个文件中得每行内容均为一个整数。要求读取所有文件中得整数，进行升序排序后，输出到一个新得文件中,输出得数据格式为每行两个整数,第一个数字为第二个整数得排序位次，第二个整数为原待排列得整数。下面就是输入文件与输出文件得一个样例供参考。
实验结果截图:

代码如下：
ｐａckage、ＭerｇeSｏｒt;
importjａｖａ、iｏ、IＯEｘceｐtｉon;
importorg、apache、hａdoop、conｆ、Coｎfigｕrａｔion；
iｍpｏｒtｏrg、apａｃhe、ｈadoop、fs、Paｔh;
ｉｍporｔorg、aｐache、ｈ