实验MapReduce编程初级实践.docx

实验3MapReduce编程初级实践
实验目的
1.通过实验掌握基本的MapReduce编程方法；
2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。
实验平台
已经配置完成的Hadoop伪分布式环境。
实验内容和要求
1.编程实现文件合并和去重操作
对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。

实验最终结果（合并的文件）：

代码如下：
packagecom.Merge;

import;
import;
import;
import;
import;
import;
import;
import;
import;

publicclassMerge{

publicstaticclassMapextendsMapper<Object,Text,Text,Text>{
privatestaticTexttext=newText();

publicvoidmap(Objectkey,Textvalue,Contextcontext)
throwsIOException,InterruptedException{
text=value;
context.write(text,newText(""));
}
}

publicstaticclassReduceextendsReducer<Text,Text,Text,Text>{
publicvoidreduce(Textkey,Iterable<Text>values,Contextcontext)
throwsIOException,InterruptedException{
context.write(key,newText(""));
}
}

publicstaticvoidmain(String[]args)throwsException{
Configurationconf=newConfiguration();
conf.set("fs.defaultFS","hdfs://localhost:9000");
String[]otherArgs=newString[]{"input","output"};
if(otherArgs.length!=2){
("Usage:Mergeandduplicateremoval<in><out>");
System.exit(2);
}
Jobjob=Job.getInstance(conf,"Mergeandduplicateremoval");
job.setJarByClass(Merge.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job,newPath(otherArgs[0]));
FileOutputFormat.setOutputPath(job,newPath(otherArgs[1]));
System.exit(job.waitForCompletion(true)?0:1);
}

}
2.编写程序实现对输入文件的排序
现在有多个输入文件，每个文件中的每行内容均为一个整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。下面是输入文件和输出文件的一个样例供参考。

实验结果截图：

代码如下：
packagecom.MergeSort;

import;
import;
import;
import;
import;
import;
import;
import;
import;
import;

publicclassMergeSort{
publicstaticclassMapextends
Mapper<Object,Text,IntWritable,IntWritable>{
privatestaticIntWritabledata=newIntWritable();

publicvoidmap(Objectkey,Textvalue,Contextcontext)
throwsIOException,InterruptedException{
Stringline=value.toString();
dat