hadoop面试葵花宝典(V1.1).pdf

编者QQ：10401952531超人学院hadoop面试葵花宝典(V1.1)www.crxy.cn为了让大家更有针对性的学习和复习，对hadoop面试题有个大概的了解，超人学院特将学员面试过程中遇到的面试题汇集成篇。在此，非常感谢大家对超人学院工作的鼎力支持与配合，尤其要感谢（包含但不限于）飞哥、然月枕流君、北京-南桑、彩虹伴相思雨、Clouds、小萝卜、北京-大数、象夫、随心、mo•mo•ring、aboutyun、happy、闪客、找自己、炎帝初始化.........截至2015年1月21日为止，本次共收集了将近500道hadoop相关的面试题。随着面试人数的增加，我们将不定期更新面试题库，欢迎大家持续关注超人学院的官网www.crxy.cn，确保第一时间获取免费的公开课信息和其他学习资料。一、来自****提供的面试题（14道）：编者QQ：10401952532编者QQ：10401952533编者QQ：10401952534第一题：1.创建hadoop帐户。2.setup.改IP。3.安装java，并修改/etc/profile文件，配置java的环境变量。4.修改Host文件域名。5.安装SSH，配置无密钥通信。6.解压hadoop。7.配置conf文件下hadoop-env.sh、core-site.sh、mapre-site.sh、hdfs-site.sh。8.配置hadoop的环境变量。9.Hadoopnamenode-format10.Start-all.sh第二题：namenode：管理集群，并记录datanode文件信息。Secondname:可以做冷备，对一定范围内数据做快照性备份。Datanode:存储数据Jobtracker:管理任务，并将任务分配给tasktracker。Tasktracker:任务执行方。第三题：可能的原因：1.hdfs没有启动成功，通过查看jps确认下。2.确认文件是否存在。第四题：hadoopjob-list拿到job-id,hadoopjob-killjob-idHadoopfs-rmr/tmp/aaa加新节点时：Hadoop-daemon.shstartdatanodeHadoop-daemon.shstarttasktracker编者QQ：10401952535删除时：Hadoopmradmin-refreshnodesHadoopdfsadmin-refreshnodes第五题：Fifoschedular:默认，先进先出的原则Capacityschedular:计算能力调度器，选择占用最小、优先级高的先执行，依此类推。Fairschedular:公平调度，所有的job具有相同的资源。第六题：java、python、hive第七题：wordcount。。。第八题：就用过java和hiveQL。Java写mapreduce可以实现复杂的逻辑，如果需求简单，则显得繁琐。HiveQL基本都是针对hive中的表数据进行编写，但对复杂的逻辑很难进行实现。写起来简单。第九题：三种：内存数据库derby，挺小，不常用。本地mysql。。常用远程端mysql。。不常用上网上找了下专业名称：singleusermode..multiusermode...remoteusermode第十题：在源码中有个例子。。不过我没看。。。第十一题：貌似好几种来着，像mapjoin..reducejon..还有其它的来着吧。。可以去网上查一下，我常用的就是mapjoin，可以将小表的数据加载到内存中使用，然后匹配的大表的数据，加快效率。第十二题：用java。。我的第一思路就是排序后从中间查询呗，for循环的事。。编者QQ：10401952536第十三题：combiner:实现的功能跟reduce差不多，接收map的值，经过计算后给reduce，它的key,value类型要跟reduce完全一样，当reduce业务复杂时可以用，不过它貌似只是操作本机的数据。。Partition：将输出的结果分别保存在不同的文件中。。第十四题：二、来自彩虹伴相思雨提供的面试题（31道）：15、Hive内部表和外部表的区别？16、Hbase的rowkey怎么创建比较好？列族怎么创建比较好？17、用mapreduce怎么处理数据倾斜问题？18、hadoop框架中怎么来优化？19、Hbase内部是什么机制？20、我们在开发分布式计算job的,是否可以去掉reduce()阶段？21、hdfs的数据压缩算法22、mapreduce的调度模式23、hive底层与数据库交互原理24、hbase过滤器实现原则25、reduce后输出的数据量有多大？26、现场出问题测试mapreduce掌握情况和HIve的Hql语句掌握情况？三、来自happy