hadoop安装 hadoop+thrift+hive.docx

Hadoop+hive+thrift安装文档

一、主服务器设置
1.创建用户
#useraddhadoop
2.设置密码
#passwdhadoop
3.切换hadoop登录
#su-hadoop
4.解压hadoop压缩包
#tarzxvfhadoop-1.0.3.tar.gz
5.设置目录权限
#chown-Rhadoop.hadoophadoop-1.0.3
6.编辑环境变量
#vimhadoop-1.0.3/conf/hadoop-env.sh
编辑“JAVA_HOME”路径：
exportJAVA_HOME=/usr/local/jdk1.7.0_05
增加一行（取消过时警告）：
exportHADOOP_HOME_WARN_SUPPRESS=1
7.编辑系统环境变量(使用root用户)
#vim/etc/profile
追加如下内容：
exportJAVA_HOME=/usr/local/jdk1.7.0_05
exportPATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportHADOOP_HOME=/home/hadoop/hadoop-1.0.3
exportPATH=$PATH:$HADOOP_HOME/bin
8.执行环境设置
#source/etc/profile
9.设置主IP
#vimhadoop-1.0.3/conf/masters
把localhost替换成192.168.1.247
10.设置从IP
#vimhadoop-1.0.3/conf/slaves
把localhost替换成192.168.1.248
11.设置hdfs
#vimhadoop-1.0.3/conf/hdfs-site.xml
增加如下内容：
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop-1.0.3/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop-1.0.3/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
12.配置任务
#vimhadoop-1.0.3/conf/mapred-site.xml
增加如下内容：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.247:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/hadoop-1.0.3/var</value>
</property>
</configuration>
13.配置核心文件
#vimhadoop-1.0.3/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.247:9000</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.0.3/tmp</value>
</property>
</configuration>
14.实现主从自动登录（单方向）
创建公钥:
#ssh-keygen-trsa
自己可以ssh：
#cat.ssh/id_rsa.pub>>.ssh/authorized_keys
设置文件权限：
#chmod700.ssh/authorized_keys
测试一下，不需要密码就表示成功
#sshlocalhost
#exit
二、从服务器设置
1.创建用户
#