预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共28页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

一、环境 1主机规化 集群中包括3个节点:hadoop01为Master,其余为Salve,节点之间局域网连接,可以相互ping通。 机器名称地址hadoop0110.10.151.100hadoop0210.10.151.101hadoop0310.10.151.1022软件版本 hadoop-1.2.1.tar.gzzookeeper-3.4.6.tar.gzhbase-0.98.10.1-hadoop1-bin.tar.gz 二、准备工作,三台机器都需要做,将三台机器selinux,iptables停用 1停用selinux vi/etc/selinux/config 将SELINUX=disabled 2安装JDK 使用已有的/usr/inp/java vi/etc/profile 在最后添加 JAVA_HOME=/usr/inp/java PATH=$PATH:$JAVA_HOME/bin exportJAVA_HOMEPATH [root@hadoop01java]#source/etc/profile让其java命令立即生效 [root@hadoop01java]#java执行java命令,如果能正常执行就表示java安装完成 3添加一个hadoop用户,用来运行hadoop集群 useraddhadoop echo"hadoop"|passwd--stdinhadoop 4做三台机器之间做双机互信,原因master通过远程启动datanode进程和tasktracker进程,如果不做双机互信,会导致每次启动集群服务都会需要密码 vi/etc/hosts 将hosts文件分别复制到另外两台。 修改这个文件etc/sysconfig/network这个文件里的主机名.NETWORKING=yesHOSTNAME=hadoop01 三台机子分别改主机名 5切换到hadoop用户,对其用做双机互信,先在三台机器先执行ssh-keygen生成公钥与私钥。将公钥复制到别的机器,需要对hadoop01,hadoop03,都做相同的动作。 [hadoop@hadoop01~]$ssh-keygen-trsa (这个命令将为hadoop上的用户hadoop生成其密钥对,询问其保存路径时直接回车采用默认路径,当提示要为生成的密钥输入passphrase的时候,直接回车,也就是将其设定为空密码。生成的密钥对id_rsa,id_rsa.pub,默认存储在/home/hadoop/.ssh目录下然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/dbrg/.ssh/authorized_keys文件中,如果机器上已经有authorized_keys这个文件了,就在文件末尾加上id_rsa.pub中的内容,如果没有authorized_keys这个文件,直接复制过去就行) [hadoop@hadoop01~]$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys [hadoop@hadoop01~]$ssh-copy-id-ihadoop02 [hadoop@hadoop01~]$ssh-copy-id-ihadoop03 [hadoop@hadoop02~]$ssh-copy-id-ihadoop01 [hadoop@hadoop03~]$ssh-copy-id-ihadoop01 切换到root用户,重启sshd服务 servicesshdrestart 6同步时间,三台机器启用ntpd服务,另外两台执行相同的操作 vi/etc/resolv.conf nameserver202.106.0.20 nameserver203.196.0.100 [root@hadoop01~]#crontab-e */5****/usr/sbin/ntpdatentp.api.bz&>/dev/null 7HYPERLINK"http://www.oschina.net/question/4873_20573"Linux打开文件数1024限制的原理以及解决办法 1、/etc/pam.d/login添加sessionrequired/lib/security/pam_limits.so注意看这个文件的注释2./etc/security/limits.conf添加www–nofile1006154www是一个用户,如果是想所有用户生效的话换成*,设置的数值与硬件配置有关,别设置太大了。----------------------------------------------------------------------------- 3.修改/etc/rc.l