1 hadoop叢集規劃
1.1 共有A、B、C 三臺機器;
1.2 A 作為master,B作為slave1,C作為slave2;
1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;
1.4 OS:centos6.2(64bit)
2 hadoop叢集搭建步驟
2.1 建立 hadoop使用者,並使該使用者擁有root許可權(在master機器上進行)
#建立hadoop使用者
useradd hadoop
#給使用者hadoop新增密碼
passwd hadoop
#付給hadoop使用者root許可權
vi /etc/passwd 將hadoop使用者的使用者ID 、組ID 都改為0,如hadoop:x:0:0::/home/hadoop:/bin/bash(記得先切換到root使用者哦,其他使用者估計對該檔案沒有許可權)
2.2 切換到hadoop使用者,進入hadoop使用者主目錄(在master機器上進行)
#切換到hadoop使用者
su hadoop
根據提示輸入密碼(如果從普通使用者切換到hadoop,需要密碼;如果從root使用者切換到hadoop,不許要輸入密碼,也就沒有這一步了)
#進入hadoop的主目錄
cd /home/hadoop
2.3 安裝JDK環境(hadoop是JAVA編寫的一個工具,需要使用JDK)(在master機器上進行)
yum install openjdk*(yum 是centos上的一個安裝軟體的工具,可以查詢軟體、刪除軟體、更新軟體等)
2.4 安裝openssh(hadoop節點間通訊需要使用到它,並且相對ssh而言,這個是免費的)(在master機器上進行)
#安裝openssh
yum install openssh*
#生存ssh金鑰
ssh-keygen -t rsa -P ''
#進入.ssh資料夾
cd /root/.ssh
#將公鑰加到認證的公鑰檔案中
cat id_rsa.pub>>authorized_keys
2.5 下載hadoop安裝包並進行相應的配置(在master機器上進行)
#下載hadoop-1.0.4.tar.gz
#解壓hadoop-1.0.4.tar.gz到/home/hadoop
#hadoop-1.0.4資料夾中的conf資料夾中是我們需要配置的檔案(詳情見地址)
http://download.csdn.net/detail/lovemelovemycode/5634581
2.6 配置hosts和hostname(在master上進行)
#下載這個檔案
http://download.csdn.net/detail/lovemelovemycode/5634599
2.7 在slave1和slave2上重複2.1、2.2、2.3的步驟
2.8 將master上相應的檔案copy到slave1\slave2上(在master上進行)
scp -r .ssh hadoop@slave1:/root
scp -r .ssh hadoop@slave2:/root
scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave1:/home/hadoop
scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave2:/home/hadoop
scp -r /etc/hosts hadoop@slave1:/etc
scp -r /etc/hostname hadoop@slave2:/etc
2.9 關閉 master、slave1、slave2的防火牆
#暫時關閉防火牆
/etc/init.d/iptables stop
#永久關閉防火牆
chkconfig –level 35 iptables off
2.10 對namenode\datanode進行格式化(在master上進行)
bin/hadoop namenode -format
bin/hadoop datanode -format
2.11 啟動hadoop(在master上進行)
# 進入hadoop-1.0.4
bin/start-all.sh
3 hadoop叢集搭建成功的驗證方法
3.1 通過java 的jps命令驗證
http://download.csdn.net/detail/lovemelovemycode/5634649
3.2 通過http://master:50070 和http://master:50030驗證