hadoop2.4.1完全分散式安裝

本文（親測實錄）主要列出在安裝hadoop 2.4.1過程中各個檔案配置情況，其他步驟請參考網路其他資源進行操作

1、JDK安裝和SSH互信（略過）

2、各節點IP和hostname如下（各節點需配置）
[hadoop@master ~]$ cat /etc/hosts

127.0.0.1       localhost
100.12.56.221   slave-1
100.12.56.222   slave-2
100.12.56.223   slave-3
100.12.56.224   slave-4
100.12.56.227   slave-5
100.12.56.228   master

3、各節點操作使用hadoop使用者進行，hadoop安裝目錄在/home/hadoop/hadoop-2.4.1下

4、JAVA環境變數配置如下
[hadoop@master hadoop-2.4.1]$ cat /etc/profile（各節點需配置）
export JAVA_HOME=/usr/java/jdk1.7.0_51
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=.:$JAVA_HOME/bin:$PATH

export PATH=/home/hadoop/hadoop-2.4.1/bin:/home/hadoop/hadoop-2.4.1/bin:$PATH
#該環境變數的配置，讓shell能夠查詢到hadoop的類路徑

5、master建立下這幾個目錄(這幾個目錄不知道是否必須建立，本例實驗時建立了目錄，實驗成功)
mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/dfs/name
mkdir -p /home/hadoop/dfs/data

6、編輯hadoop-env.sh（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/hadoop-env.sh
#新增如下內容
export JAVA_HOME=/usr/java/jdk1.7.0_51

7、編輯yarn-env.sh（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/yarn-env.sh
#新增如下內容
export JAVA_HOME=/usr/java/jdk1.7.0_51

8、編輯slaves（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/slaves
#新增如下內容
slave-1
slave-2
slave-3
slave-4
slave-5

9、編輯core-site.xml（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/core-site.xml
#新增如下內容

 
    fs.defaultFS
    hdfs://master:8020
 

 
    io.file.buffer.size
    131072
 

 
    hadoop.tmp.dir
    file:/home/hadoop/tmp
    Abase for other temporary   directories.
 

 
    hadoop.proxyuser.hadoop.hosts
    *
 

 
    hadoop.proxyuser.hadoop.groups
    *
 

10、編輯hdfs-site.xml（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

 
    dfs.namenode.secondary.http-address
    master:9001
 

 
    dfs.namenode.name.dir
    file:/home/hadoop/dfs/name
 

 
    dfs.datanode.data.dir
    file:/home/hadoop/dfs/data
 

 
    dfs.replication
    3
 

 
    dfs.webhdfs.enabled
    true
 

11、編輯mapred-site.xml（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/mapred-site.xml

 
    mapreduce.framework.name
    yarn
 

 
    mapreduce.jobhistory.address
    master:10020
 

 
    mapreduce.jobhistory.webapp.address
    master:19888
 

12、編輯yarn-site.xml（master節點）
vi /home/hadoop/hadoop-2.4.1/etc/hadoop/yarn-site.xml

 
    yarn.nodemanager.aux-services
    mapreduce_shuffle
 
 
    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
 
 
    yarn.resourcemanager.address
    master:8032
 
 
    yarn.resourcemanager.scheduler.address
    master:8030
 
 
    yarn.resourcemanager.resource-tracker.address
    master:8031
 
 
    yarn.resourcemanager.admin.address
    master:8033
 
 
    yarn.resourcemanager.webapp.address
    master:8088
 

13、複製軟體到其他節點（master節點）
scp -r /home/hadoop/hadoop-2.4.1 slave-1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-2:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-3:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-4:/home/hadoop/
scp -r /home/hadoop/hadoop-2.4.1 slave-5:/home/hadoop/

14、格式化hdfs檔案系統（master節點）
hdfs namenode –format

15、啟動yarn
/home/hadoop/hadoop-2.4.1/sbin/start-yarn.sh（master節點）
16、jps
master節點：
[hadoop@master sbin]$ jps
8783 NameNode
8981 SecondaryNameNode
9759 Jps
9132 ResourceManager

slave節點：
[hadoop@slave-5 ~]$ jps
6911 DataNode
7035 NodeManager
7281 Jps

17、網頁上訪問