Hadoop分散式環境搭建總結(非生產：Rat hat linux 6.4 + hadoop_1.2.1)

一．環境準備

1.       VMware workstation 9

2.       Red hat linux 6.4版本 32bit

3.       JDK版本 jdk-7u45-linux-i586

4.       Hadoop jar包 1.2.1版本32位

5.       遠端登入及ftp工具(自選) 

備註：

hadoop安裝包下載下載地址：hadoop.apache.org

目前最新版本已經更新到2.2.0 釋出版本

二．部署安裝步驟

整體分為：

（1）       系統安裝

（2）       JDK安裝及建立SSH無密碼訪問通訊連線

（3）       Hadoop解壓安裝配置

（4）       配置網路域名解析及關閉放火牆

2.1 安裝系統。

安裝好虛擬機器後，安裝linux系統，注意網路連線方式選擇橋接，其他配置根據個人機器情況自行配置。完全分散式共需要準備3個虛擬機器。

我設定的實驗虛擬機器記憶體為512M 硬碟為10G：

節點	節點IP	節點型別
Node01	10.55.15.89	NameNode
Node02	10.55.15.65	DataNode
Node03	10.55.15.91	DataNade

 

2.2 JDK安裝及建立SSH無密碼訪問通訊連線

1. 首先為每臺機安裝JDK

 

使用root使用者，執行rpm -ivh jdk-7u45-linux-i586.rpm

 

用安裝結束後，使用java –version 檢查是否安裝好

 

2. SSH建立無密碼訪問：

a. 使用命令ssh-keygen -t rsa分別為三臺節點機建立金鑰：

此處，以其中一個節點為圖例

中間過程一路回車就可以，無需填寫任何東西

 

然後，開啟隱藏目錄.shh 檢視金鑰是否生成

 

b. 將共有金鑰複製一份，重新命名為authorized_keys

 

c. 將另外兩臺節點機的共有秒內容也複製到authorized_keys的內容中

 

d. 將檔案 authorized_keys 複製到另外兩臺節點機 .shh 目錄下

 

e. 配置hosts域名解析

 

f. 測試三臺節點機的無密碼訪問聯通性及自訪問聯通性

 

2.3 hadoop解壓安裝及修改配置檔案

將tar包解壓，tar –xzvf  hadoop-1.2.1.tar.gz

 

1.  修改core-site.xml

a.配置Namenode主機及埠號

b.配置制定臨時資料夾路徑，tmp資料夾要自行建立。

 

   新增內容：

fs.default.name

hdfs://node01:9000

 

hadoop.tmp.dir

/home/criss/hadoop/hadoop-1.2.1/tmp

 

 

 

2.  修改hadoop-env.sh檔案

修改JDK的路徑

 

3.  修改hdfs-site.xml

節點機數量為2，value為2

新增如下內容：

dfs.replication

2

 

 

 

4.  修改mapred-site.xml

   配置job tracter監聽埠監聽埠

mapred.job.tracker

node01:9001

 

 

5.  修改master 和 slaves

 

修改master檔案

新增namenode 主機名

 

修改slaves

新增datanode 主機名

 

 

6.  配置好的Hadoop資料夾整體複製到各個節點。

 

 

 

2.4閉防火牆

關閉每臺機的防火牆：

/etc/init.d/iptables stop 關閉防火牆。
chkconfig iptables off 關閉開機啟動。

 

三．測試啟動hadoop

執行命令可以在任意機器進行操作。

 

1.       初始化Namenode

Hadoop namenode –format

 

2． 初始化成功後啟動

./start-all.sh 啟動

 

 

驗證Namenode主機程式是否啟動成功:

 

驗證Datanode節點機程式是否啟動成功:

 

到此安裝部署過程結束！