Hadoop大資料實戰系列文章之安裝Hadoop

由於實踐部分主要以 Hadoop 1.0 環境為主，所以這主要介紹如何搭建 Hadoop 1.0

分散式環境。

整個分散式環境執行在帶有linux作業系統的虛擬機器上，至於虛擬機器和linux系統的安

裝這裡暫不做過多介紹。

安裝 Hadoop 分散式環境：

1) 下載 Hadoop 安裝包：

在地址中可以找到hadoop-1.2.1-bin.tar.gz

檔案

使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個檔案到虛擬機器的系統中。

同樣在 securtcrt 中 ll 時，能得到

2) 安裝 Hadoop 安裝包：

 首先將安裝包解壓縮：

 Linux 終端執行 cd 進入相應目錄：

 新增 tmp 目錄，mkdir /home/hadoop/hadoop-1.2.1/tmp

3) 配置 Hadoop：

 使用 vim 修改 master 檔案內容：

將 localhost 修改成 master：

最後儲存退出。

 修改 slaves 檔案

注意，這裡準備設定幾臺 slave 機器，就寫幾個，因為當前分散式環境有四個虛擬機器，

一臺做 master，三臺做 slave，所以這裡寫成了三個 slave

 修改 core-site.xml 檔案：

【注意】中間的 ip 地址，不要輸入 192.168.2.55，根據自己的情況設定。

 修改 mapred-site.xml 檔案：

【注意】記得 value 的內容要以http 開頭。

 修改 hdfs-site.xml 檔案：

其中，<value>3</value>視情況修改，如果有三臺 slave 機器，這裡設定成 3，如果

只有 1 臺或 2 臺，修改成對應的值即可。

 修改 hadoo-env.sh 檔案

在

下新增 export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

 修改本地網路配置：編輯/etc/hosts 檔案

【注意】Ip 地址根據具體的情況要進行修改。

4) 複製虛擬機器

 關閉當前虛擬機器，並複製多份

【注意】要選擇初始化所有網路卡的 mac 地址

根據自己需求，複製 2到 3 臺虛擬機器作為 slave，同樣要確認網路連線方式為橋接。

 設定所有機器的 IP 地址

分別啟動虛擬機器，修改機器的 ip 地址，在虛擬機器的圖形介面裡，選擇設定

單擊開啟，在彈出來的視窗裡，選擇network

開啟 options，修改成如下的形式，選擇 ipv4 ,分配 方式選擇成 manual。

【注意】具體的ip地址，根據實際的情況來設定，因為培訓教室裡都是192.168.2.x的

網段，所以我這裡設定成了 192.168.2.x，每個人選擇自己的一個ip地址範圍，注意不要和

其它人衝突了。

5) 建立互信關係

 生成公私鑰，在 master 機器的虛擬機器命令列下輸入 ssh-keygen，一路回車，全

預設

 複製公鑰

複製一份 master 的公鑰檔案，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

同樣，在所有的 slave 機器上，也在命令列中輸入 ssh-keygen，一路回車，全預設

在所有的 salve 機器上，從 master 機器上覆制 master 的公鑰檔案：

 測試連線

在 master 機器上分別向所有的 slave 機器發起聯接請求：

如：ssh slave1

【注意】記得一旦聯接上，所有的操作，就視同在對應的 slave 上操作，所以一定要記

得使用 exit 退出聯接。

6) 啟動 Hadoop：

 初始化：在 master 機器上，進入/home/hadoop/hadoop-1.2.1/bin 目錄

在安裝包根目錄下執行./hadoop namenode –format來初始化hadoop的檔案系統。

 啟動

執行./start-all.sh，如果中間過程提示要判斷是否，需要輸入 yes

輸入 jps，檢視程式是否都正常啟動。

如果一切正常，應當有如上的一些程式存在。

7) 測試系統

輸入./hadoop fs –ls /

能正常顯示檔案系統。

如此，hadoop 系統搭建完成。否則，可以去/home/hadoop/hadoop-1.2.1/logs 目

錄下，檢視缺少的程式中，對應的出錯日誌。