環境：
Win7系統裝虛擬機器虛擬機器VMware-workstation-full-9.0.0-812388.exe
Linux系統Ubuntu12.0.4
JDK jdk-7u17-linux-i586.tar.gz
搭建步驟：
- 首先在win系統裝虛擬機器，執行VMware-workstation-full-9.0.0-812388.exe；
- 其次需要在虛擬機器上裝Ubuntu12.0.4；
- 安裝完成Ubuntu12.0.4之後，需要安裝JDK，(注意：安裝JDK需要處理一些其他問題，JDK必須是Linux版本的，還有就是JDK要和作業系統的位數相符合，比如32位、64位都有對應的安裝包)：JDk的安裝路徑，我直接解壓到/opt/jdk這個目錄下；
- 安裝完JDK需要配置環境變數，具體如下截圖所示：需要修改兩個地方environment 和 profile檔案；
- 由於Ubuntu中一般安裝有預設的JDK，如openjdk，所以，為了使預設使用的是我們安裝的jdk，還要進行如下工作。sudo update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.7.0_17/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac/opt/jdk/jdk1.7.0_17/bin/javac 300 - 在終端輸入java –version / javac測試安裝JDK是否成功；
- 每當Ubuntu安裝成功時，我們的機器名都預設為：Ubuntu，但為了以後叢集中能夠容易分辨各臺伺服器，需要給每臺機器取個不同的名字。機器名由 /etc/hostname檔案決定。輸入此命令，在開啟的檔案中修改機器名，我的機器名是Master；
- 安裝SSH服務，實現無密碼登陸；sudo apt-get install ssh openssh-server安裝完成SSH後，可以檢視SSH是否啟動等；
- 安裝SSH服務完成後就需要配置無密碼登入，具體如下圖所示：進入安裝目錄：剛開始可能沒有authorized_keys和known_hosts檔案，需要執行該命令；將產生的公鑰加入到該檔案中，可以開啟看id_rsa.pub檔案：有關ssh公鑰與金鑰的具體問題可以百度；執行如下命令將authorized_keys檔案分發給其他節點；注意每個節點都需要生成公鑰，然後將三個節點的公鑰合併在一個檔案中，三個節點的authorized_keys必須一致。如下圖所示：注意檔案的許可權修改有可能導致ssh無密碼登入配置失效，此處修改檔案需要慎重；配置完成後就可實現無密碼登陸；如下圖所示：
- 安裝hadoop，安裝包拷貝到安裝目錄下；如下圖所示：將安裝包解壓到該目錄；執行如下命令：
- 安裝完成後，需要配置hadoop，具體操作如下所示：需要修改的檔案都在/opt/hadoop/hadoop-0.20.2/conf/目錄下：
- 修改hadoop-env.sh檔案：加入JDK的路徑；
- 修改core-site.xml:
- 修改hdfs-site.xml:
- 修改mapred-site.xml:
- 配置masters檔案：
節點機上需要配置Slaves檔案，與該檔案類似；
- 此時已完成hadoop配置；
- 在虛擬機器的Manager-àClone中克隆新的節點，也可以不克隆，自己安裝，安裝完成需要將Master中的JDK、hadoop的檔案拷貝過去。
- 我採用的是分散式；一個電腦安裝了一個虛擬機器做為Master，另外一個電腦安裝了虛擬機器，在虛擬機器上安裝的兩個Ubuntu，即該機器模擬了兩個節點，此實驗需要三個節點。
|
Master |
10.18.12.47 |
|
|
Slave1 |
10.18.12.48 |
|
|
Slave2 |
10.18.12.254 |
|
- 虛擬機器之間需要能ping通；此結果代表可以ping通；
- 做完所有的準備工作現在就可以啟動hadoop叢集，執行命令如下：啟動：
- 檢視叢集是否啟動；
- 也可以用該命令檢視：
- 通過jsp頁面檢視：http://10.18.12.47:50030/jobtracker.jsphttp://10.18.12.47:50070/dfshealth.jsp
- 至此關於叢集搭建結束，