Linux 環境下搭建Hadoop叢集(全分佈)

一、準備工作

1.1 linux 的環境搭建

• 自己裝好Linux 後，開始環境的搭建：
  1.開啟網路卡的配置檔案
  • 輸入以上指令
  • 進入以後在這裡進行網路卡的配置，多的東西可以刪除，其中IP(IPADDR) 和 閘道器(GATEWAY)要配好,不知道自己網的 看下面
  • 點開虛擬網路編輯器
    
• 看紅框部分
  
• 再使用如下指令，修改主機名：192.168.41.100 Hadoop
  橢圓部分配置的是以後DataNode的對映

vi /etc/hosts

• 再配置主機的別名

vi  /etc/sysconfig/network

• 接下來就是關閉防火牆了，這個如果不關閉的話以後就不能喝其他的linux 進行通訊了
  
• 這些工作做完以後就可以使用一個putty 或者xshell 等遠端連線工具，比直接在Linux上操作要方便的多。

1.2安裝必備的軟體 jdk 和 Hadoop

1.2.1 jdk 的安裝

• 可以通過檔案上傳工具（Filezilla）將jdk安裝包上傳至linux中，我用的是解壓就可用的

cd 至安裝包目錄下
tar -zxvf jdk.jar  -C apps/

• 然後將jdk 的安裝路徑copy一下（shift+insert 和 ctrl + insert 就是putty這個軟體下的複製貼上），開始配製環境變數

vi /etc/profile

source /etc/profile  # 使檔案生效
java -version   #測試有沒有配置好

1.2.2 hadoop 的安裝 同上

解壓以後可以看到如下的介面，進入他的安裝目錄

1.2.2 hadoop 的環境配置

• 配置 根目錄 下的 etc/profile
  
• 配置hadoop-env.sh
  
  -沒有安裝ssh 的安裝一下ssh，centenOS好像內建有這個，所以就不需要安裝，不會的自己百度。。。
  

1.3 修改 hadoop 的配置檔案

• 1.core -site.xml

進入到配置 資料夾
 cd /tmp/apps/hadoop/hadoop-2.8.1/etc/hadoop/
 然後修改配置檔案
 vi core-site.xml

• 2. hdfs-site.xml

vi hdfs-site.xml

• 3. yarn-site.xml

vi yarn-site.xml

• 4. mapred-site.xml

這裡要做一下處理,相當於建了一個xml 檔案
 mv mapred-site.xml.template mapred-site.xml
然後
vi mapred-site.xml

1.4給自己配置一個免密登陸，這樣克隆以後就可以直接登陸其他的虛擬機器了

具體免密登陸的方法百度吧。。。

ssh-keygren

1.5 全配好以後開始克隆虛擬機器，最少三臺

成功以後在這三臺虛擬機器設定一下他們的ip，操作和之前的一樣

1.6格式化NameNode

• 注意，這個工作只做一次，以後就不能再做了，不然你的叢集的ID 就會發生改變，修改很麻煩。

hadoop namanode -format	

1.7 啟動叢集前的最後一步工作

現在就可以直接啟動了，不過得一臺一臺的啟動，實在太慢，我們可以配置一些東西，使其可以一鍵啟動叢集。
我們再你的Name Node上 進行配置

在hadoop 的安裝目錄下，寫你的datanode的地址，如果你的hosts 檔案中有這些地址的對映，就可以直接寫他們的別名 :
vi etc/hadoop/slaves

這是我的slaves

這是我的hosts 檔案的配置，要配置對映，才能像上面那樣用

1.8 啟動我們的叢集

只要你配置好了上面的東西，就可以再任何目錄下執行以下的命令
start-all.sh

然後

用web 瀏覽器檢視是否正確啟動

都正確的話就成功了，數字不對的話就再找找原因，是不是哪裡配置錯了。