搭建Hadoop

虛擬機器搭建自己的仿分散式叢集

linux-hadoop檔案配置

1. 搭建前提
   
   目錄結構
   
   

2. 安裝jdk，下載hadoop，我的版本為2.9.2（較穩定的版本）

3. 配置環境變數
   
   然後 source /etc/profile 重新整理一下

4. 同步叢集時間
   

5. 設定每個主機的主機名（類下）
   

6. 修改主機名對映
   

7. 配置ssh免密登入
   

8. 關閉防火牆
   

9. 修改Hadoop主要配置檔案

   • hadoop-env.sh
     
     

   • core-site.xml
     fs.defaultFS:預設HDFS檔案系統
     fs.default.name:HDFS檔案系統（可選項，啟動失敗可加上，我失敗才加上的）
     hadoop.tmp.dir:指定快取目錄

   • hdfs-site.xml
     dfs.replication:HDFS副本的數量
     dfs.namenode.secondary.http-address:指定secondary namenode的ip和埠

   • mapred-site.xml（mapred-site.xml.template）
     mapreduce.framework.anme:mr執行時框架,指定為yarn,預設local
     

   • yarn-site.xml
     yarn.resourcemanager.hostname:指定yarn的老大
     yarn.niodemanager.aux-services:nodemanger上執行的附屬服務，需配置才能執行mapReduce的預設值

   • slaves
     指定從屬節點

10. 至此，Hadoop核心配置完成了

啟動 (jps檢視啟動節點，用於檢測節點是否啟動成功)

1. 啟動前對namenode節點格式化
   

2. 啟動方式有三種

3. 單節點逐個啟動
   

4. 指令碼一鍵啟動
   

5. 最後一個，不推薦，但是好使。
   start-all.sh stop-all.sh

6. 開啟UI
   
   如果達到了這一步，恭喜你，初步配置完成了
   然而這時候會有很多坑等著你
   接下來看看我遇到的坑

解決Hadoop各種啟動錯誤

1. jps輸出為空
   我的原因是，開啟tmp找到檔案，發現hsperfdata檔案許可權全部是777，使用命令
   chmod 755 hsperfdata_*
   修改為755，再次使用jps，問題解決
2. 長時間啟動，關閉節點失敗
   原因是tmp目錄長時間不訪問，系統會自動清理
   解決辦法：更換其目錄，不被清除
   在hadoop-daemon.sh裡面新增這一項
   在yarn-daemon.sh裡面新增這一項
   如果出現類似namenodemanager did not gracefully close 的訊息，如無影響可以無視
3. 萬金油的啟動方式
   各種錯誤解決不了，在備份資料後，刪除自己設定的hadoop的tmp目錄和hadoo/logs目錄的內容，重新格式化namenode，基本都能完美解決
4. 客戶端使用提示permission denied
   原因是你未給hdfs資料夾任意可寫的許可權
   解決：在主節點 hdfs fs -chmod [-R] < dir >

以上是我現階段遇到的所有問題，如有高見，歡迎留言評論，謝謝。

相關安裝包如有需要，直接私信我。