一、HDFS優缺點

1、優點：

1、高容錯性：
2、資料量大：
3、流式訪問：
4、擴充套件成本低：

2、缺點

1、不適合低延時：IO操作頻繁
2、不可以併發：沒有事務，沒有鎖機制
3、不實用資料量小的檔案：佔空間(一個檔案塊block預設128M)，定址慢(資料分佈在多個NN節點上)

二、HDFS架構及各角色的作用

1、client：客戶端

決定切塊的大小、副本的數量。可以通過linux windows命令，也可以通過java、scala、pathon等操作

2、NameNode：

後設資料節點，負責處理客戶端的請求

3、DataNode

資料節點，儲存和檢索檔案塊，執行資料讀寫操作

4、SecondaryNameNode

合併edit_log到fsimage中，輔助NameNode完成記憶體中後設資料的持久化

三、hadoop環境搭建主要流程

1、檢查防火牆的狀態，若開啟，則關閉

2、虛擬機器免密登陸設定

3、檢查jdk是否安裝，若沒有，則安裝

4、解壓檔案至指定目錄

5、配置環境變數（bin/sbin）並啟用

6、配置hdfs（etc/hadoop）
hadoop-env.sh
core-site.xml
hdfs-site.xml

7、格式化namenode
建立tmp/name tmp/data
執行hdfs namenode -format

8、配置yarn
yarn-site.xml
mapred-site.xml

9、配置完成，啟動服務
start-dfs.sh
start-yarn.sh