新增和刪除hadoop叢集中的節點

李佔衛發表於2013-11-11
Hadoop

1：新增節點

A：新節點中新增賬戶，設定無密碼登陸

B：Name節點中設定到新節點的無密碼登陸

C：在Name節點slaves檔案中新增新節點

D：在所有節點/etc/hosts檔案中增加新節點（所有節點保持一致）

E：在新節點中執行

./bin/hadoop-daemon.sh start datanode
./bin/hadoop-daemon.sh start tasktracker
均衡個資料節點中的資料
./bin/start-balancer.sh

注意

1）如果不balance，那麼cluster會把新的資料都存放在新的node上，這樣會降低mapred的工作效率 
2）設定平衡閾值，預設是10%，值越低各節點越平衡，但消耗時間也更長 
./bin/start-balancer.sh -threshold 5
3）設定balance的頻寬，預設只有1M/s
<property>
　　<name>dfs.balance.bandwidthPerSec</name>  
　　<value>1048576</value>  
　　<description>  
　　　　Specifies the maximum amount of bandwidth that each datanode   
　　　　can utilize for the balancing purpose in term of   
　　　　the number of bytes per second.   
　　</description> 
</property>

 

刪除節點

A：修改Name節點的hdfs-site.xml增加

<property>
    <name>dfs.hosts.exclude</name>
    <value>/soft/hadoop/conf/excludes</value>
</property>

B：修改Name節點的mapred-site.xml增加

<property>
   <name>mapred.hosts.exclude</name>
   <value>/soft/hadoop/conf/excludes</value>
   <final>true</final>
</property>

C：新建excludes檔案，檔案裡寫要刪除節點的hostname

D：Name節點執行

hadoop mradmin –refreshNodes
hadoop dfsadmin –refreshNodes
(task程式可以kill程式ID)

檢視關閉程式

hadoop dfsadmin -report

當節點處於Decommissioned，表示關閉成功。

 

注意

1：如果剛刪除的節點要再新增到叢集要先刪除excludes檔案，執行 hadoop dfsadmin –refreshNodes

2：節點的狀態可以通過http://NameNodes:50070檢視

3：如果資料較大則關閉的時間可能會很長

 

 

相關文章