Hadoop2.7實戰v1.0之動態新增、刪除DataNode節點及複製策略導向

hackeruncle發表於2016-03-05
Hadoop

一.環境

 

IP

Host 及安裝軟體

部署模組

程式

172.16.101.55

sht-sgmhadoopnn-01

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.56

sht-sgmhadoopnn-02

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.58

sht-sgmhadoopdn-01

hadoop、zookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.59

sht-sgmhadoopdn-02

Hadoop、zookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.60

sht-sgmhadoopdn-03

Hadoop、zookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.66

sht-sgmhadoopdn-04(add/del)

Hadoop

DataNode

NodeManager

DataNode

NodeManager


###當前環境是hadoop-2.7.2+zookeeper-3.4.6完全分散式環境，HDFS HA+YARN HA。
在hdfs-site.xml檔案中，dfs.replication為3。          
             
                 dfs.replication
                 3
              

#下面均採取動態新增、刪除節點方式,而不是靜態方式(相當於起初部署叢集一樣，停止namenode，新增一個datanode資料節點，這種方法不適合用於線上提供服務的場景，具體操作，檢視參考連結)。


二.動態新增DataNode和NodeManager節點(不修改dfs.replication)【終極版】
http://blog.itpub.net/30089851/viewspace-2055168/

三.新增DataNode節點後,更改檔案複製策略dfs.replication
http://blog.itpub.net/30089851/viewspace-2047825/

四.動態刪除DataNode和NodeManager節點(修改dfs.replication) 【終極版】
http://blog.itpub.net/30089851/viewspace-2049648/

五.參考
http://my.oschina.net/leoleong/blog/477508

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30089851/viewspace-2043018/，如需轉載，請註明出處，否則將追究法律責任。

相關文章