Hadoop2之NameNode HA詳解

ido發表於2018-04-06
Hadoop

在Hadoop1中NameNode存在一個單點故障問題，如果NameNode所在的機器發生故障，整個叢集就將不可用(Hadoop1中雖然有個SecorndaryNameNode，但是它並不是NameNode的備份，它只是NameNode的一個助理，協助NameNode工作，SecorndaryNameNode會對fsimage和edits檔案進行合併，並推送給NameNode，防止因edits檔案過大，導致NameNode重啟變慢),這是Hadoop1的不可靠實現。

 

在Hadoop2中這個問題得以解決，Hadoop2中的高可靠性是指同時啟動NameNode,其中一個處於active工作狀態，另外一個處於隨時待命standby狀態。這樣，當一個NameNode所在的伺服器當機時，可以在資料不丟失的情況下， 手工或者自動切換到另一個NameNode提供服務。

這些NameNode之間通過共享資料，保證資料的狀態一致。多個NameNode之間共享資料，可以通過Network File System或者Quorum Journal Node。前者是通過Ｌinux共享的檔案系統，屬於作業系統的配置；後者是Ｈadoop自身的東西，屬於軟體的配置。

我們這裡講述使用Quorum Journal Node的配置方式，方式是手工切換。

叢集啟動時，可以同時啟動2個NameNode。這些NameNode只有一個是active的，另一個屬於standby狀態。active狀態意味著提供服務，standby狀態意味著處於休眠狀態，只進行資料同步，時刻準備著提供服務，如圖2所示。

 

圖2

架構

在一個典型的HA叢集中，每個NameNode是一臺獨立的伺服器。在任一時刻，只有一個NameNode處於active狀態，另一個處於standby狀態。其中，active狀態的NameNode負責所有的客戶端操作，standby狀態的NameNode處於從屬地位，維護著資料狀態，隨時準備切換。

兩個NameNode為了資料同步，會通過一組稱作JournalNodes的獨立程式進行相互通訊。當active狀態的NameNode的名稱空間有任何修改時，會告知大部分的JournalNodes程式。standby狀態的NameNode有能力讀取JNs中的變更資訊，並且一直監控edit log的變化，把變化應用於自己的名稱空間。standby可以確保在叢集出錯時，名稱空間狀態已經完全同步了，如圖3所示。

 

圖3

為了確保快速切換，standby狀態的NameNode有必要知道叢集中所有資料塊的位置。為了做到這點，所有的datanodes必須配置兩個NameNode的地址，傳送資料塊位置資訊和心跳給他們兩個。

對於HA叢集而言，確保同一時刻只有一個NameNode處於active狀態是至關重要的。否則，兩個NameNode的資料狀態就會產生分歧，可能丟失資料，或者產生錯誤的結果。為了保證這點，JNs必須確保同一時刻只有一個NameNode可以向自己寫資料。

硬體資源

為了部署HA叢集，應該準備以下事情：

* NameNode伺服器：執行NameNode的伺服器應該有相同的硬體配置。

* JournalNode伺服器：執行的JournalNode程式非常輕量，可以部署在其他的伺服器上。注意：必須允許至少3個節點。當然可以執行更多，但是必須是奇數個，如3、5、7、9個等等。當執行N個節點時，系統可以容忍至少(N-1)/2個節點失敗而不影響正常執行。

在HA叢集中，standby狀態的NameNode可以完成checkpoint操作，因此沒必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了，還會報錯。

配置

HA叢集需要使用nameservice ID區分一個HDFS叢集。另外，HA中還要使用一個詞，叫做NameNode ID。同一個叢集中的不同NameNode，使用不同的NameNode ID區分。為了支援所有NameNode使用相同的配置檔案，因此在配置引數中，需要把“nameservice ID”作為NameNode ID的字首。

HA配置內容是在檔案hdfs-site.xml中的。下面介紹關鍵配置項。

dfs.nameservices   名稱空間的邏輯名稱。如果使用HDFS Federation，可以配置多個名稱空間的名稱，使用逗號分開即可。

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

dfs.ha.namenodes.[nameservice ID]   名稱空間中所有NameNode的唯一標示名稱。可以配置多個，使用逗號分隔。該名稱是可以讓DataNode知道每個叢集的所有NameNode。當前，每個叢集最多隻能配置兩個NameNode。

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

dfs.namenode.rpc-address.[nameservice ID].[name node ID]   每個namenode監聽的RPC地址。如下所示

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>

dfs.namenode.http-address.[nameservice ID].[name node ID]   每個namenode監聽的http地址。如下所示

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>

如果啟用了安全策略，也應該對每個namenode配置htts-address資訊，與此類似。

dfs.namenode.shared.edits.dir   這是NameNode讀寫JNs組的uri。通過這個uri，NameNodes可以讀寫edit log內容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。這裡的host1、host2、host3指的是Journal Node的地址，這裡必須是奇數個，至少3個；其中journalId是叢集的唯一識別符號，對於多個聯邦名稱空間，也使用同一個journalId。配置如下

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>

這裡配置HDFS客戶端連線到Active NameNode的一個java類

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

dfs.ha.fencing.methods 配置active namenode出錯時的處理類。當active namenode出錯時，一般需要關閉該程式。處理方式可以是ssh也可以是shell。

如果使用ssh，配置如下

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
 
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/exampleuser/.ssh/id_rsa</value>
</property>
這種方法配置簡單，推薦使用。

fs.defaultFS 客戶端連線HDFS時，預設的路徑字首。如果前面配置了nameservice ID的值是mycluster，那麼這裡可以配置為授權資訊的一部分

可以在core-site.xml中配置如下

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
dfs.journalnode.edits.dir 這是JournalNode程式保持邏輯狀態的路徑。這是在linux伺服器檔案的絕對路徑。
配置如下
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/path/to/journal/node/local/data</value>
</property>

部署

以上配置完成後，就可以啟動JournalNode程式了。在各個JournalNode機器上執行命令“hadoop-daemon.sh  journalnode”。

如果是一個新的HDFS叢集，還要首先執行格式化命令“hdfs  namenode  -format”，緊接著啟動本NameNode程式。

如果存在一個已經格式化過的NameNode，並且已經啟動了。那麼應該把該NameNode的資料同步到另一個沒有格式化的NameNode。在未格式化過的NameNode上執行命令“hdfs  namenode  -bootstrapStandby”。

如果是把一個非HA叢集轉成HA叢集，應該執行命令“hdfs –initializeSharedEdits”，這會初始化JournalNode中的資料。

做了這些事情後，就可以啟動兩個NameNode了。啟動成功後，通過web頁面觀察兩個NameNode的狀態，都是standby。

下面執行命令“hdfs  haadmin  -failover  --forcefence  serviceId   serviceId2”。就會把NameNode的狀態進行安全的切換。其中後面一個會變為active狀態。這時候再通過web頁面觀察就能看到正確結果了

相關文章