最詳細的hadoop2.2.0叢集的HA高可靠的最簡單配置

一隻老鼠發表於2016-07-06

 

簡介

 [from http://www.open-open.com/lib/view/open1390717631132.html]

hadoop中的NameNode好比是人的心臟,非常重要,絕對不可以停止工作。在hadoop1時代,只有一個NameNode。如果該NameNode資料丟失或者不能工作,那麼整個叢集就不能恢復了。這是hadoop1中的單點問題,也是hadoop1不可靠的表現,如圖1所示。hadoop2就解決了這個問題。

最詳細的hadoop2.2.0叢集的HA高可靠的最簡單配置

圖1

 

hadoop2.2.0中HDFS的高可靠指的是可以同時啟動2個NameNode。其中一個處於工作狀態,另一個處於隨時待命狀態。這樣,當一個NameNode所在的伺服器當機時,可以在資料不丟失的情況下,手工或者自動切換到另一個NameNode提供服務。

 

這些NameNode之間通過共享資料,保證資料的狀態一致。多個NameNode之間共享資料,可以通過Nnetwork File System或者Quorum Journal Node。前者是通過linux共享的檔案系統,屬於作業系統的配置;後者是hadoop自身的東西,屬於軟體的配置。

 

我們這裡講述使用Quorum Journal Node的配置方式,方式是手工切換。

 

叢集啟動時,可以同時啟動2個NameNode。這些NameNode只有一個是active的,另一個屬於standby狀態。active狀態意味著提供服務,standby狀態意味著處於休眠狀態,只進行資料同步,時刻準備著提供服務,如圖2所示。

最詳細的hadoop2.2.0叢集的HA高可靠的最簡單配置

圖2

 

架構

 

在一個典型的HA叢集中,每個NameNode是一臺獨立的伺服器。在任一時刻,只有一個NameNode處於active狀態,另一個處於standby狀態。其中,active狀態的NameNode負責所有的客戶端操作,standby狀態的NameNode處於從屬地位,維護著資料狀態,隨時準備切換。

 

兩個NameNode為了資料同步,會通過一組稱作JournalNodes的獨立程式進行相互通訊。當active狀態的NameNode的名稱空間有任何修改時,會告知大部分的JournalNodes程式。standby狀態的NameNode有能力讀取JNs中的變更資訊,並且一直監控edit log的變化,把變化應用於自己的名稱空間。standby可以確保在叢集出錯時,名稱空間狀態已經完全同步了,如圖3所示。

最詳細的hadoop2.2.0叢集的HA高可靠的最簡單配置

圖3

 

為了確保快速切換,standby狀態的NameNode有必要知道叢集中所有資料塊的位置。為了做到這點,所有的datanodes必須配置兩個NameNode的地址,傳送資料塊位置資訊和心跳給他們兩個。

 

對於HA叢集而言,確保同一時刻只有一個NameNode處於active狀態是至關重要的。否則,兩個NameNode的資料狀態就會產生分歧,可能丟失資料,或者產生錯誤的結果。為了保證這點,JNs必須確保同一時刻只有一個NameNode可以向自己寫資料。

 

硬體資源

 

為了部署HA叢集,應該準備以下事情:

* NameNode伺服器:執行NameNode的伺服器應該有相同的硬體配置。

* JournalNode伺服器:執行的JournalNode程式非常輕量,可以部署在其他的伺服器上。注意:必須允許至少3個節點。當然可以執行更多,但是必須是奇數個,如3、5、7、9個等等。當執行N個節點時,系統可以容忍至少(N-1)/2個節點失敗而不影響正常執行。

 

在HA叢集中,standby狀態的NameNode可以完成checkpoint操作,因此沒必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了,還會報錯。

配置

 

HA叢集需要使用nameservice ID區分一個HDFS叢集。另外,HA中還要使用一個詞,叫做NameNode ID。同一個叢集中的不同NameNode,使用不同的NameNode ID區分。為了支援所有NameNode使用相同的配置檔案,因此在配置引數中,需要把“nameservice ID”作為NameNode ID的字首。

 

HA配置內容是在檔案hdfs-site.xml中的。下面介紹關鍵配置項。

 

dfs.nameservices 名稱空間的邏輯名稱。如果使用HDFS Federation,可以配置多個名稱空間的名稱,使用逗號分開即可。

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>


dfs.ha.namenodes.[nameservice ID] 名稱空間中所有NameNode的唯一標示名稱。可以配置多個,使用逗號分隔。該名稱是可以讓DataNode知道每個叢集的所有NameNode。當前,每個叢集最多隻能配置兩個NameNode。

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>


dfs.namenode.rpc-address.[nameservice ID].[name node ID] 每個namenode監聽的RPC地址。如下所示

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>


dfs.namenode.http-address.[nameservice ID].[name node ID] 每個namenode監聽的http地址。如下所示

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>

如果啟用了安全策略,也應該對每個namenode配置htts-address資訊,與此類似。

dfs.namenode.shared.edits.dir 這是NameNode讀寫JNs組的uri。通過這個uri,NameNodes可以讀寫edit log內容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。這裡的host1、host2、host3指的是Journal Node的地址,這裡必須是奇數個,至少3個;其中journalId是叢集的唯一識別符號,對於多個聯邦名稱空間,也使用同一個journalId。配置如下

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>

 

dfs.client.failover.proxy.provider.[nameservice ID] 這裡配置HDFS客戶端連線到Active NameNode的一個java類。

 

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

 

dfs.ha.fencing.methods 配置active namenode出錯時的處理類。當active namenode出錯時,一般需要關閉該程式。處理方式可以是ssh也可以是shell。

 

如果使用ssh,配置如下

 

<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>

<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/exampleuser/.ssh/id_rsa</value>
</property>


這種方法配置簡單,推薦使用。

fs.defaultFS 客戶端連線HDFS時,預設的路徑字首。如果前面配置了nameservice ID的值是mycluster,那麼這裡可以配置為授權資訊的一部分。

 

可以在core-site.xml中配置如下

 

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

 

dfs.journalnode.edits.dir 這是JournalNode程式保持邏輯狀態的路徑。這是在linux伺服器檔案的絕對路徑。

 

配置如下

 

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/path/to/journal/node/local/data</value>
</property>

部署

 

以上配置完成後,就可以啟動JournalNode程式了。在各個JournalNode機器上執行命令“hadoop-daemon.sh  journalnode”。

 

如果是一個新的HDFS叢集,還要首先執行格式化命令“hdfs  namenode  -format”,緊接著啟動本NameNode程式。

如果存在一個已經格式化過的NameNode,並且已經啟動了。那麼應該把該NameNode的資料同步到另一個沒有格式化的NameNode。在未格式化過的NameNode上執行命令“hdfs  namenode  -bootstrapStandby”。

如果是把一個非HA叢集轉成HA叢集,應該執行命令“hdfs –initializeSharedEdits”,這會初始化JournalNode中的資料。

 

做了這些事情後,就可以啟動兩個NameNode了。啟動成功後,通過web頁面觀察兩個NameNode的狀態,都是standby。

 

下面執行命令“hdfs  haadmin  -failover  --forcefence  serviceId   serviceId2”。就會把NameNode的狀態進行安全的切換。其中後面一個會變為active狀態。這時候再通過web頁面觀察就能看到正確結果了。

 

管理員命令

 

執行命令“hdfs  haadmin”,會顯示子命令列表,如下

Usage: DFSHAAdmin [-ns <nameserviceId>]
    [-transitionToActive <serviceId>]
    [-transitionToStandby <serviceId>]
    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
    [-getServiceState <serviceId>]
    [-checkHealth <serviceId>]
    [-help <command>]

 

如果要檢視具體用法,使用“hdfs  haadmin  -help  <command>”。其中,

 

transitionToActive和transitionToStandby是用於在不同狀態之間切換的。這些命令沒有任何防護錯誤,很少使用。

 

failover 初始化一個故障恢復。該命令會從一個失效的NameNode切換到另一個上面。

 

getServiceState 獲取當前NameNode的狀態。

 

checkHealth 檢查NameNode的狀態。正常就返回0,否則返回非0值。

 

以下是我的詳細安裝過程描述:

1.確定叢集結構

我這裡採用 5臺虛擬機器,記憶體是512MB,硬碟是20GB,以下是我對這5臺機器的角色分配。

ip地址 主機名 NameNode JournalNode DataNode
192.168.80.100 hadoop100
192.168.80.101 hadoop101
192.168.80.102 hadoop102
192.168.80.103 hadoop103
192.168.80.104 hadoop104

 

2.設定linux、安裝jdk

 

首先在VMWare中安裝一臺虛擬機器,設定ssh免密碼登入、設定靜態ip為192.168.80.100、設定主機名為hadoop100、編輯/etc/hosts檔案、安裝jdk等,這些內容參考作者前面的文章。不再累述。

然後修改hadoop的配置檔案,下面重點描述。

 

2.1 編輯檔案$HADOOP_HOME/etc/hadoop/hadoop-env.sh,修改一行內容如下

export JAVA_HOME=/usr/local/jdk

把這裡的JAVA_HOME前面的#去掉,把值改為自己安裝的jdk路徑;

 

2.2 編輯檔案$HADOOP_HOME/etc/hadoop/core-site.xml,修改內容如下所示

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop100:9000</value>

</property>

</configuration>

以上配置中,name是hadoop.tmp.dir的值表示hadoop存放資料的目錄,即包括NameNode的資料,也包括DataNode的資料。該路徑任意指定,只要實際存在該資料夾即可。

name是fs.defaultFS的值表示hdfs路徑的邏輯名稱。因為我們會啟動2個NameNode,每個NameNode的位置不一樣,那麼切換後,使用者也要修改程式碼,很麻煩,因此使用一個邏輯路徑,使用者就可以不必擔心NameNode切換帶來的路徑不一致問題了。

 

2.3 編輯檔案$HADOOP_HOME/etc/hadoop/hdfs-site.xml,修改內容如下所示 
<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>cluster1</value>

</property>

<property>

<name>dfs.ha.namenodes.cluster1</name>

<value>hadoop100,hadoop101</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop100</name>

<value>hadoop100:9000</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>

<value>hadoop101:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop100</name>

<value>hadoop100:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop101</name>

<value>hadoop101:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop100:8485;hadoop101:8485;hadoop102:84

85/cluster1</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cluster1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredF

ailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/usr/local/hadoop/tmp/journal</value>

</property>

</configuration>

 

以上配置資訊在前面的描述中已經做了解釋。

 

2.4 編輯檔案$HADOOP_HOME/etc/hadoop/slaves,修改內容如下所示

hadoop102

hadoop103

hadoop104

表示以上三個節點作為DataNode節點。

 

3.使用虛擬機器再複製出4個虛擬機器。把ip和主機名修改一下,同時修改/etc/hosts檔案。在這裡要確保5個節點之間互相都可以使用ssh免密碼登入。

 

4.執行命令啟動叢集

以下命令嚴格注意執行順序,不能顛倒!

 

4.1 啟動JournalNode叢集

在hadoop100、hadoop101、hadoop102上,執行命令 hadoop-daemon.sh  start  journalnode

 

4.2 格式化一個NameNode

在hadoop100執行命令 hdfs  namenode  –format

 

4.3 啟動一個NameNode

在hadoop100執行命令  hadoop-daemon.sh  start namenode

 

4.4 格式化另一個NameNode

在hadoop101執行命令 hdfs namenode  -bootstrapStandby

 

4.5 啟動另一個NameNode

在hadoop101執行命令 hadoop-daemon.sh  start  namenode

這時候,使用瀏覽器訪問 http://hadoop100:50070 和 http://hadoop101:50070 。如果能夠看到兩個頁面,證明NameNode啟動成功了。這時,兩個NameNode的狀態都是standby。

 

4.6 轉換active

在hadoop100執行命令  hdfs  haadmin  -transitionToActive  hadoop100

再使用瀏覽器訪問 http://hadoop100:50070 和 http://hadoop101:50070,會發現hadoop100節點變為active,hadoop101還是standby。

 

4.7 啟動DataNodes

在hadoop100執行命令 hadoop-daemons.sh  start datanode 會啟動3個DataNode節點。

 

這時候HA叢集就啟動了。

 

你如果想實驗一下NameNode切換,執行命令  hdfs  haadmin –failover –forceactive hadoop100 hadoop101

這時候觀察hadoop100和hadoop101的狀態,就會發現,已經改變了。

 

如果向上傳資料,還需要修改core-site.xml中的fs.default.name的值,改為hdfs://hadoop101:9000 才行。

 

如果有的同學配置失敗,可以使用我的一鍵執行指令碼,hadoop目錄是/usr/local/hadoop,一鍵指令碼放在該目錄即可。使用root使用者登入執行。下載地址是http://pan.baidu.com/s/1gdHsVmV

相關文章