配置高可用的Hadoop平臺

贊 回覆發表於2015-02-25

1.概述

  在Hadoop2.x之後的版本,提出瞭解決單點問題的方案--HA(High Available 高可用)。這篇部落格闡述如何搭建高可用的HDFS和YARN,執行步驟如下:

  1. 建立hadoop使用者
  2. 安裝JDK
  3. 配置hosts
  4. 安裝SSH
  5. 關閉防火牆
  6. 修改時區
  7. ZK(安裝,啟動,驗證)
  8. HDFS+HA的結構圖
  9. 角色分配
  10. 環境變數配置
  11. 核心檔案配置
  12. slave
  13. 啟動命令(hdfs和yarn的相關命令)
  14. HA的切換
  15. 效果截圖

  下面我們給出下載包的連結地址:

  zookeeper下載地址

  hadoop2.x下載地址

      JDK下載地址

  注:若JDK無法下載,請到Oracle的官網下載JDK。

  到這裡安裝包都準備好了,接下來我們開始搭建與配置。

2.搭建

2.1建立Hadoop使用者

useradd hadoop
passwd hadoop

  然後根據提示,設定密碼。接著我給hadoop使用者設定面免密碼許可權,也可自行新增其他許可權。

chmod +w /etc/sudoers 
hadoop ALL=(root)NOPASSWD:ALL 
chmod -w /etc/sudoers

2.2安裝JDK

  將下載好的安裝包解壓到 /usr/java/jdk1.7,然後設定環境變數,命令如下:

sudo vi /etc/profile

  然後編輯配置,內容如下:

export JAVA_HOME=/usr/java/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin

  然後使環境變數立即生效,命令如下:

source /etc/profile

  然後驗證JDK是否配置成功,命令如下:

java -version

  若顯示對應版本號,即表示JDK配置成功。否則,配置無效!

2.3配置hosts

  叢集中所有機器的hosts配置要要相同(推薦)。可以避免不必要的麻煩,用域名取代IP,方便配置。配置資訊如下:

10.211.55.12    nna  # NameNode Active
10.211.55.13    nns  # NameNode Standby
10.211.55.14    dn1  # DataNode1
10.211.55.15    dn2  # DataNode2
10.211.55.16    dn3  # DataNode3

  然後用scp命令,將hosts配置分發到各個節點。命令如下:

# 這裡以NNS節點為例子
scp /etc/hosts hadoop@nns:/etc/

2.4安裝SSH

  輸入如下命令:

ssh-keygen –t rsa

  然後一路按Enter鍵,最後在將id_rsa.pub寫到authorized_keys,命令如下:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  在hadoop使用者下,需要給authorized_keys賦予600的許可權,不然免密碼登陸無效。在其他節點只需要使用 ssh-keygen –t rsa 命令,生產對應的公鑰,然後將各個節點的id_rsa.pub追加到nna節點的authorized_keys中。最後,將nna節點下的authorized_keys檔案通過scp命令,分發到各個節點的 ~/.ssh/ 目錄下。目錄如下:

# 這裡以NNS節點為例子
scp ~/.ssh/authorized_keys hadoop@nns:~/.ssh/

  然後使用ssh命令相互登入,看是否實現了免密碼登入,登入命令如下:

# 這裡以nns節點為例子
ssh nns

  若登入過程中木有提示需要輸入密碼,即表示密碼配置成功。

2.5關閉防火牆

  由於hadoop的節點之間需要通訊(RPC機制),這樣一來就需要監聽對應的埠,這裡我就直接將防火牆關閉了,命令如下:

chkconfig  iptables off

  注:如果用於生產環境,直接關閉防火牆是存在安全隱患的,我們可以通過配置防火牆的過濾規則,即將hadoop需要監聽的那些埠配置到防火牆接受規則中。關於防火牆的規則配置參見“linux防火牆配置”,或者通知公司的運維去幫忙配置管理。

  同時,也需要關閉SELinux,可修改 /etc/selinux/config 檔案,將其中的 SELINUX=enforcing 改為 SELINUX=disabled即可。

2.6修改時區

  各個節點的時間如果不同步,會出現啟動異常,或其他原因。這裡將時間統一設定為Shanghai時區。命令如下:

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp: overwrite `/etc/localtime'? yes
修改為中國的東八區
# vi /etc/sysconfig/clock
ZONE="Asia/Shanghai"
UTC=false
ARC=false

2.7ZK(安裝,啟動,驗證)

2.7.1安裝

  將下載好的安裝包,解壓到指定位置,這裡為直接解壓到當前位置,命令如下:

tar -zxvf zk-{version}.tar.gz

  修改zk配置,將zk安裝目錄下conf/zoo_sample.cfg重新命名zoo.cfg,修改其中的內容:

# The number of milliseconds of each tick
# 伺服器與客戶端之間互動的基本時間單元(ms) 
tickTime=2000   

# The number of ticks that the initial  
# synchronization phase can take 
# zookeeper所能接受的客戶端數量 
initLimit=10  

# The number of ticks that can pass between  
# sending a request and getting an acknowledgement 
# 伺服器和客戶端之間請求和應答之間的時間間隔 
syncLimit=5

# the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just  
# example sakes. 
# 儲存zookeeper資料,日誌的路徑
dataDir=/home/hadoop/data/zookeeper

# the port at which the clients will connect 
# 客戶端與zookeeper相互互動的埠 
clientPort=2181 
server.1= dn1:2888:3888 
server.2= dn2:2888:3888 
server.3= dn3:2888:3888

#server.A=B:C:D  其中A是一個數字,代表這是第幾號伺服器;B是伺服器的IP地址;C表示伺服器與群集中的“領導者”交換資訊的埠;當領導者失效後,D表示用來執行選舉時伺服器相互通訊的埠。

  接下來,在配置的dataDir目錄下建立一個myid檔案,裡面寫入一個0-255之間的一個隨意數字,每個zk上這個檔案的數字要是不一樣的,這些數字應該是從1開始,依次寫每個伺服器。檔案中序號要與dn節點下的zk配置序號一直,如:server.1=dn1:2888:3888,那麼dn1節點下的myid配置檔案應該寫上1。

2.7.2啟動

  分別在各個dn節點啟動zk程式,命令如下:

bin/zkServer.sh start

  然後,在各個節點輸入jps命令,會出現如下程式:

QuorumPeerMain

2.7.3驗證

  上面說的輸入jps命令,若顯示對應的程式,即表示啟動成功,同樣我們也可以輸入zk的狀態命令檢視,命令如下:

bin/zkServer.sh status

  會出現一個leader和兩個follower。

2.8HDFS+HA的結構圖

  HDFS配置HA的結構圖如下所示:

  上圖大致架構包括:

  1. 利用共享儲存來在兩個NN間同步edits資訊。以前的HDFS是share nothing but NN,現在NN又share storage,這樣其實是轉移了單點故障的位置,但中高階的儲存裝置內部都有各種RAID以及冗餘硬體,包括電源以及網路卡等,比伺服器的可靠性還是略有提高。通過NN內部每次後設資料變動後的flush操作,加上NFS的close-to-open,資料的一致性得到了保證。

  2. DN同時向兩個NN彙報塊資訊。這是讓Standby NN保持叢集的最新狀態的必須步驟。

  3. 用於監視和控制NN程式的FailoverController程式。顯然,我們不能在NN程式內部進行心跳等資訊同步,最簡單的原因,一次FullGC就可以讓NN掛起十幾分鍾,所以,必須要有一個獨立的短小精悍的watchdog來專門負責監控。這也是一個鬆耦合的設計,便於擴充套件或更改,目前版本里是用ZooKeeper(簡稱ZK)來做同步鎖,但使用者可以方便的把這個Zookeeper FailoverController(簡稱ZKFC)替換為其他的HA方案或leader選舉方案。

  4. 隔離(Fencing),防止腦裂,就是保證在任何時候只有一個主NN,包括三個方面:

    共享儲存fencing,確保只有一個NN可以寫入edits。

    客戶端fencing,確保只有一個NN可以響應客戶端的請求。

    DN fencing,確保只有一個NN向DN下發命令,譬如刪除塊,複製塊等等。

2.9角色分配

名稱

Host

職責

NNA

10.211.55.12

zkfc

NNS

10.211.55.13

zkfc

DN1

10.211.55.14

zookeeper

DN2

10.211.55.15

zookeeper

DN3

10.211.55.16

zookeeper

2.10環境變數配置

  這裡列出了所有的配置,後面配置其他元件,可以參考這裡的配置。 配置完成後,輸入:. /etc/profile(或source /etc/profile)使之立即生效。驗證環境變數配置成功與否,輸入:echo $HADOOP_HOME,若輸出對應的配置路徑,即可認定配置成功。

  注:hadoop2.x以後的版本conf資料夾改為etc資料夾了

  配置內容如下所示:

export JAVA_HOME=/usr/java/jdk1.7 
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 
export ZK_HOME=/home/hadoop/zookeeper-3.4.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOM

2.11核心檔案配置

  注:這裡特別提醒,配置檔案中的路徑在啟動叢集之前,得存在(若不存在,請事先建立)。下面為給出本篇文章需要建立的路徑指令碼,命令如下:

mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/data/tmp/journal
mkdir -p /home/hadoop/data/dfs/name
mkdir -p /home/hadoop/data/dfs/data
mkdir -p /home/hadoop/data/yarn/local
mkdir -p /home/hadoop/log/yarn
  • core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
</configuration>
  • hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>nna,nns</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nna</name>
        <value>nna:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nns</name>
        <value>nns:9000</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.cluster1.nna</name>
        <value>nna:50070</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.cluster1.nns</name>
        <value>nns:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://dn1:8485;dn2:8485;dn3:8485/cluster1</value>
    </property>

    <property>
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/hadoop/data/tmp/journal</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
    </property>
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>

</configuration>
  • map-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>nna:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>nna:19888</value>
    </property>
</configuration>
  • yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>nna</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>nns</value>
    </property>
    <!--在namenode1上配置rm1,在namenode2上配置rm2,注意:一般都喜歡把配置好的檔案遠端複製到其它機器上,但這個在YARN的另一個機器上一定要修改 -->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>
    <!--開啟自動恢復功能 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--配置與zookeeper的連線地址 -->
    <property>
        <name>yarn.resourcemanager.zk-state-store.address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster1-yarn</value>
    </property>
    <!--schelduler失聯等待連線時間 -->
    <property>
        <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
        <value>5000</value>
    </property>
    <!--配置rm1 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>nna:8132</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>nna:8130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>nna:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>nna:8131</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>nna:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm1</name>
        <value>nna:23142</value>
    </property>
    <!--配置rm2 -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>nns:8132</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>nns:8130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>nns:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>nns:8131</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>nns:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm2</name>
        <value>nns:23142</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/home/hadoop/data/yarn/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/home/hadoop/log/yarn</value>
    </property>
    <property>
        <name>mapreduce.shuffle.port</name>
        <value>23080</value>
    </property>
    <!--故障處理類 -->
    <property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>/yarn-leader-election</value>
    </property>
</configuration>
  • hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7
  • yarn-env.sh
# some Java parameters
export JAVA_HOME=/usr/java/jdk1.7

2.12slave

  修改hadoop安裝目錄下的slave檔案:

dn1
dn2
dn3

2.13啟動命令(hdfs和yarn的相關命令)

  由於我們配置了QJM,所以我們需要先啟動QJM的服務,啟動順序如下所示:

  1. 進入到DN節點,啟動zk的服務:zkServer.sh start,之後可以輸入zkServer.sh status檢視啟動狀態,本次我們配置了三個DN節點,會出現一個leader和兩個follower。輸入jps,會顯示啟動程式:QuorumPeerMain
  2. 在NN節點上(選一臺即可,這裡我選擇的是一臺預NNA節點),然後啟動journalnode服務,命令如下:hadoop-daemons.sh start journalnode。或者單獨進入到每個DN輸入啟動命令:hadoop-daemon.sh start journalnode。輸入jps顯示啟動程式:JournalNode
  3. 之後我們需要格式化ZK,命令如下:hdfs zkfc -formatZK。
  4. 接著若是配置後,我們首次啟動,需要格式化HDFS,命令如下:hadoop namenode -format。
  5. 接著我們啟動hdfs和yarn,命令如下:start-dfs.shstart-yarn.sh,我們在nna輸入jps檢視程式,顯示如下:DFSZKFailoverControllerNameNodeResourceManager
  6. 接著我們在NNS輸入jps檢視,發現只有DFSZKFailoverController程式,這裡我們需要手動啟動NNS上的namenodeResourceManager程式,命令如下:hadoop-daemon.sh start namenodeyarn-daemon.sh start resourcemanager。需要注意的是,在NNS上的yarn-site.xml中,需要配置指向NNS,屬性配置為rm2,在NNA中配置的是rm1。
  7. 最後我們需要同步NNA節點的後設資料,在NNS節點執行同步命令,命令如下:hdfs namenode -bootstrapStandby,若執行正常,日誌最後顯示如下資訊:
15/02/21 10:30:59 INFO common.Storage: Storage directory /home/hadoop/data/dfs/name has been successfully formatted. 
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
15/02/21 10:31:00 INFO namenode.TransferFsImage: Opening connection to http://nna:50070/imagetransfer?getimage=1&txid=0&storageInfo=-60:1079068934:0:CID-1dd0c11e-b27e-4651-aad6-73bc7dd820bd
15/02/21 10:31:01 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds
15/02/21 10:31:01 INFO namenode.TransferFsImage: Transfer took 0.01s at 0.00 KB/s
15/02/21 10:31:01 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000000 size 353 bytes.
15/02/21 10:31:01 INFO util.ExitUtil: Exiting with status 0
15/02/21 10:31:01 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at nns/10.211.55.13 ************************************************************/

2.14HA的切換

  由於我配置的是自動切換,若NNA節點宕掉,NNS節點會立即由standby狀態切換為active狀態。若是配置的手動狀態,可以輸入如下命令進行人工切換:

 

hdfs haadmin -failover --forcefence --forceactive nna  nns

  這條命令的意思是,將nna變成standby,nns變成active。而且手動狀態下需要重啟服務。

2.15效果截圖

3.總結

  這篇文章就贅述到這裡,若在配置過程中有什麼疑問或問題,可以加入QQ群討論或傳送郵件給我,我會盡我所能為您解答,與君共勉!

 

相關文章