1.概述
在Hadoop2.x之後的版本,提出瞭解決單點問題的方案--HA(High Available 高可用)。這篇部落格闡述如何搭建高可用的HDFS和YARN,執行步驟如下:
- 建立hadoop使用者
- 安裝JDK
- 配置hosts
- 安裝SSH
- 關閉防火牆
- 修改時區
- ZK(安裝,啟動,驗證)
- HDFS+HA的結構圖
- 角色分配
- 環境變數配置
- 核心檔案配置
- slave
- 啟動命令(hdfs和yarn的相關命令)
- HA的切換
- 效果截圖
下面我們給出下載包的連結地址:
注:若JDK無法下載,請到Oracle的官網下載JDK。
到這裡安裝包都準備好了,接下來我們開始搭建與配置。
2.搭建
2.1建立Hadoop使用者
useradd hadoop passwd hadoop
然後根據提示,設定密碼。接著我給hadoop使用者設定面免密碼許可權,也可自行新增其他許可權。
chmod +w /etc/sudoers hadoop ALL=(root)NOPASSWD:ALL chmod -w /etc/sudoers
2.2安裝JDK
將下載好的安裝包解壓到 /usr/java/jdk1.7,然後設定環境變數,命令如下:
sudo vi /etc/profile
然後編輯配置,內容如下:
export JAVA_HOME=/usr/java/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin
然後使環境變數立即生效,命令如下:
source /etc/profile
然後驗證JDK是否配置成功,命令如下:
java -version
若顯示對應版本號,即表示JDK配置成功。否則,配置無效!
2.3配置hosts
叢集中所有機器的hosts配置要要相同(推薦)。可以避免不必要的麻煩,用域名取代IP,方便配置。配置資訊如下:
10.211.55.12 nna # NameNode Active 10.211.55.13 nns # NameNode Standby 10.211.55.14 dn1 # DataNode1 10.211.55.15 dn2 # DataNode2 10.211.55.16 dn3 # DataNode3
然後用scp命令,將hosts配置分發到各個節點。命令如下:
# 這裡以NNS節點為例子 scp /etc/hosts hadoop@nns:/etc/
2.4安裝SSH
輸入如下命令:
ssh-keygen –t rsa
然後一路按Enter鍵,最後在將id_rsa.pub寫到authorized_keys,命令如下:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
在hadoop使用者下,需要給authorized_keys賦予600的許可權,不然免密碼登陸無效。在其他節點只需要使用 ssh-keygen –t rsa 命令,生產對應的公鑰,然後將各個節點的id_rsa.pub追加到nna節點的authorized_keys中。最後,將nna節點下的authorized_keys檔案通過scp命令,分發到各個節點的 ~/.ssh/ 目錄下。目錄如下:
# 這裡以NNS節點為例子 scp ~/.ssh/authorized_keys hadoop@nns:~/.ssh/
然後使用ssh命令相互登入,看是否實現了免密碼登入,登入命令如下:
# 這裡以nns節點為例子 ssh nns
若登入過程中木有提示需要輸入密碼,即表示密碼配置成功。
2.5關閉防火牆
由於hadoop的節點之間需要通訊(RPC機制),這樣一來就需要監聽對應的埠,這裡我就直接將防火牆關閉了,命令如下:
chkconfig iptables off
注:如果用於生產環境,直接關閉防火牆是存在安全隱患的,我們可以通過配置防火牆的過濾規則,即將hadoop需要監聽的那些埠配置到防火牆接受規則中。關於防火牆的規則配置參見“linux防火牆配置”,或者通知公司的運維去幫忙配置管理。
同時,也需要關閉SELinux,可修改 /etc/selinux/config 檔案,將其中的 SELINUX=enforcing 改為 SELINUX=disabled即可。
2.6修改時區
各個節點的時間如果不同步,會出現啟動異常,或其他原因。這裡將時間統一設定為Shanghai時區。命令如下:
# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp: overwrite `/etc/localtime'? yes 修改為中國的東八區 # vi /etc/sysconfig/clock ZONE="Asia/Shanghai" UTC=false ARC=false
2.7ZK(安裝,啟動,驗證)
2.7.1安裝
將下載好的安裝包,解壓到指定位置,這裡為直接解壓到當前位置,命令如下:
tar -zxvf zk-{version}.tar.gz
修改zk配置,將zk安裝目錄下conf/zoo_sample.cfg重新命名zoo.cfg,修改其中的內容:
# The number of milliseconds of each tick # 伺服器與客戶端之間互動的基本時間單元(ms) tickTime=2000 # The number of ticks that the initial # synchronization phase can take # zookeeper所能接受的客戶端數量 initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement # 伺服器和客戶端之間請求和應答之間的時間間隔 syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. # 儲存zookeeper資料,日誌的路徑 dataDir=/home/hadoop/data/zookeeper # the port at which the clients will connect # 客戶端與zookeeper相互互動的埠 clientPort=2181 server.1= dn1:2888:3888 server.2= dn2:2888:3888 server.3= dn3:2888:3888 #server.A=B:C:D 其中A是一個數字,代表這是第幾號伺服器;B是伺服器的IP地址;C表示伺服器與群集中的“領導者”交換資訊的埠;當領導者失效後,D表示用來執行選舉時伺服器相互通訊的埠。
接下來,在配置的dataDir目錄下建立一個myid檔案,裡面寫入一個0-255之間的一個隨意數字,每個zk上這個檔案的數字要是不一樣的,這些數字應該是從1開始,依次寫每個伺服器。檔案中序號要與dn節點下的zk配置序號一直,如:server.1=dn1:2888:3888,那麼dn1節點下的myid配置檔案應該寫上1。
2.7.2啟動
分別在各個dn節點啟動zk程式,命令如下:
bin/zkServer.sh start
然後,在各個節點輸入jps命令,會出現如下程式:
QuorumPeerMain
2.7.3驗證
上面說的輸入jps命令,若顯示對應的程式,即表示啟動成功,同樣我們也可以輸入zk的狀態命令檢視,命令如下:
bin/zkServer.sh status
會出現一個leader和兩個follower。
2.8HDFS+HA的結構圖
HDFS配置HA的結構圖如下所示:
上圖大致架構包括:
1. 利用共享儲存來在兩個NN間同步edits資訊。以前的HDFS是share nothing but NN,現在NN又share storage,這樣其實是轉移了單點故障的位置,但中高階的儲存裝置內部都有各種RAID以及冗餘硬體,包括電源以及網路卡等,比伺服器的可靠性還是略有提高。通過NN內部每次後設資料變動後的flush操作,加上NFS的close-to-open,資料的一致性得到了保證。
2. DN同時向兩個NN彙報塊資訊。這是讓Standby NN保持叢集的最新狀態的必須步驟。
3. 用於監視和控制NN程式的FailoverController程式。顯然,我們不能在NN程式內部進行心跳等資訊同步,最簡單的原因,一次FullGC就可以讓NN掛起十幾分鍾,所以,必須要有一個獨立的短小精悍的watchdog來專門負責監控。這也是一個鬆耦合的設計,便於擴充套件或更改,目前版本里是用ZooKeeper(簡稱ZK)來做同步鎖,但使用者可以方便的把這個Zookeeper FailoverController(簡稱ZKFC)替換為其他的HA方案或leader選舉方案。
4. 隔離(Fencing),防止腦裂,就是保證在任何時候只有一個主NN,包括三個方面:
共享儲存fencing,確保只有一個NN可以寫入edits。
客戶端fencing,確保只有一個NN可以響應客戶端的請求。
DN fencing,確保只有一個NN向DN下發命令,譬如刪除塊,複製塊等等。
2.9角色分配
名稱 |
Host |
職責 |
NNA |
10.211.55.12 |
zkfc |
NNS |
10.211.55.13 |
zkfc |
DN1 |
10.211.55.14 |
zookeeper |
DN2 |
10.211.55.15 |
zookeeper |
DN3 |
10.211.55.16 |
zookeeper |
2.10環境變數配置
這裡列出了所有的配置,後面配置其他元件,可以參考這裡的配置。 配置完成後,輸入:. /etc/profile(或source /etc/profile)使之立即生效。驗證環境變數配置成功與否,輸入:echo $HADOOP_HOME,若輸出對應的配置路徑,即可認定配置成功。
注:hadoop2.x以後的版本conf資料夾改為etc資料夾了
配置內容如下所示:
export JAVA_HOME=/usr/java/jdk1.7 export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 export ZK_HOME=/home/hadoop/zookeeper-3.4.6 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOM
2.11核心檔案配置
注:這裡特別提醒,配置檔案中的路徑在啟動叢集之前,得存在(若不存在,請事先建立)。下面為給出本篇文章需要建立的路徑指令碼,命令如下:
mkdir -p /home/hadoop/tmp mkdir -p /home/hadoop/data/tmp/journal mkdir -p /home/hadoop/data/dfs/name mkdir -p /home/hadoop/data/dfs/data mkdir -p /home/hadoop/data/yarn/local mkdir -p /home/hadoop/log/yarn
- core-site.xml
<?xml version="1.0" encoding="UTF-8"?> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>dn1:2181,dn2:2181,dn3:2181</value> </property> </configuration>
- hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?> <configuration> <property> <name>dfs.nameservices</name> <value>cluster1</value> </property> <property> <name>dfs.ha.namenodes.cluster1</name> <value>nna,nns</value> </property> <property> <name>dfs.namenode.rpc-address.cluster1.nna</name> <value>nna:9000</value> </property> <property> <name>dfs.namenode.rpc-address.cluster1.nns</name> <value>nns:9000</value> </property> <property> <name>dfs.namenode.http-address.cluster1.nna</name> <value>nna:50070</value> </property> <property> <name>dfs.namenode.http-address.cluster1.nns</name> <value>nns:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://dn1:8485;dn2:8485;dn3:8485/cluster1</value> </property> <property> <name>dfs.client.failover.proxy.provider.cluster1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/hadoop/data/tmp/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/data/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.journalnode.http-address</name> <value>0.0.0.0:8480</value> </property> <property> <name>dfs.journalnode.rpc-address</name> <value>0.0.0.0:8485</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>dn1:2181,dn2:2181,dn3:2181</value> </property> </configuration>
- map-site.xml
<?xml version="1.0" encoding="UTF-8"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>nna:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>nna:19888</value> </property> </configuration>
- yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?> <configuration> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>dn1:2181,dn2:2181,dn3:2181</value> </property> <property> <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>nna</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>nns</value> </property> <!--在namenode1上配置rm1,在namenode2上配置rm2,注意:一般都喜歡把配置好的檔案遠端複製到其它機器上,但這個在YARN的另一個機器上一定要修改 --> <property> <name>yarn.resourcemanager.ha.id</name> <value>rm1</value> </property> <!--開啟自動恢復功能 --> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property> <!--配置與zookeeper的連線地址 --> <property> <name>yarn.resourcemanager.zk-state-store.address</name> <value>dn1:2181,dn2:2181,dn3:2181</value> </property> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>dn1:2181,dn2:2181,dn3:2181</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster1-yarn</value> </property> <!--schelduler失聯等待連線時間 --> <property> <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name> <value>5000</value> </property> <!--配置rm1 --> <property> <name>yarn.resourcemanager.address.rm1</name> <value>nna:8132</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>nna:8130</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>nna:8188</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm1</name> <value>nna:8131</value> </property> <property> <name>yarn.resourcemanager.admin.address.rm1</name> <value>nna:8033</value> </property> <property> <name>yarn.resourcemanager.ha.admin.address.rm1</name> <value>nna:23142</value> </property> <!--配置rm2 --> <property> <name>yarn.resourcemanager.address.rm2</name> <value>nns:8132</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>nns:8130</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>nns:8188</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address.rm2</name> <value>nns:8131</value> </property> <property> <name>yarn.resourcemanager.admin.address.rm2</name> <value>nns:8033</value> </property> <property> <name>yarn.resourcemanager.ha.admin.address.rm2</name> <value>nns:23142</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/home/hadoop/data/yarn/local</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/home/hadoop/log/yarn</value> </property> <property> <name>mapreduce.shuffle.port</name> <value>23080</value> </property> <!--故障處理類 --> <property> <name>yarn.client.failover-proxy-provider</name> <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value> </property> <property> <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name> <value>/yarn-leader-election</value> </property> </configuration>
- hadoop-env.sh
# The java implementation to use. export JAVA_HOME=/usr/java/jdk1.7
- yarn-env.sh
# some Java parameters export JAVA_HOME=/usr/java/jdk1.7
2.12slave
修改hadoop安裝目錄下的slave檔案:
dn1
dn2
dn3
2.13啟動命令(hdfs和yarn的相關命令)
由於我們配置了QJM,所以我們需要先啟動QJM的服務,啟動順序如下所示:
- 進入到DN節點,啟動zk的服務:zkServer.sh start,之後可以輸入zkServer.sh status檢視啟動狀態,本次我們配置了三個DN節點,會出現一個leader和兩個follower。輸入jps,會顯示啟動程式:QuorumPeerMain
- 在NN節點上(選一臺即可,這裡我選擇的是一臺預NNA節點),然後啟動journalnode服務,命令如下:hadoop-daemons.sh start journalnode。或者單獨進入到每個DN輸入啟動命令:hadoop-daemon.sh start journalnode。輸入jps顯示啟動程式:JournalNode。
- 之後我們需要格式化ZK,命令如下:hdfs zkfc -formatZK。
- 接著若是配置後,我們首次啟動,需要格式化HDFS,命令如下:hadoop namenode -format。
- 接著我們啟動hdfs和yarn,命令如下:start-dfs.sh和start-yarn.sh,我們在nna輸入jps檢視程式,顯示如下:DFSZKFailoverController,NameNode,ResourceManager。
- 接著我們在NNS輸入jps檢視,發現只有DFSZKFailoverController程式,這裡我們需要手動啟動NNS上的namenode和ResourceManager程式,命令如下:hadoop-daemon.sh start namenode和yarn-daemon.sh start resourcemanager。需要注意的是,在NNS上的yarn-site.xml中,需要配置指向NNS,屬性配置為rm2,在NNA中配置的是rm1。
- 最後我們需要同步NNA節點的後設資料,在NNS節點執行同步命令,命令如下:hdfs namenode -bootstrapStandby,若執行正常,日誌最後顯示如下資訊:
15/02/21 10:30:59 INFO common.Storage: Storage directory /home/hadoop/data/dfs/name has been successfully formatted.
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration.
15/02/21 10:31:00 INFO namenode.TransferFsImage: Opening connection to http://nna:50070/imagetransfer?getimage=1&txid=0&storageInfo=-60:1079068934:0:CID-1dd0c11e-b27e-4651-aad6-73bc7dd820bd
15/02/21 10:31:01 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds
15/02/21 10:31:01 INFO namenode.TransferFsImage: Transfer took 0.01s at 0.00 KB/s
15/02/21 10:31:01 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000000 size 353 bytes.
15/02/21 10:31:01 INFO util.ExitUtil: Exiting with status 0
15/02/21 10:31:01 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at nns/10.211.55.13 ************************************************************/
2.14HA的切換
由於我配置的是自動切換,若NNA節點宕掉,NNS節點會立即由standby狀態切換為active狀態。若是配置的手動狀態,可以輸入如下命令進行人工切換:
hdfs haadmin -failover --forcefence --forceactive nna nns
這條命令的意思是,將nna變成standby,nns變成active。而且手動狀態下需要重啟服務。
2.15效果截圖
3.總結
這篇文章就贅述到這裡,若在配置過程中有什麼疑問或問題,可以加入QQ群討論或傳送郵件給我,我會盡我所能為您解答,與君共勉!