Hadoop框架：HDFS高可用環境配置

知了一笑發表於2020-10-27

一、HDFS高可用

1、基礎描述

在單點或者少數節點故障的情況下，叢集還可以正常的提供服務，HDFS高可用機制可以通過配置Active/Standby兩個NameNodes節點實現在叢集中對NameNode的熱備來消除單節點故障問題，如果單個節點出現故障，可通過該方式將NameNode快速切換到另外一個節點上。

2、機制詳解

基於兩個NameNode做高可用，依賴共享Edits檔案和Zookeeper叢集；
每個NameNode節點配置一個ZKfailover程式，負責監控所在NameNode節點狀態；
NameNode與ZooKeeper叢集維護一個持久會話；
如果Active節點故障停機，ZooKeeper通知Standby狀態的NameNode節點；
在ZKfailover程式檢測並確認故障節點無法工作後；
ZKfailover通知Standby狀態的NameNode節點切換為Active狀態繼續服務；

ZooKeeper在大資料體系中非常重要，協調不同元件的工作，維護並傳遞資料，例如上述高可用下自動故障轉移就依賴於ZooKeeper元件。

二、HDFS高可用

1、整體配置

服務列表	HDFS檔案	YARN排程	單服務	共享檔案	Zk叢集
hop01	DataNode	NodeManager	NameNode	JournalNode	ZK-hop01
hop02	DataNode	NodeManager	ResourceManager	JournalNode	ZK-hop02
hop03	DataNode	NodeManager	SecondaryNameNode	JournalNode	ZK-hop03

2、配置JournalNode

建立目錄

[root@hop01 opt]# mkdir hopHA

拷貝Hadoop目錄

cp -r /opt/hadoop2.7/ /opt/hopHA/

配置core-site.xml

<configuration>
    <!-- NameNode叢集模式 -->
	<property>
		<name>fs.defaultFS</name>
       	<value>hdfs://mycluster</value>
	</property>
	<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
	<property>
		<name>hadoop.tmp.dir</name>
	   <value>/opt/hopHA/hadoop2.7/data/tmp</value>
	</property>
</configuration>

配置hdfs-site.xml，新增內容如下

<!-- 分散式叢集名稱 -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>

<!-- 叢集中NameNode節點 -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>

<!-- NN1 RPC通訊地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>hop01:9000</value>
</property>

<!-- NN2 RPC通訊地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>hop02:9000</value>
</property>

<!-- NN1 Http通訊地址 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>hop01:50070</value>
</property>

<!-- NN2 Http通訊地址 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>hop02:50070</value>
</property>

<!-- 指定NameNode後設資料在JournalNode上的存放位置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hop01:8485;hop02:8485;hop03:8485/mycluster</value>
</property>

<!-- 配置隔離機制，即同一時刻只能有一臺伺服器對外響應 -->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>

<!-- 使用隔離機制時需要ssh無祕鑰登入-->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
</property>

<!-- 宣告journalnode伺服器儲存目錄-->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/hopHA/hadoop2.7/data/jn</value>
</property>

<!-- 關閉許可權檢查-->
<property>
	<name>dfs.permissions.enable</name>
	<value>false</value>
</property>

<!-- 訪問代理類失敗自動切換實現方式-->
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

依次啟動journalnode服務

[root@hop01 hadoop2.7]# pwd
/opt/hopHA/hadoop2.7
[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start journalnode

刪除hopHA下資料

[root@hop01 hadoop2.7]# rm -rf data/ logs/

NN1格式化並啟動NameNode

[root@hop01 hadoop2.7]# pwd
/opt/hopHA/hadoop2.7
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

NN2同步NN1資料

[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby

NN2啟動NameNode

[root@hop02 hadoop2.7]# sbin/hadoop-daemon.sh start namenode

檢視當前狀態

在NN1上啟動全部DataNode

[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode

NN1切換為Active狀態

[root@hop01 hadoop2.7]# bin/hdfs haadmin -transitionToActive nn1
[root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1
active

3、故障轉移配置

配置hdfs-site.xml，新增內容如下，同步叢集

<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>

配置core-site.xml，新增內容如下，同步叢集

<property>
	<name>ha.zookeeper.quorum</name>
	<value>hop01:2181,hop02:2181,hop03:2181</value>
</property>

關閉全部HDFS服務

[root@hop01 hadoop2.7]# sbin/stop-dfs.sh

啟動Zookeeper叢集

/opt/zookeeper3.4/bin/zkServer.sh start

hop01初始化HA在Zookeeper中狀態

[root@hop01 hadoop2.7]# bin/hdfs zkfc -formatZK

hop01啟動HDFS服務

[root@hop01 hadoop2.7]# sbin/start-dfs.sh

NameNode節點啟動ZKFailover

這裡hop01和hop02先啟動的服務狀態就是Active，這裡先啟動hop02。

[hadoop2.7]# sbin/hadoop-daemon.sh start zkfc

結束hop02的NameNode程式

kill -9 14422

等待一下檢視hop01狀態

[root@hop01 hadoop2.7]# bin/hdfs haadmin -getServiceState nn1
active

三、YARN高可用

1、基礎描述

基本流程和思路與HDFS機制類似，依賴Zookeeper叢集，當Active節點故障時，Standby節點會切換為Active狀態持續服務。

2、配置詳解

環境同樣基於hop01和hop02來演示。

配置yarn-site.xml，同步叢集下服務

<configuration>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--啟用HA機制-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--宣告Resourcemanager服務-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn01</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hop01</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hop02</value>
    </property>
 
    <!--Zookeeper叢集的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hop01:2181,hop02:2181,hop03:2181</value>
    </property>

    <!--啟用自動恢復機制--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定狀態儲存Zookeeper叢集--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>

</configuration>

重啟journalnode節點

sbin/hadoop-daemon.sh start journalnode

在NN1服務格式化並啟動

[root@hop01 hadoop2.7]# bin/hdfs namenode -format
[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start namenode

NN2上同步NN1後設資料

[root@hop02 hadoop2.7]# bin/hdfs namenode -bootstrapStandby

啟動叢集下DataNode

[root@hop01 hadoop2.7]# sbin/hadoop-daemons.sh start datanode

NN1設定為Active狀態

先啟動hop01即可，然後啟動hop02。

[root@hop01 hadoop2.7]# sbin/hadoop-daemon.sh start zkfc

hop01啟動yarn

[root@hop01 hadoop2.7]# sbin/start-yarn.sh

hop02啟動ResourceManager

[root@hop02 hadoop2.7]# sbin/yarn-daemon.sh start resourcemanager

檢視狀態

[root@hop01 hadoop2.7]# bin/yarn rmadmin -getServiceState rm1

四、原始碼地址

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent

推薦閱讀：程式設計體系整理

序號	專案名稱	GitHub地址	GitEE地址	推薦指數
01	Java描述設計模式,演算法,資料結構	GitHub·點這裡	GitEE·點這裡	☆☆☆☆☆
02	Java基礎、併發、物件導向、Web開發	GitHub·點這裡	GitEE·點這裡	☆☆☆☆
03	SpringCloud微服務基礎元件案例詳解	GitHub·點這裡	GitEE·點這裡	☆☆☆
04	SpringCloud微服務架構實戰綜合案例	GitHub·點這裡	GitEE·點這裡	☆☆☆☆☆
05	SpringBoot框架基礎應用入門到進階	GitHub·點這裡	GitEE·點這裡	☆☆☆☆
06	SpringBoot框架整合開發常用中介軟體	GitHub·點這裡	GitEE·點這裡	☆☆☆☆☆
07	資料管理、分散式、架構設計基礎案例	GitHub·點這裡	GitEE·點這裡	☆☆☆☆☆
08	大資料系列、儲存、元件、計算等框架	GitHub·點這裡	GitEE·點這裡	☆☆☆☆☆

HDFS High Availability（HA）高可用配置
2022-05-15
AI
配置高可用的Hadoop平臺
2015-02-25
Hadoop
構建ORACLE高可用環境
2008-03-24
Oracle
hadoop之 Hadoop2.2.0中HDFS的高可用性實現原理
2017-09-06
Hadoop
HDFS 09 - HDFS NameNode 的高可用機制
2021-08-22
ubuntu下hadoop環境配置
2014-05-03
UbuntuHadoop
hadoop3.1.0 HDFS快速搭建偽分散式環境
2018-04-26
Hadoop分散式
生成環境之Nginx高可用方案
2019-06-11
Nginx
Oracle高可用環境之DDL操作
2009-08-09
Oracle
配置Linux環境下多網路卡高可用網路埠
2016-10-25
Linux
高可用叢集環境搭建-留檔
2019-08-22
hadoop之旅5-idea通過maven搭建hdfs環境
2018-10-18
HadoopIdeaMaven
Hadoop KMS配置(HDFS透明加密)
2020-06-06
Hadoop加密
理解HDFS高可用性架構
2017-08-21
架構
高可用性的HDFS—Hadoop分散式檔案系統深度實踐
2012-05-21
Hadoop分散式
Hadoop安裝手冊2-Hadoop環境配置
2013-02-02
Hadoop
高可用Hadoop平臺－Hue In Hadoop
2015-05-25
Hadoop
生產環境的redis高可用叢集搭建
2014-12-16
Redis
【陳吉平】《構建oracle高可用環境》前言
2008-04-07
Oracle
Hadoop開發環境配置1-maven安裝配置
2017-07-24
Hadoop開發環境Maven
高可用Hadoop平臺－探索
2015-03-18
Hadoop
[Hadoop踩坑]叢集分散式環境配置
2021-09-09
Hadoop分散式
Apache httpd和JBoss構建高可用叢集環境
2015-09-29
Apachehttpd
MySQL Cluster 7.0 +LVS 構建高可用環境
2009-07-25
MySql
Hadoop框架：叢集模式下分散式環境搭建
2020-09-27
Hadoop框架模式分散式
【實驗】Hadoop-2.7.2+zookeeper-3.4.6完全分散式環境搭建(HDFS、YARN HA)
2016-02-25
Hadoop分散式Yarn
Hadoop配置hdfs-site.xml詳解
2024-03-14
HadoopXML
Hadoop框架：HDFS簡介與Shell管理命令
2020-09-29
Hadoop框架
oracle 資料庫搭建高可用環境容災參考。
2014-12-03
Oracle資料庫
WSL2+Ubuntu配置Java Maven Hadoop Spark環境
2021-05-08
UbuntuJavaMavenHadoopSpark
高可用Hadoop平臺－實戰
2015-04-01
Hadoop
高可用Hadoop平臺－啟航
2015-03-13
Hadoop
高可用Hadoop平臺－答疑篇
2015-04-07
Hadoop
在Hadoop環境裡面統計西遊記文章的片語（hdfs實驗）
2020-09-28
Hadoop
Hadoop–HDFS
2018-12-20
Hadoop
python框架之虛擬環境的配置
2018-06-22
Python框架
SQLServer高可用方案在企業生產環境的實踐
2021-05-14
SQLServer
app自動化測試環境配置：adb環境配置、monkey環境配置、appium環境配置大全
2020-06-28
APP

Hadoop框架：HDFS高可用環境配置

一、HDFS高可用

1、基礎描述

2、機制詳解

二、HDFS高可用

1、整體配置

2、配置JournalNode

3、故障轉移配置

三、YARN高可用

1、基礎描述

2、配置詳解

四、原始碼地址

相關文章