Hadoop雙namenode配置搭建（HA）

ido發表於2018-04-06
Hadoop

配置雙namenode的目的就是為了防錯，防止一個namenode掛掉資料丟失，具體原理本文不詳細講解，這裡只說明具體的安裝過程。

Hadoop HA的搭建是基於Zookeeper的，關於Zookeeper的搭建可以檢視這裡 hadoop、zookeeper、hbase、spark叢集環境搭建 ，本文可以看做是這篇文章的補充。這裡講一下Hadoop配置安裝。

配置Hadoop檔案

需要修改的配置檔案在$HADOOP_HOME/etc/hadoop目錄下面，具體修改內容如下：

core-site.xml

 <!-- 指定hdfs的nameservice為ns -->
 <property>
      <name>fs.defaultFS</name>
      <value>hdfs://ns</value>
 </property>
 <!--指定hadoop資料臨時存放目錄-->
 <property>
      <name>hadoop.tmp.dir</name>
      <value>/data/install/hadoop-2.7.3/temp</value>
 </property>

 <property>
      <name>io.file.buffer.size</name>
      <value>4096</value>
 </property>
 <!--指定zookeeper地址-->
 <property>
      <name>ha.zookeeper.quorum</name>
      <value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value>
 </property>

hdfs-site.xml

    <!--指定hdfs的nameservice為ns，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>
    <!-- ns下面有兩個NameNode，分別是nn1，nn2 -->
    <property>
       <name>dfs.ha.namenodes.ns</name>
       <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通訊地址 -->
    <property>
       <name>dfs.namenode.rpc-address.ns.nn1</name>
       <value>master1:9000</value>
    </property>
    <!-- nn1的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>master1:50070</value>
    </property>
    <!-- nn2的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>master2:9000</value>
    </property>
    <!-- nn2的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>master2:50070</value>
    </property>
    <!-- 指定NameNode的後設資料在JournalNode上的存放位置 -->
    <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://slave1:8485;slave2:8485;slave3:8485/ns</value>
    </property>
    <!-- 指定JournalNode在本地磁碟存放資料的位置 -->
    <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/data/install/hadoop-2.7.3/journal</value>
    </property>
    <!-- 開啟NameNode故障時自動切換 -->
    <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
    </property>
    <!-- 配置失敗自動切換實現方式 -->
    <property>
            <name>dfs.client.failover.proxy.provider.ns</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔離機制，如果ssh是預設22埠，value直接寫sshfence即可 -->
    <property>
             <name>dfs.ha.fencing.methods</name>
             <value>sshfence(hadoop:22022)</value>
    </property>
    <!-- 使用隔離機制時需要ssh免登陸 -->
    <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/home/hadoop/.ssh/id_rsa</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/install/hadoop-2.7.3/hdfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/install/hadoop-2.7.3/hdfs/data</value>
    </property>

    <property>
       <name>dfs.replication</name>
       <value>2</value>
    </property>
    <!-- 在NN和DN上開啟WebHDFS (REST API)功能,不是必須 -->
    <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
    </property>

mapred-site.xml

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
 </property>

yarn-site.xml

    <!-- 指定nodemanager啟動時載入server的方式為shuffle server -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
     </property>
     <property>
            <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>
     <!-- 指定resourcemanager地址 -->
     <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master1</value>
      </property>

hadoop-env.sh新增如下內容

export JAVA_HOME=/data/install/jdk
# ssh埠非預設22埠
export HADOOP_SSH_OPTS="-p 22022"

yarn-env.sh新增如下內容

export JAVA_HOME=/data/install/jdk

啟動命令

注意首次初始化啟動命令和之後啟動的命令是不同的，首次啟動比較複雜，步驟不對的話就會報錯，不過之後就好了

首次啟動命令

1、首先啟動各個節點的Zookeeper，在各個節點上執行以下命令：

bin/zkServer.sh start

2、在某一個namenode節點執行如下命令，建立名稱空間

hdfs zkfc -formatZK

3、在每個journalnode節點用如下命令啟動journalnode

sbin/hadoop-daemon.sh start journalnode

4、在主namenode節點格式化namenode和journalnode目錄

hdfs namenode -format ns

5、在主namenode節點啟動namenode程式

sbin/hadoop-daemon.sh start namenode

6、在備namenode節點執行第一行命令，這個是把備namenode節點的目錄格式化並把後設資料從主namenode節點copy過來，並且這個命令不會把journalnode目錄再格式化了！然後用第二個命令啟動備namenode程式！

hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode

7、在兩個namenode節點都執行以下命令

sbin/hadoop-daemon.sh start zkfc

8、在所有datanode節點都執行以下命令啟動datanode

sbin/hadoop-daemon.sh start datanode

日常啟停命令

sbin/start-dfs.sh
sbin/stop-dfs.sh

測試驗證

首先在瀏覽器分別開啟兩個節點的namenode狀態，其中一個顯示active，另一個顯示standby

這裡寫圖片描述

這裡寫圖片描述

然後在active所在的namenode節點執行jps，殺掉相應的namenode程式

這裡寫圖片描述

前面standby所對應的namenode變成active

這裡寫圖片描述

2017-03-05更新 
Hadoop配置了HA，Spark也需要更改一些配置，否則會報java.net.UnknownHostException的錯誤，就是在$SPARK_HOME/conf/spark-defaults.conf內新增如下內容：

spark.files file:///data/install/hadoop-2.7.3/etc/hadoop/hdfs-site.xml,file:///data/install/hadoop-2.7.3/etc/hadoop/core-site.xml

Men were born to be suffering, the pain of struggle, or the pain of regret?

相關文章