hadoop 2.8.5偽分散式環境搭建

官方文件:

安裝文件:

hadoop,hbase,jdk版本對應:

1.準備安裝先決條件

[root@localhost ~]# hostnamectl set-hostname node1    --每臺機器設定主機名,重啟系統

[root@localhost ~]# vim /etc/hosts     --將主機名新增到host解析

172.16.8.23  node1

172.16.8.24  node2

172.16.8.178 node3

172.16.8.179 node4

[root@node1 ~]# ssh-keygen -t rsa      --每臺主機生成金鑰

[root@node1 ~]# ssh-copy-id node1      --將每臺主機的金鑰傳到node1節點上

[root@node1 ~]# scp /root/.ssh/authorized_keys  node2:/root/.ssh/     --將node1的authorized_keys檔案傳到其它node上

[root@node1 ~]# ssh node1 date         --node1節點與其它節點全部免登陸

2019年 03月 16日 星期六 15:41:35 CST

[root@node1 ~]# ssh node2 date

2019年 03月 16日 星期六 15:41:40 CST

[root@node1 ~]# ssh node3 date

2019年 03月 16日 星期六 15:41:43 CST

[root@node1 ~]# ssh node4 date

2019年 03月 16日 星期六 15:41:46 CST

[root@node1 ~]# 

2.啟用NTP時間伺服器

[root@node1 ~]# yum install ntp -y     --在node1搭建ntp伺服器

[root@node1 ~]# vim /etc/ntp.conf 

restrict 172.16.8.0 mask 255.255.255.0

server 172.16.8.23

[root@node1 ~]# systemctl restart ntpd

[root@node2 ~]# vim /etc/ntp/step-tickers    --在客戶端設定ntp服務端的主機名

node1

[root@node2 ~]# 

3.下載解壓hadoop安裝包(在各節點上安裝jdk和hadoop)

[root@node1 ~]# wget

AuthParam=1552723272_02cde009ff2384cfcf01e2c377d085cc

[root@node1 ~]# wget

[root@node1 ~]# scp jdk-8u202-linux-x64.rpm  node2:/root/    --將jdk傳到各節點上

[root@node1 ~]# rpm -ivh jdk-8u202-linux-x64.rpm             --在各節點安裝jdk

[root@node1 ~]# tar xvf hadoop-2.8.5.tar.gz  -C /opt/

[root@node1 ~]# cd /opt/hadoop-2.8.5/etc/hadoop/

[root@node1 hadoop]# vim hadoop-env.sh 

export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64/

[root@node1 hadoop]# vim core-site.xml 

    
        fs.defaultFS
        hdfs://node1:9000       --資料上傳下載埠(rpc協議)
    
    
        hadoop.tmp.dir
        /opt/hadoop-2.8.5/tmp   --需要新建一個目錄
    

[root@node1 hadoop]# vim hdfs-site.xml 

   
        dfs.namenode.secondary.http-address    --使用node1的50090埠可以訪問HDFS資料
        node1:50090
    
    
        dfs.namenode.secondary.https-address
        node1:50091
    

[root@node1 hadoop]# cat masters    --配置namenode節點

node1

[root@node1 hadoop]# cat slaves     --配置datanode節點

node2

node3

node4

[root@node1 hadoop]# vim mapred-site.xml 

    
        mapreduce.framework.name
        yarn
    

[root@node1 hadoop]# vim yarn-site.xml 

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

[root@node1 hadoop]# cd /opt/

[root@node1 opt]# scp -r hadoop-2.8.5 node2:/opt/     --將hadoop複製到其它node節點

4.配置環境變數

[root@node1 ~]# vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_202-amd64

export HADOOP_HOME=/opt/hadoop-2.8.5

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin

[root@node1 ~]# source /etc/profile

[root@node1 ~]# scp /etc/profile node2:/etc/       --將環境變數檔案複製到其它node節點

5.在master節點格式化磁碟

[root@node1 opt]# hdfs namenode -format

[root@node1 opt]# start-dfs.sh 

Starting namenodes on [node1]

node1: starting namenode, logging to /opt/hadoop-2.8.5/logs/hadoop-root-namenode-node1.out

node2: starting datanode, logging to /opt/hadoop-2.8.5/logs/hadoop-root-datanode-node2.out

node4: starting datanode, logging to /opt/hadoop-2.8.5/logs/hadoop-root-datanode-node4.out

node3: starting datanode, logging to /opt/hadoop-2.8.5/logs/hadoop-root-datanode-node3.out

Starting secondary namenodes [node1]

node1: starting secondarynamenode, logging to /opt/hadoop-2.8.5/logs/hadoop-root-secondarynamenode-node1.out

[root@node1 opt]# jps 

5152 SecondaryNameNode

5320 Jps

3929 DataNode

4926 NameNode

[root@node1 opt]# start-yarn.sh 

starting yarn daemons

starting resourcemanager, logging to /opt/hadoop-2.8.5/logs/yarn-root-resourcemanager-node1.out

node2: starting nodemanager, logging to /opt/hadoop-2.8.5/logs/yarn-root-nodemanager-node2.out

node4: starting nodemanager, logging to /opt/hadoop-2.8.5/logs/yarn-root-nodemanager-node4.out

node3: starting nodemanager, logging to /opt/hadoop-2.8.5/logs/yarn-root-nodemanager-node3.out

[root@node1 opt]# jps 

8517 ResourceManager

3929 DataNode

8042 NameNode

8269 SecondaryNameNode

8813 Jps

[root@node1 opt]# 

6.其它datanode節點

[root@node2 opt]# jps

5411 NodeManager

5607 Jps

5259 DataNode

[root@node2 opt]# 

7.使用web頁面