CentOS7下部署Hadoop2.X--偽分佈模式

一、部署JAVA--(使用root使用者)
  1、上傳Oracle公司的Java元件--jdk1.8.0_151
    A）、cd /uar/java
    B）、執行rz -be->選擇本地JDK元件->新增檔案->確定上傳
  2、解決安裝包-->tar -zxvf jdk-8u151-linux-x64.tar.gz
  3、給解壓資料夾賦權：chmod 775 jdk1.8.0_151
  4、設定環境變數：
         vi /etc/profile
            export JAVA_HOME=/usr/java/jdk1.8.0_151
            export PATH=$JAVA_HOME/bin:$PATH
  5、生效環境變數：source /etc/profile
  6、驗證命令：java -version和which java

二、部署ssh服務是否執行(使用root使用者)
  service sshd status
  提示：openssh-daemon (pid  5124) is running...
  注：如未安裝使用yum install -y ssh

三、修改hosts檔案(使用root使用者)
  vi /etc/hosts
    192.168.40.130  hadoop001
  cat /etc/hosts

四、配置ssh對等性(使用hadoop使用者)
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys

  測試：ssh hadoop1 date(第一次需要輸入yes，之後需要輸入即可顯示遠端時間)

五、部署Hadoop--偽分佈模式
  1、使用root使用者在/opt中建立software、sourcecode目錄，並賦權許可權
     cd /opt
     mkdir software sourcecode
     chown hadoop:hadoop software sourcecode
  2、上傳hadoop-2.8.1.tar.gz(使用hadoop使用者)
    A）、cd /opt/software
    B）、執行rz -be->選擇本地hadoop-2.8.1.tar.gz檔案->新增檔案->確定上傳
  3、解決安裝包-->tar -zxvf hadoop-2.8.1.tar.gz(使用hadoop使用者)
  4、配置環境變更(使用hadoop使用者)
     vi ~/.bash_profile
       export HADOOP_HOME=/opt/software/hadoop-2.8.1
       export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
     環境變數生效：source ~/.bash_profile
     驗證環境變更：echo $HADDOP_HOME，輸出為：/opt/software/hadoop-2.8.1則為正常
                   which hadoop，輸出為：/opt/software/hadoop-2.8.1/bin/hadoop則為正常
  5、配置hadoop偽分佈模式引數：
     A)、進入hadoop安裝目錄：cd $HADOOP_HOME/etc/hadoop
     B)、修改hadoop-env.sh檔案，並檔案中export JAVA_HOME=${JAVA_HOME}修改為：export JAVA_HOME=/usr/java/jdk1.8.0_151
         vi hadoop-env.sh
           export JAVA_HOME=${JAVA_HOME}  --->  export JAVA_HOME=/usr/java/jdk1.8.0_151
         退出儲存(:wq)
     C)、修改core-site.xml檔案，在與中新增如下內容：
         vi core-site.xml
             
               fs.defaultFS
               hdfs://192.168.40.130:9000
             

             
               hadoop.tmp.dir
               /opt/software/hadoop-2.8.1/tmp
             
         退出儲存(:wq)
     D)、修改hdfs-site.xml檔案，在與中新增如下內容：
         vi hdfs-site.xml
             
               dfs.replication
               1
             

           
             dfs.namenode.secondary.http-address
             192.168.40.130:50090
           

         
            dfs.namenode.secondary.https-address
            192.168.40.130:50091
         
         退出儲存(:wq)
     E)、修改slaves檔案，將localhost修改為192.168.40.130：
         vi slaves
            192.168.40.130
         退出儲存(:wq)
     F)、修改yarn-site.xml檔案，在與中新增如下內容：
         vi yarn-site.xml
          
            yarn.nodemanager.aux-services
            mapreduce_shuffle
         
         退出儲存(:wq)
     G)、修改mapred-site.xml檔案，在與中新增如下內容：
        cp mapred-site.xml.template mapred-site.xml
         vi mapred-site.xml
           
              mapreduce.framework.name
              yarn
           
         退出儲存(:wq)
  6、在hadoop資料夾中建立tmp目錄
     cd /opt/software/hadoop-2.8.1
     mkdir tmp

  7、格式化HDFS：hdfs namenode -format
     提示：
17/12/15 09:56:24 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1926188112-192.168.40.130-1513302984957
17/12/15 09:56:25 INFO common.Storage: Storage directory /opt/software/hadoop-2.8.1/tmp/dfs/name has been successfully formatted.
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 323 bytes saved in 0 seconds.
17/12/15 09:56:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/12/15 09:56:25 INFO util.ExitUtil: Exiting with status 0
17/12/15 09:56:25 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at spark220/192.168.40.130
************************************************************/
   8、啟動HDFS服務：start-dfs.sh
   
   9、啟動Yarn服務：start-yarn.sh

       注：如需同時啟動，則執行strat-all.sh

    10、驗證：
      A)、輸入：jps，返回如下資訊：
         3536 NodeManager
         3234 SecondaryNameNode
        3046 DataNode
        2938 NameNode
        3422 ResourceManager

  B)、上傳檔案測試：
      hdfs dfs -mkdir /input            ==>建立目錄input
      hdfs dfs -ls /input               ==>檢視目錄
      hdfs dfs -put slaves /input       ==>上傳檔案到input目錄
      hdfs dfs -ls /input               ==>檢視目錄(-rw-r--r--   1 hadoop supergroup         15 2017-12-15 10:07 /input/slaves)


注：
   停止HDFS、YARN命令：
   sbin/stop-yarn.sh
   sbin/stop-hdfs.sh
   或者：sbin/stop-all.sh
---------------------完---------------------------