好程式設計師大資料筆記之：Hadoop叢集搭建

       在學大資料的過程中， 我們接觸了很多關於 Hadoop的理論和操作性的知識點，尤其在近期學習的Hadoop叢集的搭建問題上，小細節，小難點拼頻頻出現，所以，今天集中總結以下筆記，希望對各位同學有所幫助。ps：以下不涉及完全分散式，只說明單機版和偽分散式。

　　 一、 hadoop本地模式和偽分散式模式之間的區別

　　 1.單機(非分散式)模式。這種模式在一臺單機上執行，沒有分散式檔案系統，而是直接讀寫本地作業系統的檔案系統。

　　 2.偽分散式執行模式。這種模式也是在一臺單機上執行，但用不同的Java程式模仿分散式執行中的各類結點: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。請注意分散式執行中的這幾個結點的區別：從分散式儲存的角度來說，叢集中的結點由一個NameNode和若干個DataNode組成,另有一個SecondaryNameNode作為NameNode的備份;從分散式應用的角度來說，叢集中的結點由一個JobTracker和若干個TaskTracker組成，JobTracker負責任務的排程，TaskTracker負責並行執行任務。TaskTracker必須執行在DataNode上，這樣便於資料的本地計算。JobTracker和NameNode則無須在同一臺機器上。一個機器上，既當namenode，又當datanode,或者說既是jobtracker,又是tasktracker。沒有所謂的在多臺機器上進行真正的分散式計算，故稱為"偽分散式"。

　　 二， hadoop本地模式的搭建

　　 1.首先需要一臺客戶機。

　　 2.安裝jdk。

　　 1)首先在客戶機根目錄root資料夾下建立tools資料夾：root> mkdir tools。

　　 2)用遠端連線工具連線客戶機，拖拽壓縮包到客戶機 root/tools/目錄下

　　 3) 解壓jdk到/etc/local下：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/

　　 3.安裝hadoop

　　 1) 拖拽壓縮包到客戶機root/rools 目錄下。

　　 2)解壓hadoop到etc/local/下：tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。

　　 4.配置環境變數

　　 hadoop> vi /etc/profile

　　 export JAVA_HOME=/usr/local/jdk1.8.0_152

　　 export HADOOP_HOME=/usr/local/hadoop-2.7.2/

　　 export CLASSPATH=.;JAVA_HOME/lib/dt.jar;JAVA_HOME/lib/tools.jar

　　 export PATH=$JAVA_HOME/bi

　　 PATH;HADOOP_HOME/bin;

　　 HADOOP_HOME/sbin/;

　　 5. hadoop version

　　 java –version。以上兩項，都能正常顯示除版本號，即為環境搭建成功，以上步驟為本地模式搭建成功!

　　 三， hadoop偽分散式模式的搭建(以上五步到配置環境搭建成功為基礎)

　　 1..配置叢集

　　 1)配置：hadoop-env.sh。Linux 系統中獲取jdk 的安裝路徑：/usr/local/jdk1.8.0_15並修改JAVA_HOME 路徑為：export JAVA_HOME=/opt/module/jdk1.8.0_144

　　 2)配置：core-site.xml

　　

3)  配置： hdfs-site.xml

　　

　　 4)啟動叢集。格式化namenode(第一次啟動時格式化，以後就不要總格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。啟動namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。啟動datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

　　 5)檢視叢集是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常應該啟動這三個程式

　　 6)檢視產生的log日誌。當前目錄：/usr/local/hadoop-2.7.2/logs>ls。

　　 hadoop-qianfeng-datanode-hadoop.qianfeng.com.log

　　 hadoop-qianfeng-datanode-hadoop.qianfeng.com.out

　　 hadoop-qianfeng-namenode-hadoop.qianfeng.com.log

　　 hadoop-qianfeng-namenode-hadoop.qianfeng.com.out

　　 SecurityAuth-root.audit

　　 cat hadoop-qianfeng-datanode-hadoop101.log

　　 以上步驟即為偽分散式搭建成功 !

　　 學習大資料開發，可以參考 好程式設計師 提供的 大資料學習路線 ，該學習路線提供完整的大資料開發知識體系，內容包含 Linux&&Hadoop生態體系、大資料計算框架體系、雲端計算體系、機器學習&&深度學習。