Spark新手入門——2.Hadoop叢集(偽分佈模式)安裝

DeepLearningStack發表於2018-07-15
SparkHadoop模式

主要包括以下三部分，本文為第二部分：
一. Scala環境準備 檢視
二. Hadoop叢集(偽分佈模式)安裝
三. Spark叢集(standalone模式)安裝 檢視

Hadoop叢集(偽分佈模式)安裝

  1. 依賴項：jdk(hadoop與java版本相容性參考連結)、ssh；
    執行ssh localhost若提示：
    localhost: ssh: connect to host localhost port 22: Connection refused
    則需要:
    a.檢查是否安裝了openssh，若沒有則建議通過brew install openssh安裝(需要先安裝brew，安裝brew前還需要先安裝xcode，安裝方法見官網，官網的方法若超時，可以先在瀏覽器中開啟curl連結並複製到本地儲存(如~/Desktop/install)，然後修改安裝命令為:
    /usr/bin/ruby -e "$(cat ~/Desktop/install)"
    )，啟動方式：
    sudo /usr/sbin/sshd

    若啟動失敗並提示：
    Could not load host key: /etc/ssh/ssh_host_rsa_key
    Could not load host key: /etc/ssh/ssh_host_dsa_key
    Could not load host key: /etc/ssh/ssh_host_ecdsa_key
    Could not load host key: /etc/ssh/ssh_host_ed25519_key

    則，執行以下操作後重新啟動：
    sudo cp ~/.ssh/id_rsa /etc/ssh/ssh_host_rsa
    sudo cp ~/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa.pub

    啟動後通過ps -ef | grep ssh檢查ssh服務是否存在
    b.檢查是否存在以下檔案，且authorized_keys 中包含id_rsa.pub中的內容
    ~/.ssh/id_rsa.pub
    ~/.ssh/id_rsa
    ~/.ssh/authorized_keys

    若沒有id_rsa.*檔案，則執行以下操作：
    ssh-keygen -t rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys

  2. 修改/etc/hosts檔案(可選)
    新增本機ip到localhost的對映(sudo vim /etc/hosts)，如下所示：
    xx.xx.xx.xx localhost
    這一步是為了可以使用形如：hdfs://xx.xx.xx.xx:9000/file/path的格式訪問hdfs，否則只能使用localhost。
  3. 下載hadoop-2.7.6安裝包，解壓到~/tools/hadoop-2.7.6；

  4. 修改配置
    a.etc/hadoop/core-site.xml中新增如下配置：
    xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

    b.etc/hadoop/hdfs-site.xml中新增如下配置：
    xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </configuration>

    以上為hdfs相關配置，若要使用yarn，還需進行以下配置
    c.拷貝etc/hadoop/mapred-site.xml.template到etc/hadoop/mapred-site.xml並新增如下配置：
    xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

    d.etc/hadoop/yarn-site.xml中新增如下配置：
    xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

    注：預設儲存路徑為/tmp/hadoop-<username>/，可以通過配置 “dfs.namenode.name.dir”、 “dfs.datanode.data.dir” 顯式指定，參考文件；

  5. 啟動服務
    a.格式化namenode
    ./bin/hdfs namenode -format

    b.啟動HDFS
    ./sbin/start-dfs.sh
    c.若要啟用歷史任務服務，執行以下命令：
    ./sbin/mr-jobhistory-daemon.sh start historyserver

    d.若要使用yarn，執行以下命令
    ./sbin/start-yarn.sh

    啟動後通過jps命令檢視啟動的服務，應包含：DataNode、NameNode、SecondaryNameNode(若啟動了yarn，還包括：NodeManager、ResourceManager；若啟動了歷史服務，還包括：JobHistoryServer)；

  6. 通過以下網址檢視服務狀態
    a.歷史任務：http://localhost:19888/
    b.叢集狀態：http://localhost:8088/
    c.NameNode狀態：http://localhost:50070/

  7. 測試
    通過以下命令測試hdfs是否可用：
    ./bin/hadoop fs -ls /
    ./bin/hadoop fs -ls hdfs://localhost:9000/
    ./bin/hadoop fs -ls hdfs://xx.xx.xxx.xxx:9000/
    ./bin/hdfs dfs -ls /
    ./bin/hdfs dfs -ls hdfs://localhost:9000/
    ./bin/hdfs dfs -ls hdfs://xx.xx.xxx.xxx:9000/

    若服務可用，需要建立以下目錄：
    hdfs://localhost:9000/user/<username>

  8. 停止服務
    可將以下命令寫入stop.sh批量執行：
    ./sbin/stop-dfs.sh
    ./sbin/stop-yarn.sh
    ./sbin/mr-jobhistory-daemon.sh stop historyserver

注：若配置了yarn(4.c)，則官網中下面的例子是無法成功執行的；若只配置了hdfs(4.a，4.b)，是沒有問題的：

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output `dfs[a-z.]+`

參考文件：官方文件

相關文章