Hadoop 及Spark 分散式HA執行環境搭建

作者：京東物流 秦彪

工欲善其事必先利其器，在深入學習大資料相關技術之前，先手動從0到1搭建一個屬於自己的本地Hadoop和Spark執行環境，對於繼續研究大資料生態圈各類技術具有重要意義。本文旨在站在研發的角度上透過手動實踐搭建執行環境，文中不拖泥帶水過多講述基礎知識，結合Hadoop和Spark最新版本，幫助大家跟著步驟一步步實踐環境搭建。

1. 總體執行環境概覽

（1） 軟體包及使用工具版本介紹表：

（2）環境部署與分佈介紹表：

（3）程式介紹：（1表示程式存在，0表示不存在）

2. 系統基礎環境準備

步驟1： 虛擬機器中Linux系統安裝（略）

VirtualBox中安裝CentOS7作業系統

步驟2： CentOS7基礎配置

（1） 配置主機的hostname

命令： vim/etc/hostname

（2） 配置hosts， 命令vim /etc/hosts

（3） 安裝JDK

命令：

rpm -qa | grep java 檢視是否有透過rpm方式安裝的java

java -version 檢視當前環境變數下的java 版本

1） filezilla上傳安裝包，tar -zxvf
jdk-8u212-linux-x64.tar.gz 解壓

2） bin目錄的完整路徑：
/usr/local/jdk/jdk1.8.0_212/bin

3） vim /etc/profile 配置jdk環境變數

（4） 複製主機：

1）利用VirtualBox複製功能複製兩臺主機

2）命令：vi
/etc/sysconfig/network-scripts/ifcfg-eth0，設定相應的網路資訊

3）三臺主機IP分別為： 192.168.0.20/21/22

（5） 配置三臺主機ssh無密碼登入（略）

（6） 安裝zookeeper

1） filezilla上傳安裝包，zookeeper-3.4.10.tar.gz 解壓

2） bin目錄的完整路徑：
/usr/local/zookeeper/zookeeper-3.4.10/bin

3） vim /etc/profile 配置jdk環境變數

4） zookeeper的配置檔案修改，zookeeper-3.4.10/conf/

5） 執行命令從master節點複製配置到其他兩個節點

6） 每臺機器zookeeper目錄下新建一個data目錄， data目錄下新建一個myid檔案，master主機存放標識值1；slave1主機標識值為2；slave3主機標識值為3

7） 每臺機器上命令：zkServer.sh start ，啟動ZK，程式名：QuorumPeerMain

3. Hadoop安裝與部署

3.1安裝Hadoop

1）filezilla上傳安裝包，hadoop-3.3.4.tar.gz 解壓

2）bin目錄的完整路徑： /usr/local/hadoop/hadoop-3.3.4/bin

3）vim /etc/profile 配置jdk環境變數

4） 修改配置檔案共6個： hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和workers

檔案1： hadoop-env.sh； 增加jdk環境變數

檔案2： core-site.xml； 配置臨時目錄及zookeeper資訊

檔案3： hdfs-site.xml； 配置hdfs資訊

檔案4： mapred-site.xml； 配置mapreduce和dfs許可權資訊

檔案5： yarn-site.xml； 配置yarn資源排程資訊

檔案6: worker檔案存放當前的worker節點名，複製到每一個虛擬機器中

3.2啟動Hadoop

1） 使用命令： hadoop-daemon.sh start journalnode 啟動journalnode 程式（每個節點執行）

2） 使用命令： hadoop-daemon.sh start namenode 啟動namenode 程式（master、slave1節點上執行）

3） 使用命令：hadoop-daemon.sh start datanode 在所有節點上啟動datanode 程式

4） 使用命令：start-yarn.sh 在master上啟動yarn

5） 使用命令： hdfs zkfc -formatZK 在ZK上生成ha節點

6） 使用命令： hadoop-daemon.sh start zkfc 啟動 DFSZKFailoverController程式，在master節點執行

a. 訪問HDFS的管理頁面

http://192.168.0.20:50070此處192.168.0.20為namenode節點的Active節點

http://192.168.0.21:50070 此處192.168.0.20為namenode節點的standby節點

3.3 驗證HDFS使用

使用命令：hdfs dfs -ls / 檢視HDFS中檔案

使用命令：hdfs dfs -mkdir /input 在HDFS上建立目錄

使用命令：hdfs dfs -put ./test.txt /input 將本地檔案上傳到HDFS指定目錄

使用命令：hdfs dfs -get /input/test.txt ./tmp 將HDFS檔案複製到本地目錄

使用命令：hdfs dfs -text /input/test.txt 檢視HDFS上的文字檔案

web端瀏覽HDFS目錄

3.4 驗證MapReduce的wordcount案例

（1）先透過命令將帶有文字內容的test2.txt檔案上傳到HDFS

（2）對HDFS上test2.txt檔案執行wordcount統計，結果放回HDFS新目錄，命令：

hadoop jar /usr/local/hadoop/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input/test2.txt /out

4. Spark安裝與部署

4.1安裝Scala

（1）安裝scala

上傳scala壓縮包解壓，使用命令：

scala -version 檢視當前環境變數下的scala 版本

（2）複製scala目錄和環境變數到其他兩臺機器

使用命令：

scp -r /usr/local/scala root@slave1:/usr/local/

scp /etc/profile root@slave1:/etc/profile

4.2安裝Spark

（1）上傳spark壓縮包解壓，修改配置檔案

命令： vim
/usr/local/spark/spark-3.3.1/conf/spark-env.sh

（2） 新建worker目錄，寫入master機器名稱

4.3啟動Spark

（1）在master的spark安裝目錄下啟動spark

命令：

cd /usr/local/spark/spark-3.3.1/sbin

./start-all.sh

（2）在slave1同樣目錄啟動master程式

命令：./start-master.sh

（3）訪問spark管理頁面ui

4.4 驗證Spark的wordcount案例

（1）執行命令：

cd /usr/local/spark/spark-3.3.1/bin

./spark-shell --master spark://master:7077

（3）從HDFS讀取資料執行自定義wordcount程式碼，結果寫入HDFS，命令：

sc.textFile("hdfs://master:9000/input/test2.txt").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).map(pair=>(pair.\_2,pair.\_1)).sortByKey(false).map(pair=>(pair.\_2,pair.\_1)).saveAsTextFile("hdfs://master:9000/spark_out")

（4）輸出結果：

5. 後記

大資料技術日新月異，得益於網際網路技術加持下的商業和工業模式變革。人們日益增長的對生活生產便捷性、數字化、智慧化的需求，催生了資料爆炸式的增長，推動了大資料技術推陳出新。作為新時代的程式開發者，必須掌握一定的大資料基礎知識才能適應時代的要求，本文只是一個引子，從自身實踐的角度幫助初學者認識大資料，並基於此搭建自己屬於自己的開發環境，希望大家能夠在此基礎上繼續鑽研有所建樹。