### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 搭建spark和hdfs的叢集環境會消耗一些時間和精力，處於學習和開發階段的同學關注的是spark應用的開發，他們希望整個環境能快速搭建好，從而儘快投入編碼和除錯，今天我們們就藉助docker，極速搭建和體驗spark和hdfs的叢集環境；

### 實戰環境資訊
- 以下是本次實戰涉及的版本號：
1. 作業系統：CentOS7
2. hadoop：2.8
3. spark：2.3
4. docker：17.03.2-ce
5. docker-compose：1.23.2

### 極速搭建spark叢集(含hdfs叢集)
- 在CentOS7機器上建一個資料夾(例如**test**)，進入此資料夾；
- 在新建的資料夾內執行如下命令，即可搭建好spark和hdfs叢集：

```shell
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/docker-compose.yml \
&& wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/hadoop.env \
&& docker-compose up -d
```
**沒錯，執行上面的命令就夠了，只要靜候命令執行完成，整個spark和hdfs叢集環境就搭建好了；**

### 檢視環境
- 接下來檢查一下整個環境是否正常，假設當前CentOS電腦的IP地址是**192.168.1.101**

- 用瀏覽器檢視hdfs，如下圖，可見有三個DataNode，地址是：http://192.168.1.101:50070
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190210005221784.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 用瀏覽器檢視spark，如下圖，可見只有一個worker，地址是：http://192.168.1.101:8080
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190210005443820.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 注意：spark的worker數量，以及worker記憶體的分配，都可以透過修改docker-compose.yml檔案來調整；

### 準備實戰資料
- 登入CentOS7電腦，在剛才執行命令的目錄下，發現多了幾個資料夾，如下所示，注意**input_files**和**jars**這兩個，稍後會用到：

```shell
[root@hedy 009]# ls -al
總用量 8
drwxr-xr-x.  6 root root  105 2月  10 00:47 .
drwxr-xr-x. 10 root root   94 2月  10 00:47 ..
drwxr-xr-x.  4 root root   34 2月  10 00:47 conf
drwxr-xr-x.  2 root root    6 2月  10 00:47 data
-rw-r--r--.  1 root root 3046 2月  10 00:47 docker-compose.yml
-rw-r--r--.  1 root root 1189 2月  10 00:47 hadoop.env
drwxr-xr-x.  2 root root    6 2月  10 00:47 input_files
drwxr-xr-x.  2 root root    6 2月  10 00:47 jars
```

- 稍後的實戰是經典的WordCount，也就是將指定文字中的單詞出現次數統計出來，因此要先準備一個文字檔案，我這裡在網上找了個英文版的《亂世佳人》，檔名為**GoneWiththeWind.txt**，讀者您請自行準備一個英文的txt檔案，放入**input_files**資料夾中；

- 執行以下命令，即可在hdfs上建立**/input**資料夾，再將GoneWiththeWind.txt上傳到此資料夾中：

```shell
docker exec namenode hdfs dfs -mkdir /input \
&& docker exec namenode hdfs dfs -put /input_files/GoneWiththeWind.txt /input
```

- 您可能會有疑問：txt檔案在宿主機上，hdfs是docker容器，怎麼能上傳上去呢？您看過docker-compose.yml就會發現，宿主機的input_files目錄已經掛載到namenode容器上了，所以上面的命令其實就是將容器內的檔案上傳到hdfs上去；

- 用瀏覽器檢視hdfs，如下圖，可見txt檔案已經上傳到hdfs上：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190210011125121.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### spark_shell實戰WordCount
- 在CentOS電腦的命令列輸入以下命令，即可建立一個spark_shell：

```shell
docker exec -it master spark-shell --executor-memory 512M --total-executor-cores 2
```

- 如下所示，已經進入了spark_shell的對話模式：

```shell
[root@hedy ~]# docker exec -it master spark-shell --executor-memory 512M --total-executor-cores 2
2019-02-09 17:13:44 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://localhost:4040
Spark context available as 'sc' (master = spark://master:7077, app id = app-20190209171354-0000).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.0
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_131)
Type in expressions to have them evaluated.
Type :help for more information.

scala>
```

- 繼續輸入以下命令，也就是scala版的WordCount：

```shell
sc.textFile("hdfs://namenode:8020/input/GoneWiththeWind.txt").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).sortBy(_._2,false).take(10).foreach(println)
```

- 稍後控制檯就會輸出整個txt中出現次數最多的十個單詞，以及對應的出現次數，如下：

```shell
scala> sc.textFile("hdfs://namenode:8020/input/GoneWiththeWind.txt").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).sortBy(_._2,false).take(10).foreach(println)
(the,18264)                                                                     
(and,14150)
(to,10020)
(of,8615)
(a,7571)
(her,7086)
(she,6217)
(was,5912)
(in,5751)
(had,4502)

scala>
```

- 用瀏覽器檢視spark，如下圖，可見任務正在執行中(因為shell還沒有退出)，地址是：http://192.168.1.101:8080

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190210012035211.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 輸入Ctrl+c，退出shell，釋放資源；

- 至此，spark_shell的實戰就完成了，如果您是位java開發者，請接著往下看，我們們一起來實戰java版spark應用的提交執行；

### java實戰WordCount
- 關於接下來的java版的WordCount，本文直接將jar下載下來用，而這個jar對應的原始碼以及開發過程，請參考文章[《第一個spark應用開發詳解(java版)》](https://blog.csdn.net/boling_cavalry/article/details/86776746)

- 在docker-compose.yml檔案所在目錄下，有個**jars**目錄，進入此目錄執行以下命令，就會將實戰用到的jar檔案下載到**jars**目錄：
```shell
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/sparkwordcount-1.0-SNAPSHOT.jar
```

- 執行以下命令，即可向spark提交java應用執行：

```shell
docker exec -it master spark-submit \
--class com.bolingcavalry.sparkwordcount.WordCount \
--executor-memory 512m \
--total-executor-cores 2 \
/root/jars/sparkwordcount-1.0-SNAPSHOT.jar \
namenode \
8020 \
GoneWiththeWind.txt
```

- 任務執行過程中，控制檯會輸出大量資訊，其中有類似以下的內容，就是統計結果：

```shell
2019-02-09 17:30:32 INFO  WordCount:90 - top 10 word :
the	18264
and	14150
to	10020
of	8615
a	7571
her	7086
she	6217
was	5912
in	5751
had	4502
```

- 用瀏覽器檢視hdfs，如下圖，可見**/output**目錄下建立了一個子資料夾20190209173023，這個資料夾下有兩個檔案，其中名為part-00000的就是本次實戰輸出的結果：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190210013533801.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在hdfs的網頁上看見/output目錄下的子資料夾名稱為20190209173023，因此執行以下命令，即可在控制檯看到part-00000檔案的內容：
```shell
docker exec namenode hdfs dfs -cat /output/20190209173023/part-00000
```

- 看到的part-00000的內容如下：
```shell
[root@hedy jars]# docker exec namenode hdfs dfs -cat /output/20190209173023/part-00000
(18264,the)
(14150,and)
(10020,to)
(8615,of)
(7571,a)
(7086,her)
(6217,she)
(5912,was)
(5751,in)
(4502,had)
```

- 以上就是極速搭建spark叢集的實戰，雖然操作簡單，但是整個環境存在以下幾處瑕疵：
1. 只有一個worker，並行執行能力較差；
2. hdfs容器的磁碟空間是在docker的安裝路徑下分配的，遇到大檔案時容器將系統空間佔滿；
3. spark master的4040埠沒有開放，無法觀察應用執行的情況；
4. worker的8080埠都沒有開放， 無法觀察worker的執行情況，也不能檢視業務執行日誌；

- 針對上述問題，我對docker-compose.yml做了改進，您可以執行以下命令快速搭建整個叢集環境，要注意的是下面的命令會啟動6個worker，比較消耗記憶體，如果您的電腦記憶體低於10G，很可能啟動容器失敗，此時建議您開啟docker-compose.yml檔案，對worker的配置做適當刪減：

```shell
wget https://raw.githubusercontent.com/zq2599/blog_demos/master/files/sparkcluster/docker-compose.yml \
&& wget https://raw.githubusercontent.com/zq2599/blog_demos/master/sparkdockercomposefiles/hadoop.env \
&& docker-compose up -d
```

- 如果您想了解更多最佳化的細節，例如磁碟如何調整，master和worker開放的web埠如何訪問，請參考[《docker下的spark叢集，調整引數榨乾硬體》](https://blog.csdn.net/boling_cavalry/article/details/87438666)；

- 至此，docker下的spark叢集的搭建和體驗我們都快速完成了，希望此文能助您快速搭建環境，聚焦業務開發；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

docker下，極速搭建spark叢集(含hdfs叢集)

相關文章