### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 機器規劃
- 本次實戰用到了三臺CentOS7的機器，身份資訊如下所示：

| IP地址 | hostname(主機名) | 身份 |
|--|--|--|
| 192.168.119.163 | node0 | NameNode、ResourceManager、HistoryServer、Master|
| 192.168.119.164 | node1 | DataNode、NodeManager、Worker |
| 192.168.119.165 | node2 | DataNode、NodeManager、Worker  、SecondaryNameNode|

- 要注意的地方：
1. spark的Master和hdfs的NameNode、Yarn的ResourceManager在同一臺機器；
2. spark的Worker和hdfs的DataNode、Yarn的NodeManager在同一臺機器；

### 先部署和啟動hadoop叢集環境
- 部署spark2.2叢集on Yarn模式的前提，是先搭建好hadoop叢集環境，請參考[《Linux部署hadoop2.7.7叢集》](https://blog.51cto.com/u_13674465/5576322)一文，將hadoop叢集環境部署並啟動成功；

### 部署spark叢集
1. 本次實戰的部署方式，是先部署standalone模式的spark叢集，再做少量配置修改，即可改為on Yarn模式；
2. standalone模式的spark叢集部署，請參考[《部署spark2.2叢集(standalone模式)》](https://blog.51cto.com/u_13674465/5553440)一文，要注意的是spark叢集的master和hadoop叢集的NameNode是同一臺機器，worker和DataNode在是同一臺機器，並且建議spark和hadoop部署都用同一個賬號來進行；

### 修改配置
- 如果您已經完成了hadoop叢集和spark叢集(standalone模式)的部署，接下來只需要兩步設定即可：
- 假設hadoop的資料夾hadoop-2.7.7所在目錄為**/home/hadoop/**，開啟spark的spark-env.sh，在尾部追加一行：

```shell
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.7/etc/hadoop
```

- 開啟hadoop-2.7.7/etc/hadoop/yarn-site.xml檔案，在configuration節點中增加下面兩個子節點，如果不做以下設定，在提交spark任務的時候，yarn可能將spark任務kill掉，導致"Failed to send RPC xxxxxx"異常：

```xml
<property>
  <name>yarn.nodemanager.pmem-check-enabled</name>
  <value>false</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-check-enabled</name>
  <value>false</value>
</property>
```

- 本次實戰一共有三臺電腦，請確保在每臺電腦上都做了上述配置；

### 啟動hadoop和spark
- hadoop和spark都部署在當前賬號的家目錄下，因此啟動命令和順序如下：

```shell
~/hadoop-2.7.7/sbin/start-dfs.sh \
&& ~/hadoop-2.7.7/sbin/start-yarn.sh \
&& ~/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh start historyserver \
&& ~/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh
```

### 驗證spark
- 在hdfs建立一個目錄用於儲存輸入檔案：

```shell
~/hadoop-2.7.7/bin/hdfs dfs -mkdir /input
```

- 準備一個txt檔案(我這裡是GoneWiththeWind.txt)，提交到hdfs的/input目錄下：

```shell
~/hadoop-2.7.7/bin/hdfs dfs -put ~/GoneWiththeWind.txt /input
```

- 以client模式啟動spark-shell

```shell
~/spark-2.3.2-bin-hadoop2.7/bin/spark-shell --master yarn --deploy-mode client
```

- 以下資訊表示啟動成功：

```shell
2019-02-09 10:13:09 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
2019-02-09 10:13:15 WARN  Client:66 - Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
Spark context Web UI available at http://node0:4040
Spark context available as 'sc' (master = yarn, app id = application_1549678248927_0001).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.2
      /_/
         
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_191)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 
```

- 輸入以下內容，即可統計之前提交的txt檔案中的單詞出現次數，然後將前十名列印出來：

```shell
sc.textFile("hdfs://node0:8020/input/GoneWiththeWind.txt").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).sortBy(_._2,false).take(10).foreach(println)
```

- 控制檯輸出如下，可見任務執行成功：

```shell
scala> sc.textFile("hdfs://node0:8020/input/GoneWiththeWind.txt").flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _).sortBy(_._2,false).take(10).foreach(println)
(the,18264)                                                                     
(and,14150)
(to,10020)
(of,8615)
(a,7571)
(her,7086)
(she,6217)
(was,5912)
(in,5751)
(had,4502)
```

- 在網頁上檢視yarn資訊，如下圖：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190209111753820.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### java版本的任務提交
- 如果您的開發語言是java，請將應用編譯構建為jar包，然後執行以下命令，就會以client模式提交任務到yarn：

```shell
~/spark-2.3.2-bin-hadoop2.7/bin/spark-submit \
--master yarn \
--deploy-mode client \
--class com.bolingcavalry.sparkwordcount.WordCount \
--executor-memory 512m \
--total-executor-cores 2 \
~/jars/sparkwordcount-1.0-SNAPSHOT.jar \
192.168.119.163 \
8020 \
GoneWiththeWind.txt
```

- 上述命令的最後三個引數是WorkCount類執行時需要用到的引數，該應用的詳情請參考[《第一個spark應用開發詳解(java版)》](https://blog.51cto.com/u_13674465/5569399);

### 停止hadoop和spark
- 如果需要停止hadoop和spark服務，命令和順序如下：

```shell
~/spark-2.3.2-bin-hadoop2.7/sbin/stop-all.sh \
&& ~/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh stop historyserver \
&& ~/hadoop-2.7.7/sbin/stop-yarn.sh \
&& ~/hadoop-2.7.7/sbin/stop-dfs.sh
```

- 至此，Spark on Yarn模式的叢集部署和驗證已經完成，希望能夠帶給您一些參考；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

部署Spark2.2叢集(on Yarn模式)

相關文章