### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 在學習Spark的過程中，檢視任務的DAG、stage、task等詳細資訊是學習的重要手段，在此做個小結；
### 環境資訊
- 本文對應的環境資訊如下：
1. CentOS Linux release 7.5.1804
2. JDK：1.8.0_191
3. hadoop：2.7.7
4. spark：2.3.2
### 參考文件(準備環境用到)
- 搭建hadoop、spark、執行耗時任務，請參考以下文章：
1. 部署hadoop：[《Linux部署hadoop2.7.7叢集》](https://blog.csdn.net/boling_cavalry/article/details/86774385)；
2. on Yarn模式部署Spark叢集：[《部署Spark2.2叢集(on Yarn模式)》](https://blog.csdn.net/boling_cavalry/article/details/86795338)；
3. 開發一個比較耗時的計算任務：[《spark實戰之：分析維基百科網站統計資料(java版)》](https://blog.csdn.net/boling_cavalry/article/details/87241814)；

- 經過以上準備，我們就有了一個可以用的Spark叢集環境，並且計算任務也準備好了。
### 觀察執行時任務資訊
- 例如透過執行以下命令啟動了一個spark任務：
```shell
~/spark-2.3.2-bin-hadoop2.7/bin/spark-submit \
--class com.bolingcavalry.sparkdemo.app.WikiRank \
--executor-memory 2g \
--total-executor-cores 4 \
/home/hadoop/jars/sparkdemo-1.0-SNAPSHOT.jar \
192.168.121.150 \
8020
```
- 此時控制檯會有以下提示：
```shell
2019-10-07 11:03:54 INFO  SparkUI:54 - Bound SparkUI to 0.0.0.0, and started at http://node0:4040
```
- 此時用瀏覽器訪問master機器的4040埠，可見資訊如下圖所示，事件、DAG、stage都有：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20191007113639947.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)
- 點選上圖中stage的"Description"，即可見到該stage下的所有task資訊：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20191007113716760.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)
- job執行完成後，控制檯有以下資訊輸出，此時再訪問4040埠的webUI服務，發現已經不可訪問了：
```shell
2019-10-07 11:45:29 INFO  SparkUI:54 - Stopped Spark web UI at http://node0:4040
```
### 觀察歷史任務
- job結束後，4040埠提供的webUI服務也停止了，想回看已結束的任務資訊需要配置和啟動歷史任務資訊服務：
- 開啟配置檔案 **spark-2.3.2-bin-hadoop2.7/conf/spark-defaults.conf** ，增加以下三個配置：
```configuration
spark.eventLog.enabled true
spark.eventLog.dir hdfs://node0:8020/var/log/spark
spark.eventLog.compress true
```
- 上述配置中， **hdfs://node0:8020** 是hdfs的服務地址。

- 開啟配置檔案 **spark-env.sh** ，增加以下一個配置：
```shell
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://node0:8020/var/log/spark"
```
- 上述配置中， **hdfs://node0:8020** 是hdfs的服務地址。

- 在hdfs的namenode執行以下命令，提前建立好日誌資料夾：
```shell
~/hadoop-2.7.7/bin/hdfs dfs -mkdir -p /var/log/spark
```

- 啟動歷史任務服務：
```shell
~/spark-2.3.2-bin-hadoop2.7/sbin/start-history-server.sh
```
- 此後執行的spark任務資訊都會儲存下來，訪問master機器的18080埠，即可見到所有歷史任務的資訊，點選檢視詳情，和前面的執行時任務的內容是一樣的：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20191007115612881.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)

- 至此，執行時和歷史任務的job詳情都可以觀察到了，可以幫助我們更好的學習和研究spark。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

檢視Spark任務的詳細資訊

相關文章