18【線上日誌分析】之Spark on Yarn配置日誌Web UI(HistoryServer服務)
1.進入spark目錄和配置檔案
[root@sht-sgmhadoopnn-01 ~]# cd /root/learnproject/app/spark/conf
[root@sht-sgmhadoopnn-01 conf]# cp spark-defaults.conf.template spark-defaults.conf
2.建立spark-history的儲存日誌路徑為hdfs上(當然也可以在linux檔案系統上)
[root@sht-sgmhadoopnn-01 conf]# hdfs dfs -ls /
Found 3 items
drwxr-xr-x - root root 0 2017-02-14 12:43 /spark
drwxrwx--- - root root 0 2017-02-14 12:58 /tmp
drwxr-xr-x - root root 0 2017-02-14 12:58 /user
You have new mail in /var/spool/mail/root
[root@sht-sgmhadoopnn-01 conf]# hdfs dfs -ls /spark
Found 1 items
drwxrwxrwx - root root 0 2017-02-15 21:44 /spark/checkpointdata
[root@sht-sgmhadoopnn-01 conf]# hdfs dfs -mkdir /spark/historylog
#在HDFS中建立一個目錄,用於儲存Spark執行日誌資訊。Spark History Server從此目錄中讀取日誌資訊
3.配置
[root@sht-sgmhadoopnn-01 conf]# vi spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.compress true
spark.eventLog.dir hdfs://nameservice1/spark/historylog
spark.yarn.historyServer.address 172.16.101.55:18080
#spark.eventLog.dir儲存日誌相關資訊的路徑,可以是hdfs://開頭的HDFS路徑,也可以是file://開頭的本地路徑,都需要提前建立
#spark.yarn.historyServer.address : Spark history server的地址(不加http://).
這個地址會在Spark應用程式完成後提交給YARN RM,然後可以在RM UI上點選連結跳轉到history server UI上.
4.新增SPARK_HISTORY_OPTS引數
[root@sht-sgmhadoopnn-01 conf]# vi spark-env.sh
#!/usr/bin/env bash
export SCALA_HOME=/root/learnproject/app/scala
export JAVA_HOME=/usr/java/jdk1.8.0_111
export SPARK_MASTER_IP=172.16.101.55
export SPARK_WORKER_MEMORY=1g
export SPARK_PID_DIR=/root/learnproject/app/pid
export HADOOP_CONF_DIR=/root/learnproject/app/hadoop/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
-Dspark.history.ui.port=18080 \
-Dspark.history.retainedApplications=20"
5.啟動服務和檢視
[root@sht-sgmhadoopnn-01 spark]# ./sbin/start-history-server.sh
starting org.apache.spark.deploy.history.HistoryServer, logging to /root/learnproject/app/spark/logs/spark-root-org.apache.spark.deploy.history.HistoryServer-1-sht-sgmhadoopnn-01.out
[root@sht-sgmhadoopnn-01 ~]# jps
28905 HistoryServer
30407 ProdServerStart
30373 ResourceManager
30957 NameNode
16949 Jps
30280 DFSZKFailoverController
31445 JobHistoryServer
[root@sht-sgmhadoopnn-01 ~]# ps -ef|grep spark
root 17283 16928 0 21:42 pts/2 00:00:00 grep spark
root 28905 1 0 Feb16 ? 00:09:11 /usr/java/jdk1.8.0_111/bin/java -cp /root/learnproject/app/spark/conf/:/root/learnproject/app/spark/jars/*:/root/learnproject/app/hadoop/etc/hadoop/ -Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog -Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=20 -Xmx1g org.apache.spark.deploy.history.HistoryServer
You have new mail in /var/spool/mail/root
[root@sht-sgmhadoopnn-01 ~]# netstat -nlp|grep 28905
tcp 0 0 0.0.0.0:18080 0.0.0.0:* LISTEN 28905/java
[root@sht-sgmhadoopnn-01 ~]#
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/30089851/viewspace-2133897/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- YARN的日誌聚集配置使用Yarn
- 【REDO】Oracle 日誌挖掘,分析歸檔日誌線上日誌主要步驟Oracle
- 日誌服務之使用Nginx模式採集日誌Nginx模式
- 16【線上日誌分析】之grafana-4.1.1 Install和新建日誌分析的DashBoardGrafana
- 19【線上日誌分析】之sparkdemo.jar執行在yarn上過程SparkJARYarn
- 日誌服務
- awstats分析web日誌Web
- 日誌服務之告警接入與管理
- web攻擊日誌分析之新手指南Web
- 日誌分析-apache日誌分析Apache
- oracle效能調優:管理oracle日誌之調整線上日誌檔案Oracle
- 20【線上日誌分析】之記錄一次Spark Streaming+Spark SQL的資料傾斜SparkSQL
- mysql之 日誌體系(錯誤日誌、查詢日誌、二進位制日誌、事務日誌、中繼日誌)MySql中繼
- 24【線上日誌分析】之Tomcat的支援log4j,日誌輸出為json格式TomcatJSON
- 23【線上日誌分析】之改造CDH的HDFS的NN,DN程式,日誌輸出為json格式JSON
- 日誌服務之資料清洗與入湖
- 10【線上日誌分析】之基於Spark Streaming開發OnLineLogAanlysis1Spark
- 日誌服務 HarmonyOS NEXT 日誌採集最佳實踐
- 重新整理 .net core 實踐篇—————日誌系統之服務與日誌之間[十六]
- 【ElasticSearch】 使用AWS雲ES服務來分析程式日誌Elasticsearch
- 06【線上日誌分析】之KafkaOffsetMonitor監控工具的搭建Kafka
- Spark UI (基於Yarn) 分析與定製SparkUIYarn
- 03【線上日誌分析】之hadoop-2.7.3編譯和搭建叢集環境(HDFS HA,Yarn HA)Hadoop編譯Yarn
- 節點2線上日誌生成歸檔日誌在節點1上的初步分析
- 日誌服務資料匯入
- Linux日誌服務初識Linux
- [日誌分析篇]-利用ELK分析jumpserver日誌-日誌拆分篇Server
- 日誌服務之敏感資訊脫敏與審計
- 日誌配置
- Spark SQL:實現日誌離線批處理SparkSQL
- 日誌服務之分析使用者訪問行為
- 09【線上日誌分析】之基於Spark Streaming Direct方式的WordCount最詳細案例(java版)SparkJava
- <Zhuuu_ZZ>Spark專案之log日誌資料分析處理Spark
- mysql 日誌之錯誤日誌MySql
- 終止oracle日誌分析事務Oracle
- Apche日誌系列(4):日誌分析(轉)
- 搭建node服務(1):日誌處理
- Oracle 線上日誌管理Oracle