YARN的日誌聚集配置使用
修改yarn-site.xml檔案
說明：修改路徑$hadoop/etc/hadoop下的yarn-site.xml。新增兩個屬性並儲存上傳伺服器。
屬性1：表示在yanr上開啟聚合日誌服務。屬性2：表示聚合日誌在伺服器上的存留時間。
2、關掉Yarn的resourcemanager服務
3、關掉Yarn的nodemanager服務
3、關掉MapReduce歷史任務服務
4.啟動resourcemanager、nodemanager 、historyserver
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
5、計算/user/beifeng/mapreduce/wordcount/*下檔案單詞出現的次數
image.png
6、檢視聚集日誌
相關文章
- 【Hadoop篇04】Hadoop配置日誌聚集Hadoop
- hadoop配置歷史伺服器&&配置日誌聚集Hadoop伺服器
- 18【線上日誌分析】之Spark on Yarn配置日誌Web UI(HistoryServer服務)SparkYarnWebUIServer
- 日誌配置
- 使用logrotate配置日誌輪詢logrotate
- Apach的配置和日誌
- Nginx日誌配置Nginx
- Django日誌配置Django
- python日誌配置Python
- nginx日誌切割配置Nginx
- 使用聚集索引和非聚集索引的區別索引
- django開發-log日誌的配置Django
- 日誌log4j的配置
- MySQLSlowlog慢查詢日誌的配置以及清空日誌內容MySql
- Spring Boot日誌配置Spring Boot
- Django（37）配置django日誌Django
- 39,日誌列印sql 配置SQL
- Mabatis配置錯誤日誌BAT
- Nginx日誌配置詳解Nginx
- mybatis列印sql日誌配置MyBatisSQL
- PostgreSQL歸檔日誌配置SQL
- 使用配置檔案方式記錄Python程式日誌Python
- python日誌記錄器的配置Python
- Beego（簡介、配置、路由、日誌）Go路由
- mysql5.7 慢日誌配置MySql
- feign配置日誌不列印
- MySQL InnoDB日誌檔案配置MySql
- SQL Server 日誌傳送配置SQLServer
- FeignClient配置日誌訪問client
- yarn記憶體配置Yarn記憶體
- 日誌服務之使用Nginx模式採集日誌Nginx模式
- MySQL日誌引數配置簡介MySql
- Apache基礎配置與日誌管理Apache
- java專案日誌配置檔案Java
- MySQL資料庫中的日誌檔案---(4)配置日誌檔案輸出路徑MySql資料庫
- SLF4J日誌的使用
- 使用 .NET Core 的日誌記錄
- ELK日誌系統之使用Rsyslog快速方便的收集Nginx日誌Nginx