hadoop配置歷史伺服器&&配置日誌聚集
配置歷史伺服器
1、在mapred-site.xml中寫入一下配置
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>
2、檢視啟動歷史伺服器檔案目錄
在Hadoop安裝目錄中的sbin中有mr-jobhistory-daemon.sh命令
3、啟動歷史伺服器
mr-jobhistory-daemon.sh start historyserver
4、檢視歷史伺服器是否啟動jps是否有historymanager程式
5、檢視 jobhistory
http://192.168.1.101:19888/jobhistory
配置日誌聚集
1、配置yarn-site.xml檔案
<!-- 日誌聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌保留時間設定 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2、關閉nodemanager、resourcemanager、historymanager
yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop nodemanager
mr-jobhistory-daemon.sh stop historyserver
3、啟動nodemanager、resourcemanager、historymanager
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver
相關文章
- 【Hadoop篇04】Hadoop配置日誌聚集Hadoop
- Spark歷史日誌伺服器開啟及配置Spark伺服器
- YARN的日誌聚集配置使用Yarn
- Hadoop偽分散式環境-歷史伺服器、日記聚集 第二篇Hadoop分散式伺服器
- 日誌配置
- Java日誌框架演化歷史Java框架
- python日誌配置Python
- Nginx日誌配置Nginx
- Django日誌配置Django
- Apache 配置日誌切割Apache
- Spring Boot日誌配置Spring Boot
- 【Spring】日誌列印sql,日誌配置列印sqlSpringSQL
- 39,日誌列印sql 配置SQL
- FeignClient配置日誌訪問client
- Spring Boot logback日誌配置Spring Boot
- feign配置日誌不列印
- .netcore console 日誌和配置NetCore
- Nginx日誌配置詳解Nginx
- Django(37)配置django日誌Django
- Mabatis配置錯誤日誌BAT
- Apach的配置和日誌
- spark問題hadoop歷史伺服器hadoop102:19888訪問不了SparkHadoop伺服器
- springboot logback配置mybatis 日誌以及多環境配置Spring BootMyBatis
- Beego(簡介、配置、路由、日誌)Go路由
- mysql5.7 慢日誌配置MySql
- 使用logrotate配置日誌輪詢logrotate
- SpringBoot多環境日誌配置Spring Boot
- MySQL InnoDB日誌檔案配置MySql
- docker配置歷史版本的selenium+chrome+chromedriverDockerChrome
- 批量匯入歷史檔案到日誌服務
- hadoop 部署配置Hadoop
- django開發-log日誌的配置Django
- MySQL日誌引數配置簡介MySql
- java專案日誌配置檔案Java
- nginx1.24配置logrotate日誌切割Nginxlogrotate
- Logstash 配置Java日誌格式的方法Java
- Spring Boot日誌的使用和配置Spring Boot
- python日誌記錄器的配置Python