hadoop配置歷史伺服器&&配置日誌聚集

配置歷史伺服器

1、在mapred-site.xml中寫入一下配置

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>

2、檢視啟動歷史伺服器檔案目錄

在Hadoop安裝目錄中的sbin中有mr-jobhistory-daemon.sh命令

3、啟動歷史伺服器

mr-jobhistory-daemon.sh start historyserver

4、檢視歷史伺服器是否啟動jps是否有historymanager程式

5、檢視 jobhistory

http://192.168.1.101:19888/jobhistory

---

配置日誌聚集

1、配置yarn-site.xml檔案

<!-- 日誌聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌保留時間設定 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

2、關閉nodemanager、resourcemanager、historymanager

yarn-daemon.sh stop resourcemanager

yarn-daemon.sh stop nodemanager

mr-jobhistory-daemon.sh stop historyserver

3、啟動nodemanager、resourcemanager、historymanager

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

mr-jobhistory-daemon.sh start historyserver