​ 成長這一路就是懂得閉嘴努力，知道低調謙遜，學會強大自己，在每一個值得珍惜的日子裡，拼命去成為自己想成為的人

Hadoop配置日誌聚集

應用場景

為了讓應用執行完成以後，將程式執行日誌資訊上傳到HDFS系統上，有了日誌之後就可以檢視程式中的報錯資訊，從而除錯程式

配置步驟

1.配置yarn-site.xml

<!-- 日誌聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 日誌保留時間設定7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

2.重啟叢集

sbin/stop-yarn.sh
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

3.執行程式

上傳資料到HDFS

賦給檔案許可權

執行程式

檢視執行結果

4.檢視日誌

本文配套GitHub：https://github.com/zhutiansama/FocusBigData