Hadoop偽分散式環境-歷史伺服器、日記聚集 第二篇

前情概述

linux下偽分散式的搭建，hdfs和yarn可以看前面hadoop第一篇，本文配置在第一篇的基礎上實現。

配置歷史伺服器

配置mapred-site.xml

	/opt/module/hadoop/etc/hadoop
	vim mapred-site.xml
	在該檔案裡面增加如下配置。
	<!-- 歷史伺服器端地址 -->
	<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop102:10020</value>
	</property>
	<!-- 歷史伺服器web端地址 -->
	<property>
	    <name>mapreduce.jobhistory.webapp.address</name>
	    <value>hadoop102:19888</value>
	</property>

啟動歷史伺服器

mr-jobhistory-daemon.sh start historyserver

檢視歷史伺服器是否啟動

[cgd@hadoop102 hadoop]$ jps
2576 SecondaryNameNode
2258 DataNode
72291 ResourceManager
94596 Jps
72488 NodeManager
94507 JobHistoryServer
1885 NameNode

檢視JobHistory web

http://hadoop102:19888

配置日誌的聚集

前言

	將程式執行日誌資訊上傳到HDFS
	便於檢視程式執行資訊

配置yarn-site.xml

<!-- 日誌聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

		<!-- 日誌保留時間設定7天 單位：s秒 -->
		<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
		</property>
		 <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>20480</value>
       </property>
       <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                 <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

關閉NodeManager 、ResourceManager和HistoryServer

stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver

啟動NodeManager 、ResourceManager和HistoryServer

start-yarn.sh
mr-jobhistory-daemon.sh start historyserver

執行WordCount程式

hadoop jar ../../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /data/input /data/output

web端檢視日誌

http://hadoop102:19888

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200928132821778.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1ODQ5NTIz,size_16,color_FFFFFF,t_70#pic_center