虛擬機器Hadoop叢集搭建5安裝Hadoop

部分圖片來源於黑馬程式設計師

第二步：修改配置檔案（注意所有配置檔案編碼都要是utf-8）

用ultraEdit遠端編輯
<configuration>
	<!--  指定叢集的檔案系統型別:分散式檔案系統 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:8020</value>
	</property>
	<!--  指定臨時檔案儲存目錄 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.10.1/hadoopDatas/tempDatas</value>
	</property>
	<!--  緩衝區大小，實際工作中根據伺服器效能動態調整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  開啟hdfs的垃圾桶機制，刪除掉的資料可以從垃圾桶中回收，單位分鐘 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

hdfs-site.xml
<configuration>

	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<!-- 指定namenode的訪問地址和埠 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<!-- 指定namenode後設資料的存放位置 ，指定了兩個位置-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.10.1/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.10.1/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定義dataNode資料儲存的節點位置，實際工作中，一般先確定磁碟的掛載目錄，然後多個目錄用，進行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.10.1/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.10.1/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<!-- 指定namenode日誌檔案的存放目錄 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.10.1/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.10.1/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.10.1/hadoopDatas/dfs/snn/edits</value>
	</property>
	<!-- 檔案切片的副本個數-->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>

	<!-- 設定HDFS的檔案許可權-->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

	<!-- 設定一個檔案切片的大小：128M-->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

hadoop-env.sh
新增
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64


```修改mapred-site.xml
<configuration>
	<!-- 指定分散式計算使用的框架是yarn -->
	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
	</property>

	<!-- 開啟MapReduce小任務模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 設定歷史任務的主機和埠 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<!-- 設定網頁訪問歷史任務的主機和埠 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>
配置yarn-site.xml
<configuration>
	<!-- 配置yarn主節點的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 開啟日誌聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 設定聚合日誌在hdfs上的儲存時間 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!-- 設定yarn叢集的記憶體分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>

	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>

mapred-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64

slaves檔案
node01
node02
node03

三臺建立目錄
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.10.1/hadoopDatas/dfs/snn/edits

拷貝hadoop到三臺虛擬機器
scp -r hadoop-2.10.1 node02:$PWD
scp -r hadoop-2.10.1 node03:$PWD

配置環境變數
#Hadoop environment
export HADOOP_HOME=/export/servers/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop