hadoop：spark-project專案的hadoop配置

修改core-site.xml

<property>  

<name>fs.default.name</name>  

<value>hdfs://sparkproject1:9000</value>

</property>

修改hdfs-site.xml

//用於確定將HDFS檔案系統的元資訊儲存在什麼目錄下。若設定為多個目錄，那這些目錄下都儲存著元資訊的多個備份。

<property>   

<name>dfs.name.dir</name>  

<value>/usr/local/data/namenode</value>

</property>

//用於確定將HDFS檔案系統的資料儲存在什麼目錄下。將這個引數設定為多個分割槽上目錄，即可將HDFS建在不同分割槽上

<property>

<name>dfs.data.dir</name>

<value>/usr/local/data/datanode</value>

</property>

//dfs.tmp.dir在安裝配置HADOOP的時候，一定要更改hadoop.tmp.dir ，機器意外斷電，服務重啟後，/tmp 下的目錄被清空，預設位置在/tmp/{$user}

<property>  

<name>dfs.tmp.dir</name>  // 

<value>/usr/local/data/tmp</value>

</property>

//hadoop的備份係數，每個block在hadoop叢集中有幾份，係數越高，冗餘性越好，佔用儲存也越多。備份係數在hdfs-site.xml中定義，預設值為3.

<property> 

<name>dfs.replication</name>  

<value>2</value>

</property>

參考：

http://blog.sina.com.cn/s/blog_48a45b95010119cy.html

https://blog.csdn.net/bluetropic/article/details/9493995

https://blog.csdn.net/linuxnc/article/details/51766406

修改mapred-site.xml

//名稱mapreduce.framework.name指的是使用yarn執行mapreduce程式

<property>  

<name>mapreduce.framework.name</name>  

<value>yarn</value>

</property>

修改yarn-site.xml

//名稱yarn.resourcemanager.hostname指的是執行ResourceManager機器所在的節點位置

<property>  

<name>yarn.resourcemanager.hostname</name>  

<value>sparkproject1</value>

</property>

//yarn.nodemanager.aux-services 指的是NodeManager上執行的附屬服務。需配置成mapreduce_shuffle,才可執行MapReduce程式

<property>  

<name>yarn.nodemanager.aux-services</name>  

<value>mapreduce_shuffle</value>

</property>

修改slaves檔案

sparkproject2

sparkproject3