Yarn篇--搭建yarn叢集

LHBlog發表於2018-01-08

一。前述

有了上次hadoop叢集的搭建,搭建yarn就簡單多了。廢話不多說,直接來

二。規劃

 

 三。配置如下

yarn-site.xml配置

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>//定義yarn的機制
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name//叢集Id
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>//叢集邏輯節點
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>//叢集物理節點
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>//叢集物理節點
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>//與zookeeper通訊
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>


mapred-site.xm配置
<property>
        <name>mapreduce.framework.name</name>//使用yran
        <value>yarn</value>
  </property>
PS  :slaves中既是datanode配置同時也是nodemanger的配置

四。配置免密

同樣需要配置resourcemange到nodemanager的免密 和兩個resourcemanger的免密
五。啟動順序
養成一個好習慣,先把叢集停掉,然後再新增配置,(其實不停也行)

 

先在node01節點上手動先啟動hdfs叢集start-dfs.sh

node01然後再啟動yarn叢集 start-yarn.sh(Nodemanager也是由slaves檔案管理)

然後再在node03和node04手動啟動resourcemanger

yarn-daemon.sh start resourcemanager

六。驗證

自此叢集搭建成功!!!

持續更新中。。。。,歡迎大家關注我的公眾號LHWorld.

 

 

相關文章