一。前述
有了上次hadoop叢集的搭建,搭建yarn就簡單多了。廢話不多說,直接來
二。規劃
三。配置如下
yarn-site.xml配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>//定義yarn的機制
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name//叢集Id
<value>cluster1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>//叢集邏輯節點
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>//叢集物理節點
<value>node03</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>//叢集物理節點
<value>node04</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>//與zookeeper通訊
<value>node02:2181,node03:2181,node04:2181</value>
</property>
mapred-site.xm配置
<property>
<name>mapreduce.framework.name</name>//使用yran
<value>yarn</value>
</property>
PS :slaves中既是datanode配置同時也是nodemanger的配置
四。配置免密
同樣需要配置resourcemange到nodemanager的免密 和兩個resourcemanger的免密
五。啟動順序
養成一個好習慣,先把叢集停掉,然後再新增配置,(其實不停也行)
先在node01節點上手動先啟動hdfs叢集start-dfs.sh
node01然後再啟動yarn叢集 start-yarn.sh(Nodemanager也是由slaves檔案管理)
然後再在node03和node04手動啟動resourcemanger
yarn-daemon.sh start resourcemanager
六。驗證
自此叢集搭建成功!!!
持續更新中。。。。,歡迎大家關注我的公眾號LHWorld.