yarn記憶體配置

根據具體叢集情況，官方提供了一個python編寫的記憶體計算工具：linux環境下執行命令python yarn-utils.py -c 32 -m 128 -d 7 -k False，其中引數說明如下：

   -c：核數
   -m：記憶體大小
   -d：磁碟數
   -k：hbase是否安裝。False-沒有安裝 True-安裝

會生成一串資訊：

Using cores=32 memory=128GB disks=7 hbase=False
 Profile: cores=32 memory=106496MB reserved=24GB usableMem=104GB disks=7
 Num Container=13
 Container Ram=8192MB
 Used Ram=104GB
 Unused Ram=24GB
 yarn.scheduler.minimum-allocation-mb=8192
 yarn.scheduler.maximum-allocation-mb=106496
 yarn.nodemanager.resource.memory-mb=106496
 mapreduce.map.memory.mb=8192
 mapreduce.map.java.opts=-Xmx6553m
 mapreduce.reduce.memory.mb=8192
 mapreduce.reduce.java.opts=-Xmx6553m
 yarn.app.mapreduce.am.resource.mb=8192
 yarn.app.mapreduce.am.command-opts=-Xmx6553m
 mapreduce.task.io.sort.mb=3276

參考輸出的資訊配置yarn-site.xml檔案(以key-value形式配置),如：

<property>

<name>yarn.scheduler.minimum-allocation-mb</name>

<value>8192</value>

</property>

yarn-utils.py下載前往：http://download.csdn.net/detail/javajxz008/9443358