hadoop之 reduce個數控制

1、引數變更
1.x 引數名                                                         2.x 引數名 
mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks                                       mapreduce.job.reduces

 

2、引數設定

2.1、mapred.tasktracker.reduce.tasks.maximum設定為邏輯CPU個數

<property> 
<name>mapred.tasktracker.reduce.tasks.maximum</name> 
<value>8</value> 
<final>true</final> 
</property>

2.2.1、 hadoop 伺服器端引數設定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 單臺 datanode 邏輯cpu個數

2.2.2、應用端呼叫 job. setNumReduceTasks（int n） 方法指定