Hadoop Reducer個數設定
在預設情況下，一個MapReduce Job如果不設定Reducer的個數，那麼Reducer的個數為1。具體，可以通過JobConf.setNumReduceTasks(int numOfReduceTasks)方法來設定Reducer的個數。那麼，如何確定Reducer的個數呢，hadoop documentation 推薦了兩個計算公式：
•0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
•1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
其中，NUMBER_OF_NODES 代表叢集中計算節點的個數，mapred.tasktracker.reduce.tasks.maximum代表每一個節點所分配的Reducer任務槽的個數。
相關文章
- 兩個引數設定
- hadoop輸出設定Hadoop
- Linux PID個數設定Linux
- hadoop之 map個數控制Hadoop
- hadoop之 reduce個數控制Hadoop
- 安裝 Hadoop：設定單節點 Hadoop 叢集Hadoop
- Hadoop如何設定HDFS的塊大小Hadoop
- Hadoop中hdfs和Hbase Xceivers設定Hadoop
- 如何在hadoop中控制map的個數Hadoop
- Redux 入門 -- 拆分 reducerRedux
- win10 cpu核心個數選擇怎麼設定_win10系統cpu核心數設定方法Win10
- Redux進階系列3：如何設計action、reducer、selectorRedux
- hadoop-叢集管理（2）——記憶體設定Hadoop記憶體
- SAP Commerce Cloud Spartacus UI 的高階 reducer 設計CloudUI
- 設定環境變數變數
- vsftpd設定引數FTP
- RAC 特定引數設定
- Redux原始碼分析–Reducer篇Redux原始碼
- 照片降噪器：Noise Reducer macMac
- 4.2.10.2 設定和取消設定環境變數變數
- Oracle CSS的引數設定 心跳時間設定OracleCSS
- java設定－JDK環境變數的設定(轉)JavaJDK變數
- Oralce中設定小數點位數
- 幾個和MySQL InnoDB相關的引數設定說明MySql
- Hadoop框架下MapReduce中的map個數如何控制Hadoop框架
- 如何設定一個定時任務？
- Metasploit設定LHOST引數技巧
- Metasploit設定VERBOSE引數技巧
- pandas引數設定小技巧
- Metasploit設定HttpTrace引數技巧HTTP
- vertica 設定最大會話數會話
- tomcat vm 引數設定Tomcat
- MATLAB設定隨機數Matlab隨機
- JVM常見引數設定JVM
- JVM引數設定大氣JVM
- export 設定環境變數Export變數
- oracle環境變數設定Oracle變數
- CentOS環境變數設定CentOS變數