Hadoop Reducer個數設定
在預設情況下，一個MapReduce Job如果不設定Reducer的個數，那麼Reducer的個數為1。具體，可以通過JobConf.setNumReduceTasks(int numOfReduceTasks)方法來設定Reducer的個數。那麼，如何確定Reducer的個數呢，hadoop documentation 推薦了兩個計算公式：
•0.95 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
•1.75 * NUMBER_OF_NODES * mapred.tasktracker.reduce.tasks.maximum
其中，NUMBER_OF_NODES 代表叢集中計算節點的個數，mapred.tasktracker.reduce.tasks.maximum代表每一個節點所分配的Reducer任務槽的個數。
相關文章
- π，序曲，第一個reducer
- Linux PID個數設定Linux
- 安裝 Hadoop：設定單節點 Hadoop 叢集Hadoop
- SAP Commerce Cloud Spartacus UI 的高階 reducer 設計CloudUI
- win10 cpu核心個數選擇怎麼設定_win10系統cpu核心數設定方法Win10
- Redux 入門 -- 拆分 reducerRedux
- 4.2.10.2 設定和取消設定環境變數變數
- MATLAB設定隨機數Matlab隨機
- tomcat vm 引數設定Tomcat
- Java 程式碼本地設定Hadoop使用者名稱密碼JavaHadoop密碼
- Mapreduce中的Mapper&reducerAPP
- 照片降噪器：Noise Reducer macMac
- Redux原始碼分析–Reducer篇Redux原始碼
- Hadoop 氣數已盡？Hadoop
- 2.1個股指標設定指標
- ansible設定環境變數變數
- ansible 設定環境變數變數
- Linux設定環境變數Linux變數
- export 設定環境變數Export變數
- vertica 設定最大會話數會話
- pandas引數設定小技巧
- Metasploit設定VERBOSE引數技巧
- Metasploit設定HttpTrace引數技巧HTTP
- Metasploit設定LHOST引數技巧
- JVM引數設定大氣JVM
- JVM常見引數設定JVM
- word怎麼設定表格數字水平居中 word設定表格數字居中的方法
- 前端定義一個物件的時候，key值如何設定為數字，並抽成常量前端物件
- ORACLE多個event設定方式Oracle
- 巨集定義跟多個引數
- java jdk 設定環境變數JavaJDK變數
- java變數怎麼設定（宣告）Java變數
- 2.6.10 設定許可證引數
- [20200220]windows設定keepalive引數.txtWindows
- 系統預設環境變數PATH設定變數
- 【質數判斷】給定兩個數，判斷這兩個數是否互質？
- Hadoop HDFS 設計隨想Hadoop
- win10環境變數怎麼設定 win10設定環境變數的方法Win10變數
- linux 設定tab為4個空格Linux