mapred.job.shuffle.input.buffer.percent(R1)
說明:用來快取shuffle資料的reduce task heap百分比
Reduce在shuffle階段對下載來的map資料,並不是立刻就寫入磁碟的,而是會先快取在記憶體中,然後當使用記憶體達到一定量的時候才刷入磁碟。
這個記憶體大小的控制就不像map一樣可以透過io.sort.mb來設定了,而是透過另外一個引數來設定:mapred.job.shuffle.input.buffer.percent(default 0.7),
這個引數其實是一個百分比,意思是說,shuffile在reduce記憶體中的資料最多使用記憶體量為:0.7 × maxHeap of reduce task。
也就是說,如果該reduce task的最大heap使用量(通常透過mapred.child.java.opts來設定,比如設定為-Xmx1024m)的一定比例用來快取資料。
預設情況下,reduce會使用其heapsize的70%來在記憶體中快取資料。
如果reduce的heap由於業務原因調整的比較大,相應的快取大小也會變大,這也是為什麼reduce用來做快取的引數是一個百分比,而不是一個固定的值了。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26613085/viewspace-1107287/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- MapReduce流程分析(R1)
- CuOI R1 - Split The Crystals
- 堅果R1配置效能全面評測 堅果R1值得買嗎?
- oracle merge into用法(R1)Oracle
- DRIVING_SITE Hint (R1)
- HDFS讀寫過程解析(R1)
- Hadoop中一個distcp (R1)HadoopTCP
- 堅果R1黑白雙色對比評測 堅果R1白色和黑色哪個好看?
- 堅果R1手機引數詳解和開箱圖賞 堅果R1配置怎麼樣?
- hadoop 配置項的調優(R1)Hadoop
- Win7建立VPN連線(R1)Win7
- Hadoop是怎麼分塊的(R1)Hadoop
- Oracle 11g R1中ASM增強OracleASM
- Oracle Database 12cR2/R1中的更改OracleDatabase
- Linux crontab 命令格式與詳細例子 (R1)Linux
- oracle 11g R1 asm 磁碟組新特性OracleASM
- 堅果R1對比Pro2區別對比導購 堅果R1和堅果Pro2哪個好?
- rh4上 安裝oracle 11g r1Oracle
- Oracle11G R1/R2官方下載列表Oracle
- P11071 「QMSOI R1」 Distorted Fate題解
- 2021年R1快開門式壓力容器操作多少分及格及R1快開門式壓力容器操作答案解析
- 2020年R1快開門式壓力容器操作考試APP及R1快開門式壓力容器操作考試試卷APP
- 2020年R1快開門式壓力容器操作答案解析及R1快開門式壓力容器操作試題及答案
- 開源 BeOS 作業系統 Haiku R1/beta1 釋出作業系統AI
- oracle 12c R1 新特性對單個表的恢復Oracle
- Oracle 12C R1 OR R2監聽相關配置包含pdbOracle
- 堅果R1手機剛上市 你就不得不“理解萬歲”
- 堅果R1旗艦手機四版本區別對比
- Cowarobot R1智慧拉桿箱忠犬上身 走到哪裡跟到哪裡
- oracle的left join,right join和full join的一點介紹(R1)Oracle
- AIX 6.1 安裝 Oracle 11g R1 報Java錯誤解決方法AIOracleJava
- Windows 7 下安裝Oracle 11g r1 版本相容問題解決WindowsOracle
- Linux 下配置udev來實現chrome對於蜻蜓R1滑鼠的訪問LinuxdevChrome
- Merge into: Oracle中用一條SQL語句直接進行Insert/Update的操作(R1)OracleSQL
- oracle 12c R1 對存放在asm磁碟中的password 進行移動OracleASM
- 小米MIX2S、堅果R1、iPhone X對比導購 國產旗艦對決蘋果iPhone蘋果
- 【轉】ORACLE 10G R1手工建立資料庫步驟 --space6212Oracle 10g資料庫
- ZEALER堅果R1評測:是羅永浩產品不行 還是王自如偏見太深?