hadoop YARN配置引數剖析—MapReduce相關引數
MapReduce相關配置引數分為兩部分,分別是JobHistory Server和應用程式引數,Job History可執行在一個獨立節點上,而應用程式引數則可存放在mapred-site.xml中作為預設引數,也可以在提交應用程式時單獨指定,注意,如果使用者指定了引數,將覆蓋掉預設引數。
以下這些引數全部在mapred-site.xml中設定。
1. MapReduce JobHistory相關配置引數
在JobHistory所在節點的mapred-site.xml中配置。
(1) mapreduce.jobhistory.address
引數解釋:MapReduce JobHistory Serve IPC host:port 地址。
預設值: 0.0.0.0:10020
(2) mapreduce.jobhistory.webapp.address
引數解釋:MapReduce JobHistory Server Web UI 地址。
預設值: 0.0.0.0:19888
(3) mapreduce.jobhistory.intermediate-done-dir
引數解釋:MapReduce作業產生的日誌存放位置。
預設值:${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate
(4) mapreduce.jobhistory.done-dir
引數解釋:MR JobHistory Server管理的日誌的存放位置。
預設值: ${yarn.app.mapreduce.am.staging-dir}/history/done
2. MapReduce作業配置引數
可在客戶端的mapred-site.xml中配置,作為MapReduce作業的預設配置引數。也可以在作業提交時,個性化指定這些引數。
引數名稱 | 預設值 | 說明 |
mapreduce.job.name | 作業名稱 | |
mapreduce.job.priority | NORMAL | 作業優先順序 |
yarn.app.mapreduce.am.resource.mb | 1536 | MR ApplicationMaster佔用的記憶體量 |
yarn.app.mapreduce.am.resource.cpu-vcores | 1 | MR ApplicationMaster佔用的虛擬CPU個數 |
mapreduce.am.max-attempts | 2 | MR ApplicationMaster最大失敗嘗試次數 |
mapreduce.map.memory.mb | 1024 | 每個Map Task需要的記憶體量 |
mapreduce.map.cpu.vcores | 1 | 每個Map Task需要的虛擬CPU個數 |
mapreduce.map.maxattempts | 4 | Map Task最大失敗嘗試次數 |
mapreduce.reduce.memory.mb | 1024 | 每個Reduce Task需要的記憶體量 |
mapreduce.reduce.cpu.vcores | 1 | 每個Reduce Task需要的虛擬CPU個數 |
mapreduce.reduce.maxattempts | 4 | Reduce Task最大失敗嘗試次數 |
mapreduce.map.speculative | false | 是否對Map Task啟用推測執行機制 |
mapreduce.reduce.speculative | false | 是否對Reduce Task啟用推測執行機制 |
mapreduce.job.queuename | default | 作業提交到的佇列 |
mapreduce.task.io.sort.mb | 100 | 任務內部排序緩衝區大小 |
mapreduce.map.sort.spill.percent | 0.8 | Map階段溢寫檔案的閾值(排序緩衝區大小的百分比) |
mapreduce.reduce.shuffle.parallelcopies | 5 | Reduce Task啟動的併發複製資料的執行緒數目 |
注意,MRv2重新命名了MRv1中的所有配置引數,但相容MRv1中的舊引數,只不過會列印一條警告日誌提示使用者引數過期。MapReduce新舊引數對照表可參考Java類org.apache.hadoop.mapreduce.util.ConfigUtil 。 連結:
source:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31383567/viewspace-2146136/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- hadoop之 YARN配置引數剖析—RM與NM相關引數HadoopYarn
- Spark的相關引數配置Spark
- PostgreSQL並行查詢相關配置引數SQL並行
- oracle sga配置相關的os 核心引數Oracle
- MySQL效能相關引數MySql
- 歸檔相關引數
- PostgreSQL AutoVacuum 相關引數SQL
- hadoop之mapreduce.input.fileinputformat.split.minsize引數HadoopORM
- Linux 核心引數 和 Oracle相關引數調整LinuxOracle
- Linux 核心引數及Oracle相關引數調整LinuxOracle
- Kafka 配置引數彙總及相關說明Kafka
- MySQL 連線相關引數MySql
- MySQL slow log相關引數MySql
- (轉)Linux 核心引數及Oracle相關引數調整LinuxOracle
- EBS相關日誌和引數
- mysql innodb相關引數說明MySql
- oracle 身份認證相關引數Oracle
- hadoop_MapReduce yarnHadoopYarn
- 常用的jvm配置引數 :永久區引數配置JVM
- Yarn生產環境核心引數Yarn
- 查詢hadoop引數變數Hadoop變數
- Hadoop引數調優Hadoop
- redis持久化相關引數解釋Redis持久化
- MySQL slow log相關引數解釋MySql
- mysql relay log相關引數說明MySql
- 【Oracle】-【sqlplus相關】-serveroutput引數OracleSQLServer
- iframe相關的引數傳遞【Z】
- oracle 安裝相關引數設定Oracle
- autotrace explain plan 相關引數解釋AI
- oracle相關的linux核心引數OracleLinux
- Linux核心引數(如kernel.shmmax)及Oracle相關引數調整LinuxHMMOracle
- jvm引數配置JVM
- oracle引數配置Oracle
- JavaWeb引數配置JavaWeb
- python疑問5:位置引數,預設引數,可變引數,關鍵字引數,命名關鍵字引數區別Python
- 關鍵字引數與非關鍵字引數(可變引數)詳解
- Android小知識-剖析Retrofit中ServiceMethod相關引數以及建立過程Android
- nginx 常見引數以及重定向引數配置Nginx