hadoop Capacity Scheduler計算能力排程器配置

計算能力排程器介紹

Capacity Scheduler支援以下特性：

(1) 計算能力保證。支援多個佇列，某個作業可被提交到某一個佇列中。每個佇列會配置一定比例的計算資源，且所有提交到佇列中的作業共享該佇列中的資源。

(2) 靈活性。空閒資源會被分配給那些未達到資源使用上限的佇列，當某個未達到資源的佇列需要資源時，一旦出現空閒資源資源，便會分配給他們。

(3) 支援優先順序。佇列支援作業優先順序排程（預設是FIFO）

(4) 多重租賃。綜合考慮多種約束防止單個作業、使用者或者佇列獨佔佇列或者叢集中的資源。

(5) 基於資源的排程。 支援資源密集型作業，允許作業使用的資源量高於預設值，進而可容納不同資源需求的作業。不過，當前僅支援記憶體資源的排程。

配置方法為

1. 複製$HADOOP_HOME/contrib/capacity-scheduler/hadoop-capacity-scheduler.jar  到$HADOOP_HOME/lib目錄中

2. 修改namenode節點中的conf/mapred-site.xml檔案

3. 修改conf/capacity-scheduler.xml 配置檔案

儲存檔案後，重啟jobtracker  

以後修改capacity-scheduler.xml檔案後只需要執行命令hadoop mradmin -refreshQueues 就可以重新載入配置項。

4. 最後，如何使用該佇列呢:
mapreduce:在Job的程式碼中，設定Job屬於的佇列,例如hive：
conf.setQueueName("hive");
hive:在執行hive任務時，設定hive屬於的佇列,例如hive:
set mapred.job.queue.name=hive;

設定佇列的任務名稱set mapred.job.name=hadooptest;

設定佇列的優先順序別set mapred.job.priority=HIGH;

原文地址：http://blog.csdn.net/jiedushi/article/details/7920455