Yarn 生產環境多佇列配置

在 capacity-scheduler.xml 中配置如下：

<!-- 指定多佇列，增加hive佇列 -->
<property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,hive</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
</property>
 
<!-- 降低default佇列資源額定容量為40%，預設100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>40</value>
</property>
 
<!-- 降低default佇列資源最大容量為60%，預設100% -->
<property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>60</value>
</property>

為新加佇列新增必要屬性：

<!-- 指定hive佇列的資源額定容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.capacity</name>
    <value>60</value>
</property>
 
<!-- 使用者最多可以使用佇列多少資源，1表示 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.user-limit-factor</name>
    <value>1</value>
</property>
 
<!-- 指定hive佇列的資源最大容量 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
    <value>80</value>
</property>
 
<!-- 啟動hive佇列 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.state</name>
    <value>RUNNING</value>
</property>
 
<!-- 哪些使用者有權向佇列提交作業 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
    <value>*</value>
</property>
 
<!-- 哪些使用者有權操作佇列，管理員許可權（檢視/殺死） -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
    <value>*</value>
</property>
 
<!-- 哪些使用者有權配置提交任務優先順序 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
    <value>*</value>
</property>
 
<!-- 任務的超時時間設定：yarn application -appId appId -updateLifetime Timeout
參考資料：https://blog.cloudera.com/enforcing-application-lifetime-slas-yarn/ -->
 
<!-- 如果application指定了超時時間，則提交到該佇列的application能夠指定的最大超時時間不能超過該值。 
-->
<property>
    <name>yarn.scheduler.capacity.root.hive.maximum-application-lifetime</name>
    <value>-1</value>
</property>
 
<!-- 如果application沒指定超時時間，則用default-application-lifetime作為預設值 -->
<property>
    <name>yarn.scheduler.capacity.root.hive.default-application-lifetime</name>
    <value>-1</value>
</property>