Flink - 合理利用 cpu 資源

元亨利貞發表於2023-11-22

在 capacity-scheduler.xml 中修改屬性:

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<!-- <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value> -->
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property

Yarn 的容量排程器預設情況下是使用“DefaultResourceCalculator”分配策略,只根 據記憶體排程資源,所以在 Yarn 的資源管理頁面上看到每個容器的 vcore 個數還是 1。 可以修改策略為 DominantResourceCalculator,該資源計算器在計算資源的時候會 綜合考慮 cpu 和記憶體的情況。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024433/viewspace-2996683/,如需轉載,請註明出處,否則將追究法律責任。

相關文章