Yarn的排程器

元亨利貞發表於2023-10-02

介紹

FIFO排程器:這是最簡單的排程器,它根據任務提交的先後順序進行資源分配。由於它不支援多佇列,所以在當前強調多租戶和資源利用率的環境下,很少有叢集採用FIFO排程器。

容量排程器:這是Yahoo開發的多使用者排程器。它支援多佇列,每個佇列可以配置一定的資源量,並且每個佇列內部採用FIFO排程策略。管理員可以為每個佇列設定資源最低保證和資源使用上限。如果一個佇列中的資源有剩餘,可以暫時共享給那些需要資源的佇列。

公平排程器:這是Facebook開發的多使用者排程器。它也支援多佇列,每個佇列可以配置一定的資源量,並且每個佇列內部可以選擇FIFO、FAIR或DRF策略。公平排程器綜合考慮了提交到佇列中的各種大小任務的差異,能避免因長時間執行的大任務佔用了大量叢集資源,造成小任務長時間得不到資源無法執行,影響使用者體驗。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024433/viewspace-2986843/,如需轉載,請註明出處,否則將追究法律責任。

相關文章