（Yet Another Resource Negotiator）是 Hadoop 生態系統中的 ，主要用於資源管理和作業排程。YARN 自身具備 ，透過對 YARN 資源佇列進行配置和管理，實現叢集資源的分配，以滿足不同應用和使用者的需求。YARN 的引入為叢集在利用率、資源統一管理和資料共享等方面帶來了巨大好處。

在大資料環境下，企業通常會有多個應用程式同時執行，這些應用程式可能具有不同的資源需求和優先順序。為了合理分配和管理資源，避免資源爭奪和衝突，需要對資源進行劃分和排程。

本文將為大家介紹各類資源劃分和佇列管理方式，以及 新上線的 YARN 的佇列管理功能，如何透過 ，給廣大使用者帶來更高效和便捷的佇列管理體驗。

資源劃分方式

在大資料領域中，常見的資源劃分方式通常有以下幾種：

按照應用程式的型別或特性進行分類

例如，可以將 CPU 密集型的應用程式放置在一個佇列中，將記憶體密集型的應用程式放置在另一個佇列中。透過這種方式，可以確保不同型別的應用程式獲得各自所需的資源，並避免資源浪費和不均衡的情況發生。

按照應用程式的優先順序進行分類

對於一些重要的任務或緊急任務，可以為它們分配更高的 和優先順序，以保證它們能夠得到及時響應和優先處理。而對於一些次要的任務或低優先順序的任務，可以為它們分配較低的資源配額，以確保其他重要任務的執行效率和優先順序。

按照部門或團隊的需求進行分類

不同部門可能對資源有不同的需求，透過為不同部門分配獨立的資源佇列，可以確保每個部門能夠獨立管理和分配自己的資源，不會相互干擾或影響。

雖然 YARN 自身具備佇列管理功能，但在實際使用中，YARN 只能透過配置檔案進行資源佇列的管理，這種方式相對繁瑣且需要一定的技術知識。

CDH & HDP

業界首/選的基礎開源資料平臺要數基於 Hadoop 分散式技術的 CDH 和 HDP。

CDH（Cloudear Manager）

● Fair Share 策略

CDH 的 採用 ，每個使用者或組織的權重和優先順序需要事先確定，需要管理者對系統的使用情況有較好的瞭解。如果這些設定不合理，可能會導致某些使用者或組織長期不能獲得足夠的資源來執行任務。

● 排程效率影響

當有多個任務或作業同時提交時， Fair Share 的演算法需要進行復雜的計算，導致排程效率下降。

HDP（Ambari）

● 管理複雜性

Ambari 採用 進行資源調整，操作簡單。但是由於 Yarn 資源佇列必須保證同一級佇列資源之和等於100%，因此單一佇列資源調整，必須調整其他佇列資源保證佇列資源之和等於100%，管理複雜度比較高。

● 資源配平

為保證同級佇列資源之和等於100%，建立或者刪除佇列時，需要調整其他佇列資源保證佇列資源。

EasyMR 的 Yarn 資源佇列管理功能

基於上述優缺點，為了改善佇列管理體驗，提供一個更直觀、更詳細的資訊展示和簡易明瞭的操作介面進行佇列資源管理， 上線了 Yarn 的佇列管理功能進行視覺化介面管理，提高其靈活性、可用性和可擴充套件性。

EasyMR 的 Yarn 資源佇列管理特點

● 容量策略

基於最大、最小 ，限制佇列的資源使用，使用者或部門可以根據自己業務需求建立屬於自己的 。

● 佇列獨立

當調整佇列資源大小或者建立刪除佇列時，無需調整其他佇列資源大小，僅需保證同一父佇列下所有子佇列資源小於等於100%即可。

● 使用者對接

支援對接 LDAP、 ，透過對 Yarn 資源佇列-葉子佇列繫結使用者、使用者組，實現了基於使用者和使用者組的訪問控制和資源分配，保障資源安全。

：是指不能再分配子佇列的佇列，它可以直接用來分配資源給應用程式，在葉子佇列中，可以直接執行應用程式或者將它們放置在預設分配佇列中進行排程。

：可以再分配子佇列，以進一步劃分資源並進行資源管理，不支援應用程式和任務的提交。例如，可以將 CPU 密集型應用程式和記憶體密集型應用程式分別放置在不同的子佇列中，併為它們分配不同的資源配額和優先順序。

：通常是一個非葉子佇列，它包含多個子佇列，並控制著這些子佇列的資源分配和優先順序等屬性。例如，一個父佇列可以包含多個子佇列“memory”、“cpu”等，透過為不同的子佇列設定不同的資源配額和優先順序，可以更好地管理叢集中的資源。

：是父佇列的一部分，它們繼承了父佇列的所有屬性，並具有自己的資源配額和優先順序等屬性。在子佇列中可以執行應用程式不支援再次劃分子佇列。

如何建立 Yarn 資源佇列，在之前的文章《 大資料計算引擎 EasyMR 如何簡單高效管理 Yarn 資源佇列》中進行了詳細的介紹，請點選閱讀。

未來，EasyMR 會持續最佳化 Yarn 資源佇列管理，完善資源佇列的安全審計與佇列監控，透過將資源佇列與需求背景進行對應，制定更優資源分配策略，以更好地滿足企業在大資料環境下的資源管理和排程需求。

《資料治理行業實踐白皮書》下載地址：

《數棧V6.0產品白皮書》下載地址：

想了解更多有關袋鼠雲大資料產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網： https://www.dtstack.com/?src=szitpub