【深入淺出 Yarn 架構與實現】6-2 NodeManager 狀態機管理

大資料王小皮發表於2023-04-03
Yarn架構

一、簡介

NodeManager（NM）中的狀態機分為三類：Application、Container 和 LocalizedResource，它們均直接或者間接參與維護一個應用程式的生命週期。

  • 當 NM 收到某個 Application 的第一個 container 啟動命令時，它會建立一個「Application狀態機」來跟蹤該應用程式在該節點的狀態；
  • 每個container都有一個獨立的「container狀態機」；
  • Application 執行所需資源（jar，檔案等）的下載過程則由「LocalizedResource狀態機」維護和跟蹤。

二、三類狀態機

一）Application 狀態機

NM 上的 Application 維護的資訊是 RM 端 Application 資訊的一個子集，這有助於統一管理節點上同一個 Application 的所有 Container（例如記錄每個 Application 在該節點上執行的 Container 列表，以及殺死一個 Application 的所有 Container 等）。
實現這一功能的類是 nodemanager/containermanager/application/ApplicationImpl，它維護了一個 Application 狀態機。需要注意的是，NM 上 Application 的生命週期與 RM 上 Application 的生命週期是一致的。

// 擷取 ApplicationImpl 中一部分狀態機的程式碼
  private static StateMachineFactory<ApplicationImpl, ApplicationState,
          ApplicationEventType, ApplicationEvent> stateMachineFactory =
      new StateMachineFactory<ApplicationImpl, ApplicationState,
          ApplicationEventType, ApplicationEvent>(ApplicationState.NEW)

           // Transitions from NEW state
           .addTransition(ApplicationState.NEW, ApplicationState.INITING,
               ApplicationEventType.INIT_APPLICATION, new AppInitTransition())
           .addTransition(ApplicationState.NEW, ApplicationState.NEW,
               ApplicationEventType.INIT_CONTAINER,
               INIT_CONTAINER_TRANSITION)

           // Transitions from INITING state
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.INIT_CONTAINER,
               INIT_CONTAINER_TRANSITION)
           .addTransition(ApplicationState.INITING,
               EnumSet.of(ApplicationState.FINISHING_CONTAINERS_WAIT,
                   ApplicationState.APPLICATION_RESOURCES_CLEANINGUP),
               ApplicationEventType.FINISH_APPLICATION,
               new AppFinishTriggeredTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_CONTAINER_FINISHED,
               CONTAINER_DONE_TRANSITION)
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_LOG_HANDLING_INITED,
               new AppLogInitDoneTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.INITING,
               ApplicationEventType.APPLICATION_LOG_HANDLING_FAILED,
               new AppLogInitFailTransition())
           .addTransition(ApplicationState.INITING, ApplicationState.RUNNING,
               ApplicationEventType.APPLICATION_INITED,
               new AppInitDoneTransition())

image.png

下面進行具體介紹：

1、基本狀態

  • NEW：狀態機初始狀態，每個 Application 對應一個狀態機，而每個狀態機的初始狀態均為 NEW。
  • INITING：Application 處於初始化狀態，即建立日誌目錄和工作目錄，建立 AppLogAggregator 物件等。
  • FINISHING_CONTAINERS_WAIT：等待回收 Container 佔用的資源時所處的狀態。當 Application 狀態機收到 FINISH_APPLICATION 事件後，會向各個 Container 傳送 KILL 命令以回收它們佔用的資源。
  • APPLICATION_RESOURCES_CLEANINGUP：Application 的所有 Container 佔用的資源被收回後，它將處於 APPLICATION_RESOURCES_CLEANINGUP 狀態。
  • RUNNING：Application 初始化（完成建立日誌目錄和工作目錄，建立 AppLog-Aggregator 等工作）完成後，將進入 RUNNING 狀態。
  • FINISHED：Application 將佔用的各種檔案資源傳送給檔案刪除服務 DeletionService（該服務會非同步刪除檔案，避免產生效能問題）後，進入 FINISHED 狀態，表示執行完成。

2、基本事件

  • INIT_APPLICATION：NM 收到來自某個 Application 的第一個 Container 後，會觸發一個 INIT_APPLICATION 事件，同時使 Application 狀態由初始狀態 NEW 轉換為 INITING。
  • APPLICATION_INITED：Application 初始化完成後將觸發一個 APPLICATION_INITED 事件。Application 初始化主要工作是初始化各類必需的服務元件（比如日誌記錄元件 LogHandler、資源狀態追蹤元件 LocalResourcesTrackerImpl 等），供後續 Container 使用，通常由 Application 的第一個 Container 完成。
  • FINISH_APPLICATION：NodeManager 收到 ResourceManager 傳送的待清理的 Application 列表後，會向這些 Application 傳送一個 FINISH_APPLICATION 事件
  • APPLICATION_CONTAINER_FINISHED：該 Application 的一個 Container 執行完成（可能執行失敗，也可能執行成功）後將觸發一個 APPLICATION_CONTAINER_FINISHED 事件。
  • APPLICATION_RESOURCES_CLEANEDUP：Application 所有 Container 佔用的資源被清理完成（比如佔用的臨時目錄）後將觸發一個 APPLICATION_RESOURCES_CLEANEDUP 事件
  • INIT_CONTAINER：NodeManager 收到 ApplicationMaster 透過 RPC 函式 ContainerManagementProtocol#startContainer 傳送的啟動 Container 的請求後，會觸發一個 INIT_CONTAINER 事件。

二）Container 狀態機

Container 狀態機維護一個 container 執行的全部狀態，包含 11 個狀態和 10 個事件，實現類是 nodemanager/containermanager/container/ContainerImpl.java。下面是狀態轉化的圖：
nm_container.png

1、基本狀態

  • NEW：狀態機初始狀態，每個 Container 對應一個狀態機，而每個狀態機的初始狀態均為 NEW。
  • LOCALIZING：Container 執行之前，需從 HDFS 上下載依賴的檔案資源，Container 正在下載檔案時所處的狀態稱為 LOCALIZING。
  • LOCALIZED：執行 Container 所需的檔案資源已經全部下載（快取）到本地後，將進入該狀態。
  • LOCALIZATION_FAILED：由於檔案損壞、磁碟損壞等原因，Container 下載資源失敗（這將導致依賴該資源的所有 Container 執行失敗），此時 Container 所處的狀態為 LOCALIZATION_FAILED。
  • RUNNING：ContainerLaunch 元件為 Container 建立工作目錄和構造執行指令碼，並通知 ContainerExecutor 執行該指令碼，使得 Container 進入 RUNNING 狀態。
  • EXITED_WITH_SUCCESS：ContainerExecutor 啟動 Container 執行指令碼後，阻塞直到指令碼正常退出執行，此時 Container 將處於 EXITED_WITH_SUCCESS 狀態。
  • DONE：Container 正常退出執行後，首先需清理它佔用的各種臨時檔案，一旦清理完成後，Container 狀態將轉移為完成狀態 DONE。
  • KILLING：Container 正在被殺死時所處的狀態，通常是由於記憶體超量使用被監控執行緒殺死，或者 ResourceManager 和 ApplicationMaster 主動殺死 Container。
  • EXITED_WITH_FAILURE：Container 在執行過程中異常退出後所處的狀態，通常是由於 Container 內部原因導致，比如程式 bug、硬體故障等。

2、基本事件

  • INIT_CONTAINER：NodeManager 收到來自 ApplicationMaster 的啟動 Container 的請求，則會建立一個 Container 物件，並觸發一個 INIT_CONTAINER 事件，使 Container 狀態由初始狀態 NEW 轉換為 LOCALIZING。
  • RESOURCE_LOCALIZED：Container 成功從 HDFS 下載一種資源到本地（快取），會觸發一個 RESOURCE_LOCALIZED 事件。注意，一個 Container 可能需要下載多種資源，因此，該事件可能使 Container 維持在 LOCALIZING 狀態或者進入新狀態 LOCALIZED（所有資源均下載完成）。
  • CONTAINER_LAUNCHED：ContainerLaunch 呼叫函式 ContainerExecutor#launchContainer 成功啟動後，會觸發一個 CONTAINER_LAUNCHED 事件，使得 Container 從 LOCALIZED 狀態轉換為 CONTAINER_LAUNCHED 狀態。需要注意的，由於函式 ContainerExecutor#launchContainer 是阻塞的，所以它要等到 Container 退出執行後才會退出，因此，該事件將在該函式呼叫之後發出。
  • CONTAINER_EXITED_WITH_SUCCESS：Container 正常退出（執行 Container 實際上是執行一個 Shell 指令碼，正常結束執行後會返回 0），會觸發一個 CONTAINER_EXITED_WITH_SUCCESS 事件。
  • CONTAINER_RESOURCES_CLEANEDUP：NodeManager 清理完成 Container 使用的各種臨時目錄（主要是刪除分散式快取中的臨時資料），此時會觸發一個 CONTAINER_RESOURCES_CLEANEDUP 事件，使得 Container 從 EXITED_WITH_SUCCESS 狀態轉換為 DONE 狀態。
  • RESOURCE_FAILED：Container 本地化過程中丟擲異常，會觸發一個 RESOURCE_FAILED 事件，導致 Container 失敗。
  • KILL_CONTAINER：在多種場景下會觸發產生 KILL_CONTAINER 事件，包括 ResourceManager 要求 NodeManager 殺死一個 Container；Container 使用的記憶體量超過約定值，被監控執行緒殺死；ApplicationMaster 要求 NodeManager 殺死一個 Container（透過 RPC 函式 ContainerManagementProtocol#stopContainer）。
  • CONTAINER_EXITED_WITH_FAILURE：Container 異常退出（執行過程中丟擲 Throwable 異常）時，會觸發一個 CONTAINER_EXITED_WITH_FAILURE 事件。

三）LocalizedResource 狀態機

下載是在從 init 狀態轉移到 downloading 狀態時，會發一個 REQUEST_RESOURCE_LOCALIZATION 事件。這個事件是會發給 ResourceLocalizationService，ResourceLocalizationService 根據資源的型別和可見性確定路徑並下載他。下載是非同步的（並且每個 application 對應著自己的下載執行緒），每個下載會對應一個 callable 的 FSDownload。
狀態機如下圖所示，非常簡單，不再具體介紹。
nn_LocalizedResource.png

三、小結

本篇文章對 NodeManager 中三類狀態機進行了介紹，其主要都是維護一個應用程式的生命週期。無需強行記憶，知道有這三類狀態機，遇到問題再對應檢視即可。

參考文章：
《Hadoop技術內幕：深入解析YARN架構設計與實現原理》

相關文章