YARN日誌查詢

第一篇學習瞭解是什麼是Apache Hadoop Yarn，及其基本工作原理及流程，這篇將學習下Yarn的日誌查詢。

---

---

概述

Yarn 提供了兩種用於檢視叢集中執行作業的日誌：Resource Manager Web UI 和 Job History Web UI；
【說明：由於本人在當前專案使用的CDH，所以相關的截圖說明都是與CDH的CM相關的圖片】

---

提示：以下是本篇文章正文內容，下面案例可供參考

一、ResourceManager Web UI介面

ResourceManager Web UI 包含了當前執行的任務列表及歷史任務列表，該日誌可以通過連結IP+埠號的方式進行訪問。

• IP地址：YARN的ResourceManager角色所在的伺服器IP（活動狀態）
  進入CM，選擇叢集中的“YARN”元件，進入後選擇“例項”，可以看到對應的機器名（圖1），然後再進入“主機”–>“所有主機”，可以找到對應機器名的IP（圖2）；
  
• 埠：檢視yarn-site.xml中的配置項yarn.resourcemanager.webapp.address 的值，預設為8088；
  在CM中，可以通過“叢集”–>“YARN”–>“配置”，然後查詢配置項 yarn.resourcemanager.webapp.address 來檢視配置值（圖3）
  
  根據對應的ip及埠就可以進入到對應的頁面，如下：
  

二、JobHistory Web UI介面

JobHistory Web UI 只包含了歷史執行的任務，該日誌同樣可以通過連結IP+埠號的方式進行訪問。

• IP地址：YARN的JobHistory角色所在的伺服器IP
  進入CM，選擇叢集中的“YARN”元件，進入後選擇“例項”，可以找到對應的JobHistory Server的機器名，然後再進入“主機”–>“所有主機”，可以找到對應機器名的IP，同上；
  
• 埠：檢視yarn-site.xml中的配置項mapreduce.jobhistory.webapp.address 的值，預設為19888；
  在CM中，可以通過“叢集”–>“YARN”–>“配置”，然後查詢配置項 mapreduce.jobhistory.webapp.address 來檢視配置值，如下：
  

---

宣告

學習是個記錄的過程，本篇的內容彙集了不同的文件及書籍來源，記錄分享完全是加深印象的過程；
參考來源如下：
《Hive效能調優實戰》 林志煌