druid.io叢集與tranquility對zookeeper的使用(一)

master-dragon發表於2020-11-09

druid.io對zookeeper的使用概述

zookeeper:檔案系統+監聽通知,分散式系統常用作後設資料管理相關。druid.io叢集用到的歸納起來主要有

  1. coordinator / overlord 主從模式
  2. 各個節點健康狀態
  3. 任務相關:包括任務執行overlord轉發到middleManager,Peon程式,任務執行狀態等
  4. segment後設資料相關

對zookeeper的使用還是要具體寫了什麼內容到zookeeper上,讀寫情況怎樣的(不過一般這都有監控告警),需要了解zookeeper是如何協作不同程式的,是如何在分散式系統中發揮自己作用的。

鑑於druid.iozookeeper使用很多,所以先了解大概,再深究每塊功能的使用

zk第一級目錄如下

druid.io叢集與tranquility對zookeeper的使用(一)

各型別程式節點

druid.io叢集與tranquility對zookeeper的使用(一)

實時任務、Peon 程式、任務狀態等

druid.io叢集與tranquility對zookeeper的使用(一) druid.io叢集與tranquility對zookeeper的使用(一)

tranquility

druid.io叢集與tranquility對zookeeper的使用(一) druid.io叢集與tranquility對zookeeper的使用(一) druid.io叢集與tranquility對zookeeper的使用(一)

middleManager(Worker) 一個都沒有的zk情況

druid.io叢集與tranquility對zookeeper的使用(一)

index_realtime 任務狀態

druid.io叢集與tranquility對zookeeper的使用(一)

當然有時候需要結合配置和log來看,eg如下:

druid.io叢集與tranquility對zookeeper的使用(一)
配置名稱描述預設值
druid.indexer.runner.taskCleanupTimeoutHow long to wait before failing a task after a middle manager is disconnected from Zookeeper.(middle 與 zk 斷掉後,任務running狀態過多久 才設定為 failed 狀態)PT15M
druid.io叢集與tranquility對zookeeper的使用(一)

// todo

相關文章