druid.io叢集與tranquility對zookeeper的使用(一)
druid.io對zookeeper的使用概述
zookeeper:檔案系統+監聽通知,分散式系統常用作後設資料管理相關。druid.io
叢集用到的歸納起來主要有
- coordinator / overlord 主從模式
- 各個節點健康狀態
- 任務相關:包括任務執行overlord轉發到middleManager,Peon程式,任務執行狀態等
- segment後設資料相關
對zookeeper的使用還是要具體寫了什麼內容到zookeeper上,讀寫情況怎樣的(不過一般這都有監控告警),需要了解zookeeper是如何協作不同程式的,是如何在分散式系統中發揮自己作用的。
鑑於druid.io
對zookeeper
使用很多,所以先了解大概,再深究每塊功能的使用
zk第一級目錄如下
各型別程式節點
實時任務、Peon 程式、任務狀態等
tranquility
middleManager(Worker) 一個都沒有的zk情況
index_realtime 任務狀態
當然有時候需要結合配置和log來看,eg如下:
配置名稱 | 描述 | 預設值 |
---|---|---|
druid.indexer.runner.taskCleanupTimeout | How long to wait before failing a task after a middle manager is disconnected from Zookeeper.(middle 與 zk 斷掉後,任務running狀態過多久 才設定為 failed 狀態) | PT15M |
// todo
相關文章
- Zookeeper客戶端使用與叢集原理客戶端
- 使用 Docker 一步搞定 ZooKeeper 叢集的搭建Docker
- Zookeeper叢集 + Kafka叢集Kafka
- Zookeeper簡介與叢集搭建
- 搭建zookeeper叢集(偽叢集)
- zookeeper叢集的搭建
- zookeeper叢集及kafka叢集搭建Kafka
- zookeeper 叢集搭建
- Zookeeper叢集搭建
- Druid.io系列3:Druid叢集節點UI
- 面試題:說說你對ZooKeeper叢集與Leader選舉的理解?面試題
- linux下搭建ZooKeeper叢集(偽叢集)Linux
- ZooKeeper 搭建 solr 叢集Solr
- ZooKeeper學習筆記一:叢集搭建筆記
- zookeeper 高可用叢集搭建
- ActiveMQ+ZooKeeper 叢集整合MQ
- Zookeeper 叢集環境搭建
- Dubbo+Zookeeper叢集案例
- Linux下搭建ZooKeeper叢集Linux
- 搞懂 ZooKeeper 叢集的資料同步
- 構建Zookeeper叢集(zkcluster) ~一篇文章玩轉zk叢集^.^
- ZooKeeper 05 - ZooKeeper 叢集的腦裂問題(Split Brain)AI
- Mac 使用 docker 搭建 kafka 叢集 + Zookeeper + kafka-managerMacDockerKafka
- 使用 docker-compose 部署 zookeeper(單機和叢集)Docker
- ActiveMQ+ZooKeeper 偽叢集整合MQ
- 安裝Zookeeper和Kafka叢集Kafka
- Zookeeper-3.4.10 叢集的安裝配置
- Zookeeper3.4.14(單叢集)、Kafka_2.12-2.2.2(叢集)安裝Kafka
- 搞懂分散式技術5:Zookeeper的配置與叢集管理實戰分散式
- Zookeeper叢集搭建和簡介(二)
- 4 zookeeper叢集和基本命令
- 不用程式碼趣講 ZooKeeper 叢集
- Openshif對叢集的擴容與縮容
- zookeeper叢集奇偶數節點問題
- 基於 ZooKeeper 搭建 Spark 高可用叢集Spark
- 基於 ZooKeeper 搭建 Hadoop 高可用叢集Hadoop
- 面試官:Zookeeper叢集怎麼搭建?面試
- 對 Pulsar 叢集的壓測與最佳化