訊息佇列與叢集管理服務
在青雲，你可以快速建立基於 ZooKeeper 協調管理的訊息系統（Kafka）以處理大量活躍流式資料。
ZooKeeper
ZooKeeper 是一個高可用的分散式資料管理與系統協調軟體，它可以為分散式應用提供狀態同步、配置管理、名稱服務、群組服務、分散式鎖及佇列、以及 Leader 選舉等服務。主要支援以下特性：
- 線上伸縮：ZooKeeper 支援橫向、縱向的線上伸縮，既可以線上增加、刪除節點，也可以線上更改資源配置。
- 監控服務：ZooKeeper 提供了詳細的監控資訊，既有對每個節點的資源監控，如記憶體使用率等；也對每個節點提供了 ZooKeeper 服務監控，包括節點角色、響應延遲時間等。
- 告警：我們對每個節點 ZooKeeper 服務是否正常進行監控並設定告警策略，一旦某個節點 ZooKeeper 服務發生異常就進行告警，併傳送簡訊和郵件通知給使用者。
- 自我診斷與自我修復：當系統發現某節點壞死時會自我修復，無需人為干預。
- 更多詳情請參看《ZooKeeper服務指南》。
訊息佇列（Message Queue）服務是為了緩解訊息生產者與訊息消費者之間不同步問題，從而在兩者之間加了一層緩衝區的一項服務。青雲目前支援的 Kafka 是一個分散式、可分割槽、多副本的訊息系統，具有高吞吐量、低延遲等優點。主要支援以下特性：
- 線上伸縮：訊息佇列服務支援橫向、縱向的線上伸縮，既可以線上增加、刪除節點，也可以線上更改資源配置。
- 監控服務：訊息佇列服務提供了詳細的監控資訊。以 Kafka 為例，既有對每個節點的資源監控，如記憶體使用率、 CPU 使用率等；也對每個節點提供了 Kafka 服務監控，包括 Java 虛擬機器堆記憶體使用率、訊息吞吐率、資料吞吐率等。
- 告警：我們支援對每個節點配置監控告警策略，當發生異常時，會觸發使用者設定的告警閾值，併傳送簡訊和郵件通知給使用者。除了資源如CPU、記憶體、硬碟告警外， Kafka 還支援“存在異常分割槽”的監控告警。
- 靈活組網：青雲提供靈活的網路配置來支援 Kafka 的 broker, producer 和 consumer 都不在一個網段中的情況，可以通過修改 broker 的 Advertised 主機名 與 Advertised 埠來實現。
- 配置修改：我們通過訊息佇列配置組來管理訊息佇列服務的配置。訊息佇列服務和訊息佇列配置組是解耦的，您可以建立多個獨立的配置組，並應用到不同的訊息佇列服務。 訊息佇列服務在執行過程中，也可以隨時變更配置組。
- 更多詳情請參看《訊息佇列服務指南》。
評論(1)