- **介紹**
Kafka和Pulsar是兩種分散式訊息流平臺，主要用於實現大規模資料流處理和訂閱/釋出模型。
Kafka是由LinkedIn公司開發的一種分散式訊息系統，支援高吞吐量的資料流處理。Kafka擁有高可用性和擴充套件性，適用於資料量巨大的場景。
Pulsar是由Apache Software Foundation開發的一種開源的分散式訊息流平臺，擁有高效的儲存和釋出/訂閱功能。Pulsar的特點是支援多種資料模型（如訊息、流、固定檔案），並支援實時資料處理。
總的來說，Kafka和Pulsar都是優秀的分散式訊息流平臺，適用於不同的場景。企業選擇具體使用哪個平臺，取決於其業務需求和技術要求。

- **基礎功能**
訊息釋出/訂閱：支援訊息的釋出和訂閱，以實現資料的實時傳輸。
分散式架構：支援分散式架構，可以擴充套件資料處理能力。
資料持久化：支援資料持久化，保證資料不丟失。
資料負載均衡：支援資料負載均衡，以提高資料處理效率。
高吞吐量：支援高吞吐量的資料處理，適用於資料量巨大的場景。
資料備份：支援資料備份，以保證資料安全。
資料消費者位置記錄：支援記錄消費者的位置，以實現容錯和故障恢復。
資料流處理：支援資料流的處理，以實現實時的資料處理。

- **特性**
Kafka:
高吞吐量：Kafka支援高吞吐量的資料處理，適用於資料量巨大的場景。
分散式架構：Kafka擁有分散式架構，支援資料的分散式處理和儲存。
資料持久化：Kafka支援資料的持久化，保證資料不丟失。
可擴充套件性：Kafka可以透過擴充套件叢集來提高處理能力。
Pulsar:
多種資料模型：Pulsar支援多種資料模型（如訊息、流、固定檔案），更適用於多種資料型別的場景。
高效儲存：Pulsar擁有高效的儲存功能，支援大量資料的儲存。
實時資料處理：Pulsar支援實時資料處理，以實現資料的實時分析。
可擴充套件性：Pulsar支援水平擴充套件，可以透過增加節點來提高處理能力。
總體來說，Kafka更適用於資料量巨大的場景，而Pulsar更適用於多種資料型別的場景。實際使用中，應根據具體業務需求來選擇使用Kafka或Pulsar。

- **kafka的概念**
Kafka消費組：Kafka將多個消費者劃分到一個邏輯分組中，該分組即一個消費組。這個概念比較重要，結合上面的例子進行說明，在Kafka中，權益服務所有的消費者都可以加入一個權益消費組rightsGroup，而許可權服務所有的消費者都可以加入一個許可權消費組guthorityGroup。不同消費者之間消費訊息互不幹預。
Broker：Kafka服務節點，可以將Broker理解為一個Kafka的服務節點或者服務程式（下面將其統稱為Broker節點），多個Broker節點可以組成一個Broker叢集。
分割槽Partition：Kafka定義了分割槽的概念，一個主題由一個或多個分割槽組成，Kafka將一個主題的訊息劃分到不同的分割槽，並將不同分割槽儲存到不同的Broker，從而實現分散式儲存（典型的資料分片思想），每個分割槽都有對應的下標，下標從0開始。
副本Replica：Kafka中每個分割槽都有一個或多個副本，其中有1個leader副本，0個或多個follow副本，每個副本都儲存了該分割槽全部的內容。Kafka會將一個分割槽的不同副本儲存到不同的Broker節點中，以保證資料的安全。本書後面會詳細分析Kafka副本同步機制。
AR（Assigned Replicas）：分割槽的副本列表，即一個分割槽所有副本所在Broker的列表。
ISR：分割槽中所有與leader副本保持一定程度同步（即不能落後太多）的副本會組成ISR（In-Sync Replicas）集合。ISR集合中包括leader副本，可以將其理解為已同步副本（不一定完全同步，但不會落後太多）。
ACK機制：ACK（訊息確認）機制是訊息系統中的一個很重要的機制，訊息系統ACK機制與HTTP的ACK機制非常類似。
架構圖：
![](http://img.blog.itpub.net/blog/2023/02/01/9d37b490c79697b4.png?x-oss-process=style/bb)

- **Pulsar的概念**
Pulsar訂閱組：Pulsar可以將多個消費者繫結到一個訂閱組中，類似於Kafka的消費組。同樣使用前面“使用者服務”的例子進行說明，在Pulsar中，權益服務所有的消費者都可以繫結一個權益訂閱組rightsSubscription，而許可權服務所有的消費者都可以繫結一個許可權訂閱組guthoritySubscription，不同訂閱組之間消費訊息互不幹預。
非分割槽主題、分割槽主題：Kafka中每個分割槽都與一個Broker繫結，而Pulsar中每個主題都與一個Broker繫結，某主題的訊息固定傳送給相應的Broker節點。而Pulsar中也有“分割槽主題”的概念，分割槽主題由一組非分割槽的內部主題組成（下面將Pulsar中組成分割槽主題的非分割槽內部主題簡稱為內部主題），每一個內部主題都與一個Broker繫結，這樣一個分割槽主題可以將訊息傳送到多個Broker，避免Pulsar單個主題的效能受限於單個Broker節點。
Broker：Pulsar叢集中的服務節點。需要注意，Pulsar由於採用計算、儲存分離的架構，因此Pulsar Broker節點只負責計算，並不負責儲存，Pulsar Broker節點會完成資料檢驗、負載均衡等工作，並將訊息轉發給Bookie節點。
Bookie：Pulsar利用BookKeeper服務實現儲存功能，BookKeeper中的節點被稱為Bookie節點。BookKeeper框架是一個分散式日誌儲存服務框架，本書後面會詳細分析它。Pulsar中的Bookie節點負責完成訊息儲存工作。
Ledger：BookKeeper的資料集合，生產者會將資料寫入Ledger，而消費者從Ledger中讀取資料。為了資料安全，BookKeeper會將一個Ledger的資料儲存到多個Bookie節點中，實現資料備份。
Entry：Ledger中的資料單元，Ledger中的每個資料都是一個Entry。可以將Ledger理解為一個賬本，Entry則是賬本中的一個條目。
租戶、名稱空間：Pulsar定義了租戶、名稱空間的概念，Pulsar是一個多租戶系統，它給不同的租戶分配不同的資源，並保證不同租戶之間的資料相互隔離，互不幹預，這樣可以支援多團隊、多使用者同時使用一個Pulsar服務。每個租戶還可以建立多個名稱空間，名稱空間為主題的邏輯分組。可以將Pulsar理解為一個大房子，每個租戶是房子裡的一個房間，並且這個房間的空間劃分為不同的區域（名稱空間），不同區域存放不同的物件。例如，使用者服務可以建立一個租戶“user”，儲存使用者服務的訊息。
Cluster叢集：Pulsar為叢集定義了一個Cluster概念，每個Pulsar Broker節點都執行在一個Cluster叢集下，不同的Cluster叢集之間可以相互複製資料，從而實現跨地域複製。
ACK機制：與Kafka類似，Pulsar同樣需要完成“Broker儲存訊息後返回成功響應給生產者”“消費者成功處理訊息後傳送ACK給Broker”。Pulsar中的每個訊息都有一個訊息Id，Pulsar消費者會將消費成功的訊息Id作為ACK請求內容傳送給Broker。
架構圖：
![](http://img.blog.itpub.net/blog/2023/02/01/83b33e0705cd039c.png?x-oss-process=style/bb)

- **訊息系統ACK機制**
ACK（Acknowledgment）是訊息系統中的確認機制，用於保證訊息的可靠傳遞。
在訊息系統中，生產者傳送的訊息需要被消費者接收並確認，ACK機制就是用來實現這個過程的。
訊息系統通常使用兩種ACK機制：
At-least-once ACK：生產者在收到消費者的確認後才認為訊息已經成功傳送，如果消費者未確認，生產者會重試傳送訊息。
Exactly-once ACK：保證訊息僅被消費者接收一次，通常使用事務來實現。

大資料技術 - 分散式訊息流平臺：Kafka與Pulsar的介紹

相關文章