java B2B2C 原始碼 多級分銷Springcloud多租戶電子商城系統-KAFKA介紹

it小飛俠的微博發表於2019-04-12

Kafka是一個分散式的、可分割槽的、可複製的訊息系統。需要JAVA Spring Cloud大型企業分散式微服務雲構建的B2B2C電子商務平臺原始碼 一零三八七七四六二六,它提供了普通訊息系統的功能,但具有自己獨特的設計。這個獨特的設計是什麼樣的呢?

首先讓我們看幾個基本的訊息系統術語:

Kafka將訊息以topic為單位進行歸納。

將向Kafka topic釋出訊息的程式成為producers.

將預訂topics並消費訊息的程式成為consumer.

Kafka以叢集的方式執行,可以由一個或多個服務組成,每個服務叫做一個broker.

producers通過網路將訊息傳送到Kafka叢集,叢集向消費者提供訊息,如下圖所示:

客戶端和服務端通過TCP協議通訊。Kafka提供了Java客戶端,並且對多種語言都提供了支援。

Topics 和Logs

先來看一下Kafka提供的一個抽象概念:topic.

一個topic是對一組訊息的歸納。對每個topic,Kafka 對它的日誌進行了分割槽,如下圖所示:

每個分割槽都由一系列有序的、不可變的訊息組成,這些訊息被連續的追加到分割槽中。分割槽中的每個訊息都有一個連續的序列號叫做offset,用來在分割槽中唯一的標識這個訊息。

在一個可配置的時間段內,Kafka叢集保留所有釋出的訊息,不管這些訊息有沒有被消費。比如,如果訊息的儲存策略被設定為2天,那麼在一個消 息被髮布的兩天時間內,它都是可以被消費的。之後它將被丟棄以釋放空間。Kafka的效能是和資料量無關的常量級的,所以保留太多的資料並不是問題。

實際上每個consumer唯一需要維護的資料是訊息在日誌中的位置,也就是offset.這個offset有consumer來維護:一般情 況下隨著consumer不斷的讀取訊息,這offset的值不斷增加,但其實consumer可以以任意的順序讀取訊息,比如它可以將offset設定 成為一箇舊的值來重讀之前的訊息。

以上特點的結合,使Kafka consumers非常的輕量級:它們可以在不對叢集和其他consumer造成影響的情況下讀取訊息。你可以使用命令列來"tail"訊息而不會對其他正在消費訊息的consumer造成影響。

將日誌分割槽可以達到以下目的:首先這使得每個日誌的數量不會太大,可以在單個服務上儲存。另外每個分割槽可以單獨釋出和消費,為併發操作topic提供了一種可能。

分散式

每個分割槽在Kafka叢集的若干服務中都有副本,這樣這些持有副本的服務可以共同處理資料和請求,副本數量是可以配置的。副本使Kafka具備了容錯能力。

每個分割槽都由一個伺服器作為“leader”,零或若干伺服器作為“followers”,leader負責處理訊息的讀和 寫,followers則去複製leader.如果leader down了,followers中的一臺則會自動成為leader。叢集中的每個服務都會同時扮演兩個角色:作為它所持有的一部分分割槽的leader,同 時作為其他分割槽的followers,這樣叢集就會據有較好的負載均衡。

Producers

Producer將訊息釋出到它指定的topic中,並負責決定釋出到哪個分割槽。通常簡單的由負載均衡機制隨機選擇分割槽,但也可以通過特定的分割槽函式選擇分割槽。使用的更多的是第二種。

consumer

釋出訊息通常有兩種模式:佇列模式和釋出-訂閱模式。佇列模式中,consumers可以同時從服務端讀取訊息,每個訊息只被其中一個consumer讀到;釋出-訂閱模式中訊息被廣播到所有的consumer中。

Consumers可以加入一個consumer 組,共同競爭一個topic,topic中的訊息將被分發到組中的一個成員中。同一組中的consumer可以在不同的程式中,也可以在不同的機器上。如果所有的consumer都在一個組中,這就成為了傳統的佇列模式,在各consumer中實現負載均衡。

如果所有的consumer都不在不同的組中,這就成為了釋出-訂閱模式,所有的訊息都被分發到所有的consumer中。

更常見的是,每個topic都有若干數量的consumer組,每個組都是一個邏輯上的“訂閱者”,為了容錯和更好的穩定性,每個組由若干consumer組成。這其實就是一個釋出-訂閱模式,只不過訂閱者是個組而不是單個consumer。

由兩個機器組成的叢集擁有4個分割槽 (P0-P3) 2個consumer組. A組有兩個consumerB組有4個

相比傳統的訊息系統,Kafka可以很好的保證有序性。

傳統的佇列在伺服器上儲存有序的訊息,如果多個consumers同時從這個伺服器消費訊息,伺服器就會以訊息儲存的順序向consumer分 發訊息。雖然伺服器按順序釋出訊息,但是訊息是被非同步的分發到各consumer上,所以當訊息到達時可能已經失去了原來的順序,這意味著併發消費將導致 順序錯亂。為了避免故障,這樣的訊息系統通常使用“專用consumer”的概念,其實就是隻允許一個消費者消費訊息,當然這就意味著失去了併發性。

在這方面Kafka做的更好,通過分割槽的概念,Kafka可以在多個consumer組併發的情況下提供較好的有序性和負載均衡。將每個分割槽分 只分發給一個consumer組,這樣一個分割槽就只被這個組的一個consumer消費,就可以順序的消費這個分割槽的訊息。因為有多個分割槽,依然可以在多 個consumer組之間進行負載均衡。注意consumer組的數量不能多於分割槽的數量,也就是有多少分割槽就允許多少併發消費。

Kafka只能保證一個分割槽之內訊息的有序性,在不同的分割槽之間是不可以的,這已經可以滿足大部分應用的需求。如果需要topic中所有訊息的有序性,那就只能讓這個topic只有一個分割槽,當然也就只有一個consumer組消費它。

歡迎大家一起學習研究相關技術。 java B2B2C 原始碼 多級分銷Springcloud多租戶電子商城系統

相關文章