kafka入門安裝和使用

962721775y發表於2018-11-07

Kafka教程

簡介

1.訊息中介軟體介紹

訊息中介軟體是在訊息的傳輸過程中儲存訊息的容器。訊息中介軟體在將訊息從訊息生產者到消費者時充當中間人的作用。佇列的主要目的是提供路由並保證訊息的傳送；如果傳送訊息時接收者不可用，訊息對列會保留訊息，直到可以成功地傳遞它為止，當然，訊息佇列儲存訊息也是有期限的

2.訊息中介軟體特點

採用非同步處理模式：
訊息傳送者可以傳送一個訊息而無須等待響應。訊息傳送者將訊息傳送到一條虛擬的通道（主題或者佇列）上，訊息接收者則訂閱或者監聽該通道。一條訊息可能最終轉發給一個或多個訊息接收者，這些接收者都無需對訊息傳送者做出同步回應。整個過程是非同步的。比如使用者資訊註冊。註冊完成後過段時間傳送郵件或者簡訊。

應用程式和應用程式呼叫關係為鬆耦合關係：
傳送者和接收者不必要了解對方、只需要確認訊息傳送者和接收者不必同時線上比如線上交易系統為了保證資料的最終一致，在支付系統處理完成後會把支付結果放到資訊中介軟體裡通知訂單系統修改訂單支付狀態。兩個系統通過訊息中介軟體解耦。

3.Kafka介紹

Apache kafka是訊息中介軟體的一種，舉個例子，生產者消費者，生產者生產雞蛋，消費者消費雞蛋，生產者生產一個雞蛋，消費者就消費一個雞蛋，假設消費者消費雞蛋的時候噎住了（系統當機了），生產者還在生產雞蛋，那新生產的雞蛋就丟失了。再比如生產者很強勁（大交易量的情況），生產者1秒鐘生產100個雞蛋，消費者1秒鐘只能吃50個雞蛋，那要不了一會，消費者就吃不消了（訊息堵塞，最終導致系統超時），消費者拒絕再吃了，”雞蛋“又丟失了，這個時候我們放個籃子在它們中間，生產出來的雞蛋都放到籃子裡，消費者去籃子裡拿雞蛋，這樣雞蛋就不會丟失了，都在籃子裡，而這個籃子就是”kafka“。雞蛋其實就是“資料流”，系統之間的互動都是通過“資料流”來傳輸的（就是tcp、http什麼的），也稱為報文，也叫“訊息”。訊息佇列滿了，其實就是籃子滿了，”雞蛋“ 放不下了，那趕緊多放幾個籃子，其實就是kafka的擴容。現在知道kafka是幹什麼的了吧，它就是那個"籃子"。

4.kafka名詞解釋

producer：生產者，就是它來生產“雞蛋”的。

consumer：消費者，生出的“雞蛋”它來消費。

topic：你把它理解為標籤，生產者每生產出來一個雞蛋就貼上一個標籤（topic），消費者可不是誰生產的“雞蛋”都吃的，這樣不同的生產者生產出來的“雞蛋”，消費者就可以選擇性的“吃”了。

broker：就是籃子了。

一定要學會抽象的去思考，上面只是屬於業務的角度，如果從技術角度，topic標籤實際就是佇列，生產者把所有“雞蛋（訊息）”都放到對應的佇列裡了，消費者到指定的佇列裡取。