Kafka-on-Pulsar 實現了偏移更好支援kafka - StreamNative

banq發表於2021-12-04
Kafka

KoP(Kafka on Pulsar) 2.8.0 支援連續偏移，現在可以投入生產。
預設情況下，Pulsar broker 只支援 Pulsar 協議。透過協議處理程式，Pulsar broker 可以支援其他訊息協議，包括 Kafka、AMQP 和 MQTT。這允許 Pulsar 與基於其他訊息傳遞技術構建的應用程式互動，從而擴充套件 Pulsar 生態系統。

Kafka-on-Pulsar (KoP)是一種協議處理程式，可將原生 Kafka 協議引入 Pulsar。它使開發人員能夠使用現有的 Kafka 應用程式將資料釋出到 Pulsar 或從 Pulsar 獲取資料，而無需更改程式碼。KoP 顯著降低了 Kafka 使用者採用 Pulsar 的障礙，使其成為最受歡迎的協議處理程式之一。
KoP 透過解析 Kafka 協議並透過 Pulsar 提供的流儲存抽象直接訪問 BookKeeper 儲存來工作。雖然Kafka和Pulsar有很多共同的概念，比如topic和partition，但是在Pulsar中沒有對應的Kafka偏移的概念。KoP 的早期版本透過簡單的轉換方法解決了這個問題，該方法不允許連續偏移並且容易出現問題。
為了解決這個痛點，KoP 2.8.0 中引入了代理入口後設資料以實現連續偏移。透過此更新，KoP 可用且可用於生產。請務必注意，此更新後向後相容性已被破壞。在這篇部落格中，我們深入探討了 KoP 如何在 2.8.0 之前和之後實現偏移。並解釋重大變化背後的基本原理。
詳細點選標題

相關文章