Kafka-on-Pulsar 實現了偏移更好支援kafka - StreamNative
KoP(Kafka on Pulsar) 2.8.0 支援連續偏移，現在可以投入生產。
預設情況下，Pulsar broker 只支援 Pulsar 協議。透過協議處理程式，Pulsar broker 可以支援其他訊息協議，包括 Kafka、AMQP 和 MQTT。這允許 Pulsar 與基於其他訊息傳遞技術構建的應用程式互動，從而擴充套件 Pulsar 生態系統。
Kafka-on-Pulsar (KoP)是一種協議處理程式，可將原生 Kafka 協議引入 Pulsar。它使開發人員能夠使用現有的 Kafka 應用程式將資料釋出到 Pulsar 或從 Pulsar 獲取資料，而無需更改程式碼。KoP 顯著降低了 Kafka 使用者採用 Pulsar 的障礙，使其成為最受歡迎的協議處理程式之一。
KoP 透過解析 Kafka 協議並透過 Pulsar 提供的流儲存抽象直接訪問 BookKeeper 儲存來工作。雖然Kafka和Pulsar有很多共同的概念，比如topic和partition，但是在Pulsar中沒有對應的Kafka偏移的概念。KoP 的早期版本透過簡單的轉換方法解決了這個問題，該方法不允許連續偏移並且容易出現問題。
為了解決這個痛點，KoP 2.8.0 中引入了代理入口後設資料以實現連續偏移。透過此更新，KoP 可用且可用於生產。請務必注意，此更新後向後相容性已被破壞。在這篇部落格中，我們深入探討了 KoP 如何在 2.8.0 之前和之後實現偏移。並解釋重大變化背後的基本原理。
詳細點選標題
相關文章
- kafka的偏移量Kafka
- kafka重置偏移量Kafka
- 【Kafka】《Kafka權威指南》——提交和偏移量Kafka
- Spark Streaming 之 Kafka 偏移量管理SparkKafka
- StreamNative將Kafka整合到基於Apache Pulsar的雲中KafkaApache
- Kafka 偏移量管理實現精確一次語義在Spark&Flink中的技術實踐-kafka商業應用實戰KafkaSpark
- Kafka中手工提交偏移量的4種方法Kafka
- 如何更好實現業務治理？
- 使用Kafka實現事件溯源Kafka事件
- Kafka - SQL 程式碼實現KafkaSQL
- Postman現在支援gRPC了PostmanRPC
- alpakka-kafka(10)-用kafka實現分散式近實時交易Kafka分散式
- alpakka-kafka(8)-kafka資料消費模式實現Kafka模式
- ECMAScript 6：更好的 Unicode 支援Unicode
- TensorFlow 開發者峰會：支援 Swift，更好的支援 JavaScriptSwiftJavaScript
- Kafka - 支援壓縮種類Kafka
- 現在有多少手機支援JAVA了?Java
- Java實現Kafka讀寫筆記JavaKafka筆記
- TensorFlow開發者會峰會：支援Swift，更好的支援JavaScriptSwiftJavaScript
- Kafka實戰－Kafka ClusterKafka
- Kafka又出問題了！Kafka
- 多雲已成現實，企業如何更好地實現多雲管理？
- 如何更好的使用OPcache實現效能優化opcache優化
- Kafka ACL實現架構以及實操案例剖析Kafka架構
- Kafka 叢集如何實現資料同步？Kafka
- RabbitMQ、RocketMQ、Kafka延遲佇列實現MQKafka佇列
- eXo 如何實現中文支援?
- Java16的Vector API更好支援機器學習JavaAPI機器學習
- 再見了Kafka，MQ新王Pulsar大廠實踐！KafkaMQ
- Kafka實戰－Flume到KafkaKafka
- Kafka實戰－Kafka到StormKafkaORM
- View and Data API 現在支援IE11了ViewAPIIE11
- librdkafka: 如何設定Kafka消費者訂閱訊息的起始偏移位置Kafka
- Airbnb定製Superset實現更好BI商業智慧AI
- 利用Oracle許可實現更好控制Linux(轉)OracleLinux
- 基於Canal+Kafka實現快取實時更新Kafka快取
- Knative 實戰：基於 Kafka 實現訊息推送Kafka
- Spring Boot和Apache Kafka結合實現錯誤處理，訊息轉換和事務支援？Spring BootApacheKafka