MySQL-To-JSON的Kafka生產者
Maxwell 是一個讀取 MySQL binlogs 並將修改行欄位的更新寫入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH) 以作為 JSON 的應用程式。
Maxwell 擁有可對底層進行操作的操作欄(operational bar),可生成一致、易於獲取的更新流,你可以輕鬆“固定”流處理系統的一些優點,而無需通過整個程式碼庫來新增(不可靠)檢測點。
-
常見用例包括 ETL、快取構建/到期、指標收集、搜尋索引和服務間通訊。
-
可在表的初始載入過程中執行 SELECT * from table (bootstrapping)
-
支援在 master promotion 上的自動位置恢復
-
為 Kakfa 提供靈活的分割槽方案 —— 按資料庫、表、主鍵或欄位進行
Maxwell 通過充當完整的 mysql 副本來完成所有這些操作,包括用於 create/alter/drop 語句的 SQL 解析器。
示例
mysql> insert into `test`.`maxwell` set id = 1, daemon = `Stanislaw Lem`;
maxwell: {
"database": "test",
"table": "maxwell",
"type": "insert",
"ts": 1449786310,
"xid": 940752,
"commit": true,
"data": { "id":1, "daemon": "Stanislaw Lem" }
}
mysql> update test.maxwell set daemon = `firebus! firebus!` where id = 1;
maxwell: {
"database": "test",
"table": "maxwell",
"type": "update",
"ts": 1449786341,
"xid": 940786,
"commit": true,
"data": {"id":1, "daemon": "Firebus! Firebus!"},
"old": {"daemon": "Stanislaw Lem"}
}
本文來自雲棲社群合作伙伴“開源中國”
本文作者:局長
相關文章
- Kafka 生產者解析Kafka
- Kafka原始碼分析(二) - 生產者Kafka原始碼
- Kafka java api-生產者程式碼KafkaJavaAPI
- Kafka的生產者優秀架構設計Kafka架構
- 插曲:Kafka的生產者案例和消費者原理解析Kafka
- Kafka入門(3):Sarama生產者是如何工作的Kafka
- kafka_2.11-0.10.2.1 的生產者 消費者的示例(new producer api)KafkaAPI
- 「Kafka應用」PHP實現生產者與消費者KafkaPHP
- 從原始碼分析如何優雅的使用 Kafka 生產者原始碼Kafka
- 插曲:Kafka的生產者原理及重要引數說明Kafka
- java的kafka生產消費JavaKafka
- SpringBoot整合Kafka(生產者和消費者都是SpringBoot服務)Spring BootKafka
- springboot整合整合kafka-生產者監聽器ProducerListenerSpring BootKafka
- kafka生產者和消費者吞吐量測試-kafka 商業環境實戰Kafka
- 深入理解Kafka核心設計及原理(二):生產者Kafka
- edenhill/kcat:通用命令列非 JVM Apache Kafka 生產者和消費者命令列JVMApacheKafka
- 以PHP視角探尋Kafka - 實現簡易生產者功能PHPKafka
- Kafka 架構圖-輕鬆理解 kafka 生產消費Kafka架構
- 《Kafka實戰》之生產者API使用(引數解釋超詳細)KafkaAPI
- 生產者消費者
- kafka生產環境規劃-kafka 商業環境實戰Kafka
- kafka生產者Producer引數設定及引數調優建議-kafka 商業環境實戰Kafka
- 生產者消費者模式模式
- 生產者消費者模型模型
- RocketMQ - 生產者原理MQ
- python 生產者消費者模式Python模式
- 配置Apache Kafka生產者引數以獲得高可用性和彈性 - NabrajApacheKafka
- 生產消費者模式模式
- 《作為生產者的作者》筆記筆記
- Qt基於QSemaphore的生產者消費者模型QT模型
- java編寫生產者/消費者模式的程式。Java模式
- 九、生產者與消費者模式模式
- 生產者與消費者問題
- ActiveMQ 生產者和消費者demoMQ
- RocketMQ - 生產者啟動流程MQ
- 生產者與消費者之Android audioAndroid
- linux 生產者與消費者問題Linux
- 新手練習-消費者生產者模型模型