目前,隨著MySQL在各個行業的深入使用,在不同資料系統、不同資料中心、不同業務系統之間進行資料傳輸、資料訂閱、形成資料匯流排等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特點、支援多種使用場景的資料傳輸中介軟體。
DTLE:
http://dtle.cloud
https://github.com/actiontech…
對應文件地址:
https://actiontech.github.io/…
DTLE QQ群:852990221
DTLE是什麼?
DTLE是一個開源的資料傳輸中介軟體,其針對的核心場景如下:
· 跨資料中心的資料傳輸:DTLE能在資料中心間進行可靠資料傳輸,並提供鏈路壓縮以降低傳輸成本
· 雲間資料同步/遷移:DTLE能提供在公有云間架設資料同步通道,以支援資料容災等需求
· 資料匯聚:DTLE能將多個資料來源匯聚到同一個資料來源,以提供資料分析/資料轉儲的功能
· 資料訂閱:DTLE能將資料來源的變更訊息發往Kafka等訊息中介軟體,以支援資料訂閱通知/快取失效通知等需求
· 跨資料中心的雙向複製:DTLE能在資料中心間提供雙向複製通道,以配合業務實現資料雙寫
為什麼要開源?
隨著MySQL在各行業的使用場景逐漸成熟,以資料傳輸為基礎的需求逐漸增多。若要設計一款良好的資料傳輸中介軟體,要解決的核心問題是:如何保障質量、適配複雜場景、提供多樣功能。
在2017年10月24日,愛可生開源了MySQL分散式中介軟體—DBLE。時隔一年,DBLE與社群互動良好,從社群吸納了許多設計經驗和質量反饋,已成為一款成熟的資料庫中介軟體。隨著社群使用者增多,已實現了與社群使用者的雙贏。
愛可生此次開源DTLE,是真誠為社群提供MySQL生態圈裡一個可持續發展的工具,並希望與社群再次達成雙贏,解決資料傳輸中介軟體的核心問題。
DTLE的設計特點
· 分散式架構:DTLE在資料傳輸這個基本場景上,使用了成熟的分散式任務排程架構,可以便捷地在叢集中配置大量的資料傳輸任務,提供斷點續傳/故障轉移等分散式系統的重要特性
· 靈活的網路適配能力:DTLE可適配複雜的網路架構,提供跨資料中心的資料通道功能和公有云間的資料通道功能
· 多場景適配:DTLE通過組合多個原子任務,可適配複雜的資料傳輸場景
關於開源 MySQL 資料傳輸中介軟體DTLE更多技術細節我們後期會持續輸出,版本更新維護及使用問題反饋,歡迎加入DTLE(Q群:852990221)。