Go 大資料生態迎來重量級產品 CDS
本專案地址:https://github.com/tal-tech/cds
ClickHouse 是一個用於聯機分析 (OLAP) 的列式資料庫管理系統 (DBMS)。它有著優異的效能,可以快速部署和執行。 不過要想使用 ClickHouse 搭建起數倉用於資料分析,一個重要的問題就是資料如何進入 ClickHouse? 我們希望資料來源的變化能夠自動實時地被同步到 ClickHouse,而且支援方便的動態的新增新的資料來源 (新的資料庫,表), 能夠自動的生成對應資料來源的 schema。
go-zero團隊使用 go 語言圍繞 ClickHouse 開發了一些方便的元件與服務。
我們得到了下面這樣的資料同步設計
該資料同步系統大致由以下三部分組成
- DM 全量同步服務 github.com/tal-tech/cds/dm
- RTU 實時增量同步服務 github.com/tal-tech/cds/rtu
- Galaxy 網頁控制檯服務 github.com/tal-tech/cds/galaxy
流程如下:
- 使用者可以在網頁控制檯新增資料來源,自動生成 DDL,新增同步任務,該任務會被髮送到 etcd。
- dm 會收到全量同步的通知,執行歷史資料的全量同步工作。
- 之後網頁控制檯服務會指定 connector 開啟資料庫 log 監聽工作,資料會進入 kafka。
- 監聽 etcd 叢集的 RTU 實時增量同步服務服務會發現有新的任務,RTU 自動領取任務,到 kafka 消費資料並同步至 ClickHouse。
上述服務的開發使用了 go 語言。藉助於go-zero中的工具包,如 goctl 等, 我們快速實現了它。它還加入了支援自適應 mongoDB 結構變化,支援資料分表等。
我們相信這是 go 語言與 ClickHouse 探索大資料的一個不錯的起點,我們希望有更多的人能夠參與進來。
CDS 專案地址:https://github.com/tal-tech/cds
go-zero 專案地址:https://github.com/tal-tech/go-zero
歡迎大家 star 並加入微信社群 ?
更多原創文章乾貨分享,請關注公眾號
- 加微信實戰群請加微信(註明:實戰群):gocnio
相關文章
- Go 大資料生態迎來重要產品 CDSGo大資料
- Go 大資料生態開源專案 CDS 中 ClickHouse 使用的建表方案Go大資料
- 產品的生態系統
- 蘋果自曝新產品:全線產品將迎來一次大更換蘋果
- 大資料產品到底應該是什麼形態?大資料
- 京東金融將釋出重量級技術與資料產品 招募合作伙伴共拓藍海市場
- KubeBlocks完成阿里雲PolarDB資料庫產品生態整合認證BloC阿里資料庫
- OceanBase 生態產品:時序資料庫CeresDB 正式釋出 1.0 版本資料庫
- KubeBlocks 完成阿里雲 PolarDB 資料庫產品生態整合認證啦!BloC阿里資料庫
- BeetleX大資料之產品分析服務大資料
- 什麼是大資料?大資料的產生、特點、用途大資料
- 大資料生態中的 RocketMQ 5.0大資料MQ
- 庫克談蘋果新品 產品線將迎來巨大創新蘋果
- 產品的三層境界:工具-平臺-生態
- DataPipeline與海量資料完成產品互認證,助推資料管理信創生態新程式API
- mysqldump同步生產到生產資料MySql
- 大資料平臺生產環境部署指南大資料
- 工廠生產資料實時分析,產品質量高效管控
- 中國迎來大資料“黃金時代”資料安全需求更加迫切大資料
- 大資料計算生態之資料計算(二)大資料
- 大資料計算生態之資料計算(一)大資料
- 前端人眼中的大資料生態鏈前端大資料
- 阿里雲事件生態再升級:使用 EventBridge 驅動全量雲產品阿里事件
- 大資料對房地產行業的未來發展產生的巨大作用大資料行業
- 大資料帶來信貸“四則運算”:金融生態需要“加減乘除”大資料
- 生態 | 適配月報 國產資料庫GBase4月認證35款產品資料庫
- PIX自動駕駛應用生態產品 | Showbar智慧飲料零售車自動駕駛
- 研發團隊管理:IT研發中專案和產品原來區別那麼大,專案級的專案是專案,產品級的專案是產品!!!
- 來外灘大會密態計算論壇,洞察資料可信流通產業生態重構產業
- 大資料生態圈技術框架總攬大資料框架
- 資訊圖:大資料企業生態圖譜大資料
- 騰訊大資料高階產品總監洪桃李:決勝未來的4大關鍵能力大資料
- 資料產品:CDP(客戶資料平臺)必備的產品能力
- 大資料對法律行業產生的影響大資料行業
- BBGame | 重塑日本重量級IP,全新玩法由你來定GAM
- 大資料技術沙龍來襲!2023走進網易:創新重塑資料生產力大資料
- 迎戰大資料-Oracle篇大資料Oracle
- 產品如何進行大屏資料視覺化.md視覺化