對標Fivetran， Tapdata 憑什麼做到實時資料賽道No.1？

資料管理並不是一個新領域，從企業建立資料倉儲開始，資料管理這個詞就已經存在。只不過，在傳統資料整合工具及技術架構下，“讓使用者使用資料像使用水和電一樣簡單”，還僅是一個美好願景，很多企業距離這個目標相差十萬八千里，這給技術創新帶了新的契機。尤其是，隨著企業數字化轉型步伐的加快，資料的互聯互通成為剛需，越來越多的企業希望打通企業的關鍵資料來源，構建自己的護城河。

為使用者解決一切複雜的資料處理過程，從源頭上打造更簡單易用、方便快捷的 “煉油廠”，Fivetran與Tapdata都是在這樣的背景下誕生!

異軍突起，創造性成果的開端總相似

2012年，在Hadoop還處於大資料革命暴風眼時刻，一家專注於打造“資料管道”的公司“異軍突起”，這家公司就是來自大洋彼岸的Fivetran!憑藉不同於Hadoop、AWS Athena的資料湖路線，使用SQL(被廣泛支援的數倉語言)統一使用者的Transform、Analytics卓越體驗，Fivetran被稱為是當時的ETL新派玩家。

十年之後，Fivetran已是福布斯未來獨角獸上榜企業，擁有56億美元估值。憑藉ELT+E獨特的資料整合能力，Fivetran不僅與Snowflake、IBM、SAP、Oracle資料庫或資料倉儲實現了連線，還與ASICS、Autodesk、DocuSign等世界知名公司建立了合作伙伴關係。

在中國，也有這樣一家公司，試圖在實時資料服務領域打造具有自主智慧財產權的“中國方案”。Tapdata，相信圈內人士並不會感到陌生!

像自來水管一樣連線資料，當業務有需要，擰開水龍頭(Tap)，就能得到新鮮的資料，Tapdata已成為實時資料服務的“代名詞”。憑藉獨特的DaaS 架構理念，Tapdata可以讓源和目標庫之間的資料達到最高亞秒級延遲，並提供合併、清洗、轉化，以及資料建模、治理等實時的資料處理能力，最終讓使用者以低程式碼作業的方式實現資料釋出。

Tapdata的核心成員主要由海歸人士、國內知名技術專家組成。公司創始人唐建法曾是MongoDB 大中華區首席架構師、現任MongoDB 中文社群主席，也是開源專案 Angoose 的作者。除了創始人身份不凡，團隊的其他核心成員，也都來自業內知名企業，包括Oracle、百度、阿里、騰訊等。

Tapdata成立於2019年9月，雖然還不到三年，但經歷了三輪融資。首輪千萬融資來自極客公園旗下變數資本等投資機構;2021年，公司獲得五源資本獨家領投及XVC、德聯資本聯合領投的數千萬美元 PreA 及PreA+輪投資。2021 年，Tapdata已經實現超過千萬的營收，為中國移動、中國一汽、周生生、中國聯通、南方電網、中國建築等大型企業提供了專業化服務。

可以說，無論是從發展歷程、產品服務、業務模式，還是從資本實力和增長方式來看，兩家公司都有太多的相似之處。很多人可能會問，兩家公司快速成長的背後推動力是什麼?什麼才是資料整合類企業的生命力?究其根本，“簡化資料管理，讓資料流動起來”，應該是新興資料整合類企業的共同成長基因，也是在群雄逐鹿的市場競爭中能夠脫穎而出的祕密武器。

另闢蹊徑，Tapdata 搶佔實時資料服務賽道先機

至於，Tapdata為什麼敢於對標Fivetran，自然有自己的獨特之處!

Tapdata 與 Fivetran，雖然兩家公司成立時間不同，但都是新資料技術背景下孕育出來的優秀公司，都在打造靈活、易用以及極度高效的”“資料管道” 。只不過，Tapdata的核心理念是“資料即服務”，比“資料管道”的理念要更進一步，讓客戶從關注管道如何建設的層面，上升到只關心需要哪些資料、如何用好這些資料，Tapdata可以實時地將資料送達到客戶指定的任何應用場景上。簡單理解，Tapdata不僅解決了企業的資料孤島問題，還能讓資料價值得以釋放!

另外，兩家公司的產品策略不同，打法也不一樣。Fivetran 主打的業務場景是雲上數倉，也就是從雲業務開始起步，主攻資料倉儲這個賽道;而 Tapdata 是從打造本地化的 DaaS 實時資料服務平臺開始，重點是實時資料的整合與開發。

大體來看，DaaS 還是一個新興領域，只有美國的 Dremio 和 Tibco 推出了類似業務，但這兩家企業只是把實時 DaaS 當作眾多產品線中的一個分支。所以，嚴格來說，主推面向OLTP(Online transaction processing)場景的實時 DaaS 架構並擁有完整團隊的企業，Tapdata 其實是業內第一家。尤其在國內，致力於實時資料領域的企業更是鳳毛麟角。目前，Tapdata 正在持續鞏固實時資料賽道領跑者地位，實時整合能力已經涵蓋了主流的資料庫、訊息中介軟體、雲上資料庫以及國產資料庫等，並投入更多資源來打造開放平臺以支援未來數以千計的資料來源。

▲Tapdata 能將多源異構資料在亞秒級內為完成整合&處理，並實時為下游 AP 或 TP 業務供數

當然，之後的發展過程說明，從哪裡起步並不重要，重要的是最終目的地是哪裡。為了具備關鍵業務流程整合能力，Fivetran 收購了 HVR，補齊其實時資料能力;而 Tapdata 在此之前就更聚焦實時資料，擁有包括基於日誌的實時同步管道，低程式碼流式資料開發和資料 API 服務三大能力模組。相較於Fivetran 從 ETL/ELT 開始，專注為數倉以批量方式提供資料，Tapdata 更關注高價值資料的實時服務，而資料管道本身的搭建則是順帶提供的服務。

值得一提的是，在 OLTP 核心業務處理能力上，Tapdata 的資料處理能達到亞秒級。比如：Oracle 資料庫的資料在源頭髮生了變化，在零點幾秒的時候，資料已經同步到主資料平臺，完成了整個資料的更新，並且對外提供服務。所以，技術架構的變化，不僅為業務帶來高時效性，也帶來了商業模式的重大革新。

成功的第一步——選對賽道，Tapdata已經做到了。

然而，如何成為實時資料賽道的No1?除了技術實力硬核、產品經受市場廣泛驗證以外，能否被上下游使用者及夥伴普遍認知和應用，也是一項重要評判標準。Tapdata 的戰略是，秉承“開源、開放”原則，從而加速 DaaS 的普及，只是，Tapdata沒有直接開源，而是在國內率先推出 Tapdata Cloud ，將異構資料實時同步能力以免費開放的形式，為使用者提供開箱即用的 SaaS 服務。

免費+雲化，Tapdata Cloud 成為國內實時資料同步的No1

“如果說商業化是最終目標，那‘開源’和‘開放’就是兩個重要抓手。”Tapdata產品合夥人徐亮 解釋道，Tapdata Cloud 的核心理念是開放，讓一些技術實力不足的公司或者使用者，能夠快速、方便地打造資料管道，實現資料實時同步目標。

▲通過 Tapdata Cloud 實現異構資料的實時同步

對大多數使用者而言，使用 SaaS 同步工具首先會考慮資料的安全問題。如何讓資料不經過雲平臺網路，讓源資料直接到目標資料?這歸功於TCM (Tapdata Cloud Manager)+ Tapdata Agent 架構，Tapdata Agent 可以執行在使用者提供的伺服器上，並且通過TCM的排程，在使用者可控的網路環境下自動同步和處理資料。

▲Tapdata Cloud 的 TCM + Tapdata Agent 架構

也就是說，Tapdata 的 Agent 能夠部署到使用者本地的環境裡，進而全面確保使用者的資料安全，不管是伺服器，還是資料，都不會暴露在外部網路上，這也是雲化模式下使用者確保資料安全性的特有架構。在部署結構上，我們可以理解為是一個私有云環境，但是會和 TCM 之間有一個單向的通訊，把一些程式、狀態類的資訊報上去，解決應用需求問題，但資料會留在本地。TCM主要的工作就是管理，使用者可以在平臺上註冊，定義自己的任務，等到真正執行同步任務的時候，所有資料都在使用者本地流轉。

如此一來，Tapdata Cloud “TCM + Agent 架構”不僅最大化支援了異構資料的同步(包括全量同步、增量同步、斷點續傳等)，還能在全面確保資料安全的前提下，以線上服務的方式提供給使用者使用，0程式碼視覺化的操作介面，哪怕是業務人員也能快速上手使用，不需要專業的程式設計能力。

至於，Tapdata Cloud為什麼要免費?最終目標其實還是要實現商業價值轉化。

簡單理解，Tapdata Cloud 的目標客戶是中小企業CIO以及業務層人員;Tapdata 開源版本(即將釋出)，面向的使用者是技術專家級別，開發人員可以基於原始碼進行應用構建。而免費，可以快速影響潛在使用者，讓不同人群全面接觸Tapdata，構建符合自己業務需求的應用場景。

目前，Tapdata Cloud已正式對外開放，使用者在官網註冊 Tapdata Cloud賬號，即可通過 SaaS 管理後臺在使用者本地網路環境部署 Tapdata agent ，從而實現異構資料免費實時同步。相對於同類產品，Tapdata Cloud 的落地速度更快，使用者不需要維護，直接使用即可。

從2021年10月份公測以來，Tapdata Cloud已經有幾千家企業使用者在測試和使用，包括電商企業、社群團購、智慧交通、營銷傳媒、SaaS軟體企業等。主要解決跨系統之間的資料實時同步/備份/遷移、整合和實時分析等問題。比如常見的場景有：

· 複製生產資料庫：為減少對生產環境資料的影響，以無感方式實時映象生產庫資料;

· 加速資料全文搜尋：將關係型資料庫實時同步到 ElasticSearch 實現高效全文檢索;

· 不停機遷移資料庫：全量+增量資料同步，可將停機遷移時間降低到分鐘級;

· 構建只讀例項：將讀請求分流至只讀例項中，分擔主資料庫例項的壓力;

· 構建實時數倉：讓資料實時、流暢地在業務系統和運營系統中流轉;

· 構建雲上雲下/多雲資料生態：將開發和生產資料、主資料和數倉等，根據最優選擇放置在多雲或雲下環境。

那麼，具體而言，使用者是如何使用Tapdata Cloud?又是如何實現商業化轉換的呢?

以某國內龍頭工程機械製造企業為例，企業對資料及應用有嚴格的安全要求，如何選擇適合企業的產品? 他們會基於 Tapdata Cloud 進行測試，等到功能和場景基本滿足後，最終產生了使用企業版的需求。而對於資料規模不大的企業來說，比如一天只有幾十萬或者上百萬條，就會把業務直接跑在Tapdata Cloud 上。

結語

儘管，在實時資料服務領域，既有傳統管理軟體企業，又有後來的新興公司，甚至一些提供雲服務的企業也在躍躍欲試，但在新的技術架構和應用工具下，尤其在實時、DaaS架構下，Tapdata沒有一家可以直接競爭的對手。

相對於 Fivetran 的“資料管道”模式，Tapdata 正創造性地將實時資料融合和實時資料應用相結合，為使用者提供資料即服務(DaaS)，並且把具有自主智慧財產權、業界領先的“中國方案”向使用者開放，讓資料同步不再是單一的複製，而是可以基於實時資料實現更多業務創新的可能。尤其企業應用上雲後，業務場景變得更加複雜，如何實現各種異構資料的實時打通、高效應用，將成為新挑戰。而 Tapdata 正憑藉更廣泛的連線和實時處理能力、實時資料釋出能力，逐步改變使用者的使用習慣，不再通過複雜的開源工具自己去開發，而是通過像 Tapdata 這樣的平臺，進行低程式碼、視覺化地進行資料開發，極大地降低了資料準備階段的難度和精力，從而最大化挖掘資料價值。

至此，Tapdata已經給出了適應未來十年的下一代資料整合架構方案。