實時打通資料孤島有多難？Tapdata 做到了！

資料庫是 “根”技術之一，和人腦的記憶系統一樣，牽一髮而動全身。雖然資料庫的應用系統很複雜，但因其太過重要，以至於挑戰者大有人在。正是因為有大量後來者的加入，資料庫市場才會百花齊放。於是，多模資料庫、HTAP資料庫、自治資料庫……各種概念層出不窮，令人目不暇接。

問題是，不管是資料庫服務領域如何細分，資料庫技術及架構如何演進，最終都沒有從根本上解決資料孤島問題，再加上雲上雲下環境的複雜性，資料庫的處理能力始終無法突破瓶頸。

“資料孤島”是傳統資料庫無法逾越的鴻溝

在傳統IT架構下，ERP、OA、CRM……每個系統都是獨立的，並且各個系統之間，很有可能會相互競爭，重複建設，不同架構之間具有天然的層級。資料庫一般也是單體式資料庫，效能無法擴充套件，需求量增加的時候，往往需要分庫。如何從根本上解決資料孤島問題? 一些聰明的人，已經走在應用創新的前列，做著各種各樣的嘗試，但似乎沒有找到更有效的方法!

首先，資料庫種類繁多，無法統一源資料。由於資料庫種類繁多，排得上名的資料庫就有300多個，主流的資料庫有數十種，這意味著企業多源異構資料庫模式將長期存在。為了統一資料來源，企業一般會採用幾種方式縫縫補補，一種是透過ETL進行人肉手工，或者透過訊息中介軟體的形式進行大量開發。這種傳統的開發模式，耗時費力，70%~90%的時間消耗在資料準備上，對於新業務來說，上線慢，影響業務反應速度。

其次，傳統的資料倉儲進行分散式架構改革，價格昂貴。為了建立中央化資料平臺，企業會考慮進行MPP分散式架構調整，但這種方式要進行大量的需求分析，要想支援核心業務的全面視覺化，會遭遇可擴充套件性挑戰，不能支撐海量併發;即便能擴充套件，設計和研發成本也大得驚人。

其三，建立可擴充套件的開放架構，元件多，落地難。這幾年，大資料平臺、資料湖、資料中臺等概念火熱，雖然這類架構可擴充套件性強，可以海納百川，但很容易因為大而全，最後難以落地。

所以，對於DBA、CDO、資料及應用架構師來說，很多時候都是無力狀態，不知道從何處入手。

打造面向TP 業務的實時資料服務平臺

大體來看，資料庫的應用型別不外乎兩種，一種是支援TP 型業務，另一種是支援AP 型業務。比如，買機票的機票預定系統、租房的房屋租賃平臺，都屬於TP 型業務;而哪些航線最熱、哪些房源最暢銷，則屬於AP 型業務。當然，除了TP 和AP ，還有一種應用型別也值得推薦，即HTAP 混合型事務能力。比如：很多雲原生資料庫，就在主打HTAP。但主流趨勢是，TP 仍然是當前資料庫的核心業務，也是很多傳統關係型資料庫的主要應用。

通常，TP 型業務要求資料響應速度更快，一般是毫秒級，而AP 型業務則是數秒及分鐘級;TP型業務併發查詢量也偏高，一般數百到數十萬不等，而AP 型業務併發量則相對較小，一般是個位數或者最多數十個。TP 型業務的儲存方案也非常多，包括 Oracle、MySQL、SQLServer、PostgreSQL、DB2、MongoDB、Elastic、Redis 等等。如果按照等比例劃分，TP型業務資料場景佔據資料庫市場份額的80%。那麼，既然TP型業務如此重要，為什麼我們在市場上看到的都是AP型的資料平臺?難道TP型資料平臺是個偽需求?答案是，傳統的TP型業務缺乏能統一管理資料的平臺，要想從根本上解決資料孤島問題，必須基於現代業務環境和技術重新開發一個平臺!

新時代的TP 型業務平臺，應該具備滿足處理一切資料的能力，即我們常說的 “DaaS” 資料即服務，使用者能擁有一致性的訪問體驗，不管是本地還是雲端，使用者都能按需部署，快速擴縮容。這也是Tapdata 為什麼要以DaaS(資料即服務)為核心，推出實時資料服務，並透過資料虛擬化，從而打通資料孤島的最根本原因。

DaaS 架構為異構資料庫的多樣性和複雜性而生

DaaS 介於PaaS 和SaaS 之間，能透過統一的介面和語義，為使用者提供統一資料訪問層。基於 DaaS 架構理念的 Tapdata 實時資料服務平臺主推面向TP 型業務或場景，但其實平臺本身也支援AP。Tapdata 最大的特徵是，能隱藏企業多元異構資料庫的多樣性和複雜性，同時透過面向領域的資料模型、資料虛擬化和分散式資料庫儲存，構建統一資料服務能力。對於使用者來說，採用Tapdata DaaS 架構，能加速業務系統快速上線目標，並且能提供完整、實時的資料給前端業務，尤其對於有著主資料管理、資料採集同步、實時數倉需求的企業來說，DaaS 架構能打破原有平臺的各種效能問題，實現架構上的更新迭代。

Tapdata 成立於2019年，從時間上來看，還只是一家創業公司，但卻已名聲在外。目前，Tapdata 已經和中國移動、周生生、中國一汽、TCL、南方電網、富邦銀行等很多客戶在進行合作，並在今年7月完成數千萬美元 PreA 及PreA+兩輪融資，分別由五源資本獨家領投及XVC及德聯資本聯合領投。

Tapdata 之所以獲得如此快速的發展，除了產品、技術的前瞻性和稀缺性，還有一個關鍵因素，那就是創始人唐建法(TJ)不凡的個人背景與強大的團隊陣容。TJ 曾是 MongoDB 大中華區首席架構師、MongoDB 中文社群創始人，擁有20+ 年資料庫領域經驗和技術積累，公司的早期員工來自MongoDB、Oracle、百度、阿里、騰訊等。如果說 MongoDB 讓 TJ 走向了成功，那麼 Tapdata 就是他人生價值的二次飛躍。正如 Tapdata 品牌名稱所寓意的那樣，TJ 正在做一件非常有意義的事：Make Your Data on Tap ，讓資料使用如同擰開自來水龍頭一樣簡單、便捷。

Tapdata 開啟資料庫現代化之旅

雖然，Tapdata 要做的事看上去很簡單，只是作為資料準備層提供使用者所需的實時資料。但要想真正實現 DaaS 架構，需要解決超乎想象的技術難題。比如：實時資料同步的可靠性、反向更新問題，還要考慮各種異構庫的同步問題等。

為了助力更多企業開啟資料庫現代化之旅，Tapdata 在核心技術架構上，沒有使用主流的類似Flink或者Kafka這樣的大資料技術，而採用了自研路線，透過資料虛擬化的方式，讓使用者無需關心底層的物理存在，而是直接使用服務。相比傳統的聯邦查詢方式，基於同步的虛擬化對技術要求更高，容錯性更低，畢竟需要對各種底層實現完全不同的資料庫進行事務級別的日誌解析，忠實還原並在亞秒級延遲下重放到 DaaS 平臺。這個架構沒有捷徑，Tapdata 經過大量的實戰研發，並且在不斷最佳化實現和演算法的基礎上，形成了技術壁壘，能夠安全可靠的將源系統資料無需其他ETL工具，就可以實時映象到 DaaS 平臺，並提供準確的資料服務。

如此一來，使用者無需再做多種儲存方案，解決後設資料、搜尋、快取、佇列等問題，只使用Tapdata 基於分散式資料庫MongoDB 加上自研的資料計算中介軟體組成的實時 DaaS 產品方案，就擁有了一個架構簡單，部署輕量，低成本和上手快的 DaaS 平臺，可為業務應用及大部分數倉、大資料平臺和中臺建設提供最完整、統一、準確的實時源資料。

如今，Tapdata 已覆蓋了80%-90%的業務場景，DaaS 架構成為名副其實的面向TP業務的實時資料平臺底層。為了加快實時 DaaS 架構的普及，Tapdata 透過雲上開放的方式( ) ，將異構資料庫實時同步能力免費提供給社群使用，Tapdata Cloud 可以獨立完成多達十幾種資料庫的異構資料同步能力，為新業務擴充套件，快取加速， 全文檢索，資料庫備份容災等很多新型業務場景提供生產級的支撐。雖然還沒有正式推向市場，但憑藉其強大的異構資料處理能力，已經吸引了諸多DBA、CDO、資料及應用架構師的高度關注。

Tapdata 明確表示，在獲得本次數千萬美元的融資後，接下來的目標是：更大力度地孵化客戶，提高市場接受度。根據TJ 本人多年來的行業經驗，認為開源是一個有效模式!而在開源之前，Tapdata Cloud 可以讓使用者有個過渡期。Tapdata Cloud 是Tapdata 的雲化版本，使用者無需關注底層的伺服器、網路、計算、儲存等IT基礎設施，可開箱即用，並且是免費使用。目前，Tapdata Cloud 還只是 Tapdata 產品的一小部分功能，未來會將 DaaS 上的所有能力遷移上雲。

同時，隨著Tapdata 的快速發展和技術研發需要，Tapdata 發起了技術人才招募計劃，包括高階中介軟體研發工程師(Java)、高階資料庫研發工程師(C++)、高階產品經理等職位，推薦各位技術大咖擇良木而棲，共同開啟資料庫現代化之旅。