在 8 月 13 日的 TDengine 開發者大會上，TDengine 聯合創始人侯江燚帶來題為《核心程式碼全部開源，企業版價值何在》的主題演講，為大家講解了 TDengine 3.0 企業版對工業網際網路邊雲協同的助力，同時分享了自己對於開源商業化的理解。本文根據此演講整理而成。

點選【[這裡]( https://www.taosdata.com/techtalk/13769.html"這裡")】檢視完整演講影片

在物聯網海量裝置資料場景下，關係型資料庫、傳統工業實時庫、Hadoop 大資料平臺、NoSQL 資料庫都暴露出了不一而足的痛點問題，嚴重限制企業業務規模化發展。

- 關係型資料庫：存在海量時序資料讀寫效能低、分散式支援差、資料量越大查詢越慢、報表分析慢等問題
- 傳統工業實時庫：主備架構，不易水平擴充套件，且依賴 Windows 等環境，生態相對封閉
- Hadoop 大資料平臺：元件多而雜、架構臃腫，支援分散式但單節點效率低，硬體及人力成本非常高
- NoSQL 資料庫：實時性差，大資料量查詢慢，計算時記憶體、CPU開銷巨大，無時序針對性最佳化

但即使是專為物聯網時序場景而生的[時序資料庫]( https://www.taosdata.com/"時序資料庫")（Time Series Database，TSDB），也並沒有完全解決掉這些資料處理難題，仍存在“系統複雜運維難度大”、“非標準 SQL 學習成本高”、“沒有真正雲原生化水平擴充套件能力有限”等難以忽視的問題。

在調研了數百個業務場景的基礎上，從解決上述企業痛點問題角度出發，TDengine 完成了 3.0 版本的迭代，不僅從“雲就緒”升級成為一款真正的[雲原生時序資料庫]( https://www.taosdata.com/engineering/13899.html"雲原生時序資料庫")，還是一款極簡的時序資料處理平臺，打造了[全新的流式計算引擎]( https://www.taosdata.com/engineering/13994.html"全新的流式計算引擎")，無需再整合 Kafka、Redis、Spark、Flink 等軟體，大幅降低系統架構的複雜度。同時，3.0 還將[儲存引擎]( https://www.taosdata.com/engineering/13925.html"儲存引擎")、[查詢引擎]( https://www.taosdata.com/engineering/14043.html"查詢引擎")都進行了最佳化升級，進一步提升了儲存和查詢效能。

目前 TDengine 3.0 的程式碼已經在 GitHub 上開放，歡迎大家下載、體驗。下面我將會就 3.0 企業級工具助力工業網際網路邊雲協同的實現路徑這一話題進行分享，同時將從開源商業化角度，讓大家更加深入地瞭解 TDengine 企業版的價值。

**工業賦能，從邊到雲**

![](http://img.blog.itpub.net/blog/2022/09/08/5e61e209fd5939ea.jpeg?x-oss-process=style/bb)

在工業網際網路場景中，邊緣裝置只能處理區域性資料，無法形成全域性認知，在實際應用中仍然需要藉助雲端計算平臺來實現資訊的融合。在此背景下，邊雲協同正逐漸成為支撐工業網際網路發展的重要支柱。

邊雲協同主要是對於生產鏈條上的某一項或某幾項資料，進行實時告警、實時大屏監測，比如車間裡實時生產的資料。同時還會將這些邊緣側生產的資料及時同步到雲上大資料平臺。

雖然邊緣側對實時性的要求是最高的，但其資料量並不大，可能一個車間只有小到幾千或大到幾萬個監測點需要儲存。而集團側匯聚了更多的計算資源，比如在這一側可以搭建一個私有云，那它就會把邊緣側的資料也收集過來，專門用來做一些計算。如果我們訓練好一個模型，再把這個模型下發到邊緣側，在邊緣側就能進行更多預測性的分析。因此，邊雲協同的整體邏輯就是，實時報警收集到邊緣側產生的資料，雲上訓練好模型再下發下去，如此迴圈反覆。

而要實現這一操作，對資料庫或者說對資料儲存層的要求就是要確保資料能夠逐級上報，以及資料有選擇性的上報。在有些場景中，整體資料總量非常大，我們需要有選擇地從底層往上層去彙報資料，比如對一開始一秒採一次的原始記錄，可能需要降取樣到一分鐘採一次，這種降取樣的資料仍然可以保留一定的資訊，可用於跑批分析長期資料。

![](http://img.blog.itpub.net/blog/2022/09/08/bdd09ed82e594629.jpeg?x-oss-process=style/bb)

以 TDengine 為例，我們舉一個具體的例項。在此前的老數採流程中，資料是從工業邏輯控制器 PLC 中採集，之後進入 Historian，即工業實時庫，然後再支撐業務應用。這種操作存在三個缺點：主備架構，不易水平擴充套件；依賴 Windows 等環境；生態相對封閉。

後面 TDengine 在邊緣側替換了原有單機版的 Historian 資料庫。現在的一個設計思路就是採集資料從 PLC 透過 OPC Server，接入到 TDengine 當中，而 TDengine 本身在車間側就可以支撐實時的業務，同時包括一些實時報警、實時大屏等需求。企業可以利用 TDengine 提供的邊雲協同能力，把資料傳送到雲上的大資料平臺中。

**邊雲協同實現的關鍵，TDengine 3.0 企業級工具 taosX**

讓 TDengine 實現邊雲協同能力的一個關鍵就是 TDengine 3.0 釋出的企業級工具 taosX，它具有以下五點特性：

- 百萬條/秒同步效率
- 可配置的同步規則
- 實時流計算結果同步
- 支援重新訂閱，斷點續傳
- 歷史資料遷移

在 2.0 版本中，資料訂閱的實現路徑是在資料寫入後，透過輪詢方式將資料訂閱出來，本質上可以解決大部分問題，但仍然還有最佳化的空間。因為 WAL 本身就是支援訂閱的，在 3.0 中，我們把 WAL 重新進行了升級，可以訂閱所有的寫入、更新甚至刪除操作，只要是對資料庫的操作都可以訂閱。

透過 TDengine 訂閱方式，企業可以實現邊到雲的實時同步資料，訂閱方式允許設定篩選條件，可以有選擇性地同步資料，同時，訂閱發起方還能夠主動配置訂閱物件和資料過濾規則。這樣就很好地保證了所有資料都可以從一個叢集同步到第二個叢集，包括離線亂序資料，這也是 taosX 做的最重要的一個事情，它可以支援實時的資料同步，包括離線的增量備份、邊端到雲端的資料協同。

![](http://img.blog.itpub.net/blog/2022/09/08/dee262b9f5f89f37.jpeg?x-oss-process=style/bb)

**TDengine 3.0 利用 taosX 實現邊雲協同的思路如下：**在車間側，資料採集完成之後會進入 TDengine，首先經過 TMQ 訊息佇列，其中一部分資料有選擇性地併入到本地的 TDengine 叢集 1 中。之後我們可以在集團側部署 taosX ，它會去訂閱車間側 TMQ 訊息佇列中的資料，為了達成業務需求，可能這裡需要由資料分析工程師設定一些訂閱規則，比如資料需要經過降取樣再進來或者只關心閾值超過定值的資料。之後 taosX 會把資料同步到 TDengine 叢集 2，叢集 2 可以支援報表分析等更大維度的分析工作。

**該實現思路主要有以下四點優勢：**

- 資料跨區同步自動化程度大大提高、錯誤率降為零
- 資料無需快取，減少批次傳送，避免流量高峰阻塞頻寬
- 透過訂閱方式同步資料，集團不再依賴下級單位配置同步規則
- 邊雲均採用 TDengine，資料模型完全統一，降低資料治理難度

要知道，製造業企業通常面臨的一個痛點問題就是資料同步的問題，業內通常都是離線傳輸資料，比如積攢一個星期，一下傳一個 T 的資料，要麼人拿著行動硬碟去現場拷，浪費人力成本；要麼開 VPN 專線定期同步，將資料匯出成壓縮檔案進行傳輸，但這種情況 VPN 都會出現一些短暫頻寬的阻塞，對其他業務生產產生一定衝擊。TDengine 3.0 的企業級工具 taosX 實現了資料的實時同步，並且是可配置的，而自動化資料同步是實現邊雲協同的最好思路，避免了定期傳輸大資料量，導致的資源浪費和頻寬阻塞風險。

![](http://img.blog.itpub.net/blog/2022/09/08/c3e74512f287478b.png?x-oss-process=style/bb)

此外，由於邊端和雲端都是透過 TDengine 去儲存資料，它的資料模型相對來說比較統一。之前我們遇到一些客戶反饋痛點問題，他們在邊緣側搭建的工業實時庫種類繁多，資料需要統一收集到平臺側，這時就需要把各個實時資料庫裡的資料模型進行歸一化，比如平臺側透過單側點抑或用多側點方式去描述裝置資料，這就需要投入很大的人力財力去做資料治理。

但是如果從 TDengine 到 TDengine，它的表結構和資料的設計模型完全不用變，因為邊緣側和雲上進行資料操作的方式都是一致的。從車間側到集控中心，再從集控中心到整個集團的雲平臺，TDengine 3.0 實現了資料的多級同步。

**從企業級工具聊聊開源的商業模式**

> When we call software “free,” we mean that it respects the users’ essential freedoms: the freedom to run it, to study and change it, and to redistribute copies with or without changes. This is a matter of freedom, not price, so think of “free speech,” not “free beer.”
– Richard Stallman

最後迴歸一下本次演講的主題，和大家一起聊聊開源的商業模式。目前，TDengine 3.0 也已經在 GitHub 上開放了程式碼，從 2019 年 TDengine 宣佈開源，到現在已經 3 年的時間了。開源的模式真正拉近了 TDengine 和一眾開發者的距離，也讓 TDengine 的每一次迭代創新都伴隨著使用者的聲音。

我特別喜歡上面展示的自由軟體 Free Software Foundation 的創始人 Richard Stallman 所說的那段話，“Open Source Is FREE”，但“FREE”並非代表著免費，而是自由。

以 TDengine 為例，任何人都可以以自己想要表現的形式，在遵守開源協議的前提下，可以複製改寫 TDengine 的程式碼，但這並不代表它是一個“free beer”。開源的核心邏輯是向大家展示這個專案是自由的，只要你有興趣你就可以參與進來，儘可能把自己的聰明才智融入到開源社群的建設中，而非簡單地指“使用”。

做開源專案是一個既需要勇氣也需要努力的事情，說實話我們也遇到過很多困境，比如在支援社群使用者時遭遇的一些誤解，個別使用者可能會覺得你們團隊是不是反應有點慢，但是其實真不是，我們真的已經投入很多了。TDengine 作為一個開源專案，不應該只有濤思資料一個團隊在奮戰，我們希望透過各種形式，讓全球更多的開發者瞭解 TDengine，參與到 TDengine 的使用和開發之中，共建 TDengine 開源社群，這才是開源“free”的表現。

說回到主題，我認為開源的商業模式是必須且有理由存在的，因為公司要活下去，而公司本身就是一個以盈利為目的的團體。從過去到現在，開源的商業模式大致可以劃分為以下 5 種路徑：

- Donations 捐贈
- Hosted Service 託管服務
- Paid Support or Courses 付費支援或培訓
- Open Core 開源核心，提供付費增強功能/工具
- Dual Licensing 雙協議

TDengine 目前走的開源商業化道路就是“Open Core 開源核心，提供付費增強功能/工具”。我們的核心程式碼保證全部開源，使用者可以去感受產品的價值，但同時我們會提供很多增強功能，比如一些能夠升級資料備份、安全保障的工具。這些工具也需要投入很多精力和努力去進行研發，會作為一種增值方式提供給使用者。

在對商業化不斷探索的過程中，TDengine 也開發出了很多強大的輔助功能去服務使用者，除了上文中提到的邊雲資料協同，還包括冷熱資料自動分級儲存、企業級視覺化運維管理工具、支援快速刪除（Delete）、支援多列輸入使用者自定義函式（UDF）、提供異地容災、備份解決方案。

在保證系統穩定性和透明性上，TDengine 企業版也做了很多工作，透過設計更優的記憶體分配器、更穩健的版本迭代策略、更多的運維支援服務實現了更加優秀的穩定性，同時為了讓使用者用的放心，我們配套了監控 taosKeeper，能夠對可觀測性進行更詳細的統計，它還可以無縫整合到 Prometheus 的監控系統中。

針對 TDengine 企業版，我們還提供了“保姆級”的專家技術服務，服務方式分為以下三類：

- **開發支援服務：**包括產品使用培訓、資料建模諮詢、架構設計諮詢、程式碼開發支援，比如說從 Kafka 接資料到 TDengine，如何做才是最高效的、如何去配置 Kafka 的引數，如何保證資料的有效性、時序性。這些支援能夠幫助客戶把 TDengine 的能力最大化發揮出來。
- **運維支援服務：**不管是 TDengine 還是 Oracle，任何一款資料庫到後期都需要一個強保護，在業務安全性要求下，資料的備份、遷移，系統的效能調優、高可用保障、7*24 故障恢復等等都需要一個強有力的支援。如果因手動遷移導致資料檔案損壞，或者是因為一個錯誤導致資料難以恢復，給整個集團造成的損失可能不可估量。也因此，集團需要專業級的廠商去提供這些服務，這也是我們對企業級客戶提供的價值。
- **定製化服務：**包括定製化 PoC 測試服務、OEM 版本發行、定製化 UDF 開發、其他定製化開發服務。對一些使用者而言，他可能想要讓 TDengine 跑在自己開發的硬體上，那就需要我們協助他做一些 PoC 測試來適配這一硬體，而對於一些業務的複雜查詢，我們也可以透過 UDF 方式去做定製化。透過定製化服務來賦能使用者，支援他們將 TDengine 更加深入地融合到自身業務當中。

最後，給大家做一個預告，TDengine 的雲服務升級版也將很快與大家正式見面。新的雲服務基於 TDengine 3.0 雲原生架構，不僅最大限度地實現了彈性擴容，還可以讓使用者按需去付費，不再因資料的增量或縮容頻繁變動而受阻。同時這也是一個完全零管理、完全將後臺託管給濤思業務團隊的服務，支援多雲且絕對保證資料備份和安全。

今天我的演講就到這裡，感謝大家。希望未來有越來越多的使用者支援 TDengine 企業版，也能有越來越多的開發者加入 TDengine 的開源社群中來。

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/grafanaplugin"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

TDengine 3.0：核心程式碼全部開源，企業版價值何在？

相關文章