TDengine 3.0 重磅釋出，首屆 TDengine 開發者大會圓滿落幕

隨著物聯網等新興技術的加速發展，傳統企業紛紛開始進行數字化轉型。在此過程中，資料技術的重要性不言而喻。作為企業發展的寶貴資產，資料處理能力與業務發展需求息息相關，資料架構的迭代升級也是企業在數字化轉型下持續探索的一大主題。

8 月 13 日，由濤思資料舉辦的前沿資料技術交流盛會「 TDengine 開發者大會」在北京·昆泰嘉瑞文化中心正式舉辦。在本次大會上，濤思資料創始人陶建輝、小米集團副總裁崔寶秋博士、明勢資本創始合夥人黃明明等數十位重磅嘉賓，為與會者貢獻了關於開源、基礎軟體的未來趨勢解讀，以及有關物聯網、IT 運維等專案的資料架構升級經驗。同時，濤思資料宣佈了 TDengine 3.0 的重磅釋出，並一一揭秘了其核心特性，諸多顛覆性創新思路讓參會者一睹為快。

“百家爭鳴”

思想碰撞下定位開源與基礎軟體的未來

TDengine 從 2019 年 7 月就宣佈了核心程式碼開源，2020 年 8 月又宣佈了叢集開源，在開源力量的影響下，發展 5 年，TDengine 的使用者例項已經接近 14 萬例，發展了 100+ 企業使用者。

一直以來，TDengine 的技術創新都是以使用者需求為出發點。本次大會也邀請到了京東科技 IoT 產品部技術總監閆政和中通科技資深架構師黃國石來到現場，為與會者講述 TDengine 在京東雲物聯網產業場景及中通物流配送業務下車聯網服務平臺的應用故事。

作為一種新的商業創新模式，開源的力量我們有目共睹，但關於開源的價值和意義，一千個人眼中有一千個哈姆雷特，百萬個人心中有百萬種定義。在大會主論壇上，小米集團副總裁崔寶秋博士帶領大家迴歸開源的本質，探索開源的意義。

圖/小米集團副總裁崔寶秋博士

他表示，在網際網路、大資料和人工智慧時代，開源是人類技術進步的最佳平臺和模式，但開源並不只是一種提升技術品牌的方法、抑或是軟體分發的手段，它的出發點應該是利他主義和長期主義。“德不孤，必有鄰”，開源專案如果一開始就秉承開放、共享、平等、協同、創新的開源之道，一定會有非常多的共建者自願加入。

一定程度上，開源的力量幫助 TDengine 贏得了國內外的市場，成為眾多企業的首選時序資料庫之一，但如果想要持續成功，技術上也要不斷的創新，始終領先於“copy”者，只有這樣才能真正實現開源的“利他主義”和“長期主義”。

圖/TDengine 創始人陶建輝

在 TDengine 創始人陶建輝帶來的《高效能、雲原生的極簡時序資料處理平臺》分享中，我們看到了 TDengine 從 1.0 到 2.0 再到 3.0 的不斷迭代升級，技術的發展也在反哺著開源社群，短短三年間，TDengine 在 GitHub 上的 star 數已經超過 18.8k，issue 數達到了 15921。而新鮮出爐的 TDengine 3.0，打造的雲原生資料庫、極簡時序資料平臺、便捷的資料分析等特點更是對時序資料庫進行了重新定義。

儘管中國基礎軟體領域已經出現了諸如 TDengine 等數百個國產替代產品，但市場仍然被 Windows、Linux、MySQL、Oracle 等海外玩家壟斷。無論是資料庫還是作業系統軟體，國內的市場幾乎一片空白。在這種發展現狀下，中國基礎軟體的下一步路要怎麼走?

圖/明勢資本創始合夥人黃明明

明勢資本創始合夥人黃明明認為，二十一世紀以來，中國製造業崛起，亟需與之匹配的基礎軟體，而根植於上一代領先製造業玩家的基礎軟體產品，已經難以滿足更大產值、更大場景、更新玩家的需求，中國企業在新一代基礎軟體戰場上大有可為。在這種有利背景下，技術的開放開源可以成為基礎軟體佔領市場的一種手段，它將幫助企業打破信任瓶頸，向海外市場進軍。

可以說，用好開源，國內軟體市場就有望突出重圍，開放開源已經成為顛覆基礎軟體現有市場格局的重要手段。但在開源已經成為趨勢的當下，開源想要成功也需要正確的“道”與“術”。在主論壇的圓桌討論環節，幾位嘉賓就以此為主題進行了一輪思想碰撞。

本次討論的一個共性思想就是開源想要成功，產品本身的調性和創新非常重要，開源專案被打造出來的初衷一定是想要解決某些場景的共性痛點問題，做有價值的事情，而想要持續吸引使用者和開發者，還需要技術創新來不斷產生新鮮的血液。此外，開源專案一定要具有全球化思維，可以透過擁抱雲原生等新興技術來打通國內外的開源市場。

“技術與創新”

TDengine 3.0 帶來時序資料庫的革命性突破

TDengine 3.0 的重磅出爐讓一眾參會者矚目，為了讓TDengine 社群開發者、關注者和企業使用者更加全面地瞭解了 3.0 的相關技術和功能，在大會下午的核心技術專場上，核心研發人員進行了一系列關於 3.0 的功能點及核心技術的演講。

近些年來，雖然市面上的時序資料庫產品層出不窮，但業內的諸多難題還未解決，包括與延遲相關的 High-Cardinality 問題，靠第三方工具實現流處理、快取和資料訂閱功能所帶來的複雜度問題，沒有真正實現雲原生問題等。TDengine 3.0 正是在這種背景下應運而生的。

作為一款真正的雲原生時序資料庫，TDengine 3.0 重構了分散式架構，引入 RAFT 一致性協議，可以支援 10 億個時間線、100 個節點，徹底解決了時序資料處理裡的“高基數”問題;完善並最佳化了對訊息佇列、流式計算和快取的支援，可作為一個極簡的時序資料處理平臺，解決了系統設計複雜且難以維護的問題;對計算引擎進行了全新設計最佳化，可提供便捷、完備的資料分析功能。

此外，TDengine 從 1.0 到 2.0 再到 3.0，儲存引擎也在一路升級，TDengine 3.0 更是對儲存引擎進行了全新實現，包含“多引擎混合儲存”、“針對多維度時序資料的儲存最佳化”兩大創新點。此前，TDengine 憑藉“一個裝置一張表”、“超級表”的兩大創新設計，已經實現了較高的儲存效能，在 3.0 對儲存引擎進行最佳化升級後，儲存效能更上一層樓。

除上述 3.0 的諸多特色外，TDengine 還提供了眾多的輔助功能：支援更強大靈活的標籤索引、基於時間段的預計算、支援 Schemaless 以及更多的寫入協議、支援 Grafana、Google Data Studio 等眾多第三方工具，支援資料增量備份、異地容災、邊雲協同等。

目前 3.0 的所有核心程式碼也已經在 GitHub 上正式公開，方便 TDengine 的關注者和支持者下載並體驗。

“發展與實踐”

物聯網、IT 運維的資料架構升級經驗

物聯網、IT 運維等場景下，海量碎片化裝置和巨量時序資料給企業平臺發展帶來了一系列新的要求和新的技術挑戰。本次大會邀請了順豐科技、跨越速運、OPPO、韻達和觀測雲等一眾企業客戶，分享他們在物聯網、IT 運維場景下的資料架構升級經驗。

在順豐科技的大資料監控平臺中，此前採用的 OpenTSDB+HBase 的全量監控資料儲存方案，存在依賴多、使用成本高和效能無法滿足資料處理需求等問題。為此順豐科技決定對全量監控資料儲存方案進行升級，最終在 IoTDB、Druid、ClickHouse、TDengine 幾款資料庫中選擇了 TDengine 並進行實際應用。

順豐科技大資料平臺研發高階工程師尹飛表示，完成改造後，順豐大資料監控平臺擺脫了對大資料元件的依賴，有效縮短了資料處理鏈路。在寫入和查詢方面均有顯著提升，同時服務端物理機由 21 臺降至 3 臺，每日所需儲存空間為 93GB(2 副本)，同等副本下僅為 OpenTSDB+HBase 的約 1/10，在降本增效上顯示出了非常大的優勢。

無獨有偶，OPPO 的穿戴產品類業務具有寫入量巨大且存在離線/歷史資料補錄(更新)的處理需求，從提升使用者體驗角度來講，還要具備高效的讀寫效率以及消費類資料的長時間儲存。此前使用的 MongoDB/MySQL 叢集方案，後端儲存壓力較大，需要經常擴盤，同時各個叢集都比較獨立，維護和需求開發成本相對較高。

“經歷了從 MySQL 到 MongoDB 再到 Prometheus 最後到 TDengine 的架構選型之路，我們的選型要素主要有三點：首先，以業務為中心，找到業務中需要解決的關鍵問題，透過對比不同架構選型的表現結果進行篩選;其次，系統要最少修改，即透過較少的改動就能構建新的架構業務能力;第三，最易接入，在這一點上，豐富的讀寫相容介面相當重要，這便於端側業務的擴充套件。”OPPO 雲端計算中心高階後端研發工程師唐恆建表示。

除了上述兩家企業，韻達、觀測雲和跨越速運在資料架構改造前同樣有諸多問題。韻達此前採用 MySQL 分割槽+索引方式處理訂單掃描量，面對每日億級的資料量，MySQL 出現效能瓶頸，維護成本顯著增加;觀測雲此前使用的 InfluxDB，出現 HA(高可用)叢集模式無法水平擴容，寫入效能約等於單機，且某雲上 InfluxDB 雲產品的高可用叢集版頂配規格仍無法滿足效能要求等等問題;跨越速運則是採用 HBase 處理車載定位裝置資料，在需要查詢較大跨度時間資料時，系統的效能就會顯著下降。

在應用 TDengine 進行系統改造後，韻達的寫入速度和查詢效能都有了顯著提升，寫入速度大概為每秒 5000 行、常用的查詢基本可以在 1 秒之內完成;對於觀測雲來說，TDengine 的邏輯設計使得其既可以滿足高可靠，又能夠滿足大資料量級的讀寫需求，可以很好地支撐住多租戶模式下的系統效能;跨越速運的日增磁碟大小從之前的單臺 22GB 下降到 1.4GB，機器資源大幅減少，運維成本顯著降低。

從這些企業的經驗中我們能看到，對於企業資料架構升級，切中業務痛點才是最重要的。在多家企業的資料架構改造實踐中，TDengine 都展現出了強大的讀寫效能和資料壓縮能力，幫助企業解決了各種大資料處理難題。相信隨著 3.0 的最佳化，TDengine 可以更好地融入到物聯網、車聯網、IT 運維等使用場景中。

結語

本次開發者大會的成功舉辦，不僅是 TDengine 大力服務開發者和使用者的一個標誌性事件，也為整個行業的技術進步和未來發展貢獻了不小的力量，為關注開源的開發者提供了眾多創新性觀點。

TDengine 3.0 的出爐徹底解決了業內的“High Cardinality”問題，作為一款真正的雲原生資料庫，它也為時序資料庫的發展帶來了一場革命性的突破。未來已來，瞄準世界科技前沿，數字化時代下新的資料架構發展道路已經明朗。