以技術創新為引擎，打破國產化替代的侷限

在競爭激烈的市場中，僅僅依靠國產替代無法贏得使用者和市場，技術創新才是實現真正競爭優勢的關鍵。

1月11日，“國產化軟硬體升級替換之路”專場邀請到了觀測雲CEO蔣爍淼、Datablau數語科技資深技術專家冷鵬、濤思資料CEO，TDengine主要作者陶建輝三位來自不同領域的重磅專家坐鎮，以不同的視角解讀“技術創新”這個話題。

本期ITPUB舉辦主題為“國產化軟硬體升級替換之路”的第十期線上沙龍，主持人為IT168編輯李雪薇，共分為專家分享與圓桌共話兩大環節，以下為直播內容精編整理。

01 如何看待現代化的可觀測性平臺 其實是個實時大數倉

觀測雲CEO 蔣爍淼

現代DevOps工程師們，對SQL、HiveQL、PromQL、EQL都能信手拈來，對海量的系統指標、鏈路、日誌，甚至眼花繚亂的使用者行為資料都能清晰地視覺化展現，對基礎設施故障、應用程式碼BUG、技術棧錯誤和使用者誤操作都能快速識別。

他們在數字化陣地前排兵佈陣揮斥方遒，保障關鍵業務可決勝於千里外或普惠於天下，必有依仗一個可以掌控系統實時執行狀態的大資料平臺。

隨著近幾年“可觀測性”聲名鵲起，DataDog等一眾新貴品牌快速崛起，也開啟了監控工具向實時數倉進化的趨勢。做國內，以“觀測雲”為代表的全鏈路端到端可觀測平臺，也具有較多的實時數倉特性。

面向可觀測性，最常見的是指標，日誌，鏈路這三種資料型別，事實上不僅僅只是這些資料，還包括如使用者行為，Profiling資料等可觀測性的資料。

構建完整的監控體系，以及相關的儲存需要應用海量的技術，如果使用大量的開源獨立監控技術棧儲存這些資料，不僅僅要求高，而且無論是技術投入，硬體/雲投入上都成本巨大，且所有資料是割裂的。

面對複雜的現代化技術環境，收集資料本身的難度也很大，我們需要有能力從各種系統，中介軟體，平臺，應用中獲得這些資料並快速的從資料中構建我們所需的洞見。

然而，往往這些工具還伴隨著使用者的學習成本，很多時候只是簡單的為了運維需求，無法讓更多使用者受惠，如研發，測試等其他工程師。

孤立的儲存這些可觀測性產生的資料，導致其僅僅只能用於監控目的，而無法利用整體資料來更好的利用好這些資料價值。

上圖是觀測雲的整體架構，他們希望將割裂的問題統一化。

為什麼自研可觀測資料庫?蔣爍淼指出，GuanceDB提供DQL來提供統一的資料分析能力，協助使用者更好的從海量的可觀測性資料中構建自己的見解;相對於關係型資料庫，可觀測性的資料具備時間分佈的特性;可觀測性的資料量非常龐大，要解決用得起問題才能真正落地可觀測性，GuanceDB具備更好的價效比。

值得一提的是，GuanceDB帶來的價值巨大，儲存成本可以降低50%，寫入效能提高5倍，可以極大幅度減少伺服器投入。與一般開源自建相比，GuanceDB的綜合成本大約是它的三分之一。

GuanceDB提供統一的資料採集能力(Datakit)、強大的資料分析能力、明細資料追蹤分析能力，具備強大的技術整合，可以快速接入400+技術棧，支援企業基礎設施的多樣性，各種雲服務廠商，輕鬆打通各種複雜環境。

蔣爍淼強調，無論你的業務在全球的哪個地方，觀測雲都將提供服務。按照使用量計費，無需硬體投入，與業務高度同步，更好的幫你控制費用。

02 Datablau創新型資料治理方案分享

Datablau數語科技資深技術專家 冷鵬

當今資料驅動的業務環境中，制定清晰的資料策略非常重要，當創新型、保守型這二種資料戰略選項擺在面前時，應該如何選擇?Datablau數語科技資深技術專家冷鵬基於諸多案例實踐，分享如何選擇適合企業長遠發展的資料策略架構。

防禦性資料策略側重於防止負面結果。在這裡，關鍵目標通常源於法律、會計和監管方面的考慮。此類策略旨在透過關注合規性、治理和安全能力來降低風險。

進攻性資料策略側重於透過增加收入和盈利能力或提供增強的客戶體驗來推動積極成果。主要目標通常是針對組織的產品或業務方面量身定製的，優先考慮人工智慧和分析用例，以推動卓越的商業或財務成果。

企業需要確定業務目標，評估資料成熟度，定義資料治理策略，開發資料模型，構建資料管道，實施資料分析AI工具，監控資料質量的合規性。

在冷鵬看來，如果選擇創新型資料戰略，企業需要推動資料民主化發展，提高全民資料素養，支援快速增長的資料消費使用者群。

如何科學的組建資料產品團隊?企業需要儘量避免“缺乏業務背景、跳過資料建模、保持理論性“這三個陷阱。

有效的(元)資料管理需要整合來自三個領域的資訊：物理系統、資料建模，以及業務流程和場景。這釋放了資料管理可以產生的見解和價值創造。

在企業資料架構建設過程中，Datablau拉通、對齊全企業跨業務跨流程資訊層級，以資料視角縱覽業務主題、流程、業務物件、系統、模型等之間關係，從而統一企業資料架構藍圖。

Datablau利用統一語言、消除歧義，制訂企業總體資料標準與規範，透過AI提煉行業資料標準，指導資料模型開發。Datablau基於模型檢查策略、上線部署流程來管控資料模型設計開發過程，確保資料的設計與定義遵從企業資料架構標準，透過模型Scorecard評估、衡量資料模型質量。

業務場景元素包括業務流程、業務節點、業務資料、業務指標、業務規則、業務利益相關者。冷鵬認為，圍繞提升業務價值，以業務場景驅動做資料治理。

企業需要分解出業務問題，將問題落地成KPI與指標、規則，透過資料治理業務場景中的人和制度落實考核，設計考核標準、時限。

同時，實時監控業務場景中設定KPI變化、分析業務指標趨勢發展，對觸碰設定的閥值預警，根據規則進行預案決策。

關於資料市場產品流通，首先要利用AI/ML進行資料資產分類、分級，從多個角度建立資料資產評估模型，按企業資料架構分層建立資料資產目錄。

其次，促進資料的安全流通與共享，搭建資料資產交易的購物車採購平臺，實現多方治理。然後，收集和分析資料產品的履行結果，總結主題域中資料產品的流通效率、使用者反饋與評價。

Datablau提供資料自助開發與消費的能力，基於資料產品訂單來建立資料自助專案，透過自然語言來描述業務分析場景，自動生成業務主題分析模型。

同時，根據模型對映自動生成對映SQL，即時展示資料血緣路徑。Datablau提供資料服務、ChatBI等資料消費方式來支撐業務探索、業務創新;提供增強的客戶體驗來推動新的資料產品成果複用。

總結來看，在選擇創新型平臺方案時，從策略角度，智慧是驅動的抓手，使用者場景為治理的基礎，使用者用例為推進的手段，不斷增強使用者體驗，為業務創新賦能。

從人員角度，我們需要拉通業務、模型、系統，融合跨域協作。從流程角度，自動建立日常所用到的資料治理的流程，可以自動化通知人員。從技術角度，需要考慮操作性、伸縮性、合理性。

從資料角度，統一企業資料架構，加速自助、自動建模，把資料當成產品，提升資料資產流通，讓資料民主化，降低資料自助消費門檻。

03 要贏得使用者和市場，絕不是國產替代 - 從TDengine的技術創新談起

濤思資料CEO，TDengine主要作者 陶建輝

TDengine作為新興國產技術公司，在資料處理和儲存領域透過卓越的技術創新引起廣泛關注。本文，濤思資料CEO，TDengine主要作者陶建輝分享了TDengine在客戶服務和產品發展方面的經驗和歷程。

值得一提的是，中國資料庫總市場小於100億元。IDC資料顯示，2022年，達夢在中國資料庫市場份額佔比11%，人大金倉為5%，Oracle約為19%。

目前，中國有近300家資料庫公司，背靠國企、政府的就有很多家。樂意為國產化資料庫付費的絕大部分出於國產替代的目的，看重的不是產品本身，而是政策要求。

真正有國產化替代需求的是國企、央企、軍工和政府，而這個市場不是一個充分競爭的市場。陶建輝認為，如果你為國產替代去做資料庫，最大的可能性是血本無歸。

那麼，國產資料庫怎麼破局?唯有技術和產品的創新。

關於TDengine的創新之路，陶建輝坦言，關係型資料庫格局早已形成，但是資料庫仍然有機會。我們觀察到，時序資料庫的發展如火如荼，透過選擇不同的賽道，TDengine在技術和產品上不斷創新。

TDengine提出了一套完全嶄新的時序資料模型，除了資料庫本身的功能之外，還是極簡的時序資料處理平臺，具備資料的匯聚功能，資料的分發功能。

在2023年主流開源時序資料庫中，TDengine的star數量位居全球前三名，僅次於InfluxDB和Prometheus。

TDengine創新之一：資料模型

以智慧電錶為例，很顯著的特點是資料是時序的，都帶有時間戳，資料是結構化的，而且以數字型為主，除非韌體更新，結構不會改變，每個採集點都帶有靜態屬性標籤，由於網路或其他原因，每個採集點的資料到達伺服器的時間是無法控制的，但每個採集點的採集資料到達伺服器的相對順序是基本有保證的。

一個採集點一張錶帶來的直接變化是每張表裡的記錄按時間自動排序，新資料記錄的寫入變成簡單的追加操作，數值按列的變化範圍更小，裝置ID、標籤不會重複儲存。

TDengine儲存設計策略是一個資料採集點一張表，一張表的資料按塊連續儲存，資料塊內採取列式儲存。從而保證單個資料採集點的插入和查詢效率是最好的。

TDengine創新之二：超級表

描述一張超級表，即一個資料採集點型別，需要定義採集量的資料結構schema和靜態標籤的資料結構schema。

為一個具體資料採集點建立表，以超級表為模板，表的schema就是超級表的採集量schema，給靜態標籤指定具體值。

超級表可以像普通表一樣查詢，但可以指定標籤的過濾條件，標籤可以多至128個，每個標籤代表一個維度，標籤可以事後增加、刪除、修改。這樣資料建模時，可以先不確定標籤或分析維度，每個標籤可以是一樹狀結構，比如北京、朝陽、望京，這樣便於縮小搜尋範圍。

充分利用時序大資料的特點，TDengine設計了新穎的儲存引擎，大幅提升了資料的寫入和查詢速度，同時也大幅提高了資料壓縮率。相對通用資料庫，讀、寫、資料壓縮效能至少高十倍以上;TSBS基準測試結果顯示，相對於TimescaleDB、 InfluxDB，TDengine的效能也是遠超。

除高效的寫入和查詢之外，TDengine還使用更少的磁碟空間和計算資源。

TDengine創新之三：極簡時序資料處理平臺

除了核心的時序資料庫之外，TDengine還提供快取、資料訂閱、流計算處理、ETL，資料管道工具，可以大幅降低系統複雜度，運營與維護成本。

同時，TDengine使用WAL來實現各大模組。

TDengine創新之四：零程式碼資料匯聚的平臺

TDengine能夠實現實時資料同步，配置連結資訊，資料清洗、轉換規則，進度可觀測，實現零程式碼、僅需簡單配置。

TDengine創新之五：資料分發分享的平臺

資料分發在現階段是十分重要，因為新的工具、應用層出不窮，需要能快速無縫整合，分發的資料顆粒度、範圍要靈活可控，不被任何資料庫、雲服務、應用廠商鎖住。TDengine具備靈活、安全的資料分發功能。

04 圓桌討論

Q：我們常常講創新，但新與舊是一體的，會有一部分舊的繼承也會有一部分新的突破。企業該如何面對新與舊?如何創新?

冷鵬：創新不能一直依賴於技術，除了業務創新和技術創新之外，還需要團隊合作的創新，資料從產生、管理、消費是一個很長的供應鏈，需要很多人參與其中。

陶建輝：創新是全方位的，包括產品創新、技術創新、組織管理的創新等等。

蔣爍淼：最重要的前提條件是為什麼進行創新?創新在於底層基礎設施變化之後，產生了新業態和新模式，使得需要新技術去適應背景。新和舊具備相對性，基礎設施才是創新的根本，勿在浮沙築高臺，真正瞭解大背景，才能做出真正的創新。