> 上週末在知乎看到一個問題“都說現在程式設計技術更新速度快很多技術會過時，那麼有哪些技術不容易過時呢?”，臨時起意做了一個回答，沒想到點贊數很快破千，成了熱門回答，感覺很多技術人都比較關心這個問題。趁著在北京大興酒店隔離有閒，把這篇回答擴充套件成一篇文章，結合我研發 TDengine 的經驗，再更加深入地展開闡述一下，分享給研發同學。

**把握最基本的原理和方法，你永遠不會被淘汰**
我是 1984 年高中一年級時開始寫程式的，見證了整個 IT 的高速發展。表面上技術發展很快，特別是與使用者直接接觸的前端技術包括人機互動部分，但計算機的基本技術和原理都沒有什麼變化。

如果要我重新學一次計算機專業，我一定會認真上幾門課，1：資料結構，2：演算法，3：計算機體系結構，4：作業系統，5：編譯原理，6：計算機網路，7：資料庫，8：軟體工程。再從自己的興趣出發，學習一下數字訊號處理、資料分析相關的課程。這些課裡學到的知識，至少我 30 年前在用，現在仍然在用。我可以肯定的說，這些課裡的知識掌握的很熟悉的，技術水平一定高。

以我自己創業開發的時序資料庫（Time-Series Database）TDengine （http://www.tdengine.com） 為例，我們開發了自己的記憶體管理、檔案管理、排程器、訊息佇列，使用了多種索引方法、排序等等。如果你不能隨手寫一個二叉樹、Hash，你都沒法做 TDengine 的研發工作。雖然這些基本的原理都有現成的庫，但針對自己的場景，比如時序資料場景，很多情況下都不能直接用，或效能不夠，因此就一定得自己寫，而自己寫的話，不掌握那些原理是寫不出來的。

舉一個例子，作業系統課程裡介紹的“生產者-消費者”問題，就是一個經典問題，在很多場景下，你往往都會遇到，比如 TDengine 裡的查詢排程就需要。只有你對生產者消費者問題完全搞清楚，你才可能把非同步執行緒通訊搞明白，隨手拈來。在 TDengine 的程式裡，我們就使用訊號量來將網路的非同步操作轉化為使用者側的同步操作。再舉個例子，比如編譯原理，工作中不太可能有任務要你寫一個編譯器，但是學會了編譯原理，你對怎麼最大程度地去最佳化自己的程式、學一門新的程式語言、寫個簡單的 parser ，就會得心用手。

我個人最推崇的是認真學習作業系統這門課，因為它講的都是各種資源的管理和排程，包括 CPU、記憶體、網路、外圍裝置等等。世界上絕大部分 IT 系統都是管理這種或那種資源，抽象地來看，與 CPU、記憶體、外圍裝置的管理其實沒任何區別。因此你可以用作業系統課裡學會的方法、演算法去解決其他實際問題。

所有這些計算機的基本原理、方法幾十年都沒變，我們只是把它組合起來，去解決新的問題，比如區塊鏈，再比如 IoT 場景下的時序資料處理。因此只要把握最基本的原理和方法，你就永遠不會被淘汰。
![](http://img.blog.itpub.net/blog/2022/06/06/011b1bb5c6f84c13.jpeg?x-oss-process=style/bb)
我 1996 年認真讀過的書，正在上大三的兒子也認真讀過。這本書裡很多方法都用在了 TDengine 的開發上，這書裡的知識很難過時。

**掌握了基礎的原理和方法，還要學會做創新**
以底層基礎軟體的實現來說，很多基本的原理和方法都沒有變過，但是為什麼做出來的產品，所呈現出的效能、市場競爭力卻有很大差距？原因還是在於如何巧妙運用這些原理和方法，就像數學、物理公式一樣，複雜難題的解析也是看你對這些公式的理解和運用程度。

以實現一個時序資料庫（Time-Series Database）為例，為實現水平擴充套件所採取的的分片分割槽策略，其實都是作業系統、資料庫裡的基本內容，使用的客戶端伺服器之間的通訊也都是計算機網路中最基本的傳輸協議，構建索引所使用的也都是基礎的索引方法，等等。一個好的產品功能，脫胎於使用者和市場需求，建立在眾多基礎原理和方法的創新之上。

在時序場景下，IoT 裝置規模可能達到千萬甚至上億，每秒產生的資料就能高達千萬、億級別，面對這樣大的吞吐量，普通資料庫根本難以承受，那我們在開發時序資料庫時，就要考慮資料如何充分利用時序資料特點來做分割槽分片、如何更好地實時構建索引等等，這些極具挑戰性的實際問題的解決思路就是要創新。

以 TDengine 為例，為了更好地解決這些問題，TDengine 從最初就自研了儲存引擎，創新地提出了“一個資料採集點一張表”與“超級表”的概念。我們從傳統的資料庫裡吸取了 WAL，Skip List 等方法，同時把流行的 LSM Tree 做了很大的改動，把樹層級結構去掉了，變成了只是按時間段分割槽、按時間線分塊的資料塊。這種對儲存引擎的創新設計，也讓 TDengine 與典型的 NoSQL 儲存模型相比，實現了標籤資料與時序資料完全分離進行儲存，不僅極大地降低了因為標籤重複儲存所帶來的儲存空間的浪費，還能夠極為高效地實現多表之間的聚合查詢，使得千萬級別規模的標籤資料查詢可以在毫秒級別返回。

在我 2008 年創業做和信時，就是一臺手機一個訊息佇列，現在物聯網資料的處理，和我當年做訊息佇列模組相比，在儲存架構上，只是一個結構化與非結構化的區別，前者是為了更高效地做各種計算和查詢，但在實際應用中，我們還需要考慮到多個裝置間資料如何進行高效聚合，我很快就想到了對策，那就可以用資料分析中的維度表、事實表的模型來解決，這樣一來，超級表的概念也就出來了。

TDengine 受這些經典資料結構的啟發，使用到的也都是流行十幾年甚至更久的基礎技術，但在此之上還有對技術的合理運用和不斷創新，最後才真正成為一個為時序資料場景量身定做的資料庫產品。

對於開發者來說，掌握基礎的技術知識和原理是邁進這個職業門檻的一個通行證，如果是一個有追求的人，真的想要在工作中有所建樹，還想往上更進一步，那就還應該時刻思考怎麼運用好這些知識，怎樣才能更快速去獲得一些對程式碼的創意思考。

**想要往上走，就一定不能躺平**
軟體特別是基礎軟體開源，已經成為不可抵擋的潮流，對於開發者來說，這是最好的時代，你不需要苦思冥想自己瞎琢磨，很多時候也不用完全從 0 到 1 去進行一個設計思考。開源專案就像是一本書籍，你總能從中獲得一些超出你認知的對於基礎技術的創新運用，毫無疑問，站在前人的肩膀上，你能看到的會更遠。

就拿程式語言來說，因為網際網路行業本身變化大，發展迅速，程式語言也是五花八門，除了 Java、JavaScript 一類的，近幾年新出的還有如 Go、Rust、Dart、Kotlin、Swift 等等，在應用型技術佔比很高的行業中，對於語言的掌握也要相對廣泛一些，好在這些流行語言還並不是很難掌握。

還有些偏底層的語言，本身是很強大的，開發需求低，所以一直都很穩定，C 語言就是這類語言的代表，學好了幾十年後也不會過時。但難點就在於這種語言比較難掌握，而且大多涉及硬體和作業系統底層，所以很多人都會對 C 語言望而卻步。但事實上 C 語言非常值得學習，它的靈活性極強，向上可以寫應用，向下可以寫硬體，如果哪一天網際網路衰敗了，依靠對這門語言的精通完全可以讓你平移到其他賽道。

TDengine 就是一款使用 C 語言自主研發的時序資料庫（Time-Series Database），沒有使用任何第三方的庫，一切都是自己開發，包括定時器、RPC 等模組等，並且已經開源。當初我選擇 C 語言作為開發語言的原因，其實是受到了 SQLite 的影響，它沒有伺服器，僅僅一個 C 語言庫，整個資料庫存放於單一跨平臺的檔案，支援 ACID，零配置，而且體量可以僅為 600KB。我很慶幸TDengine 選擇了 C 語言，雖然確實有一系列頭疼問題，如記憶體洩露、無效指標、多執行緒同步等，但這些都在後期最佳化中得到了改善，而 TDengine 所擁有的無依賴、體量小、記憶體遠遠小於 InfluxDB、OpenTSDB 等其他時序資料庫這些優勢，都是非常顯著的。

參與開源專案也是學習程式語言的一個好方法，要知道，流行的開源專案都是經過實踐推敲、比較成熟的程式碼創作，認真去研讀相關專案的原始碼，然後再依靠學習到的程式碼思路去解決問題，這會讓你在語言學習上事半功倍。如果你正在迷惑，不妨參與到 TDengine 開源專案中來，只要你真心有投入，我樂意花時間與你一起探討問題。

**結  語**
以前很多人質疑過我，認為我不是一個從 Oracle、DB2 核心團隊出來的人，怎麼能研發Database？但如果你深挖了我的背景，知道我從 1997 年起就在做分散式高可靠的無線核心網路裝置研發，也明白訊息佇列與時序資料之間的相似之處後，你就不會奇怪了。就像我開篇時說的，技術圈裡很多的基礎原理和方法，幾十年都未曾改變，善於思考總結的人總會從中得到相關的規律。可能正是由於我是跨界過來的，比起沉浸在資料庫領域多年且已經形成技術思想固化的開發者，才更容易在基礎原理和方法的運用上，想到創新甚至是顛覆式的設計思路。

所以，過時的不是基礎的技術原理和方法，而是人的思考能力以及沒有跟上節奏的對技術的認知。

陶建輝

2022年5月29日於北京大興隔離酒店

------------

想了解更多 TDengine Database的具體細節，歡迎大家在[GitHub]( https://github.com/taosdata/TDengine"GitHub")上檢視相關原始碼。
[![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)](https://www.taosdata.com/?zh "![](http://img.blog.itpub.net/blog/2022/05/11/0fd59db1207fc97f.jpeg?x-oss-process=style/bb)")

軟體技術更新速度很快，擔心自己掌握的技術會過時？

相關文章