> 在6月8日舉辦的[【墨天輪資料庫沙龍第七期—開源生態專場】](https://www.modb.pro/event/609?0630)中，清華大學博士，助理研究員，Apache IoTDB PMC 喬嘉林老師分享了《Apache IoTDB，源於清華，建設開源生態之路》主題演講，本文為整理內容。

**導讀**
大家好，我是來自清華大學的喬嘉林。[Apache IoTDB](https://www.modb.pro/wiki/912?0630)是一個開源專案，起源於清華大學實驗室，後續開源並捐給了Apache 基金會。今天我分享的內容主要分為四個方面：IoTDB 背景起源、IoTDB 介紹、開源建設以及如何加入我們。

### 背景起源

#### 1、時序資料是什麼

首先，IoTDB管理的是時序資料，即隨著時間軸而不斷變化的曲線資料，比如股票中的K線就是很典型的時序資料。時序資料在物聯網領域中佔據了很大的體量，它是裝置物理量的數字化記錄，是物理世界的真實刻畫。

![](https://oscimg.oschina.net/oscnet/up-01782a2728bc7ba5857c29e49bf3f8c8ba6.png)
*圖1 時序資料示意*

時序資料的用途主要分為四個場景：監控、告警、預測、追溯。

首先是**監控**場景的應用：大家都希望視覺化監控軟體，從而清晰看到它的執行狀態。

其次時序資料能夠用於**告警**場景。工業企業對機器裝置進行監控時，很難用肉眼去分辨軟體執行中的異常，因此我們需要去設定一些有效的規則，當資料超過預設的閾值時，實現報警的功能。

時序資料還能實現**預測**。當裝置執行狀態不好時，我們可以根據根據歷史經驗與資料變化的趨勢，來預測這個裝置是否會壞掉，從而幫助企業避免不必要的損失。

最後時序資料還能實現**追溯**。當我們發現故障，可以透過歷史資料故障發生的原因來分析歷史資料的變化規律，從而得到一些有用的知識，來避免後續的故障復現。

![](https://oscimg.oschina.net/oscnet/up-fb88916ab155040a4e663b737063d0a10fc.png)
*圖2 時序資料的用途*

#### 2、IoTDB 發展起源

IoTDB 的發展一共歷經了六個階段。

**2011年蘊育期**：在國家 863 計劃課題中，在三一重工等企業實踐海量機器資料管理解決方案。

在工業物聯網背景下，需要做到複雜後設資料管理、海量資料儲存、豐富的資料處理、邊雲協同，這些對資料管理都是極大的挑戰。

![](https://oscimg.oschina.net/oscnet/up-e4ab5aad66dfa383b37ad93e26171aa143f.png)
*圖3 工業物聯網資料管理需求*

在這樣的背景下，基於傳統的關係型資料庫單點瓶頸，模型難以修改寫入、效能難以滿足的痛點，我們從2011年開始嘗試大資料管理方案，如Cassandra、HBase，但是它們也存在著一定的瓶頸。

因此我們調研了不同資料庫管理時序資料的區別，如下圖所示：
![](https://oscimg.oschina.net/oscnet/up-7313658f38523c5a65d4a326fdf799169fb.png)
*圖4 現有系統管理時序資料的侷限*

因此從**2015年我們進入了IoTDB的自研期**，開始啟動“清華IoTDB”研製。2016年3月提出時序資料列式緊緻檔案儲存格式TsFile，隨後釋出 0.7.0 版本。

從研發資料檔案格式開始，IoTDB的自研歷程就此開啟。下面的格式圖描述了兩個部分：左邊是資料區，採用了列式儲存的方式，將每一個時間序列的時間和值都分開儲存，這樣能夠更好的實現編碼和壓縮。右邊為索引圖，能夠對海量的時間序列快速查詢。

![](https://oscimg.oschina.net/oscnet/up-6685eee4a5f59033805c1ec601ebf49f797.png)
*圖5 資料管理的格式圖*

IoTDB 首次的實戰專案是青海新能源大資料平臺，專案是管理各個發電集團在青海發電廠的資料，在實戰的過程中，我們也發現了工業管理中時序資料會存在的一些問題，比如亂序、資料規模不高，規模較大等，這些問題的發現也為我們後續的系統升級與完善提供了寶貴的經驗。

![](https://oscimg.oschina.net/oscnet/up-08407b7d75d35a9b52ca5fc43308b2e9ad9.png)
*圖6 IoTDB實戰於青海新能源大資料平臺*

IoTDB在**2018年進入了開源孵化期**。同年11月，IoTDB 成為Apache 旗下孵化器專案，先後吸引了來自德國、美國、澳大利亞等國際同行關注。

IoTDB為什麼要開源？在這裡分享我們的想法。

IoTDB起源於高校，我們希望實現參與實際的專案。因此**IoTDB的定位不僅是科研專案，更應該是工業級的產品**，能夠真正部署到這個使用者的這個實際專案，能夠產生價值，發揮價值。

第二點**IoTDB作為基礎軟體，需要更廣大的貢獻者和使用者的共同參與**。

不僅如此，對標國外伯克利高校，他們擁有Spark這款做計算比較標準化的一個產品，我們希望**中國高校也能打造一款開源軟體，來提升中國高校在國際的影響力**。

那麼在開源的過程中為什麼會選擇Apache基金會呢？因為**Apache是大資料系統的世家**，平時我們熟知的Hadoop、Spark、HBase、Flink都是起源於Apache孵化器。**時序資料作為大資料的種類，我們希望能夠將這個專案開發齊全**，從而選擇Apache基金會。

以上就是IoTDB開源的路線。

![](https://oscimg.oschina.net/oscnet/up-111f44ec5685123bd88f17ce74aae0039c2.png)
*圖7 時序資料庫從默默無聞到逐漸火熱*

**2019年IoTDB 實現快速成長**。專案相繼獲得優秀大資料產品、中國優秀開源專案一等獎，並在中國工業網際網路峰會作為重要成果作主題釋出。

**2020年IoTDB 成功畢業**。Apache IoTDB 升為全球頂級專案，這標誌著 IoTDB 建成了全球認可的國際開源社群，併成為我國高校在Apache 社群主導的唯一孵化成功的專案。

**2021年IoTDB 入選十三五成果**。Apache IoTDB參加國家“十三五”科技創新成就展。

回顧IoTDB 的發展歷程，可謂是“十年磨一劍”。

![](https://oscimg.oschina.net/oscnet/up-9c3f8030fe69cc778519077de57a4a1b320.png)
*圖8 Apache IoTDB 發展歷程*

### IoTDB介紹

#### 1、Apache IoTDB 是什麼
Apache IoTDB（物聯網資料庫）是一體化收集、儲存、管理與分析物聯網時序資料的軟體系統。它具有高效能和豐富的功能，並與 Apache Hadoop、Spark 和 Flink 等進行了深度整合，可以滿足工業物聯網領域的海量資料儲存、高速資料讀取和複雜資料分析需求。

Apache IoTDB 還擁有**簡單易用**、**低成本高效能**、**便捷遷移**、**豐富的資料處理生態**、**提供端-邊-雲”一站式解決方案**的效能。

![](https://oscimg.oschina.net/oscnet/up-4058c0c67f5eab18c52fb340701acb8d208.png)
*圖9 Apache IoTDB 系統架構*

#### 2、Apache IoTDB 特點

Apache IoTDB 作為一款**輕量化、高效能、低成本時序資料庫，具有開放的系統架構、輕量化部署、生態豐富、物聯網專屬模型、高壓縮比、低延遲查詢、資料處理豐富、高效儲存引擎**等八大特點。

![](https://oscimg.oschina.net/oscnet/up-1bc91b645d08018c4c5f57893448bd5d6bb.png)
*圖10 Apache IoTDB 的八個特點*

下圖為  IoTDB 在開源、模型、查詢、檔案上與其他時序資料庫的對比。

![](https://oscimg.oschina.net/oscnet/up-ad8398ff99c3a709cd7050d6c1da4814a01.png)
![](https://oscimg.oschina.net/oscnet/up-aa34ae14c250037eabc74aa57e1e2ec486d.png)
*圖11 Apache IoTDB 在開源、模型、查詢、檔案上與其他資料庫的對比*

#### 3、Apache IoTDB 功能

**IoTDB具有實現多種查詢檢視，查詢時支援各類檢視的SQL邏輯**的功能。寫入時是物聯網的後設資料，但在查詢時可以轉化為多種檢視，每種檢視都有SQL查詢列，以及實現不同的過濾的條件，這樣我們就可以根據業務系統的不同需要，針對不同的維度進行查詢，從而實現寫入非常動態的模型。

![](https://oscimg.oschina.net/oscnet/up-d8c082eb42b78a89f7a9fd722f4c5b61683.png)
*圖12 Apache IoTDB 支援多種查詢檢視*

不僅支援多種查詢檢視，**IoTDB還具有查詢功能豐富，支援降取樣、資料對齊、修補**的功能。在查詢中能夠實現降取樣成每分鐘1個資料點、多序列按時間進行資料對齊、 修補缺失的資料。

![](https://oscimg.oschina.net/oscnet/up-34724bb77ee2951f479b438327e1a61b0c2.png)
*圖13 Apache IoTDB 查詢功能豐富*

除了以上功能以外，**IoTDB 還支援使用者自定義函**數，使用者透過自行開發、建立自定義函式來滿足定製化的計算需求。同時，目前已內建 11 類 UDF 庫，共 75個 函式，供使用者使用。

![](https://oscimg.oschina.net/oscnet/up-4d354aceaead423b1caae92ba00bf7fc5f5.png)
*圖14 Apache IoTDB UDF函式型別及名稱*

此外IoTDB具有**自定義觸發器，實現實時計算的功能**。時序資料有告警的需求，因此我們在IoTDB中支援了觸發器，當一條資料進入資料庫時，基於校驗的邏輯觸發到某個閾值，便可以對其他系統進行一個告警。

![](https://oscimg.oschina.net/oscnet/up-26b2162f33944a6452a1551132027dff85a.png)
*圖15 Apache IoTDB 自定義觸發器的功能*

下圖展示的功能是物化檢視。我們希望對裝置A和裝置B的速度取出平均值，那我們就可以透過average這個函式來查詢，接著將計算的結果寫回到資料庫裡面，這樣便於下次使用時直接取用結果，無需重複計算。以上就是物化檢視 select into的功能實現場景。

![](https://oscimg.oschina.net/oscnet/up-9164e776c1504a25a505db3dadb5b942092.png)
*圖16 Apache IoTDB 物化檢視功能*

最後介紹的是IoTDB**連續查詢**的功能，這個功能在時序資料的管理應用中非常廣泛。我們通常以高頻的方式進行資料採集，同時不想漏掉任何一個點，但是分析時需要對資料進行各種各樣的降取樣或者分段的聚合，如果我們能夠提前對資料進行分段並將它存下來，就能大大加速後續的分析效率。因此連續查詢能夠實現對後臺操作自定義，並定時將一段時間的資料做計算與處理。

![](https://oscimg.oschina.net/oscnet/up-54a763aa445234102d1bd77fe974a6b716e.png)
*圖16 Apache IoTDB 連續查詢功能*

### 開源建設

#### 1、關於Apache 基金會

Apache 基金會成立於199年，目前已有22年的歷史，共有351個專案，總的程式碼數是2.2億行。這些程式碼的總價值是220億美元，共有8200個committer。

![](https://oscimg.oschina.net/oscnet/up-3347296178a6ebe24079380064eda528f79.png)
*圖17 Apache 基金會發展*

#### 2、IoTDB 的開源建設

在2021年的Apache基金會全球351個專案排名中中，IoTDB 位列第七，超過Hadoop、Hbase，僅次於Spark。IoTDB 的程式碼貢獻者分佈於中、美、德、英、澳等國家，是國內唯一具有國際化屬性的時序DB開源社群。

![](https://oscimg.oschina.net/oscnet/up-73343e7b03dc91279e8b2bc1270bc029543.png)

### 加入社群
開發者是開源的獲益者，更應該成為貢獻者，這也是 IoTDB 選擇開源的原因。

以下是參與社群的通道，歡迎大家參與到開源建設中來。

![](https://oscimg.oschina.net/oscnet/up-7eee27fbe25a2db9415da09e9b82e4039f6.png)
*圖18 加入IoTDB組織*

我今天的分享就到這裡，謝謝大家！

> 更多精彩內容，歡迎大家觀看現場影片回放與會議資料
影片回放：[https://www.modb.pro/video/6499](https://www.modb.pro/video/6499?0630)
會議資料：[https://www.modb.pro/doc/64961](https://www.modb.pro/doc/64961?0630)

---
- 檢視原文：[https://www.modb.pro/db/421250](https://www.modb.pro/db/421250?0630)
- 檢視【國產資料庫沙龍】開源生態專場文章、影片回放資源：[https://www.modb.pro/topic/412121](https://www.modb.pro/topic/412121?0630)

欲瞭解更多可以進入[墨天輪社群](https://www.modb.pro/?0630)，圍繞資料人的學習成長提供一站式的全面服務，打造集新聞資訊、線上問答、活動直播、線上課程、文件閱覽、資源下載、知識分享及線上運維為一體的統一平臺，持續促進資料領域的知識傳播和技術創新。

關注官方公眾號： 墨天輪、 墨天輪平臺、墨天輪成長營、資料庫國產化 、資料庫資訊

墨天輪沙龍 | 清華喬嘉林：Apache IoTDB，源於清華，建設開源生態之路

相關文章