作者：陳玉 濤思資料

[![](http://img.blog.itpub.net/blog/2022/03/28/36f3ecc653e3892c.jpeg?x-oss-process=style/bb)](https://www.taosdata.com?utm_source=itpub&utm_medium=tdengine&utm_campaign=techarti&utm_term=20220328)

WAL（Write Ahead Log），是 TDengine 的一個重要的功能模組，它可以實現資料的容錯能力，保證資料的高可用。

**聽著複雜，其實也很簡單。對於關係型資料庫的使用者來說，它大概就相當於 Oracle 中的 redolog ，MySQL 中的 binlog 和 redolog，裡面記錄的是一切關於資料庫的更新修改操作。**

Write Ahead Log 翻譯一下是“預寫日誌”，含義就是：在資料寫入儲存之前，先按照時間順序在日誌中做一下記錄，這樣就可以確保應用能夠透過這個日誌將資料庫恢復到任意的某個狀態，即使資料庫因為斷電等意外事故當機，也能避免資料的丟失。

目前，TDengine社群版尚不支援將資料回滾到指定時間，如有需要，可以聯絡我們的企業版團隊來解決。

TDengine 中的 WAL 實現機制稍有特殊。它把 WAL 分為兩部分，一種是 mnode 目錄下的 WAL，一種是 vnode 目錄下的 WAL。（為了方便本文的閱讀，這裡需要大家首先了解TDengine的基礎架構：管理節點（mnode）和虛擬資料節點（vnode）的概念：https://www.taosdata.com/docs/cn/v2.0/architecture）

在 TDengine 的資料檔案路徑下（預設為/var/lib/taos），就可以看到上述目錄結構。

![](http://img.blog.itpub.net/blog/2022/03/28/8d1e934316095705.png?x-oss-process=style/bb)

mnode 的 WAL 內容是持久化在硬碟上的，作為最重要的管理節點，它的 WAL 記錄著所有關於資料庫的 DDL 操作（比如建立刪除操作：create dnode，create account，create mnode，create user，create table， drop dnode ，drop table等，或者修改操作：alter database，alter table ，alter user等）

而 vnode 目錄下的 WAL 則主要負責記錄著寫入資料的操作，與此同時也記錄著對錶的 DDL 操作，在觸發落盤後會清零。（這就是我們在之前的文章——比如《[儲存成本僅為OpenTSDB的1/10，TDengine的最大殺手鐧竟然是什麼？](https://www.taosdata.com/2021/06/09/2445.html?utm_source=itpub&utm_medium=tdengine&utm_campaign=techarti&utm_term=20220328)》——中經常提及的部分，大家可以結合此文閱讀，以加深理解。）

之後，寫入 vnode 的時序資料會落盤到資料檔案目錄 /vnode/vnodeX/tsdb/data 下面。而對於表的 DDL 操作（也就是表的後設資料）則會落盤到資料檔案目錄/vnode/vnodeX/tsdb/meta檔案中，如下所示：

![](http://img.blog.itpub.net/blog/2022/03/28/6b4052d3474706cf.png?x-oss-process=style/bb)

![](http://img.blog.itpub.net/blog/2022/03/28/fd69c7fa5d778aa7.png?x-oss-process=style/bb)

上面的第二張圖是 vnode 的工作流程，從這裡我們可以更清楚地看到時序資料和後設資料是如何在寫滿三分之一的 buffer pool 後落地到磁碟的（一個 meta 檔案，一個資料檔案組：.data、.head、.last檔案）。

**總結而言，mnode 透過 WAL 記錄了叢集、使用者、資料庫以及表的後設資料等資訊。而 vnode 透過 WAL 記錄了資料和表的後設資料，並且會在落盤觸發後清零，而其記錄的表的後設資料會被寫入到 meta 檔案，時序資料會被寫入到 data 目錄。**

在瞭解了 WAL 的作用後，接下來會衍生出細節的場景：

首先，WAL 是將資料庫資料更新操作按照時間順序追加更新的日誌檔案。資料庫程式 taosd 在啟動的時候會逐行讀取 mnode 下的 WAL 檔案並操作，直到最後一行，才能順利啟動服務。

這樣的構造下，可能會導致這個問題出現：

**1. 當累計的 DDL 操作過多時，TDengine 的啟動會變慢——那麼要如何避免這種情況的發生呢？**

首先，當子表數量絕對大的時候，這個情況是沒法避免的。但是這是一個很大的數量級，對於絕大多數使用者都是達不到的。

更容易出現的是這種情況：這個環境表數量並不是很多，但是卻充滿了頻繁的刪庫刪表重建表等操作。比如，建立一個十萬子表的超級表後刪掉，然後再重建這個超級表。等到資料庫啟動載入WAL的時候，即便前面的 create table 和 drop table 都是無效的操作，但是還會被操作一遍，而且刪表操作本身在載入的時候也會更慢一些，從而大幅拖慢 TDengine 的啟動速度。

**因此，為了避免這種情況，生產環境上一定要慎重。尤其是要儘量杜絕刪庫、刪除超級表這些重大操作，如果是為了除錯，反覆重建的測試操作一定要在測試環境進行，生產環境不可延用測試環境直接建庫建表投入使用，除非該伺服器的 TDengine 已經解除安裝乾淨。**

**2.那如果是使用時間太久，或者各種更改表結構的操作無可避免，導致 mnode 下的 WAL 過大，是不是無解了呢？**

對於這種情況，在 2.1.5 版本之後，我們提供了離線壓縮 Mnode WAL 的方案來解決：

1）單機：
1. systemctl stop taosd。
2. taosd --compact-mnode-wal，如果執行正常的話，會在資料檔案目錄下生成 mnode_bak 目錄，用於儲存原資料。
3. systemctl start taosd，這樣 TDengine 就會使用壓縮過的 wal 日誌來啟動資料庫服務程式。

2）叢集：
1. show mnodes ,確認 mnode 節點所在的伺服器，並且區分 mnode 的 master 和 slave。
2. systemctl stop taosd,停止叢集所有節點。
3. 【可選】移出所有mnode 節點上的 mnode_bak目錄。
4. 在 mnode master 伺服器上，以 root 許可權執行 taosd --compact-mnode-wal 。
5. 將 mnode master 壓縮後的 mnode/wal/* 檔案複製到其他 slave 節點對應目錄。
6. 重啟叢集。

**值得注意的是，taosd --compact-mnode-wal 命令第一次的執行時間與壓縮前叢集啟動時間基本相同，要等到下次再啟動的時候速度才會變快。**

此外，在未來的 TDengine 3.0 版本中，這也會是我們的重大的最佳化項。由於 WAL 也會變成分散式的儲存，屆時，即使是在億級別表數量的情況下，TDengine 的啟停速度也都不再會是問題。而且這項最佳化不過是 3.0 版本諸多特性的冰山一角。這項調整的背後代表著 TDengine 對於很多重要模組的最佳化重構，穩定性和效能都會大幅提高，多項重磅功能也會上線。

從 1.0 時代跟過來的老使用者應該會對 2.0 的版本的進步深有感觸，3.0 版本可以說更是青出於藍。

讓我們一起期待。

----------
想了解更多TDengine的具體細節，歡迎大家在[GitHub](https://github.com/taosdata/TDengine)上檢視相關原始碼。

[![](http://img.blog.itpub.net/blog/2022/03/28/36f3ecc653e3892c.jpeg?x-oss-process=style/bb)](https://www.taosdata.com?utm_source=itpub&utm_medium=tdengine&utm_campaign=techarti&utm_term=20220328)

8分鐘瞭解TDengine的WAL機制

相關文章