InnoDB髒頁重新整理機制

chenfeng發表於2019-01-08

我們知道InnoDB採用Write Ahead Log策略來防止當機資料丟失,即事務提交時,先寫重做日誌,再修改記憶體資料頁,

這樣就產生了髒頁。既然有重做日誌保證資料永續性,查詢時也可以直接從緩衝池頁中取資料,那為什麼還要重新整理髒頁

到磁碟呢?如果重做日誌可以無限增大,同時緩衝池足夠大,能夠快取所有資料,那麼是不需要將緩衝池中的髒頁重新整理

到磁碟。但是,通常會有以下幾個問題:


伺服器記憶體有限,緩衝池不夠用,無法快取全部資料

重做日誌無限增大成本要求太高

當機時如果重做全部日誌恢復時間過長

事實上,當資料庫當機時,資料庫不需要重做所有的日誌,只需要執行上次刷入點之後的日誌。這個點就叫做Checkpoint,

它解決了以上的問題:


縮短資料庫恢復時間

緩衝池不夠用時,將髒頁重新整理到磁碟

重做日誌不可用時,重新整理髒頁

重做日誌被設計成可迴圈使用,當日志檔案寫滿時,重做日誌中對應資料已經被重新整理到磁碟的那部分不再需要的日誌可以被

覆蓋重用。


InnoDB引擎透過LSN(Log Sequence Number)來標記版本,LSN是日誌空間中每條日誌的結束點,用位元組偏移量來表示。

每個page有LSN,redo log也有LSN,Checkpoint也有LSN。可以透過命令show engine innodb status來觀察:


---

LOG

---

Log sequence number 11102619599

Log flushed up to   11102618636

Last checkpoint at  11102606319

0 pending log writes, 0 pending chkp writes

15416290 log i/o's done, 12.32 log i/o's/second

Checkpoint機制每次重新整理多少頁,從哪裡取髒頁,什麼時間觸發重新整理?這些都是很複雜的。有兩種Checkpoint,分別為:



Sharp Checkpoint

Fuzzy Checkpoint

Sharp Checkpoint發生在關閉資料庫時,將所有髒頁刷回磁碟。在執行時使用Fuzzy Checkpoint進行部分髒頁的重新整理。

部分髒頁重新整理有以下幾種:


Master Thread Checkpoint

FLUSH_LRU_LIST Checkpoint

Async/Sync Flush Checkpoint

Dirty Page too much Checkpoint

Master Thread Checkpoint

Master Thread以每秒或每十秒的速度從緩衝池的髒頁列表中重新整理一定比例的頁回磁碟。這個過程是非同步的,不會阻塞查詢

執行緒。


FLUSH_LRU_LIST Checkpoint

InnoDB要保證LRU列表中有100左右空閒頁可使用。在InnoDB1.1.X版本前,要檢查LRU中是否有足夠的頁用於使用者查詢

操作執行緒,如果沒有,會將LRU列表尾端的頁淘汰,如果被淘汰的頁中有髒頁,會強制執行Checkpoint刷回髒頁資料到

磁碟,顯然這會阻塞使用者查詢執行緒。從InnoDB1.2.X版本開始,這個檢查放到單獨的Page Cleaner Thread中進行,

並且使用者可以透過innodb_lru_scan_depth控制LRU列表中可用頁的數量,預設值為1024。


Async/Sync Flush Checkpoint

是指重做日誌檔案不可用時,需要強制將髒頁列表中的一些頁重新整理回磁碟。這可以保證重做日誌檔案可迴圈使用。

在InnoDB1.2.X版本之前,Async Flush Checkpoint會阻塞發現問題的使用者查詢執行緒,Sync Flush Checkpoint會阻塞

所有查詢執行緒。InnoDB1.2.X之後放到單獨的Page Cleaner Thread。


Dirty Page too much Checkpoint

髒頁數量太多時,InnoDB引擎會強制進行Checkpoint。目的還是為了保證緩衝池中有足夠可用的空閒頁。其可以透過

引數innodb_max_dirty_pages_pct來設定:


mysql> show variables like 'innodb_max_dirty_pages_pct';

+----------------------------+-------+

| Variable_name              | Value |

+----------------------------+-------+

| innodb_max_dirty_pages_pct | 60    |

+----------------------------+-------+


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/15498/viewspace-2374976/,如需轉載,請註明出處,否則將追究法律責任。

相關文章