此前，OceanBase 原始碼解讀第十一篇《Location Cache 模組淺析》，為大家介紹了 observer 上的一個基礎模組，為 SQL、事務、CLOG 等多個其他模組提供獲取及快取某個副本位置資訊的能力的 Location Cache 模組。本期“原始碼解讀”繼續由 OceanBase 技術專家公祺為大家帶來“儲存層程式碼解讀之「宏塊的垃圾回收和壞塊檢查」”。

在解讀之前，大家可以先回顧一下公祺的上篇關於《儲存層程式碼解讀之「宏塊儲存格式」》的內容。透過走讀 OceanBase 宏塊的程式碼，我們對其儲存格式有了初步的瞭解，知道了微塊作為讀 I/O 最小單元，宏塊是寫 I/O 的最小單元。

今天我們來考考大家，OceanBase 的垃圾回收（GC）和壞塊檢查是以微塊還是宏塊作為單位呢？答案很明顯，就是宏塊。因為既然是以宏塊為單位寫，所以肯定是以宏塊為單位進行清理和檢查的。和本專題前幾篇文章類似，本文主要透過走讀相關程式碼，瞭解宏塊垃圾回收和壞塊檢查的原理。

* 注：本文所有的說明及程式碼都是基於 v3.1.0_CE_BP1版本的 OceanBase 開原始碼。

## 任務排程

OceanBase 執行緒管理是封裝好的，支援如下多種不同模式的執行緒管理：

```
// deps/oblib/src/lib/thread/thread_mgr.h
enum class TGType {
  INVALID,
  THREAD_POOL,    // 執行緒池
  OB_THREAD_POOL,  // OB執行緒池
  TIMER,      // 定時任務
  TIMER_GROUP,    // 定時任務組
  QUEUE_THREAD,    // 佇列執行緒排程
  DEDUP_QUEUE,    // 去重佇列排程
  ASYNC_TASK_QUEUE,  // 非同步任務佇列排程
};
```

OceanBase 宏塊的垃圾回收和壞塊檢查主要採用 TIMER 定時任務排程，TIMER 的主要特點是啟動一個後臺執行緒，週期性的對任務進行排程。關於其他的排程方式，後續會單獨介紹。

既然採用 TIMER 排程，那麼其排程的時機也很明顯，在啟動 OBServer 程式時，就啟動了一個後臺執行緒，週期性的進行垃圾回收和壞塊檢查，程式碼如下（省略了部分和垃圾回收無關的程式碼）。

```
// src/storage/blocksstable/ob_store_file.cpp
int ObStoreFile::open(const bool is_physical_flashback)
{
  int ret = OB_SUCCESS;
  bool is_replay_old = false;

// 開啟StoreFile，並做相關初始化的動作
  ...
  // 執行首次GC
  enable_mark_sweep();
  mark_and_sweep();
  // 啟動GC定時任務執行緒
  // 排程GC的任務
  // 排程壞塊檢查的任務
  if (OB_FAIL(TG_START(lib::TGDefIDs::StoreFileGC))) {
    STORAGE_LOG(WARN, "The timer has not been inited, ", K(ret));
  } else if (OB_FAIL(TG_SCHEDULE(lib::TGDefIDs::StoreFileGC, gc_task_, RECYCLE_DELAY_US, true))) {
    STORAGE_LOG(WARN, "Fail to schedule gc task, ", K(ret));
  } else if (OB_FAIL(TG_SCHEDULE(lib::TGDefIDs::StoreFileGC, inspect_bad_block_task_, INSPECT_DELAY_US, true))) {
    STORAGE_LOG(WARN, "Fail to schedule bad_block_inspect task, ", K(ret));
  } else {
  // ...
```

垃圾回收和壞塊檢查執行緒的生命週期和 OBServer 程式是一致的，它們都會在 ObStoreFile::destroy 中停止。

## 宏塊的垃圾回收

宏塊垃圾回收的任務定義如下：

```
// src/storage/blocksstable/ob_store_file.h
// ObTimerTask為定時任務的基類
class ObStoreFileGCTask : public common::ObTimerTask {
public:
  ObStoreFileGCTask();
  virtual ~ObStoreFileGCTask();
  // 繼承至ObTimerTask，GC的主要執行函式在：ObStoreFile::mark_and_sweep()
  virtual void runTimerTask() 
{
    OB_STORE_FILE.mark_and_sweep();
  }
};
```

ObStoreFile::mark_and_sweep 主要邏輯是對所有在用的宏塊進行打標，並檢查未打標的宏塊，將其中 ref_cnt_ 為 0 的進行垃圾回收。

```
// src/storage/blocksstable/ob_store_file.cpp

void ObStoreFile::mark_and_sweep()
{
  int ret = OB_SUCCESS;
  MacroBlockId macro_id;
  bool is_freed = false;

// 檢查GC任務的開關
  if (!is_mark_sweep_enabled()) {
    STORAGE_LOG(INFO, "mark and sweep is disabled, do not mark and sweep this round");
  } else {
    // 標識開始進行gc
    set_mark_sweep_doing();

// 1. 採用bitmap對所有在使用的宏塊進行打標
    //   a. data塊的打標是透過一個宏塊迭代器實現的
    //   b. meta塊的打標比較簡單，因為可用的meta塊是記錄在一個陣列中的
    // 經過打標之後我們就得到所有有效的宏塊的bitmap
    if (OB_FAIL(mark_macro_blocks())) {
      STORAGE_LOG(WARN, "Fail to mark macro blocks, ", K(ret));
    } 
    
    // 2. 遍歷所有的宏塊，進行垃圾清理
    begin_time = end_time;
    if (OB_SUCC(ret)) {
      for (int64_t i = 0; i < store_file_system_->get_total_macro_block_count() && is_mark_sweep_enabled(); ++i) {
        if (bitmap_test(i)) {
          // 有效的宏塊，做個二次檢查
          if (macro_block_info_[i].is_free_) {
            // BUG, should not happen
            STORAGE_LOG(ERROR, "the macro block is freed, ", K(i));
          }
        } else {
          // 無用的宏塊，進行GC
          if (0 == ATOMIC_LOAD(&(macro_block_info_[i].ref_cnt_))) {
            // ref為0，即可進行清理
            if (!macro_block_info_[i].is_free_) {
              // 釋放宏塊
              //   a. 將該宏塊資訊進行標註：is_free_=true
              //   b. 將該宏塊id放入到free_block_array_中，後續進行二次重用
              free_block((uint32_t)i, is_freed);
              // ...
            }
          }
        }
      }
    }
    set_mark_sweep_done();

}
}
```

## 壞塊檢查

壞塊檢查任務也會在 StoreFileGC 執行緒做，該任務也是一個定時任務，它的定義如下：

```
class ObFileSystemInspectBadBlockTask : public common::ObTimerTask {
public:
  // 繼承至ObTimerTask，主要執行函式在inspect_bad_block
  virtual void runTimerTask()
{
     inspect_bad_block();
  }
private:
  // 遍歷所有的宏塊，透過check_macro_block進行宏塊檢查
  // 由於壞塊檢查比較耗費資源，inspect_bad_block中也做一些流控邏輯
  void inspect_bad_block();
  // 對某1個宏塊進行檢查，檢查的主要內容有：
  //   a. 宏塊id、宏塊後設資料
  //   b. 透過check_data_block對宏塊資料進行深度檢查
  int check_macro_block(const ObMacroBlockInfoPair& pair, const storage::ObTenantFileKey& file_key);
  int check_data_block(const MacroBlockId& macro_id, const blocksstable::ObFullMacroBlockMeta& full_meta,
      const storage::ObTenantFileKey& file_key);
private:
  // 工具類，宏塊檢查主要函式，後面會詳細分析
  ObSSTableMacroBlockChecker macro_checker_;
};
```

壞塊檢查的代價普遍較高，因為可能需要從磁碟讀取所有宏塊的內容，並進行 checksum 校驗，會佔用大量的 CPU、I/O 能力，進而影響業務流量。所以，OceanBase 的壞塊檢查支援不同級別的檢查，DBA 可以根據系統自身的特點，比如磁碟、CPU 的具體配置等，選取合適的級別進行壞塊檢查，支援級別具體如下。

```
// src/storage/blocksstable/ob_macro_block_checker.h
enum ObMacroBlockCheckLevel {
  CHECK_LEVEL_NOTHING = 0,// 不做壞塊檢查
  CHECK_LEVEL_MACRO,      // 檢查宏塊的checksum，如果宏塊的checksum不存在直接返回成功
  CHECK_LEVEL_MICRO,      // 檢查微塊的checksum
  CHECK_LEVEL_ROW,        // 檢查每個column的checksum，會遍歷每一行的每一列
  CHECK_LEVEL_AUTO,       // 預設的檢查級別，如果宏塊的checksum存在，就檢查宏塊，如果宏塊的checksum不存在，就檢查微塊
  CHECK_LEVEL_MAX
};
```

接下來我們看下 ObSSTableMacroBlockChecker 的主要內容：

```
// src/storage/blocksstable/ob_macro_block_checker.h
// note: 該class中的函式是執行緒不安全的
class ObSSTableMacroBlockChecker {
public:
  // check是宏塊檢查主要函式，會根據check_level進行不同級別的檢查
  // 具體內容的檢查見private中的函式
  int check(const char* macro_block_buf, const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta,
      ObMacroBlockCheckLevel check_level = CHECK_LEVEL_AUTO);
private:
  // 檢查宏塊資料buffer的checksum，並和header中checksum中做比較
  int check_macro_buf(
      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const int64_t macro_block_buf_size);
  // 檢查宏塊資料的header，具體的檢查內容包括：
  //   a. check_sstable_data_header：檢查sstable資料的header
  //   b. check_lob_data_header：檢查log資料的header
  //   c. check_bloomfilter_data_header：檢查header中的bloomfilter
  int check_data_header(const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf,
      const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta);
  // 檢查普通宏塊的具體資料，遍歷宏塊中每一個微塊，微塊的檢查見下面的check_micro_data
  int check_data_block(const char* macro_block_buf, const int64_t macro_block_buf_size,
      const ObFullMacroBlockMeta& meta, const bool need_check_row);
  // 檢查LOB宏塊的具體資料，包括其中所有的微塊
  int check_lob_block(
      const char* macro_block_buf, const int64_t macro_block_buf_size, const ObFullMacroBlockMeta& meta);
  // 檢查微塊的具體資料，包括其中每一行的每一列的checksum
  int check_micro_data(
      const char* micro_buf, const int64_t micro_buf_size, const ObFullMacroBlockMeta& meta, int64_t* checksum);
  // 檢查sstable宏塊header
  int check_sstable_data_header(
      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);
  // 檢查LOB宏塊header
  int check_lob_data_header(
      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);
  // 檢查bloomfilter中的header
  int check_bloomfilter_data_header(
      const ObMacroBlockCommonHeader& common_header, const char* macro_block_buf, const ObFullMacroBlockMeta& meta);
};
```

## 寫在最後

相較於宏塊、微塊的編碼來說，宏塊的垃圾回收和壞塊檢查的程式碼大致邏輯簡單易懂，但其中也不乏精巧的細節，比如，垃圾回收中的 bitmap 的使用和壞塊檢查中的流控，如果你有興趣的話可以詳細閱讀上述程式碼。

我們將在下一篇文章會繼續閱讀 sstable 的合併、dag 的排程等程式碼，和你一起交流儲存技術，敬請關注！

OceanBase 原始碼解讀（十二）：宏塊的垃圾回收和壞塊檢查

相關文章