### 6.清理過程

清理過程（通常簡稱為VACUUM）是一種維護過程，有助於PostgreSQL的持久執行。它的兩個主要任務是刪除死元組，以及凍結事務標識。

為了移除死元組，清理過程有兩種模式，分別是併發清理與完整清理。清理過程會刪除表檔案每個頁面中的死元組，而其他事務可以在其執行時繼續讀取該表。相反，完整清理不僅會移除整個檔案中所有的死元組，還會對整個檔案中所有的活元組進行碎片整理。其他事務在完整清理執行時無法訪問該表。

#### 併發清理概述

**清理過程為指定的表或資料庫中的所有表執行以下任務**
- 移除死元組：移除每一頁死元組及索引元組，並對每一頁活的額進行碎片整理
- 凍結舊的事務標識：如有必要凍結舊元組的事務標識；更新與凍結事務標識相關的檢視(pg_database/pg_class)；如果可能，移除不必要的提交日誌檔案
- 其他：更新已處理表的空閒空間對映(FSM)和可見性對映(vm)

虛擬碼，並行清理
```
(1)  FOR each table
(2)       Acquire ShareUpdateExclusiveLock lock for the target table

/* The first block */
(3)       Scan all pages to get all dead tuples, and freeze old tuples if necessary 
(4)       Remove the index tuples that point to the respective dead tuples if exists

/* The second block */
(5)       FOR each page of the table
(6)            Remove the dead tuples, and Reallocate the live tuples in the page
(7)            Update FSM and VM
           END FOR

/* The third block */
(8)       Clean up indexes
(9)       Truncate the last page if possible
(10       Update both the statistics and system catalogs of the target table
           Release ShareUpdateExclusiveLock lock
       END FOR

/* Post-processing */
(11)  Update statistics and system catalogs
(12)  Remove both unnecessary files and pages of the clog if possible
```

**第一部分**

這一部分執行凍結處理，並刪除指向死元組的索引元組。

首先，PostgreSQL掃描目標表以構建死元組列表，如果可能的話，還會凍結舊元組。該列表儲存在本地記憶體中的 maintenance_work_mem 裡（維護用的工作記憶體）。

在11.0或更高版本中，如果目標索引是B樹，是否執行清除階段由配置引數vacuum_cleanup_index_scale_factor決定。

當maintenance_work_mem已滿，且未完成全部掃描時，PostgreSQL繼續進行後續任務，即步驟（4）到（7），完成後再重新返回步驟（3）並繼續掃描。

**第二部分**

這一部分會移除死元組，並逐頁更新FSM和VM。非必要的行指標是不會被移除的，它們會在將來被重用。因為如果移除了行指標，就必須同時更新所有相關索引中的索引元組。

**第三部分**

第三部分會針對每個表，更新與清理過程相關的統計資訊和系統檢視。

**後續處理**

當處理完成後，PostgreSQL會更新與清理過程相關的幾個統計資料，以及相關的系統檢視；如果可能的話，它還會移除部分不必要的CLOG檔案。

#### 6.2可見性對映

VM 的基本概念很簡單。每個表都擁有各自的可見性對映，用於儲存表檔案中每個頁面的可見性。頁面的可見性確定了每個頁面是否包含死元組。清理過程可以跳過沒有死元組的頁面。

每個 VM 由一個或多個 8 KB 頁面組成，檔案以字尾_vm 儲存。例如，一個表檔案的relfilenode是18751，其FSM（18751_fsm）和VM（18751_vm）。

#### 6.3凍結過程

凍結過程有兩種模式，以特定條件選擇，分別為惰性模式和迫切模式。併發清理通常被稱為“惰性清理”。 本文中定義的惰性模式是凍結過程執行的模式。

> PG在這裡,引入了名為"凍結"的概念:當重置的時候,會對當前所有資料表的行進行一遍凍結標,設定其為可以對任意事務可見.這樣,重置事務id之後,如果新的事務訪問到這個表,就直接可以訪問到所有需要的資料了

**惰性模式**

當開始凍結處理時， PostgreSQL 計算 freezeLimit_txid ，並凍結 t_xmin 小於freezeLimit_txid的元組。

freezeLimit_txid定義如下：

freezeLimit_txid=(OldestXmin-vacuum_freeze_min_age)

> OldestXmin 是當前正在執行的事務中最早的事務標識.裡vacuum_freeze_min_age是一個配置引數（預設值為50 000 000）

**迫切模式**

會掃描所有頁面，檢查表中的所有元組，更新相關的系統檢視，並在可能時刪除不必要的CLOG檔案與頁面。當滿足以下條件時，會執行迫切模式：

pg_database.datfrozenxid pg_database.datfrozenxid 是系統檢視pg_database 中的列，並儲存著每個資料庫中最老的已凍結的事務標識。vacuum_freeze_table_age是配置引數（預設為150 000000）

**改進迫切模式中的凍結過程**

9.5或更低版本中的迫切模式效率不高，因為它始終會掃描所有頁面。新版本中新VM包含著每個頁面中所有元組是否都已被凍結的資訊。在迫切模式下進行凍結處理時，可以跳過僅包含凍結元組的頁面。

#### 6.4移除不必要的CLOB檔案

當更新pg_database.datfrozenxid時， PostgreSQL會嘗試刪除不必要的CLOG檔案。注意，相應的CLOG頁面也會被刪除。

[postgres@pgtest ~]$ ls -la -h /pgdata/data13/pg_xact/
total 16K
drwx------  2 postgres postgres 4.0K Jan 19 14:05 .
drwx------ 19 postgres postgres 4.0K Jan 19 14:09 ..
-rw-------  1 postgres postgres 8.0K Jan 20 17:34 0000
```

#### 6.5自動清理守護程式

動清理守護程式週期性地喚起幾個autovacuum_worker程式，預設情況下每分鐘喚醒一次（由引數autovacuum_naptime定義），每次喚起三個工作程式（由autovacuum_max_works定義。

#### 6.6完整清理

刪除部分資料，無法釋放真正的頁表的空間

**完整清理模式**

- 1.建立新的表檔案：當對錶執行vacuum full時，pg首先獲取表上的AccessExclusiveLock鎖，並建立8kb新表檔案，該鎖不允許其他的任何訪問
- 2.將活元組複製到新表
- 3.刪除舊檔案，重建索引並更新統計資訊FSM和VM

虛擬碼：

```
(1)  FOR each table
(2)       Acquire AccessExclusiveLock lock for the table
(3)       Create a new table file
(4)       FOR each live tuple in the old table
(5)            Copy the live tuple to the new table file
(6)            Freeze the tuple IF necessary
            END FOR
(7)        Remove the old table file
(8)        Rebuild all indexes
(9)        Update FSM and VM
(10)      Update statistics
            Release AccessExclusiveLock lock
       END FOR
```

> 注意：當執行vacuum full命令時，沒有人可以訪問該表；最多會臨時使用兩倍的於表的磁碟空間。

**透過pg_freespacemap 檢查空間空閒率**

```
CREATE EXTENSION pg_freespacemap;
--查詢表檔案空閒率
SELECT count(*) as "number of pages",
       pg_size_pretty(cast(avg(avail) as bigint)) as "Av. freespace size",
       round(100 * avg(avail)/8192 ,2) as "Av. freespace ratio"
       FROM pg_freespace('tb1_b');
 
--查詢每頁空閒率
SELECT *, round(100 * avail/8192 ,2) as "freespace ratio"
                FROM pg_freespace('tb1_b');
--eg exec vacuum
mydb=# delete from tb1_b where id % 10 !=0;
DELETE 4500
mydb=# SELECT count(*) as "number of pages",
       pg_size_pretty(cast(avg(avail) as bigint)) as "Av. freespace size",
       round(100 * avg(avail)/8192 ,2) as "Av. freespace ratio"
       FROM pg_freespace('tb1_b');
 number of pages | Av. freespace size | Av. freespace ratio 
-----------------+--------------------+---------------------
              23 | 0 bytes            |                0.00
(1 row)

mydb=# vacuum tb1_b;
VACUUM
mydb=# SELECT count(*) as "number of pages",
       pg_size_pretty(cast(avg(avail) as bigint)) as "Av. freespace size",
       round(100 * avg(avail)/8192 ,2) as "Av. freespace ratio"
       FROM pg_freespace('tb1_b');
 number of pages | Av. freespace size | Av. freespace ratio 
-----------------+--------------------+---------------------
              23 | 6571 bytes         |               80.21
(1 row)

--eg exec vacuum full
mydb=# SELECT *, round(100 * avail/8192 ,2) as "freespace ratio"
mydb-#                 FROM pg_freespace('tb1_b');
 blkno | avail | freespace ratio 
-------+-------+-----------------
     0 |  6528 |           79.00
     1 |  6496 |           79.00
     2 |  6528 |           79.00
     3 |  6496 |           79.00
     4 |  6496 |           79.00
     5 |  6528 |           79.00
     6 |  6496 |           79.00
     7 |  6528 |           79.00
     8 |  6496 |           79.00
     9 |  6496 |           79.00
    10 |  6528 |           79.00
    11 |  6496 |           79.00
    12 |  6528 |           79.00
    13 |  6496 |           79.00
    14 |  6496 |           79.00
    15 |  6528 |           79.00
    16 |  6496 |           79.00
    17 |  6528 |           79.00
    18 |  6496 |           79.00
    19 |  6496 |           79.00
    20 |  6528 |           79.00
    21 |  6496 |           79.00
    22 |  7936 |           96.00
(23 rows)

mydb=# vacuum full tb1_b;
VACUUM
mydb=# SELECT *, round(100 * avail/8192 ,2) as "freespace ratio"
                FROM pg_freespace('tb1_b');
 blkno | avail | freespace ratio 
-------+-------+-----------------
     0 |     0 |            0.00
     1 |     0 |            0.00
     2 |     0 |            0.00
(3 rows)
```

**本節英文版**

https://www.interdb.jp/pg/pgsql06.html

【讀書筆記】Postgresql清理過程

相關文章