一、背景
常見的高可用架構中，如果master掛了且有資料沒有同步到備，高可用系統會提升備為主對外服務。對於老主有可能再以備的身份加入叢集時，可能搭建流複製關係失敗。可以用pg_rewind工具使主備的資料一致。

二、pg_rewind原理
![](http://img.blog.itpub.net/blog/2018/12/23/44c15520214566da.png?x-oss-process=style/bb)
三、相關程式碼
```cpp
1、每個檔案（目錄）的差異被記錄在結構體 file_entry_t 中，其定義如下
typedef struct file_entry_t
{
    char	   *path;
    file_type_t type;
    file_action_t action;
 
    /* for a regular file */
    size_t	oldsize;
    size_t	newsize;
    Bool	isrelfile;	    
    /* is it a relation data file? */
 
    datapagemap_t pagemap;
 
    /* for a symlink */
    char	   *link_target;
 
    struct file_entry_t *next;
} file_entry_t;
2、檔案型別
typedef enum
{
	FILE_TYPE_REGULAR,//常規檔案
	FILE_TYPE_DIRECTORY,//目錄
	FILE_TYPE_SYMLINK//軟連線
} file_type_t;
3、對應檔案的操作action
typedef enum
{
	FILE_ACTION_CREATE,			/* 建立目錄或者軟連結: create_target(entry)*/
	FILE_ACTION_COPY,			/* 複製整個檔案或者重寫已存在的檔案: fetch_file_range(entry->path, 0, entry->newsize);*/
	FILE_ACTION_COPY_TAIL,		/* 從source中複製從oldsize到newsize的部分 fetch_file_range(entry->path, entry->oldsize, entry->newsize)*/
	FILE_ACTION_NONE,			/* 無操作 */
	FILE_ACTION_TRUNCATE,		/* 裁剪target叢集檔案到'newsize'大小: truncate_target_file(entry->path, entry->newsize)*/
	FILE_ACTION_REMOVE			/* 刪除本地檔案/目錄/軟連結: remove_target(entry)*/
} file_action_t;
4、其他變數解讀
isrefile 表示該檔案是否是一個表資料檔案，表資料檔案的路徑要滿足以下幾個條件：
isRelDataFile(path)：
	global/ 目錄下的檔案，即資料庫共享的表檔案目錄下的檔案
	base/ 目錄下的檔案，即預設tablespace的表檔案目錄下的檔案
	pg_tblspc/&rnode.spcNode/TABLESPACE_VERSION_DIRECTORY/目錄下的檔案，即其他tablespace 的表檔案目錄下的檔案，其中PG_9.4_201403261 與版本相關
	檔名符合的格式
pagemap （怎麼用？extractPageInfo）儲存了一個bitmap，每一位儲存了對應的目的叢集檔案中的每個page 從兩個叢集的分叉點之後是否發生了變化，1代表發生變化，0代表未變化。
oldsize 代表目的叢集該檔案的大小，newsize 代表源叢集該檔案的大小。pg_rewind 中透過源叢集和目的叢集的對應檔案大小比較或者檔案（目錄）是否存在，指定檔案的處理action，例如：
	oldsize > newsize： action=FILE_ACTION_TRUNCATE
	oldsize < newsize： action=FILE_ACTION_COPY_TAIL
	如果檔案不存在，則action=FILE_ACTION_COPY，PG_VERSION檔案除外
	如果目錄不存在，則action=FILE_ACTION_CREATE
	如果檔案多餘，則action=FILE_ACTION_REMOVE
	以上動作由函式process_target_file和process_source_file一起處理。只在process_target_file設定FILE_ACTION_REMOVE
5、提取wal日誌獲取更改頁的步驟：
extractPageInfo：
	for (block_id = 0; block_id <= record->max_block_id; block_id++){
		if (!XLogRecGetBlockTag(record, block_id, &rnode, &forknum, &blkno))
			continue;
		/* We only care about the main fork; others are copied in toto */
		if (forknum != MAIN_FORKNUM)//MAIN_FORKNUM是什麼意思？
			continue;
		process_block_change(forknum, rnode, blkno);
	}
6、pagemap中的bitmap
pg_rewind 工具執行需要開啟full_page_writes，而開啟了full_page_writes 之後，checkpoint 後每個資料頁的第一次修改對應的資料頁的全部內容都會寫在WAL日誌記錄中，所以pg_rewind 可以根據WAL 日誌的組織結構很容易的找到對應已經修改的資料頁資訊，並把對應的file_entry_t 的bitmap 置為1。
XLogRecGetBlockTag：XLogReaderState.blocks[XLR_MAX_BLOCK_ID + 1]

```

PostgreSQL pg_rewind原理

相關文章