解析HOT原理

lottu發表於2020-06-09

2020-06-09 19:31:01

一、疑問

　　前段時間；QQ群裡有人對“這個表（0,4）這行資料我做了update操作，檢視索引的page資料，看到索引一直指向（0,4），用ctid='(0,4)'查詢業務表是查不到資料的；然後我做了表的vacuum，reindex甚至drop/create index，還是這樣的”感到疑惑。

　　在PostgreSQL8.3實現了（heap only tuple）HOT特性。它存在的目的就是消除表非索引列更新對索引影響。但是它如何工作的呢？

二、解析

　　我們來模擬環境

postgres=# create table tbl_hot(id int primary key, info text);
CREATE TABLE
postgres=# insert into tbl_hot select generate_series(1, 4), 'lottu';
INSERT 0 4
postgres=# select ctid ,t.* from tbl_hot t;
 ctid  | id | info  
-------+----+-------
 (0,1) |  1 | lottu
 (0,2) |  2 | lottu
 (0,3) |  3 | lottu
 (0,4) |  4 | lottu
(4 rows)
postgres=# \d tbl_hot
              Table "public.tbl_hot"
 Column |  Type   | Collation | Nullable | Default 
--------+---------+-----------+----------+---------
 id     | integer |           | not null | 
 info   | text    |           |          | 
Indexes:
    "tbl_hot_pkey" PRIMARY KEY, btree (id)

我們建立表tbl_hot；並插入4條記錄。這是我們更新（0,4）這條記錄。如下

postgres=# update tbl_hot set info = 'rax' where id = 4;
UPDATE 1
postgres=# select ctid ,t.* from tbl_hot t;
 ctid  | id | info  
-------+----+-------
 (0,1) |  1 | lottu
 (0,2) |  2 | lottu
 (0,3) |  3 | lottu
 (0,5) |  4 | rax
(4 rows)

更新之後我們看下索引有變化沒？

postgres=# select * from bt_page_items('tbl_hot_pkey', 1);
 itemoffset | ctid  | itemlen | nulls | vars |          data           
------------+-------+---------+-------+------+-------------------------
          1 | (0,1) |      16 | f     | f    | 01 00 00 00 00 00 00 00
          2 | (0,2) |      16 | f     | f    | 02 00 00 00 00 00 00 00
          3 | (0,3) |      16 | f     | f    | 03 00 00 00 00 00 00 00
          4 | (0,4) |      16 | f     | f    | 04 00 00 00 00 00 00 00
(4 rows)

bt_page_items函式是用來：返回關於B-樹索引頁面上所有項的詳細資訊，在B樹葉子頁面中，ctid指向一個堆元組。在內部頁面中，ctid的塊編號部分指向索引本身中的另一個頁面。

　　我們可以看出索引沒變化。索引存放是表資料的ctid+索引值。使用索引可以快速找到對應記錄的ctid。現在記錄id=4 索引的ctid（0,4）跟表對應ctid(0,5)不一致。那是不是索引失效了。我們來測試下

postgres=# explain select id from tbl_hot where id = 4;
                                   QUERY PLAN                                    
---------------------------------------------------------------------------------
 Index Only Scan using tbl_hot_pkey on tbl_hot  (cost=0.15..8.17 rows=1 width=4)
   Index Cond: (id = 4)
(2 rows)

　　索引沒失效；那如何找到對應的記錄呢？我們先來看下錶儲存的page情況

get_raw_page: 根據參數列明、資料檔案型別（main、fsm、vm）以及page位置，將當前表檔案中的page內容返回。還有一個函式於此同名，只有兩個引數，是將第二個引數省略，直接使用'main'。
heap_page_items: 引數是函式get_raw_page的返回值，返回值是將page內的項指標(ItemIddata)以及HeapTupleHeaderData的詳細資訊。
其中理解下下面欄位含義
lp：這是外掛自己定義的列，在原始碼中其實沒有，這個是項指標的順序。
lp_off：tuple在page中的位置
lp_flags： 含義如下
#define LP_UNUSED       0       /* unused (should always have lp_len=0) */
#define LP_NORMAL       1       /* used (should always have lp_len>0) */
#define LP_REDIRECT     2       /* HOT redirect (should have lp_len=0) */
#define LP_DEAD         3       /* dead, may or may not have storage */
t_ctid： 這個是指物理ID
t_infomask2：表欄位的個數以及一些flags；其中flag含義
#define HEAP_NATTS_MASK         0x07FF
             /* 11 bits for number of attributes *//* bits 0x1800 are available */
#define HEAP_KEYS_UPDATED       0x2000 
          /* tuple was updated and key cols* modified, or tuple deleted */
#define HEAP_HOT_UPDATED        0x4000  /* tuple was HOT-updated */
#define HEAP_ONLY_TUPLE         0x8000  /* this is heap-only tuple */
#define HEAP2_XACT_MASK         0xE000  /* visibility-related bits */

postgres=# select * from heap_page_items(get_raw_page('tbl_hot', 0));
 lp | lp_off | lp_flags | lp_len | t_xmin | t_xmax | t_field3 | t_ctid | t_infomask2 | t_infomask | t_hoff | t_bits | t_oid |         t_data         
----+--------+----------+--------+--------+--------+----------+--------+-------------+------------+--------+--------+-------+------------------------
  1 |   8152 |        1 |     34 |    554 |      0 |        0 | (0,1)  |           2 |       2306 |     24 |        |       | \x010000000d6c6f747475
  2 |   8112 |        1 |     34 |    554 |      0 |        0 | (0,2)  |           2 |       2306 |     24 |        |       | \x020000000d6c6f747475
  3 |   8072 |        1 |     34 |    554 |      0 |        0 | (0,3)  |           2 |       2306 |     24 |        |       | \x030000000d6c6f747475
  4 |   8032 |        1 |     34 |    554 |    555 |        0 | (0,5)  |       16386 |       1282 |     24 |        |       | \x040000000d6c6f747475
  5 |   8000 |        1 |     32 |    555 |      0 |        0 | (0,5)  |       32770 |      10498 |     24 |        |       | \x0400000009726178
(5 rows)

我們來理下：我們通過條件id=4；如何找到對應的記錄

找到指向目標資料tuple的索引tuple(0,4)
根據獲取索引tuple的位置(0,4)；找到行指標lp為4的位置。即對應的ctid為(0,5)
根據ctid為(0,5)；我們可以找到兩條tuple。根據PG的MVCC機制連判斷哪條tuple可見
可以找到對應tuple

更新多次原理也差不多。

這個時候你會有一個疑問“執行vacuum；清理表tuple(0,4);少了步驟2；那上面的流程就走不通了”。我們來解析下：

postgres=# vacuum tbl_hot;
VACUUM
postgres=# select lp, lp_off, lp_flags, t_ctid, t_infomask2 from heap_page_items(get_raw_page('tbl_hot', 0));
 lp | lp_off | lp_flags | t_ctid | t_infomask2 
----+--------+----------+--------+-------------
  1 |   8152 |        1 | (0,1)  |           2
  2 |   8112 |        1 | (0,2)  |           2
  3 |   8072 |        1 | (0,3)  |           2
  4 |      5 |        2 |        |            
  5 |   8040 |        1 | (0,5)  |       32770
(5 rows)

這時；為了解決這個問題，postgresql會在合適的時候進行行指標的重定向（redirect）,這個過程稱為修剪。現在按照這種情況我們來理下：我們通過條件id=4；如何找到對應的記錄

找到指向目標資料tuple的索引tuple(0,4)
根據獲取索引tuple的位置(0,4)；找到行指標lp為4的位置；這是lp_flags為2表示指標重定向lp為5；即行指標對應的位置是8040
通過指標可以找到對應tuple。

這是tuple(0,4)；既然vacuum；表示可以再使用；但是這是標記是LP_REDIRECT；表明tuple非dead tuple；未進行回收；不可以重複使用。這時你可能會有一個疑問“那什麼時候可以回收？”；答案是這個tuple(0,4)不會標記dead tuple。但是執行vacuum;該page是可以回收空間；這個是PG的MVCC處理機制-vacuum的內容；可以分到下個篇幅再講。這裡我們可以簡單演示下：

postgres=# update tbl_hot set info = 'postgres' where id = 4;
UPDATE 1
postgres=# select lp, lp_off, lp_flags, t_ctid, t_infomask2 from heap_page_items(get_raw_page('tbl_hot', 0));
 lp | lp_off | lp_flags | t_ctid | t_infomask2 
----+--------+----------+--------+-------------
  1 |   8152 |        1 | (0,1)  |           2
  2 |   8112 |        1 | (0,2)  |           2
  3 |   8072 |        1 | (0,3)  |           2
  4 |      5 |        2 |        |            
  5 |   8040 |        1 | (0,6)  |       49154
  6 |   8000 |        1 | (0,6)  |       32770
(6 rows)
postgres=# vacuum tbl_hot;
VACUUM
postgres=# select lp, lp_off, lp_flags, t_ctid, t_infomask2 from heap_page_items(get_raw_page('tbl_hot', 0));
 lp | lp_off | lp_flags | t_ctid | t_infomask2 
----+--------+----------+--------+-------------
  1 |   8152 |        1 | (0,1)  |           2
  2 |   8112 |        1 | (0,2)  |           2
  3 |   8072 |        1 | (0,3)  |           2
  4 |      6 |        2 |        |            
  5 |      0 |        0 |        |            
  6 |   8032 |        1 | (0,6)  |       32770
(6 rows)
postgres=# select ctid,t.* from tbl_hot t;
 ctid  | id |   info   
-------+----+----------
 (0,1) |  1 | lottu
 (0,2) |  2 | lottu
 (0,3) |  3 | lottu
 (0,5) |  5 | lottu
 (0,6) |  4 | postgres
(5 rows)

　　最後；當更新的元祖是在其他page；這是索引也會更新；這可以理解是行遷移。這在oracle也是存在這種情況。但是相比oracle更頻繁；當然可以設定降低fillfactor；減少這種情況出現。

三、參考

https://blog.csdn.net/xiaohai928ww/article/details/98603707

https://www.postgresql.org/docs/12/pageinspect.html

揭祕Flutter Hot Reload（原理篇）
2018-10-18
Flutter
DNS解析原理
2020-12-27
DNS
Sentinel 原理-全解析
2019-01-09
Promise原理解析
2019-02-27
Promise
cli原理解析
2019-04-15
MyBatis原理解析
2024-03-14
MyBatis
BlockCanary原理解析
2024-01-11
BloC
Flutter原理深度解析
2019-09-06
Flutter
InheritWidget原理解析
2020-06-07
EventBus 原理解析
2020-11-01
kafka原理解析
2019-05-08
Kafka
CAS原理深度解析
2019-03-15
webpack原理解析
2019-03-04
Web
ThreadLocal原理深入解析
2021-09-09
thread
KonvaJS 原理解析
2021-10-11
JS
HTTPS原理解析
2021-02-18
HTTP
gpfdist原理解析
2021-03-10
hot100 review
2024-10-13
View
PostgreSQL DBA(182) - HOT
2021-05-24
SQL
Volley的原理解析
2019-03-01
CTMediator 原理解析（三）
2019-01-09
binder核心原理解析
2019-02-21
Flutter 路由原理解析
2019-03-17
Flutter路由
spring ioc原理解析
2019-03-10
Spring
singleflight 包原理解析
2020-03-08
Netty（DotNetty）原理解析
2019-07-23
Netty
InnoDB search原理解析
2018-04-29
Markdown-it 原理解析
2022-01-25
Mobx autorun 原理解析
2021-12-20
NameServer 核心原理解析
2021-07-12
Server
Spring Session原理解析
2022-03-20
SpringSession
one-hot編碼
2018-04-10
Discourse Hot 主題功能
2024-03-20
softmax迴歸——原理、one-hot編碼、結構和運算、交叉熵損失
2021-08-21
熵
JavaScript執行原理解析
2019-02-16
JavaScript
SpringMVC實現原理及解析
2018-10-28
SpringMVC
EventBus原理與原始碼解析
2018-10-25
原始碼
CSS的原理，如何解析？
2019-02-27
CSS

解析HOT原理

一、疑問

二、解析

三、參考

相關文章