Oracle Freelist和HWM原理探討及相關效能最佳化(1)

近期來，FreeList的重要作用逐漸為Oracle DBA所認識，網上也出現一些相關的討論。本文以FreeList為線索對Oracle的儲存管理的原理進行較深入的探討，涉及Oracle段區塊管理的原理，FreeList演算法等。而與FreeList密切相關的一個重用特性HWM，與sql效能密切相關，本文也作了原理分析介紹。在原理探討的基礎上，介紹了常用的儲存引數分析方法，並對所涉及的儲存最佳化、HWM的最佳化和Freelist競爭最佳化作了說明。
縮略語：
ASSM：auto segement space management
HWM：high water mark
DBA：data block address
OLTP：online transaction process
OPS：oracle parallel server
1.簡介
Oracle的空間管理和儲存引數管理是Oracle管理及最佳化的重要部分。FreeList作為Oracle底層儲存引數中的核心引數，其行為方式對 Oracle的儲存管理及效能最佳化有重大影響，而現有的Oracle文件對此方面的內容比較缺乏。雖然Oracle 9i已出現了ASSM，但是作為深入調優對FreeList認識仍是必要的。
近期來，FreeList的重要作用逐漸為Oracle DBA所認識，網上也出現一些相關的討論。本文以FreeList為線索對Oracle的儲存管理的原理進行較深入的探討，涉及Oracle段區塊管理的原理，FreeList演算法等。而與FreeList密切相關的一個重用特性HWM，與sql效能密切相關，本文也作了原理分析介紹。在原理探討的基礎上，介紹了常用的儲存引數分析方法，並對所涉及的儲存最佳化、HWM的最佳化和Freelist競爭最佳化作了說明。
這些原理分析和效能最佳化都建立在探討的基礎上，限於篇幅和本人經驗可能存在侷限、偏差或謬誤。
為了準確文中部分結構和欄位的說明直接用英文描述。
限於篇幅本文不對同樣很重要的block結構作更深入的討論，對OPS效能有重要影響的free list group本文也未提及，因此本文在單一free list group下討論。對於block的深入討論、free list group的介紹與最佳化以及PCTUSED和PCTFREE等重要引數的最佳化請參見參考文獻和資料。
2.原理探討
FreeList作為一個Oracle儲存管理的核心引數。其行為方式由Oralce內部控制，我們一般不需要掌握和控制。但是我們可能會遇到這些問題，當插入一條記錄，會插入到那個塊中？是使用新塊，還是插入有資料的老塊？段是什麼時候擴充套件的，如何擴充套件的？表中只有一條記錄，但是作一次select時代價卻是上千個塊，為什麼？如果我們從原理上清楚了Oracle的儲存管理方式，對相關這些問題的解決及效能最佳化就清晰自然了。
2.1 Oracle的邏輯儲存結構
Oralce的邏輯儲存結構按表空間，段，區，塊進行管理。塊是Oracle用來管理儲存空間的最基本單元，Oracle資料庫在進行輸入輸出操作時，都是以塊為單位進行邏輯讀寫操作的。區由一系列連續的塊組成，Oralce在進行空間分配、回收和管理時是以區為基本單位的。段由多個區組成，這些區可以是連續的也可以是不連續的，一般情況下一個物件擁有一個段。表空間中容納段和區。
在生成段的時候，會同時分配初始區(initial extents)， 初始區的第一個塊就格式化為segment header，並被用來記錄free list描述資訊、extents資訊，HWM資訊等。
2.2 free list概念
free list是一種單向連結串列用於定位可以接收資料的塊，在字典管理方式的表空間中，Oracle使用free list來管理未分配的儲存塊。Oracle記錄了有空閒空間的塊用於insert或Update。空閒空間來源於兩種方式：1.段中所有超過HWM的塊，這些塊已經分配給段了，但是還未被使用。2.段中所有在HWM下的且鏈入了free list的塊，可以被重用。free list具有下列屬性
l flag指示free list 被使用(1)或未使用(0)
l free list 鏈的首塊的地址DBA(data block address)
l free list 鏈的尾塊的地址DBA
free list 的資訊通常保留在segment header中,這裡給出segment header block dump片段加以說明：
nfl = 3, nfb = 1 typ = 1 nxf = 0
SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000
SEG LST:: flg: USED lhd: 0x03c00233 ltl: 0x03c00233
SEG LST:: flg: USED lhd: 0x03c00234 ltl: 0x03c00234
SEG LST:: flg: UNUSED lhd: 0x00000000 ltl: 0x00000000

Segment Header:
==> nfl: number of free lists/block
==> nfb: number of free list blocks + segment header
==> typ: block type
==> nxf: number of transaction free lists
Segment List:
==> flg: flag USED or UNUSED the free list
==> lhd: head of free list
==> ltl: tail of free list

在每一個塊中都有一個標記flg用來表明塊是否鏈入了 free list鏈中。如果這個標誌置上，該塊中後向指標指向free list鏈中下一個塊的DBA。如果當前塊是鏈的最末尾的塊，該後向指標值為0。
這裡給出位於free list上的block dump的片段
Block header dump: 0x03c00235
Object id on Block? Y
seg/obj: 0xe2d8 csc: 0x00.6264c61 itc: 1 flg: O typ: 1 - DATA
fsl: 1 fnx: 0x3c00234 ver: 0x01

==> Seg/obj Object ID in dictionary
==> csc SCN of last block cleanout
==> itc Number of ITL slots
==> flg O = On freelist , - = Not on freelist
==> typ 1 = DATA 2 = INDEX
==> fsl ITL TX freelist slot
==> fnx DBA of NEXT block on freelist

舉例來說如果有五個塊在free list中，分別為A,B,C,D,E
就會形成segment header->A->B->C->D->E--|
同時segment header->E
2.3 free list類別
在段中存在3類free list, 即Master Freelists (MFL), Process Freelists (PrFL), 和 Transaction Freelists.
2.3.1 Master Free List(公用空閒空間池):
每一個段中有一個Master free list，在段建立的時候自動生成。對於每一個段來說都有這樣一個空閒空間池,對每個程式都是公用的，空閒空間就是位於master free list 的塊上。由於Master free list是公用的，因此當多個程式同時插入行到同一個段上,master free list競爭使用程度就會增加。
2.3.2 Process Free Lists
為了減少Master Free list的競爭問題, 引入了另一種free list叫做Process free lists, 根據sql命令 CREATE/ALTER 中的引數FREELISTS 建立. 這樣多個free list 就可以分攤空閒空間的管理，以提高OLTP應用作高度併發插入和更新事務時空間分配管理的效能。透過指定CREATE TABLE / CLUSTER or INDEX的子句STORAGE的引數FREELISTS 來建立，例如: CREATE TABLE flg ( . . . .) . . . STORAGE ( ... FREELISTS 10 ...)。預設的FREELISTS為1，此時不會建立Process free lists。當FREELISTS>=2時，建立Process free lists。
程式在使用process free list是根據程式的Oracle PID (Process ID)來選擇的，公式如下:
select list entry = (PID % NFL) + 1
NFL : FREELISTS定義的Process free list個數
2.3.3 Transaction Free Lists
當 Oracle需要時動態建立。一個Transaction Free List 是一種專門給某一個事務使用的free list. 每個段至少有16個transactions free lists, 並且這個值在需要時會增長，直到達到Segment Header塊的大小限制。一個事務只有下面情況下會需要分配一個Tx Free Lists entry: 塊中釋放空間時(DELETE or UPDATE) 並且還不存在Tx Free Lists entry時。
2.4 Free list行為
2.4.1 Freelist Link and Unlink 操作
Freelist 按後進先出佇列(LIFO) 方式管理。也就是說最後被link到freelist的塊擁有最先unlink的機會。
當塊中空閒空間增加到大於PCTFREE時，塊放入freelist中。free list中的塊可用來作update 或insert。 當塊中沒有足夠的空間用於insert操作時並且使用空間大於PCTUSED，塊就會從free list中移出。
在塊在DELETE or UPDATE 操作之後，如果使用空間落到PCTUSED下，塊再次link到free list中。每次塊加入free list時，都是link到連結串列的頭部。
例如：考慮段中有120個塊編號由1到120。其中有6個塊在free list上並假設HWM是 80。（block實際使用DBA編號）
10->24->45->46->65->80-|
現在作INSERT 操作,需要400 bytes空間。假設塊10上空間不足，但塊24上空間可用。現在資料插入到塊 24 ，現在塊24的剩餘空間小於該表的PCTUSED。因此塊 24 從free list連結串列中移出。PCTFREE and PCTUSED引數的目的就是用來控制資料塊從free list的連結串列中移入/移出行為的。現在free lists象這樣：
10->45->46->65->80-|
然後在同一事務中作DELETE同一個段的資料，使塊 54 和 67落到PCTUSED下。現在這些塊加入到free list鏈中。free list鏈現在象這樣:
67->54->10->45->46->65->80-|
2.4.2 Transaction Free List 演算法
掃描segment Header塊中所有的Tx free list,檢查是否還沒有Tx free list entry分配給transaction， 如何沒有，將尋找未使用的entry或已經提交了事務的空的Tx free list。如果上述搜尋過程失敗, 新的entry會在segment Header塊中Tx free lists區域中開闢。如果沒有空間來生成, 事務就必須等待entry的釋放。
segment header中的最大free list個數:
Block Size Max # Freelists
----------- -----------------
2K 24
4K 50
8K 101
16k 204
事務T1釋放出來的空閒塊(DELETE or UPDATE)的使用 :
l 立即被T1所重用
l 當T1 commit後被其它需要空閒塊的事務重用，過程舉例如下:


2.5 HMW概念
HIGH WATER MARK代表一個表使用的最大的(top limit)塊 。2.1中已經提到HIGH WATER MARK 記錄在segment header中，並且在Oracle插入資料時一般增長5個blocks（並非總是5個塊，具體參見2.4.2中流程圖中HMW增長方式）。
segment header block中與HWM相關資訊說明如下:
EXTENT CONTROL:
Extent Header:: spare1: 0 space2: 0 #extents: 13 #blocks: 1429
last map 0x00000000 #maps: 0 offset: 4128
Highwater:: 0x020004d0 ext#: 12 blk#: 275 ext size: 475
#blocks in seg. hdr’s freelists: 5
#blocks below: 1229
mapblk 0x00000000 offset: 12
Unlocked
==> spare1: this field is no longer used (old inc#, now always 0)
==> space2: this field is no longer used (old ts#, now always 0)
==> #extents: number of extents allocated to segment
==> #blocks: number of blocks allocated to segment

==> last map: address of last extent map block
0 if extent map is entirely in the segment header
==> #maps: number of extent map block
==> offset: offset to end of extent map

==> HWM dba: address of block at highwater mark
==> ext#: HWM extent number relative to segment
==> blk#: HWM block number within extent
==> ext size: HWM extent size (in blocks)
==> #blocks in seg. hdr’s freelists: number of blocks in seg. hdr’s free list
==> #blocks below: number of blocks below HWM
==> mapblk dba: dba of extent map block containing HWM extent
is 0 if HWM is in the segment header
==> offset: offset within extent map block
is the ext# if HWM is in segment header
==> Locked by: if locked by a transaction, the xid is displayed

HWM可以說是已經使用過的儲存空間和未使用過的儲存空間之間的分界線。在表使用過程中，HWM一直向一個方向移動，插入記錄時HWM可能會向增加的方向移動，但是刪除記錄時HWM並不會向相反的方向移動。參見2.4.2。下圖顯示了某個資料段中HWM的位置情況。

HIGH WATER MARK之所以重要是因為它對全表掃描效能的影響。當實施一個全表掃描時，Oracle會讀取所有HIGH WATER MARK下的塊即使它們是空塊。當HIGH WATER MARK 下有很多unused block時實施全表掃描會增加額外的不必要的I/O。它也會在全域性共享區中填充很多很多空塊。[@more@]