> 最近墨天輪推送了文章《記一次control file sequential read延遲增加分析過程》，連結https://www.modb.pro/db/45742，對其中內容非常感興趣，但是一些細節不是很明白，坐言起行，根據大佬們提供的資料進行了一些淺顯研究，對ASM條帶有了進一步認識，特此記錄下來。

> 下面測試用例在11.2.0.4版本中進行測試，限於作者水平以及測試環境，有不足之處歡迎指正。

# 1. 基礎知識ASM條帶化與AU
> 下面內容摘自Oracle Automatic Storage Management Administrator's Guide，感興趣可以閱讀對應版本原文。

## 1.1 條帶型別
1.  fine-grained stripping
    細粒度條帶的條帶stripes的大小始終為128K，我們將ASM檔案分成很多128 K 的chunks，每個AU也劃分為每個128K的chunks，首先放入第一個磁碟的第一個extent，然後第二個磁碟的第一個extent，然後迴圈起來直至ASM 檔案全部放置完成
    可以看出這種方式將檔案細分成很小的大小分散在各個磁碟中，提高了I/O的響應速度，對併發高，要求延遲小的OLTP系統有利。
2. Coarse-Grained Striping 
    粗粒度條帶的stripes 的大小為AU的大小，我們將ASM檔案分解成很多塊，每個大小為AU的大小,首先放入第一個磁碟的第一個extent，然後第二個磁碟的第一個extent，以此類推直至所有ASM檔案放置完成
    可以看出這種方式每次I/O可訪問更多的資料，對對吞吐量要求較高的OLAP系統有利
## 1.2 預設ASM各類檔案條帶屬性
1. Automatic Storage Management Administrators Guide官方文件中有詳細介紹各個檔案預設屬性，11gR2預設只有controlfile為Fine-Grained Striping，條帶屬性可以在建立檔案時設定。
![image.png](https://oss-emcsprod-public.modb.pro/image/editor/20210320-01b8b744-5d20-4e8b-ad75-a477f0e06dc7.png)
## 1.3 條帶extent分配
```
 The Oracle ASM instance is release 11.2 and the disk group compatibility attributes for ASM and RDBMS have been set to 11.2, 
 so variable extents are shown in the graphic after the first 20,000 extents. For the first 20,000 extents, 
 the extent size is 1 M and equals one allocation unit (AU). For the next 20,000 extents, the extent size is 4 M and equals 4 AU
```

# 2. 以控制檔案為例確定資料塊在哪個磁碟
## 2.1 查詢檔案AU分佈資訊
> 可以透過查詢v$asm_alias與X$KFFXP關聯獲取檔案AU分佈資訊。

X$KFFXP是ASM(Automatic Storage Management)自動儲存管理特性的重要內部檢視，該檢視反應了File Extent Map對映關係，ASM會將檔案split成多個多個piece分片，這些分片被稱為Extents。 在Disk上存放這些Extent的位置，就是我們常說的”Allocation Unit”。
詳細可參考：[X$KFFXP介紹](http://www.askmaclean.com/archives/oracle%E5%86%85%E9%83%A8%E8%A7%86%E5%9B%BExkffxp.html)

``` 
$ su - grid
$ sqlplus / as sysasm
set linesize 200 pagesize 1400
col "FILE NAME" format a35
col "ASM DISK" format a25
set head on
select b.NAME         "FILE NAME",
       c.PATH         "ASM DISK",
       a.NUMBER_KFFXP "FILE NUMBER",
       a.XNUM_KFFXP   "EXTENT NUMBER",
       a.DISK_KFFXP   "DISK NUMBER",
      a.GROUP_KFFXP  "GROUP NUMBER",
      a.AU_KFFXP     "AU NUMBER",
      a.SIZE_KFFXP   "NUMBER of AUs"
  from x$kffxp a, v$asm_alias b,v$asm_disk c
 where a.GROUP_KFFXP = b.GROUP_NUMBER
   and b.group_number = c.group_number
   and a.DISK_KFFXP = c.disk_number
   and a.NUMBER_KFFXP = FILE_NUMBER
   and b.system_created = 'Y'
   and a.lxn_kffxp = 0    --logical extent number 0代表primary extent，我們只看primary extent
   and b.name like 'Current%'    --以RAC控制檔案為例
 order by 7;
FILE NAME                           ASM DISK                  FILE NUMBER EXTENT NUMBER DISK NUMBER GROUP NUMBER  AU NUMBER NUMBER of AUs
----------------------------------- ------------------------- ----------- ------------- ----------- ------------ ---------- -------------
Current.260.984508003               /dev/sdd                          260             0           0            1       1348             1
Current.260.984508003               /dev/sdg                          260             1           1            1       5228             1
Current.260.984508003               /dev/sdd                          260             2           0            1       1350             1
Current.260.984508003               /dev/sdg                          260             3           1            1       5229             1
Current.260.984508003               /dev/sdd                          260             4           0            1       1352             1
Current.260.984508003               /dev/sdg                          260             5           1            1       5230             1
Current.260.984508003               /dev/sdd                          260             6           0            1       1354             1
Current.260.984508003               /dev/sdg                          260             7           1            1       5231             1
Current.260.984508003               /dev/sdd                          260             8           0            1       1356             1
Current.260.984508003               /dev/sdg                          260             9           1            1       5232             1
Current.260.984508003               /dev/sdd                          260            10           0            1       1358             1
Current.260.984508003               /dev/sdg                          260            11           1            1       5233             1
Current.260.984508003               /dev/sdd                          260            12           0            1       1360             1
Current.260.984508003               /dev/sdg                          260            13           1            1       5234             1
Current.260.984508003               /dev/sdd                          260            14           0            1       1362             1
Current.260.984508003               /dev/sdg                          260            15           1            1       5235             1
Current.260.984508003               /dev/sdd                          260            16           0            1       1364             1
Current.260.984508003               /dev/sdg                          260            17           1            1       5236             1
Current.260.984508003               /dev/sdd                          260            18           0            1       1366             1
Current.260.984508003               /dev/sdg                          260            19           1            1       5237             1
Current.260.984508003               /dev/sdd                          260            20           0            1       1368             1
Current.260.984508003               /dev/sdg                          260            21           1            1       5238             1
Current.260.984508003               /dev/sdd                          260            22           0            1       1370             1
Current.260.984508003               /dev/sdg                          260            23           1            1       5239             1

```

## 2.2 檢視條帶隱含引數
 _asm_stripesize  
_asm_stripewidth 
```
col name for a40;
col value for a15;
col describe for a50
select
x.ksppinm  name,
y.ksppstvl  value,
y.ksppstdf  isdefault,
x.ksppdesc describe,
decode(bitand(y.ksppstvf,7),1,'MODIFIED',4,'SYSTEM_MOD','FALSE')  ismod,
decode(bitand(y.ksppstvf,2),2,'TRUE','FALSE')  isadj
from
sys.x$ksppi x,
sys.x$ksppcv y
where
x.inst_id = userenv('Instance') and
y.inst_id = userenv('Instance') and
x.indx = y.indx and x.ksppinm like '%&parameter%'
order by
translate(x.ksppinm, ' _', ' ')
/
Enter value for parameter: strip
old  14: x.indx = y.indx and x.ksppinm like '%&parameter%'
new  14: x.indx = y.indx and x.ksppinm like '%strip%'

NAME                                     VALUE           ISDEFAULT DESCRIBE                                           ISMOD      ISADJ
---------------------------------------- --------------- --------- -------------------------------------------------- ---------- -----
_asm_stripesize                          131072          TRUE      ASM file stripe size                               FALSE      FALSE
_asm_stripewidth                         8               TRUE      ASM file stripe width                              FALSE      FALSE

```

11g預設引數值如下：
_asm_stripesize  131072即128KB，
_asm_stripewidth  8為例，
資料存放不止與條頻寬度有關，還與ASM DISKGROUP中磁碟數有關，下面均以磁碟組external冗餘為例
經過不同磁碟數測試得出情況如下：
1. 如果磁碟數為1，則細粒度條帶也是按照放滿第一個AU再放第二個AU順序存放，可以透過dd驗證這種情況。
2. 如果磁碟數大於1小於條頻寬度，則會按照磁碟數進行交叉迴圈存放，第一個條帶尺寸128k存放於第一個磁碟的AU1，第二個條帶尺寸存放於第二塊磁碟的AU2，當AU放滿，會再次分配新的extent以及對應AU。
3. 如果磁碟數大於條頻寬度，則會根據條頻寬度進行在不同磁碟間存放，當第一組AU存放滿之後，由於ASM磁碟要均勻存放資料在磁碟組所有磁碟，所以會根據演算法再使用其他未放置資料磁碟，迴圈往復，直到所有資料都均勻分佈在磁碟組所有磁碟。

## 2.3 檢視需要查詢asm檔案block_size
> 下面例子中ASM磁碟組有兩塊磁碟，雖然會在不同磁碟間迴圈存放，但是對於extent來說是邏輯連續的，2.1小節中查詢資料分佈只需按照extent,au number號排序，然後根據計算要查詢的資料塊號順延計算第幾個au，然後按照extent,au number排序後結果對應行號，是哪一個au number，則對應block即存放於哪個對應au以及對應磁碟。

```
$ sqlplus / as sysasm
SQL> select group_number,file_number,block_size,blocks,bytes from v$asm_file where FILE_NUMBER=260 and GROUP_NUMBER=1;

GROUP_NUMBER FILE_NUMBER BLOCK_SIZE     BLOCKS      BYTES
------------ ----------- ---------- ---------- ----------
           1         260      16384       1297   21250048

```

## 2.4 檢視磁碟組au size

```
select GROUP_NUMBER,NAME,ALLOCATION_UNIT_SIZE from v$asm_diskgroup;
GROUP_NUMBER NAME                           ALLOCATION_UNIT_SIZE
------------ ------------------------------ --------------------
           1 DATADG                                      1048576

```

## 2.5 查詢controlfile sequential read的p1 p2
根據p1查詢讀取哪個控制檔案
```
SYS>  SELECT cfnam,indx,cfbsz FROM X$KCCCF WHERE INDX = &p1
CFNAM                                                        INDX    CFBSZ
------------------------------------------------------------ ---- --------
+DATADG/honor/controlfile/current.260.984508003                 0    16384

```

## 2.6 根據p2換算位於哪個AU
假設查詢如下：
```
--查詢control file sequential read等待事件
EVENT                                                                                   P1               P2              P3
---------------------------------------------------------------- ------------------------- ---------------- ---------------
control file sequential read                                                             0               35               1
control file sequential read                                                             0               42               1
control file sequential read                                                             0               39               1
control file sequential read                                                             0               35               1
control file sequential read                                                             0               30  
             1

```

以P2=30為例，單個AU=1048576，control file block size=16384，
則第30個block位於：
block_number*block_size/strip_size=30*16384/131072=3.75，
即處於第四個AU，每個AU 8個128k的條帶塊，每個控制檔案塊為16384/1024=16k
第30個block處於第四個AU的mod(30*16384/131072,1)*131072/16384=6,處於第四個AU的第6個塊。
> 對應2.1小節結果，即控制檔案current.260.984508003第30個塊位於第四行即/dev/sdg的5229 au上，下面我們來驗證結果是否符合。

## 2.7 根據AU number進行dd
根據2.1小節中查詢AU number資訊進行dump
本例中3.75即位於第四個AU，即AU number為1351，根據上面計算，位於1351的第6個塊，我們來dd一下/dev/sdd磁碟
```
$ dd if=/dev/sdg of=/tmp/au_5229.data bs=1048576 skip=5229 count=1
--AU number從0開始計算，所以AU number 5229即物理磁碟上第5230個1M單位，所以需要skip 5229
$ dd if=/tmp/au_5229.data of=/tmp/au5229block6.data bs=16384 skip=5 count=1
--從AU上dump出來第6個塊，稍後與控制檔案dump出來對比

```

驗證控制檔案第30個塊
```
ASMCMD> cp Current.260.984508003 /tmp/Current.260.ctl
$ dd if=/tmp/Current.260.ctl of=/tmp/ctl_block30.data bs=16384 skip=29 count=1
$ hexdump -C /tmp/ctl_block30.data 
00000000  15 c2 00 00 1d 00 00 00  00 00 00 00 00 00 01 04  |................|
00000010  f7 2c 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |.,..............|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000000a0  00 00 00 00 00 00 ff ff  00 00 00 00 00 00 00 00  |................|
000000b0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00003ff0  00 00 00 00 00 00 00 00  00 00 00 00 01 15 00 00  |................|
00004000

```
檢視dd出來AU 30個塊內容：
```
$ hexdump -C /tmp/au5229block6.data 
00000000  15 c2 00 00 1d 00 00 00  00 00 00 00 00 00 01 04  |................|
00000010  f7 2c 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |.,..............|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000000a0  00 00 00 00 00 00 ff ff  00 00 00 00 00 00 00 00  |................|
000000b0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00003ff0  00 00 00 00 00 00 00 00  00 00 00 00 01 15 00 00  |................|
00004000
--可以看到內容完全一致，那麼我們對ASM物理結構理解與實際相符。

```
END
感謝各位大佬的深入研究，才能讓有進一步研究的資料。

參考：
https://www.modb.pro/db/45742?XZS=
http://www.askmaclean.com/archives/oracle%E5%86%85%E9%83%A8%E8%A7%86%E5%9B%BExkffxp.html
Oracle® Automatic Storage Management Administrator's Guide

從定位資料塊所在ASM磁碟到ASM stripping

相關文章