FIO是測試IOPS的非常好的工具，用來對硬體進行壓力測試和驗證，支援13種不同的I/O引擎，

包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。

fio 官網地址：

一，FIO安裝

wget

yum install libaio-devel

tar -zxvf fio-2.0.7.tar.gz

cd fio-2.0.7

make

make install

二，隨機讀測試：

隨機讀：

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G

-numjobs=10 -runtime=1000 -group_reporting -name=mytest

說明：

filename=/dev/sdb1 測試檔名稱，通常選擇需要測試的盤的data目錄。

direct=1 測試過程繞過機器自帶的buffer。使測試結果更真實。

rw=randwrite 測試隨機寫的I/O

rw=randrw 測試隨機寫和讀的I/O

bs=16k 單次io的塊檔案大小為16k

bsrange=512-2048 同上，提定資料塊的大小範圍

size=5g 本次的測試檔案大小為5g，以每次4k的io進行測試。

numjobs=30 本次的測試執行緒為30.

runtime=1000 測試時間為1000秒，如果不寫則一直將5g檔案分4k每次寫完為止。

ioengine=psync io引擎使用pync方式

rwmixwrite=30 在混合讀寫的模式下，寫佔30%

group_reporting 關於顯示結果的，彙總每個程式的資訊。

此外

lockmem=1g 只使用1g記憶體進行測試。

zero_buffers 用0初始化系統buffer。

nrfiles=8 每個程式生成檔案的數量。

順序讀：

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

隨機寫：

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

順序寫：

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest

混合隨機讀寫：

fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop

三，實際測試範例：

[root@localhost ~]# fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30

-runtime=100 -group_reporting -name=mytest1

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1

...

mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1

fio 2.0.7

Starting 30 threads

Jobs: 1 (f=1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s]

mytest1: (groupid=0, jobs=30): err= 0: pid=23802

read : io=1853.4MB, bw=18967KB/s, iops=1185 , runt=100058msec

clat (usec): min=60 , max=871116 , avg=25227.91, stdev=31653.46

lat (usec): min=60 , max=871117 , avg=25228.08, stdev=31653.46

clat percentiles (msec):

| 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8],

| 30.00th=[ 10], 40.00th=[ 12], 50.00th=[ 15], 60.00th=[ 19],

| 70.00th=[ 26], 80.00th=[ 37], 90.00th=[ 57], 95.00th=[ 79],

| 99.00th=[ 151], 99.50th=[ 202], 99.90th=[ 338], 99.95th=[ 383],

| 99.99th=[ 523]

bw (KB/s) : min= 26, max= 1944, per=3.36%, avg=636.84, stdev=189.15

write: io=803600KB, bw=8031.4KB/s, iops=501 , runt=100058msec

clat (usec): min=52 , max=9302 , avg=146.25, stdev=299.17

lat (usec): min=52 , max=9303 , avg=147.19, stdev=299.17

clat percentiles (usec):

| 1.00th=[ 62], 5.00th=[ 65], 10.00th=[ 68], 20.00th=[ 74],

| 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 89], 60.00th=[ 90],

| 70.00th=[ 92], 80.00th=[ 97], 90.00th=[ 120], 95.00th=[ 370],

| 99.00th=[ 1688], 99.50th=[ 2128], 99.90th=[ 3088], 99.95th=[ 3696],

| 99.99th=[ 5216]

bw (KB/s) : min= 20, max= 1117, per=3.37%, avg=270.27, stdev=133.27

lat (usec) : 100=24.32%, 250=3.83%, 500=0.33%, 750=0.28%, 1000=0.27%

lat (msec) : 2=0.64%, 4=3.08%, 10=20.67%, 20=19.90%, 50=17.91%

lat (msec) : 100=6.87%, 250=1.70%, 500=0.19%, 750=0.01%, 1000=0.01%

cpu : usr=1.70%, sys=2.41%, ctx=5237835, majf=0, minf=6344162

IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%

submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%

issued : total=r=118612/w=50225/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):

READ: io=1853.4MB, aggrb=18966KB/s, minb=18966KB/s, maxb=18966KB/s, mint=100058msec, maxt=100058msec

WRITE: io=803600KB, aggrb=8031KB/s, minb=8031KB/s, maxb=8031KB/s, mint=100058msec, maxt=100058msec

Disk stats (read/write):

sdb: ios=118610/50224, merge=0/0, ticks=2991317/6860, in_queue=2998169, util=99.77%

主要檢視以上紅色字型部分的iops(read/write)

**磁碟陣列吞吐量與IOPS兩大瓶頸分析**

1、吞吐量

　　吞吐量主要取決於陣列的構架，光纖通道的大小(現在陣列一般都是光纖陣列，至於SCSI這樣的SSA陣列，我們不討論)以及硬碟的個數。陣列的構架與每個陣列不同而不同，他們也都存在內部頻寬(類似於pc的系統匯流排)，不過一般情況下，內部頻寬都設計的很充足，不是瓶頸的所在。

　　光纖通道的影響還是比較大的，如資料倉儲環境中，對資料的流量要求很大，而一塊2Gb的光纖卡，所77能支撐的最大流量應當是2Gb/8(小B)=250MB/s(大B)的實際流量，當4塊光纖卡才能達到1GB/s的實際流量，所以資料倉儲環境可以考慮換4Gb的光纖卡。

　　最後說一下硬碟的限制，這裡是最重要的，當前面的瓶頸不再存在的時候，就要看硬碟的個數了，我下面列一下不同的硬碟所能支撐的流量大小：

　　10 K rpm 15 K rpm ATA

　　——— ——— ———

　　10M/s 13M/s 8M/s

　　那麼，假定一個陣列有120塊15K rpm的光纖硬碟，那麼硬碟上最大的可以支撐的流量為120*13=1560MB/s，如果是2Gb的光纖卡，可能需要6塊才能夠，而4Gb的光纖卡，3-4塊就夠了。

2、IOPS

　　決定IOPS的主要取決與陣列的演算法，cache命中率，以及磁碟個數。陣列的演算法因為不同的陣列不同而不同，如我們最近遇到在hds usp上面，可能因為ldev(lun)存在佇列或者資源限制，而單個ldev的iops就上不去，所以，在使用這個儲存之前，有必要了解這個儲存的一些演算法規則與限制。

　　cache的命中率取決於資料的分佈，cache size的大小，資料訪問的規則，以及cache的演算法，如果完整的討論下來，這裡將變得很複雜，可以有一天好討論了。我這裡只強調一個cache的命中率，如果一個陣列，讀cache的命中率越高越好，一般表示它可以支援更多的IOPS，為什麼這麼說呢?這個就與我們下面要討論的硬碟IOPS有關係了。

　　硬碟的限制，每個物理硬碟能處理的IOPS是有限制的，如

　　10 K rpm 15 K rpm ATA

　　——— ——— ———

　　100 150 50

　　同樣，如果一個陣列有120塊15K rpm的光纖硬碟，那麼，它能撐的最大IOPS為120*150=18000，這個為硬體限制的理論值，如果超過這個值，硬碟的響應可能會變的非常緩慢而不能正常提供業務。

　　在raid5與raid10上，讀iops沒有差別，但是，相同的業務寫iops，最終落在磁碟上的iops是有差別的，而我們評估的卻正是磁碟的IOPS，如果達到了磁碟的限制，效能肯定是上不去了。

　　那我們假定一個case，業務的iops是10000，讀cache命中率是30%，讀iops為60%，寫iops為40%，磁碟個數為120，那麼分別計算在raid5與raid10的情況下，每個磁碟的iops為多少。

　　raid5:

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120

　　= (4200 + 16000)/120

　　= 168

　　這裡的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實際只有4200個iops

　　而4 * (10000*0.4) 表示寫的iops，因為每一個寫，在raid5中，實際發生了4個io，所以寫的iops為16000個

　　為了考慮raid5在寫操作的時候，那2個讀操作也可能發生命中，所以更精確的計算為：

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120

　　= (4200 + 5600 + 8000)/120

　　= 148

　　計算出來單個盤的iops為148個，基本達到磁碟極限

　　raid10

　　單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120

　　= (4200 + 8000)/120

　　= 102

　　可以看到，因為raid10對於一個寫操作，只發生2次io，所以，同樣的壓力，同樣的磁碟，每個盤的iops只有102個，還遠遠低於磁碟的極限iops。

　　在一個實際的case中，一個恢復壓力很大的standby(這裡主要是寫，而且是小io的寫)，採用了raid5的方案，發現效能很差，透過分析，每個磁碟的iops在高峰時期，快達到200了，導致響應速度巨慢無比。後來改造成raid10，就避免了這個效能問題，每個磁碟的iops降到100左右。

linux 使用FIO測試磁碟iops

相關文章