Sysbench使用

1. sysbench 介紹

sysbench是一個模組化的、跨平臺、多執行緒基準測試工具，主要用於評估測試各種不同系統引數下的資料庫負載情況。關於這個專案的詳細介紹請看：。

它主要包括以下幾種方式的測試：

1. cpu效能

2. 磁碟io效能

3. 排程程式效能

4. 記憶體分配及傳輸速度

5. POSIX執行緒效能

6. 資料庫效能(OLTP基準測試)

目前sysbench主要支援MySQL，Pgsql和Oracle這3種資料庫。

2. 安裝sysbench

基於Debain的作業系統，可以直接安裝：

sudo apt-get install sysbench

也可以下載原始碼，然後自己編譯安裝。

專案主頁： /> 下載地址： /> 文件地址：

3. 開始測試

3.1 CPU效能測試

根據官網的介紹可知：CPU測試使用64位整數，測試計算素數直到某個最大值所需要的時間。

sysbench --test=cpu --cpu-max-prime=20000 run

輸出如下：

Maximum prime number checked in CPU test: 200000

Test execution summary:

total time: 286.5703s

total number of events: 10000

total time taken by event execution: 285197.4463

per-request statistics:

min: 109.67ms

avg: 28519.74ms

max: 36760.02ms

approx. 95 percentile: 31751.56ms

Threads fairness:

events (avg/stddev): 9.7656/0.81

execution time (avg/stddev): 278.5131/6.05

我們只需要關心測試的總時間(total time)即可。

CPU效能測試有一個需要注意的地方，上面的測試只使用了一個執行緒，如果在兩個cpu processor不同的電腦上做比較，這是不公平的。公平的做法是指定合理的執行緒數，如下所示：

sysbench --test=cpu --num-threads=`grep "processor" /proc/cpuinfo | wc -l` \

--cpu-max-prime=200000 run

補充知識：

檢視CPU核數的方法

1. 檢視物理cpu個數

grep "physical id" /proc/cpuinfo | sort -u | wc -l

2. 檢視核心數量

grep "core id" /proc/cpuinfo | sort -u | wc -l

3. 檢視執行緒數量

grep "processor" /proc/cpuinfo | sort -u | wc -l

在sysbench的測試中，--num-threads取值為"執行緒數量"即可，再大的值沒有什麼意義，對測試結果也沒有什麼影響。

3.2 執行緒(thread)測試

測試執行緒排程器的效能。對於高負載情況下測試執行緒排程器的行為非常有用。

sysbench --test=threads --num-threads=64 run

下面是輸出結果：

Number of threads: 64

Doing thread subsystem performance test

Thread yields per test: 1000 Locks used: 8

Threads started!

Done.

Test execution summary:

total time: 4.5845s

total number of events: 10000

total time taken by event execution: 291.9995

per-request statistics:

min: 0.76ms

avg: 29.20ms

max: 152.71ms

approx. 95 percentile: 71.11ms

Threads fairness:

events (avg/stddev): 156.2500/5.81

execution time (avg/stddev): 4.5625/0.02

說實話，我也不怎麼會分析這個測試結果，網上搜了半天也沒有搜到，幾乎所有的資料都是簡單的羅列出測試結果，也不告訴我們應該怎麼分析，實在是太不照顧新手了。我自己是透過（total time:）判斷執行緒排程的效能的，下面是我在伺服器上執行這個測試的輸出：

Number of threads: 64

Doing thread subsystem performance test

Thread yields per test: 1000 Locks used: 8

Threads started!

Done.

Test execution summary:

total time: 2.4829s

total number of events: 10000

total time taken by event execution: 157.3468

per-request statistics:

min: 0.21ms

avg: 15.73ms

max: 166.69ms

approx. 95 percentile: 119.14ms

Threads fairness:

events (avg/stddev): 156.2500/22.25

execution time (avg/stddev): 2.4585/0.02

可以看到total time 比在我自己電腦上少了一半，伺服器的執行緒排程肯定比普通電腦快多了。

3.3 互斥鎖(mutex)

測試互斥鎖的效能，方式是模擬所有執行緒在同一時刻併發執行，並都短暫請求互斥鎖。

sysbench --test=mutex --num-threads=16 --mutex-num=2048 \

--mutex-locks=1000000 --mutex-loops=5000 run

輸出結果如下：

Number of threads: 16

Doing mutex performance test

Threads started!

Done.

Test execution summary:

total time: 3.6123s

total number of events: 16

total time taken by event execution: 57.6636

per-request statistics:

min: 3580.79ms

avg: 3603.98ms

max: 3610.94ms

approx. 95 percentile: 10000000.00ms

Threads fairness:

events (avg/stddev): 1.0000/0.00

execution time (avg/stddev): 3.6040/0.01

為了不誤導別人，我就不解釋各引數的含義了，可以請參考這裡。

3.4 記憶體測試

記憶體測試測試了記憶體的連續讀寫效能。

sysbench --test=memory --memory-block-size=8K --memory-total-size=2G --num-threads=16 run

上面這條語句指定了整個測試過程中，傳輸2G的資料量，每個block的大小為8K(大寫的K)。測試結果如下所示，我們最關心的是吞吐量(8030.45MB/sec)，和後面的磁碟io 測試結果比較可知，記憶體的連續讀寫比磁碟的連續讀寫快十幾倍。

Number of threads: 16

Doing memory operations speed test

Memory block size: 8K

Memory transfer size: 2048M

Memory operations type: write

Memory scope type: global

Threads started!

Done.

Operations performed: 262144 (1027897.89 ops/sec)

2048.00 MB transferred (8030.45 MB/sec)

Test execution summary:

total time: 0.2550s

total number of events: 262144

total time taken by event execution: 3.1911

per-request statistics:

min: 0.00ms

avg: 0.01ms

max: 29.55ms

approx. 95 percentile: 0.00ms

Threads fairness:

events (avg/stddev): 16384.0000/926.14

execution time (avg/stddev): 0.1994/0.02

3.5 檔案IO基準測試

檔案IO(fileio)基準測試可以測試系統在不同IO負載下的效能。這對於比較不同的硬碟驅動器，不同的RAID 卡，不同的RAID 模式，都很有幫助。可以根據測試結果調整IO子系統。檔案IO基準測試模擬了很多InnoDB 的IO特性。

測試的第一步是準備(Prepare)階段，生成測試用到的資料檔案，生成的資料檔案至少要比記憶體大。如果檔案中的資料能完全放入記憶體中，則作業系統快取大部分的資料，導致測試結果無法體現IO密集型的工作負載。首先透過下面的命令建立一個資料集：

sysbench --test=fileio --file-total-size=40G prepare

這個命令會在當前工作目錄下建立測試檔案，後續的執行(run)階段將透過讀寫這些檔案進行測試。第二步就是執行(run)階段，針對不同的IO 型別有不同的測試選項：

· seqwr 順序寫入

· seqrewr 順序重寫

· seqrd 順序讀取

· rndrd 隨機讀取

· rndwr 隨機寫入

· rndrw 混合隨機讀/寫

下面的命令執行檔案I/O混合隨機讀/寫基準測試：

sysbench --test=fileio --file-total-size=40G --file-test-mode=rndrw\

--init-rng=on --max-time=300 --max-requests=0 run

結果如下：

Extra file open flags: 0

128 files, 240Mb each

30Gb total file size

Block size 16Kb

Number of random requests for random IO: 0

Read/Write ratio for combined random IO test: 1.50

Periodic FSYNC enabled, calling fsync() each 100 requests.

Calling fsync() at the end of test, Enabled.

Using synchronous I/O mode

Doing random r/w test

Threads started!

Time limit exceeded, exiting...

Done.

Operations performed: 15900 Read, 10600 Write, 33842 Other = 60342 Total

Read 248.44Mb Written 165.62Mb Total transferred 414.06Mb (1.3802Mb/sec)

88.33 Requests/sec executed

Test execution summary:

total time: 300.0074s

total number of events: 26500

total time taken by event execution: 164.1563

per-request statistics:

min: 0.01ms

avg: 6.19ms

max: 315.51ms

approx. 95 percentile: 15.83ms

Threads fairness:

events (avg/stddev): 26500.0000/0.00

execution time (avg/stddev): 164.1563/0.00

輸出結果中包含了大量的資訊。和IO子系統密切相關的包括每秒請求數和總吞吐量。在上述例子中，每秒請求數是88.33 Requests/sec ，吞吐量是1.3802Mb/sec 。另外，時間資訊也非常有用，尤其是大約95%的時間分佈。這些資料對於評估磁碟效能十分有用。

測試完成以後，執行清除(cleanup)操作刪除第一步生成的測試檔案。

sysbench --test=fileio --fil-total-size=30G cleanup

3.6 oltp

下面來看最重要也是最複雜的測試————oltp。oltp 基準測試模擬了一個簡單的事物處理系統的工作負載。下面的例子使用的是一張超過百萬行記錄的表，第一步是先生成這張表：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-db=test \

--mysql-user=root prepare

生成資料只需要上面這條簡單的命令即可。這條命令在test 資料庫中新建了一個表(sbtest)，並在表中插入了1000000條記錄。

對於非預設安裝的mysql，需要指定連線到msyql伺服器的socket(my.cnf中的socket值)，如下所示：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-user=root \

--mysql-db=test --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \

prepare

資料載入完成以後就可以開始測試了，這個例子採用了16個執行緒，測試時長為720秒：

sysbench --test=oltp --oltp-table-size=1000000 --mysql-db=test \

--mysql-user=root --max-time=720 --max-requests=0 \

--num-threads=16 --oltp-test-mode=complex run

與插入記錄時一樣，如果mysql是非預設安裝，還需要指定--mysql-socket的值。

Number of threads: 16

Doing OLTP test.

Running mixed OLTP test

Using Special distribution (12 iterations, 1 pct of values are returned in 75 pct cases)

Using "BEGIN" for starting transactions

Using auto_inc on the id column

Threads started!

Time limit exceeded, exiting...

(last message repeated 15 times)

Done.

OLTP test statistics:

queries performed:

write: 9366330

other: 3746532

total: 39338586

transactions: 1873266 (2601.71 per sec.)

deadlocks: 0 (0.00 per sec.)

read/write requests: 35592054 (49432.47 per sec.)

other operations: 3746532 (5203.42 per sec.)

Test execution summary:

total time: 720.0136s

total number of events: 1873266

total time taken by event execution: 11506.8251

per-request statistics:

min: 2.37ms

avg: 6.14ms

max: 400.48ms

approx. 95 percentile: 14.90ms

Threads fairness:

events (avg/stddev): 117079.1250/275.62

execution time (avg/stddev): 719.1766/0.01

如上所示，結果中包含了相當多的資訊。其中最有價值的資訊如下；

· 總的事務數

· 每秒事務數

· 時間統計資訊（最小，平均，最大響應時間，以及95%百分比響應時間）

· 執行緒公平性統計資訊

最最重要的當然是每秒事務數(2601.71 per sec.)。

oltp 測試注意事項：

1. --max-requests --max-requests 預設值為10000 ，如果設定了--max-requests 或者使用預設值，分析結果的時候主要檢視執行時間(total time)，一般情況下，都將--max-requests 賦值為0 ，即不限制請求數量，透過--max-time 來指定測試時長，然後檢視系統的每秒事務數。

2. --oltp-test-mode

--oltp-test-mode用以指定測試模式，取值有(simeple,complex,nontrx)，預設是complex。不同模式會執行不同的語句。具體執行語句如下所示：

1. Simple 這種模式只是簡單的執行selec語句。

SELECT c FROM sbtest WHERE id=N

2. complex(Advanced transactional) 在事務中，可能包含下列語句。

§ Point queries:

SELECT c FROM sbtest WHERE id=N

§ Range queries:

SELECT c FROM sbtest WHERE id BETWEEN N AND M

§ Range SUM() queries:

SELECT SUM(K) FROM sbtest WHERE id BETWEEN N and M

§ Range ORDER BY queries:

SELECT c FROM sbtest WHERE id between N and M ORDER BY c

§ Range DISTINCT queries:

SELECT DISTINCT c FROM sbtest WHERE id BETWEEN N and M ORDER BY c

§ UPDATEs on index column:

UPDATE sbtest SET k=k+1 WHERE id=N

§ UPDATEs on non-index column:

UPDATE sbtest SET c=N WHERE id=M

§ DELETE queries:

DELETE FROM sbtest WHERE id=N

§ INSERT queries:

INSERT INTO sbtest VALUES (...)

3. nontrx(Non-transactional) 這種模式包含下列SQL語句。

§ Point queries:

SELECT pad FROM sbtest WHERE id=N

§ UPDATEs on index column:

UPDATE sbtest SET k=k+1 WHERE id=N

§ UPDATEs on non-index column:

UPDATE sbtest SET c=N WHERE id=M

§ DELETE queries:

DELETE FROM sbtest WHERE id=N

§ INSERT queries:

INSERT INTO sbtest (k, c, pad) VALUES(N, M, S)

3. simple 與 --oltp-read-only 的區別

simple模式和在complex模式下開啟read-only選項都只包含select語句。但是 simple 模式只包含最簡單的select語句，相反地，complex 模式中，如果我們開啟read-only 選項，即--oltp-read-only=on，則會包含複雜的SQL語句。如：

SELECT SUM(K) FROM sbtest WHERE id BETWEEN N and M

SELECT DISTINCT c FROM sbtest WHERE id BETWEEN N and M ORDER BY c

4. 測試自有的儲存引擎

測試自有的儲存引擎需要告訴sysbench，這個儲存引擎是否支援事務。

如下所示：

o 準備

o sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \

o --oltp-table-size=100000 --mysql-user=root --mysql-db=test \

o --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \

prepare

o 測試

o sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \

o --oltp-table-size=100000 --mysql-user=root --mysql-db=test \

o --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \

o --oltp-test-mode=complex --num-threads=16 --max-time=720 \

--max-requests=0 run

o 清除

o sysbench --test=oltp --mysql-table-engine=tnt --mysql-engine-trx=yes \

o --oltp-table-size=100000 --mysql-user=root --mysql-db=test \

o --mysql-socket=/data/ntse/lmx/sysbench/var/mysqld.sock \

clean

4. sysbench 0.5

4.1 下載安裝

1. 下載

bzr branch lp:sysbench

2. 安裝依賴庫

sudo apt-get installlibtool

3. 安裝

4. tar -zxvf sysbench.tar.gz

5. cd sysbench

6. ./autogen.sh

7. ./configure

8. make

#make install #可選

9. 開始測試

10. cd sysbench/sysbench

11. ./sysbench --test=./tests/db/oltp.lua

12. --debug=yes \

13. --mysql-host=localhost \

14. --mysql-socket=PATH/mysqld.sock \

15. --mysql-db=test \

16. --mysql-table-engine=innodb \

17. --mysql-engine-trx=yes \

18. --mysql-user=root \

19. --max-requests=0 \

20. --max-time=60 \

21. --num-threads=16 \

22. --oltp-table-size=100000 \

--report-interval=10 [prepare|run|cleanup]

23. 解釋

o --debug 引數用以列印更加詳細的除錯資訊

o --report-interval 用以列印中間結果

o 除了測試oltp，sysbench 0.5還可以進行插入操作的效能測試(insert.lua)，選擇操作的效能測試(select.lua)等。

Sysbench使用簡介

相關文章