Linux 效能分析工具彙總合集

董西孝發表於2017-05-16

出於對Linux作業系統的興趣，以及對底層知識的強烈慾望，因此整理了這篇文章。本文也可以作為檢驗基礎知識的指標，另外文章涵蓋了一個系統的方方面面。如果沒有完善的計算機系統知識，網路知識和作業系統知識，文件中的工具，是不可能完全掌握的，另外對系統效能分析和優化是一個長期的系列。

本文件主要是結合Linux 大牛，Netflix 高階效能架構師 Brendan Gregg 更新 Linux 效能調優工具的博文，蒐集Linux系統效能優化相關文章整理後的一篇綜合性文章，主要是結合博文對涉及到的原理和效能測試的工具展開說明。

背景知識：具備背景知識是分析效能問題時需要了解的。比如硬體 cache；再比如作業系統核心。應用程式的行為細節往往是和這些東西互相牽扯的，這些底層的東西會以意想不到的方式影響應用程式的效能，比如某些程式無法充分利用 cache，從而導致效能下降。比如不必要地呼叫過多的系統呼叫，造成頻繁的核心 / 使用者切換等。這裡只是為本文的後續內容做一些鋪墊，關於調優還有很多東西，我所不知道的比知道的要多的多，希望大家能共同學習進步。

效能分析工具

首先來看一張圖：

上圖是Brendan Gregg 的一次效能分析的分享，這裡面的所有工具都可以通過man來獲得它的幫助文件，下問簡單介紹介紹一下常規的用法：

vmstat–虛擬記憶體統計

vmstat(VirtualMeomoryStatistics,虛擬記憶體統計) 是Linux中監控記憶體的常用工具,可對作業系統的虛擬記憶體、程式、CPU等的整體情況進行監視。

vmstat的常規用法：vmstat interval times即每隔interval秒取樣一次，共取樣times次，如果省略times,則一直採集資料，直到使用者手動停止為止。

簡單舉個例子：

可以使用ctrl+c停止vmstat採集資料。

第一行顯示了系統自啟動以來的平均值，第二行開始顯示現在正在發生的情況，接下來的行會顯示每5秒間隔發生了什麼，每一列的含義在頭部，如下所示：

procs：r這一列顯示了多少程式在等待cpu，b列顯示多少程式正在不可中斷的休眠（等待IO）。
memory：swapd列顯示了多少塊被換出了磁碟（頁面交換），剩下的列顯示了多少塊是空閒的（未被使用），多少塊正在被用作緩衝區，以及多少正在被用作作業系統的快取。
swap：顯示交換活動：每秒有多少塊正在被換入（從磁碟）和換出（到磁碟）。
io：顯示了多少塊從塊裝置讀取（bi）和寫出（bo）,通常反映了硬碟I/O。
system：顯示每秒中斷(in)和上下文切換（cs）的數量。
cpu：顯示所有的cpu時間花費在各類操作的百分比，包括執行使用者程式碼（非核心），執行系統程式碼（核心），空閒以及等待IO。

記憶體不足的表現：free memory急劇減少，回收buffer和cacher也無濟於事，大量使用交換分割槽（swpd）,頁面交換（swap）頻繁，讀寫磁碟數量（io）增多，缺頁中斷（in）增多，上下文切換（cs）次數增多，等待IO的程式數（b）增多，大量CPU時間用於等待IO（wa）

iostat–用於報告中央處理器統計資訊

iostat用於報告中央處理器（CPU）統計資訊和整個系統、介面卡、tty 裝置、磁碟和 CD-ROM 的輸入/輸出統計資訊，預設顯示了與vmstat相同的cpu使用資訊，使用以下命令顯示擴充套件的裝置統計：

第一行顯示的是自系統啟動以來的平均值，然後顯示增量的平均值，每個裝置一行。

常見linux的磁碟IO指標的縮寫習慣：rq是request,r是read,w是write,qu是queue，sz是size,a是verage,tm是time,svc是service。

rrqm/s和wrqm/s：每秒合併的讀和寫請求，“合併的”意味著作業系統從佇列中拿出多個邏輯請求合併為一個請求到實際磁碟。
r/s和w/s：每秒傳送到裝置的讀和寫請求數。
rsec/s和wsec/s：每秒讀和寫的扇區數。
avgrq –sz：請求的扇區數。
avgqu –sz：在裝置佇列中等待的請求數。
await：每個IO請求花費的時間。
svctm：實際請求（服務）時間。
%util：至少有一個活躍請求所佔時間的百分比。

dstat–系統監控工具

dstat顯示了cpu使用情況，磁碟io情況，網路發包情況和換頁情況，輸出是彩色的，可讀性較強，相對於vmstat和iostat的輸入更加詳細且較為直觀。在使用時，直接輸入命令即可，當然也可以使用特定引數。

如下：dstat –cdlmnpsy

iotop–LINUX程式實時監控工具

iotop命令是專門顯示硬碟IO的命令，介面風格類似top命令，可以顯示IO負載具體是由哪個程式產生的。是一個用來監視磁碟I/O使用狀況的top類工具，具有與top相似的UI，其中包括PID、使用者、I/O、程式等相關資訊。
可以以非互動的方式使用：iotop –bod interval，檢視每個程式的I/O，可以使用pidstat，pidstat –d instat。

pidstat–監控系統資源情況

pidstat主要用於監控全部或指定程式佔用系統資源的情況,如CPU,記憶體、裝置IO、任務切換、執行緒等。

使用方法：pidstat –d interval；pidstat還可以用以統計CPU使用資訊：pidstat –u interval；統計記憶體資訊：Pidstat –r interval。

top

top命令的彙總區域顯示了五個方面的系統效能資訊：

1.負載：時間，登陸使用者數，系統平均負載；

2.程式：執行，睡眠，停止，殭屍；

3.cpu:使用者態，核心態，NICE,空閒，等待IO,中斷等；

4.記憶體：總量，已用，空閒（系統角度），緩衝，快取；

5.交換分割槽：總量，已用，空閒

任務區域預設顯示：程式ID,有效使用者，程式優先順序，NICE值，程式使用的虛擬記憶體，實體記憶體和共享記憶體，程式狀態，CPU佔用率，記憶體佔用率，累計CPU時間，程式命令列資訊。

htop

htop 是Linux系統中的一個互動的程式檢視器,一個文字模式的應用程式(在控制檯或者X終端中),需要ncurses。

Htop可讓使用者互動式操作，支援顏色主題，可橫向或縱向滾動瀏覽程式列表，並支援滑鼠操作。

與top相比，htop有以下優點：

可以橫向或者縱向滾動瀏覽程式列表，以便看到所有的程式和完整的命令列。
在啟動上，比top更快。
殺程式時不需要輸入程式號。
htop支援滑鼠操作。

mpstat

mpstat 是Multiprocessor Statistics的縮寫，是實時系統監控工具。其報告與CPU的一些統計資訊，這些資訊存放在/proc/stat檔案中。在多CPUs系統裡，其不但能檢視所有CPU的平均狀況資訊，而且能夠檢視特定CPU的資訊。常見用法：mpstat –P ALL interval times。

netstat

Netstat用於顯示與IP、TCP、UDP和ICMP協議相關的統計資料，一般用於檢驗本機各埠的網路連線情況。

常見用法：

netstat –npl 可以檢視你要開啟的埠是否已經開啟。

netstat –rn 列印路由表資訊。

netstat –in 提供系統上的介面資訊，列印每個介面的MTU,輸入分組數，輸入錯誤，輸出分組數，輸出錯誤，衝突以及當前的輸出佇列的長度。

ps–顯示當前程式的狀態

ps引數太多，具體使用方法可以參考man ps，常用的方法：ps aux #hsserver；ps –ef |grep #hundsun

殺掉某一程式的方法：ps aux | grep mysqld | grep –v grep | awk ‘{print $2 }’ xargs kill -9
殺掉殭屍程式：ps –eal | awk ‘{if ($2 == “Z”){print $4}}’ | xargs kill -9

strace

跟蹤程式執行過程中產生的系統呼叫及接收到的訊號，幫助分析程式或命令執行中遇到的異常情況。

舉例：檢視mysqld在linux上載入哪種配置檔案，可以通過執行下面的命令：strace –e stat64 mysqld –print –defaults > /dev/null

uptime

能夠列印系統總共執行了多長時間和系統的平均負載，uptime命令最後輸出的三個數字的含義分別是1分鐘，5分鐘，15分鐘內系統的平均負荷。

lsof

lsof(list open files)是一個列出當前系統開啟檔案的工具。通過lsof工具能夠檢視這個列表對系統檢測及排錯，常見的用法：

檢視檔案系統阻塞 lsof /boot

檢視埠號被哪個程式佔用 lsof -i : 3306

檢視使用者開啟哪些檔案 lsof –u username

檢視程式開啟哪些檔案 lsof –p 4838

檢視遠端已開啟的網路連結 lsof –i @192.168.34.128

perf

perf是Linux kernel自帶的系統效能優化工具。優勢在於與Linux Kernel的緊密結合，它可以最先應用到加入Kernel的new feature，用於檢視熱點函式，檢視cashe miss的比率，從而幫助開發者來優化程式效能。

效能調優工具如 perf，Oprofile 等的基本原理都是對被監測物件進行取樣，最簡單的情形是根據 tick 中斷進行取樣，即在 tick 中斷內觸發取樣點，在取樣點裡判斷程式當時的上下文。假如一個程式 90% 的時間都花費在函式 foo() 上，那麼 90% 的取樣點都應該落在函式 foo() 的上下文中。運氣不可捉摸，但我想只要取樣頻率足夠高，取樣時間足夠長，那麼以上推論就比較可靠。因此，通過 tick 觸發取樣，我們便可以瞭解程式中哪些地方最耗時間，從而重點分析。

想要更深的瞭解本工具可以參考：

http://blog.csdn.net/trochiluses/article/details/10261339

彙總：結合以上常用的效能測試命令並聯系文初的效能分析工具的圖，就可以初步瞭解到效能分析過程中哪個方面的效能使用哪方面的工具（命令）。

常用的效能測試工具

熟練並精通了第二部分的效能分析命令工具，引入幾個效能測試的工具，介紹之前先簡單瞭解幾個效能測試工具：

perf_events: 一款隨 Linux 核心程式碼一同釋出和維護的效能診斷工具，由核心社群維護和發展。Perf 不僅可以用於應用程式的效能統計分析，也可以應用於核心程式碼的效能統計和分析。

更多參考：http://blog.sina.com.cn/s/blog_98822316010122ex.html。

eBPF tools: 一款使用bcc進行的效能追蹤的工具,eBPF map可以使用定製的eBPF程式被廣泛應用於核心調優方面，也可以讀取使用者級的非同步程式碼。重要的是這個外部的資料可以在使用者空間管理。這個k-v格式的map資料體是通過在使用者空間呼叫bpf系統呼叫建立、新增、刪除等操作管理的。more: http://blog.csdn.net/ljy1988123/article/details/50444693。

perf-tools: 一款基於 perf_events (perf) 和 ftrace 的Linux效能分析調優工具集。Perf-Tools 依賴庫少，使用簡單。支援Linux 3.2 及以上核心版本。more: https://github.com/brendangregg/perf-tools。

bcc(BPF Compiler Collection): 一款使用eBPF的perf效能分析工具。一個用於建立高效的核心跟蹤和操作程式的工具包，包括幾個有用的工具和示例。利用擴充套件的BPF（伯克利資料包過濾器），正式稱為eBPF，一個新的功能，首先被新增到Linux 3.15。多用途需要Linux 4.1以上BCC。

更多參考：https://github.com/iovisor/bcc#tools。

ktap: 一種新型的linux指令碼動態效能跟蹤工具。允許使用者跟蹤Linux核心動態。ktap是設計給具有互操作性，允許使用者調整操作的見解，排除故障和延長核心和應用程式。它類似於Linux和Solaris DTrace SystemTap。更多參考： https://github.com/ktap/ktap。

Flame Graphs:是一款使用perf,system tap,ktap視覺化的圖形軟體，允許最頻繁的程式碼路徑快速準確地識別，可以是使用github.com/brendangregg/flamegraph中的開發原始碼的程式生成。

更多參考：http://www.brendangregg.com/flamegraphs.html。

一、 Linux observability tools | Linux 效能觀測工具