### 概要
分析 Linux 網路協議棧效能有多種方式和工具。本文主要透過 Perf 生成 On-CPU 火焰圖的方式，分析 Linux 核心網路協議棧在特定場景下的效能瓶頸，從而知曉當前協議棧的網路狀況。

### 關於 On/Off-CPU
#### 概念定義
```
On-CPU: where threads are spending time running on-CPU.
Off-CPU: where time is spent waiting while blocked on I/O, locks, timers, paging/swapping, etc.
```

#### On/Off-CPU 選擇
在工程實踐中，如果是 CPU 消耗型使用 On-CPU 火焰圖，如果是 IO 消耗型則使用 Off-CPU 火焰圖。如果無法確定, 可以透過壓測工具來確認: 透過壓測工具看能否讓 CPU 使用率趨於飽和，從而判斷是否為 CPU 消耗型。

#### 分析方法
Perf 火焰圖整個圖形看起來就像一團跳動的火焰，這也正是其名字的由來。燃燒在火苗尖部的就是 CPU 正在執行的操作，不過需要說明的是顏色是隨機的，本身並沒有特殊的含義，縱向表示呼叫棧的深度，橫向表示消耗的時間。因為呼叫棧在橫向會按照字母排序，並且同樣的呼叫棧會做合併，所以一個格子的寬度越大越說明其可能是瓶頸。綜上所述，主要就是看那些比較寬大的火苗，特別留意那些類似平頂山的火苗。

#### 火焰圖原理
火焰圖是基於 stack 資訊生成圖片, 用來展示 CPU 呼叫棧。

- y 軸表示呼叫棧, 每一層都是一個函式。呼叫棧越深, 火焰就越高, 頂部就是正在執行的函式, 下方都是它的父函式。
- x 軸表示抽樣數, 如果一個函式在x軸佔據越寬, 則表示它被抽到的次數多, 即執行的時間長。

火焰圖就是看頂層的哪個函式佔據的寬度最大。只要有“平頂”(plateaus)，就表示該函式可能存在效能問題。

#### On-CPU 採集原理
![](http://img.blog.itpub.net/blog/2019/01/16/7410c8cd965b1abc.png?x-oss-process=style/bb)

```
While this can be very effective for studying on-CPU issues, including hot code-paths and adaptive mutex spins, it doesn't gather data when the application has blocked and is waiting off-CPU.
```

### Linux 核心網路協議棧分析

#### 環境安裝

我們在[滴滴雲](https://blog.didiyun.com)申請兩個虛擬機器，我們分別命名為 VM001、 VM002。官網為 https://www.didiyun.com

VM001、VM002: 安裝工具

```
yum install iperf
yum install perf
```

vm001: 下載 FlameGraph

```
git clone https://github.com/brendangregg/FlameGraph.git
```

VM001: 執行 iperf server

```
iperf -s -u -D
```
VM001: 檢視 CPU 以及 softirqd 程式號

```
[root@10-254-2-161 ]# lscpu
Architecture:          x86_64
CPU op-mode(s):        32-bit, 64-bit
Byte Order:            Little Endian
CPU(s):                1
On-line CPU(s) list:   0
Thread(s) per core:    1
Core(s) per socket:    1
Socket(s):             1
NUMA node(s):          1
Vendor ID:             GenuineIntel
CPU family:            6
Model:                 79
Model name:            Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz
Stepping:              1
CPU MHz:               2399.996
BogoMIPS:              4799.99
Hypervisor vendor:     KVM
Virtualization type:   full
L1d cache:             32K
L1i cache:             32K
L2 cache:              4096K
L3 cache:              16384K
NUMA node0 CPU(s):     0

[root@10-254-2-161 ~]# ps -fe | grep ksoftirqd
root         3     2  0 15:19 ?        00:00:00 [ksoftirqd/0]
```

VM001: 透過如下方式採集資訊(採集原理見上)

```
perf record -F 1000 -a -g -p 3 -- sleep 60
```

VM002： 傳送 UDP 資料包文

```
iperf  -c 10.254.2.161 -i 1 -P 10 -t 10 -u -b 1000M
```

#### 生成 On-CPU 火焰圖
```
perf script -i /root/perf.data | ./stackcollapse-perf.pl | ./flamegraph.pl > output.svg
```

![](http://img.blog.itpub.net/blog/2019/01/16/5385f8ad1a40b856.png?x-oss-process=style/bb)

基於滴滴雲的網路協議棧效能分析工具使用

相關文章