Linux伺服器效能分析與調優

YatHo發表於2018-03-27
Linux伺服器

一 linux伺服器效能檢視

1.1 cpu效能檢視

1、檢視物理cpu個數：

cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l

2、檢視每個物理cpu中的core個數：

cat /proc/cpuinfo |grep "cpu cores"|wc -l

3、邏輯cpu的個數：

cat /proc/cpuinfo |grep "processor"|wc -l

物理cpu個數*核數=邏輯cpu個數（不支援超執行緒技術的情況下）

1.2 記憶體檢視

1、檢視記憶體使用情況：

#free -m
             total       used       free     shared    buffers     cached
Mem:          3949       2519       1430          0        189       1619
-/+ buffers/cache:        710       3239
Swap:         3576          0       3576

total：記憶體總數
used：已經使用的記憶體數
free：空閒記憶體數
shared：多個程式共享的記憶體總額
- buffers/cache：(已用)的記憶體數，即used-buffers-cached
+ buffers/cache：(可用)的記憶體數，即free+buffers+cached

Buffer Cache用於針對磁碟塊的讀寫；
Page Cache用於針對檔案inode的讀寫，這些Cache能有效地縮短I/O系統呼叫的時間。


對作業系統來說free/used是系統可用/佔用的記憶體；
對應用程式來說-/+ buffers/cache是可用/佔用記憶體,因為buffers/cache很快就會被使用。

我們工作時候應該從應用角度來看。

1.3 硬碟檢視

1、檢視硬碟及分割槽資訊：

fdisk -l

2、檢視檔案系統的磁碟空間佔用情況：

df -h

3、檢視硬碟的I/O效能（每隔一秒顯示一次，顯示5次）：

iostat -x 1 5

iostat是含在套裝systat中的,可以用yum -y install systat來安裝。

常關注的引數：

如%util接近100%,說明產生的I/O請求太多，I/O系統已經滿負荷，該磁碟可能存在瓶頸。
如idle小於70%，I/O的壓力就比較大了，說明讀取程式中有較多的wait。

4、檢視linux系統中某目錄的大小：

du -sh /root

如發現某個分割槽空間接近用完，可以進入該分割槽的掛載點，用以下命令找出佔用空間最多的檔案或目錄，然後按照從大到小的順序，找出系統中佔用最多空間的前10個檔案或目錄：

du -cksh *|sort -rn|head -n 10

1.4 檢視平均負載

有時候系統響應很慢，但又找不到原因，這時就要檢視平均負載了，看它是否有大量的程式在排隊等待。

最簡單的命令：

uptime--檢視過去的1分鐘、5分鐘和15分鐘內程式佇列中的平均程式數量。

還有動態命令top
我們只關心以下部分：

top - 21:33:09 up  1:00,  1 user,  load average: 0.00, 0.01, 0.05

如果每個邏輯cpu當前的活動程式不大於3，則系統效能良好；
如果每個邏輯cpu當前的活動程式不大於4，表示可以接受；
如果每個邏輯cpu當前的活動程式大於5，則系統效能問題嚴重。

一般計算方法：負載值/邏輯cpu個數

還可以結合vmstat命令來判斷系統是否繁忙，其中：

procs
r：等待執行的程式數。
b：處在非中斷睡眠狀態的程式數。
w：被交換出去的可執行的程式數。

memeory
swpd：虛擬記憶體使用情況，單位為KB。
free：空閒的記憶體，單位為KB。
buff：被用來作為快取的記憶體數，單位為KB。

swap
si：從磁碟交換到記憶體的交換頁數量，單位為KB。
so：從記憶體交換到磁碟的交換頁數量，單位為KB。

io
bi：傳送到塊裝置的塊數，單位為KB。
bo：從塊裝置接受的塊數，單位為KB。

system
in：每秒的中斷數，包括時鐘中斷。
cs：每秒的環境切換次數。

cpu
按cpu的總使用百分比來顯示。
us：cpu使用時間。
sy：cpu系統使用時間。
id：閒置時間。

1.5 其他引數

檢視核心版本號：
uname -a

簡化命令：uname -r

檢視系統是32位還是64位的：
file /sbin/init

檢視發行版：
cat /etc/issue
或lsb_release -a

檢視系統已載入的相關模組：
lsmod

檢視pci設定：
lspci

二 Linux伺服器效能評估

2.1.1 影響Linux伺服器效能的因素

1. 作業系統級

CPU
記憶體
磁碟I/O頻寬
網路I/O頻寬

2. 程式應用級

2.1.2 系統效能評估標準

影響效能因素好壞糟糕
CPU user% + sys%< 70% user% + sys%= 85% user% + sys% >=90%
記憶體 Swap In（si）＝0 Swap Out（so）＝0 Per CPU with 10 page/s More Swap In & Swap Out
磁碟 iowait % < 20% iowait % =35% iowait % >= 50%

其中：

%user：表示CPU處在使用者模式下的時間百分比。
%sys：表示CPU處在系統模式下的時間百分比。
%iowait：表示CPU等待輸入輸出完成時間的百分比。
swap in：即si，表示虛擬記憶體的頁匯入，即從SWAP DISK交換到RAM
swap out：即so，表示虛擬記憶體的頁匯出，即從RAM交換到SWAP DISK

2.1.3 系統效能分析工具

1.常用系統命令

Vmstat、sar、iostat、netstat、free、ps、top等

2.常用組合方式

vmstat、sar、iostat檢測是否是CPU瓶頸
free、vmstat檢測是否是記憶體瓶頸
iostat檢測是否是磁碟I/O瓶頸
netstat檢測是否是網路頻寬瓶頸

2.1.4 Linux效能評估與優化

系統整體效能評估（uptime命令）
uptime

16:38:00 up 118 days, 3:01, 5 users,load average: 1.22, 1.02, 0.91

注意：

  • load average三值大小一般不能大於系統CPU的個數。

    系統有8個CPU,如load average三值長期大於8，說明CPU很繁忙，負載很高，可能會影響系統效能。

  • 但偶爾大於8，一般不會影響系統效能。

  • 如load average輸出值小於CPU個數，則表示CPU有空閒時間片，比如本例中的輸出，CPU是非常空閒的

2.2.1 CPU效能評估

1.利用vmstat命令監控系統CPU

顯示系統各種資源之間相關效能簡要資訊，主要看CPU負載情況。

下面是vmstat命令在某個系統的輸出結果：

[root@node1 ~]#vmstat 2 3

procs
 ———–memory———- —swap– —–io—- –system– —–cpu——

r  b swpd freebuff  cache si so bi bo incs us sy idwa st

0  0 0 162240 8304 67032 0 0 13 21 1007 23 0 1 98 0 0

0  0 0 162240 8304 67032 0 0 1 0 1010 20 0 1 100 0 0

0  0 0 162240 8304 67032 0 0 1 1 1009 18 0 1 99 0 0
Procs

r--執行和等待cpu時間片的程式數，這個值如果長期大於系統CPU的個數，說明CPU不足，需要增加CPU

b--在等待資源的程式數，比如正在等待I/O、或者記憶體交換等。

CPU

us

使用者程式消耗的CPU 時間百分比。
us的值比較高時，說明使用者程式消耗的cpu時間多，但是如果長期大於50%，就需要考慮優化程式或演算法。

sy

核心程式消耗的CPU時間百分比。Sy的值較高時，說明核心消耗的CPU資源很多。

根據經驗，us+sy的參考值為80%，如果us+sy大於 80%說明可能存在CPU資源不足。

2.利用sar命令監控系統CPU

sar對系統每方面進行單獨統計，但會增加系統開銷，不過開銷可以評估，對系統的統計結果不會有很大影響。

下面是sar命令對某個系統的CPU統計輸出：

[root@webserver ~]# sar -u 3 5

Linux
 2.6.9-42.ELsmp (webserver) 11/28/2008_i686_
 (8 CPU)

11:41:24
 AM CPU %user %nice%system
 %iowait %steal %idle

11:41:27
 AM all 0.88 0.00 0.29 0.00 0.00 98.83

11:41:30
 AM all 0.13 0.00 0.17 0.21 0.00 99.50

11:41:33
 AM all 0.04 0.00 0.04 0.00 0.00 99.92

11:41:36
 AM all 90.08 0.00 0.13 0.16 0.00 9.63

11:41:39
 AM all 0.38 0.00 0.17 0.04 0.00 99.41

Average:
 all 0.34 0.00 0.16 0.05 0.00 99.45

輸出解釋如下：

%user列顯示了使用者程式消耗的CPU 時間百分比。
%nice列顯示了執行正常程式所消耗的CPU 時間百分比。
%system列顯示了系統程式消耗的CPU時間百分比。
%iowait列顯示了IO等待所佔用的CPU時間百分比
%steal列顯示了在記憶體相對緊張的環境下pagein強制對不同的頁面進行的steal操作 。
%idle列顯示了CPU處在空閒狀態的時間百分比。
問題

你是否遇到過系統CPU整體利用率不高，而應用緩慢的現象？

在一個多CPU的系統中，如果程式使用了單執行緒，會出現這麼一個現象，CPU的整體使用率不高，但是系統應用卻響應緩慢，這可能是由於程式使用單執行緒的原因，單執行緒只使用一個CPU，導致這個CPU佔用率為100%，無法處理其它請求，而其它的CPU卻閒置，這就導致了整體CPU使用率不高，而應用緩慢現象的發生。

2.3.1 記憶體效能評估

1.利用free指令監控記憶體

free是監控Linux記憶體使用狀況最常用的指令，看下面的一個輸出：

[root@webserver ~]# free -m

total
 used freeshared
 buffers cached

Mem:
 8111 7185 926 0 243 6299

 -/+
 buffers/cache:
 643 7468

Swap:
 8189 0 8189

經驗公式：

應用程式可用記憶體/系統實體記憶體>70%，表示系統記憶體資源非常充足，不影響系統效能;
應用程式可用記憶體/系統實體記憶體<20%，表示系統記憶體資源緊缺，需要增加系統記憶體;
20%<應用程式可用記憶體/系統實體記憶體<70%，表示系統記憶體資源基本能滿足應用需求，暫時不影響系統效能

2.利用vmstat命令監控記憶體

[root@node1
 ~]#
 vmstat 2 3

procs
 ———–memory———- —swap– —–io—- –system– —–cpu——

r b swpd freebuff cache si so bi bo incs us sy idwa st

0 0 0 162240 8304 67032 0 0 13 21 1007 23 0 1 98 0 0

0 0 0 162240 8304 67032 0 0 1 0 1010 20 0 1 100 0 0

0 0 0 162240 8304 67032 0 0 1 1 1009 18 0 1 99 0 0

memory

swpd--切換到記憶體交換區的記憶體數量（k為單位)。如swpd值偶爾非0，不影響系統效能
free--當前空閒的實體記憶體數量（k為單位）
buff--buffers cache的記憶體數量，一般對塊裝置的讀寫才需要緩衝
cache--page cached的記憶體數量

一般作為檔案系統cached，頻繁訪問的檔案都會被cached，如cache值較大，說明cached的檔案數較多，如果此時IO中bi比較小，說明檔案系統效率比較好。

swap

si--由磁碟調入記憶體，也就是記憶體進入記憶體交換區的數量。
so--由記憶體調入磁碟，也就是記憶體交換區進入記憶體的數量。

si、so的值長期不為0，表示系統記憶體不足。需增加系統記憶體。

2.4.1磁碟I/O效能評估

1.磁碟儲存基礎

頻繁訪問的檔案或資料儘可能用記憶體讀寫代替直接磁碟I/O，效率高千倍。

將經常進行讀寫的檔案與長期不變的檔案獨立出來，分別放置到不同的磁碟裝置上。

對於寫操作頻繁的資料，可以考慮使用裸裝置代替檔案系統。

裸裝置優點：

資料可直接讀寫，不需經過作業系統級快取，節省記憶體資源，避免記憶體資源爭用;
避免檔案系統級維護開銷，如檔案系統需維護超級塊、I-node等;
避免了作業系統cache預讀功能，減少了I/O請求

使用裸裝置的缺點是：

資料管理、空間管理不靈活，需要很專業的人來操作。

2.利用iostat評估磁碟效能

[root@webserver ~]# iostat -d 2 3

Linux
 2.6.9-42.ELsmp (webserver) 12/01/2008_i686_
 (8 CPU)

 

Device:
 tps Blk_read/sBlk_wrtn/sBlk_read
 Blk_wrtn

sda 1.87 2.58 114.12 6479462 286537372

 

Device:
 tps Blk_read/sBlk_wrtn/sBlk_read
 Blk_wrtn

sda
 0.00 0.00 0.00 0 0
 

Device:
 tps Blk_read/sBlk_wrtn/sBlk_read
 Blk_wrtn

sda
 1.00 0.00 12.00 0 24

解釋如下：

Blk_read/s--每秒讀取資料塊數
Blk_wrtn/s--每秒寫入資料塊數
Blk_read--讀取的所有塊數
Blk_wrtn--寫入的所有塊數

可通過Blk_read/s和Blk_wrtn/s值對磁碟的讀寫效能有一個基本的瞭解.
如Blk_wrtn/s值很大，表示磁碟寫操作頻繁，考慮優化磁碟或程式，
如Blk_read/s值很大，表示磁碟直接讀操作很多，可將讀取的資料放入記憶體

規則遵循：

長期的、超大的資料讀寫，肯定是不正常的，這種情況一定會影響系統效能。

3.利用sar評估磁碟效能

通過“sar –d”組合，可以對系統的磁碟IO做一個基本的統計，請看下面的一個輸出：

[root@webserver ~]# sar -d 2 3

Linux
 2.6.9-42.ELsmp (webserver) 11/30/2008_i686_
 (8 CPU)

11:09:33
 PM DEV tps rd_sec/swr_sec/savgrq-sz
 avgqu-sz await svctm %util

11:09:35
 PM dev8-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

11:09:35
 PM DEV tps rd_sec/swr_sec/savgrq-sz
 avgqu-sz await svctm %util

11:09:37
 PM dev8-0 1.00 0.00 12.00 12.00 0.00 0.00 0.00 0.00

11:09:37
 PM DEV tps rd_sec/swr_sec/savgrq-sz
 avgqu-sz await svctm %util

11:09:39
 PM dev8-0 1.99 0.00 47.76 24.00 0.00 0.50 0.25 0.05

Average:
 DEV tps rd_sec/swr_sec/savgrq-sz
 avgqu-sz await svctm %util

Average:
 dev8-0 1.00 0.00 19.97 20.00 0.00 0.33 0.17 0.02

引數含義：

await--平均每次裝置I/O操作等待時間（毫秒）
svctm--平均每次裝置I/O操作的服務時間（毫秒）
%util--一秒中有百分之幾的時間用於I/O操作

對磁碟IO效能評判標準：

正常svctm應小於await值，而svctm和磁碟效能有關，CPU、記憶體負荷也會對svctm值造成影響，過多的請求也會間接的導致svctm值的增加。

await值取決svctm和I/O佇列長度以及I/O請求模式，
如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁碟效能很好，
如果await的值遠高於svctm的值，則表示I/O佇列等待太長，系統上執行的應用程式將變慢，
此時可以通過更換更快的硬碟來解決問題。

%util--衡量磁碟I/O重要指標，

如%util接近100%，表示磁碟產生的I/O請求太多，I/O系統已經滿負荷工作，該磁碟可能存在瓶頸。

可優化程式或者 通過更換 更高、更快的磁碟。

2.5.1. 網路效能評估

（1）通過ping命令檢測網路的連通性
（2）通過netstat –i組合檢測網路介面狀況
（3）通過netstat –r組合檢測系統的路由表資訊
（4）通過sar –n組合顯示系統的網路執行狀態

三 Linux伺服器效能調優

1.為磁碟I/O調整Linux核心電梯演算法

選擇檔案系統後，該演算法可以平衡低延遲需求，收集足夠資料，有效組織對磁碟讀寫請求。

2.禁用不必要的守護程式，節省記憶體和CPU資源

許多守護程式或服務通常非必需，消耗寶貴記憶體和CPU時間。將伺服器置於險地。
禁用可加快啟動時間，釋放記憶體。

減少CPU要處理的程式數

一些應被禁用的Linux守護程式，預設自動執行：

序號 守護程式 描述
1 Apmd 高階電源管理守護程式
2 Nfslock 用於NFS檔案鎖定
3 Isdn ISDN Moderm支援
4 Autofs 在後臺自動掛載檔案系統(如自動掛載CD-ROM)
5 Sendmail 郵件傳輸代理
6 Xfs X Window的字型伺服器

3.關掉GUI

4、清理不需要的模組或功能

伺服器軟體包中太多被啟動的功能或模組實際上是不需要的(如Apache中的許多功能模組)，禁用掉有助於提高系統記憶體可用量，騰出資源給那些真正需要的軟體，讓它們執行得更快。

5、禁用控制皮膚

在Linux中，有許多流行的控制皮膚，如Cpanel，Plesk，Webmin和phpMyAdmin等，禁用釋放出大約120MB記憶體，記憶體使用量大約下降30-40%。

6、改善Linux Exim伺服器效能

使用DNS快取守護程式，可降低解析DNS記錄需要的頻寬和CPU時間，DNS快取通過消除每次都從根節點開始查詢DNS記錄的需求，從而改善網路效能。

Djbdns是一個非常強大的DNS伺服器，它具有DNS快取功能，Djbdns比BIND DNS伺服器更安全，效能更好，可以直接通過http://cr.yp.to/下載，或通過Red Hat提供的軟體包獲得。

7、使用AES256增強gpg檔案加密安全

為提高備份檔案或敏感資訊保安，許多Linux系統管理員都使用gpg進行加密，在使用gpg時，最好指定gpg使用AES256加密演算法，AES256使用256位金鑰，它是一個開放的加密演算法，美國國家安全域性(NSA)使用它保護絕密資訊。

8、遠端備份服務安全

安全是選擇遠端備份服務最重要的因素，大多數系統管理員都害怕兩件事：(黑客)可以刪除備份檔案，不能從備份恢復系統。

為了保證備份檔案100%的安全，備份服務公司提供遠端備份伺服器，使用scp指令碼或RSYNC通過SSH傳輸資料，這樣，沒有人可以直接進入和訪問遠端系統，因此，也沒有人可以從備份服務刪除資料。在選擇遠端備份服務提供商時，最好從多個方面瞭解其服務強壯性，如果可以，可以親自測試一下。

9、更新預設核心引數設定

為了順利和成功執行企業應用程式，如資料庫伺服器，可能需要更新一些預設的核心引數設定，例如，2.4.x系列核心訊息佇列引數msgmni有一個預設值(例如，共享記憶體，或shmmax在Red Hat系統上預設只有33554432位元組)，它只允許有限的資料庫併發連線，下面為資料庫伺服器更好地執行提供了一些建議值(來自IBM DB2支援網站)：

kernel.shmmax=268435456 (32位)
kernel.shmmax=1073741824 (64位)
kernel.msgmni=1024
fs.file-max=8192
kernel.sem=”250 32000 32 1024″

10、優化TCP

優化TCP協議有助於提高網路吞吐量，跨廣域網的通訊使用的頻寬越大，延遲時間越長時，建議使用越大的TCP Linux大小，以提高資料傳輸速率，TCP Linux大小決定了傳送主機在沒有收到資料傳輸確認時，可以向接收主機傳送多少資料。

11、選擇正確的檔案系統

使用ext4檔案系統取代ext3

● Ext4是ext3檔案系統的增強版，擴充套件了儲存限制

●具有日誌功能，保證高水平的資料完整性(在非正常關閉事件中)

●非正常關閉和重啟時，它不需要檢查磁碟(這是一個非常耗時的動作)

●更快的寫入速度，ext4日誌優化了硬碟磁頭動作

12、使用noatime檔案系統掛載選項

在檔案系統啟動配置檔案fstab中使用noatime選項，如果使用了外部儲存，這個掛載選項可以有效改善效能。

13、調整Linux檔案描述符限制

Linux限制了任何程式可以開啟的檔案描述符數量，預設限制是每程式1024，這些限制可能會阻礙基準測試客戶端(如httperf和apachebench)和Web伺服器本身獲得最佳效能，Apache每個連線使用一個程式，因此不會受到影響，但單程式Web伺服器，如Zeus是每連線使用一個檔案描述符，因此很容易受預設限制的影響。

開啟檔案限制是一個可以用ulimit命令調整的限制，ulimit -aS命令顯示當前的限制，ulimit -aH命令顯示硬限制(在未調整/proc中的核心引數前，你不能增加限制)。

Linux第三方應用程式效能技巧

對於執行在Linux上的第三方應用程式，一樣有許多效能優化技巧，這些技巧可以幫助你提高Linux伺服器的效能，降低執行成本。

14、正確配置MySQL

為了給MySQL分配更多的記憶體，可設定MySQL快取大小，要是MySQL伺服器例項使用了更多記憶體，就減少快取大小，如果MySQL在請求增多時停滯不動，就增加MySQL快取。

15、正確配置Apache

檢查Apache使用了多少記憶體，再調整StartServers和MinSpareServers引數，以釋放更多的記憶體，將有助於你節省30-40%的記憶體。

16、分析Linux伺服器效能

提高系統效率最好的辦法是找出導致整體速度下降的瓶頸並解決掉，下面是找出系統關鍵瓶頸的一些基本技巧：

● 當大型應用程式，如OpenOffice和Firefox同時執行時，計算機可能會開始變慢，記憶體不足的出現機率更高。

● 如果啟動時真的很慢，可能是應用程式初次啟動需要較長的載入時間，一旦啟動好後執行就正常了，否則很可能是硬碟太慢了。

●CPU負載持續很高，記憶體也夠用，但CPU利用率很低，可以使用CPU負載分析工具監控負載時間。

17、學習5個Linux效能命令

使用幾個命令就可以管理Linux系統的效能了，下面列出了5個最常用的Linux效能命令，包括
top、vmstat、iostat、free和sar，它們有助於系統管理員快速解決效能問題。

(1)top

當前核心服務的任務，還顯示許多主機狀態的統計資料，預設情況下，它每隔5秒自動更新一次。
如：當前正常執行時間，系統負載，程式數量和記憶體使用率，

此外，這個命令也顯示了那些使用最多CPU時間的程式(包括每個程式的各種資訊，如執行使用者，執行的命令等)。

(2)vmstat

Vmstat命令提供當前CPU、IO、程式和記憶體使用率的快照，它和top命令類似，自動更新資料，如：

$ vmstat 10

(3)iostat

Iostat提供三個報告：CPU利用率、裝置利用率和網路檔案系統利用率，使用-c，-d和-h引數可以分別獨立顯示這三個報告。

(4)free

顯示主記憶體和交換空間記憶體統計資料，指定-t引數顯示總記憶體，指定-b引數按位元組為單位，使用-m則以兆為單位，預設情況下千位元組為單位。

Free命令也可以使用-s引數加一個延遲時間(單位：秒)連續執行，如：

$ free -s 5

(5)sar

收集，檢視和記錄效能資料，這個命令比前面幾個命令歷史更悠久，它可以收集和顯示較長週期的資料。

其它

下面是一些歸類為其它的效能技巧：

18、將日誌檔案轉移到記憶體中

當一臺機器處於執行中時，最好是將系統日誌放在記憶體中，當系統關閉時再將其複製到硬碟，當你執行一臺開啟了syslog功能的膝上型電腦或移動裝置時，ramlog可以幫助你提高系統電池或移動裝置快閃記憶體驅動器的壽命，使用ramlog的一個好處是，不用再擔心某個守護程式每隔30秒向syslog傳送一條訊息，放在以前，硬碟必須隨時保持運轉，這樣對硬碟和電池都不好。

19、先打包，後寫入

在記憶體中劃分出固定大小的空間儲存日誌檔案，這意味著膝上型電腦硬碟不用一直保持運轉，只有當某個守護程式需要寫入日誌時才運轉，注意ramlog使用的記憶體空間大小是固定的，否則系統記憶體會很快被用光，如果筆記本使用固態硬碟，可以分配50-80MB記憶體給ramlog使用，ramlog可以減少許多寫入週期，極大地提高固態硬碟的使用壽命。

20、一般調優技巧

儘可能使用靜態內容替代動態內容，如果你在生成天氣預告，或其它每隔1小時就必須更新的資料，最好是寫一個程式，每隔1小時生成一個靜態的檔案，而不是讓使用者執行一個CGI動態地生成報告。

為動態應用程式選擇最快最合適的API，CGI可能最容易程式設計，但它會為每個請求產生一個程式，通常，這是一個成本很高，且不必要的過程，FastCGI是更好的選擇，和Apache的mod_perl一樣，都可以極大地提高應用程式的效能。

相關文章