PHP-CGI程式CPU100%與file_get_contents函式的關係
有時候,執行 Nginx、PHP-CGI(php-fpm) Web服務的 Linux 伺服器,突然系統負載上升,使用 top 命令檢視,很多 php-cgi 程式 CPU 使用率接近100%。後來,我通過跟蹤發現,這類情況的出現,跟 PHP 的 file_get_contents() 函式有著密切的關係。
大、中型網站中,基於 HTTP 協議的 API 介面呼叫,是家常便飯。PHP 程式設計師們喜歡使用簡單便捷的 file_get_contents(“http://example.com/”) 函式,來獲取一個 URL 的返回內容,但是,如果 http://example.com/ 這個網站響應緩慢,file_get_contents() 就會一直卡在那兒,不會超時。
我們知道,在 php.ini 中,有一個引數 max_execution_time 可以設定 PHP 指令碼的最大執行時間,但是,在 php-cgi(php-fpm) 中,該引數不會起效。真正能夠控制 PHP 指令碼最大執行時間的是 php-fpm.conf 配置檔案中的以下引數:
- The timeout (in seconds) for serving a single request after which the worker process will be terminated
- Should be used when `max_execution_time` ini option does not stop script execution for some reason
- `0s` means `off`
- <value name=“request_terminate_timeout”>0s</value>
預設值為 0 秒,也就是說,PHP 指令碼會一直執行下去。這樣,當所有的 php-cgi 程式都卡在 file_get_contents() 函式時,這臺 Nginx+PHP 的 WebServer 已經無法再處理新的 PHP 請求了,Nginx 將給使用者返回“502 Bad Gateway”。修改該引數,設定一個 PHP 指令碼最大執行時間是必要的,但是,治標不治本。例如改成 <value name=”request_terminate_timeout”>30s</value>,如果發生 file_get_contents() 獲取網頁內容較慢的情況,這就意味著 150 個 php-cgi 程式,每秒鐘只能處理 5 個請求,WebServer 同樣很難避免“502 Bad Gateway”。
要做到徹底解決,只能讓 PHP 程式設計師們改掉直接使用 file_get_contents(“http://example.com/”) 的習慣,而是稍微修改一下,加個超時時間,用以下方式來實現 HTTP GET 請求。要是覺得麻煩,可以自行將以下程式碼封裝成一個函式。
- <?php
- $ctx = stream_context_create(array(
- `http` => array(
- `timeout` => 1 //設定一個超時時間,單位為秒
- )
- )
- );
- file_get_contents(“http://example.com/”, 0, $ctx);
- ?>
當然,導致 php-cgi 程式 CPU 100% 的原因不只有這一種,那麼,怎麼確定是 file_get_contents() 函式導致的呢?
首先,使用 top 命令檢視 CPU 使用率較高的 php-cgi 程式。
top – 10:34:18 up 724 days, 21:01, 3 users, load average: 17.86, 11.16, 7.69
Tasks: 561 total, 15 running, 546 sleeping, 0 stopped, 0 zombie
Cpu(s): 5.9%us, 4.2%sy, 0.0%ni, 89.4%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 8100996k total, 4320108k used, 3780888k free, 772572k buffers
Swap: 8193108k total, 50776k used, 8142332k free, 412088k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10747 www 18 0 360m 22m 12m R 100.6 0.3 0:02.60 php-cgi
10709 www 16 0 359m 28m 17m R 96.8 0.4 0:11.34 php-cgi
10745 www 18 0 360m 24m 14m R 94.8 0.3 0:39.51 php-cgi
10707 www 18 0 360m 25m 14m S 77.4 0.3 0:33.48 php-cgi
10782 www 20 0 360m 26m 15m R 75.5 0.3 0:10.93 php-cgi
10708 www 25 0 360m 22m 12m R 69.7 0.3 0:45.16 php-cgi
10683 www 25 0 362m 28m 15m R 54.2 0.4 0:32.65 php-cgi
10711 www 25 0 360m 25m 15m R 52.2 0.3 0:44.25 php-cgi
10688 www 25 0 359m 25m 15m R 38.7 0.3 0:10.44 php-cgi
10719 www 25 0 360m 26m 16m R 7.7 0.3 0:40.59 php-cgi
找其中一個 CPU 100% 的 php-cgi 程式的 PID,用以下命令跟蹤一下:
strace -p 10747
如果螢幕顯示:
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
select(7, [6], [6], [], {15, 0}) = 1 (out [6], left {15, 0})
poll([{fd=6, events=POLLIN}], 1, 0) = 0 (Timeout)
開啟<value name=”request_slowlog_timeout”>3s</value>記錄慢執行日誌,會在日誌中列印出執行慢的程式碼行數。php-cgi(php-fpm) 使用了Libevent,而Libevent 在 Linux 2.6 核心以上預設會使用 epoll I/O 模型處理 FastCGI 網路請求,而非 select/poll。在慢日誌記錄的程式碼行數中,包含 file_get_contents 以及其他函式,而 file_get_contents 等作為 Client 發起 HTTP 請求的函式使用的是 select/poll 模型,也就是說,只有 file_get_contents 等滿足“TCP請求預設不超時、使用select/poll 模型、程式CPU 100%”的網路操作函式,會導致 strace -p 看到的這種情況。
那麼,就可以確定是 file_get_contents() 導致的問題了。
本文摘自張晏的部落格
相關文章
- js 函式中形參與實參的關係JS函式
- 原型與原型鏈 - 物件與函式關係筆記原型物件函式筆記
- 例項解釋NLLLoss損失函式與CrossEntropyLoss損失函式的關係函式ROS
- javascript函式引數和函式內同名變數的關係JavaScript函式變數
- 熵、交叉熵及似然函式的關係熵函式
- 基於句法結構與語義資訊核函式的搭配關係抽取函式
- 問一個很基礎小白的問題,類與函式的關係。RT函式
- query rewrite和基於函式的索引有關係?函式索引
- 與if的關係
- 關於建構函式與解構函式的分享函式
- 孤兒程式與終端的關係
- 【函式引數】Oracle 11g中使用“=>”顯式指明函式引數名與引數值的對應關係函式Oracle
- JS基礎-函式、物件和原型、原型鏈的關係JS函式物件原型
- js中,函式的閉包、作用域跟[[Scopes]]的關係JS函式
- 韋達定理與新關係式的穿越介面
- 韋達定理與第二關係式的通道
- 分散式與叢集沒有關係?分散式
- 關聯關係與依賴關係的區別
- PHP:與型別有關的函式PHP型別函式
- 【Evil 域】SQL函式——將一對多關係轉換成一對一關係SQL函式
- 前端建構函式、原型、例項物件之間的關係前端函式原型物件
- 繼承關係裡的六個預設成員函式繼承函式
- 好程式設計師前端教程之JavaScript閉包和匿名函式的關係詳解程式設計師前端JavaScript函式
- 公司程式碼與採購組織的關係
- 程式設計與雞和蛋的關係 (轉)程式設計
- 幽默:男人想談“物件”,女人實際要的是“函式”關係物件函式
- 一張圖說明 函式, 例項(物件), 原型之間的關係函式物件原型
- Scala與Java的關係Java
- Object與Class的關係Object
- sip與openser的關係
- act與zsh的關係
- 大資料與程式語言關係大資料
- F.binary_cross_entropy_with_logits函式與F.binary_cross_entropy函式的關係(二分類問題)ROSGit函式
- 詳解js原型,建構函式以及class之間的原型關係JS原型函式
- 深入理解javascript原型和閉包(2)——函式和物件的關係JavaScript原型函式物件
- 關於QList與QStringList的append函式APP函式
- SQL與NoSQL(關係型與非關係型)資料庫的區別SQL資料庫
- 行高與字型的關係