普通請求
curl_normal.php
<?php
$srart_time = microtime(TRUE);
$chArr=[];
//建立多個cURL資源
for($i=0; $i<10; $i++){
$chArr[$i]=curl_init();
curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json");
curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1);
curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1);
$result[] = curl_exec($chArr[$i]);
echo "running ";
}
// print_r($result);
$end_time = microtime(TRUE);
echo sprintf("use time:%.3f s", $end_time - $srart_time);
?>
use time:0.830 s
curl_multi併發
curl_multi.php
<?php
$srart_time = microtime(TRUE);
$chArr=[];
//建立多個cURL資源
for($i=0; $i<10; $i++){
$chArr[$i]=curl_init();
curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json");
curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1);
curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1);
}
$mh = curl_multi_init(); //1 建立批處理cURL控制程式碼
foreach($chArr as $k => $ch){
curl_multi_add_handle($mh, $ch); //2 增加控制程式碼
}
$active = null;
//待優化點:
//在$active > 0,執行curl_multi_exec($mh,$active)而整個批處理控制程式碼沒有全部執行完畢時,系統會不停地執行curl_multi_exec()函式。
do{
echo "running ";
curl_multi_exec($mh, $active); //3 執行批處理控制程式碼
}while($active > 0); //4
foreach($chArr as $k => $ch){
$result[$k]= curl_multi_getcontent($ch); //5 獲取控制程式碼的返回值
curl_multi_remove_handle($mh, $ch);//6 將$mh中的控制程式碼移除
}
curl_multi_close($mh); //7 關閉全部控制程式碼
// print_r($result);
$end_time = microtime(TRUE);
echo sprintf("use time:%.3f s", $end_time - $srart_time);
?>
use time:0.259 s
curl_multi併發優化:curl_multi_select
在上個示例裡當$active > 0
時,執行curl_multi_exec($mh,$active)
而整個批處理控制程式碼沒有全部執行完畢時,系統會不停地執行curl_multi_exec()
函式。這樣可能會輕易導致CPU佔用很高。
進行改動的方式是應用curl函式庫中的curl_multi_select()函式,其函式原型如下:
int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )
阻塞直到cURL批處理連線中有活動連線。成功時返回描述符集合中描述符的數量。失敗時,select失敗時返回-1,否則返回超時(從底層的select系統呼叫)。
我用們curl_multi_select()函式來達到沒有需要讀取的程式就阻塞住的目的。
下面是優化部分的程式碼:
curl_multi_select.php
$active = null;
do{
echo "running ";
$mrc = curl_multi_exec($mh, $active); //3 執行批處理控制程式碼
}while ($mrc == CURLM_CALL_MULTI_PERFORM); //4
//本次迴圈第一次處理$mh批處理中的$ch控制程式碼,並將$mh批處理的執行狀態寫入$active ,當狀態值等於CURLM_CALL_MULTI_PERFORM時,表明資料還在寫入或讀取中,執行迴圈,當第一次$ch控制程式碼的資料寫入或讀取成功後,狀態值變為CURLM_OK,跳出本次迴圈,進入下面的大迴圈之中。
//$active 為true,即$mh批處理之中還有$ch控制程式碼正待處理,$mrc==CURLM_OK,即上一次$ch控制程式碼的讀取或寫入已經執行完畢。
while ($active && $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {//$mh批處理中還有可執行的$ch控制程式碼,curl_multi_select($mh) != -1程式退出阻塞狀態。
do {
$mrc = curl_multi_exec($mh, $active);//繼續執行需要處理的$ch控制程式碼。
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
這樣執行的好處是$mh
批處理中的$ch
控制程式碼會在讀取或寫入資料結束後($mrc==CURLM_OK
),進入curl_multi_select($mh)
的阻塞階段,而不會在整個$mh
批處理執行時不停地執行curl_multi_exec,白白浪費CPU資源。
執行結果:
use time:0.325 s
耗時並沒有多少改變,只是效能提高了。
curl_multi併發優化:rolling
上面的例子還存在優化的空間, 優化的方式時當某個URL請求完畢之後儘可能快的去處理它, 邊處理邊等待其他的URL返回, 而不是等待那個最慢的介面返回之後才開始處理等工作, 從而避免CPU的空閒和浪費。
僅貼出修改部分:
curl_multi_rolling.php
$active = null;
do {
while (($mrc = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM) ;
if ($mrc != CURLM_OK) { break; }
// a request was just completed -- find out which one
while ($done = curl_multi_info_read($mh)) {
// get the info and content returned on the request
$info = curl_getinfo($done[`handle`]);
$error = curl_error($done[`handle`]);
$result[] = curl_multi_getcontent($done[`handle`]);
// $responses[$map[(string) $done[`handle`]]] = compact(`info`, `error`, `results`);
// remove the curl handle that just completed
curl_multi_remove_handle($mh, $done[`handle`]);
curl_close($done[`handle`]);
}
// Block for data in / output; error handling is done by curl_multi_exec
if ($active > 0) {
curl_multi_select($mh);
}
} while ($active);
use time:0.267 s
參考
1、PHP模擬傳送POST請求之五curl基本使用和多執行緒優化
http://www.cnblogs.com/zhenbi…
2、Rolling cURL: PHP併發最佳實踐
https://www.oschina.net/quest…
3、curl_multi_select解決curl_multi網頁假死問題
http://www.webkaka.com/tutori…