PHP - curl實現採集

OldBoy~發表於2017-05-17

1、開啟curl支援

由於php環境安裝後預設是沒有開啟curl支援的,需修改php.ini檔案,找到;extension=php_curl.dll,把前面的冒號去掉,重啟服務即可;

2、使用curl進行資料抓取

 初始化一個 cURL 物件 

$curl = curl_init();

 設定你需要抓取的URL 

curl_setopt($curl, CURLOPT_URL, 'http://www.kugou.com/yy/html/special.html');

 設定header 

curl_setopt($curl, CURLOPT_HEADER, 1);

設定cURL 引數,要求結果儲存到字串中還是輸出到螢幕上。 

curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

執行cURL,請求網頁 

$data = curl_exec($curl);

 關閉URL請求 

curl_close($curl);
//print_r($data);

3、通過正則匹配找到關鍵資料

//$data是curl_exec返回的的值,即採集的目標內容 

preg_match_all("/<div class=\"top\"><em>(.*)<\/em><strong><a title=\"(.*)\" href=\"(.*)\">.*<\/a>/",$data, $arr);
print_r($arr);

最後入庫等處理操作....

 

相關文章