php中curl的詳細解說

守護大白菜發表於2017-01-05

轉自::http://blog.csdn.net/yanhui_wei/article/details/21530811


這幾天在幫一些同學處理問題的時候,突然發現這些同學是使用file_get_contents()函式來採集頁面內容的,貌似都沒有curl的概念亦或是對這種工具特別不敏感,

本文我來給大家詳細介紹下cURL的簡單的使用方法,下文我將會給大家詳細介紹cURL的高階應用,

好,廢話不多說,我們先來認識下什麼是cURL,可能還有很多同學沒有聽說過這個工具,我先來給大家簡單介紹下什麼是cURL:

cURL可以使用URL的語法模擬瀏覽器來傳輸資料,

因為它是模擬瀏覽器,因此它同樣支援多種協議,

FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等協議都可以很好的支援,包括一些:

HTTPS認證,HTTP POST方法,HTTP PUT方法,FTP上傳,keyberos認證,HTTP上傳,代理伺服器,cookies,使用者名稱/密碼認證,

下載檔案斷點續傳,上傳檔案斷點續傳,http代理伺服器管道,甚至它還支援IPv6,scoket5代理伺服器,通過http代理伺服器上傳檔案

到FTP伺服器等等。

這就是我們為什麼要使用cURL的原因!

使用cURL完成簡單的請求主要分為以下四步:

1.初始化,建立一個新cURL資源

2.設定URL和相應的選項

3.抓取URL並把它傳遞給瀏覽器

4.關閉cURL資源,並且釋放系統資源

我們來採集一個頁面,通常情況下,我們會使用file_get_contents()函式來獲取:

像這樣:

 
  1. <?php
  2.  
  3. $str = file_get_contents('http://bbs.lampbrother.net');
  4.  
  5. //或者是:
  6.  
  7. $str = file("http://bbs.lampbrother.net");
  8.  
  9. //或者是:
  10.  
  11. readfile("http://bbs.lampbrother.net");
  12.  
  13. ?>

這樣我們會發現,我們沒有辦法有效地進行錯誤處理,更重要的是我們沒有辦法完成一些高難度的任務:

如:處理cookies,驗證,表單提交,檔案上傳等等。

好,現在我們來用程式碼完成上述cURL的四步:
  1. <?php
  2.  
  3. //1.初始化,建立一個新cURL資源
  4.  
  5. $ch = curl_init();
  6.  
  7. //2.設定URL和相應的選項
  8.  
  9. curl_setopt($ch, CURLOPT_URL, "http://www.lampbrother.net/");
  10.  
  11. curl_setopt($ch, CURLOPT_HEADER, 0);
  12.  
  13. //3.抓取URL並把它傳遞給瀏覽器
  14.  
  15. curl_exec($ch);
  16.  
  17. //4.關閉cURL資源,並且釋放系統資源
  18.  
  19. curl_close($ch);
  20.  
  21. ?>

上述四步中,其中第二步最為關鍵,可以設定一些高階選項:

例如上例中的CURLOPT_URL和CURLOPT_HEADER,分別代表“需要獲取的URL地址”和“啟用時會將標頭檔案的資訊作為資料流輸出”,這些只是冰山一角,我們還可以設定很多選項:

選項 可選value 備註
CURLOPT_AUTOREFERER 當根據Location:重定向時,自動設定header中的Referer:資訊。  
CURLOPT_BINARYTRANSFER 在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。  
CURLOPT_COOKIESESSION 啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,預設狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷伺服器端的session是否有效而存在的cookie。  
CURLOPT_CRLF 啟用時將Unix的換行符轉換成回車換行符。  
CURLOPT_DNS_USE_GLOBAL_CACHE 啟用時會啟用一個全域性的DNS快取,此項為執行緒安全的,並且預設啟用。  
CURLOPT_FAILONERROR 顯示HTTP狀態碼,預設行為是忽略編號小於等於400的HTTP資訊。  
CURLOPT_FILETIME 啟用時會嘗試修改遠端文件中的資訊。結果資訊會通過curl_getinfo()函式的CURLINFO_FILETIME選項返回。 curl_getinfo().  
CURLOPT_FOLLOWLOCATION 啟用時會將伺服器伺服器返回的"Location: "放在header中遞迴的返回給伺服器,使用CURLOPT_MAXREDIRS可以限定遞迴返回的數量。  
CURLOPT_FORBID_REUSE 在完成互動以後強迫斷開連線,不能重用。  
CURLOPT_FRESH_CONNECT 強制獲取一個新的連線,替代快取中的連線。  
CURLOPT_FTP_USE_EPRT 啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設定為FALSE時禁用EPRT和LPRT,使用PORT命令 only.  
CURLOPT_FTP_USE_EPSV 啟用時,在FTP傳輸過程中回覆到PASV模式前首先嚐試EPSV命令。設定為FALSE時禁用EPSV命令。  
CURLOPT_FTPAPPEND 啟用時追加寫入檔案而不是覆蓋它。  
CURLOPT_FTPASCII CURLOPT_TRANSFERTEXT的別名。  
CURLOPT_FTPLISTONLY 啟用時只列出FTP目錄的名字。  
CURLOPT_HEADER 啟用時會將標頭檔案的資訊作為資料流輸出。  
CURLINFO_HEADER_OUT 啟用時追蹤控制程式碼的請求字串。 從 PHP 5.1.3 開始可用。CURLINFO_字首是故意的(intentional)。
CURLOPT_HTTPGET 啟用時會設定HTTP的method為GET,因為GET是預設是,所以只在被修改的情況下使用。  
CURLOPT_HTTPPROXYTUNNEL 啟用時會通過HTTP代理來傳輸。  
CURLOPT_MUTE 啟用時將cURL函式中所有修改過的引數恢復預設值。  
CURLOPT_NETRC 在連線建立以後,訪問~/.netrc檔案獲取使用者名稱和密碼資訊連線遠端站點。  
CURLOPT_NOBODY 啟用時將不對HTML中的BODY部分進行輸出。  
CURLOPT_NOPROGRESS
啟用時關閉curl傳輸的進度條,此項的預設設定為啟用。

Note
PHP自動地設定這個選項為TRUE,這個選項僅僅應當在以除錯為目的時被改變。 

 
 
CURLOPT_NOSIGNAL 啟用時忽略所有的curl傳遞給php進行的訊號。在SAPI多執行緒傳輸時此項被預設啟用。 cURL 7.10時被加入。
CURLOPT_POST 啟用時會傳送一個常規的POST請求,型別為:application/x-www-form-urlencoded,就像表單提交的一樣。  
CURLOPT_PUT 啟用時允許HTTP傳送檔案,必須同時設定CURLOPT_INFILECURLOPT_INFILESIZE  
CURLOPT_RETURNTRANSFER 將curl_exec()獲取的資訊以檔案流的形式返回,而不是直接輸出。  
CURLOPT_SSL_VERIFYPEER 禁用後cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設定證照使用CURLOPT_CAPATH選項設定證照目錄 如果CURLOPT_SSL_VERIFYPEER(預設值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設定成TRUE否則設定為FALSE 自cURL 7.10開始預設為TRUE。從cURL 7.10開始預設繫結安裝。
CURLOPT_TRANSFERTEXT 啟用後對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文字資訊而非HTML。在Windows系統上,系統不會把STDOUT設定成binary模式。  
CURLOPT_UNRESTRICTED_AUTH 在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加使用者名稱和密碼資訊,即使域名已發生改變。  
CURLOPT_UPLOAD 啟用後允許檔案上傳。  
CURLOPT_VERBOSE 啟用時會彙報所有的資訊,存放在STDERR或指定的CURLOPT_STDERR中。  


對於下面的這些option的可選引數,value應該被設定一個integer型別的值:

選項 可選value 備註
CURLOPT_BUFFERSIZE 每次獲取的資料中讀入快取的大小,但是不保證這個值每次都會被填滿。 在cURL 7.10中被加入。
CURLOPT_CLOSEPOLICY 不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支援。  
CURLOPT_CONNECTTIMEOUT 在發起連線前等待的時間,如果設定為0,則無限等待。  
CURLOPT_CONNECTTIMEOUT_MS 嘗試連線等待的時間,以毫秒為單位。如果設定為0,則無限等待。 在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。
CURLOPT_DNS_CACHE_TIMEOUT 設定在記憶體中儲存DNS資訊的時間,預設為120秒。  
CURLOPT_FTPSSLAUTH FTP驗證方式:CURLFTPAUTH_SSL (首先嚐試SSL),CURLFTPAUTH_TLS (首先嚐試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。 在cURL 7.12.2中被加入。
CURLOPT_HTTP_VERSION CURL_HTTP_VERSION_NONE (預設值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。  
CURLOPT_HTTPAUTH
使用的HTTP驗證方法,可選的值有:CURLAUTH_BASICCURLAUTH_DIGESTCURLAUTH_GSSNEGOTIATECURLAUTH_NTLMCURLAUTH_ANYCURLAUTH_ANYSAFE。 可以使用|位域(或)操作符分隔多個值,cURL讓伺服器選擇一個支援最好的值。 
CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLMCURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM.
 
CURLOPT_INFILESIZE 設定上傳檔案的大小限制,位元組(byte)為單位。  
CURLOPT_LOW_SPEED_LIMIT 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。  
CURLOPT_LOW_SPEED_TIME 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。  
CURLOPT_MAXCONNECTS 允許的最大連線數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連線。  
CURLOPT_MAXREDIRS 指定最多的HTTP重定向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。  
CURLOPT_PORT 用來指定連線埠。(可選項)  
CURLOPT_PROTOCOLS
CURLPROTO_*的位域指。如果被啟用,位域值會限定libcurl在傳輸過程中有哪些可使用的協議。這將允許你在編譯libcurl時支援眾多協議,但是限制只是用它們中被允許使用的一個子集。預設libcurl將會使用全部它支援的協議。參見CURLOPT_REDIR_PROTOCOLS. 可用的協議選項為:CURLPROTO_HTTPCURLPROTO_HTTPSCURLPROTO_FTPCURLPROTO_FTPSCURLPROTO_SCPCURLPROTO_SFTPCURLPROTO_TELNETCURLPROTO_LDAPCURLPROTO_LDAPSCURLPROTO_DICTCURLPROTO_FILECURLPROTO_TFTPCURLPROTO_ALL
在cURL 7.19.4中被加入。
CURLOPT_PROXYAUTH HTTP代理連線的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標誌來設定相應選項。對於代理驗證只有CURLAUTH_BASICCURLAUTH_NTLM當前被支援。 在cURL 7.10.7中被加入。
CURLOPT_PROXYPORT 代理伺服器的埠。埠也可以在CURLOPT_PROXY中進行設定。  
CURLOPT_PROXYTYPE 不是CURLPROXY_HTTP (預設值) 就是CURLPROXY_SOCKS5 在cURL 7.10中被加入。
CURLOPT_REDIR_PROTOCOLS CURLPROTO_*中的位域值。如果被啟用,位域值將會限制傳輸執行緒在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議。這將使你對重定向時限制傳輸執行緒使用被允許的協議子集預設libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預釋出版本種無條件地跟隨所有支援的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS 在cURL 7.19.4中被加入。
CURLOPT_RESUME_FROM 在恢復傳輸時傳遞一個位元組偏移量(用來斷點續傳)。  
CURLOPT_SSL_VERIFYHOST 1 檢查伺服器SSL證照中是否存在一個公用名(common name)。譯者注:公用名(Common Name)一般來講就是填寫你將要申請SSL證照的域名 (domain)或子域名(sub domain)。2 檢查公用名是否存在,並且是否與提供的主機名匹配。  
CURLOPT_SSLVERSION 使用的SSL版本(2 或 3)。預設情況下PHP會自己檢測這個值,儘管有些情況下需要手動地進行設定。  
CURLOPT_TIMECONDITION 如果在CURLOPT_TIMEVALUE指定的某個時間以後被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改過,並且CURLOPT_HEADER為true,則返回一個"304 Not Modified"的header, CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,預設值為CURL_TIMECOND_IFUNMODSINCE  
CURLOPT_TIMEOUT 設定cURL允許執行的最長秒數。  
CURLOPT_TIMEOUT_MS 設定cURL允許執行的最長毫秒數。 在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。
CURLOPT_TIMEVALUE 設定一個CURLOPT_TIMECONDITION使用的時間戳,在預設狀態下使用的是CURL_TIMECOND_IFMODSINCE  


對於下面的這些option的可選引數,value應該被設定一個string型別的值:

選項 可選value 備註
CURLOPT_CAINFO 一個儲存著1個或多個用來讓服務端驗證的證照的檔名。這個引數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 .  
CURLOPT_CAPATH 一個儲存著多個CA證照的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。  
CURLOPT_COOKIE 設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔,分號後帶一個空格(例如, "fruit=apple; colour=red")。  
CURLOPT_COOKIEFILE 包含cookie資料的檔名,cookie檔案的格式可以是Netscape格式,或者只是純HTTP頭部資訊存入檔案。  
CURLOPT_COOKIEJAR 連線結束後儲存cookie資訊的檔案。  
CURLOPT_CUSTOMREQUEST
使用一個自定義的請求資訊來代替"GET""HEAD"作為HTTP請求。這對於執行"DELETE" 或者其他更隱蔽的HTTP請求。有效值如"GET""POST""CONNECT"等等。也就是說,不要在這裡輸入整個HTTP請求。例如輸入"GET /index.html HTTP/1.0 "是不正確的。

Note: 在確定伺服器支援這個自定義請求的方法前不要使用。 

 
 
CURLOPT_EGDSOCKET 類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon套接字。  
CURLOPT_ENCODING HTTP請求頭中"Accept-Encoding: "的值。支援的編碼有"identity""deflate""gzip"。如果為空字串"",請求頭會傳送所有支援的編碼型別。 在cURL 7.10中被加入。
CURLOPT_FTPPORT 這個值將被用來獲取供FTP"POST"指令所需要的IP地址。"POST"指令告訴遠端伺服器連線到我們指定的IP地址。這個字串可以是純文字的IP地址、主機名、一個網路介面名(UNIX下)或者只是一個'-'來使用預設的IP地址。  
CURLOPT_INTERFACE 網路傳送介面名,可以是一個介面名、IP地址或者是一個主機名。  
CURLOPT_KRB4LEVEL KRB4 (Kerberos 4) 安全級別。下面的任何值都是有效的(從低到高的順序):"clear""safe""confidential""private".。如果字串和這些都不匹配,將使用"private"。這個選項設定為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。  
CURLOPT_POSTFIELDS 全部資料使用HTTP協議中的"POST"操作來傳送。要傳送檔案,在檔名前面加上@字首並使用完整路徑。這個引數可以通過urlencoded後的字串類似'para1=val1&para2=val2&...'或使用一個以欄位名為鍵值,欄位資料為值的陣列。如果value是一個陣列,Content-Type頭將會被設定成multipart/form-data  
CURLOPT_PROXY HTTP代理通道。  
CURLOPT_PROXYUSERPWD 一個用來連線到代理的"[username]:[password]"格式的字串。  
CURLOPT_RANDOM_FILE 一個被用來生成SSL隨機數種子的檔名。  
CURLOPT_RANGE "X-Y"的形式,其中X和Y都是可選項獲取資料的範圍,以位元組計。HTTP傳輸執行緒也支援幾個這樣的重複項中間用逗號分隔如"X-Y,N-M"  
CURLOPT_REFERER 在HTTP請求頭中"Referer: "的內容。  
CURLOPT_SSL_CIPHER_LIST 一個SSL的加密演算法列表。例如RC4-SHATLSv1都是可用的加密列表。  
CURLOPT_SSLCERT 一個包含PEM格式證照的檔名。  
CURLOPT_SSLCERTPASSWD 使用CURLOPT_SSLCERT證照需要的密碼。  
CURLOPT_SSLCERTTYPE 證照的型別。支援的格式有"PEM" (預設值), "DER""ENG" 在cURL 7.9.3中被加入。
CURLOPT_SSLENGINE 用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變數。  
CURLOPT_SSLENGINE_DEFAULT 用來做非對稱加密操作的變數。  
CURLOPT_SSLKEY 包含SSL私鑰的檔名。  
CURLOPT_SSLKEYPASSWD
CURLOPT_SSLKEY中指定了的SSL私鑰的密碼。

Note: 由於這個選項包含了敏感的密碼資訊,記得保證這個PHP指令碼的安全。 

 
 
CURLOPT_SSLKEYTYPE CURLOPT_SSLKEY中規定的私鑰的加密型別,支援的金鑰型別為"PEM"(預設值)、"DER""ENG"  
CURLOPT_URL 需要獲取的URL地址,也可以在curl_init()函式中設定。  
CURLOPT_USERAGENT 在HTTP請求中包含一個"User-Agent: "頭的字串。  
CURLOPT_USERPWD 傳遞一個連線中需要的使用者名稱和密碼,格式為:"[username]:[password]"  


對於下面的這些option的可選引數,value應該被設定一個陣列:

對於下面的這些option的可選引數,value應該被設定一個流資源 (例如使用fopen()):

對於下面的這些option的可選引數,value應該被設定為一個回撥函式名:
選項 可選value
CURLOPT_HEADERFUNCTION 設定一個回撥函式,這個函式有兩個引數,第一個是cURL的資源控制程式碼,第二個是輸出的header資料。header資料的輸出必須依賴這個函式,返回已寫入的資料大小。
CURLOPT_PASSWDFUNCTION 設定一個回撥函式,有三個引數,第一個是cURL的資源控制程式碼,第二個是一個密碼提示符,第三個引數是密碼長度允許的最大值。返回密碼的值。
CURLOPT_PROGRESSFUNCTION 設定一個回撥函式,有三個引數,第一個是cURL的資源控制程式碼,第二個是一個檔案描述符資源,第三個是長度。返回包含的資料。
CURLOPT_READFUNCTION 擁有兩個引數的回撥函式,第一個是引數是會話控制程式碼,第二是HTTP響應頭資訊的字串。使用此函式,將自行處理返回的資料。返回值為資料大小,以位元組計。返回0代表EOF訊號。
CURLOPT_WRITEFUNCTION 擁有兩個引數的回撥函式,第一個是引數是會話控制程式碼,第二是HTTP響應頭資訊的字串。使用此回撥函式,將自行處理響應頭資訊。響應頭資訊是整個字串。設定返回值為精確的已寫入字串長度。發生錯誤時傳輸執行緒終止。

看到了吧,只要在第二個函式之內設定這些選項就可以完成相應的功能,cURL的功能是灰常強大滴,大家可以嘗試一下哦!

例如,我們只想把獲取到的內容輸入到檔案,而不是直接輸出給瀏覽器,我們就可以使用CURLOPT_RETURNTRANSFER選項!

這樣在curl執行的時候,就會把頁面的內容輸出到檔案當中,我們就可以完成採集等功能啦!

效率方面,curl的原理是模擬瀏覽器的操作,它的效率要比file_get_contents()高出四倍以上,試想一下,我們

要採集一個資訊量特別龐大的站,執行效率的差別可想而知!

不單單是效率上,穩定性上來說,curl也遠比file_get_contents()函式要好很多!

這就是強大的curl,下文將給大家詳細介紹它的高階應用,我們可以模擬瀏覽器的post傳值,甚至上傳!

相關文章