php中curl的詳細解說
轉自::http://blog.csdn.net/yanhui_wei/article/details/21530811
這幾天在幫一些同學處理問題的時候,突然發現這些同學是使用file_get_contents()函式來採集頁面內容的,貌似都沒有curl的概念亦或是對這種工具特別不敏感,
本文我來給大家詳細介紹下cURL的簡單的使用方法,下文我將會給大家詳細介紹cURL的高階應用,
好,廢話不多說,我們先來認識下什麼是cURL,可能還有很多同學沒有聽說過這個工具,我先來給大家簡單介紹下什麼是cURL:
cURL可以使用URL的語法模擬瀏覽器來傳輸資料,
因為它是模擬瀏覽器,因此它同樣支援多種協議,
FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP等協議都可以很好的支援,包括一些:
HTTPS認證,HTTP POST方法,HTTP PUT方法,FTP上傳,keyberos認證,HTTP上傳,代理伺服器,cookies,使用者名稱/密碼認證,
下載檔案斷點續傳,上傳檔案斷點續傳,http代理伺服器管道,甚至它還支援IPv6,scoket5代理伺服器,通過http代理伺服器上傳檔案
到FTP伺服器等等。
這就是我們為什麼要使用cURL的原因!
使用cURL完成簡單的請求主要分為以下四步:
1.初始化,建立一個新cURL資源
2.設定URL和相應的選項
3.抓取URL並把它傳遞給瀏覽器
4.關閉cURL資源,並且釋放系統資源
我們來採集一個頁面,通常情況下,我們會使用file_get_contents()函式來獲取:
像這樣:
- <?php
- $str = file_get_contents('http://bbs.lampbrother.net');
- //或者是:
- $str = file("http://bbs.lampbrother.net");
- //或者是:
- readfile("http://bbs.lampbrother.net");
- ?>
這樣我們會發現,我們沒有辦法有效地進行錯誤處理,更重要的是我們沒有辦法完成一些高難度的任務:
如:處理cookies,驗證,表單提交,檔案上傳等等。
好,現在我們來用程式碼完成上述cURL的四步:
- <?php
- //1.初始化,建立一個新cURL資源
- $ch = curl_init();
- //2.設定URL和相應的選項
- curl_setopt($ch, CURLOPT_URL, "http://www.lampbrother.net/");
- curl_setopt($ch, CURLOPT_HEADER, 0);
- //3.抓取URL並把它傳遞給瀏覽器
- curl_exec($ch);
- //4.關閉cURL資源,並且釋放系統資源
- curl_close($ch);
- ?>
上述四步中,其中第二步最為關鍵,可以設定一些高階選項:
例如上例中的CURLOPT_URL和CURLOPT_HEADER,分別代表“需要獲取的URL地址”和“啟用時會將標頭檔案的資訊作為資料流輸出”,這些只是冰山一角,我們還可以設定很多選項:
選項 | 可選value值 | 備註 |
CURLOPT_AUTOREFERER | 當根據Location:重定向時,自動設定header中的Referer:資訊。 | |
CURLOPT_BINARYTRANSFER | 在啟用CURLOPT_RETURNTRANSFER的時候,返回原生的(Raw)輸出。 | |
CURLOPT_COOKIESESSION | 啟用時curl會僅僅傳遞一個session cookie,忽略其他的cookie,預設狀況下cURL會將所有的cookie返回給服務端。session cookie是指那些用來判斷伺服器端的session是否有效而存在的cookie。 | |
CURLOPT_CRLF | 啟用時將Unix的換行符轉換成回車換行符。 | |
CURLOPT_DNS_USE_GLOBAL_CACHE | 啟用時會啟用一個全域性的DNS快取,此項為執行緒安全的,並且預設啟用。 | |
CURLOPT_FAILONERROR | 顯示HTTP狀態碼,預設行為是忽略編號小於等於400的HTTP資訊。 | |
CURLOPT_FILETIME | 啟用時會嘗試修改遠端文件中的資訊。結果資訊會通過curl_getinfo()函式的CURLINFO_FILETIME選項返回。 curl_getinfo(). | |
CURLOPT_FOLLOWLOCATION | 啟用時會將伺服器伺服器返回的"Location: "放在header中遞迴的返回給伺服器,使用CURLOPT_MAXREDIRS可以限定遞迴返回的數量。 | |
CURLOPT_FORBID_REUSE | 在完成互動以後強迫斷開連線,不能重用。 | |
CURLOPT_FRESH_CONNECT | 強制獲取一個新的連線,替代快取中的連線。 | |
CURLOPT_FTP_USE_EPRT | 啟用時當FTP下載時,使用EPRT (或 LPRT)命令。設定為FALSE時禁用EPRT和LPRT,使用PORT命令 only. | |
CURLOPT_FTP_USE_EPSV | 啟用時,在FTP傳輸過程中回覆到PASV模式前首先嚐試EPSV命令。設定為FALSE時禁用EPSV命令。 | |
CURLOPT_FTPAPPEND | 啟用時追加寫入檔案而不是覆蓋它。 | |
CURLOPT_FTPASCII | CURLOPT_TRANSFERTEXT的別名。 | |
CURLOPT_FTPLISTONLY | 啟用時只列出FTP目錄的名字。 | |
CURLOPT_HEADER | 啟用時會將標頭檔案的資訊作為資料流輸出。 | |
CURLINFO_HEADER_OUT | 啟用時追蹤控制程式碼的請求字串。 | 從 PHP 5.1.3 開始可用。CURLINFO_字首是故意的(intentional)。 |
CURLOPT_HTTPGET | 啟用時會設定HTTP的method為GET,因為GET是預設是,所以只在被修改的情況下使用。 | |
CURLOPT_HTTPPROXYTUNNEL | 啟用時會通過HTTP代理來傳輸。 | |
CURLOPT_MUTE | 啟用時將cURL函式中所有修改過的引數恢復預設值。 | |
CURLOPT_NETRC | 在連線建立以後,訪問~/.netrc檔案獲取使用者名稱和密碼資訊連線遠端站點。 | |
CURLOPT_NOBODY | 啟用時將不對HTML中的BODY部分進行輸出。 | |
CURLOPT_NOPROGRESS |
啟用時關閉curl傳輸的進度條,此項的預設設定為啟用。
|
|
CURLOPT_NOSIGNAL | 啟用時忽略所有的curl傳遞給php進行的訊號。在SAPI多執行緒傳輸時此項被預設啟用。 | cURL 7.10時被加入。 |
CURLOPT_POST | 啟用時會傳送一個常規的POST請求,型別為:application/x-www-form-urlencoded,就像表單提交的一樣。 | |
CURLOPT_PUT | 啟用時允許HTTP傳送檔案,必須同時設定CURLOPT_INFILE和CURLOPT_INFILESIZE。 | |
CURLOPT_RETURNTRANSFER | 將curl_exec()獲取的資訊以檔案流的形式返回,而不是直接輸出。 | |
CURLOPT_SSL_VERIFYPEER | 禁用後cURL將終止從服務端進行驗證。使用CURLOPT_CAINFO選項設定證照使用CURLOPT_CAPATH選項設定證照目錄 如果CURLOPT_SSL_VERIFYPEER(預設值為2)被啟用,CURLOPT_SSL_VERIFYHOST需要被設定成TRUE否則設定為FALSE。 | 自cURL 7.10開始預設為TRUE。從cURL 7.10開始預設繫結安裝。 |
CURLOPT_TRANSFERTEXT | 啟用後對FTP傳輸使用ASCII模式。對於LDAP,它檢索純文字資訊而非HTML。在Windows系統上,系統不會把STDOUT設定成binary模式。 | |
CURLOPT_UNRESTRICTED_AUTH | 在使用CURLOPT_FOLLOWLOCATION產生的header中的多個locations中持續追加使用者名稱和密碼資訊,即使域名已發生改變。 | |
CURLOPT_UPLOAD | 啟用後允許檔案上傳。 | |
CURLOPT_VERBOSE | 啟用時會彙報所有的資訊,存放在STDERR或指定的CURLOPT_STDERR中。 |
對於下面的這些option的可選引數,value應該被設定一個integer型別的值:
選項 | 可選value值 | 備註 |
CURLOPT_BUFFERSIZE | 每次獲取的資料中讀入快取的大小,但是不保證這個值每次都會被填滿。 | 在cURL 7.10中被加入。 |
CURLOPT_CLOSEPOLICY | 不是CURLCLOSEPOLICY_LEAST_RECENTLY_USED就是CURLCLOSEPOLICY_OLDEST,還存在另外三個CURLCLOSEPOLICY_,但是cURL暫時還不支援。 | |
CURLOPT_CONNECTTIMEOUT | 在發起連線前等待的時間,如果設定為0,則無限等待。 | |
CURLOPT_CONNECTTIMEOUT_MS | 嘗試連線等待的時間,以毫秒為單位。如果設定為0,則無限等待。 | 在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。 |
CURLOPT_DNS_CACHE_TIMEOUT | 設定在記憶體中儲存DNS資訊的時間,預設為120秒。 | |
CURLOPT_FTPSSLAUTH | FTP驗證方式:CURLFTPAUTH_SSL (首先嚐試SSL),CURLFTPAUTH_TLS (首先嚐試TLS)或CURLFTPAUTH_DEFAULT (讓cURL自動決定)。 | 在cURL 7.12.2中被加入。 |
CURLOPT_HTTP_VERSION | CURL_HTTP_VERSION_NONE (預設值,讓cURL自己判斷使用哪個版本),CURL_HTTP_VERSION_1_0 (強制使用 HTTP/1.0)或CURL_HTTP_VERSION_1_1 (強制使用 HTTP/1.1)。 | |
CURLOPT_HTTPAUTH |
使用的HTTP驗證方法,可選的值有:CURLAUTH_BASIC、CURLAUTH_DIGEST、CURLAUTH_GSSNEGOTIATE、CURLAUTH_NTLM、CURLAUTH_ANY和CURLAUTH_ANYSAFE。 可以使用|位域(或)操作符分隔多個值,cURL讓伺服器選擇一個支援最好的值。 CURLAUTH_ANY等價於CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM. CURLAUTH_ANYSAFE等價於CURLAUTH_DIGEST | CURLAUTH_GSSNEGOTIATE | CURLAUTH_NTLM. |
|
CURLOPT_INFILESIZE | 設定上傳檔案的大小限制,位元組(byte)為單位。 | |
CURLOPT_LOW_SPEED_LIMIT | 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 | |
CURLOPT_LOW_SPEED_TIME | 當傳輸速度小於CURLOPT_LOW_SPEED_LIMIT時(bytes/sec),PHP會根據CURLOPT_LOW_SPEED_TIME來判斷是否因太慢而取消傳輸。 | |
CURLOPT_MAXCONNECTS | 允許的最大連線數量,超過是會通過CURLOPT_CLOSEPOLICY決定應該停止哪些連線。 | |
CURLOPT_MAXREDIRS | 指定最多的HTTP重定向的數量,這個選項是和CURLOPT_FOLLOWLOCATION一起使用的。 | |
CURLOPT_PORT | 用來指定連線埠。(可選項) | |
CURLOPT_PROTOCOLS |
CURLPROTO_*的位域指。如果被啟用,位域值會限定libcurl在傳輸過程中有哪些可使用的協議。這將允許你在編譯libcurl時支援眾多協議,但是限制只是用它們中被允許使用的一個子集。預設libcurl將會使用全部它支援的協議。參見CURLOPT_REDIR_PROTOCOLS. 可用的協議選項為:CURLPROTO_HTTP、CURLPROTO_HTTPS、CURLPROTO_FTP、CURLPROTO_FTPS、CURLPROTO_SCP、CURLPROTO_SFTP、CURLPROTO_TELNET、CURLPROTO_LDAP、CURLPROTO_LDAPS、CURLPROTO_DICT、CURLPROTO_FILE、CURLPROTO_TFTP、CURLPROTO_ALL |
在cURL 7.19.4中被加入。 |
CURLOPT_PROXYAUTH | HTTP代理連線的驗證方式。使用在CURLOPT_HTTPAUTH中的位域標誌來設定相應選項。對於代理驗證只有CURLAUTH_BASIC和CURLAUTH_NTLM當前被支援。 | 在cURL 7.10.7中被加入。 |
CURLOPT_PROXYPORT | 代理伺服器的埠。埠也可以在CURLOPT_PROXY中進行設定。 | |
CURLOPT_PROXYTYPE | 不是CURLPROXY_HTTP (預設值) 就是CURLPROXY_SOCKS5。 | 在cURL 7.10中被加入。 |
CURLOPT_REDIR_PROTOCOLS | CURLPROTO_*中的位域值。如果被啟用,位域值將會限制傳輸執行緒在CURLOPT_FOLLOWLOCATION開啟時跟隨某個重定向時可使用的協議。這將使你對重定向時限制傳輸執行緒使用被允許的協議子集預設libcurl將會允許除FILE和SCP之外的全部協議。這個和7.19.4預釋出版本種無條件地跟隨所有支援的協議有一些不同。關於協議常量,請參照CURLOPT_PROTOCOLS。 | 在cURL 7.19.4中被加入。 |
CURLOPT_RESUME_FROM | 在恢復傳輸時傳遞一個位元組偏移量(用來斷點續傳)。 | |
CURLOPT_SSL_VERIFYHOST | 1 檢查伺服器SSL證照中是否存在一個公用名(common name)。譯者注:公用名(Common Name)一般來講就是填寫你將要申請SSL證照的域名 (domain)或子域名(sub domain)。2 檢查公用名是否存在,並且是否與提供的主機名匹配。 | |
CURLOPT_SSLVERSION | 使用的SSL版本(2 或 3)。預設情況下PHP會自己檢測這個值,儘管有些情況下需要手動地進行設定。 | |
CURLOPT_TIMECONDITION | 如果在CURLOPT_TIMEVALUE指定的某個時間以後被編輯過,則使用CURL_TIMECOND_IFMODSINCE返回頁面,如果沒有被修改過,並且CURLOPT_HEADER為true,則返回一個"304 Not Modified"的header, CURLOPT_HEADER為false,則使用CURL_TIMECOND_IFUNMODSINCE,預設值為CURL_TIMECOND_IFUNMODSINCE。 | |
CURLOPT_TIMEOUT | 設定cURL允許執行的最長秒數。 | |
CURLOPT_TIMEOUT_MS | 設定cURL允許執行的最長毫秒數。 | 在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。 |
CURLOPT_TIMEVALUE | 設定一個CURLOPT_TIMECONDITION使用的時間戳,在預設狀態下使用的是CURL_TIMECOND_IFMODSINCE。 |
對於下面的這些option的可選引數,value應該被設定一個string型別的值:
選項 | 可選value值 | 備註 |
CURLOPT_CAINFO | 一個儲存著1個或多個用來讓服務端驗證的證照的檔名。這個引數僅僅在和CURLOPT_SSL_VERIFYPEER一起使用時才有意義。 . | |
CURLOPT_CAPATH | 一個儲存著多個CA證照的目錄。這個選項是和CURLOPT_SSL_VERIFYPEER一起使用的。 | |
CURLOPT_COOKIE | 設定HTTP請求中"Cookie: "部分的內容。多個cookie用分號分隔,分號後帶一個空格(例如, "fruit=apple; colour=red")。 | |
CURLOPT_COOKIEFILE | 包含cookie資料的檔名,cookie檔案的格式可以是Netscape格式,或者只是純HTTP頭部資訊存入檔案。 | |
CURLOPT_COOKIEJAR | 連線結束後儲存cookie資訊的檔案。 | |
CURLOPT_CUSTOMREQUEST |
使用一個自定義的請求資訊來代替"GET"或"HEAD"作為HTTP請求。這對於執行"DELETE" 或者其他更隱蔽的HTTP請求。有效值如"GET","POST","CONNECT"等等。也就是說,不要在這裡輸入整個HTTP請求。例如輸入"GET /index.html HTTP/1.0 "是不正確的。
|
|
CURLOPT_EGDSOCKET | 類似CURLOPT_RANDOM_FILE,除了一個Entropy Gathering Daemon套接字。 | |
CURLOPT_ENCODING | HTTP請求頭中"Accept-Encoding: "的值。支援的編碼有"identity","deflate"和"gzip"。如果為空字串"",請求頭會傳送所有支援的編碼型別。 | 在cURL 7.10中被加入。 |
CURLOPT_FTPPORT | 這個值將被用來獲取供FTP"POST"指令所需要的IP地址。"POST"指令告訴遠端伺服器連線到我們指定的IP地址。這個字串可以是純文字的IP地址、主機名、一個網路介面名(UNIX下)或者只是一個'-'來使用預設的IP地址。 | |
CURLOPT_INTERFACE | 網路傳送介面名,可以是一個介面名、IP地址或者是一個主機名。 | |
CURLOPT_KRB4LEVEL | KRB4 (Kerberos 4) 安全級別。下面的任何值都是有效的(從低到高的順序):"clear"、"safe"、"confidential"、"private".。如果字串和這些都不匹配,將使用"private"。這個選項設定為NULL時將禁用KRB4 安全認證。目前KRB4 安全認證只能用於FTP傳輸。 | |
CURLOPT_POSTFIELDS | 全部資料使用HTTP協議中的"POST"操作來傳送。要傳送檔案,在檔名前面加上@字首並使用完整路徑。這個引數可以通過urlencoded後的字串類似'para1=val1¶2=val2&...'或使用一個以欄位名為鍵值,欄位資料為值的陣列。如果value是一個陣列,Content-Type頭將會被設定成multipart/form-data。 | |
CURLOPT_PROXY | HTTP代理通道。 | |
CURLOPT_PROXYUSERPWD | 一個用來連線到代理的"[username]:[password]"格式的字串。 | |
CURLOPT_RANDOM_FILE | 一個被用來生成SSL隨機數種子的檔名。 | |
CURLOPT_RANGE | 以"X-Y"的形式,其中X和Y都是可選項獲取資料的範圍,以位元組計。HTTP傳輸執行緒也支援幾個這樣的重複項中間用逗號分隔如"X-Y,N-M"。 | |
CURLOPT_REFERER | 在HTTP請求頭中"Referer: "的內容。 | |
CURLOPT_SSL_CIPHER_LIST | 一個SSL的加密演算法列表。例如RC4-SHA和TLSv1都是可用的加密列表。 | |
CURLOPT_SSLCERT | 一個包含PEM格式證照的檔名。 | |
CURLOPT_SSLCERTPASSWD | 使用CURLOPT_SSLCERT證照需要的密碼。 | |
CURLOPT_SSLCERTTYPE | 證照的型別。支援的格式有"PEM" (預設值), "DER"和"ENG"。 | 在cURL 7.9.3中被加入。 |
CURLOPT_SSLENGINE | 用來在CURLOPT_SSLKEY中指定的SSL私鑰的加密引擎變數。 | |
CURLOPT_SSLENGINE_DEFAULT | 用來做非對稱加密操作的變數。 | |
CURLOPT_SSLKEY | 包含SSL私鑰的檔名。 | |
CURLOPT_SSLKEYPASSWD |
在CURLOPT_SSLKEY中指定了的SSL私鑰的密碼。
|
|
CURLOPT_SSLKEYTYPE | CURLOPT_SSLKEY中規定的私鑰的加密型別,支援的金鑰型別為"PEM"(預設值)、"DER"和"ENG"。 | |
CURLOPT_URL | 需要獲取的URL地址,也可以在curl_init()函式中設定。 | |
CURLOPT_USERAGENT | 在HTTP請求中包含一個"User-Agent: "頭的字串。 | |
CURLOPT_USERPWD | 傳遞一個連線中需要的使用者名稱和密碼,格式為:"[username]:[password]"。 |
對於下面的這些option的可選引數,value應該被設定一個陣列:
對於下面的這些option的可選引數,value應該被設定一個流資源 (例如使用fopen()):
對於下面的這些option的可選引數,value應該被設定為一個回撥函式名:
選項 | 可選value值 |
CURLOPT_HEADERFUNCTION | 設定一個回撥函式,這個函式有兩個引數,第一個是cURL的資源控制程式碼,第二個是輸出的header資料。header資料的輸出必須依賴這個函式,返回已寫入的資料大小。 |
CURLOPT_PASSWDFUNCTION | 設定一個回撥函式,有三個引數,第一個是cURL的資源控制程式碼,第二個是一個密碼提示符,第三個引數是密碼長度允許的最大值。返回密碼的值。 |
CURLOPT_PROGRESSFUNCTION | 設定一個回撥函式,有三個引數,第一個是cURL的資源控制程式碼,第二個是一個檔案描述符資源,第三個是長度。返回包含的資料。 |
CURLOPT_READFUNCTION | 擁有兩個引數的回撥函式,第一個是引數是會話控制程式碼,第二是HTTP響應頭資訊的字串。使用此函式,將自行處理返回的資料。返回值為資料大小,以位元組計。返回0代表EOF訊號。 |
CURLOPT_WRITEFUNCTION | 擁有兩個引數的回撥函式,第一個是引數是會話控制程式碼,第二是HTTP響應頭資訊的字串。使用此回撥函式,將自行處理響應頭資訊。響應頭資訊是整個字串。設定返回值為精確的已寫入字串長度。發生錯誤時傳輸執行緒終止。 |
看到了吧,只要在第二個函式之內設定這些選項就可以完成相應的功能,cURL的功能是灰常強大滴,大家可以嘗試一下哦!
例如,我們只想把獲取到的內容輸入到檔案,而不是直接輸出給瀏覽器,我們就可以使用CURLOPT_RETURNTRANSFER選項!
這樣在curl執行的時候,就會把頁面的內容輸出到檔案當中,我們就可以完成採集等功能啦!
效率方面,curl的原理是模擬瀏覽器的操作,它的效率要比file_get_contents()高出四倍以上,試想一下,我們
要採集一個資訊量特別龐大的站,執行效率的差別可想而知!
不單單是效率上,穩定性上來說,curl也遠比file_get_contents()函式要好很多!
這就是強大的curl,下文將給大家詳細介紹它的高階應用,我們可以模擬瀏覽器的post傳值,甚至上傳!
相關文章
- PHP 中 CURL 使用之 CURL 詳解!PHP
- PHP CURL詳解PHP
- php curl選項列表(超詳細)PHP
- php中的var_dump()方法的詳細說明PHP
- PHP中return用法詳細解讀PHP
- 詳細瞭解下PHP的curl函式及常用之處PHP函式
- 初試php中的curlPHP
- nginx 詳解 – 詳細配置說明Nginx
- nginx 詳解 - 詳細配置說明Nginx
- php中var_dump()函式的詳解說明PHP函式
- PHP陣列的詳細解讀PHP陣列
- 走進wordpress詳細說說template-loader.phpPHP
- curl命令詳解
- php的curlPHP
- oracle的dbms_stats包詳細解說Oracle
- PHP CURL中傳遞cookie的方法PHPCookie
- curl例項詳解
- 《細說PHP》中strlen和mb_strlen的區別PHP
- 細說PHP中strlen和mb_strlen的區別PHP
- php中declare的作用詳解PHP
- linux--ps命令詳細解說Linux
- Java中的static詳細講解Java
- php.ini安全配置詳細解釋PHP
- winscp操作說明,winscp操作說明的詳細解讀
- PHP中php.ini配置詳解PHP
- Oracle RAC中Srvctl命令詳細說明(轉)Oracle
- PHP 中的設計模式詳解PHP設計模式
- PHP中的traits使用詳解PHPAI
- PHP 詳細面試總結 (三 Redis 基礎詳解)PHP面試Redis
- PHP,CURL和你的安全!PHP
- PHP下的cURL庫PHP
- PHP curl error 60 錯誤解決PHPError
- mydumper備份資料庫詳解(已詳細說明)資料庫
- php curl使用PHP
- Thread interrupt() 執行緒中斷的詳細說明thread執行緒
- 詳細資訊用於javascript中的承諾使用詳解JavaScript
- 細說 JavaScript 中的 PromiseJavaScriptPromise
- 細說CSS中的BFCCSS