curl命令詳解
用途說明
curl命令是一個功能強大的網路工具，它能夠通過http、ftp等方式下載檔案，也能夠上傳檔案。其實curl遠不止前面所說的那些功能，大家可以通過man curl閱讀手冊頁獲取更多的資訊。類似的工具還有wget。
curl命令使用了libcurl庫來實現，libcurl庫常用在C程式中用來處理HTTP請求，curlpp是libcurl的一個C++封裝，這幾個東西可以用在抓取網頁、網路監控等方面的開發，而curl命令可以幫助來解決開發過程中遇到的問題。
常用引數
curl命令引數很多，這裡只列出我曾經用過、特別是在shell指令碼中用到過的那些。
-A:隨意指定自己這次訪問所宣稱的自己的瀏覽器資訊
-b/--cookie <name=string/file> cookie字串或檔案讀取位置，使用option來把上次的cookie資訊追加到http request裡面去。
-c/--cookie-jar <file> 操作結束後把cookie寫入到這個檔案中
-C/--continue-at <offset> 斷點續轉
-d/--data <data> HTTP POST方式傳送資料
-D/--dump-header <file> 把header資訊寫入到該檔案中
-F/--form <name=content> 模擬http表單提交資料
-v/--verbose 小寫的v引數，用於列印更多資訊，包括髮送的請求資訊，這在除錯指令碼是特別有用。
-m/--max-time <seconds> 指定處理的最大時長
-H/--header <header> 指定請求頭引數
-s/--slient 減少輸出的資訊，比如進度
--connect-timeout <seconds> 指定嘗試連線的最大時長
-x/--proxy <proxyhost[:port]> 指定代理伺服器地址和埠，埠預設為1080
-T/--upload-file <file> 指定上傳檔案路徑
-o/--output <file> 指定輸出檔名稱
--retry <num> 指定重試次數
-e/--referer <URL> 指定引用地址
-I/--head 僅返回頭部資訊，使用HEAD請求
-u/--user <user[:password]>設定伺服器的使用者和密碼
-O:按照伺服器上的檔名，自動存在本地
-r/--range <range>檢索來自HTTP/1.1或FTP伺服器位元組範圍
-T/--upload-file <file> 上傳檔案
使用示例
1，抓取頁面內容到一個檔案中
[root@xi mytest]# curl -o home.html http://www.baidu.com --將百度首頁內容抓下到home.html中
[root@xi mytest]#curl -o #2_#1.jpghttp://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG
![http://cgi2.tky.3web.ne.jp/~{A,B}/[001-201].JPG](http://cgi2.tky.3web.ne.jp/~%7BA,B%7D/%5B001-201%5D.JPG){kind=link}
由於A/B下的檔名都是001，002...，201，下載下來的檔案重名，這樣，自定義出來下載下來的檔名，就變成了這樣：原來： A/001.JPG —-> 下載後： 001-A.JPG 原來： B/001.JPG ---> 下載後： 001-B.JPG
2，用-O（大寫的），後面的url要具體到某個檔案，不然抓不下來。還可以用正則來抓取東西
[root@xi mytest]# curl -O http://www.baidu.com/img/bdlogo.gif
執行結果如下：
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1575 100 1575 0 0 14940 0 --:--:-- --:--:-- --:--:-- 1538k
會在當前執行目錄中生成一張bdlogo.gif的圖片。
[root@xi mytest]# curl -O http://XXXXX/screen[1-10].JPG --下載screen1.jpg~screen10.jpg
![http://XXXXX/screen[1-10].JPG](http://xxxxx/screen%5B1-10%5D.JPG){kind=link}
3，模擬表單資訊，模擬登入，儲存cookie資訊
[root@xi mytest]# curl -c ./cookie_c.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php
4，模擬表單資訊，模擬登入，儲存頭資訊
[root@xi mytest]# curl -D ./cookie_D.txt -F log=aaaa -F pwd=******http://www.XXXX.com/wp-login.php
-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。
5，使用cookie檔案
[root@xi mytest]# curl -b ./cookie_c.txt http://www.XXXX.com/wp-admin
6，斷點續傳，-C(大寫)
[root@xi mytest]# curl -C -O http://www.baidu.com/img/bdlogo.gif
7，傳送資料,最好用登入頁面測試，因為你傳值過去後，curl回抓資料，你可以看到你傳值有沒有成功
[root@xi mytest]# curl -d log=aaaa http://www.XXXX.com/wp-login.php
8，顯示抓取錯誤，下面這個例子，很清楚的表明了。
[root@xi mytest]# curl -fhttp://www.XXXX.com/asdf
curl: (22) The requested URL returned error: 404
[root@xi mytest]# curlhttp://www.XXXX.com/asdf
<HTML><HEAD><TITLE>404,not found</TITLE>
9，偽造來源地址，有的網站會判斷，請求來源地址，防止盜鏈。
[root@xi mytest]# curl -ehttp://localhosthttp://www.XXXX.com/wp-login.php
10，當我們經常用curl去搞人家東西的時候，人家會把你的IP給遮蔽掉的,這個時候,我們可以用代理
[root@xi mytest]# curl -x 24.10.28.84:32779 -o home.htmlhttp://www.XXXX.com
11，比較大的東西，我們可以分段下載
[root@xi mytest]# curl -r 0-100 -o img.part1http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 105 0 --:--:-- --:--:-- --:--:-- 0
[root@xi mytest]# curl -r 100-200 -o img.part2http://www.XXXX.com/wp-ontent/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 57 0 0:00:01 0:00:01 --:--:-- 0
[root@xi mytest]# curl -r 200- -o img.part3http://www.XXXX.com/wp-content/uploads/2010/09/compare_varnish.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 104k 100 104k 0 0 52793 0 0:00:02 0:00:02 --:--:-- 88961
[root@xi mytest]# ls |grep part | xargs du -sh
4.0K one.part1
112K three.part3
4.0K two.part2
用的時候，把他們cat一下就OK,cat img.part* >img.jpg
12，不會顯示下載進度資訊
[root@xi mytest]# curl -s -o aaa.jpg http://www.baidu.com/img/bdlogo.gif
13，顯示下載進度條
[root@xi mytest]# curl -0 http://www.baidu.com/img/bdlogo.gif (以http1.0協議請求)
####################################################################### 100.0%
14,通過ftp下載檔案
[xifj@Xi ~]$ curl -u使用者名稱:密碼 -Ohttp://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
[xifj@Xi ~]$ curl -u 使用者名稱:密碼 -O http://www.XXXX.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
或者用下面的方式
[xifj@Xi ~]$ curl -O ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/style.css
[xifj@Xi ~]$ curl -O ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/style.css
15，通過ftp上傳
[xifj@Xi ~]$ curl -T test.sql ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/
[xifj@Xi ~]$ curl -T test.sql ftp://使用者名稱:密碼@ip:port/demo/curtain/bbstudy_files/
15,模擬瀏覽器頭
[xifj@Xi ~]$ curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txthttp://www.www.baidu.com
16,PUT、GET、POST
比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zz/abc.cgi，這時候，使用的協議是HTTP的PUT
method
剛才說到PUT，自然想起來了其他幾種methos－－GET和POST。
http提交一個表單，比較常用的是POST模式和GET模式
GET模式什麼option都不用，只需要把變數寫在url裡面就可以了
比如：
curl http://www.yahoo.com/login.cgi?user=nick&password=12345
而POST模式的option則是 -d
比如，curl -d "user=nick&password=12345" http://www.yahoo.com/login.cgi
就相當於向這個站點發出一次登陸申請~~~~~
到底該用GET模式還是POST模式，要看對面伺服器的程式設定。
一點需要注意的是，POST模式下的檔案上的檔案上傳，比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="go">
</form>
這樣一個HTTP表單，我們要用curl進行模擬，就該是這樣的語法：
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zz/up_file.cgi
命令：curl
在Linux中curl是一個利用URL規則在命令列下工作的檔案傳輸工具，可以說是一款很強大的http命令列工具。它支援檔案的上傳和下載，是綜合傳輸工具，但按傳統，習慣稱url為下載工具。
語法：# curl [option] [url]
常見引數：
-A/--user-agent <string> 設定使用者代理髮送給伺服器
-b/--cookie <name=string/file> cookie字串或檔案讀取位置
-c/--cookie-jar <file> 操作結束後把cookie寫入到這個檔案中
-C/--continue-at <offset> 斷點續轉
-D/--dump-header <file> 把header資訊寫入到該檔案中
-e/--referer 來源網址
-f/--fail 連線失敗時不顯示http錯誤
-o/--output 把輸出寫到該檔案中
-O/--remote-name 把輸出寫到該檔案中，保留遠端檔案的檔名
-r/--range <range> 檢索來自HTTP/1.1或FTP伺服器位元組範圍
-s/--silent 靜音模式。不輸出任何東西
-T/--upload-file <file> 上傳檔案
-u/--user <user[:password]> 設定伺服器的使用者和密碼
-w/--write-out [format] 什麼輸出完成後
-x/--proxy <host[:port]> 在給定的埠上使用HTTP代理
-#/--progress-bar 進度條顯示當前的傳送狀態
例子：
1、基本用法
# curl http://www.linux.com
執行後，www.linux.com 的html就會顯示在螢幕上了
Ps：由於安裝linux的時候很多時候是沒有安裝桌面的，也意味著沒有瀏覽器，因此這個方法也經常用於測試一臺伺服器是否可以到達一個網站
2、儲存訪問的網頁
2.1:使用linux的重定向功能儲存
# curl http://www.linux.com >> linux.html
2.2:可以使用curl的內建option:-o(小寫)儲存網頁
$ curl -o linux.html http://www.linux.com
執行完成後會顯示如下介面，顯示100%則表示儲存成功
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k
2.3:可以使用curl的內建option:-O(大寫)儲存網頁中的檔案
要注意這裡後面的url要具體到某個檔案，不然抓不下來
# curl -O http://www.linux.com/hello.sh
3、測試網頁返回值
# curl -o /dev/null -s -w %{http_code} www.linux.com
Ps:在指令碼中，這是很常見的測試網站是否正常的用法
4、指定proxy伺服器以及其埠
很多時候上網需要用到代理伺服器(比如是使用代理伺服器上網或者因為使用curl別人網站而被別人遮蔽IP地址的時候)，幸運的是curl通過使用內建option：-x來支援設定代理
# curl -x 192.168.100.100:1080 http://www.linux.com
5、cookie
有些網站是使用cookie來記錄session資訊。對於chrome這樣的瀏覽器，可以輕易處理cookie資訊，但在curl中只要增加相關引數也是可以很容易的處理cookie
5.1:儲存http的response裡面的cookie資訊。內建option:-c（小寫）
# curl -c cookiec.txt http://www.linux.com
執行後cookie資訊就被存到了cookiec.txt裡面了
5.2:儲存http的response裡面的header資訊。內建option: -D
# curl -D cookied.txt http://www.linux.com
執行後cookie資訊就被存到了cookied.txt裡面了
注意：-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。
5.3:使用cookie
很多網站都是通過監視你的cookie資訊來判斷你是否按規矩訪問他們的網站的，因此我們需要使用儲存的cookie資訊。內建option: -b
# curl -b cookiec.txt http://www.linux.com
6、模仿瀏覽器
有些網站需要使用特定的瀏覽器去訪問他們，有些還需要使用某些特定的版本。curl內建option:-A可以讓我們指定瀏覽器去訪問網站
# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
這樣伺服器端就會認為是使用IE8.0去訪問的
7、偽造referer（盜鏈）
很多伺服器會檢查http訪問的referer從而來控制訪問。比如：你是先訪問首頁，然後再訪問首頁中的郵箱頁面，這裡訪問郵箱的referer地址就是訪問首頁成功後的頁面地址，如果伺服器發現對郵箱頁面訪問的referer地址不是首頁的地址，就斷定那是個盜連了
curl中內建option：-e可以讓我們設定referer
# curl -e "www.linux.com" http://mail.linux.com
這樣就會讓伺服器其以為你是從www.linux.com點選某個連結過來的
8、下載檔案
8.1：利用curl下載檔案。
#使用內建option：-o(小寫)
# curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
#使用內建option：-O（大寫)
# curl -O http://www.linux.com/dodo1.JPG
這樣就會以伺服器上的名稱儲存檔案到本地
8.2：迴圈下載
有時候下載圖片可以能是前面的部分名稱是一樣的，就最後的尾椎名不一樣
# curl -O http://www.linux.com/dodo[1-5].JPG
這樣就會把dodo1，dodo2，dodo3，dodo4，dodo5全部儲存下來
8.3：下載重新命名
# curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG
由於下載的hello與bb中的檔名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下載的會把第一次下載的覆蓋，這樣就需要對檔案進行重新命名。
# curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG
這樣在hello/dodo1.JPG的檔案下載下來就會變成hello_dodo1.JPG,其他檔案依此類推，從而有效的避免了檔案被覆蓋
8.4：分塊下載
有時候下載的東西會比較大，這個時候我們可以分段下載。使用內建option：-r
# curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
# curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
# curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
# cat dodo1_part* > dodo1.JPG
這樣就可以檢視dodo1.JPG的內容了
8.5：通過ftp下載檔案
curl可以通過ftp下載檔案，curl提供兩種從ftp中下載的語法
# curl -O -u 使用者名稱:密碼 ftp://www.linux.com/dodo1.JPG
# curl -O ftp://使用者名稱:密碼@www.linux.com/dodo1.JPG
8.6：顯示下載進度條
# curl -# -O http://www.linux.com/dodo1.JPG
8.7：不會顯示下載進度資訊
# curl -s -O http://www.linux.com/dodo1.JPG
9、斷點續傳
在windows中，我們可以使用迅雷這樣的軟體進行斷點續傳。curl可以通過內建option:-C同樣可以達到相同的效果
如果在下載dodo1.JPG的過程中突然掉線了，可以使用以下的方式續傳
# curl -C -O http://www.linux.com/dodo1.JPG
10、上傳檔案
curl不僅僅可以下載檔案，還可以上傳檔案。通過內建option:-T來實現
# curl -T dodo1.JPG -u 使用者名稱:密碼 ftp://www.linux.com/img/
這樣就向ftp伺服器上傳了檔案dodo1.JPG
11、顯示抓取錯誤
# curl -f http://www.linux.com/error
其他引數(此處翻譯為轉載)：
-a/--append 上傳檔案時，附加到目標檔案
--anyauth 可以使用“任何”身份驗證方法
--basic 使用HTTP基本驗證
-B/--use-ascii 使用ASCII文字傳輸
-d/--data <data> HTTP POST方式傳送資料
--data-ascii <data> 以ascii的方式post資料
--data-binary <data> 以二進位制的方式post資料
--negotiate 使用HTTP身份驗證
--digest 使用數字身份驗證
--disable-eprt 禁止使用EPRT或LPRT
--disable-epsv 禁止使用EPSV
--egd-file <file> 為隨機資料(SSL)設定EGD socket路徑
--tcp-nodelay 使用TCP_NODELAY選項
-E/--cert <cert[:passwd]> 客戶端證照檔案和密碼 (SSL)
--cert-type <type> 證照檔案型別 (DER/PEM/ENG) (SSL)
--key <key> 私鑰檔名 (SSL)
--key-type <type> 私鑰檔案型別 (DER/PEM/ENG) (SSL)
--pass <pass> 私鑰密碼 (SSL)
--engine <eng> 加密引擎使用 (SSL). "--engine list" for list
--cacert <file> CA證照 (SSL)
--capath <directory> CA目 (made using c_rehash) to verify peer against (SSL)
--ciphers <list> SSL密碼
--compressed 要求返回是壓縮的形勢 (using deflate or gzip)
--connect-timeout <seconds> 設定最大請求時間
--create-dirs 建立本地目錄的目錄層次結構
--crlf 上傳是把LF轉變成CRLF
--ftp-create-dirs 如果遠端目錄不存在，建立遠端目錄
--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用
--ftp-pasv 使用 PASV/EPSV 代替埠
--ftp-skip-pasv-ip 使用PASV的時候,忽略該IP地址
--ftp-ssl 嘗試用 SSL/TLS 來進行ftp資料傳輸
--ftp-ssl-reqd 要求用 SSL/TLS 來進行ftp資料傳輸
-F/--form <name=content> 模擬http表單提交資料
-form-string <name=string> 模擬http表單提交資料
-g/--globoff 禁用網址序列和範圍使用{}和[]
-G/--get 以get的方式來傳送資料
-h/--help 幫助
-H/--header <line> 自定義頭資訊傳遞給伺服器
--ignore-content-length 忽略的HTTP頭資訊的長度
-i/--include 輸出時包括protocol頭資訊
-I/--head 只顯示文件資訊
-j/--junk-session-cookies 讀取檔案時忽略session cookie
--interface <interface> 使用指定網路介面/地址
--krb4 <level> 使用指定安全級別的krb4
-k/--insecure 允許不使用證照到SSL站點
-K/--config 指定的配置檔案讀取
-l/--list-only 列出ftp目錄下的檔名稱
--limit-rate <rate> 設定傳輸速度
--local-port<NUM> 強制使用本地埠號
-m/--max-time <seconds> 設定最大傳輸時間
--max-redirs <num> 設定最大讀取的目錄數
--max-filesize <bytes> 設定最大下載的檔案總量
-M/--manual 顯示全手動
-n/--netrc 從netrc檔案中讀取使用者名稱和密碼
--netrc-optional 使用 .netrc 或者 URL來覆蓋-n
--ntlm 使用 HTTP NTLM 身份驗證
-N/--no-buffer 禁用緩衝輸出
-p/--proxytunnel 使用HTTP代理
--proxy-anyauth 選擇任一代理身份驗證方法
--proxy-basic 在代理上使用基本身份驗證
--proxy-digest 在代理上使用數字身份驗證
--proxy-ntlm 在代理上使用ntlm身份驗證
-P/--ftp-port <address> 使用埠地址，而不是使用PASV
-Q/--quote <cmd> 檔案傳輸前，傳送命令到伺服器
--range-file 讀取（SSL）的隨機檔案
-R/--remote-time 在本地生成檔案時，保留遠端檔案時間
--retry <num> 傳輸出現問題時，重試的次數
--retry-delay <seconds> 傳輸出現問題時，設定重試間隔時間
--retry-max-time <seconds> 傳輸出現問題時，設定最大重試時間
-S/--show-error 顯示錯誤
--socks4 <host[:port]> 用socks4代理給定主機和埠
--socks5 <host[:port]> 用socks5代理給定主機和埠
-t/--telnet-option <OPT=val> Telnet選項設定
--trace <file> 對指定檔案進行debug
--trace-ascii <file> Like --跟蹤但沒有hex輸出
--trace-time 跟蹤/詳細輸出時，新增時間戳
--url <URL> Spet URL to work with
-U/--proxy-user <user[:password]> 設定代理使用者名稱和密碼
-V/--version 顯示版本資訊
-X/--request <command> 指定什麼命令
-y/--speed-time 放棄限速所要的時間。預設為30
-Y/--speed-limit 停止傳輸速度的限制，速度時間'秒
-z/--time-cond 傳送時間設定
-0/--http1.0 使用HTTP 1.0
-1/--tlsv1 使用TLSv1（SSL）
-2/--sslv2 使用SSLv2的（SSL）
-3/--sslv3 使用的SSLv3（SSL）
--3p-quote like -Q for the source URL for 3rd party transfer
--3p-url 使用url，進行第三方傳送
--3p-user 使用使用者名稱和密碼，進行第三方傳送
-4/--ipv4 使用IP4
-6/--ipv6 使用IP6
相關文章
- PHP CURL詳解PHP
- PHP 中 CURL 使用之 CURL 詳解！PHP
- curl例項詳解
- curl常用引數詳解及示例
- php中curl的詳細解說PHP
- curl命令PostJsonJSON
- Ubuntu命令--CURL用法Ubuntu
- 最全的cURL命令使用
- 學會使用 curl 命令
- curl wget命令常用wget
- 常用命令--curl
- curl庫pycurl例項及引數詳解
- 21 個 curl 命令練習
- [記錄]curl命令筆記筆記
- Dockerfile 命令詳解Docker
- tcpdump命令詳解TCP
- getsebool命令詳解
- w命令詳解
- GCC命令詳解GC
- echo命令詳解
- brctl 命令詳解
- rsync命令詳解
- echo 命令詳解
- date 命令詳解
- free 命令詳解
- NPM命令詳解NPM
- docker命令詳解Docker
- ps命令詳解
- lsof命令詳解
- SVN命令詳解
- 命令模式 詳解模式
- Ethtool命令詳解
- find命令詳解
- test命令詳解
- awk命令詳解
- vmstat命令詳解
- find 命令詳解
- RMAN 命令詳解