curl與wget高階用法

sr_zhang發表於2018-09-30
wget

    curl和wget作為經常使用的命令，為我們對檔案的操作提供了極大的便利。今天和大家分享一下，如何更好利用這些命令，來提高我們的的使用效率。       阿里雲2018年10月 優惠資訊彙總

curl（檔案傳輸工具）

常用引數如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
–c，–cookie–jar：將cookie寫入到檔案
–b，–cookie：從檔案中讀取cookie
–C，–continue–at：斷點續傳
–d，–data：http post方式傳送資料
–D，–dump–header：把header資訊寫入到檔案
–F，–from：模擬http表達提交資料
–s，–slient：減少輸出資訊
–o，–output：將資訊輸出到檔案
–O，–remote–name：按照伺服器上的檔名，存在本地
–l，–head：僅返回頭部資訊
–u，–user[user:pass]：設定http認證使用者和密碼
–T，–upload–file：上傳檔案
–e，–referer：指定引用地址
–x，–proxy：指定代理伺服器地址和埠
–w，–write–out：輸出指定格式內容
–retry：重試次數
–connect–timeout：指定嘗試連線的最大時間/s

使用示例：
例1：抓取頁面到指定檔案，如果有亂碼可以使用iconv轉碼

1
2
# curl -o baidu.html www.baidu.com
# curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #減少輸出資訊

例2：模擬瀏覽器頭（user-agent）

1
# curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com

例3：處理重定向頁面

1
# curl –L http://192.168.1.100/301.php #預設curl是不處理重定向

例4：模擬使用者登陸，儲存cookie資訊到cookies.txt檔案，再使用cookie登陸

1
2
# curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表單屬性不同，每個網站基本都不同
# curl -b ./cookies.txt –o URL

例5：獲取HTTP響應頭headers

1
2
# curl -I http://www.baidu.com
# curl -D ./header.txt http://www.baidu.com #將headers儲存到檔案中

例6：訪問HTTP認證頁面

1
# curl –u user:pass URL

例7：通過ftp上傳和下載檔案

1
2
# curl -T filename ftp://user:pass@ip/docs #上傳
# curl -O ftp://user:pass@ip/filename #下載

wget（檔案下載工具）

常用引數如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
2.1 啟動引數
–V，–version：顯示版本號
–h，–help：檢視幫助
–b，–background：啟動後轉入後臺執行
2.2 日誌記錄和輸入檔案引數
–o，–output–file=file：把記錄寫到file檔案中
–a，–append–output=file：把記錄追加到file檔案中
–i，–input–file=file：從file讀取url來下載
2.3 下載引數
–bind–address=address：指定本地使用地址
–t，–tries=number：設定最大嘗試連線次數
–c，–continue：接著下載沒有下載完的檔案
–O，–output–document=file：將下載內容寫入到file檔案中
–spider：不下載檔案
–T，–timeout=sec：設定響應超時時間
–w，–wait=sec：兩次嘗試之間間隔時間
–limit–rate=rate：限制下載速率
–progress=type：設定進度條
2.4 目錄引數
–P，–directory–prefix=prefix：將檔案儲存到指定目錄
2.5 HTTP引數
–http–user=user：設定http使用者名稱
–http–passwd=pass：設定http密碼
–U，–user–agent=agent：偽裝代理
–no–http–keep–alive：關閉http活動連結，變成永久連結
–cookies=off：不使用cookies
–load–cookies=file：在開始會話前從file檔案載入cookies
–save–cookies=file：在會話結束將cookies儲存到file檔案
2.6 FTP引數
–passive–ftp：預設值，使用被動模式
–active–ftp：使用主動模式
2.7 遞迴下載排除引數
–A，–accept=list：分號分割被下載副檔名的列表
–R，–reject=list：分號分割不被下載副檔名的列表
–D，–domains=list：分號分割被下載域的列表
–exclude–domains=list：分號分割不被下載域的列表

使用示例：
例1：下載單個檔案到當前目錄下，也可以-P指定下載目錄

1
# wgethttp://nginx.org/download/nginx-1.8.0.tar.gz

例2：對於網路不穩定的使用者可以使用-c和–tries引數，保證下載完成

1
# wget –tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz

例3：下載大的檔案時，我們可以放到後臺去下載，這時會生成wget-log檔案來儲存下載進度

1
# wget -b http://nginx.org/download/nginx-1.8.0.tar.gz

例4：可以利用—spider引數判斷網址是否有效

1
# wget –spider http://nginx.org/download/nginx-1.8.0.tar.gz

例5：自動從多個連結下載檔案

1
2
3
4
# cat url_list.txt #先建立一個URL檔案
http://nginx.org/download/nginx-1.8.0.tar.gz
http://nginx.org/download/nginx-1.6.3.tar.gz
# wget -i url_list.txt

例6：限制下載速度

1
# wget –limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz

例7：登陸ftp下載檔案

1
# wget –ftp-user=user –ftp-password=pass ftp://ip/filenam


相關文章