curl wget命令常用

weixin_34026276發表於2017-11-10
wget

1 獲取返回碼:(only)

1
[root@master zabbix_agentd.conf.d]# curl -s --connect-timeout 20 -w "%{http_code}"  -o /dev/null www.baidu.com
1
200[root@master zabbix_agentd.conf.d]#


引數詳解


curl 

-s  -s/--silent

              Silent or quiet mode. Don't show progress meter or error messages.  Makes Curl mute.

-I

-w   -w/--write-out <format> 。 variables are specified as %{variable_name}

-o -o/--output <file>

-x 使用代理



2 -I 返回頭部資訊 (HTTP/FTP/FILE) Fetch the HTTP-header only! HTTP-servers feature the command HEAD  是一個head請求 

1
2
curl -I 
http://www.baidu.com


3 -i 返回頭部信心+返回的資訊(HTTP) Include the HTTP-header in the output

curl -i http://www.baidu.com





4 -s 的效果

檢視有沒有-s的效果: 你可以看到那些curl的進度輸出

1
2
3
4
5
6
7
[root@master scripts]# curl -s -I 192.168.100.13:80 --connect-timeout 2 | sed -n '1p' 
HTTP/1.1 200 OK
[root@master scripts]# curl  -I 192.168.100.13:80 --connect-timeout 2 | sed -n '1p'   
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0   612    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
HTTP/1.1 200 OK


5 返回請求的整個過程詳細過程

curl -v http://192.168.100.10



6 修改請求的頭部資訊(偽造 偽裝)

 (HTTP)  Extra header to use when getting a web page

6.1 修改user-agent

    方法1: curl --user-agent "[User Agent]" [URL]

curl --user-agent "iphone6" http://192.168.100.13


    方法2: curl  -H "user-agent:iphone6" 192.168.100.13 

        


如何檢視，自己的user-agent是否生效呢？ 可以檢視那web日誌，或者curl -v -H "user-agent:iphone6" 192.168.100.13 檢視傳輸的詳細資訊。


6.2 修改host

    curl -v -H "Host:web1" 192.168.100.13 



6.3 如何置空（remove這個頭部  -v詳細過程可以檢視）

    curl -v -H "user-agent:" 192.168.100.13


6.4同時設定兩個頭部

    curl -H "Host:web1" -H "user-agent:iphone6" 192.168.100.13


6.5修改refer

    curl -H "referer:www.baidu.com" 192.168.100.13



7 -X 指定請求方法 GET POST DELETE OPTIONS預設是-X GET


curl -X GET

curl -X POST -d "data=xxx" example.com/form.cgi 

curl -s -XDELETE "

http://localhost:9200/$index/


如果post 多個資料呢？

-d "key1=values" -d "key2=values"

curl -s -d title=heh -d 'msg=heh  Time:09-26 16:46' -d receiver=andycui http://ip/xx.cgi



8 -L 有的網址是自動跳轉的。使用`-L`引數，curl就會跳轉到新的網址。

(HTTP/HTTPS)  If  the server reports that the requested page has moved to a

different location (indicated with a Location: header and  a  3XX  response

code),  this  option  will  make curl redo the request on the new place

curl  www.sina.com

會被301永久重定向 到www.sina.com.cn

如果要請求到重定向後的內容就需要使用

curl  -I www.sina.com



9 -x 使用代理進行訪問 如使用本地squid代理去訪問快取的圖片

1
curl -x "127.0.0.1:3128" -I





########################################## wget 的使用方法


rpm安裝包

wget-1.12-5.el6_6.1.x86_64


命令選項：

-e 代理

-O 輸出

-P 指定存放的目錄prefix

命令如下:

1 通過代理下載圖片並報錯問test.gif檔名

1
 wget -e "http_proxy=10.59.74.33:3128 " http://img.baidu.com/img/iknow/zhengwen/%E5%B0%8F%E7%9F%A5.gif?t=142382208044  -O test.gif

本文轉自殘劍部落格51CTO部落格，原文連結http://blog.51cto.com/cuidehua/1765553如需轉載請自行聯絡原作者


cuizhiliang

相關文章