wget 網頁爬蟲,網頁抓取工具

CopperDong發表於2017-11-08
wget網頁爬蟲

前言

如何在linux上或者是mac上簡單使用爬蟲或者是網頁下載工具呢，常規的我們肯定是要去下載一個軟體下來使用啦，可憐的這兩個系統總是找不到相應的工具，這時wget出來幫助你啦!!!wget本身是拿來下載東西的，但遠不止那麼強大,是一把強大利器。

使用指南

  • 快速上手(整個bootstrap網頁全被你抓取下來了~_~)
wget -c -r -npH -k http://v4.bootcss.com
  • 1

  • 引數說明

    -c：斷點續傳 
    -r：遞迴下載 
    -np：遞迴下載時不搜尋上層目錄 
    -nd：遞迴下載時不建立一層一層的目錄,把所有檔案下載當前資料夾中 
    -p：下載網頁所需要的所有檔案(圖片,樣式,js檔案等) 
    -H：當遞迴時是轉到外部主機下載圖片或連結 
    -k：將絕對連結轉換為相對連結,這樣就可以在本地離線瀏覽網頁了

相關文章