爬蟲

有空發表於2024-11-16

爬蟲一個網頁並下載:

const https=require(‘https’) 爬的網站是http的就引入http模組,是https的就引入https模組
const fs=require(‘fs’)
let url=‘https://www.mi.com
https.get(url, (res) => {
res.setEncoding(‘utf8’); //網頁的格式是utf8,圖片的格式是binary
let rawData=’’
res.on(‘data’,(chunk)=>{
rawData+=chunk
})

    res.on('end',()=>{
        fs.writeFileSync('./mi.html',rawData,'utf8')
    })
}).on('error', (e) => {

// 如果請求失敗會觸發error 回撥
console.error(Got error: ${e.message});
}); 最後在中端開啟,寫入node 本檔案.js 按enter即可穿件一個爬的html。

爬取一個網站 2.將網站的所有圖片下載到本地

在這裡插入圖片描述

相關文章