安裝 Node.js安裝 Node.js

金木大大大發表於2023-11-08

首先,我們需要安裝 Node.js 和相關的庫,如 request 和 cheerio。


```bash

npm install request cheerio

```


然後,我們可以使用以下程式碼來爬取網頁內容:


```javascript

const request = require('request');

const cheerio = require('cheerio');



request({

    url: 'jshk.com.cn',

    headers: {

        'proxy': ' + proxyHost + ':' + proxyPort

    }

}, (error, response, body) => {

    if (!error && response.statusCode == 200) {

        const $ = cheerio.load(body);

        console.log($('h1').text());

    }

});

```


每行程式碼的解釋如下:


1. 匯入了 request 和 cheerio 庫。

2. 設定了代理資訊。

3. 傳送了一個 GET 請求到指定的 URL。

4. 如果請求成功並且狀態碼為 200,就載入返回的 HTML 內容。

5. 使用 cheerio 庫來解析 HTML,並列印出所有 h1 標籤的文字內容。


這只是一個簡單的示例,實際的爬蟲程式可能需要處理更復雜的情況,比如處理重定向、處理登入認證、處理分頁等等。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2993417/,如需轉載,請註明出處,否則將追究法律責任。

相關文章