使用 `open-uri.with_proxy` 方法開啟網頁

金木大大大發表於2023-11-13

Ruby 爬蟲程式如下:


```ruby

require 'open-uri'

require 'nokogiri'


# 定義代理資訊

proxy_host = 'jshk.com.cn'



# 定義要爬取的網頁 URL

url = '


# 使用代理資訊開啟網頁

open-uri.with_proxy(proxy_host, proxy_port) do |proxy|

  # 使用 Nokogiri 庫解析網頁內容

  doc = Nokogiri::HTML(proxy.open(url))

end

```


程式碼解釋:


1. 首先,我們引入了兩個 Ruby 模組,即 `open-uri` 和 `nokogiri`。`open-uri` 模組用於開啟網路資源,`nokogiri` 模組用於解析 HTML 檔案。


2. 然後,我們定義了代理資訊,即代理伺服器的主機名和埠號。


3. 接著,我們定義了要爬取的網頁 URL。


4. 使用 `open-uri.with_proxy` 方法開啟網頁,其中第一個引數是代理伺服器的主機名,第二個引數是代理伺服器的埠號。在 `with_proxy` 方法內部,我們使用 `proxy.open` 方法開啟網頁。


5. 使用 `Nokogiri::HTML` 方法解析開啟的網頁內容。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70032566/viewspace-2994966/,如需轉載,請註明出處,否則將追究法律責任。

相關文章