Anemone庫

Anemone是一個在Ruby程式語言中用於網路爬蟲的庫。它提供了一組簡單且靈活的函式和方法，用於抓取和解析網頁內容。

使用Anemone庫，您可以編寫指令碼來遍歷網頁、提取資料、跟蹤連結和執行其他與網路爬取相關的任務。以下是Anemone庫的一些常見用法示例：

爬取網頁：

require 'anemone'

Anemone.crawl(") do |anemone|

  anemone.on_every_page do |page|

    # 處理每個頁面的邏輯

    puts page.url

  end

end

配置爬蟲選項：

require 'anemone'

Anemone.crawl("jshk.com.cn/") do |anemone|

  anemone.focus_crawl do |page|

    # 定義要跟蹤的連結邏輯

    page.links.keep_if { |link| link.to_s.match(/example\.com/) }

  end

  anemone.on_pages_like(/\/blog\//) do |page|

    # 處理匹配特定URL模式的頁面邏輯

    puts "Blog post: #{page.url}"

  end

  anemone.after_crawl do |pages|

    # 在爬取完成後執行的邏輯

    puts "Total pages crawled: #{pages.size}"

  end

end

請注意，Anemone庫還提供了許多其他功能和選項，如處理請求頭、處理異常、限制爬取速度等。