初識爬蟲類CrawlSpider

　　CrawlSpider是Python中Scrapy框架提供的一個強大的爬蟲類，它基於Spider類，提供了更多的功能和靈活性，用於建立可以自動跟蹤連結並提取資訊的爬蟲。

　　以下是CrawlSpider的一些重要特點和用法：

　　規則定義：CrawlSpider允許您定義一組規則，以指定如何跟蹤連結和提取資訊。這些規則包括允許跟蹤的連結、如何跟蹤連結、如何提取資訊等。

　　規則提取器：CrawlSpider提供了一些內建的規則提取器，如LinkExtractor和LxmlLinkExtractor，用於從頁面中提取連結。這些提取器可以根據特定的規則從頁面中提取URL。

　　回撥函式：您可以定義回撥函式來處理從頁面中提取的資訊。這些回撥函式將在頁面被下載並且資訊被提取後被呼叫，您可以在這些函式中對提取的資訊進行處理和儲存。

　　廣度優先爬取：CrawlSpider預設使用廣度優先演演算法來爬取網站，這意味著它會首先爬取當前頁面中的所有連結，然後再逐步深入到其他頁面。

　　連結跟蹤：CrawlSpider會自動跟蹤頁面中的連結，並根據規則提取器提取的連結規則來決定哪些連結應該被跟蹤和爬取。

　　增量式爬取：CrawlSpider支援增量式爬取，它可以檢測已經爬取過的頁面並避免重複爬取，從而提高爬取效率。

　　使用CrawlSpider可以大大簡化爬蟲的開發過程，使得您可以更加專注於提取資訊和處理資料，而不用過多關注爬取的細節。它是一個非常強大且靈活的工具，適用於各種規模和複雜度的網路爬蟲專案。