Python網路爬蟲四大選擇器（正規表示式、BS4、Xpath、CSS）總結

前幾天小編連續寫了四篇關於Python選擇器的文章，分別用正規表示式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品資訊。今天小編來給大家總結一下這四個選擇器，讓大家更加深刻的理解和熟悉Python選擇器。

一、正規表示式

正規表示式為我們提供了抓取資料的快捷方式。雖然該正規表示式更容易適應未來變化，但又存在難以構造、可讀性差的問題。當在爬京東網的時候，正規表示式如下圖所示：

利用正規表示式實現對目標資訊的精準採集

此外 ，我們都知道，網頁時常會產生變更，導致網頁中會發生一些微小的佈局變化時，此時也會使得之前寫好的正規表示式無法滿足需求，而且還不太好除錯。當需要匹配的內容有很多的時候，使用正規表示式提取目標資訊會導致程式執行的速度減慢，需要消耗更多記憶體。

二、BeautifulSoup

BeautifulSoup是一個非常流行的 Pyhon 模組。該模組可以解析網頁，並提供定位內容的便捷介面。通過'pip install beautifulsoup4'就可以實現該模組的安裝了。

利用美麗的湯去提取目標資訊

使用 BeautifulSoup的第一步是將己下載的 HTML 內容解析為 soup文件。由 於大多 數網 頁都不具備良好的HTML 格式，因此BeautifulSoup需要對實際格式進行確定。BeautifulSoup能夠正確解析缺失的引號並閉合標籤，此外還會新增＜html ＞和＜body＞標籤使其成為完整的HTML文件。通常使用find() 和find_all()方法來定位我們需要的元素。如果你想了解BeautifulSoup全部方法和引數，可以查閱BeautifulSoup的官方文件。雖然BeautifulSoup在程式碼的理解上比正規表示式要複雜一些，但是其更加容易構造和理解。

三、Lxml

Lxml模組使用 C語言編寫，其解析速度比 BeautiflSoup更快，而且其安裝過程也更為複雜，在此小編就不贅述啦。XPath 使用路徑表示式在 XML 文件中選取節點。節點是通過沿著路徑或者 step 來選取的。

Xpath

使用 lxml 模組的第一步和BeautifulSoup一樣，也是將有可能不合法的HTML 解析為 統一格式。 雖然Lxml可以正確解析屬性兩側缺失的引號，並閉合標籤，不過該模組沒有額外新增＜html ＞和＜body＞標籤 。

線上複製Xpath表示式可以很方便的複製Xpath表示式。但是通過該方法得到的Xpath表示式放在程式中一般不能用，而且長的沒法看。所以Xpath表示式一般還是要自己親自上手。

四、CSS

CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網路爬蟲的開發過程中，對於熟悉CSS選擇器語法的人，使用CSS選擇器是個非常方便的方法。

CSS選擇器

下面是一些常用的選擇器示例。

• 選擇所 有標籤： ＊

• 選擇＜a＞標 籤： a

• 選擇所有class＝”link” 的元素： .l in k

• 選擇 class＝”link” 的＜a＞標籤： a.link

• 選擇 id= " home ” 的＜a＞標籤： a Jhome

• 選擇父元素為＜a＞標籤的所有＜ span＞子標籤： a > span

• 選擇＜a＞標籤內部的所有＜span＞標籤： a span

• 選擇title屬性為” Home ” 的所有＜a＞標籤： a [title=Home]

五、效能對比

lxml 和正規表示式模組都是C語言編寫的，而BeautifulSoup則是純Python 編寫的。下表總結了每種抓取方法的優缺點。

需要注意的是。lxml在內部實現中，實際上是將CSS選擇器轉換為等價的Xpath選擇器。

六、總結

如果你的爬蟲瓶頸是下載網頁，而不是抽取資料的話，那麼使用較慢的方法（如BeautifulSoup） 也不成問題。如果只需抓取少量資料，並且想要避免額外依賴的話，那麼正規表示式可能更加適合。不過，通常情況下，l xml是抓取資料的最好選擇，這是因為該方法既快速又健壯，而正規表示式和BeautifulSoup只在某些特定場景下有用。

大家在學python的時候肯定會遇到很多難題，以及對於新技術的追求，這裡推薦一下我們的Python學習扣qun：784758214，這裡是python學習者聚集地！！同時，自己是一名高階python開發工程師，從基礎的python指令碼到web開發、爬蟲、django、資料探勘等，零基礎到專案實戰的資料都有整理。送給每一位python的小夥伴！每日分享一些學習的方法和需要注意的小細節

點選： python技術分享交流

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69913713/viewspace-2648619/，如需轉載，請註明出處，否則將追究法律責任。