Python爬蟲的兩套解析方法和四種爬蟲實現

趙鈺瑩發表於2018-07-03

【本文轉載自微信公眾號資料科學家養成記,作者:louwill,轉載授權請聯絡原作者】 

對於大多數朋友而言,爬蟲絕對是學習
python的最好的起手和入門方式。因為爬蟲思維模式固定,程式設計模式也相對簡單,一般在細節處理上積累一些經驗都可以成功入門。本文想針對某一網頁對python基礎爬蟲的兩大解析庫(BeautifulSouplxml)和幾種資訊提取實現方法進行分析,以開python爬蟲之初見。

基礎爬蟲的固定模式

筆者這裡所談的基礎爬蟲,指的是不需要處理像非同步載入、驗證碼、代理等高階爬蟲技術的爬蟲方法。一般而言,基礎爬蟲的兩大請求庫urllibrequestsrequests通常為大多數人所鍾愛,當然urllib也功能齊全。兩大解析庫BeautifulSoup因其強大的HTML文件解析功能而備受青睞,另一款解析庫lxml在搭配xpath表示式的基礎上也效率提高。就基礎爬蟲來說,兩大請求庫和兩大解析庫的組合方式可以依個人偏好來選擇。


筆者喜歡用的爬蟲組合工具是:

  • requests+BeautifulSoup

  • requests+lxml


同一網頁爬蟲的四種實現方式

    筆者以騰訊新聞首頁的新聞資訊抓取為例。
    首頁外觀如下:


比如說我們想抓取每個新聞的標題和連結,並將其組合為一個字典的結構列印出來。首先檢視HTML原始碼確定新聞標題資訊組織形式。


可以目標資訊存在於em標籤下a標籤內的文字和href屬性中。可直接利用requests庫構造請求,並用BeautifulSoup或者lxml進行解析。

  • 方式一:requests+BeautifulSoup+select css選擇器

# select method import requests from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/' Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.select('em[class="f14 l24"] a') for i in em:
    title = i.get_text()
    link = i['href']
    print({'標題': title, 
           '連結': link
    })

 很常規的處理方式,抓取效果如下:


  • 方式二:requests+BeautifulSoup+find_all進行資訊提取

# find_all method import requests from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/' Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
    title = i.a.get_text()
    link = i.a['href']
    print({'標題': title,            '連結': link
    })

同樣是requests+BeautifulSoup的爬蟲組合,但在資訊提取上採用了find_all的方式。效果如下:


  • 方式三:requests+lxml/etree+xpath表示式

# lxml/etree method import requests from lxml import etree

headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/' html = requests.get(url = url, headers = headers)
con = etree.HTML(html.text)

title = con.xpath('//em[@class="f14 l24"]/a/text()')
link = con.xpath('//em[@class="f14 l24"]/a/@href') for i in zip(title, link):
    print({'標題': i[0],
           '連結': i[1]
    })

使用lxml庫下的etree模組進行解析,然後使用xpath表示式進行資訊提取,效率要略高於BeautifulSoup+select方法。這裡對兩個列表的組合採用了zip方法。效果如下:


  • 方式四:requests+lxml/html/fromstring+xpath表示式

# lxml/html/fromstring method import requests import lxml.html as HTML

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
url = 'http://news.qq.com/' con = HTML.fromstring(requests.get(url = url, headers = headers).text)
title = con.xpath('//em[@class="f14 l24"]/a/text()')
link = con.xpath('//em[@class="f14 l24"]/a/@href') for i in zip(title, link):
    print({'標題': i[0],'連結': i[1]
    })

跟方法三類似,只是在解析上使用了lxml庫下的html.fromstring模組。抓取效果如下:


很多人覺得爬蟲有點難以掌握,因為知識點太多,需要懂前端、需要python熟練、還需要懂資料庫,更不用說正規表示式、XPath表示式這些。其實對於一個簡單網頁的資料抓取,不妨多嘗試幾種抓取方案,舉一反三,也更能對python爬蟲有較深的理解。長此以往,對於各類網頁結構都有所涉獵,自然經驗豐富,水到渠成。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31077337/viewspace-2157261/,如需轉載,請註明出處,否則將追究法律責任。

相關文章