爬蟲學習筆記：練習爬取多頁天涯帖子

zengdamo發表於2019-02-16
爬蟲筆記

今天練習了抓取多頁天涯帖子，重點複習的知識包括

  1. soup.find_all和soup.selcet兩個篩選方式對應不同的引數；
  2. 希望將獲取到的多個內容組合在一起返回的時候，要用`zip()`的程式碼來實現；
  3. 兩層程式碼結構之間的關係如何構造；

這裡有一個疑問：有時候一個標籤可以有多個屬性，不知道soup.find_all()能不能接受不止一個屬性以縮小查詢的範圍。

# 引入庫和請求標頭檔案
import requests
from bs4 import BeautifulSoup
headers = {
    `User-Agent`:`Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36`
}

# 定義主體函式。函式主體由四部分組成：
#1.請求網址
#2.解析網頁，形成可查詢的html格式
#3.通過soup.select或者sopu.find_all查詢需要的標籤
#4.通過zip()程式碼將多個內容合併在一起

def get_content(url):
    res = requests.get(url,headers = headers)
    res.encoding = `utf-8`
    soup = BeautifulSoup(res.text,`html.parser`)
    contents = soup.find_all(`div`,`bbs-content`)
    authors = soup.find_all(`a`,`js-vip-check`)
    for author,content in zip(authors,contents):
        data = {
        `author`:author.get_text().strip(),
        `content`: content.get_text().strip()
    }
        print(data)
# 在這裡構造一個兩層連結結構：帖子的1、2、3、4頁和帖子的詳情頁的關係在這裡實現
if __name__ == `__main__`:
    urls = [`http://bbs.tianya.cn/post-develop-2271894-{}.shtml`.format(str(i))  for i in range (1,5)] # 要注意，這裡的‘5’是不包括在範圍裡的
    for url in urls:
        get_content(url)

相關文章