python爬蟲學習(一)：BeautifulSoup庫基礎及一般元素提取方法

我是冰霜發表於2018-04-05
Python爬蟲

最近在看爬蟲相關的東西，一方面是興趣，另一方面也是借學習爬蟲練習python的使用，推薦一個很好的入門教程：中國大學MOOC的《python網路爬蟲與資訊提取》，是由北京理工的副教授嵩天老師講的，感覺講的很清晰，課件也很詳細。

學習爬蟲，怎麼也繞不開requests庫和BeautifulSoup庫，先說下BeautifulSoup庫：

BeautifulSoup庫通俗來說是【解析、遍歷、維護“標籤樹”(例如html、xml等格式的資料物件)的功能庫 】
一個簡單的使用BeautifulSoup庫的demo：

# coding:utf-8

from bs4 import BeautifulSoup
import requests

url = 'http://python123.io/ws/demo.html'
r = requests.get(url)
demo = r.text  # 伺服器返回響應

soup = BeautifulSoup(demo, "html.parser")
"""
demo 表示被解析的html格式的內容
html.parser表示解析用的解析器
"""
print(soup)  # 輸出響應的html物件
print(soup.prettify())  # 使用prettify()格式化顯示輸出

得到一個BeautifulSoup物件後，一般通過BeautifulSoup類的基本元素來提取html中的內容

2.提取html中的資訊

 demo中的html內容如下：

（1）

print(soup.title)  # 獲取html的title標籤的資訊
print(soup.a)  # 獲取html的a標籤的資訊(soup.a預設獲取第一個a標籤，想獲取全部就用for迴圈去遍歷)
print(soup.a.name)   # 獲取a標籤的名字
print(soup.a.parent.name)   # a標籤的父標籤(上一級標籤)的名字
print(soup.a.parent.parent.name)  # a標籤的父標籤的父標籤的名字

（2）

print('a標籤型別是：', type(soup.a))   # 檢視a標籤的型別
print('第一個a標籤的屬性是：', soup.a.attrs)  # 獲取a標籤的所有屬性(注意到格式是字典)
print('a標籤屬性的型別是：', type(soup.a.attrs))  # 檢視a標籤屬性的型別
print('a標籤的class屬性是：', soup.a.attrs['class'])   # 因為是字典，通過字典的方式獲取a標籤的class屬性
print('a標籤的href屬性是：', soup.a.attrs['href'])   # 同樣，通過字典的方式獲取a標籤的href屬性

（3）

print('第一個a標籤的內容是：', soup.a.string)  # a標籤的非屬性字串資訊，表示尖括號之間的那部分字串
print('a標籤的非屬性字串的型別是：', type(soup.a.string))  # 檢視標籤string字串的型別
print('第一個p標籤的內容是：', soup.p.string)  # p標籤的字串資訊(注意p標籤中還有個b標籤，但是列印string時並未列印b標籤，說明string型別是可跨越多個標籤層次)

介紹一下find_all()方法：

常用通過find_all()方法來查詢標籤元素：<>.find_all(name, attrs, recursive, string, **kwargs) ，返回一個列表型別，儲存查詢的結果 

• name：對標籤名稱的檢索字串
• attrs：對標籤屬性值的檢索字串，可標註屬性檢索
• recursive：是否對子孫全部檢索，預設True
• string：<>…</>中字串區域的檢索字串

（1）

print('所有a標籤的內容：', soup.find_all('a')) # 使用find_all()方法通過標籤名稱查詢a標籤,返回的是一個列表型別
print('a標籤和b標籤的內容：', soup.find_all(['a', 'b']))  # 把a標籤和b標籤作為一個列表傳遞，可以一次找到a標籤和b標籤

（2）

for t in soup.find_all('a'):  # for迴圈遍歷所有a標籤，並把返回列表中的內容賦給t
      print('t的值是：', t)  # link得到的是標籤物件
      print('t的型別是：', type(t))
      print('a標籤中的href屬性是：', t.get('href'))  # 獲取a標籤中的url連結

（3）

for i in soup.find_all(True):  # 如果給出的標籤名稱是True，則找到所有標籤
    print('標籤名稱：', i.name)  # 列印標籤名稱

（4）

print('href屬性為http..的a標籤元素是:', soup.find_all('a', href='http://www.icourse163.org/course/BIT-268001'))  # 標註屬性檢索
print('class屬性為title的標籤元素是：', soup.find_all(class_='title'))  # 指定屬性，查詢class屬性為title的標籤元素，注意因為class是python的關鍵字，所以這裡需要加個下劃線'_'
print('id屬性為link1的標籤元素是：', soup.find_all(id='link1'))  # 查詢id屬性為link1的標籤元素

 （5）

print(soup.head)  # head標籤
print(soup.head.contents)   # head標籤的兒子標籤，contents返回的是列表型別
print(soup.body.contents)   # body標籤的兒子標籤
"""對於一個標籤的兒子節點，不僅包括標籤節點，也包括字串節點，比如返回結果中的 \n"""

（6）

print(len(soup.body.contents))  # 獲得body標籤兒子節點的數量
print(soup.body.contents[1])   # 通過列表索引獲取第一個節點的內容

（7）

print(type(soup.body.children))  # children返回的是一個迭代物件，只能通過for迴圈來使用，不能直接通過索引來讀取其中的內容
for i in soup.body.children:   # 通過for迴圈遍歷body標籤的兒子節點
    print(i.name)   # 列印節點的名字

 

相關文章