python爬蟲之Beautiful Soup基礎知識+例項

Monste發表於2020-08-12
Python爬蟲

python爬蟲之Beautiful Soup基礎知識

Beautiful Soup是一個可以從HTML或XML檔案中提取資料的python庫。它能通過你喜歡的轉換器實現慣用的文件導航，查詢，修改文件的方式。

需要注意的是，Beautiful Soup已經自動將輸入文件轉換為Unicode編碼，輸出文件轉換為utf-8編碼。因此在使用它的時候不需要考慮編碼方式，僅僅需要說明一下原始編碼方式就可以了。

一、安裝Beautiful Soup庫

使用pip命令工具安裝Beautiful Soup4庫

pip install beautifulsoup4

二、BeautifulSoup庫的主要解析器

解析器 使用方法 條件
bs4的html解析器 BeautifulSoup(markup, 'html.parser') 安裝bs4庫
lxml的html解析器 BeautifulSoup(markup, 'lxml') pip install lxml
lxml的lxml解析器 BeautifulSoup(markup, 'lxml') pip install lxml
html5lib的解析器 BeautifulSoup(markup, 'html5lib') pip install html5lib

具體操作：

html = 'https://www.baidu.com'
bs = BeautifulSoup(html, 'html.parser')

三、BeautifulSoup的簡單使用

提取百度搜尋頁面的部分原始碼為例：

<!DOCTYPE html>
<html>
<head>
  <meta content="text/html;charset=utf-8" http-equiv="content-type" />
  <meta content="IE=Edge" http-equiv="X-UA-Compatible" />
  <meta content="always" name="referrer" />
  <link
href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.
css" rel="stylesheet" type="text/css" />
  <title>百度一下，你就知道 </title>
</head>
<body link="#0000cc">
 <div id="wrapper">
  <div id="head">
    <div class="head_wrapper">
     <div id="u1">
      <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新聞
</a>
      <a class="mnav" href="https://www.hao123.com"
name="tj_trhao123">hao123 </a>
      <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地圖 </a>
      <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">視訊 </a>
      <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">貼吧
</a>
      <a class="bri" href="//www.baidu.com/more/" name="tj_briicon"
style="display: block;">更多產品 </a>
     </div>
    </div>
  </div>
 </div>
</body>
</html>

綜合requests和使用BeautifulSoup庫的html解析器,對其進行解析如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text

bs = BeautifulSoup(html, 'html.parser')

print(bs.prettify())    # prettify 方式輸出頁面

結果如下：

<!DOCTYPE html>
<!--STATUS OK-->
<html>
 <head>
  <meta content="text/html;charset=utf-8" http-equiv="content-type"/>
  <meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
  <meta content="always" name="referrer"/>
  <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
  <title>
   百度一下，你就知道
  </title>
 </head>
 <body link="#0000cc">
  <div id="wrapper">
   <div id="head">
    <div class="head_wrapper">
     <div class="s_form">
      <div class="s_form_wrapper">
       <div id="lg">
        <img height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270"/>
       </div>
       <form action="//www.baidu.com/s" class="fm" id="form" name="f">
        <input name="bdorz_come" type="hidden" value="1"/>
        <input name="ie" type="hidden" value="utf-8"/>
        <input name="f" type="hidden" value="8"/>
        <input name="rsv_bp" type="hidden" value="1"/>
        <input name="rsv_idx" type="hidden" value="1"/>
        <input name="tn" type="hidden" value="baidu"/>
        <span class="bg s_ipt_wr">
         <input autocomplete="off" autofocus="autofocus" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/>
        </span>
        <span class="bg s_btn_wr">
         <input autofocus="" class="bg s_btn" id="su" type="submit" value="百度一下"/>
        </span>
       </form>
      </div>
     </div>
     <div id="u1">
      <a class="mnav" href="http://news.baidu.com" name="tj_trnews">
       新聞
      </a>
      <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">
       hao123
      </a>
      <a class="mnav" href="http://map.baidu.com" name="tj_trmap">
       地圖
      </a>
      <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">
       視訊
      </a>
      <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">
       貼吧
      </a>
      <noscript>
       <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">
        登入
       </a>
      </noscript>
      <script>
       document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登入</a>');
      </script>
      <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">
       更多產品
      </a>
     </div>
    </div>
   </div>
   <div id="ftCon">
    <div id="ftConw">
     <p id="lh">
      <a href="http://home.baidu.com">
       關於百度
      </a>
      <a href="http://ir.baidu.com">
       About Baidu
      </a>
     </p>
     <p id="cp">
      ©2017 Baidu
      <a href="http://www.baidu.com/duty/">
       使用百度前必讀
      </a>
      <a class="cp-feedback" href="http://jianyi.baidu.com/">
       意見反饋
      </a>
      京ICP證030173號
      <img src="//www.baidu.com/img/gs.gif"/>
     </p>
    </div>
   </div>
  </div>
 </body>
</html>

四、BeautifulSoup類的基本元素

BeautifulSoup將複製的HTML文件轉換成一個複雜的樹型結構，每個節點都是python物件，所有物件可以歸納為四種Tag，NavigableString，Comment，Beautifulsoup。

基本元素 說明
Tag 標籤，最基本的資訊組織單元，分別用<>和</>標明開頭和結尾，格式：bs.a或者bs.p（獲取a標籤中或者p標籤中的內容）。
Name 標籤的名字，格式為.name.
Attributes 標籤的屬性，字典形式，格式：.attrs.
NavigableString 標籤內非屬性字串，<>...</>中的字串,格式：.string.
Comment 標籤內的註釋部分，一種特殊的Comment型別。

Tag

任何存在於HTML語法中的標籤都可以bs.tag訪問獲得，如果在HTML文件中存在多個相同的tag對應的內容時，bs.tag返回第一個。示例程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')
# 獲取第一個a標籤的所有內容
print(bs.a)	# <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新聞</a>
print(type(bs.a))	# <class 'bs4.element.Tag'>

在Tag標籤中最重要的就是html頁面中的nam和attrs屬性，使用方法如下：

print(bs.a.name)    # a
# 把a標籤的所有屬性列印輸出出來，返回一個字典型別
print(bs.a.attrs)   # {'href': 'http://news.baidu.com', 'name': 'tj_trnews', 'class': ['mnav']}
# 等價 bs.a.get('class')
print(bs.a['class'])    # ['mnav']
bs.a['class'] = 'newClass'  # 對class屬性的值進行修改
print(bs.a) # <a class="newClass" href="http://news.baidu.com" name="tj_trnews">新聞</a>
del bs.a['class']   # 刪除class屬性
print(bs.a) # <a href="http://news.baidu.com" name="tj_trnews">新聞</a>

NavigableString中的string方法用於獲取標籤內部的文字，程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

print(bs.title.string)  # 百度一下，你就知道
print(type(bs.title.string))    # <class 'bs4.element.NavigableString'>

Comment

Comment物件是一個特殊型別的NavigableString物件，其輸出的內容不包括註釋符號，用於輸出註釋的內容。

from bs4 import BeautifulSoup

html = """<a class="mnav" href="http://news.baidu.com" name="tj_trnews"><!--新聞--></a>"""
bs = BeautifulSoup(html, 'html.parser')

print(bs.a.string)  # 新聞
print(type(bs.a.string))    # <class 'bs4.element.Comment'>

BeautifulSoup

bs物件表示的是一個文件的全部內容，大部分時候，可以把它當作Tag物件，支援遍歷文件樹和搜尋文件中描述的大部分方法。

因為Beautifulsoup物件並不是真正的HTML或者XML的tag，所以它沒有name和attribute屬性。所以BeautifulSoup物件一般包含值為"[document]"的特殊屬性.name

print(bs.name)	# [document]

五、基於bs4庫的HTML內容的遍歷方法

在HTML中有如下特定的基本格式，也是構成HTML頁面的基本組成成分。

而在這種基本的格式下有三種基本的遍歷流程

  • 下行遍歷
  • 上行遍歷
  • 平行遍歷

三種遍歷方式分別是從當前節點出發，對之上、之下、平行的格式以及關係進行遍歷。

下行遍歷

下行遍歷分別有三種遍歷屬性，如下所示：

屬性 說明
.contents 子節點的列表，將所有兒子節點存入列表。
.children 子節點的迭代型別，用於迴圈遍歷兒子節點。
.descendants 子孫節點的迭代型別，包涵所有子孫節點，用於迴圈遍歷。

程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

# 迴圈遍歷兒子節點
for child in bs.body.children:
    print(child)

# 迴圈遍歷子孫節點
for child in bs.body.descendants:
    print(child)

# 輸出子節點，以列表的形式
print(bs.head.contents)
print(bs.head.contents[0])  # 用列表索引來獲取它的某一個元素

上行遍歷

上行遍歷有兩種方式，如下所示：

屬性 說明
.parent 節點的父親標籤。
.parents 節點先輩標籤的迭代型別，用於迴圈遍歷先輩節點，返回一個生成器。

程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

for parent in bs.a.parents:
    if parent is not None:
        print(parent.name)

print(bs.a.parent.name)

平行遍歷

平行遍歷有四種屬性，如下所示：

屬性 說明
.next_sibling 返回按照HTML文字順序的下一個平行節點標籤。
.previous_sibling 返回按照HTML文字順序的上一個平行節點標籤。
.next_siblings 迭代型別，返回按照HTML文字順序的所有後續平行節點標籤。
.previous_siblings 迭代型別，返回按照HTML文字順序的前序所有平行節點標籤。

程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

for sibling in bs.a.next_siblings:
    print(sibling)

for sibling in bs.a.previous_siblings:
    print(sibling)

其它遍歷

屬性 說明
.strings 如果Tag包含多個字串，即在子孫節點中有內容，可以用此獲取，然後進行遍歷。
.stripped_strings 與strings用法一致，可以去除掉那些多餘的空白內容。
.has_attr 判斷Tag是否包含屬性。

六、檔案樹搜尋

使用bs.find_all(name, attires, recursive, string, **kwargs)方法，用於返回一個列表型別，儲存查詢的結果。

屬性 說明
name 對標籤的名稱的檢索字串。
attrs 對標籤屬性值的檢索字串，可標註屬性檢索。
recursive 是否對子孫全部檢索，預設為True。
string 用與在資訊文字中特定字串的檢索。

name引數

如果是指定的字串：會查詢與字串完全匹配的內容，程式碼如下：

a_list = bs.find_all("a")
print(a_list)

使用正規表示式：將會使用BeautifulSoup4中的search()方法來匹配，程式碼如下：

import requests
from bs4 import BeautifulSoup
import re

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

t_list = bs.find_all(re.compile("p"))
for item in t_list:
    print(item)

傳入一個列表：Beautifulsoup4將會與列表中的任一元素匹配到的節點返回，程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

t_list = bs.find_all(["meta", "link"])
for item in t_list:
    print(item)

傳入一個函式或方法：將會根據函式或者方法來匹配，程式碼如下：

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')


def name_is_exists(tag):
    return tag.has_attr("name")


t_list = bs.find_all(name_is_exists)
for item in t_list:
    print(item)

attrs引數

並不是所有的屬性都可以使用上面這種方法進行搜尋，比如HTML的data屬性，用與指定屬性搜尋。

import requests
from bs4 import BeautifulSoup

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

t_list = bs.find_all(attrs={"class": "mnav"})


for item in t_list:
    print(item)

string引數

通過string引數可以搜尋文件中的字串內容，與name引數的可選值一樣，string引數接受字串，正規表示式，列表。

import requests
from bs4 import BeautifulSoup
import re

# 使用requests庫載入頁面程式碼
r = requests.get('https://www.baidu.com')
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

t_list = bs.find_all(attrs={"class": "mnav"})
for item in t_list:
    print(item)

# text用於搜尋字串
t_list = bs.find_all(text="hao123")
for item in t_list:
    print(item)

# text可以通其它引數混合使用用來過濾tag
t_list = bs.find_all("a", text=["hao123", "地圖", "貼吧"])
for item in t_list:
    print(item)

t_list = bs.find_all(text=re.compile("\d\d"))
for item in t_list:
    print(item)

使用find_all()方法，常用到的正規表示式形式import re程式碼如下：

bs.find_all(string = re.compile('python'))	# 指定查詢內容

# 或者指定使用正規表示式要搜尋的內容
string = re.compile('python')	# 字元為python
bs.find_all(string)	# 呼叫方法模版

七、常用的find()方法如下

方法 說明
<>find() 搜尋且只返回一個結果，字串型別，同.find_all()引數。
<>find_parent() 在先輩節點中返回一個結果，字串型別，同.find_all()引數。
<>.find_parents() 在先輩節點中搜尋，返回列表型別，同.find_all()引數。
<>.find_next_sibling() 在後續平行節點中返回一個結果，同.find_all()引數。
<>.find_next_siblings() 在後續平行節點中搜尋，返回列表型別，同.find_all()引數。
<>.find_previous_sibling() 在前序平行節點中返回一個結果，字串型別，同.find_all()引數。
<>.find_previous_siblings() 在前序平行節點中搜尋，返回列表型別，同.find_all()引數。

八、爬取京東電腦資料

爬取的例子直接輸出到螢幕。

(1)要爬取京東一頁的電腦商品資訊，下圖所示：

(2)所爬取的網頁連線：https://search.jd.com/search?keyword=macbook pro&qrst=1&suggest=5.def.0.V09&wq=macbook pro

(3)我們的目的是需要獲取京東這一個頁面上所有的電腦資料，包括價格，名稱，ID等。具體程式碼如下：

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
from bs4 import BeautifulSoup

headers = {
        'User-agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                      "Chrome/66.0.3359.139 Safari/537.36"
    }

URL = "https://search.jd.com/search?keyword=macbook%20pro&qrst=1&suggest=5.def.0.V09&wq=macbook%20pro"

r = requests.get(URL, headers=headers)
r.encoding = r.apparent_encoding
html = r.text
bs = BeautifulSoup(html, 'html.parser')

all_items = bs.find_all('li', attrs={"class": "gl-item"})

for item in all_items:
    computer_id = item["data-sku"]
    computer_name = item.find('div', attrs={'class': 'p-name p-name-type-2'})
    computer_price = item.find('div', attrs={'class': 'p-price'})
    print('電腦ID為：' + computer_id)
    print('電腦名稱為：' + computer_name.em.text)
    print('電腦價格為：' + computer_price.find('i').string)
    print('------------------------------------------------------------')

部分結果如下圖所示：

相關文章