原文連結https://www.fkomm.cn/article/2018/7/20/17.html
Beautiful Soup 庫一般被稱為bs4庫，支援Python3，是我們寫爬蟲非常好的第三方庫。因用起來十分的簡便流暢。所以也被人叫做“美味湯”。目前bs4庫的最新版本是4.60。下文會介紹該庫的最基本的使用，具體詳細的細節還是要看：官方文件
bs4庫的安裝
Python的強大之處就在於他作為一個開源的語言，有著許多的開發者為之開發第三方庫，這樣我們開發者在想要實現某一個功能的時候，只要專心實現特定的功能，其他細節與基礎的部分都可以交給庫來做。bs4庫 就是我們寫爬蟲強有力的幫手。
安裝的方式非常簡單：我們用pip工具在命令列裡進行安裝
$ pip install beautifulsoup4
接著我們看一下是否成功安裝了bs4庫
$ pip list
這樣我們就成功安裝了 bs4 庫
bs4庫的簡單使用
這裡我們先簡單的講解一下bs4庫的使用，暫時不去考慮如何從web上抓取網頁，假設我們需要爬取的html是如下這麼一段：
//下面的一段HTML程式碼將作為例子被多次用到.這是 愛麗絲夢遊仙境的 的一段內容(以後內容中簡稱為 愛麗絲 的文件):
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
http://example.com/elsie" class="sister" id="link1">Elsie,
http://example.com/lacie" class="sister" id="link2">Lacie and
http://example.com/tillie" class="sister" id="link3">Tillie;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
</html>
複製程式碼下面我們開始用bs4庫解析這一段html網頁程式碼。
#匯入bs4模組
from bs4 import BeautifulSoup
#做一個美味湯
soup = BeautifulSoup(html，'html.parser')
#輸出結果
print(soup.prettify())
'''
OUT:
# <html>
# <head>
# <title>
# The Dormouse's story
# </title>
# </head>
# <body>
# <p class="title">
# <b>
# The Dormouse's story
# </b>
# </p>
# <p class="story">
# Once upon a time there were three little sisters; and their names were
# <a class="sister" href="http://example.com/elsie" id="link1">
# Elsie
# </a>
# ,
# <a class="sister" href="http://example.com/lacie" id="link2">
# Lacie
# </a>
# and
# <a class="sister" href="http://example.com/tillie" id="link2">
# Tillie
# </a>
# ; and they lived at the bottom of a well.
# </p>
# <p class="story">
# ...
# </p>
# </body>
# </html>
'''
複製程式碼可以看到bs4庫將網頁檔案變成了一個soup的型別，事實上，bs4庫 是解析、遍歷、維護、“標籤樹“的功能庫。
通俗一點說就是： bs4庫把html原始碼重新進行了格式化，從而方便我們對其中的節點、標籤、屬性等進行操作。
下面是幾個簡單的瀏覽結構化資料的方式 ：
請仔細觀察最前面的html檔案
# 找到文件的title
soup.title
# <title>The Dormouse's story</title>
#title的name值
soup.title.name
# u'title'
#title中的字串String
soup.title.string
# u'The Dormouse's story'
#title的父親節點的name屬性
soup.title.parent.name
# u'head'
#文件的第一個找到的段落
soup.p
# <p class="title"><b>The Dormouse's story</b></p>
#找到的p的class屬性值
soup.p['class']
# u'title'
#找到a標籤
soup.a
# http://example.com/elsie" id="link1">Elsie
#找到所有的a標籤
soup.find_all('a')
# [http://example.com/elsie" id="link1">Elsie,
# http://example.com/lacie" id="link2">Lacie,
# http://example.com/tillie" id="link3">Tillie]
#找到id值等於3的a標籤
soup.find(id="link3")
# http://example.com/tillie" id="link3">Tillie
複製程式碼通過上面的例子 我們知道bs4庫是這樣理解一個html原始檔的：
- 首先 把html原始檔轉換為soup型別
- 接著 從中通過特定的方式抓取內容
更高階點的用法？
- 從文件中找到所有標籤的連結:
#發現了沒有，find_all方法返回的是一個可以迭代的列表
for link in soup.find_all('a'):
print(link.get('href'))
# http://example.com/elsie
# http://example.com/lacie
# http://example.com/tillie
複製程式碼- 從文件中獲取所有文字內容:
#我們可以通過get_text 方法 快速得到原始檔中的所有text內容。
print(soup.get_text())
# The Dormouse's story
#
# The Dormouse's story
#
# Once upon a time there were three little sisters; and their names were
# Elsie,
# Lacie and
# Tillie;
# and they lived at the bottom of a well.
#
# ...
複製程式碼bs4庫的入門使用我們就先進行到這。
相關文章和視訊推薦
圓方圓學院彙集 Python + AI 名師，打造精品的 Python + AI 技術課程。 在各大平臺都長期有優質免費公開課，歡迎報名收看。
公開課地址：ke.qq.com/course/3627…
加入python學習討論群 78486745 ，獲取資料，和廣大群友一起學習。