【Python3網路爬蟲開發實戰】5-資料儲存-1 檔案儲存-1 TXT文字儲存

崔慶才丨靜覓發表於2018-03-21
Python爬蟲
用解析器解析出資料之後，接下來就是儲存資料了。儲存的形式可以多種多樣，最簡單的形式是直接儲存為文字檔案，如TXT、JSON、CSV等。另外，還可以儲存到資料庫中，如關係型資料庫MySQL，非關係型資料庫MongoDB、Redis等。

5.1-檔案儲存

檔案儲存形式多種多樣，比如可以儲存成TXT純文字形式，也可以儲存為JSON格式、CSV格式等，本節就來了解一下文字檔案的儲存方式。

將資料儲存到TXT文字的操作非常簡單，而且TXT文字幾乎相容任何平臺，但是這有個缺點，那就是不利於檢索。所以如果對檢索和資料結構要求不高，追求方便第一的話，可以採用TXT文字儲存。本節中，我們就來看下如何利用Python儲存TXT文字檔案。

1. 本節目標

本節中，我們要儲存知乎上“發現”頁面的“熱門話題”部分，將其問題和答案統一儲存成文字形式。

2. 基本例項

首先，可以用requests將網頁原始碼獲取下來，然後使用pyquery解析庫解析，接下來將提取的標題、回答者、回答儲存到文字，程式碼如下：

import requests
from pyquery import PyQuery as pq

url = 'https://www.zhihu.com/explore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc('.explore-tab .feed-item').items()
for item in items:
    question = item.find('h2').text()
    author = item.find('.author-link-line').text()
    answer = pq(item.find('.content').html()).text()
    file = open('explore.txt', 'a', encoding='utf-8')
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
    file.close()
複製程式碼

這裡主要是為了演示檔案儲存的方式，因此requests異常處理部分在此省去。首先，用requests提取知乎的“發現”頁面，然後將熱門話題的問題、回答者、答案全文提取出來，然後利用Python提供的open()方法開啟一個文字檔案，獲取一個檔案操作物件，這裡賦值為file，接著利用file物件的write()方法將提取的內容寫入檔案，最後呼叫close()方法將其關閉，這樣抓取的內容即可成功寫入文字中了。

執行程式，可以發現在本地生成了一個explore.txt檔案，其內容如圖5-1所示。

【Python3網路爬蟲開發實戰】5-資料儲存-1 檔案儲存-1 TXT文字儲存

圖5-1 檔案內容

這樣熱門問答的內容就被儲存成文字形式了。

這裡open()方法的第一個引數即要儲存的目標檔名稱，第二個引數為a，代表以追加方式寫入到文字。另外，我們還指定了檔案的編碼為utf-8。最後，寫入完成後，還需要呼叫close()方法來關閉檔案物件。

3. 開啟方式

在剛才的例項中，open()方法的第二個引數設定成了a，這樣在每次寫入文字時不會清空原始檔，而是在檔案末尾寫入新的內容，這是一種檔案開啟方式。關於檔案的開啟方式，其實還有其他幾種，這裡簡要介紹一下。

  • r：以只讀方式開啟檔案。檔案的指標將會放在檔案的開頭。這是預設模式。
  • rb：以二進位制只讀方式開啟一個檔案。檔案指標將會放在檔案的開頭。
  • r+：以讀寫方式開啟一個檔案。檔案指標將會放在檔案的開頭。
  • rb+：以二進位制讀寫方式開啟一個檔案。檔案指標將會放在檔案的開頭。
  • w：以寫入方式開啟一個檔案。如果該檔案已存在，則將其覆蓋。如果該檔案不存在，則建立新檔案。
  • wb：以二進位制寫入方式開啟一個檔案。如果該檔案已存在，則將其覆蓋。如果該檔案不存在，則建立新檔案。
  • w+：以讀寫方式開啟一個檔案。如果該檔案已存在，則將其覆蓋。如果該檔案不存在，則建立新檔案。
  • wb+：以二進位制讀寫格式開啟一個檔案。如果該檔案已存在，則將其覆蓋。如果該檔案不存在，則建立新檔案。
  • a：以追加方式開啟一個檔案。如果該檔案已存在，檔案指標將會放在檔案結尾。也就是說，新的內容將會被寫入到已有內容之後。如果該檔案不存在，則建立新檔案來寫入。
  • ab：以二進位制追加方式開啟一個檔案。如果該檔案已存在，則檔案指標將會放在檔案結尾。也就是說，新的內容將會被寫入到已有內容之後。如果該檔案不存在，則建立新檔案來寫入。
  • a+：以讀寫方式開啟一個檔案。如果該檔案已存在，檔案指標將會放在檔案的結尾。檔案開啟時會是追加模式。如果該檔案不存在，則建立新檔案來讀寫。
  • ab+：以二進位制追加方式開啟一個檔案。如果該檔案已存在，則檔案指標將會放在檔案結尾。如果該檔案不存在，則建立新檔案用於讀寫。

4. 簡化寫法

另外，檔案寫入還有一種簡寫方法，那就是使用with as語法。在with控制塊結束時，檔案會自動關閉，所以就不需要再呼叫close()方法了。這種儲存方式可以簡寫如下：

with open('explore.txt', 'a', encoding='utf-8') as file:
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
複製程式碼

如果想儲存時將原文清空，那麼可以將第二個引數改寫為w，程式碼如下：

with open('explore.txt', 'w', encoding='utf-8') as file:
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
複製程式碼

上面便是利用Python將結果儲存為TXT檔案的方法，這種方法簡單易用，操作高效，是一種最基本的儲存資料的方法。


本資源首發於崔慶才的個人部落格靜覓： Python3網路爬蟲開發實戰教程 | 靜覓

如想了解更多爬蟲資訊，請關注我的個人微信公眾號：進擊的Coder

weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)


相關文章