【Python3網路爬蟲開發實戰】5-資料儲存-3-非關係型資料庫儲存-1 MongoDB儲存

崔慶才丨靜覓發表於2019-01-16
Python爬蟲資料庫MongoDB

NoSQL，全稱Not Only SQL，意為不僅僅是SQL，泛指非關係型資料庫。NoSQL是基於鍵值對的，而且不需要經過SQL層的解析，資料之間沒有耦合性，效能非常高。

非關係型資料庫又可細分如下。

  • 鍵值儲存資料庫：代表有Redis、Voldemort和Oracle BDB等。
  • 列儲存資料庫：代表有Cassandra、HBase和Riak等。
  • 文件型資料庫：代表有CouchDB和MongoDB等。
  • 圖形資料庫：代表有Neo4J、InfoGrid和Infinite Graph等。

對於爬蟲的資料儲存來說，一條資料可能存在某些欄位提取失敗而缺失的情況，而且資料可能隨時調整。另外，資料之間還存在巢狀關係。如果使用關係型資料庫儲存，一是需要提前建表，二是如果存在資料巢狀關係的話，需要進行序列化操作才可以儲存，這非常不方便。如果用了非關係型資料庫，就可以避免一些麻煩，更簡單高效。

本節中，我們主要介紹MongoDB和Redis的資料儲存操作。

MongoDB是由C++語言編寫的非關係型資料庫，是一個基於分散式檔案儲存的開源資料庫系統，其內容儲存形式類似JSON物件，它的欄位值可以包含其他文件、陣列及文件陣列，非常靈活。在這一節中，我們就來看看Python 3下MongoDB的儲存操作。

1. 準備工作

在開始之前，請確保已經安裝好了MongoDB並啟動了其服務，並且安裝好了Python的PyMongo庫。如果沒有安裝，可以參考第1章。

2. 連線MongoDB

連線MongoDB時，我們需要使用PyMongo庫裡面的MongoClient。一般來說，傳入MongoDB的IP及埠即可，其中第一個引數為地址host，第二個引數為埠port（如果不給它傳遞引數，預設是27017）：

1
2
import pymongo
client = pymongo.MongoClient(host=`localhost`, port=27017)

這樣就可以建立MongoDB的連線物件了。

另外，MongoClient的第一個引數host還可以直接傳入MongoDB的連線字串，它以mongodb開頭，例如：

1
client = MongoClient(`mongodb://localhost:27017/`)

這也可以達到同樣的連線效果。

3. 指定資料庫

MongoDB中可以建立多個資料庫，接下來我們需要指定操作哪個資料庫。這裡我們以test資料庫為例來說明，下一步需要在程式中指定要使用的資料庫：

1
db = client.test

這裡呼叫client的test屬性即可返回test資料庫。當然，我們也可以這樣指定：

1
db = client[`test`]

這兩種方式是等價的。

4. 指定集合

MongoDB的每個資料庫又包含許多集合（collection），它們類似於關係型資料庫中的表。

下一步需要指定要操作的集合，這裡指定一個集合名稱為students。與指定資料庫類似，指定集合也有兩種方式：

1
collection = db.students
1
collection = db[`students`]

這樣我們便宣告瞭一個Collection物件。

5. 插入資料

接下來，便可以插入資料了。對於students這個集合，新建一條學生資料，這條資料以字典形式表示：

123456student = {    `id`: `20170101`,    `name`: `Jordan`,    `age`: 20,    `gender`: `male`}複製程式碼

這裡指定了學生的學號、姓名、年齡和性別。接下來，直接呼叫collection的insert()方法即可插入資料，程式碼如下：

result = collection.insert(student)
print(result)

在MongoDB中，每條資料其實都有一個_id屬性來唯一標識。如果沒有顯式指明該屬性，MongoDB會自動產生一個ObjectId型別的_id屬性。insert()方法會在執行後返回_id值。

執行結果如下：

1
5932a68615c2606814c91f3d

當然，我們也可以同時插入多條資料，只需要以列表形式傳遞即可，示例如下：

student1 = {    `id`: `20170101`,    `name`: `Jordan`,    `age`: 20,    `gender`: `male`} student2 = {    `id`: `20170202`,    `name`: `Mike`,    `age`: 21,    `gender`: `male`} result = collection.insert([student1, student2])print(result)複製程式碼

返回結果是對應的_id的集合：

1
[ObjectId(`5932a80115c2606a59e8a048`), ObjectId(`5932a80115c2606a59e8a049`)]

實際上，在PyMongo 3.x版本中，官方已經不推薦使用insert()方法了。當然，繼續使用也沒有什麼問題。官方推薦使用insert_one()和insert_many()方法來分別插入單條記錄和多條記錄，示例如下：

student = {    `id`: `20170101`,    `name`: `Jordan`,    `age`: 20,    `gender`: `male`} result = collection.insert_one(student)print(result)print(result.inserted_id)複製程式碼

執行結果如下：

1
2
<pymongo.results.InsertOneResult object at 0x10d68b558>
5932ab0f15c2606f0c1cf6c5

與insert()方法不同，這次返回的是InsertOneResult物件，我們可以呼叫其inserted_id屬性獲取_id。

對於insert_many()方法，我們可以將資料以列表形式傳遞，示例如下：

student1 = {    `id`: `20170101`,    `name`: `Jordan`,    `age`: 20,    `gender`: `male`} student2 = {    `id`: `20170202`,    `name`: `Mike`,    `age`: 21,    `gender`: `male`} result = collection.insert_many([student1, student2])print(result)print(result.inserted_ids)複製程式碼

執行結果如下：

1
2
<pymongo.results.InsertManyResult object at 0x101dea558>
[ObjectId(`5932abf415c2607083d3b2ac`), ObjectId(`5932abf415c2607083d3b2ad`)]

該方法返回的型別是InsertManyResult，呼叫inserted_ids屬性可以獲取插入資料的_id列表。

6. 查詢

插入資料後，我們可以利用find_one()或find()方法進行查詢，其中find_one()查詢得到的是單個結果，find()則返回一個生成器物件。示例如下：

1
2
3
result = collection.find_one({`name`: `Mike`})
print(type(result))
print(result)

這裡我們查詢name為Mike的資料，它的返回結果是字典型別，執行結果如下：

1
2
<class `dict`>
{`_id`: ObjectId(`5932a80115c2606a59e8a049`), `id`: `20170202`, `name`: `Mike`, `age`: 21, `gender`: `male`}

可以發現，它多了_id屬性，這就是MongoDB在插入過程中自動新增的。

此外，我們也可以根據ObjectId來查詢，此時需要使用bson庫裡面的objectid：

1
2
3
4
from bson.objectid import ObjectId
result = collection.find_one({`_id`: ObjectId(`593278c115c2602667ec6bae`)})
print(result)

其查詢結果依然是字典型別，具體如下：

1
{`_id`: ObjectId(`593278c115c2602667ec6bae`), `id`: `20170101`, `name`: `Jordan`, `age`: 20, `gender`: `male`}

當然，如果查詢結果不存在，則會返回None。

對於多條資料的查詢，我們可以使用find()方法。例如，這裡查詢年齡為20的資料，示例如下：

1
2
3
4
results = collection.find({`age`: 20})
print(results)
for result in results:
print(result)

執行結果如下：


1234<pymongo.cursor.Cursor object at 0x1032d5128>{`_id`: ObjectId(`593278c115c2602667ec6bae`), `id`: `20170101`, `name`: `Jordan`, `age`: 20, `gender`: `male`}{`_id`: ObjectId(`593278c815c2602678bb2b8d`), `id`: `20170102`, `name`: `Kevin`, `age`: 20, `gender`: `male`}{`_id`: ObjectId(`593278d815c260269d7645a8`), `id`: `20170103`, `name`: `Harden`, `age`: 20, `gender`: `male`}複製程式碼

返回結果是Cursor型別，它相當於一個生成器，我們需要遍歷取到所有的結果，其中每個結果都是字典型別。

如果要查詢年齡大於20的資料，則寫法如下：

1
results = collection.find({`age`: {`$gt`: 20}})

這裡查詢的條件鍵值已經不是單純的數字了，而是一個字典，其鍵名為比較符號$gt，意思是大於，鍵值為20。

這裡將比較符號歸納為表5-3。

表5-3 比較符號

符號

含義

示例

$lt

小於

{`age`: {`$lt`: 20}}

$gt

大於

{`age`: {`$gt`: 20}}

$lte

小於等於

{`age`: {`$lte`: 20}}

$gte

大於等於

{`age`: {`$gte`: 20}}

$ne

不等於

{`age`: {`$ne`: 20}}

$in

在範圍內

{`age`: {`$in`: [20, 23]}}

$nin

不在範圍內

{`age`: {`$nin`: [20, 23]}}

另外，還可以進行正則匹配查詢。例如，查詢名字以M開頭的學生資料，示例如下：

1
results = collection.find({`name`: {`$regex`: `^M.*`}})

這裡使用$regex來指定正則匹配，^M.*代表以M開頭的正規表示式。

這裡將一些功能符號再歸類為表5-4。

表5-4 功能符號

符號

含義

示例

示例含義

$regex

匹配正規表示式

{`name`: {`$regex`: `^M.*`}}

name以M開頭

$exists

屬性是否存在

{`name`: {`$exists`: True}}

name屬性存在

$type

型別判斷

{`age`: {`$type`: `int`}}

age的型別為int

$mod

數字模操作

{`age`: {`$mod`: [5, 0]}}

年齡模5餘0

$text

文字查詢

{`$text`: {`$search`: `Mike`}}

text型別的屬性中包含Mike字串

$where

高階條件查詢

{`$where`: `obj.fans_count == obj.follows_count`}

自身粉絲數等於關注數

關於這些操作的更詳細用法，可以在MongoDB官方文件找到：docs.mongodb.com/manual/refe…。

7. 計數

要統計查詢結果有多少條資料，可以呼叫count()方法。比如，統計所有資料條數：

1
2
count = collection.find().count()
print(count)

或者統計符合某個條件的資料：

1
2
count = collection.find({`age`: 20}).count()
print(count)

執行結果是一個數值，即符合條件的資料條數。

8. 排序

排序時，直接呼叫sort()方法，並在其中傳入排序的欄位及升降序標誌即可。示例如下：

1
2
results = collection.find().sort(`name`, pymongo.ASCENDING)
print([result[`name`] for result in results])

執行結果如下：

1
[`Harden`, `Jordan`, `Kevin`, `Mark`, `Mike`]

這裡我們呼叫pymongo.ASCENDING指定升序。如果要降序排列，可以傳入pymongo.DESCENDING。

9. 偏移

在某些情況下，我們可能想只取某幾個元素，這時可以利用skip()方法偏移幾個位置，比如偏移2，就忽略前兩個元素，得到第三個及以後的元素：

1
2
results = collection.find().sort(`name`, pymongo.ASCENDING).skip(2)
print([result[`name`] for result in results])

執行結果如下：

1
[`Kevin`, `Mark`, `Mike`]

另外，還可以用limit()方法指定要取的結果個數，示例如下：

1
2
results = collection.find().sort(`name`, pymongo.ASCENDING).skip(2).limit(2)
print([result[`name`] for result in results])

執行結果如下：

1
[`Kevin`, `Mark`]

如果不使用limit()方法，原本會返回三個結果，加了限制後，會擷取兩個結果返回。

值得注意的是，在資料庫數量非常龐大的時候，如千萬、億級別，最好不要使用大的偏移量來查詢資料，因為這樣很可能導致記憶體溢位。此時可以使用類似如下操作來查詢：

1
2
from bson.objectid import ObjectId
collection.find({`_id`: {`$gt`: ObjectId(`593278c815c2602678bb2b8d`)}})

這時需要記錄好上次查詢的_id。

10. 更新

對於資料更新，我們可以使用update()方法，指定更新的條件和更新後的資料即可。例如：

1
2
3
4
5
condition = {`name`: `Kevin`}
student = collection.find_one(condition)
student[`age`] = 25
result = collection.update(condition, student)
print(result)

這裡我們要更新name為Kevin的資料的年齡：首先指定查詢條件，然後將資料查詢出來，修改年齡後呼叫update()方法將原條件和修改後的資料傳入。

執行結果如下：

1
{`ok`: 1, `nModified`: 1, `n`: 1, `updatedExisting`: True}

返回結果是字典形式，ok代表執行成功，nModified代表影響的資料條數。

另外，我們也可以使用$set操作符對資料進行更新，程式碼如下：

1
result = collection.update(condition, {`$set`: student})

這樣可以只更新student字典記憶體在的欄位。如果原先還有其他欄位，則不會更新，也不會刪除。而如果不用$set的話，則會把之前的資料全部用student字典替換；如果原本存在其他欄位，則會被刪除。

另外，update()方法其實也是官方不推薦使用的方法。這裡也分為update_one()方法和update_many()方法，用法更加嚴格，它們的第二個引數需要使用$型別操作符作為字典的鍵名，示例如下：

1
2
3
4
5
6
condition = {`name`: `Kevin`}
student = collection.find_one(condition)
student[`age`] = 26
result = collection.update_one(condition, {`$set`: student})
print(result)
print(result.matched_count, result.modified_count)

這裡呼叫了update_one()方法，第二個引數不能再直接傳入修改後的字典，而是需要使用{`$set`: student}這樣的形式，其返回結果是UpdateResult型別。然後分別呼叫matched_count和modified_count屬性，可以獲得匹配的資料條數和影響的資料條數。

執行結果如下：

1
2
<pymongo.results.UpdateResult object at 0x10d17b678>
1 0

我們再看一個例子：

1
2
3
4
condition = {`age`: {`$gt`: 20}}
result = collection.update_one(condition, {`$inc`: {`age`: 1}})
print(result)
print(result.matched_count, result.modified_count)

這裡指定查詢條件為年齡大於20，然後更新條件為{`$inc`: {`age`: 1}}，也就是年齡加1，執行之後會將第一條符合條件的資料年齡加1。

執行結果如下：

1
2
<pymongo.results.UpdateResult object at 0x10b8874c8>
1 1

可以看到匹配條數為1條，影響條數也為1條。

如果呼叫update_many()方法，則會將所有符合條件的資料都更新，示例如下：

1
2
3
4
condition = {`age`: {`$gt`: 20}}
result = collection.update_many(condition, {`$inc`: {`age`: 1}})
print(result)
print(result.matched_count, result.modified_count)

這時匹配條數就不再為1條了，執行結果如下：

1
2
<pymongo.results.UpdateResult object at 0x10c6384c8>
3 3

可以看到，這時所有匹配到的資料都會被更新。

11. 刪除

刪除操作比較簡單，直接呼叫remove()方法指定刪除的條件即可，此時符合條件的所有資料均會被刪除。示例如下：

1
2
result = collection.remove({`name`: `Kevin`})
print(result)

執行結果如下：

1
{`ok`: 1, `n`: 1}

另外，這裡依然存在兩個新的推薦方法——delete_one()和delete_many()。示例如下：

1
2
3
4
5
result = collection.delete_one({`name`: `Kevin`})
print(result)
print(result.deleted_count)
result = collection.delete_many({`age`: {`$lt`: 25}})
print(result.deleted_count)

執行結果如下：

1
2
3
<pymongo.results.DeleteResult object at 0x10e6ba4c8>
1
4

delete_one()即刪除第一條符合條件的資料，delete_many()即刪除所有符合條件的資料。它們的返回結果都是DeleteResult型別，可以呼叫deleted_count屬性獲取刪除的資料條數。

12. 其他操作

另外，PyMongo還提供了一些組合方法，如find_one_and_delete()、find_one_and_replace()和find_one_and_update()，它們是查詢後刪除、替換和更新操作，其用法與上述方法基本一致。

另外，還可以對索引進行操作，相關方法有create_index()、create_indexes()和drop_index()等。

關於PyMongo的詳細用法，可以參見官方文件：api.mongodb.com/python/curr…。

另外，還有對資料庫和集合本身等的一些操作，這裡不再一一講解，可以參見官方文件：api.mongodb.com/python/curr…。

本節講解了使用PyMongo操作MongoDB進行資料增刪改查的方法，後面我們會在實戰案例中應用這些操作進行資料儲存。

相關文章