MongoDB文件儲存

JJJhr發表於2024-06-13
MongoDB

非關係型資料庫儲存

　　NoSQL，全稱 Not Only SQL，意為不僅僅是 SQL，泛指非關係型資料庫。NoSQL 是基於鍵值對的，而且不需要經過 SQL 層的解析，資料之間沒有耦合性，效能非常高。

非關係型資料庫又可細分如下。

  • 鍵值儲存資料庫：代表有 Redis、Voldemort 和 Oracle BDB 等。
  • 列儲存資料庫：代表有 Cassandra、HBase 和 Riak 等。
  • 文件型資料庫：代表有 CouchDB 和 MongoDB 等。
  • 圖形資料庫：代表有 Neo4J、InfoGrid 和 Infinite Graph 等。

　　對於爬蟲的資料儲存來說，一條資料可能存在某些欄位提取失敗而缺失的情況，而且資料可能隨時調整。另外，資料之間還存在巢狀關係。如果使用關係型資料庫儲存，一是需要提前建表，二是如果存在資料巢狀關係的話，需要進行序列化操作才可以儲存，這非常不方便。如果用了非關係型資料庫，就可以避免一些麻煩，更簡單高效。

　　MongoDB 是由 C++ 語言編寫的非關係型資料庫，是一個基於分散式檔案儲存的開源資料庫系統，其內容儲存形式類似 JSON 物件，它的欄位值可以包含其他文件、陣列及文件陣列，非常靈活。

準備工作

　　開始之前，確保已經安裝好了 MongoDB 並啟動了其服務，並且安裝好了 Python 的 PyMongo 庫。

pip3 install pymongo

連線 MongoDB

　　連線 MongoDB 時，需要使用 PyMongo 庫裡面的 MongoClient。一般來說，傳入 MongoDB 的 IP 及埠即可，其中第一個引數為地址 host，第二個引數為埠 port（如果不給它傳遞引數，預設是 27017）：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

這樣就可以建立 MongoDB 的連線物件了。

　　MongoClient 的第一個引數 host 還可以直接傳入 MongoDB 的連線字串，它以 mongodb 開頭，例如：

client = MongoClient('mongodb://localhost:27017/')

也可以達到同樣的連線效果。

指定資料庫

　　在MongoDB 中可以建立多個資料庫。以 test 資料庫為例來說明，下一步需要在程式中指定要使用的資料庫：

db = client.test

這裡呼叫 client 的 test 屬性即可返回 test 資料庫。當然，我們也可以這樣指定：

db = client['test']

這兩種方式是等價的。

指定集合

　　MongoDB 的每個資料庫又包含許多集合（collection），它們類似於關係型資料庫中的表。

　　下一步需要指定要操作的集合，這裡指定一個集合名稱為 students。與指定資料庫類似，指定集合也有兩種方式：

collection = db.students
collection = db['students']

這樣便宣告瞭一個 Collection 物件。

插入資料

　　接下來，便可以插入資料了。對於 students 這個集合，新建一條學生資料，這條資料以字典形式表示：

student = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}

　　這裡指定了學生的學號、姓名、年齡和性別。接下來，直接呼叫 collection 的 insert 方法即可插入資料，程式碼如下：

result = collection.insert(student)
# pymongo==3.9及以下collection生效
print(result)

　　在 MongoDB 中，每條資料其實都有一個_id 屬性來唯一標識。如果沒有顯式指明該屬性，MongoDB 會自動產生一個 ObjectId 型別的_id 屬性。insert() 方法會在執行後返回_id 值。

執行結果如下：

6669952f21c188a3853476e6

當然，我們也可以同時插入多條資料，只需要以列表形式傳遞即可，示例如下：

student1 = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}

student2 = {
    'id': '20170202',
    'name': 'Mike',
    'age': 21,
    'gender': 'male'
}


result = collection.insert([student1, student2])
print(result)

返回結果是對應的_id 的集合：

DeprecationWarning: insert is deprecated. Use insert_one or insert_many instead.
  result = collection.insert([student1, student2])
[ObjectId('6669abfc9aac181a724098c6'), ObjectId('6669abfc9aac181a724098c7')]

　　在 PyMongo 3.x 版本中，官方已經不推薦使用 insert() 方法了。當然，繼續使用也沒有什麼問題。官方推薦使用 insert_one() 和 insert_many() 方法來分別插入單條記錄和多條記錄：

student = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}


result = collection.insert_one(student)
print(result)
print(result.inserted_id)

執行結果如下：

<pymongo.results.InsertOneResult object at 0x000001FBDFD52B80>
6669ad6bda2d4c31ff51ae24

　　與 insert() 方法不同，這次返回的是 InsertOneResult 物件，可以呼叫其 inserted_id 屬性獲取_id。

對於 insert_many() 方法，我們可以將資料以列表形式傳遞，示例如下：

student1 = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}

student2 = {
    'id': '20170202',
    'name': 'Mike',
    'age': 21,
    'gender': 'male'
}

result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

執行結果：

<pymongo.results.InsertManyResult object at 0x0000022B32E20440>
[ObjectId('6669ae62f8eee71791d56b5b'), ObjectId('6669ae62f8eee71791d56b5c')]

　　該方法返回的型別是 InsertManyResult，呼叫 inserted_ids 屬性可以獲取插入資料的_id 列表。

查詢

　　插入資料後，可以利用 find_one() 或 find() 方法進行查詢，其中 find_one() 查詢得到的是單個結果，find() 則返回一個生成器物件。示例如下：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)
db = client.test
collection = db.students

result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)

　　查詢 name 為 Mike 的資料，它的返回結果是字典型別，執行結果如下：

<class 'dict'>
{'_id': ObjectId('6669abfc9aac181a724098c7'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

　　可以發現，多了_id 屬性，這就是 MongoDB 在插入過程中自動新增的。

　　也可以根據 ObjectId 來查詢，此時需要使用 bson 庫裡面的 objectid：

from bson.objectid import ObjectId

result = collection.find_one({'_id': ObjectId('6669abfc9aac181a724098c7')})
print(result)

　　查詢結果依然是字典型別，具體如下：

{'_id': ObjectId('6669abfc9aac181a724098c7'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

　　如果查詢結果不存在，則會返回 None。

　　對於多條資料的查詢，可以使用 find() 方法。例如，這裡查詢年齡為 20 的資料，示例如下：

results = collection.find({'age': 20})
print(results)
for result in results:
    print(result)

執行結果如下：

<pymongo.cursor.Cursor object at 0x000001360A251290>
{'_id': ObjectId('6669952f21c188a3853476e6'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6669aa608a7a1ca573f50a57'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6669ab12aa8d37494f2fa065'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6669ab189941351aa1f09d6a'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6669abc09d79850f07ba8e35'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('6669abfc9aac181a724098c6'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

　　返回結果是 Cursor 型別，它相當於一個生成器，需要遍歷取到所有的結果，其中每個結果都是字典型別。

如果要查詢年齡大於 20 的資料，則寫法如下：

results = collection.find({'age': {'$gt': 20}})

　　這裡查詢的條件鍵值已經不是單純的數字了，而是一個字典，其鍵名為比較符號 $gt，意思是大於，鍵值為 20。比較符號表如下：

符　　號含　　義示　　例
$lt 小於 {'age': {'$lt': 20}}
$gt 大於 {'age': {'$gt': 20}}
$lte 小於等於 {'age': {'$lte': 20}}
$gte 大於等於 {'age': {'$gte': 20}}
$ne 不等於 {'age': {'$ne': 20}}
$in 在範圍內 {'age': {'$in': [20, 23]}}
$nin 不在範圍內 {'age': {'$nin': [20, 23]}}

　　還可以進行正則匹配查詢。例如，查詢名字以 M 開頭的學生資料，示例如下：

results = collection.find({'name': {'$regex': '^M.*'}})

　　使用 $regex 來指定正則匹配，^M.* 代表以 M 開頭的正規表示式。

這裡將一些功能符號再歸類為表 5-4。

表 5-4　功能符號

符　　號含　　義示　　例示例含義
$regex 匹配正規表示式 {'name': {'$regex': '^M.*'}} name 以 M 開頭
$exists 屬性是否存在 {'name': {'$exists': True}} name 屬性存在
$type 型別判斷 {'age': {'$type': 'int'}} age 的型別為 int
$mod 數字模操作 {'age': {'$mod': [5, 0]}} 年齡模 5 餘 0
$text 文字查詢 {'$text': {'$search': 'Mike'}} text 型別的屬性中包含 Mike 字串
$where 高階條件查詢 {'$where': 'obj.fans_count == obj.follows_count'} 自身粉絲數等於關注數

　　這些操作的更詳細用法，可以在 MongoDB 官方文件找到： https://docs.mongodb.com/manual/reference/operator/query/。

計數

要統計查詢結果有多少條資料，可以呼叫 count() 方法。比如，統計所有資料條數：

count = collection.find().count()
print(count)

或者統計符合某個條件的資料：

count = collection.find({'age': 20}).count()
print(count)

執行結果是一個數值，即符合條件的資料條數。

排序

排序時，直接呼叫 sort() 方法，並在其中傳入排序的欄位及升降序標誌即可。示例如下：

results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

執行結果：

['Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike']

　　這裡呼叫 pymongo.ASCENDING 指定升序。如果要降序排列，可以傳入 pymongo.DESCENDING。

偏移

　　在某些情況下，可能想只取某幾個元素，這時可以利用 skip() 方法偏移幾個位置，比如偏移 2，就忽略前兩個元素，得到第三個及以後的元素：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

執行結果：

['Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike']

　　還可以用 limit() 方法指定要取的結果個數，示例如下：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])

執行結果：

['Jordan', 'Jordan']

　　如果不使用 limit() 方法，原本會返回所有結果，加了限制後，會擷取兩個結果返回。

值得注意的是，在資料庫數量非常龐大的時候，如千萬、億級別，最好不要使用大的偏移量來查詢資料，因為這樣很可能導致記憶體溢位。此時可以使用類似如下操作來查詢：

from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('6669ab189941351aa1f09d6a')}})

這時需要記錄好上次查詢的_id。

更新

對於資料更新，可以使用 update() 方法，指定更新的條件和更新後的資料即可。例如：

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update(condition, student)
print(result)

　　這裡要更新 name 為 Kevin 的資料的年齡：首先指定查詢條件，然後將資料查詢出來，修改年齡後呼叫 update() 方法將原條件和修改後的資料傳入。

執行結果：

DeprecationWarning: update is deprecated. Use replace_one, update_one or update_many instead.
  result = collection.update(condition, student)

　　返回結果是字典形式，ok 代表執行成功，nModified 代表影響的資料條數。

　　可以使用 $set 運算子對資料進行更新，程式碼如下：

result = collection.update(condition, {'$set': student})

　　這樣可以只更新 student 字典記憶體在的欄位。如果原先還有其他欄位，則不會更新，也不會刪除。而如果不用 $set 的話，則會把之前的資料全部用 student 字典替換；如果原本存在其他欄位，則會被刪除。

　　update() 方法其實也是官方不推薦使用的方法。這裡也分為 update_one() 方法和 update_many() 方法，用法更加嚴格，它們的第二個引數需要使用 $ 型別運算子作為字典的鍵名，示例如下：

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

　　呼叫 update_one() 方法，第二個引數不能再直接傳入修改後的字典，而是需要使用 {'$set': student} 這樣的形式。然後分別呼叫 matched_count 和 modified_count 屬性，可以獲得匹配的資料條數和影響的資料條數。

執行結果如下：

<pymongo.results.UpdateResult object at 0x0000019021471B80>
1 1

　　可以發現 update_one() 方法其返回結果是 UpdateResult 型別。

再看一個例子：

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

　　這裡指定查詢條件為年齡大於 20，然後更新條件為 {'$inc': {'age': 1}}，也就是年齡加 1，執行之後會將第一條符合條件的資料年齡加 1。

執行結果如下：

<pymongo.results.UpdateResult object at 0x000002DD9D2DDD00>
1 1

　　可以看到匹配條數為 1 條，影響條數也為 1 條。

　　如果呼叫 update_many() 方法，則會將所有符合條件的資料都更新，示例如下：

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

　　這時匹配條數就不再為 1 條了，執行結果如下：

<pymongo.results.UpdateResult object at 0x000002DD9D2DDD00>
1 1

　　這時所有匹配到的資料都會被更新。（資料庫中只有一條符合條件的資料）

刪除

　　刪除操作比較簡單，直接呼叫 remove() 方法指定刪除的條件即可，此時符合條件的所有資料均會被刪除。示例如下：

result = collection.remove({'name': 'Kevin'})
print(result)

執行結果：

{'n': 1, 'ok': 1.0}

　　這裡依然存在兩個新的推薦方法 ——delete_one() 和 delete_many()。示例如下：

result = collection.delete_one({'name': 'Jordan'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 20}})
print(result.deleted_count)

執行結果：（資料庫沒資料了，以實際情況為準）

<pymongo.results.DeleteResult object at 0x00000259BD4ADD40>
0
0

　　delete_one() 即刪除第一條符合條件的資料，delete_many() 即刪除所有符合條件的資料。它們的返回結果都是 DeleteResult 型別，可以呼叫 deleted_count 屬性獲取刪除的資料條數。

其他操作

　　PyMongo 還提供了一些組合方法，如 find_one_and_delete()、find_one_and_replace() 和 find_one_and_update()，它們是查詢後刪除、替換和更新操作，其用法與上述方法基本一致。

　　還可以對索引進行操作，相關方法有 create_index()、create_indexes() 和 drop_index() 等。

關於 PyMongo 的詳細用法，可以參見官方文件：http://api.mongodb.com/python/current/api/pymongo/collection.html。

另外，還有對資料庫和集合本身等的一些操作，這裡不再一一講解，可以參見官方文件：http://api.mongodb.com/python/current/api/pymongo/。

相關文章