MongoDB是由C++語言編寫的非關係型資料庫,是一個基於分散式檔案儲存的開源資料庫系統,其內容儲存形式類似JSON物件,它的欄位值可以包含其他文件、陣列及文件陣列,非常靈活。在這一節中,我們就來看看Python 3下MongoDB的儲存操作。
1. 準備工作
在開始之前,請確保已經安裝好了MongoDB並啟動了其服務,並且安裝好了Python的PyMongo庫。
2. 連線MongoDB
連線MongoDB時,我們需要使用PyMongo庫裡面的MongoClient
。一般來說,傳入MongoDB的IP及埠即可,其中第一個引數為地址host
,第二個引數為埠port
(如果不給它傳遞引數,預設是27017):
import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)複製程式碼
這樣就可以建立MongoDB的連線物件了。
另外,MongoClient
的第一個引數host
還可以直接傳入MongoDB的連線字串,它以mongodb
開頭,例如:
client = MongoClient('mongodb://localhost:27017/')複製程式碼
這也可以達到同樣的連線效果。
3. 指定資料庫
MongoDB中可以建立多個資料庫,接下來我們需要指定操作哪個資料庫。這裡我們以test資料庫為例來說明,下一步需要在程式中指定要使用的資料庫:
db = client.test複製程式碼
這裡呼叫client
的test
屬性即可返回test資料庫。當然,我們也可以這樣指定:
db = client['test']複製程式碼
這兩種方式是等價的。
4. 指定集合
MongoDB的每個資料庫又包含許多集合(collection),它們類似於關係型資料庫中的表。
下一步需要指定要操作的集合,這裡指定一個集合名稱為students。與指定資料庫類似,指定集合也有兩種方式:
collection = db.students複製程式碼
collection = db['students']複製程式碼
這樣我們便宣告瞭一個Collection
物件。
5. 插入資料
接下來,便可以插入資料了。對於students這個集合,新建一條學生資料,這條資料以字典形式表示:
student = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}複製程式碼
這裡指定了學生的學號、姓名、年齡和性別。接下來,直接呼叫collection
的insert()
方法即可插入資料,程式碼如下:
result = collection.insert(student)
print(result)複製程式碼
在MongoDB中,每條資料其實都有一個_id
屬性來唯一標識。如果沒有顯式指明該屬性,MongoDB會自動產生一個ObjectId
型別的_id
屬性。insert()
方法會在執行後返回_id
值。
執行結果如下:
5932a68615c2606814c91f3d複製程式碼
當然,我們也可以同時插入多條資料,只需要以列表形式傳遞即可,示例如下:
student1 = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
student2 = {
'id': '20170202',
'name': 'Mike',
'age': 21,
'gender': 'male'
}
result = collection.insert([student1, student2])
print(result)複製程式碼
返回結果是對應的_id
的集合:
[ObjectId('5932a80115c2606a59e8a048'), ObjectId('5932a80115c2606a59e8a049')]複製程式碼
實際上,在PyMongo 3.x版本中,官方已經不推薦使用insert()
方法了。當然,繼續使用也沒有什麼問題。官方推薦使用insert_one()
和insert_many()
方法來分別插入單條記錄和多條記錄,示例如下:
student = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
result = collection.insert_one(student)
print(result)
print(result.inserted_id)複製程式碼
執行結果如下:
<pymongo.results.InsertOneResult object at 0x10d68b558>
5932ab0f15c2606f0c1cf6c5複製程式碼
與insert()
方法不同,這次返回的是InsertOneResult
物件,我們可以呼叫其inserted_id
屬性獲取_id
。
對於insert_many()
方法,我們可以將資料以列表形式傳遞,示例如下:
student1 = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
student2 = {
'id': '20170202',
'name': 'Mike',
'age': 21,
'gender': 'male'
}
result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)複製程式碼
執行結果如下:
<pymongo.results.InsertManyResult object at 0x101dea558>
[ObjectId('5932abf415c2607083d3b2ac'), ObjectId('5932abf415c2607083d3b2ad')]複製程式碼
該方法返回的型別是InsertManyResult
,呼叫inserted_ids
屬性可以獲取插入資料的_id
列表。
6. 查詢
插入資料後,我們可以利用find_one()
或find()
方法進行查詢,其中find_one()
查詢得到的是單個結果,find()
則返回一個生成器物件。示例如下:
result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)複製程式碼
這裡我們查詢name
為Mike
的資料,它的返回結果是字典型別,執行結果如下:
<class 'dict'>
{'_id': ObjectId('5932a80115c2606a59e8a049'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}複製程式碼
可以發現,它多了_id
屬性,這就是MongoDB在插入過程中自動新增的。
此外,我們也可以根據ObjectId
來查詢,此時需要使用bson庫裡面的objectid
:
from bson.objectid import ObjectId
result = collection.find_one({'_id': ObjectId('593278c115c2602667ec6bae')})
print(result)複製程式碼
其查詢結果依然是字典型別,具體如下:
{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}複製程式碼
當然,如果查詢結果不存在,則會返回None
。
對於多條資料的查詢,我們可以使用find()
方法。例如,這裡查詢年齡為20的資料,示例如下:
results = collection.find({'age': 20})
print(results)
for result in results:
print(result)複製程式碼
執行結果如下:
<pymongo.cursor.Cursor object at 0x1032d5128>
{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278c815c2602678bb2b8d'), 'id': '20170102', 'name': 'Kevin', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278d815c260269d7645a8'), 'id': '20170103', 'name': 'Harden', 'age': 20, 'gender': 'male'}複製程式碼
返回結果是Cursor
型別,它相當於一個生成器,我們需要遍歷取到所有的結果,其中每個結果都是字典型別。
如果要查詢年齡大於20的資料,則寫法如下:
results = collection.find({'age': {'$gt': 20}})複製程式碼
這裡查詢的條件鍵值已經不是單純的數字了,而是一個字典,其鍵名為比較符號$gt
,意思是大於,鍵值為20。
這裡將比較符號歸納為下表。
符號 | 含義 | 示例 |
---|---|---|
$lt | 小於 | {'age': {'$lt': 20}} |
$gt | 大於 | {'age': {'$gt': 20}} |
$lte | 小於等於 | {'age': {'$lte': 20}} |
$gte | 大於等於 | {'age': {'$gte': 20}} |
$ne | 不等於 | {'age': {'$ne': 20}} |
$in | 在範圍內 | {'age': {'$in': [20, 23]}} |
$nin | 不在範圍內 | {'age': {'$nin': [20, 23]}} |
另外,還可以進行正則匹配查詢。例如,查詢名字以M開頭的學生資料,示例如下:
results = collection.find({'name': {'$regex': '^M.*'}})複製程式碼
這裡使用$regex
來指定正則匹配,^M.*
代表以M開頭的正規表示式。
這裡將一些功能符號再歸類為下表。
符號 | 含義 | 示例 | 示例含義 |
---|---|---|---|
$regex | 匹配正規表示式 | {'name': {'$regex': '^M.*'}} | name 以M開頭 |
$exists | 屬性是否存在 | {'name': {'$exists': True}} | name 屬性存在 |
$type | 型別判斷 | {'age': {'$type': 'int'}} | age 的型別為int |
$mod | 數字模操作 | {'age': {'$mod': [5, 0]}} | 年齡模5餘0 |
$text | 文字查詢 | {'$text': {'$search': 'Mike'}} | text 型別的屬性中包含Mike 字串 |
$where | 高階條件查詢 | {'$where': 'obj.fans_count == obj.follows_count'} | 自身粉絲數等於關注數 |
關於這些操作的更詳細用法,可以在MongoDB官方文件找到:
https://docs.mongodb.com/manual/reference/operator/query/。
7. 計數
要統計查詢結果有多少條資料,可以呼叫count()
方法。比如,統計所有資料條數:
count = collection.find().count()
print(count)複製程式碼
或者統計符合某個條件的資料:
count = collection.find({'age': 20}).count()
print(count)複製程式碼
執行結果是一個數值,即符合條件的資料條數。
8. 排序
排序時,直接呼叫sort()
方法,並在其中傳入排序的欄位及升降序標誌即可。示例如下:
results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])複製程式碼
執行結果如下:
['Harden', 'Jordan', 'Kevin', 'Mark', 'Mike']複製程式碼
這裡我們呼叫pymongo.ASCENDING
指定升序。如果要降序排列,可以傳入pymongo.DESCENDING
。
9. 偏移
在某些情況下,我們可能想只取某幾個元素,這時可以利用skip()
方法偏移幾個位置,比如偏移2,就忽略前兩個元素,得到第三個及以後的元素:
results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])複製程式碼
執行結果如下:
['Kevin', 'Mark', 'Mike']複製程式碼
另外,還可以用limit()
方法指定要取的結果個數,示例如下:
results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])複製程式碼
執行結果如下:
['Kevin', 'Mark']複製程式碼
如果不使用limit()
方法,原本會返回三個結果,加了限制後,會擷取兩個結果返回。
值得注意的是,在資料庫數量非常龐大的時候,如千萬、億級別,最好不要使用大的偏移量來查詢資料,因為這樣很可能導致記憶體溢位。此時可以使用類似如下操作來查詢:
from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})複製程式碼
這時需要記錄好上次查詢的_id
。
10. 更新
對於資料更新,我們可以使用update()
方法,指定更新的條件和更新後的資料即可。例如:
condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update(condition, student)
print(result)複製程式碼
這裡我們要更新name
為Kevin
的資料的年齡:首先指定查詢條件,然後將資料查詢出來,修改年齡後呼叫update()
方法將原條件和修改後的資料傳入。
執行結果如下:
{'ok': 1, 'nModified': 1, 'n': 1, 'updatedExisting': True}複製程式碼
返回結果是字典形式,ok
代表執行成功,nModified
代表影響的資料條數。
另外,我們也可以使用$set
操作符對資料進行更新,程式碼如下:
result = collection.update(condition, {'$set': student})複製程式碼
這樣可以只更新student
字典記憶體在的欄位。如果原先還有其他欄位,則不會更新,也不會刪除。而如果不用$set
的話,則會把之前的資料全部用student
字典替換;如果原本存在其他欄位,則會被刪除。
另外,update()
方法其實也是官方不推薦使用的方法。這裡也分為update_one()
方法和update_many()
方法,用法更加嚴格,它們的第二個引數需要使用$
型別操作符作為字典的鍵名,示例如下:
condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)複製程式碼
這裡呼叫了update_one()
方法,第二個引數不能再直接傳入修改後的字典,而是需要使用{'$set': student}
這樣的形式,其返回結果是UpdateResult
型別。然後分別呼叫matched_count
和modified_count
屬性,可以獲得匹配的資料條數和影響的資料條數。
執行結果如下:
<pymongo.results.UpdateResult object at 0x10d17b678>
1 0複製程式碼
我們再看一個例子:
condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)複製程式碼
這裡指定查詢條件為年齡大於20,然後更新條件為{'$inc': {'age': 1}}
,也就是年齡加1,執行之後會將第一條符合條件的資料年齡加1。
執行結果如下:
<pymongo.results.UpdateResult object at 0x10b8874c8>
1 1複製程式碼
可以看到匹配條數為1條,影響條數也為1條。
如果呼叫update_many()
方法,則會將所有符合條件的資料都更新,示例如下:
condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)複製程式碼
這時匹配條數就不再為1條了,執行結果如下:
<pymongo.results.UpdateResult object at 0x10c6384c8>
3 3複製程式碼
可以看到,這時所有匹配到的資料都會被更新。
11. 刪除
刪除操作比較簡單,直接呼叫remove()
方法指定刪除的條件即可,此時符合條件的所有資料均會被刪除。示例如下:
result = collection.remove({'name': 'Kevin'})
print(result)複製程式碼
執行結果如下:
{'ok': 1, 'n': 1}複製程式碼
另外,這裡依然存在兩個新的推薦方法——delete_one()
和delete_many()
。示例如下:
result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)複製程式碼
執行結果如下:
<pymongo.results.DeleteResult object at 0x10e6ba4c8>
1
4複製程式碼
delete_one()
即刪除第一條符合條件的資料,delete_many()
即刪除所有符合條件的資料。它們的返回結果都是DeleteResult
型別,可以呼叫deleted_count
屬性獲取刪除的資料條數。
12. 其他操作
另外,PyMongo還提供了一些組合方法,如find_one_and_delete()
、find_one_and_replace()
和find_one_and_update()
,它們是查詢後刪除、替換和更新操作,其用法與上述方法基本一致。
另外,還可以對索引進行操作,相關方法有create_index()
、create_indexes()
和drop_index()
等。
關於PyMongo的詳細用法,可以參見官方文件:http://api.mongodb.com/python/current/api/pymongo/collection.html。
另外,還有對資料庫和集合本身等的一些操作,這裡不再一一講解,可以參見官方文件:http://api.mongodb.com/python/current/api/pymongo/。
本節講解了使用PyMongo操作MongoDB進行資料增刪改查的方法。
本資源首發於崔慶才的個人部落格靜覓: Python3網路爬蟲開發實戰教程 | 靜覓
如想了解更多爬蟲資訊,請關注我的個人微信公眾號:進擊的Coder
weixin.qq.com/r/5zsjOyvEZ… (二維碼自動識別)