在這篇文章中,將向您展示如何使用Python連結目前主流的MongoDB(V3.4.0)資料庫,主要使用PyMongo(v3.4.0)和MongoEngine(V0.10.7)。同時比較SQL和NoSQL。
1、SQL vs NoSQL
如果你不是很熟悉NoSQL這個概念,MongoDB就是一個NoSQL資料庫。近幾年來它越來越受到整個行業的歡迎。NoSQL資料庫提供了一個和關係型資料庫非常不同的檢索方式和儲存資料功能。
在NoSQL出現的幾十年來,SQL資料庫是開發者尋求構建大型、可擴充套件系統的唯一選擇之一。然而,越來越多的需求要求儲存複雜資料結構的能力。這推動了NoSQL資料庫的誕生,它允許開發者儲存異構和無結構的資料。
當到資料庫方案選擇時,大多數人都問自己最後一個問題,“SQL或NoSQL的?”。無論是SQL和NoSQL都有自己的長處和弱點,你應該選擇適合您的應用需求中最好的之一。這裡是兩者之間的一些區別:
SQL
- 模型是關係型的;
- 資料被存放在表中;
- 適用於每條記錄都是相同型別並具有相同屬性的情況;
- 儲存規範需要預定義結構;
- 新增新的屬性意味著你必須改變整體架構;
- ACID事務支援;
NoSQL
- 模型是非關係型的;
- 可以儲存Json、鍵值對等(決定於NoSQL資料庫型別);
- 並不是每條記錄都要有相同的結構;
- 新增帶有新屬性的資料時,不會影響其他;
- 支援ACID事務,根據使用的NoSQL的資料庫而有所不同;
- 一致性可以改變;
- 橫向擴充套件;
在兩種型別的資料庫之間還有許多其他的區別,但上面提到的是一些更重要的區別。根據您的具體情況,使用SQL資料庫可能是首選,而在其他情況下,NoSQL的是更明顯的選擇。當選擇一個資料庫時,您應該謹慎考慮每個資料庫的優勢和劣勢。
NoSQL的一個好處是,有許多不同型別的資料庫可供選擇,並且每個都有自己的用例:
還有很多,但這些是一些更常見的型別。近年來,SQL和NoSQL資料庫甚至已經開始合併。例如,PostgreSQL現在支援儲存和查詢JSON資料,很像MongoDB。有了這個,你可以用Postgres實現MongoDB一樣的功能,但你仍然沒有MongoDB的其他優勢(如橫向擴容和簡單的介面,等等)。
2、MongoDB
現在,讓我們將視線轉移到本文的重點,並闡明的MongoDB的具體的一些情況。
MongoDB是一個面向文件的,開源資料庫程式,它平臺無關。MongoDB像其他一些NoSQL資料庫(但不是全部!)使用JSON結構的文件儲存資料。這是使得資料非常靈活,不需要的Schema。
一些比較重要的特點是:
- 支援多種標準查詢型別,比如matching()、comparison (, )或者正規表示式;
- 可以儲存幾乎任何型別的資料,無論是結構化,部分結構化,甚至是多型;
- 要擴充套件和處理更多查詢,只需新增更多的機器;
- 它是高度靈活和敏捷,讓您能夠快速開發應用程式;
- 作為基於文件的資料庫意味著您可以在單個文件中儲存有關您的模型的所有資訊;
- 您可以隨時更改資料庫的Schema;
- 許多關係型資料庫的功能也可以在MongoDB使用(如索引)。
在執行方面,MongoDB中有相當多的功能在其他資料庫中是沒有的:
- 無論您需要獨立伺服器還是完整的獨立伺服器叢集,MongoDB都可以根據需要進行擴充套件;
- MongoDB還通過在各個分片上自動移動資料來提供負載均衡支援;
- 它具有自動故障轉移支援,如果主伺服器Down掉,新的主伺服器將自動啟動並執行;
- MongoDB的管理服務(MMS)可以用於監控和備份MongoDB的基礎設施服務;
- 不像關聯式資料庫,由於記憶體對映檔案,你將節省相當多的RAM。
雖然起初MongoDB似乎是解決我們許多問題的資料庫,但它不是沒有缺點的。MongoDB的一個常見缺點是缺少對ACID事務的支援,MongoDB在特定場景下支援ACID事務,但不是在所有情況。在單文件級別,支援ACID事務(這是大多數事務發生的地方)。但是,由於MongoDB的分散式性質,不支援處理多個文件的事務。
MongoDB還缺少對自然join查詢支援。在MongoDB看來:文件意在包羅永珍,這意味著,一般來說,它們不需要參考其他文件。在現實世界中,這並不總是有效的,因為我們使用的資料是關係性的。因此,許多人認為MongoDB應該被用作一個SQL資料庫的補充資料庫,但是當你使用MongoDB是,你會發現這是錯誤的
3、PyMongo
現在我們已經描述了MongoDB的是什麼,讓我們來看看如何在Python中實際使用它。由MongoDB開發者釋出的官方驅動程式PyMongo,這裡通過一些例子介紹,但你也應該檢視完整的文件,因為我們無法面面俱到。
當然第一件事就是安裝,最簡單的方式就是pip
:
1 |
pip install pymongo==3.4.0 |
注:有關更全面的指南,請檢視文件的安裝/升級頁面,並按照其中的步驟進行設定
完成設定後,啟動的Python控制檯並執行以下命令:
1 |
>>> import pymongo |
如果沒有提出任何異常就說明安裝成功了
建立連線
使用MongoClient
物件建立連線:
1 2 |
from pymongo import MongoClient client = MongoClient() |
使用上面的程式碼片段,將建立連線到預設主機(localhost)和埠(27017)。您還可以指定主機和/或使用埠:
1 |
client = MongoClient('localhost', 27017) |
或者使用MongoURl格式:
1 |
client = MongoClient('mongodb://localhost:27017') |
訪問資料庫
一旦你有一個連線的MongoClient
例項,你可以在Mongo伺服器中訪問任何資料庫。如果要訪問一個資料庫,你可以當作屬性一樣訪問:
1 |
db = client.pymongo_test |
或者你也可以使用字典形式的訪問:
1 |
db = client['pymongo_test'] |
如果您的指定資料庫已建立,實際上並不重要。通過指定此資料庫名稱並將資料儲存到其中,您將自動建立資料庫。
插入文件
在資料庫中儲存資料,就如同呼叫只是兩行程式碼一樣容易。第一行指定你將使用哪個集合。在MongoDB中術語中,一個集合是在資料庫中儲存在一起的一組文件(相當於SQL的表)。集合和文件類似於SQL表和行。第二行是使用集合插入資料insert_one()的方法:
1 2 3 4 5 6 7 8 |
posts = db.posts post_data = { 'title': 'Python and MongoDB', 'content': 'PyMongo is fun, you guys', 'author': 'Scott' } result = posts.insert_one(post_data) print('One post: {0}'.format(result.inserted_id)) |
我們甚至可以使用insert_one()同時插入很多文件,如果你有很多的文件新增到資料庫中,可以使用方法insert_many()。此方法接受一個list引數:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
post_1 = { 'title': 'Python and MongoDB', 'content': 'PyMongo is fun, you guys', 'author': 'Scott' } post_2 = { 'title': 'Virtual Environments', 'content': 'Use virtual environments, you guys', 'author': 'Scott' } post_3 = { 'title': 'Learning Python', 'content': 'Learn Python, it is easy', 'author': 'Bill' } new_result = posts.insert_many([post_1, post_2, post_3]) print('Multiple posts: {0}'.format(new_result.inserted_ids)) |
你應該看到類似輸出:
1 2 3 4 5 6 |
One post: 584d947dea542a13e9ec7ae6 Multiple posts: [ ObjectId('584d947dea542a13e9ec7ae7'), ObjectId('584d947dea542a13e9ec7ae8'), ObjectId('584d947dea542a13e9ec7ae9') ] |
注意: 不要擔心,你和上面顯示不一樣。它們是在插入資料時,由Unix的紀元,機器識別符號和其他唯一資料組成的動態標識。
檢索文件
檢索文件可以使用find_one()方法,比如要找到author為Bill的記錄:
1 2 3 4 5 6 7 8 9 10 |
bills_post = posts.find_one({'author': 'Bill'}) print(bills_post) 執行結果: { 'author': 'Bill', 'title': 'Learning Python', 'content': 'Learn Python, it is easy', '_id': ObjectId('584c4afdea542a766d254241') } |
您可能已經注意到,這篇文章的ObjectId是設定的_id,這是以後可以使用唯一標識。如果需要查詢多條記錄可以使用find()方法:
1 2 3 4 5 |
scotts_posts = posts.find({'author': 'Scott'}) print(scotts_posts) 結果: <pymongo.cursor.Cursor object at 0x109852f98> |
他的主要區別在於文件資料不是作為陣列直接返回給我們。相反,我們得到一個遊標物件的例項。這Cursor是一個包含相當多的輔助方法,以幫助您處理資料的迭代物件。要獲得每個文件,只需遍歷結果:
1 2 |
for post in scotts_posts: print(post) |
4、MongoEngine
雖然PyMongo是非常容易使用,總體上是一個偉大的輪子,但是許多專案使用它都可能太低水平。簡而言之,你必須編寫很多自己的程式碼來持續地儲存,檢索和刪除物件。PyMongo之上提供了一個更高的抽象一個庫是MongoEngine。MongoEngine是一個物件文件對映器(ODM),它大致相當於一個基於SQL的物件關係對映器(ORM)。MongoEngine提供的抽象是基於類的,所以你建立的所有模型都是類。雖然有相當多的Python的庫可以幫助您使用MongoDB,MongoEngine是一個更好的,因為它有一個很好的組合的功能,靈活性和社群支援。
使用pip安裝:
1 |
pip install mongoengine==0.10.7 |
連線:
1 2 |
from mongoengine import * connect('mongoengine_test', host='localhost', port=27017) |
和pymongo不同。MongoEngine需要制定資料庫名稱。
定義文件
建立文件之前,需要定義文件中要存放資料的欄位。與許多其他ORM類似,我們將通過繼承Document類,並提供我們想要的資料型別來做到這一點:
1 2 3 4 5 6 7 |
import datetime class Post(Document): title = StringField(required=True, max_length=200) content = StringField(required=True) author = StringField(required=True, max_length=50) published = DateTimeField(default=datetime.datetime.now) |
在這個簡單的模型中,我們已經告訴MongoEngine,我們的Post例項有title、content、author、published。現在Document物件可以使用該資訊來驗證我們提供它的資料。
因此,如果我們試圖儲存Post的中沒有title那麼它會丟擲一個Exception,讓我們知道。我們甚至可以進一步利用這個並新增更多的限制:
- required:設定必須;
- default:如果沒有其他值給出使用指定的預設值
- unique:確保集合中沒有其他document有此欄位的值相同
- choices:確保該欄位的值等於陣列中的給定值之一
儲存文件
將文件儲存到資料庫中,我們將使用save()的方法。如果文件中的資料庫已經存在,則所有的更改將在原子水平上對現有的文件進行。如果它不存在,但是,那麼它會被建立。
這裡是建立和儲存一個文件的例子:
1 2 3 4 5 6 7 8 9 10 |
post_1 = Post( title='Sample Post', content='Some engaging content', author='Scott' ) post_1.save() # This will perform an insert print(post_1.title) post_1.title = 'A Better Post Title' post_1.save() # This will perform an atomic edit on "title" print(post_1.title) |
呼叫save()的時候需要注意幾點:
- PyMongo將在您呼叫.save()時執行驗證,這意味著它將根據您在類中宣告的模式檢查要儲存的資料,如果違反模式(或約束),則丟擲異常並且不儲存資料;
- 由於Mongo不支援真正的事務,因此沒有辦法像在SQL資料庫中那樣“回滾”.save()呼叫。
當你儲存的資料沒有title時:
1 2 3 4 5 6 |
post_2 = Post(content='Content goes here', author='Michael') post_2.save() raise ValidationError(message, errors=errors) mongoengine.errors.ValidationError: ValidationError (Post:None) (Field is required: ['title']) |
向物件的特性
使用MongoEngine是物件導向的,你也可以新增方法到你的子類文件。例如下面的示例,其中函式用於修改預設查詢集(返回集合的所有物件)。通過使用它,我們可以對類應用預設過濾器,並只獲取所需的物件
1 2 3 4 5 6 7 |
class Post(Document): title = StringField() published = BooleanField() @queryset_manager def live_posts(clazz, queryset): return queryset.filter(published=True) |
關聯其他文件
您還可以使用ReferenceField物件來建立從一個文件到另一個文件的引用。MongoEngine在訪問時自動惰性處理引用。
1 2 3 4 5 6 7 |
class Author(Document): name = StringField() class Post(Document): author = ReferenceField(Author) Post.objects.first().author.name |
在上面的程式碼中,使用文件”外來鍵”,我們可以很容易地找到第一篇文章的作者。其實還有比這裡介紹的更多的欄位類(和引數),所以一定要檢視文件欄位更多資訊。
從所有這些示例中,您應該能夠看到,MongoEngine非常適合管理幾乎任何型別的應用程式的資料庫物件。這些功能使得建立一個高效可擴充套件程式變得非常容易。如果你正在尋找更多關於MongoEngine的幫助,請務必查閱他們的使用者指南。