SQLAlchemy 使用經驗

發表於2016-01-05

上篇文章提到了,最近在用 Python 做一個網站。除了 Tornado ,主要還用到了 SQLAlchemy。這篇就是介紹我在使用 SQLAlchemy 的過程中,學到的一些知識。首先說下,由於最新的 0.8 版還是開發版本,因此我使用的是 0.79 版,API 也許會有些不同。
因為我是搭配 MySQL InnoDB 使用,所以使用其他資料庫的也不能完全照搬本文。

接著就從安裝開始介紹吧,以 Debian/Ubuntu 為例(請確保有管理員許可權):

  1. MySQL
    apt-get install mysql-server
    apt-get install mysql-client
    apt-get install libmysqlclient15-dev
  2. python-mysqldb
    apt-get install python-mysqldb
  3. easy_install
    wget http://peak.telecommunity.com/dist/ez_setup.py
    python ez_setup.py
  4. MySQL-Python
    easy_install MySQL-Python
  5. SQLAlchemy
    easy_install SQLAlchemy

如果是用其他作業系統,遇到問題就 Google 一下吧。我是在 Mac OS X 上開發的,途中也遇到些問題,不過當時沒記下來……
值得一提的是我用了 MySQL-Python 來連 MySQL,因為不支援非同步呼叫,所以和 Tornado 不是很搭。不過效能其實很好,因此以後再去研究下其他方案吧……

裝好後就可以開始使用了:

這裡的 DB_CONNECT_STRING 就是連線資料庫的路徑。“mysql+mysqldb”指定了使用 MySQL-Python 來連線,“root”和“123”分別是使用者名稱和密碼,“localhost”是資料庫的域名,“ooxx”是使用的資料庫名(可省略),“charset”指定了連線時使用的字符集(可省略)。
create_engine() 會返回一個資料庫引擎,echo 引數為 True 時,會顯示每條執行的 SQL 語句,生產環境下可關閉。
sessionmaker() 會生成一個資料庫會話類。這個類的例項可以當成一個資料庫連線,它同時還記錄了一些查詢的資料,並決定什麼時候執行 SQL 語句。由於 SQLAlchemy 自己維護了一個資料庫連線池(預設 5 個連線),因此初始化一個會話的開銷並不大。對 Tornado 而言,可以在 BaseHandler 的 initialize() 裡初始化:

對其他 Web 伺服器來說,可以使用 sqlalchemy.orm.scoped_session,它能保證每個執行緒獲得的 session 物件都是唯一的。不過 Tornado 本身就是單執行緒的,如果使用了非同步方式,就可能會出現問題,因此我並沒使用它。

拿到 session 後,就可以執行 SQL 了:

不過這和直接使用 MySQL-Python 沒啥區別,所以就不介紹了;我還是喜歡 ORM 的方式,這也是我採用 SQLAlchemy 的唯一原因。

於是來定義一個表:

declarative_base() 建立了一個 BaseModel 類,這個類的子類可以自動與一個表關聯。
以 User 類為例,它的 __tablename__ 屬性就是資料庫中該表的名稱,它有 id 和 name 這兩個欄位,分別為整型和 30 個定長字元。Column 還有一些其他的引數,我就不解釋了。
最後,BaseModel.metadata.create_all(engine) 會找到 BaseModel 的所有子類,並在資料庫中建立這些表;drop_all() 則是刪除這些表。

接著就開始使用這個表吧:

增刪改查都涉及到了,自己看看輸出的 SQL 語句就知道了,於是基礎知識就介紹到此了。

下面開始介紹一些進階的知識。

如何批量插入大批資料?
可以使用非 ORM 的方式:

上面我批量插入了 10000 條記錄,半秒內就執行完了;而 ORM 方式會花掉很長時間。

如何讓執行的 SQL 語句增加字首?
使用 query 物件的 prefix_with() 方法:

如何替換一個已有主鍵的記錄?
使用 session.merge() 方法替代 session.add(),其實就是 SELECT + UPDATE:

或者使用 MySQL 的 INSERT … ON DUPLICATE KEY UPDATE,需要用到 @compiles 裝飾器,有點難懂,自己看吧:《SQLAlchemy ON DUPLICATE KEY UPDATE》sqlalchemy_mysql_ext

如何使用無符號整數?
可以使用 MySQL 的方言:

模型的屬性名需要和表的欄位名不一樣怎麼辦?
開發時遇到過一個奇怪的需求,有個其他系統的表裡包含了一個“from”欄位,這在 Python 裡是關鍵字,於是只能這樣處理了:

如何獲取欄位的長度?
Column 會生成一個很複雜的物件,想獲取長度比較麻煩,這裡以 User.name 為例:

如何指定使用 InnoDB,以及使用 UTF-8 編碼?
最簡單的方式就是修改資料庫的預設配置。如果非要在程式碼裡指定的話,可以這樣:

MySQL 5.5 開始支援儲存 4 位元組的 UTF-8 編碼的字元了,iOS 裡自帶的 emoji 就屬於這種。
如果是對錶來設定的話,可以把上面程式碼中的 utf8 改成 utf8mb4,DB_CONNECT_STRING 裡的 charset 也這樣更改。
如果對庫或欄位來設定,則還是自己寫 SQL 語句比較方便,具體細節可參考《How to support full Unicode in MySQL databases》
不建議全用 utf8mb4 代替 utf8,因為前者更慢,索引會佔用更多空間。

如何設定外來鍵約束?

執行這段程式碼時,你應該會遇到一個錯誤:

原因是刪除 user 表的資料,可能會導致 friendship 的外來鍵不指向一個真實存在的記錄。在預設情況下,MySQL 會拒絕這種操作,也就是 RESTRICT。InnoDB 還允許指定 ON DELETE 為 CASCADE 和 SET NULL,前者會刪除 friendship 中無效的記錄,後者會將這些記錄的外來鍵設為 NULL。
除了刪除,還有可能更改主鍵,這也會導致 friendship 的外來鍵失效。於是相應的就有 ON UPDATE 了。其中 CASCADE 變成了更新相應的外來鍵,而不是刪除。
而在 SQLAlchemy 中是這樣處理的:

如何連線表?

這裡我沒提到 relationship,雖然它看上去很方便,但需要學習的內容實在太多,還要考慮很多效能上的問題,所以乾脆自己 join 吧。

為什麼無法刪除 in 操作查詢出來的記錄?

丟擲這樣的異常:

但這樣是沒問題的:

搜了下找到《Sqlalchemy delete subquery》這個問題,提到了 delete 的一個注意點:刪除記錄時,預設會嘗試刪除 session 中符合條件的物件,而 in 操作估計還不支援,於是就出錯了。解決辦法就是刪除時不進行同步,然後再讓 session 裡的所有實體都過期:

此外,update 操作也有同樣的引數,如果後面立刻提交了,那麼加上 synchronize_session=False 引數會更快。

如何擴充模型的基類?
declarative_base() 會生成一個 class 物件,這個物件的子類一般都和一張表對應。如果想增加這個基類的方法或屬性,讓子類都能使用,可以有三種方法:

  1. 定義一個新類,將它的方法設定為基類的方法:

    雖然很拙劣,但確實能用。順便還附送了一些有用的玩意,你懂的。
  2. 設定 declarative_base() 的 cls 引數:
    1. 這種方法不需要執行“BaseModel.get_by_id = get_by_id”之類的程式碼。不足之處就是 PyCharm 仍然無法找到這些方法的位置。
  3. 設定 __abstract__ 屬性:

    這種方法最簡單,也可以繼承出多個類。

如何正確使用事務?
假設有一個簡單的銀行系統,一共兩名使用者:

然後開兩個 session,同時進行兩次轉賬操作:

現在看看結果:

兩次轉賬都成功了,但是隻轉走了一筆錢,這明顯不科學。

可見 MySQL InnoDB 雖然支援事務,但並不是那麼簡單的,還需要手動加鎖。
首先來試試讀鎖:

現在在執行 session1.commit() 的時候,因為 user1 和 user2 都被 session2 加了讀鎖,所以會等待鎖被釋放。超時以後,session1.commit() 會丟擲個超時的異常,如果捕捉了的話,或者 session2 在另一個程式,那麼 session2.commit() 還是能正常提交的。這種情況下,有一個事務是肯定會提交失敗的,所以那些更改等於白做了。

接下來看看寫鎖,把上段程式碼中的 ‘read’ 改成 ‘update’ 即可。這次在執行 select 的時候就會被阻塞了:

這樣只要在超時期間內,session1 完成了提交或回滾,那麼 session2 就能正常判斷 user1.money >= 100 是否成立了。
由此可見,如果需要更改資料,最好加寫鎖。

那麼什麼時候用讀鎖呢?如果要保證事務執行期間內,被讀取的資料不被修改,自己也不去修改,加讀鎖即可。
舉例來說,假設我查詢一個使用者的開支記錄(同時包含餘額和轉賬記錄),可以直接把 user 和 tansefer_log 做個內連線。
但如果使用者的轉賬記錄特別多,我在查詢前想先驗證使用者的密碼(假設在 user 表中),確認相符後才查詢轉賬記錄。而這兩次查詢的期間內,使用者可能收到了一筆轉賬,導致他的 money 欄位被修改了,但我在展示給使用者時,使用者的餘額仍然沒變,這就不正常了。
而如果我在讀取 user 時加了讀鎖,使用者是無法收到轉賬的(因為無法被另一個事務加寫鎖來修改 money 欄位),這就保證了不會查出額外的 tansefer_log 記錄。等我查詢完兩張表,釋放了讀鎖後,轉賬就可以繼續進行了,不過我顯示的資料在當時的確是正確和一致的。

另外要注意的是,如果被查詢的欄位沒有加索引的話,就會變成鎖整張表了:

要避免的話,可以這樣:

另一個注意點是子事務。
InnoDB 支援子事務(savepoint 語句),可以簡化一些邏輯。
例如有的方法是用於改寫資料庫的,它執行時可能提交了事務,但在後續的流程中卻執行失敗了,卻沒法回滾那個方法中已經提交的事務。這時就可以把那個方法當成子事務來執行了:

此外,rollback 一個子事務,可以釋放這個子事務中獲得的鎖,提高併發性和降低死鎖概率。

如何對一個欄位進行自增操作?
最簡單的辦法就是獲取時加上寫鎖:

如果不想多一次讀的話,這樣寫也是可以的:

相關文章