Django應用資料庫從MySQL到PostgreSql的遷移

sunbiaobiao發表於2015-03-12

我們已對 Django1.6 app完成了資料庫從mysql到PostgreSQL的遷移,如果你的環境很乾淨,這個過程就會很簡單,只要允許syncdb 或者 migrate建立表,truncating表中的資料,然後執行dumpdata 和loaddatamanagement命令就完成了。

第一步,在你的PostgreSQL資料庫中建立一個空的例項:

第二步,在你的Django中給建立的資料庫加上配置

在setting.py 中,我們這樣配置:

這樣我們就指定了以後名稱操作的是哪個資料庫。

第三步,在PostgreSQL例項中建立表

在PostgreSQL中執行syncdb 和 migrations,這個過程並沒有初始資料。

第四步,truncate新建立的表

儘管我們在先前的步驟中指定了 –no-initial-data ,為了防止在遷移過程中使用者的自定義資料在未知情況下加入了表中,我們最好還是truncate一下新建的表,我們可以生成一個SQL指令碼,執行:

第五步,從mysql中備份資料到JSON 檔案中

Django 有一個dumpdata命令,用它可以生成一個資料庫無關的備份,預設格式是JSON。

這裡的 -all 引數是為了確保你在匯出資料的過程中有可能有你自己的過濾和修改資料的需求,-natural 引數告訴Django使用natural keys(如果可用的話) –indent 引數是為了使輸出更加可讀。

你也許想只匯出特定的apps裡的資料,或者只匯出一個celery logs ,這樣的話,你就可以使用 –exclude引數,例如:

第六步,載入JSON資料到PostgreSQL資料庫中

基本上遷移的過程就結束了,現在你只要修改一下你的資料庫配置,然後是PostgerSQL成為預設的資料庫。

在我們的情況下,我們的資料庫不是很乾淨,我們的資料庫是給一個PHP的遺留程式碼建立的,我們現在還在一步步擺脫它,我們有一些Django之外的資料庫,並且都在被程式使用,為了把這些遷移到PostgreSQL中,我使用了這個工具,過程還是簡單一些。

注意事項

Django 訊號

你可能想禁止這些,當一個資料庫記錄建立的時候,你的程式可能就會傳送給你的用過郵件,為了不打擾它們,在載入資料的時候,你需要保證它們被禁止了,Here’s one way to handle this 這裡我們使用了檢測器保證訊號不會別觸發。

約束(像非空,unique 和外來鍵)

我們的資料庫遷移過程碰到了很多這種問題,比如一個外來鍵約束,但是其他的一個表不存在了,有一下空置的記錄,但是模型定義中不允許,比如複製的過程中存在unique約束,這些都需要手動干預,我必須使用SQL語句清除掉這些,Dumpdata 和loaddata 將會檢測到這些,所以你的資料庫必須是一個乾淨的一致的狀態。

主鍵的硬編碼

這很痛苦,因為在我們的測試 suite中,到處都是主鍵的硬編碼,所以很多測試到失敗了,因為使用PostgreSQL 處理的序列的方法和mysql不太一樣,我必須手動修改700多個測試用例,大都是很簡單的修改但是很消耗時間。

原生SQL語句

幸運的是,我們只有一處使用了原生sql語句,有些mysql中的函式在PostgreSQL中不適用,我們只用修改為在PostgreSQl中相同功能的函式就可以了。

大小寫敏感

字串比較在PostgreSQL中是大小寫敏感的,但是在Mysql中不是,我在遷移非Django資料表過程中也遇到了一些問題,索引建立的時候,命令需要id,但是欄位的名字是Id(字母I),我只要重新命名為id就可以了。

相關文章