Postgres進行資料結構變化時的提效小技巧
<blockquote>
原文: http://www.craigkerstiens.com/2017/09/10/better-postgres-migrations/
作者:Craig Kerstiens
譯者:夜風輕揚
譯者注:在Postgres中進行資料庫遷移時會遇到哪些問題?如何解決它們?請見下文。
隨著資料庫的增長與擴充套件,你需要對一些操作給予更多的關注。你可能沒有完全意識到,在開發環境中執行應用程式時,執行某些操作的成本,與在生產環境中大相徑庭。在某一時刻,我們中的大多數人都犯了錯,在5分鐘時開始執行一些遷移,過15分鐘仍然在執行,突然間生產流量受到了影響。
有兩種操作發生的很頻繁,每種操作都有一些簡單的方法可以減少停機時間。讓我們看看每一個操作,它們是如何工作的,以及如何以更安全的方式來處理它們。
新增新列
在Postgres中新增一個新列實際上代價是很低的。當你這樣做的時候,它會更新對於已有列時刻的跟蹤,它幾乎是瞬時的。當對某個列有一些約束時,這一部分就會變得很昂貴。一個約束可以是一個主鍵或者外來鍵,或者是一些唯一性約束。 Postgres不得不掃描表中的所有記錄以確保沒有違反這些約束。新增諸如“非空”等一些約束時,可能會有一些違反,但這不是最常見的原因。
造成新增新列遲緩最常見的原因是大部分的框架中為新列設定預設值太過簡單。對於所有的新記錄這是一回事,但是對於已有的表來說,這意味著資料庫不得不要讀取所有的記錄並且向這些記錄中重寫新的預設值。對於只有幾百條記錄的表來說,這還不算太糟,但是對於上千萬條記錄的表來說,這時間就無法容忍了 。
簡而言之,在新增新列時,如果將其設為非空或者在建立是設定一個預設值都會給你帶來麻煩。解決之道是不要這樣做。但是,如果你需要一個預設值或者不想欄位為空時該怎麼辦。這有一些你可以採取的簡單步驟,將你的遷移工作從一步分為 四步:
1. 新增新列,允許其為空
2. 開始在所有新記錄和更新中寫入預設值
3. 逐步回填預設值
4. 應用你的約束
是的,只是稍微多一點工作,對現有工作的影響很微小。
索引
類似大部分的DDL操作,建立索引時會加鎖,這就意味著所有新的資料必須等待索引建立完成後才可以寫入。對於新建的或者小規模的表,等待的時間不是很明顯,但是對於大規模資料庫,等待的時間可能是以分鐘甚至小時計新增索引的本意是為了提高查詢速度,但是實際的效果卻是降低了速度,這真是有點諷刺。
Postgres中對於這個問題的答案是 CONCURRENT 建立索引。就是在後臺逐步建立索引。你可以通過:CREATE INDEX CONCURRENTLY語句併發建立索引。一旦建立了索引,只要你做想做的事情,Postgres就會在查詢中使用它。
可以提供幫助的工具
這是一個不錯的實踐活動,瞭解執行遷移時會發生什麼,以及對於效能的影響。即便如此,你也不必只憑自己的力量去管理這些。至少對於Rails還有工具能幫組你掌握它。Strong migrations能夠幫組你掌握很多這些昂貴的操作,如果你在使用Rails,你可以考慮看一看。
還要其他的工具和祕訣可以有助於Postgres中的資料遷移?給我留言,我會把它們加到列表中。
相關文章
- 開發提效小技巧分享(一)
- 資料架構變革進行時:現代化應用需要怎樣的資料策略?架構
- Java 提效神器 Stream 的冷門技巧Java
- 結構化資料、半結構化資料和非結構化資料
- 網易馬進:DDB從分散式資料庫到結構化資料中心的架構變遷分散式資料庫架構
- 結構化資料與非結構化資料的差異
- JVM結構-記憶體結構(執行時資料區)JVM記憶體
- var+不可變資料結構 vs val+可變資料結構資料結構
- postgres複製表結構
- 達觀智慧文件審閱系統,推動證券非結構化文件處理提質提效
- 利用AUDIT檢視資料庫表結構變化資料庫
- 這些CSS提效技巧,你需要知道!CSS
- 前端必備!5大mock省時提效小tips,用了提前下班一小時前端Mock
- Java中的不可變資料結構Java資料結構
- 用物化檢視單行同步資料庫時,源表結構變化時的處理步驟資料庫
- 【譯】Redis喜提新資料結構:Redis StreamsRedis資料結構
- 研效優化實踐:WeTest提效測試優化
- EMNLP 2019 | 融合行、列和時間維度資訊的層次化編碼模型進行面向結構化資料的文字生成模型
- 對Oracle資料庫內部結構進行dump的方法Oracle資料庫
- 給定json資料,將資料與頁面結構進行繫結JSON
- 10g 每晚定時對變化資料Table進行分析的一些問題
- 資料庫結構的優化資料庫優化
- 資料視覺化設計的25個小技巧視覺化
- PG資料庫SQL最佳化小技巧資料庫SQL
- 什麼是結構化資料?什麼是半結構化資料?
- 研效最佳化實踐:WeTest提效測試
- 資料庫資料變成樹型結構資料庫
- 請問大家如何進行提效?
- Oracle10g 每晚定時對變化資料Table進行分析的一些問題Oracle
- FHQ Treap小結(神級資料結構!)資料結構
- Tableau視覺化結果的優化小技巧(二)視覺化優化
- 22 歲的 Postgres,可能是史上最先進的資料庫資料庫
- Java 程式設計技巧之資料結構Java程式設計資料結構
- Excel檢視資料小技巧——凍結窗格Excel
- 滑窗法-時序結構化資料比賽利器
- 資料結構進階:ST表資料結構
- 【Go進階—資料結構】mapGo資料結構
- 【Go進階—資料結構】ChannelGo資料結構