pt-osc使用增量資料觸發器的不足之處總結和推薦
pt-osc的原理如下:
1、建立一個和源表一樣表結構的新表
2、在新表執行DDL語句
3、在源表建立三個觸發器分別對應insert、update、delete操作
4、從源表複製資料到新表,複製過程中源表透過觸發器把新的DML操作更新到新表中
5、rename源表到old表中,把新表rename為源表,最後刪除源表
觸發器的作用就是源表和新表之間的增量資料同步,不足之處總結如下:
因為觸發器是用儲存過程的步驟實現的,所以就無法避免儲存過程本身需要的開銷。
增大了同一個事務的執行步驟,更多的鎖爭搶。
整個過程無法暫停,假如發現影響主庫效能,停止 Online DDL,那麼下次就需要從頭來過。
多個並行的操作是不安全的。
無法在生產環境做測試。
觸發器和源操作還是在同一個事務空間。
備註:
推薦使用gh-ost工具做online DDL
gh-ost 首先連線到主庫上,根據 alter 語句建立影子表,然後作為一個”備庫“連線到其中一個真正的備庫上,一邊在主庫上複製已有的資料到影子表,一邊從備庫上拉取增量資料的 binlog,然後不斷的把 binlog 應用回主庫。
1、建立一個和源表一樣表結構的新表
2、在新表執行DDL語句
3、在源表建立三個觸發器分別對應insert、update、delete操作
4、從源表複製資料到新表,複製過程中源表透過觸發器把新的DML操作更新到新表中
5、rename源表到old表中,把新表rename為源表,最後刪除源表
觸發器的作用就是源表和新表之間的增量資料同步,不足之處總結如下:
因為觸發器是用儲存過程的步驟實現的,所以就無法避免儲存過程本身需要的開銷。
增大了同一個事務的執行步驟,更多的鎖爭搶。
整個過程無法暫停,假如發現影響主庫效能,停止 Online DDL,那麼下次就需要從頭來過。
多個並行的操作是不安全的。
無法在生產環境做測試。
觸發器和源操作還是在同一個事務空間。
備註:
推薦使用gh-ost工具做online DDL
gh-ost 首先連線到主庫上,根據 alter 語句建立影子表,然後作為一個”備庫“連線到其中一個真正的備庫上,一邊在主庫上複製已有的資料到影子表,一邊從備庫上拉取增量資料的 binlog,然後不斷的把 binlog 應用回主庫。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/15498/viewspace-2154952/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 資料庫的觸發器的使用資料庫觸發器
- 大資料崗位總結和相關書籍推薦大資料
- 25. 使用MySQL之使用觸發器MySql觸發器
- pt-osc工具的優缺點歸納總結
- 【推薦系統篇】--推薦系統之測試資料
- MySQL資料庫中刪除重複記錄的方法總結[推薦]MySql資料庫
- 影像資料不足時的處理方法
- 電影推薦系統資料預處理
- 大資料應用——資料探勘之推薦系統大資料
- Go 語言—資料結構和演算法專案推薦Go資料結構演算法
- 資料傳輸 | 如何配合 pt-osc 使用 DTLE 同步 DDL
- MySQL使用觸發器MySql觸發器
- 鐳射雷達常用的資料處理軟體推薦
- 資料庫檢視,索引,觸發器資料庫索引觸發器
- SAP工作流觸發總結
- 騰訊QQ大資料:神盾推薦——MAB演算法應用總結大資料演算法
- 跨平臺開發學習總結! 向新手推薦的2020 年 Flutter 課程和教程!Flutter
- 使用GoldenGate EVENTACTIONS執行資料的實時觸發和定製化Go
- [Python影像處理] 三十.影像量化及取樣處理萬字詳細總結(推薦)Python
- MySQL觸發器的使用規則MySql觸發器
- SqlServer觸發器的建立與使用SQLServer觸發器
- Python和Java之間有什麼不同之處?總結!PythonJava
- 效能測試之伺服器監控和Prometheus推薦伺服器Prometheus
- MySQL觸發器的使用和優缺點介紹ZGMHMySql觸發器
- 資料分析-pandas資料處理清洗常用總結
- 行為和觸發器觸發器
- 【推薦系統】評估指標總結指標
- 使用CRDT實現分散式事務的資料推薦分散式
- 併發處理規則最佳推薦
- Redis介紹、使用、資料結構和叢集模式總結Redis資料結構模式
- Docker-視覺化管理工具總結-推薦使用PortainerDocker視覺化AI
- 資料分析師之視覺化工具推薦指南視覺化
- SAP 資料更新的觸發
- DMN決策模型的不足之處 - brcommunity模型Unity
- 博文推薦|使用 Apache Pulsar 和 Scala 進行事件流處理Apache事件
- 【轉】推薦系統演算法總結(一)演算法
- 推薦系統 embedding 技術實踐總結
- 推薦演算法(二)--演算法總結演算法