MySQL Slave延遲很大優化方法
一般而言,slave相對master延遲較大,其根本原因就是slave上的複製執行緒沒辦法真正做到併發。簡單說,在master上是併發模式(以InnoDB引擎為主)完成事務提交的,而在slave上,複製執行緒只有一個sql thread用於binlog的apply,所以難怪slave在高併發時會遠落後master。
ORACLE MySQL 5.6版本開始支援多執行緒複製,配置選項 slave_parallel_workers 即可實現在slave上多執行緒併發複製。不過,它只能支援一個例項下多個 database 間的併發複製,並不能真正做到多表併發複製。因此在較大併發負載時,slave還是沒有辦法及時追上master,需要想辦法進行優化。
另一個重要原因是,傳統的MySQL複製是非同步(asynchronous)的,也就是說在master提交完後,才在slave上再應用一遍,並不是真正意義上的同步。哪怕是後來的Semi-sync Repication(半同步複製),也不是真同步,因為它只保證事務傳送到slave,但沒要求等到確認事務提交成功。既然是非同步,那肯定多少會有延遲。因此,嚴格意義上講,MySQL複製不能叫做MySQL同步(處女座的面試官有可能會在面試時把說成MySQL同步的一律刷掉哦)。
另外,不少人的觀念裡,slave相對沒那麼重要,因此就不會提供和master相同配置級別的伺服器。有的甚至不但使用更差的伺服器,而且還在上面跑多例項。
綜合這兩個主要原因,slave想要儘可能及時跟上master的進度,可以嘗試採用以下幾種方法:
-
採用MariaDB發行版,它實現了相對真正意義上的並行複製,其效果遠比ORACLE MySQL好的很多。在我的場景中,採用MariaDB作為slave的例項,幾乎總是能及時跟上master。如果不想用這個版本的話,那就老實等待官方5.7大版本釋出吧;
關於MariaDB的Parallel Replication具體請參考:Replication and Binary Log Server System Variables#slave_parallel_threads – MariaDB Knowledge Base
-
每個表都要顯式指定主鍵,如果沒有指定主鍵的話,會導致在row模式下,每次修改都要全表掃描,尤其是大表就非常可怕了,延遲會更嚴重,甚至導致整個slave庫都被掛起,可參考案例:mysql主鍵的缺少導致備庫hang;
-
應用程式端多做些事,讓MySQL端少做事,尤其是和IO相關的活動,例如:前端通過記憶體CACHE或者本地寫佇列等,合併多次讀寫為一次,甚至消除一些寫請求;
-
進行合適的分庫、分表策略,減小單庫單表複製壓力,避免由於單庫單表的的壓力導致整個例項的複製延遲;
-
其他提高IOPS效能的幾種方法,根據效果優劣,我做了個簡單排序:
-
更換成SSD,或者PCIe SSD等IO裝置,其IOPS能力的提升是普通15K SAS盤的數以百倍、萬倍,甚至幾十萬倍計;
-
加大實體記憶體,相應提高InnoDB Buffer Pool大小,讓更多熱資料放在記憶體中,降低發生物理IO的頻率;
-
調整檔案系統為 XFS 或 ReiserFS,相比ext3可以極大程度提高IOPS能力。在高IOPS壓力下,相比ext4有更穩健的IOPS表現(有人認為 XFS 在特別的場景下會有很大的問題,但我們除了剩餘磁碟空間少於10%時引發丟資料外,其他的尚未遇到);
-
調整RAID級別為raid 1+0,它相比raid1、raid5等更能提高IOPS效能。如果已經全部是SSD裝置了,可以2塊盤做成RAID 1,或者多快盤做成RAID 5(並且可以設定全域性熱備盤,提高陣列容錯性),甚至有些土豪使用者直接將多塊SSD盤組成RAID 50;
-
調整RAID的寫cache策略為WB或FORCE WB,詳情請參考:常用PC伺服器陣列卡、硬碟健康監控 以及 PC伺服器陣列卡管理簡易手冊;
-
調整核心的io scheduler,優先使用deadline,如果是SSD,則可以使用noop策略,相比預設的cfq,個別情況下對IOPS的效能提升至少是數倍的。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/15498/viewspace-2131261/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- mysql同步問題之Slave延遲很大最佳化方法MySql
- 【Mysql】Slave 延遲很大並且不動了MySql
- 【MySQL】常見slave 延遲原因以及解決方法MySql
- Mysql slave 延遲故障一列MySql
- 【MySQL】六、常見slave 延遲原因以及解決方法MySql
- 【MySQL】 效能優化之 延遲關聯MySql優化
- 從Mysql slave system lock延遲說開去MySql
- MySQL中slave監控的延遲情況分析MySql
- mysql主從同步(4)-Slave延遲狀態監控MySql主從同步
- MySQL 效能優化:效能提升 50%,延遲降低 60%MySql優化
- Mysql 建立心跳錶來監控Replication的Slave是否延遲MySql
- OGG複製程式延遲高,優化方法一(使用索引)優化索引
- MySQL:slave 延遲一列 外來鍵檢查和自增加鎖MySql
- 級聯slave的延遲計算和query event exe time獲取方法
- 【MySQL】 效能最佳化之 延遲關聯MySql
- 主從延遲調優思路
- 啟動優化之動態庫延遲載入優化
- 3.官方優化建議3.1網路延遲優化
- Web效能優化系列(3):如何延遲載入JSWeb優化JS
- mysql主從延遲複製MySql
- MySQL 5.7 延遲複製配置MySql
- MySQL 延遲從庫介紹MySql
- C#效能優化之Lazy<T> 實現延遲初始化C#優化
- Android優化(三)_延遲電池續航時間Android優化
- 前端效能優化——延遲載入和非同步載入前端優化非同步
- 高吞吐低延遲Java應用的垃圾回收優化Java優化
- Arduino和低功耗微控制器機器學習 - 優化延遲UI機器學習優化
- win10優化網路延遲操作方法_win10最詳細優化網路設定Win10優化
- Mysql配置從庫延遲應用MySql
- 「視訊直播技術詳解」系列之五:延遲優化優化
- MySQL主從延遲解決方法的歸納和總結MySql
- 這套方法論,徹底終結MySQL同步延遲問題MySql
- OGG複製程式延遲高,優化方法二(存在索引),SQL選擇不好的索引優化索引SQL
- 【Mysql】Mysql負載過大,app訪問延遲MySql負載APP
- 影響MySQL主從延遲的幾個因素及解決方法MySql
- MySQL 優化常用方法MySql優化
- 基礎才是重中之重~延遲初始化
- Python 延遲初始化(lazy property)Python