MySQL 調優/優化的 100 個建議

劉曉鵬發表於2015-07-08

(編注:本文寫於 2011 年)

MySQL是一個強大的開源資料庫。隨著MySQL上的應用越來越多,MySQL逐漸遇到了瓶頸。這裡提供 101 條優化 MySQL 的建議。有些技巧適合特定的安裝環境,但是思路是相通的。我已經將它們分成了幾類以幫助你理解。

MySQL監控

MySQL伺服器硬體和OS(作業系統)調優:

1、有足夠的實體記憶體,能將整個InnoDB檔案載入到記憶體裡 —— 如果訪問的檔案在記憶體裡,而不是在磁碟上,InnoDB會快很多。

2、全力避免 Swap 操作 — 交換(swapping)是從磁碟讀取資料,所以會很慢。

3、使用電池供電的RAM(Battery-Backed RAM)。

4、使用一個高階磁碟陣列 — 最好是 RAID10 或者更高。

5、避免使用RAID5 — 和校驗需要確保完整性,開銷很高。

6、將你的作業系統和資料分開,不僅僅是邏輯上要分開,物理上也要分開 — 作業系統的讀寫開銷會影響資料庫的效能。

7、將臨時檔案和複製日誌與資料檔案分開 — 後臺的寫操作影響資料庫從磁碟檔案的讀寫操作。

8、更多的磁碟空間等於更高的速度。

9、磁碟速度越快越好。

10、SAS優於SATA。

11、小磁碟的速度比大磁碟的更快,尤其是在 RAID 中。

12、使用電池供電的快取 RAID(Battery-Backed Cache RAID)控制器。

13、避免使用軟磁碟陣列。

14. 考慮使用固態IO卡(不是磁碟)來作為資料分割槽 — 幾乎對所有量級資料,這種卡能夠支援 2 GBps 的寫操作。

15、在 Linux 系統上,設定 swappiness 的值為0 — 沒有理由在資料庫伺服器上快取檔案,這種方式在Web伺服器或桌面應用中用的更多。

16、儘可能使用 noatime 和 nodirtime 來掛載檔案系統 — 沒有必要為每次訪問來更新檔案的修改時間。

17、使用 XFS 檔案系統 — 一個比ext3更快的、更小的檔案系統,擁有更多的日誌選項,同時,MySQL在ext3上存在雙緩衝區的問題。

18、優化你的 XFS 檔案系統日誌和緩衝區引數 – -為了獲取最大的效能基準。

19、在Linux系統中,使用 NOOP 或 DEADLINE IO 排程器 — CFQ 和 ANTICIPATORY 排程器已經被證明比 NOOP 和 DEADLINE 慢。

20、使用 64 位作業系統 — 有更多的記憶體能用於定址和 MySQL 使用。

21、將不用的包和後臺程式從伺服器上刪除 — 減少資源佔用。

22、將使用 MySQL 的 host 和 MySQL自身的 host 都配置在一個 host 檔案中 — 這樣沒有 DNS 查詢。

23、永遠不要強制殺死一個MySQL程式 — 你將損壞資料庫,並執行備份。

24、讓你的伺服器只服務於MySQL — 後臺處理程式和其他服務會佔用資料庫的 CPU 時間。

 

MySQL 配置:

25、使用 innodb_flush_method=O_DIRECT 來避免寫的時候出現雙緩衝區。

26、避免使用 O_DIRECT 和 EXT3 檔案系統 — 這會把所有寫入的東西序列化。

27、分配足夠 innodb_buffer_pool_size ,來將整個InnoDB 檔案載入到記憶體 — 減少從磁碟上讀。

28、不要讓 innodb_log_file_size 太大,這樣能夠更快,也有更多的磁碟空間 — 經常重新整理有利降低發生故障時的恢復時間。

29、不要同時使用 innodb_thread_concurrency 和 thread_concurrency 變數 — 這兩個值不能相容。

30、為 max_connections 指定一個小的值 — 太多的連線將耗盡你的RAM,導致整個MySQL伺服器被鎖定。

31、保持 thread_cache 在一個相對較高的數值,大約是 16 — 防止開啟連線時候速度下降。

32、使用 skip-name-resolve — 移除 DNS 查詢。

33、如果你的查詢重複率比較高,並且你的資料不是經常改變,請使用查詢快取 — 但是,在經常改變的資料上使用查詢快取會對效能有負面影響。

34、增加 temp_table_size — 防止磁碟寫。

35、增加 max_heap_table_size — 防止磁碟寫。

36、不要將 sort_buffer_size 的值設定的太高 — 可能導致連線很快耗盡所有記憶體。

37、監控 key_read_requests 和 key_reads,以便確定 key_buffer 的值 — key 的讀需求應該比 key_reads 的值更高,否則使用 key_buffer 就沒有效率了。

38、設定 innodb_flush_log_at_trx_commit = 0 可以提高效能,但是保持預設值(1)的話,能保證資料的完整性,也能保證複製不會滯後。

39、有一個測試環境,便於測試你的配置,可以經常重啟,不會影響生產環境。

MySQL Schema 優化:

40、保證你的資料庫的整潔性。

41、歸檔老資料 — 刪除查詢中檢索或返回的多餘的行

42、在資料上加上索引。

43、不要過度使用索引,評估你的查詢。

44、壓縮 text 和 blob 資料型別 — 為了節省空間,減少從磁碟讀資料。

45、UTF 8 和 UTF16 比 latin1 慢。

46、有節制的使用觸發器。

47、保持資料最小量的冗餘 — 不要複製沒必要的資料.

48、使用連結表,而不是擴充套件行。

49、注意你的資料型別,儘可能的使用最小的。

50、如果其他資料需要經常需要查詢,而 blob/text 不需要,則將 blob/text 資料域其他資料分離。

51、經常檢查和優化表。

52、經常做重寫 InnoDB 表的優化。

53、有時,增加列時,先刪除索引,之後在加上索引會更快。

54、為不同的需求選擇不同的儲存引擎。

55、日誌表或審計表使用ARCHIVE儲存引擎 — 寫的效率更高。

56、將 session 資料儲存在 memcache 中,而不是 MySQL 中 — memcache 可以設定自動過期,防止MySQL對臨時資料高成本的讀寫操作。

57、如果字串的長度是可變的,則使用VARCHAR代替CHAR — 節約空間,因為CHAR是固定長度,而VARCHAR不是(utf8 不受這個影響)。

58、逐步對 schema 做修改 — 一個小的變化將產生的巨大的影響。

59、在開發環境測試所有 schema 變動,而不是在生產環境的映象上去做。

60、不要隨意改變你的配置檔案,這可能產生非常大的影響。

61、有時候,少量的配置會更好。

62、質疑使用通用的MySQL配置檔案。

查詢優化:

63、使用慢查詢日誌,找出執行慢的查詢。

64、使用 EXPLAIN 來決定查詢功能是否合適。

65、經常測試你的查詢,看是否需要做效能優化 — 效能可能會隨著時間的變化而變化。

66、避免在整個表上使用count(*) ,它可能會將整個表鎖住。

67、保持查詢一致,這樣後續類似的查詢就能使用查詢快取了。

68、如果合適,用 GROUP BY 代替 DISTINCT。

69、在 WHERE、GROUP BY 和 ORDER BY 的列上加上索引。

70、保證索引簡單,不要在同一列上加多個索引。

71、有時,MySQL 會選擇錯誤的索引,這種情況使用 USE INDEX。

72、使用 SQL_MODE=STRICT 來檢查問題。

73、索引欄位少於5個時,UNION 操作用 LIMIT,而不是 OR。

74、使用 INSERT ON DUPLICATE KEY 或 INSERT IGNORE 來代替 UPDATE,避免 UPDATE 前需要先 SELECT。

75、使用索引欄位和 ORDER BY 來代替 MAX。

76、避免使用 ORDER BY RAND()。

77、LIMIT M,N 在特定場景下會降低查詢效率,有節制使用。

78、使用 UNION 來代替 WHERE 子句中的子查詢。

79、對 UPDATE 來說,使用 SHARE MODE 來防止排他鎖。

80、重啟 MySQL 時,記得預熱資料庫,確保將資料載入到記憶體,提高查詢效率。

81、使用 DROP TABLE ,然後再 CREATE TABLE ,而不是 DELETE FROM ,以刪除表中所有資料。

82、最小化你要查詢的資料,只獲取你需要的資料,通常來說不要使用 *。

83、考慮持久連線,而不是多次建立連線,已減少資源的消耗。

84、基準查詢,包括伺服器的負載,有時一個簡單的查詢會影響其他的查詢。

85、當伺服器的負載增加時,使用SHOW PROCESSLIST來檢視慢的/有問題的查詢。

86、在存有生產環境資料副本的開發環境中,測試所有可疑的查詢。

MySQL備份過程:

87、在二級複製伺服器上進行備份。

88、備份過程中停止資料的複製,以防止出現資料依賴和外來鍵約束的不一致。

89、徹底停止MySQL之後,再從資料檔案進行備份。

90、如果使用MySQL dump進行備份,請同時備份二進位制日誌 — 確保複製過程不被中斷。

91、不要信任 LVM 快照的備份 — 可能會建立不一致的資料,將來會因此產生問題。

92、為每個表做一個備份,這樣更容易實現單表的恢復 — 如果資料與其他表是相互獨立的。

93、使用 mysqldump 時,指定 -opt 引數。

94、備份前檢測和優化表。

95、臨時禁用外來鍵約束,來提高匯入的速度。

96、臨時禁用唯一性檢查,來提高匯入的速度。

97、每次備份完後,計算資料庫/表資料和索引的大小,監控其增長。

98、使用定時任務(cron)指令碼,來監控從庫複製的錯誤和延遲。

99、定期備份資料。

100、定期測試備份的資料。

相關文章