Mysql資料庫大表最佳化方案和Mysql大表最佳化步驟

發表於2019-03-07

MySQL單表記錄數過大時,增刪改查效能都會急劇下降,可以參考以下步驟來最佳化。

單表最佳化

除非單表資料未來會一直不斷上漲,否則不要一開始就考慮拆分,拆分會帶來邏輯、部署、運維的各種複雜度,一般以整型值為主的表在 千萬級以下,字串為主的表在 五百萬以下是沒有太大問題的。而事實上很多時候MySQL單表的效能依然有不少最佳化空間,甚至能正常支撐千萬級以上的資料量。

欄位

  • 儘量使用 TINYINT、 SMALLINT、 MEDIUM_INT作為整數型別而非 INT,如果非負則加上 UNSIGNED

  • VARCHAR的長度只分配真正需要的空間

  • 使用列舉或整數代替字串型別

  • 儘量使用 TIMESTAMP而非 DATETIME

  • 單表不要有太多欄位,建議在20以內

  • 避免使用NULL欄位,很難查詢最佳化且佔用額外索引空間

  • 用整型來存IP

索引

  • 索引並不是越多越好,要根據查詢有針對性的建立,考慮在 WHERE和 ORDER BY命令上涉及的列建立索引,可根據 EXPLAIN來檢視是否用了索引還是全表掃描

  • 應儘量避免在 WHERE子句中對欄位進行 NULL值判斷,否則將導致引擎放棄使用索引而進行全表掃描

  • 值分佈很稀少的欄位不適合建索引,例如"性別"這種只有兩三個值的欄位

  • 字元欄位只建字首索引

  • 字元欄位最好不要做主鍵

  • 不用外來鍵,由程式保證約束

  • 儘量不用 UNIQUE,由程式保證約束

  • 使用多列索引時主意順序和查詢條件保持一致,同時刪除不必要的單列索引

查詢SQL

  • 可透過開啟慢查詢日誌來找出較慢的SQL

  • 不做列運算: SELECT id WHERE age+1=10,任何對列的操作都將導致表掃描,它包括資料庫教程函式、計算表示式等等,查詢時要儘可能將操作移至等號右邊

  • sql語句儘可能簡單:一條sql只能在一個CPU運算;大語句拆小語句,減少鎖時間;一條大sql可以堵死整個庫

  • 不用 SELECT*

  • OR改寫成 IN: OR的效率是n級別, IN的效率是log(n)級別,in的個數建議控制在200以內

  • 不用函式和觸發器,在應用程式實現

  • 避免 %xxx式查詢

  • 少用 JOIN

  • 使用同型別進行比較,比如用 '123'和 '123'比, 123和 123

  • 儘量避免在 WHERE子句中使用!=或<>運算子,否則將引擎放棄使用索引而進行全表掃描

  • 對於連續數值,使用 BETWEEN不用 IN: SELECT id FROM t WHERE num BETWEEN1AND5

  • 列表資料不要拿全表,要使用 LIMIT來分頁,每頁數量也不要太大

引擎

目前廣泛使用的是MyISAM和InnoDB兩種引擎:

MyISAM

MyISAM引擎是MySQL 5.1及之前版本的預設引擎,它的特點是:

  • 不支援行鎖,讀取時對需要讀到的所有表加鎖,寫入時則對錶加排它鎖

  • 不支援事務

  • 不支援外來鍵

  • 不支援崩潰後的安全恢復

  • 在表有讀取查詢的同時,支援往表中插入新紀錄

  • 支援 BLOB和 TEXT的前500個字元索引,支援全文索引

  • 支援延遲更新索引,極大提升寫入效能

  • 對於不會進行修改的表,支援壓縮表,極大減少磁碟空間佔用

InnoDB

InnoDB在MySQL 5.5後成為預設索引,它的特點是:

  • 支援行鎖,採用MVCC來支援高併發

  • 支援事務

  • 支援外來鍵

  • 支援崩潰後的安全恢復

  • 不支援全文索引

總體來講,MyISAM適合 SELECT密集型的表,而InnoDB適合 INSERT和 UPDATE密集型的表

系統調優引數

可以使用下面幾個工具來做基準測試:

  • sysbench:一個模組化,跨平臺以及多執行緒的效能測試工具

  • iibench-mysql:基於 Java 的 MySQL/Percona/MariaDB 索引進行插入效能測試工具

  • tpcc-mysql:Percona開發的TPC-C測試工具

具體的調優引數內容較多,具體可參考官方文件,這裡介紹一些比較重要的引數:

  • backlog:backlog值指出在MySQL暫時停止回答新請求之前的短時間內多少個請求可以被存在堆疊中。也就是說,如果MySql的連線資料達到maxconnections時,新來的請求將會被存在堆疊中,以等待某一連線釋放資源,該堆疊的數量即backlog,如果等待連線的數量超過back_log,將不被授予連線資源。可以從預設的50升至500

  • wait_timeout:資料庫連線閒置時間,閒置連線會佔用記憶體資源。可以從預設的8小時減到半小時

  • maxuserconnection: 最大連線數,預設為0無上限,最好設一個合理上限

  • thread_concurrency:併發執行緒數,設為CPU核數的兩倍

  • skipnameresolve:禁止對外部連線進行DNS解析,消除DNS解析時間,但需要所有遠端主機用IP訪問

  • keybuffersize:索引塊的快取大小,增加會提升索引處理速度,對MyISAM表效能影響最大。對於記憶體4G左右,可設為256M或384M,透過查詢 show status like'key_read%',保證 key_reads/key_read_requests在0.1%以下最好

  • innodbbufferpool_size:快取資料塊和索引塊,對InnoDB表效能影響最大。透過查詢 show status like'Innodb_buffer_pool_read%',保證 (Innodb_buffer_pool_read_requests–Innodb_buffer_pool_reads)/Innodb_buffer_pool_read_requests越高越好

  • innodbadditionalmempoolsize:InnoDB儲存引擎用來存放資料字典資訊以及一些內部資料結構的記憶體空間大小,當資料庫物件非常多的時候,適當調整該引數的大小以確保所有資料都能存放在記憶體中提高訪問效率,當過小的時候,MySQL會記錄Warning資訊到資料庫的錯誤日誌中,這時就需要該調整這個引數大小

  • innodblogbuffer_size:InnoDB儲存引擎的事務日誌所使用的緩衝區,一般來說不建議超過32MB

  • querycachesize:快取MySQL中的ResultSet,也就是一條SQL語句執行的結果集,所以僅僅只能針對select語句。當某個表的資料有任何任何變化,都會導致所有引用了該表的select語句在Query Cache中的快取資料失效。所以,當我們的資料變化非常頻繁的情況下,使用Query Cache可能會得不償失。根據命中率 (Qcache_hits/(Qcache_hits+Qcache_inserts)*100))進行調整,一般不建議太大,256MB可能已經差不多了,大型的配置型靜態資料可適當調大. 可以透過命令 show status like'Qcache_%'檢視目前系統Query catch使用大小

  • readbuffersize:MySql讀入緩衝區大小。對錶進行順序掃描的請求將分配一個讀入緩衝區,MySql會為它分配一段記憶體緩衝區。如果對錶的順序掃描請求非常頻繁,可以透過增加該變數值以及記憶體緩衝區大小提高其效能

  • sortbuffersize:MySql執行排序使用的緩衝大小。如果想要增加 ORDER BY的速度,首先看是否可以讓MySQL使用索引而不是額外的排序階段。如果不能,可以嘗試增加sortbuffersize變數的大小

  • readrndbuffer_size:MySql的隨機讀緩衝區大小。當按任意順序讀取行時(例如,按照排序順序),將分配一個隨機讀快取區。進行排序查詢時,MySql會首先掃描一遍該緩衝,以避免磁碟搜尋,提高查詢速度,如果需要排序大量資料,可適當調高該值。但MySql會為每個客戶連線發放該緩衝空間,所以應儘量適當設定該值,以避免記憶體開銷過大。

  • record_buffer:每個進行一個順序掃描的執行緒為其掃描的每張表分配這個大小的一個緩衝區。如果你做很多順序掃描,可能想要增加該值

  • threadcachesize:儲存當前沒有與連線關聯但是準備為後面新的連線服務的執行緒,可以快速響應連線的執行緒請求而無需建立新的

  • tablecache:類似於threadcache_size,但用來快取表檔案,對InnoDB效果不大,主要用於MyISAM

升級硬體

Scale up,這個不多說了,根據MySQL是CPU密集型還是I/O密集型,透過提升CPU和記憶體、使用SSD,都能顯著提升MySQL效能

讀寫分離

也是目前常用的最佳化,從庫讀主庫寫,一般不要採用雙主或多主引入很多複雜性,儘量採用文中的其他方案來提高效能。同時目前很多拆分的解決方案同時也兼顧考慮了讀寫分離

快取

快取可以發生在這些層次:

  • MySQL內部:在系統調優引數介紹了相關設定

  • 資料訪問層:比如MyBatis針對SQL語句做快取,而Hibernate可以精確到單個記錄,這裡快取的物件主要是持久化物件 PersistenceObject

  • 應用服務層:這裡可以透過程式設計手段對快取做到更精準的控制和更多的實現策略,這裡快取的物件是資料傳輸物件 DataTransferObject

  • Web層:針對web頁面做快取

  • 瀏覽器客戶端:使用者端的快取

可以根據實際情況在一個層次或多個層次結合加入快取。這裡重點介紹下服務層的快取實現,目前主要有兩種方式:

  • 直寫式(Write Through):在資料寫入資料庫後,同時更新快取,維持資料庫與快取的一致性。這也是當前大多數應用快取框架如Spring Cache的工作方式。這種實現非常簡單,同步好,但效率一般。

  • 回寫式(Write Back):當有資料要寫入資料庫時,只會更新快取,然後非同步批次的將快取資料同步到資料庫上。這種實現比較複雜,需要較多的應用邏輯,同時可能會產生資料庫與快取的不同步,但效率非常高。

相關文章