mysql千萬級資料量根據索引優化查詢速度

JackyTang發表於2018-05-08
MySql索引優化
 

（一）索引的作用

索引通俗來講就相當於書的目錄，當我們根據條件查詢的時候，沒有索引，便需要全表掃描，資料量少還可以，一旦資料量超過百萬甚至千萬，一條查詢sql執行往往需要幾十秒甚至更多，5秒以上就已經讓人難以忍受了。

提升查詢速度的方向一是提升硬體(記憶體、cpu、硬碟)，二是在軟體上優化（加索引、優化sql；優化sql不在本文闡述範圍之內）。

能在軟體上解決的，就不在硬體上解決，畢竟硬體提升程式碼昂貴，價效比太低。代價小且行之有效的解決方法就是合理的加索引。

索引使用得當，能使查詢速度提升上萬倍，效果驚人。

（二）mysql的索引型別：

mysql的索引有5種：主鍵索引、普通索引、唯一索引、全文索引、聚合索引（多列索引）。

唯一索引和全文索引用的很少，我們主要關注主鍵索引、普通索引和聚合索引。

1）主鍵索引：主鍵索引是加在主鍵上的索引，設定主鍵（primary key）的時候，mysql會自動建立主鍵索引；

2）普通索引：建立在非主鍵列上的索引；

3）聚合索引：建立在多列上的索引。

（三）索引的語法：

檢視某張表的索引：show index from 表名；

建立普通索引：alter table 表名 add index  索引名 (加索引的列) 

建立聚合索引：alter table 表名 add index  索引名 (加索引的列1,加索引的列2) 

刪除某張表的索引：drop index 索引名 on 表名;

（四）效能測試

測試環境：博主工作用桌上型電腦

處理器為Intel Core i5-4460 3.2GHz;

記憶體8G;

64位windows。

1：建立一張測試表

 

[sql] view plain copy
  1. DROP TABLE IF EXISTS `test_user`;  
  2. CREATE TABLE `test_user` (  
  3.   `id` bigint(20)  PRIMARY key not null AUTO_INCREMENT,  
  4.   `username` varchar(11) DEFAULT NULL,  
  5.   `gender` varchar(2) DEFAULT NULL,  
  6.   `password` varchar(100) DEFAULT NULL  
  7. ) ENGINE=MyISAM DEFAULT CHARSET=utf8;  

儲存引擎使用MyISAM是因為此引擎沒有事務，插入速度極快，方便我們快速插入千萬條測試資料，等我們插完資料，再把儲存型別修改為InnoDB。

 

2：使用儲存過程插入1千萬條資料

 

[sql] view plain copy
  1. create procedure myproc()   
  2. begin   
  3. declare num int;   
  4. set num=1;   
  5. while num <= 10000000 do   
  6. insert into test_user(username,gender,password) values(num,`保密`,PASSWORD(num));   
  7. set num=num+1;  
  8. end while;  
  9.  end  
[sql] view plain copy
  1. call myproc();  

由於使用的MyISAM引擎，插入1千萬條資料，僅耗時246秒，若是InnoDB引擎，插入100萬條資料就要花費數小時了。

 

然後將儲存引擎修改回InnDB。使用如下命令：  alter table test_user engine=InnoDB;此命令執行時間大約耗時5分鐘，耐心等待。

tips：這裡是測試，生產環境中不要隨意修改儲存引擎，還有alter table 操作，會鎖整張表，慎用。其次：myisam引擎沒有事務，且只是將資料寫到記憶體中，然後定期將資料刷出到磁碟上，因此突然斷電的情況下，會導致資料丟失。而InnDB引擎，是將資料寫入日誌中，然後定期刷出到磁碟上，所以不怕突然斷電等情況。因此在實際生產中能用InnDB則用。

3：sql測試

select id,username,gender,password from test_user where id=999999

耗時：0.114s。

因為我們建表的時候，將id設成了主鍵，所以執行此sql的時候，走了主鍵索引，查詢速度才會如此之快。

 

我們再執行select id,username,gender,password from test_user where username=`9000000`
耗時：4.613s。

 

我們給username列加上普通索引。

ALTER TABLE `test_user` ADD INDEX index_name(username) ;

此過程大約耗時 54.028s,建索引的過程會全表掃描，逐條建索引，當然慢了。

再來執行：selectid,username,gender,password from test_user where username=`9000000`
耗時：0.043s。

 

再用username和password來聯合查詢

select id,username,gender,password  from test_user where username=`9000000` or `password`=`*3A70E147E88D99888804E4D472410EFD9CD890AE`

此時雖然我們隊username加了索引，但是password列未加索引，索引執行password篩選的時候，還是會全表掃描，因此此時

查詢速度立馬降了下來。

耗時：4.492s。

 

當我們的sql有多個列的篩選條件的時候，就需要對查詢的多個列都加索引組成聚合索引：

加上聚合索引：ALTER TABLE `test_user` ADD INDEX index_union_name_password(username,password)
再來執行：

耗時：0.001s。

 

開篇也說過軟體層面的優化一是合理加索引；二是優化執行慢的sql。此二者相輔相成，缺一不可，如果加了索引，還是查詢很慢，這時候就要考慮是sql的問題了，優化sql。

實際生產中的sql往往比較複雜，如果資料量過了百萬，加了索引後效果還是不理想，使用叢集。

 

Tips：

1：加了索引，依然全表掃描的可能情況有：

索引列為字串，而沒帶引號；

索引列沒出現在where條件後面；

索引列出現的位置沒在前面。

2：關聯查詢不走索引的可能情況有：

關聯的多張表的字符集不一樣；

關聯的欄位的字符集不一樣；

儲存引擎不一樣；

欄位的長度不一樣。

相關文章