mysql千萬級資料量根據索引最佳化查詢速度
(一)索引的作用
索引通俗來講就相當於書的目錄,當我們根據條件查詢的時候,沒有索引,便需要全表掃描,資料量少還可以,一旦資料量超過百萬甚至千萬,一條查詢sql執行往往需要幾十秒甚至更多,5秒以上就已經讓人難以忍受了。
提升查詢速度的方向一是提升硬體(記憶體、cpu、硬碟),二是在軟體上最佳化(加索引、最佳化sql;最佳化sql不在本文闡述範圍之內)。
能在軟體上解決的,就不在硬體上解決,畢竟硬體提升程式碼昂貴,價效比太低。代價小且行之有效的解決方法就是合理的加索引。
索引使用得當,能使查詢速度提升上萬倍,效果驚人。
(二)mysql的索引型別:
mysql的索引有5種:主鍵索引、普通索引、唯一索引、全文索引、聚合索引(多列索引)。
唯一索引和全文索引用的很少,我們主要關注主鍵索引、普通索引和聚合索引。
1)主鍵索引:主鍵索引是加在主鍵上的索引,設定主鍵(primary key)的時候,mysql會自動建立主鍵索引;
2)普通索引:建立在非主鍵列上的索引;
3)聚合索引:建立在多列上的索引。
(三)索引的語法:
檢視某張表的索引:show index from 表名;
建立普通索引:alter table 表名 add index 索引名 (加索引的列)
建立聚合索引:alter table 表名 add index 索引名 (加索引的列1,加索引的列2)
刪除某張表的索引:drop index 索引名 on 表名;
(四)效能測試
測試環境:博主工作用桌上型電腦
處理器為Intel Core i5-4460 3.2GHz;
記憶體8G;
64位windows。
1:建立一張測試表
DROP TABLE IF EXISTS `test_user`;
CREATE TABLE `test_user` (
`id` bigint(20) PRIMARY key not null AUTO_INCREMENT,
`username` varchar(11) DEFAULT NULL,
`gender` varchar(2) DEFAULT NULL,
`password` varchar(100) DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
儲存引擎使用MyISAM是因為此引擎沒有事務,插入速度極快,方便我們快速插入千萬條測試資料,等我們插完資料,再把儲存型別修改為InnoDB。
2:使用儲存過程插入1千萬條資料
create procedure myproc()
begin
declare num int;
set num=1;
while num
insert into test_user(username,gender,password) values(num,'保密',PASSWORD(num));
set num=num+1;
end while;
end
call myproc();
由於使用的MyISAM引擎,插入1千萬條資料,僅耗時246秒,若是InnoDB引擎,插入100萬條資料就要花費數小時了。
然後將儲存引擎修改回InnDB。使用如下命令: alter table test_user engine=InnoDB;此命令執行時間大約耗時5分鐘,耐心等待。
tips:這裡是測試,生產環境中不要隨意修改儲存引擎,還有alter table 操作,會鎖整張表,慎用。其次:myisam引擎沒有事務,且只是將資料寫到記憶體中,然後定期將資料刷出到磁碟上,因此突然斷電的情況下,會導致資料丟失。而InnDB引擎,是將資料寫入日誌中,然後定期刷出到磁碟上,所以不怕突然斷電等情況。因此在實際生產中能用InnDB則用。
3:sql測試
select id,username,gender,password from test_user where id=999999
耗時:0.114s。
因為我們建表的時候,將id設成了主鍵,所以執行此sql的時候,走了主鍵索引,查詢速度才會如此之快。
我們再執行select id,username,gender,password from test_user where username='9000000'
耗時:4.613s。
我們給username列加上普通索引。
ALTER TABLE `test_user` ADD INDEX index_name(username) ;
此過程大約耗時 54.028s,建索引的過程會全表掃描,逐條建索引,當然慢了。
再來執行:selectid,username,gender,password from test_user where username='9000000'
耗時:0.043s。
再用username和password來聯合查詢
select id,username,gender,password from test_user where username='9000000' or `password`='*3A70E147E88D99888804E4D472410EFD9CD890AE'
此時雖然我們隊username加了索引,但是password列未加索引,索引執行password篩選的時候,還是會全表掃描,因此此時
查詢速度立馬降了下來。
耗時:4.492s。
當我們的sql有多個列的篩選條件的時候,就需要對查詢的多個列都加索引組成聚合索引:
加上聚合索引:ALTER TABLE `test_user` ADD INDEX index_union_name_password(username,password)
再來執行:
耗時:0.001s。
開篇也說過軟體層面的最佳化一是合理加索引;二是最佳化執行慢的sql。此二者相輔相成,缺一不可,如果加了索引,還是查詢很慢,這時候就要考慮是sql的問題了,最佳化sql。
實際生產中的sql往往比較複雜,如果資料量過了百萬,加了索引後效果還是不理想,使用叢集。
Tips:
1:加了索引,依然全表掃描的可能情況有:
索引列為字串,而沒帶引號;
索引列沒出現在where條件後面;
索引列出現的位置沒在前面。
2:關聯查詢不走索引的可能情況有:
關聯的多張表的字符集不一樣;
關聯的欄位的字符集不一樣;
儲存引擎不一樣;
欄位的長度不一樣。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/3016/viewspace-2808890/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- mysql千萬級資料量根據索引優化查詢速度MySql索引優化
- 根據表查詢索引資訊索引
- MySQL 百萬級資料量分頁查詢方法及其最佳化MySql
- 千萬級資料庫使用索引查詢速度更慢的疑惑-資料回表問題資料庫索引
- 30個MySQL千萬級大資料SQL查詢最佳化技巧詳解MySql大資料
- 大資料量資料查詢最佳化大資料
- msyql千萬級別查詢優化之索引優化索引
- ElasticSearch第4篇(億級中文資料量 ElasticSearch與Sphinx建索引速度、查詢速度、併發效能、實測對比)Elasticsearch索引
- mysql group by 執行原理及千萬級別count 查詢最佳化MySql
- 提高mysql千萬級大資料SQL查詢優化30條經驗(Mysql索引優化注意)MySql大資料優化索引
- mysql like查詢 - 根據多個條件的模糊匹配查詢MySql
- mysql根據節點查詢所有葉節點MySql
- MySQL關於根據日期查詢資料的sql語句MySql
- 大資料量查詢容易OOM?試試MySQL流式查詢大資料OOMMySql
- 根據父表查詢子表
- 根據PID查詢 sqlSQL
- 對SQLServer錯誤使用聚集索引的優化案例(千萬級資料量)SQLServer索引優化
- MySQL索引原理及慢查詢最佳化MySql索引
- 比較有索引和無索引的查詢速度(在mysql資料庫中)索引MySql資料庫
- Mysql利用Like支援根據匹配度進行查詢MySql
- 千萬級資料深分頁查詢SQL效能最佳化實踐SQL
- MySQL-10.索引最佳化與查詢最佳化MySql索引
- 根據查詢條件批量修改表資料
- mysql根據查詢結果批量更新多條資料(插入或更新)MySql
- 微博根據手機號查詢
- 查詢資料量的大小
- MySQL自定義函式 根據一級部門查詢所有子部門 記錄貼MySql函式
- MySQL查詢最佳化方案彙總(索引相關)MySql索引
- 《MySQL 進階篇》十五:索引最佳化和查詢最佳化MySql索引
- linux根據字尾查詢文字Linux
- 根據欄位名查詢所有表
- 資料庫查詢和資料庫(MySQL)索引的最佳化建議資料庫MySql索引
- mysql 表資料量大量查詢慢如何優化MySql優化
- mysql大資料量分頁查詢方法及其優化MySql大資料優化
- MSSQL遍歷資料庫根據列值查詢資料SQL資料庫
- pid,sid相互查詢,根據PID查詢sqlSQL
- 如何快速最佳化幾千萬資料量的訂單表
- 根據日期來查詢mysql的binlog日誌的指令碼MySql指令碼