MySQL大資料下Limit使用
對於一直用Oracle的我,今天可是非常詫異,MySQL中同一個函式在不同數量級上的效能居然差距如此之大。
先看錶ibmng(id,title,info) 唯一 id key 索引title
先看看兩條語句:
select * from ibmng limit 1000000,10
select * from ibmng limit 10,10
很多人都會認為不會有多大差別,但是他們都錯了,差別太大了,(可能機器不同有點差距,但絕對10倍以上)具體執行時間留給好奇的同學。
這是為什麼呢,都是offset的錯!
優化的話你可以想方法減小offset,如以下:
Select * From ibmng Where id >=(
Select id From ibmng Order By id limit 1000000,1
) limit 10
大家一定會看到問題, limit 1000000,1 同樣offset不是一樣大嗎,肯定不能優化。(但是,又錯了,執行之後才知道結果!)
原因是id是索引,所有快,那麼如下sql呢:
select id from ibmng where title='mysql' order by id limit 1000000,10;
這條sql大家又會猜錯,同樣慢的跟蝸牛一樣。(在此大家都會想title加了索引啊怎麼會這樣!)
接下來大家再執行一條sql如下:
select id from ibmng where title='mysql' limit 1000000,10;
執行之後你會發現速度是sousou的快!
原因看出來了吧,都是用了索引的原因,如果你要用select id from ibmng where title='mysql' order by id limit 1000000,10; 那麼就追加複合索引(title,id )吧!
注意:接下來與limit無關!
最後回到我現在的場景,如果千萬級別的資料分批次讀取統計的話,不要使用limit最好,用主鍵範圍判斷最佳!(eg:id<=1001000 and id>=1000001)
相關文章
- MySQL下Limit使用及效能分析MySqlMIT
- mysql 使用技巧 分頁limitMySqlMIT
- 【Mysql學習】LIMIT的使用MySqlMIT
- 【Mysql 學習】LIMIT 的使用MySqlMIT
- MySQL order by limit 分頁資料重複問題MySqlMIT
- mysql中limit的用法詳解[資料分頁常用]MySqlMIT
- 解決MySQL使用limit偏移量較大效率慢的問題MySqlMIT
- MySQL LIMIT 如何改寫成Oracle limitMySqlMITOracle
- 關於mysql 子查詢中 使用 limitMySqlMIT
- postgresql和mysql中的limit使用方法MySqlMIT
- Mysql LIMIT的用法MySqlMIT
- MySQL中limit的用法MySqlMIT
- Ubuntu下Mysql資料庫的安裝和使用UbuntuMySql資料庫
- 大資料下的資料安全大資料
- MySQL中ORDER BY與LIMIT一起使用(有坑)MySqlMIT
- mysql limit語句優化MySqlMIT優化
- MYSQL 大資料效能優化MySql大資料優化
- MySQL等資料庫和大資料誰快?MySql資料庫大資料
- 如何在Windows下使用DOS命令進入MySQL資料庫?WindowsMySql資料庫
- 大資料分析之資料下鑽上卷大資料
- mysql分頁-limit offset分頁MySqlMIT
- MySQL 5.7 LIMIT語句介紹MySqlMIT
- MySQL LIMIT 和 ORDER BY 最佳化MySqlMIT
- MySQL資料庫使用(二)MySql資料庫
- 【大資料】科普一下大資料的那些事兒大資料
- 大資料下網站資料分析應用大資料網站
- mysql 5.7後使用sys資料庫下的表查詢資料庫效能狀況MySql資料庫
- Windows 下 MySQL 資料匯入 RedisWindowsMySqlRedis
- 帶你讀 MySQL 原始碼:limit, offsetMySql原始碼MIT
- 大資料,大資料,大資料大資料
- MySQL更新資料,如何使用updateMySql
- python使用mysql資料庫PythonMySql資料庫
- 使用OTL操作MySQL資料庫MySql資料庫
- 使用MySQL之過濾資料MySql
- 資料庫三大正規化 Mysql資料庫MySql
- mysql大資料高併發處理MySql大資料
- Laravel 中 offset,limit 的使用LaravelMIT
- SQL之limit子句的使用SQLMIT