在大資料情況下MySQL的一種簡單分頁最佳化方法
通常應用需要對錶中的資料進行翻頁,如果資料量很大,往往會帶來效能上的問題:
?
12345678910111213141516171819202122232425 |
root@sns 07:16:25> select count (*) from reply_0004 where thread_id = 5616385 and deleted = 0; +———-+ | count (*) | +———-+ | 1236795 | +———-+ 1 row in set (0.44 sec) root@sns 07:16:30> select id from reply_0004 where thread_id = 5616385 and deleted = 0 order by id asc limit 1236785, 10 ; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (1.32 sec)
|
索引:threa_id+deleted+id(gmt_Create)
10 rows in set (1.32 sec)
這兩條sql是為查詢最後一頁的翻頁sql查詢用的。由於一次翻頁往往只需要查詢較小的資料,如10條,但需要向後掃描大量的資料,也就是越往後的翻頁查詢,掃描的資料量會越多,查詢的速度也就越來越慢。
由於查詢的資料量大小是固定的,如果查詢速度不受翻頁的頁數影響,或者影響最低,那麼這樣是最佳的效果了(查詢最後最幾頁的速度和開始幾頁的速度一致)。
在翻頁的時候,往往需要對其中的某個欄位做排序(這個欄位在索引中),升序排序。那麼可不可以利用索引的有序性來解決上面遇到的問題喃,答案是肯定的。比如有10000條資料需要做分頁,那麼前5000條做asc排序,後5000條desc排序,在limit startnum,pagesize引數中作出相應的調整。
但是這無疑給應用程式帶來複雜,這條sql是用於論壇回覆帖子的sql,往往使用者在看帖子的時候,一般都是檢視前幾頁和最後幾頁,那麼在翻頁的時候最後幾頁的翻頁查詢採用desc的方式來實現翻頁,這樣就可以較好的提高效能:
?
1234567891011121314151617181920212223242526272829303132333435 |
root@snsgroup 07:16:49> select * from ( select id -> from group_thread_reply_0004 where thread_id = 5616385 and deleted = 0 -> order by id desc limit 0, 10)t order by t.id asc ; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (0.87 sec)
|
可以看到效能提升了50%以上。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2524/viewspace-2805478/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Mysql兩種情況下更新欄位中部分資料的方法MySql
- 簡單介紹MySQL索引失效的幾種情況MySql索引
- 情況最簡單下的爬蟲案例爬蟲
- MySQL 海量資料的 5 種分頁方法和優化技巧MySql優化
- 公司使用大資料的基本情況大資料
- 什麼情況下需要搭建大資料平臺大資料
- MySQL異常恢復之無主鍵情況下innodb資料恢復的方法MySql資料恢復
- 兩種簡單分析和優化MySQL資料庫表的方法優化MySql資料庫
- RabbitMQ如何解決各種情況下丟資料的問題MQ
- MySQL 百萬級資料量分頁查詢方法及其最佳化MySql
- 資料庫分頁;簡單整理測試資料庫
- 火狐是否在未經授權的情況下蒐集您的資料?
- MySQL什麼情況下刪除資料會釋放空間MySql
- MYSQL索引失效的各種情況小結MySql索引
- MySQL必須flush privileges的兩種情況MySql
- mysql大資料量分頁查詢方法及其優化MySql大資料優化
- 在不清楚資料表欄位資料分佈的情況下,應該建立什麼型別的索引?型別索引
- 企業在什麼情況下引入分散式資料庫?分散式資料庫
- 在這種情況下如何節約記憶體使用?記憶體
- 資料檔案OFFLINE的3種情況
- MongoDB批量插入大資料文件的簡單方法一例MongoDB大資料
- 3.1.5.3 在不掛載資料庫的情況下啟動例項資料庫
- oracle 字符集錯誤情況處理簡單方法Oracle
- MySQL效能最佳化盲區(高併發情況下,事務內的資料先更新還是先查詢?)MySql
- ASP資料分頁方法
- 一次簡單的分頁優化優化
- 資料泵匯入-在物件已存在的情況下執行匯入物件
- MySql、SqlServer、Oracle 三種資料庫查詢分頁方式MySqlServerOracle資料庫
- 一次資料庫的簡單效能最佳化資料庫
- 一種簡單易懂的 MyBatis 分庫分表方案MyBatis
- 資料庫在沒有備份的情況下的資料檔案損壞的恢復資料庫
- oracle11g在沒DNS情況下failover的配置方法OracleDNSAI
- MySQL簡單最佳化MySql
- 四種AD安裝的情況以及配置方法
- ORACLE 在缺少主鍵ID的情況下刪除重複資料,只保留一行Oracle
- 簡單介紹2種Java讀取Oracle大欄位資料(CLOB)的方法JavaOracle
- mysql分頁時offset過大的Sql最佳化經驗分享MySql
- mysql資料庫查詢時用到的分頁方法有哪些MySql資料庫