在大資料情況下MySQL的一種簡單分頁最佳化方法
通常應用需要對錶中的資料進行翻頁,如果資料量很大,往往會帶來效能上的問題:
?
12345678910111213141516171819202122232425 |
root@sns 07:16:25> select count (*) from reply_0004 where thread_id = 5616385 and deleted = 0; +———-+ | count (*) | +———-+ | 1236795 | +———-+ 1 row in set (0.44 sec) root@sns 07:16:30> select id from reply_0004 where thread_id = 5616385 and deleted = 0 order by id asc limit 1236785, 10 ; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (1.32 sec)
|
索引:threa_id+deleted+id(gmt_Create)
10 rows in set (1.32 sec)
這兩條sql是為查詢最後一頁的翻頁sql查詢用的。由於一次翻頁往往只需要查詢較小的資料,如10條,但需要向後掃描大量的資料,也就是越往後的翻頁查詢,掃描的資料量會越多,查詢的速度也就越來越慢。
由於查詢的資料量大小是固定的,如果查詢速度不受翻頁的頁數影響,或者影響最低,那麼這樣是最佳的效果了(查詢最後最幾頁的速度和開始幾頁的速度一致)。
在翻頁的時候,往往需要對其中的某個欄位做排序(這個欄位在索引中),升序排序。那麼可不可以利用索引的有序性來解決上面遇到的問題喃,答案是肯定的。比如有10000條資料需要做分頁,那麼前5000條做asc排序,後5000條desc排序,在limit startnum,pagesize引數中作出相應的調整。
但是這無疑給應用程式帶來複雜,這條sql是用於論壇回覆帖子的sql,往往使用者在看帖子的時候,一般都是檢視前幾頁和最後幾頁,那麼在翻頁的時候最後幾頁的翻頁查詢採用desc的方式來實現翻頁,這樣就可以較好的提高效能:
?
1234567891011121314151617181920212223242526272829303132333435 |
root@snsgroup 07:16:49> select * from ( select id -> from group_thread_reply_0004 where thread_id = 5616385 and deleted = 0 -> order by id desc limit 0, 10)t order by t.id asc ; +———–+ | id | +———–+ | 162436798 | | 162438180 | | 162440102 | | 162442044 | | 162479222 | | 162479598 | | 162514705 | | 162832588 | | 162863394 | | 162899685 | +———–+ 10 rows in set (0.87 sec)
|
可以看到效能提升了50%以上。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/2524/viewspace-2805478/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Mysql兩種情況下更新欄位中部分資料的方法MySql
- 簡單介紹MySQL索引失效的幾種情況MySql索引
- MySQL 海量資料的 5 種分頁方法和優化技巧MySql優化
- 情況最簡單下的爬蟲案例爬蟲
- 一種小資源情況下RDS資料實時同步StarRocks方案
- 兩種簡單分析和優化MySQL資料庫表的方法優化MySql資料庫
- MySQL異常恢復之無主鍵情況下innodb資料恢復的方法MySql資料恢復
- MySQL 百萬級資料量分頁查詢方法及其最佳化MySql
- RabbitMQ如何解決各種情況下丟資料的問題MQ
- 什麼情況下需要搭建大資料平臺大資料
- 請在這幾種情況下匯入TPM管理
- 火狐是否在未經授權的情況下蒐集您的資料?
- MYSQL索引失效的各種情況小結MySql索引
- 企業在什麼情況下引入分散式資料庫?分散式資料庫
- 3.1.5.3 在不掛載資料庫的情況下啟動例項資料庫
- MySQL效能最佳化盲區(高併發情況下,事務內的資料先更新還是先查詢?)MySql
- mysql資料庫查詢時用到的分頁方法有哪些MySql資料庫
- 一次簡單的分頁優化優化
- MySQL簡單最佳化MySql
- 在vue框架中使用axios對接介面訪問資料的四種情況Vue框架iOS
- 簡單介紹2種Java讀取Oracle大欄位資料(CLOB)的方法JavaOracle
- 一種簡單易懂的 MyBatis 分庫分表方案MyBatis
- mysql分頁時offset過大的Sql最佳化經驗分享MySql
- 使用聯合索引的一種情況索引
- 簡單瞭解一下大資料的一些基本概念大資料
- ORACLE 在缺少主鍵ID的情況下刪除重複資料,只保留一行Oracle
- 推薦一種簡單的在Flutter中分離View與Model的方法FlutterView
- 如何寫一個簡單的分頁元件(原理)元件
- SQL Server在分頁獲取資料的同時獲取到總記錄數的兩種方法SQLServer
- MySQL分頁查詢offset過大,Sql最佳化經驗MySql
- 資料庫事務併發問題----各種事務隔離下的情況資料庫
- php 分頁 分頁類 簡單實用PHP
- 5 種在 Ubuntu 上釋放空間的簡單方法Ubuntu
- 如何檢視MySQL資料庫一段時間內的連線情況?兩種方式來解鎖~MySql資料庫
- NoClassDefFoundError的兩種情況Error
- Qt 彈出的子頁面在未關閉的情況下,關閉主窗體,程式不退出的情況解決QT
- MySQL建立資料庫的兩種方法MySql資料庫
- mysql最佳化通常使用的幾種方法MySql