MySQL——優化巢狀查詢和分頁查詢

CoderFocus發表於2018-11-01

mark

優化巢狀查詢

巢狀查詢(子查詢)可以使用SELECT語句來建立一個單列的查詢結果,然後把這個結果作為過濾條件用在另一個查詢中。巢狀查詢寫起來簡單,也容易理解。但是,有時候可以被更有效率的連線(JOIN)替代。

現在假如要找出從來沒有在網站中消費的客戶,也就是查詢在客戶customer表中但是不在支付payment表中的客戶資訊。

巢狀查詢:

explain select * from customer where customer_id not in (select customer_id from payment);

mark

連線改寫:

explain select * from customer a left join payment b on a.customer_id = b.customer_id where b.customer_id is null;

mark

畫外音:連線查詢效率更高的原因,是因為MySQL不需要在記憶體中建立臨時表來完成這個邏輯上需要兩個步驟的查詢工作;並且Not exists表示MYSQL優化了LEFT JOIN,一旦它找到了匹配LEFT JOIN標準的行, 就不再搜尋了。

優化分頁查詢

在MySQL中做分頁查詢,MySQL 並不是跳過 offset 行,而是取 offset+N 行,然後返回放棄前 offset 行,返回 N 行,那當 offset 特別大的時候,效率就非常的低下。例如“limit 1000,20”,此時MySQL排序出前1020條資料後僅僅需要第1001到1020條記錄,前1000條資料都會被拋棄,查詢和排序的代價非常高。由此可見MySQL的分頁處理並不是十分完美,需要我們在分頁SQL上做一些優化,要麼控制返回的總頁數,要麼對超過特定閾值的頁數進行 SQL 改寫

畫外音:控制返回的總頁數並不是那麼靠譜,畢竟每頁的資料量也不能過大,資料多起來之後,控制返回的總頁數就變的不現實了。所以還是要對超過特定閾值的頁數進行 SQL 改寫

現在假設要對電影表film排序後取某一頁資料

explain select * from film order by title limit 50,5;

mark

可以看到優化器實際上做了全表掃描,處理效率不高。

第一種優化思路

在索引上完成排序分頁的操作,最後根據主鍵關聯回表查詢所需要的其他列內容。

畫外音:此處涉及到了SQL優化的兩個重要概念,索引覆蓋和回表,我在前面的文章中詳細介紹過這兩個概念。通過索引覆蓋在索引上完成掃描和排序(索引有序),最後通過主鍵(InnoDB引擎索引會通過主鍵回表)回表查詢,最大限度減少回表查詢的I/O次數。

explain select * from film a inner join (select film_id from film order by title limit 50,5)b on a.film_id = b.film_id;

mark

第二種優化思路

把LIMIT查詢轉換成某個位置的查詢,減少分頁翻頁的壓力。

假設現在每頁10條資料,要取第42頁的資料。

explain select * from film order by title limit 410,10;

mark

現在需要多傳一個引數,就是上一頁(第41頁)的最後一條資料的主題title,

mark

SQL可以改寫為:

explain select * from film where title>'HOLES BRANNIGAN' order by title limit 10;

mark

這樣就把LIMIT m,n 轉換成了LIMIT n的查詢,但是這種方案只適合在不會出現重複值的特定環境,否則分頁結果可能會丟失資料。

總結

對於巢狀查詢和分頁查詢的優化,歸根結底就是遵循SQL優化原則之一——減少回表查詢的I/O次數。對於分頁查詢優化,更建議使用第一種優化方案,效能更好,穩定性更高。

參考

《深入淺出MySQL》

作者:CoderFocus
微信公眾號:

MySQL——優化巢狀查詢和分頁查詢


相關文章