面試官:給你一段有問題的SQL,如何最佳化?
大家好,我是飄渺!
我在面試的時候很喜歡問候選人這樣一個問題:“你在專案中遇到過慢查詢問題嗎?你是怎麼做SQL最佳化的?”
很多時候,候選人會直接跟我說他們在編寫SQL時會遵循的一些常用技巧,比如:
合理使用索引 使用UNION ALL替代UNION 不要使用select * 寫法 JOIN欄位建議建立索引 避免複雜SQL語句
這裡不能說完全錯誤,因為這些技巧確實可以提高SQL執行效率;但是也不能說完全正確,畢竟我是想問他具體怎麼是做SQL最佳化的。
接下來我問他,我這裡有一段複雜的SQL,你可以動手幫我最佳化一下嗎?到這一步的時候就有很多候選人做不好打了退堂鼓。他們有很紮實的理論知識,但是動手能力卻差點火候。
今天這篇文章就從實戰的角度出發,帶大家走一遍SQL最佳化的真實流程。
找出有問題的SQL?
在實際開發中要判斷一段SQL有沒有問題可以從兩方面來判斷:
1、系統層面
CPU消耗嚴重 IO等待嚴重 頁面響應時間過長 應用的日誌出現超時等錯誤
2、SQL語句層面
冗長 執行時間過長 從全表掃描獲取資料 執行計劃中的rows、cost很大
冗長的SQL都好理解,一段SQL太長閱讀性肯定會差,出現問題的頻率肯定會更高。更進一步判斷SQL問題就必須得從執行計劃入手,如下所示:
執行計劃告訴我們本次查詢走了全表掃描Type=ALL
,rows很大(9950400)基本可以判斷這是一段"有味道"的SQL。
檢視SQL執行計劃?
找到了有問題的SQL就要確定最佳化方案,那究竟從何處下手呢?這裡必須要透過執行計劃來觀察。
執行計劃會告訴你哪些地方效率低,哪裡可以需要最佳化。我們以MYSQL為例,看看執行計劃是什麼。(每個資料庫的執行計劃都不一樣,需要自行了解)
explain select * from xxx
當使用explain sql
後會看到執行計劃
執行計劃中幾個重要欄位的解釋說明,大家需要記住
欄位 | 解釋 |
---|---|
id | 每個被獨立執行的操作標識,標識物件被操作的順序,id值越大,先被執行,如果相同,執行順序從上到下 |
select_type | 查詢中每個select 字句的型別 |
table | 被操作的物件名稱,通常是表名,但有其他格式 |
partitions | 匹配的分割槽資訊(對於非分割槽表值為NULL) |
type | 連線操作的型別 |
possible_keys | 可能用到的索引 |
key | 最佳化器實際使用的索引(最重要的列) 從最好到最差的連線型別為const 、eq_reg 、ref 、range 、index 和ALL 。當出現ALL 時表示當前SQL出現了“壞味道” |
key_len | 被最佳化器選定的索引鍵長度,單位是位元組 |
ref | 表示本行被操作物件的參照物件,無參照物件為NULL |
rows | 查詢執行所掃描的元組個數(對於innodb,此值為估計值) |
filtered | 條件表上資料被過濾的元組個數百分比 |
extra | 執行計劃的重要補充資訊,當此列出現Using filesort , Using temporary 字樣時就要小心了,很可能SQL語句需要最佳化 |
透過執行計劃我們就可以確定最佳化方案,最佳化一處後再回過頭來觀察執行計劃,如此往復迴圈直到找到最優目標為止。
下面給出一段有問題的SQL具體操作一下。
SQL最佳化案例
慢查詢
1、表結構如下:
CREATE TABLE `a`
(
`id` int(11) NOT NULLAUTO_INCREMENT,
`seller_id` bigint(20) DEFAULT NULL,
`seller_name` varchar(100) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL,
`gmt_create` varchar(30) DEFAULT NULL,
PRIMARY KEY (`id`)
);
CREATE TABLE `b`
(
`id` int(11) NOT NULLAUTO_INCREMENT,
`seller_name` varchar(100) DEFAULT NULL,
`user_id` varchar(50) DEFAULT NULL,
`user_name` varchar(100) DEFAULT NULL,
`sales` bigint(20) DEFAULT NULL,
`gmt_create` varchar(30) DEFAULT NULL,
PRIMARY KEY (`id`)
);
CREATE TABLE `c`
(
`id` int(11) NOT NULLAUTO_INCREMENT,
`user_id` varchar(50) DEFAULT NULL,
`order_id` varchar(100) DEFAULT NULL,
`state` bigint(20) DEFAULT NULL,
`gmt_create` varchar(30) DEFAULT NULL,
PRIMARY KEY (`id`)
);
2、有問題的查詢SQL
select a.seller_id,
a.seller_name,
b.user_name,
c.state
from a,
b,
c
where a.seller_name = b.seller_name
and b.user_id = c.user_id
and c.user_id = 17
and a.gmt_create
BETWEEN DATE_ADD(NOW(), INTERVAL – 600 MINUTE)
AND DATE_ADD(NOW(), INTERVAL 600 MINUTE)
order by a.gmt_create;
a,b,c 三張表關聯,查詢使用者17 在當前時間前後10個小時的訂單情況,並根據訂單建立時間升序排列
最佳化步驟
1、先檢視各表資料量
2、檢視原執行時間,總耗時0.21s
3、檢視原執行計劃
4、透過觀察執行計劃和SQL語句,確定初步最佳化方案
SQL中 where條件欄位型別要跟表結構一致,表中
user_id
為varchar(50)型別,實際SQL用的int型別,存在隱式轉換,也未新增索引。將b和c表user_id
欄位改成int型別。因存在b表和c表關聯,將b和c表
user_id
建立索引因存在a表和b表關聯,將a和b表
seller_name
欄位建立索引利用複合索引消除臨時表和排序
初步最佳化的SQL:
alter table b modify `user_id` int(10) DEFAULT NULL;
alter table c modify `user_id` int(10) DEFAULT NULL;
alter table c add index `idx_user_id`(`user_id`);
alter table b add index `idx_user_id_sell_name`(`user_id`,`seller_name`);
alter table a add index `idx_sellname_gmt_sellid`(`gmt_create`,`seller_name`,`seller_id`);
檢視最佳化後的執行時間
初步最佳化後執行速度提升了20倍,是否還能繼續最佳化呢?
5、繼續檢視最佳化後的執行計劃
這裡只看到查詢需要掃描的元素比較大,不過還看到了有兩處告警資訊,直接檢視告警資訊
show warnings
Cannot use range access on index ‘idx_sellname_gmt_sellid’ due to type or collation conversion on field ‘get_create’
,這句話是告訴你由於gmt_create列發生了型別轉換所以無法走索引。
檢視SQL建表語句發現gmt_create欄位被設計成了varchar型別,在SQL查詢時需要轉化成時間格式做查詢,確實不能走索引。
所以需要調整一下gmt_create欄位格式
alter table a modify "gmt_create" datetime DEFAULT NULL;
6、修改欄位後再來檢視執行時間
執行速度非常完美。
7、再觀察最佳化後的執行計劃
可以看到執行計劃也很完美,至此SQL最佳化結束。
SQL最佳化小結
這裡給大家總結一下最佳化SQL的套路,再也不怕面試官問你怎麼做SQL最佳化的啦。
檢視執行計劃 explain 如果有告警資訊,檢視告警資訊 show warnings; 檢視SQL涉及的表結構和索引資訊 根據執行計劃,思考可能的最佳化點 按照可能的最佳化點執行表結構變更、增加索引、SQL改寫等操作 檢視最佳化後的執行時間和執行計劃 如果最佳化效果不明顯,重複第四步操作
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2937352/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 當面試官說 “你還有什麼問題想問的”,你該如何回答?面試
- 當面試官說 “你還有什麼問題想問的” ,你該如何回答?面試
- 當面試官說“你還有什麼問題想問的”,你該如何回答?面試
- 面試官問你MyBatis SQL是如何執行的?把這篇文章甩給他面試MyBatisSQL
- 面試時,你會問面試官哪些問題?面試
- 如何面試你的面試官面試
- 面試官出的MySQL索引問題,這篇文章全給你解決!面試MySql索引
- 以後有面試官問你跳躍表,你就把這篇文章扔給他面試
- 以後有面試官問你「跳躍表」,你就把這篇文章扔給他面試
- “你還有什麼事想問”——作為程式設計師如何回答面試官的問題程式設計師面試
- 面試官:你還有什麼想問我的?面試
- 詢問面試官的面試問題面試
- 位元組跳動面試官這樣問有關字串的問題!!面試字串
- 面試官問的2個棘手的問題面試
- 面試中被面試官問到的問題答案(一)面試
- 我是設計師面試官,你有什麼想問我的?面試
- 面試官:你能回答這兩個簡單的問題嗎面試
- java面試官:程式設計師,請你告訴我是誰把公司面試題洩露給你的?Java程式設計師面試題
- 面試官如何考察你的思維方式?面試
- 面試 HTTP ,99% 的面試官都愛問這些問題面試HTTP
- 面試時,面試官問:你以後的規劃是怎樣的 如何回答呢面試
- 面試官常問的Nginx的幾個問題面試Nginx
- 面試官問:你有多少種方式實現三欄佈局?面試
- SQL最佳化問題SQL
- 【漫畫】以後在有面試官問你AVL樹,你就把這篇文章扔給他。面試
- 阿里的面試官都喜歡問哪些問題?阿里面試
- #如何看待問“a = a + b和a += b有什麼區別”的Java面試官?Java面試
- 邦芒支招:如何判斷面試官對你有好感表現面試
- 你的面試有問題,別再錯過天才了!面試
- 女生在求職面試過程中,如何巧妙回答面試官的尷尬問題求職面試
- 良心乾貨!如何驚呆你的面試官面試
- 面試官常問的Nginx的那幾個問題?面試Nginx
- 當面試官問你這個問題的時候,他想聽到什麼?面試
- 【搞定面試官】你還在用Executors來建立執行緒池?會有什麼問題呢?面試執行緒
- 面試官問你B樹和B+樹,就把這篇文章丟給他面試
- 面試官:註解五問你怕了嗎?面試
- 面試官問:Mybatis中的TypeHandler你用過嗎?面試MyBatis
- 【漫畫】以後在有面試官問你平衡(AVL)樹,你就把這篇文章扔給他。面試