SELECT COUNT(*) 會造成全表掃描？回去等通知吧

本文已經收錄到Github倉庫，該倉庫包含計算機基礎、Java基礎、多執行緒、JVM、資料庫、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分散式、微服務、設計模式、架構、校招社招分享等核心知識點，歡迎star~

Github地址

如果訪問不了Github，可以訪問gitee地址。

gitee地址

前言

SELECT COUNT(*)會不會導致全表掃描引起慢查詢呢？

SELECT COUNT(*) FROM SomeTable

網上有一種說法，針對無 where_clause 的 COUNT(*)，MySQL 是有最佳化的，最佳化器會選擇成本最小的輔助索引查詢計數，其實反而效能最高，這種說法對不對呢

針對這個疑問，我首先去生產上找了一個千萬級別的表使用 EXPLAIN 來查詢了一下執行計劃

EXPLAIN SELECT COUNT(*) FROM SomeTable

結果如下

如圖所示: 發現確實此條語句在此例中用到的並不是主鍵索引，而是輔助索引，實際上在此例中我試驗了，不管是 COUNT(1)，還是 COUNT()，MySQL 都會用成本最小的輔助索引查詢方式來計數，也就是使用 COUNT() 由於 MySQL 的最佳化已經保證了它的查詢效能是最好的！隨帶提一句，COUNT()是 SQL92 定義的標準統計行數的語法，並且效率高，所以請直接使用COUNT()查詢表的行數！

所以這種說法確實是對的。但有個前提，在 MySQL 5.6 之後的版本中才有這種最佳化。

那麼這個成本最小該怎麼定義呢，有時候在 WHERE 中指定了多個條件，為啥最終 MySQL 執行的時候卻選擇了另一個索引，甚至不選索引？

本文將會給你答案，本文將會從以下兩方面來分析

SQL 選用索引的執行成本如何計算
例項說明

SQL 選用索引的執行成本如何計算

就如前文所述，在有多個索引的情況下，在查詢資料前，MySQL 會選擇成本最小原則來選擇使用對應的索引，這裡的成本主要包含兩個方面。

IO 成本: 即從磁碟把資料載入到記憶體的成本，預設情況下，讀取資料頁的 IO 成本是 1，MySQL 是以頁的形式讀取資料的，即當用到某個資料時，並不會只讀取這個資料，而會把這個資料相鄰的資料也一起讀到記憶體中，這就是有名的程式區域性性原理，所以 MySQL 每次會讀取一整頁，一頁的成本就是 1。所以 IO 的成本主要和頁的大小有關
CPU 成本：將資料讀入記憶體後，還要檢測資料是否滿足條件和排序等 CPU 操作的成本，顯然它與行數有關，預設情況下，檢測記錄的成本是 0.2。

最全面的Java面試網站

例項說明

為了根據以上兩個成本來算出使用索引的最終成本，我們先準備一個表（以下操作基於 MySQL 5.7.18）

CREATE TABLE `person` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) NOT NULL,
  `score` int(11) NOT NULL,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  KEY `name_score` (`name`(191),`score`),
  KEY `create_time` (`create_time`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

這個表除了主鍵索引之外，還有另外兩個索引, name_score 及 create_time。然後我們在此表中插入 10 w 行資料，只要寫一個儲存過程呼叫即可，如下:

CREATE PROCEDURE insert_person()
begin
    declare c_id integer default 1;
    while c_id<=100000 do
    insert into person values(c_id, concat('name',c_id), c_id+100, date_sub(NOW(), interval c_id second));
    set c_id=c_id+1;
    end while;
end

插入之後我們現在使用 EXPLAIN 來計算下統計總行數到底使用的是哪個索引

EXPLAIN SELECT COUNT(*) FROM person

從結果上看它選擇了 create_time 輔助索引，顯然 MySQL 認為使用此索引進行查詢成本最小，這也是符合我們的預期，使用輔助索引來查詢確實是效能最高的！

我們再來看以下 SQL 會使用哪個索引

SELECT * FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'

用了全表掃描！理論上應該用 name_score 或者 create_time 索引才對，從 WHERE 的查詢條件來看確實都能命中索引，那是否是使用 SELECT * 造成的回表代價太大所致呢，我們改成覆蓋索引的形式試一下

SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18'

結果 MySQL 依然選擇了全表掃描！這就比較有意思了，理論上採用了覆蓋索引的方式進行查詢效能肯定是比全表掃描更好的，為啥 MySQL 選擇了全表掃描呢，既然它認為全表掃描比使用覆蓋索引的形式效能更好，那我們分別用這兩者執行來比較下查詢時間吧

-- 全表掃描執行時間: 4.0 ms
SELECT create_time FROM person WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18' 

-- 使用覆蓋索引執行時間: 2.0 ms
SELECT create_time FROM person force index(create_time) WHERE NAME >'name84059' AND create_time>'2020-05-23 14:39:18'

從實際執行的效果看使用覆蓋索引查詢比使用全表掃描執行的時間快了一倍！說明 MySQL 在查詢前做的成本估算不準！我們先來看看 MySQL 做全表掃描的成本有多少。

前面我們說了成本主要 IO 成本和 CPU 成本有關，對於全表掃描來說也就是分別和聚簇索引佔用的頁面數和表中的記錄數。執行以下命令

SHOW TABLE STATUS LIKE 'person'

可以發現

行數是 100264，我們不是插入了 10 w 行的資料了嗎，怎麼算出的資料反而多了，其實這裡的計算是估算，也有可能這裡的行數統計出來比 10 w 少了，估算方式有興趣大家去網上查詢，這裡不是本文重點，就不展開了。得知行數，那我們知道 CPU 成本是 100264 * 0.2 = 20052.8。
資料長度是 5783552，InnoDB 每個頁面的大小是 16 KB，可以算出頁面數量是 353。

也就是說全表掃描的成本是 20052.8 + 353 = 20406。

這個結果對不對呢，我們可以用一個工具驗證一下。在 MySQL 5.6 及之後的版本中，我們可以用 optimizer trace 功能來檢視最佳化器生成計劃的整個過程，它列出了選擇每個索引的執行計劃成本以及最終的選擇結果，我們可以依賴這些資訊來進一步最佳化我們的 SQL。

optimizer_trace 功能使用如下

SET optimizer_trace="enabled=on";
SELECT create_time FROM person WHERE NAME >'name84059' AND create_time > '2020-05-23 14:39:18';
SELECT * FROM information_schema.OPTIMIZER_TRACE;
SET optimizer_trace="enabled=off";

執行之後我們主要觀察使用 name_score，create_time 索引及全表掃描的成本。

先來看下使用 name_score 索引執行的的預估執行成本:

{
    "index": "name_score",
    "ranges": [
      "name84059 <= name"
    ],
    "index_dives_for_eq_ranges": true,
    "rows": 25372,
    "cost": 30447
}

可以看到執行成本為 30447，高於我們之前算出來的全表掃描成本：20406。所以沒選擇此索引執行

注意：這裡的 30447 是查詢二級索引的 IO 成本和 CPU 成本之和，再加上回表查詢聚簇索引的 IO 成本和 CPU 成本之和。

再來看下使用 create_time 索引執行的的預估執行成本:

{
    "index": "create_time",
    "ranges": [
      "0x5ec8c516 < create_time"
    ],
    "index_dives_for_eq_ranges": true,
    "rows": 50132,
    "cost": 60159,
    "cause": "cost"
}

可以看到成本是 60159,遠大於全表掃描成本 20406，自然也沒選擇此索引。

再來看計算出的全表掃描成本：

{
    "considered_execution_plans": [
      {
        "plan_prefix": [
        ],
        "table": "`person`",
        "best_access_path": {
          "considered_access_paths": [
            {
              "rows_to_scan": 100264,
              "access_type": "scan",
              "resulting_rows": 100264,
              "cost": 20406,
              "chosen": true
            }
          ]
        },
        "condition_filtering_pct": 100,
        "rows_for_plan": 100264,
        "cost_for_plan": 20406,
        "chosen": true
      }
    ]
}

注意看 cost：20406，與我們之前算出來的完全一樣！這個值在以上三者算出的執行成本中最小，所以最終 MySQL 選擇了用全表掃描的方式來執行此 SQL。

實際上 optimizer trace 詳細列出了覆蓋索引，回表的成本統計情況，有興趣的可以去研究一下。

從以上分析可以看出， MySQL 選擇的執行計劃未必是最佳的，原因有挺多，就比如上文說的行數統計資訊不準，再比如 MySQL 認為的最優跟我們認為不一樣，我們可以認為執行時間短的是最優的，但 MySQL 認為的成本小未必意味著執行時間短。

總結

本文透過一個例子深入剖析了 MySQL 的執行計劃是如何選擇的，以及為什麼它的選擇未必是我們認為的最優的，這也提醒我們，在生產中如果有多個索引的情況，使用 WHERE 進行過濾未必會選中你認為的索引，我們可以提前使用 EXPLAIN, optimizer trace 來最佳化我們的查詢語句。

最後給大家分享一個Github倉庫，上面有大彬整理的300多本經典的計算機書籍PDF，包括C語言、C++、Java、Python、前端、資料庫、作業系統、計算機網路、資料結構和演算法、機器學習、程式設計人生等，可以star一下，下次找書直接在上面搜尋，倉庫持續更新中~

Github地址

SELECT COUNT(*) 會造成全表掃描？回去等通知吧

前言

SQL 選用索引的執行成本如何計算

例項說明

總結

相關文章