資料庫-MySQL

濤姐濤哥發表於2021-07-30
資料庫MySql

資料庫-MySQL

 

　　　　一日不思量，也攢眉千度。

 

簡介：資料庫-MySQL。

一、索引

B+ Tree 原理

樹簡介參考連結：https://www.cnblogs.com/taojietaoge/p/12070094.html

1. 資料結構

B Tree 指的是 Balance Tree，也就是平衡樹。平衡樹是一顆查詢樹，並且所有葉子節點位於同一層。

B+ Tree 是基於 B Tree 和葉子節點順序訪問指標進行實現，它具有 B Tree 的平衡性，並且通過順序訪問指標來提高區間查詢的效能。

在 B+ Tree 中，一個節點中的 key 從左到右非遞減排列，如果某個指標的左右相鄰 key 分別是 keyi 和 keyi+1，且不為 null，則該指標指向節點的所有 key 大於等於 keyi 且小於等於 keyi+1。

2. 操作

進行查詢操作時，首先在根節點進行二分查詢，找到一個 key 所在的指標，然後遞迴地在指標所指向的節點進行查詢。直到查詢到葉子節點，然後在葉子節點上進行二分查詢，找出 key 所對應的 data。

插入刪除操作會破壞平衡樹的平衡性，因此在進行插入刪除操作之後，需要對樹進行分裂、合併、旋轉等操作來維護平衡性。

3. 與紅黑樹的比較

紅黑樹等平衡樹也可以用來實現索引，但是檔案系統及資料庫系統普遍採用 B+ Tree 作為索引結構，這是因為使用 B+ 樹訪問磁碟資料有更高的效能。

（一）B+ 樹有更低的樹高

平衡樹的樹高 O(h)=O(logdN)，其中 d 為每個節點的出度。紅黑樹的出度為 2，而 B+ Tree 的出度一般都非常大，所以紅黑樹的樹高 h 很明顯比 B+ Tree 大非常多。

（二）磁碟訪問原理

作業系統一般將記憶體和磁碟分割成固定大小的塊，每一塊稱為一頁，記憶體與磁碟以頁為單位交換資料。資料庫系統將索引的一個節點的大小設定為頁的大小，使得一次 I/O 就能完全載入一個節點。

如果資料不在同一個磁碟塊上，那麼通常需要移動制動手臂進行尋道，而制動手臂因為其物理結構導致了移動效率低下，從而增加磁碟資料讀取時間。B+ 樹相對於紅黑樹有更低的樹高，進行尋道的次數與樹高成正比，在同一個磁碟塊上進行訪問只需要很短的磁碟旋轉時間，所以 B+ 樹更適合磁碟資料的讀取。

（三）磁碟預讀特性

為了減少磁碟 I/O 操作，磁碟往往不是嚴格按需讀取，而是每次都會預讀。預讀過程中，磁碟進行順序讀取，順序讀取不需要進行磁碟尋道，並且只需要很短的磁碟旋轉時間，速度會非常快。並且可以利用預讀特性，相鄰的節點也能夠被預先載入。

MySQL 索引

索引是在儲存引擎層實現的，而不是在伺服器層實現的，所以不同儲存引擎具有不同的索引型別和實現。

1. B+Tree 索引

是大多數 MySQL 儲存引擎的預設索引型別。

因為不再需要進行全表掃描，只需要對樹進行搜尋即可，所以查詢速度快很多。

因為 B+ Tree 的有序性，所以除了用於查詢，還可以用於排序和分組。

可以指定多個列作為索引列，多個索引列共同組成鍵。

適用於全鍵值、鍵值範圍和鍵字首查詢，其中鍵字首查詢只適用於最左字首查詢。如果不是按照索引列的順序進行查詢，則無法使用索引。

InnoDB 的 B+Tree 索引分為主索引和輔助索引。主索引的葉子節點 data 域記錄著完整的資料記錄，這種索引方式被稱為聚簇索引。因為無法把資料行存放在兩個不同的地方，所以一個表只能有一個聚簇索引。

輔助索引的葉子節點的 data 域記錄著主鍵的值，因此在使用輔助索引進行查詢時，需要先查詢到主鍵值，然後再到主索引中進行查詢。 

2. 雜湊索引

雜湊索引能以 O(1) 時間進行查詢，但是失去了有序性：

  • 無法用於排序與分組；
  • 只支援精確查詢，無法用於部分查詢和範圍查詢。

InnoDB 儲存引擎有一個特殊的功能叫“自適應雜湊索引”，當某個索引值被使用的非常頻繁時，會在 B+Tree 索引之上再建立一個雜湊索引，這樣就讓 B+Tree 索引具有雜湊索引的一些優點，比如快速的雜湊查詢。

3. 全文索引

MyISAM 儲存引擎支援全文索引，用於查詢文字中的關鍵詞，而不是直接比較是否相等。

查詢條件使用 MATCH AGAINST，而不是普通的 WHERE。

全文索引使用倒排索引實現，它記錄著關鍵詞到其所在文件的對映。

InnoDB 儲存引擎在 MySQL 5.6.4 版本中也開始支援全文索引。

4. 空間資料索引

MyISAM 儲存引擎支援空間資料索引（R-Tree），可以用於地理資料儲存。空間資料索引會從所有維度來索引資料，可以有效地使用任意維度來進行組合查詢。

必須使用 GIS 相關的函式來維護資料。

索引優化

1. 獨立的列

在進行查詢時，索引列不能是表示式的一部分，也不能是函式的引數，否則無法使用索引。

例如下面的查詢不能使用 actor_id 列的索引：

SELECT actor_id FROM sakila.actor WHERE actor_id + 1 = 5;

2. 多列索引

在需要使用多個列作為條件進行查詢時，使用多列索引比使用多個單列索引效能更好。例如下面的語句中，最好把 actor_id 和 film_id 設定為多列索引。

1 SELECT film_id, actor_ id FROM sakila.film_actor
2 WHERE actor_id = 1 AND film_id = 1;

3. 索引列的順序

讓選擇性最強的索引列放在前面。

索引的選擇性是指：不重複的索引值和記錄總數的比值。最大值為 1，此時每個記錄都有唯一的索引與其對應。選擇性越高，每個記錄的區分度越高，查詢效率也越高。

例如下面顯示的結果中 customer_id 的選擇性比 staff_id 更高，因此最好把 customer_id 列放在多列索引的前面。

資料庫-MySQL 
1 SELECT COUNT(DISTINCT staff_id)/COUNT(*) AS staff_id_selectivity,
2 COUNT(DISTINCT customer_id)/COUNT(*) AS customer_id_selectivity,
3 COUNT(*)
4 FROM payment;
View Code
資料庫-MySQL 
1    staff_id_selectivity: 0.0001
2 customer_id_selectivity: 0.0373
3                COUNT(*): 16049
View Code

4. 字首索引

對於 BLOB、TEXT 和 VARCHAR 型別的列，必須使用字首索引，只索引開始的部分字元。

字首長度的選取需要根據索引選擇性來確定。

5. 覆蓋索引

索引包含所有需要查詢的欄位的值。

具有以下優點：

  • 索引通常遠小於資料行的大小，只讀取索引能大大減少資料訪問量。
  • 一些儲存引擎（例如 MyISAM）在記憶體中只快取索引，而資料依賴於作業系統來快取。因此，只訪問索引可以不使用系統呼叫（通常比較費時）。
  • 對於 InnoDB 引擎，若輔助索引能夠覆蓋查詢，則無需訪問主索引。

索引的優點

  • 大大減少了伺服器需要掃描的資料行數。

  • 幫助伺服器避免進行排序和分組，以及避免建立臨時表（B+Tree 索引是有序的，可以用於 ORDER BY 和 GROUP BY 操作。臨時表主要是在排序和分組過程中建立，不需要排序和分組，也就不需要建立臨時表）。

  • 將隨機 I/O 變為順序 I/O（B+Tree 索引是有序的，會將相鄰的資料都儲存在一起）。

索引的使用條件

  • 對於非常小的表、大部分情況下簡單的全表掃描比建立索引更高效；

  • 對於中到大型的表，索引就非常有效；

  • 但是對於特大型的表，建立和維護索引的代價將會隨之增長。這種情況下，需要用到一種技術可以直接區分出需要查詢的一組資料，而不是一條記錄一條記錄地匹配，例如可以使用分割槽技術。

二、查詢效能優化

使用 Explain 進行分析

Explain 用來分析 SELECT 查詢語句，開發人員可以通過分析 Explain 結果來優化查詢語句。

EXPLAIN SELECT * FROM employee WHERE posId = 28

比較重要的欄位有：

  • select_type : 查詢型別，有簡單查詢、聯合查詢、子查詢等
  • key : 使用的索引
  • rows : 掃描的行數

優化資料訪問

1. 減少請求的資料量

  • 只返回必要的列：最好不要使用 SELECT * 語句。
  • 只返回必要的行：使用 LIMIT 語句來限制返回的資料。
  • 快取重複查詢的資料：使用快取可以避免在資料庫中進行查詢，特別在要查詢的資料經常被重複查詢時，快取帶來的查詢效能提升將會是非常明顯的。

2. 減少伺服器端掃描的行數

最有效的方式是使用索引來覆蓋查詢。

重構查詢方式

1. 切分大查詢

一個大查詢如果一次性執行的話，可能一次鎖住很多資料、佔滿整個事務日誌、耗盡系統資源、阻塞很多小的但重要的查詢。

DELETE FROM messages WHERE create < DATE_SUB(NOW(), INTERVAL 3 MONTH);
1 rows_affected = 0
2 do {
3     rows_affected = do_query(
4     "DELETE FROM messages WHERE create  < DATE_SUB(NOW(), INTERVAL 3 MONTH) LIMIT 10000")
5 } while rows_affected > 0

2. 分解大連線查詢

將一個大連線查詢分解成對每一個表進行一次單表查詢，然後在應用程式中進行關聯，這樣做的好處有：

  • 讓快取更高效。對於連線查詢，如果其中一個表發生變化，那麼整個查詢快取就無法使用。而分解後的多個查詢，即使其中一個表發生變化，對其它表的查詢快取依然可以使用。
  • 分解成多個單表查詢，這些單表查詢的快取結果更可能被其它查詢使用到，從而減少冗餘記錄的查詢。
  • 減少鎖競爭；
  • 在應用層進行連線，可以更容易對資料庫進行拆分，從而更容易做到高效能和可伸縮。
  • 查詢本身效率也可能會有所提升。例如下面的例子中，使用 IN() 代替連線查詢，可以讓 MySQL 按照 ID 順序進行查詢，這可能比隨機的連線要更高效。
1 SELECT * FROM tag
2 JOIN tag_post ON tag_post.tag_id=tag.id
3 JOIN post ON tag_post.post_id=post.id
4 WHERE tag.tag='mysql';
1 SELECT * FROM tag WHERE tag='mysql';
2 SELECT * FROM tag_post WHERE tag_id=1234;
3 SELECT * FROM post WHERE post.id IN (123,456,567,9098,8904);

三、儲存引擎

InnoDB

是 MySQL 預設的事務型儲存引擎，只有在需要它不支援的特性時，才考慮使用其它儲存引擎。

實現了四個標準的隔離級別，預設級別是可重複讀（REPEATABLE READ）。在可重複讀隔離級別下，通過多版本併發控制（MVCC）+ Next-Key Locking 防止幻影讀。

主索引是聚簇索引，在索引中儲存了資料，從而避免直接讀取磁碟，因此對查詢效能有很大的提升。

內部做了很多優化，包括從磁碟讀取資料時採用的可預測性讀、能夠加快讀操作並且自動建立的自適應雜湊索引、能夠加速插入操作的插入緩衝區等。

支援真正的線上熱備份。其它儲存引擎不支援線上熱備份，要獲取一致性檢視需要停止對所有表的寫入，而在讀寫混合場景中，停止寫入可能也意味著停止讀取。

MyISAM

設計簡單，資料以緊密格式儲存。對於只讀資料，或者表比較小、可以容忍修復操作，則依然可以使用它。

提供了大量的特性，包括壓縮表、空間資料索引等。

不支援事務。

不支援行級鎖，只能對整張表加鎖，讀取時會對需要讀到的所有表加共享鎖，寫入時則對錶加排它鎖。但在表有讀取操作的同時，也可以往表中插入新的記錄，這被稱為併發插入（CONCURRENT INSERT）。

可以手工或者自動執行檢查和修復操作，但是和事務恢復以及崩潰恢復不同，可能導致一些資料丟失，而且修復操作是非常慢的。

如果指定了 DELAY_KEY_WRITE 選項，在每次修改執行完成時，不會立即將修改的索引資料寫入磁碟，而是會寫到記憶體中的鍵緩衝區，只有在清理鍵緩衝區或者關閉表的時候才會將對應的索引塊寫入磁碟。這種方式可以極大的提升寫入效能，但是在資料庫或者主機崩潰時會造成索引損壞，需要執行修復操作。

比較

  • 事務：InnoDB 是事務型的，可以使用 Commit 和 Rollback 語句。

  • 併發：MyISAM 只支援表級鎖，而 InnoDB 還支援行級鎖。

  • 外來鍵：InnoDB 支援外來鍵。

  • 備份：InnoDB 支援線上熱備份。

  • 崩潰恢復：MyISAM 崩潰後發生損壞的概率比 InnoDB 高很多，而且恢復的速度也更慢。

  • 其它特性：MyISAM 支援壓縮表和空間資料索引。

四、資料型別

整型

TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT 分別使用 8, 16, 24, 32, 64 位儲存空間，一般情況下越小的列越好。

INT(11) 中的數字只是規定了互動工具顯示字元的個數，對於儲存和計算來說是沒有意義的。

浮點數

FLOAT 和 DOUBLE 為浮點型別，DECIMAL 為高精度小數型別。CPU 原生支援浮點運算，但是不支援 DECIMAl 型別的計算，因此 DECIMAL 的計算比浮點型別需要更高的代價。

FLOAT、DOUBLE 和 DECIMAL 都可以指定列寬，例如 DECIMAL(18, 9) 表示總共 18 位，取 9 位儲存小數部分，剩下 9 位儲存整數部分。

字串

主要有 CHAR 和 VARCHAR 兩種型別，一種是定長的，一種是變長的。

VARCHAR 這種變長型別能夠節省空間，因為只需要儲存必要的內容。但是在執行 UPDATE 時可能會使行變得比原來長，當超出一個頁所能容納的大小時，就要執行額外的操作。MyISAM 會將行拆成不同的片段儲存，而 InnoDB 則需要分裂頁來使行放進頁內。

在進行儲存和檢索時，會保留 VARCHAR 末尾的空格，而會刪除 CHAR 末尾的空格。

時間和日期

MySQL 提供了兩種相似的日期時間型別：DATETIME 和 TIMESTAMP。

1. DATETIME

能夠儲存從 1000 年到 9999 年的日期和時間，精度為秒，使用 8 位元組的儲存空間。

它與時區無關。

預設情況下，MySQL 以一種可排序的、無歧義的格式顯示 DATETIME 值，例如“2008-01-16 22:37:08”，這是 ANSI 標準定義的日期和時間表示方法。

2. TIMESTAMP

和 UNIX 時間戳相同，儲存從 1970 年 1 月 1 日午夜（格林威治時間）以來的秒數，使用 4 個位元組，只能表示從 1970 年到 2038 年。

它和時區有關，也就是說一個時間戳在不同的時區所代表的具體時間是不同的。

MySQL 提供了 FROM_UNIXTIME() 函式把 UNIX 時間戳轉換為日期，並提供了 UNIX_TIMESTAMP() 函式把日期轉換為 UNIX 時間戳。

預設情況下，如果插入時沒有指定 TIMESTAMP 列的值，會將這個值設定為當前時間。 

應該儘量使用 TIMESTAMP，因為它比 DATETIME 空間效率更高。

五、切分

水平切分

水平切分又稱為 Sharding，它是將同一個表中的記錄拆分到多個結構相同的表中。

當一個表的資料不斷增多時，Sharding 是必然的選擇，它可以將資料分佈到叢集的不同節點上，從而快取單個資料庫的壓力。

垂直切分

垂直切分是將一張表按列切分成多個表，通常是按照列的關係密集程度進行切分，也可以利用垂直切分將經常被使用的列和不經常被使用的列切分到不同的表中。

在資料庫的層面使用垂直切分將按資料庫中表的密集程度部署到不同的庫中，例如將原來的電商資料庫垂直切分成商品資料庫、使用者資料庫等。

Sharding 策略

  • 雜湊取模：hash(key) % N；
  • 範圍：可以是 ID 範圍也可以是時間範圍；
  • 對映表：使用單獨的一個資料庫來儲存對映關係。

Sharding 存在的問題

1. 事務問題

使用分散式事務來解決，比如 XA 介面。

2. 連線

可以將原來的連線分解成多個單表查詢，然後在使用者程式中進行連線。

3. ID 唯一性

  • 使用全域性唯一 ID（GUID）
  • 為每個分片指定一個 ID 範圍
  • 分散式 ID 生成器 (如 Twitter 的 Snowflake 演算法)

六、複製

主從複製

主從複製參考連結：https://www.cnblogs.com/taojietaoge/p/11117806.html

主要涉及三個執行緒：binlog 執行緒、I/O 執行緒和 SQL 執行緒。

  • binlog 執行緒 ：負責將主伺服器上的資料更改寫入二進位制日誌（Binary log）中。
  • I/O 執行緒 ：負責從主伺服器上讀取二進位制日誌，並寫入從伺服器的中繼日誌（Relay log）。
  • SQL 執行緒 ：負責讀取中繼日誌，解析出主伺服器已經執行的資料更改並在從伺服器中重放（Replay）。

讀寫分離

主伺服器處理寫操作以及實時性要求比較高的讀操作，而從伺服器處理讀操作。

讀寫分離能提高效能的原因在於：

  • 主從伺服器負責各自的讀和寫，極大程度緩解了鎖的爭用；
  • 從伺服器可以使用 MyISAM，提升查詢效能以及節約系統開銷；
  • 增加冗餘，提高可用性。

讀寫分離常用代理方式來實現，代理伺服器接收應用層傳來的讀寫請求，然後決定轉發到哪個伺服器。

 

 

 

 

 

 

 

一日不思量

也攢眉千度

 

 

相關文章