1.架構

面向文件的NoSQL資料庫

1.0 Master-slave

slave間不通訊，高可用需人為干預。

1.1 replice set 副本集

Primary 角色是透過整個叢集共同選舉出來的，人人都可能成為 Primary ，人人最開始只是  Secondary ，而這個選舉過程完全自動，不需要人為參，secondary 之間是會有心跳的，MongoDB 副本集透過 Raft 演算法來完成主節點的選舉。

1.2 sharding

![](http://img.blog.itpub.net/blog/2022/11/28/f3af00f513687ca2.png?x-oss-process=style/bb)

1.2.1 實際情況下，mongos 不需要每次都和 Config Server 互動，大部分情況下只需要把 Chunk 的對映表 cache 一份在 mongos 的記憶體，就能減少一次網路互動，提高效能。
1.2.2 資料是根據分片策略來進行切分的，而分片策略則由 分片鍵(ShardKey)+分片演算法(ShardStrategy)組成。
本質上 Sharding Strategy 是形成值域的策略而已，MongoDB 支援兩種 Sharding Strategy：
Hashed Sharding 的方式 ： 均衡性好，列舉效能差；Hash分片是根據使用者的 ShardKey 先計算出hash值（64bit整型），再根據hash值按照範圍分片的策略將文件分佈到不同的 chunk。
Range Sharding 的方式： 列舉效能好，但是容易產生熱點；將整個取值範圍劃分為多個chunk，每個chunk（預設配置為64MB）
1.2.3 rebalance
對於資料的不均衡是根據兩個分片上的 Chunk 個數差異來判定的，閾值對應表如下：
![](http://img.blog.itpub.net/blog/2022/11/28/eeae493d96978a0e.png?x-oss-process=style/bb)

1.3 MongoDB Atlas

Fully managed MongoDB in the cloud.

2.事務

2.1 MongoDB 採用 ObjectId 來表示主鍵的型別，資料庫中每個文件都擁有一個_id 欄位表示主鍵。
_id 的生成規則如下：
4-byte Unix 時間戳
3-byte 機器 ID
2-byte 程式 ID
3-byte 計數器(初始化隨機)
值得一提的是 _id 的生成實質上是由客戶端(Driver)生成的，這樣可以獲得更好的隨機性，同時降低服務端的負載。
當然服務端也會檢測寫入的文件是否包含_id 欄位，如果沒有就生成一個。
2.2 MongoDB的事務
MongoDB 很早就有事務的概念，但是這個事務只能是針對單文件的，即單個文件的操作是有原子性保證的。
在4.0 版本之後，MongoDB 開始支援多文件的事務：

```shell
In version 4.0, MongoDB supports multi-document transactions on replica sets.
In version 4.2, MongoDB introduces distributed transactions, which adds support for multi-document transactions on sharded clusters and incorporates the existing support for multi-document transactions on replica sets.

```
4.0 版本支援副本集範圍的多文件事務。
4.2 版本支援跨分片的多文件事務(基於兩階段提交)。
在事務的隔離性上，MongoDB 支援快照(snapshot)的隔離級別，可以避免髒讀、不可重複讀和幻讀。
儘管有了真正意義上的事務功能，但多文件事務對於效能有一定的影響，應用應該在充分評估後再做選用。

3.讀寫分離

3.1 讀寫偏好
3.1.1 read preference， 選項 "primary" or "primaryPreferred" or "secondary" or "secondaryPreferred" or "nearest"(最少網路延遲)
3.1.2 write concern ，選項 "none" or "ack"  or "majority"
writeConcern決定一個寫操作落在多少個節點上才算成功
   預設： db.test.insert({count:1},{writeConcern:{w:"1"}})

3.1.3 read concern ，在 readPreference 選擇了指定的節點後，readConcern 決定這個節點上的資料哪些是可讀的，類似於關聯式資料庫的隔離級別。選項 "local" or "available" or "linearizable" or "majority"
available 讀取所有可用的資料，什麼都不管；（從節點讀取時預設 avaliable）
local 讀取所有可用且屬於當前分片的資料；（主節點讀取時預設 local）
local 和 avaliable 在沒有分片叢集的情況下是幾乎一致的。
但是在分片遷移（chunk）的過程中，可能會存在資料同時出現在兩個分片集的情況，這時可能會出現資料重複的問題。
majority 讀取在大多數節點上提交完成的資料；（推薦使用），可避免髒讀
linearizable 可線性化讀取文件，保證這次的讀是可以讀到上一次的寫的；
snapshot 讀取最近快照中的資料，差不多可以達到關係型資料庫中序列化的級別，隔離級別最高的；
MongoDB <= 3.6 不支援對從節點使用 {readConcern: "local"}；
readConcern 主要關注讀的隔離性，ACID 中的 Isolation，但是是分散式資料庫特有的概念。
readConcern:"majority" 相應於事務中隔離級別中的 Read Committed。

4.資料模型
![](http://img.blog.itpub.net/blog/2022/11/28/145798bde6fe7dff.png?x-oss-process=style/bb)

MongoDB在資料儲存上按名稱空間來劃分，一個collection是一個名稱空間，一個索引也是一個名稱空間
同一個名稱空間的資料被分成很多個Extent，Extent之間使用雙向連結串列連線
在每一個Extent中，儲存了具體每一行的資料，這些資料也是透過雙向連結連線的
每一行資料儲存空間不僅包括資料佔用空間，還可能包含一部分附加空間，這使得在資料update變大後可以不移動位置
索引以BTree結構實現

5.引擎
在MongoDB3.2版本以前，預設的儲存引擎是wiredTiger，在3.2版本之後和4.0版本之前，預設的儲存引擎是MMAPv1，在4.0版本之後，預設的儲存引擎是In-memory

![](http://img.blog.itpub.net/blog/2022/11/28/6cc107f866f5923a.png?x-oss-process=style/bb)

按照 Mongodb 預設的配置， WiredTiger 的寫操作會先寫入 Cache ，並持久化到 WAL(Write ahead log) ，每 60s 或 log 檔案達到 2GB 時會做一次 Checkpoint ，將當前的資料持久化，產生一個新的快照。Wiredtiger 連線初始化時，首先將資料恢復至最新的快照狀態，然後根據 WAL 恢復資料，以保證儲存可靠性。

Wiredtiger 的 Cache 採用 Btree 的方式組織，每個 Btree 節點為一個 Page ， Root Page 是 Btree 的根節點， Internalpage 是 Btree 的中間索引節點， Leaf Page 是真正儲存資料的葉子節點；Btree 的資料以頁為單位按需從磁碟載入或寫入磁碟。Wiredtiger 採用 Copy on Write 的方式管理修改操作（ insert 、 update 、 delete ），修改操作會先快取在 cache 裡，持久化時，修改操作不會在原來的 Leaf Page 上進行，而是寫入新分配的 Page ，每次 CheckPoint 都會產生一個新的 Root Page

6.類似產品
7.效能

7.1 Explain
db.test.find({age: “20”}).hint({age:1 }).explain();
未能命中索引的結果，會顯示COLLSCAN
命中索引的結果，使用IXSCAN
出現了記憶體排序，顯示為 SORT
多鍵索引：當索引的欄位為陣列時，建立出的索引稱為多 Key 索引，多 Key 索引會為陣列的每個元素建立一條索引

7.2 最佳化器Profile
db.setProfilingLevel(2);
0 – 不開啟
1 – 記錄慢命令 (預設為>100ms)
2 – 記錄所有命令
info: #本命令的詳細資訊
reslen: #返回結果集的大小
nscanned: #本次查詢掃描的記錄數
nreturned: #本次查詢實際返回的結果集
millis: #該命令執行耗時(毫秒)

7.3 引數
檢視配置資訊示例：db.adminCommand({getParameter: 1, wiredTigerEngineRuntimeConfig: 1})
db.serverStatus().wiredTiger.concurrentTransactions
cacheSizeGB 
oplogSizeMB 
logRotate
commitIntervalMs：WiredTiger上，預設的日誌提交間隔為100毫秒。
syncPeriodSecs：mongod使用fsync操作將資料flush到磁碟的時間間隔，預設值為60（單位：秒）
eviction_dirty_trigger 
eviction_dirty_target_settings
eviction.threads_min 
 eviction.threads_max
 
7.4 記憶體
MongoDB伺服器記憶體要滿足connection overhead + data size + index size，即連線數開銷 + 熱點資料 + 索引。
linux作業系統預設每個連線數佔用10M記憶體

7.5 其他
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
numactl --interleave=all
vm.swappiness=0
XFS檔案系統

參考文件：
http://www.ha97.com/4580.html
https://www.modb.pro/db/395070
https://www.cnblogs.com/sweetXiaoma/p/14602327.html

跟我一起梳理MongoDB基本知識

相關文章