關於MongoDB複製,你瞭解多少(附副本集常見任務教程)

MongoDB中文社群發表於2020-05-09
MongoDB Manual (Version 4.2)> Replication

MongoDB中的副本集是一組維護相同資料集合的  mongod程式。副本集提供了冗餘和高可用性,並且這是所有生產部署的基礎。本節介紹MongoDB中的複製以及副本集的元件和體系結構,並提供副本集常見任務的教程。

 

No 冗餘和資料

複製提供了冗餘並增加了資料可用性。對於不同資料庫伺服器上的多個資料副本,複製為防止單臺資料庫伺服器故障提供了一定程度的容錯能力。

在某些情況下,複製可以提高讀取效能,因為客戶端可以將讀操作傳送到不同的伺服器上。在不同的資料中心維護資料副本可以提高分散式應用程式的資料本地化和可用性。您還可以維護額外的副本以實現特殊用途,比如災難恢復、報告或備份。

 

No 2 MongoDB的複製

副本集是一組維護相同資料集合的 mongod例項。副本集包含多個資料承載節點和一個可選的仲裁節點。在資料承載節點中,有且僅有一個成員為主節點,其他節點為副本節點。

主節點 接收所有的寫操作。一個副本集僅有一個主節點能夠用 { w: "majority" } 寫關注點級別來確認寫操作;雖然在某些情況下,另一個mongod的例項也可以暫時認為自己是主節點。[1] 主節點會將其資料集合所有的變化記錄到操作日誌中,即oplog。有關主節點操作的更多資訊,請參見 副本集主節點。

 

副本節點複製主節點的oplog,並將這些操作應用於它們的資料集,這樣以便副本節點的資料集能反映出主節點的資料集。如果主節點不可用,一個候選的副本節點將會發起選舉並使之成為新的主節點。有關副本成員的更多資訊,請參見副本集副本成員。

 

在某些情況下(比如您有一個主節點和一個副本節點,但由於成本約束無法新增另一個副本節點),您可以選擇將一個  mongod 例項作為仲裁節點新增到一個副本集中。仲裁節點參與選舉但不持有資料(即不提供資料冗餘)。有關仲裁節點的更多資訊,請參見副本集仲裁節點。

 

仲裁節點永遠只能是仲裁節點,但在選舉過程中主節點也許會降級成為副本節點, 副本節點也可能會升級成為主節點。

 

No 3 非同步複製

副本節點複製主節點的oplog並非同步地應用操作到它們的資料集。通過讓副本節點的資料集反映主伺服器的資料集,副本集可以在一個或多個成員失敗的情況下繼續執行。

有關複製機制的更多資訊,請參見副本集Oplog和副本集資料同步。

 

慢操作

從4.2版本開始(從4.0.6開始也是可行的),副本集的副本成員會記錄oplog中應用時間超過慢操作閾值的慢操作條目。這些慢oplog資訊被記錄在副本節點的診斷日誌中,其路徑位於 REPL 元件的文字 applied op: took ms中。這些慢日誌條目僅僅依賴於慢操作閾值。它們不依賴於日誌級別(無論是系統還是元件級別)、過濾級別,或者慢操作取樣比例。過濾器不會捕獲慢日誌條目。

 

複製延遲和流控制

複製延遲 指的是將主節點的寫操作拷貝(即複製)到副本節點所花費的時間。一些小的延遲期可能是可以接受的,但是隨著複製延遲的增長,會出現嚴重的問題,包括引起主節點的快取壓力。

從MongoDB 4.2開始,管理員可以限制主節點應用寫操作的速度,目的是將 majority committed 延遲保持在可配置引數 flowControlTargetLagSeconds的最大值之下。

預設情況下,流控制是啟用的。

 

注意:

為了進行流控制,複製集/分片叢集必須滿足:引數featureCompatibilityVersion (FCV) 設定為 4.2並啟用majority讀關注點。也就是說,如果FCV不是  4.2 ,或者讀關注點majority被禁用,那麼啟用流控制將不起作用。

啟用流控制後,當延遲快接近 flowControlTargetLagSeconds引數指定的秒數時,主節點上的寫操作必須首先獲得許可單(tickets)才可以獲取寫鎖。通過限制每秒發出的許可單的數量,流控制機制可以將延遲保持在目標數值之下。

為獲取更多資訊,請參見檢查複製延遲和流控制。

 

No 4 自動故障轉移

當主節點無法和叢集中其他節點通訊的時間超過引數 electionTimeoutMillis配置的期限時(預設10s),一個候選的副本節點會發起選舉來推薦自己成為新主節點。叢集會嘗試完成一次新主節點的選舉並恢復正常的操作。

副本集在選舉成功前是無法處理寫操作的。如果讀請求被配置執行在副本節點上,則當主節點下線時,副本集可以繼續處理這些請求。

假設採用預設的副本配置選項,叢集選擇新主節點的中間過渡時間通常不應超過12秒。這包括了將主節點標記為unavailable、發起以及完成一次選舉的時間。您可以通過修改 settings.electionTimeoutMillis 複製配置選項來調整這個時間期限。網路延遲等因素可能會延長完成副本集選舉所需的時間,從而影響您的叢集在沒有主節點的情況下執行的時間。這些因素取決於您實際的叢集架構情況。

electionTimeoutMillis複製配置選項從預設的 10000(10秒)降低可以更快地檢測主節點故障。然而,由於諸如臨時性的網路延遲等因素,叢集可能會更頻繁地發起選舉,即使主節點在其他方面是健康的。這也許會增加w : 1 級別寫操作發生回滾的可能性。

您的應用程式連線邏輯應該包括對自動故障轉移和後續選舉的容錯處理能力。從MongoDB 3.6開始,MongoDB驅動程式可以探測到主節點的丟失,並自動重試某些寫操作 一次,提供額外的自動故障轉移和選舉的內建處理:

  • MongoDB 4.2相容的驅動程式預設啟用可重試寫
  • MongoDB 4.0和3.6相容的驅動程式必須通過在 連線字串中包含 retryWrites=true來顯式地啟用可重試寫。

請參見 副本集選舉來獲取副本集選舉的完整資訊。

為了解更多關於MongoDB失敗處理的資訊,請參見:

  • 副本集選舉
  • 可重試寫
  • 副本集故障期間的回滾

 

No 5 讀操作

讀偏好 

預設情況下,客戶端從主節點讀取[1];然而,客戶端可以定義一個讀偏好 將讀操作傳送給副本節點。

非同步複製至副本節點,意味著從副本節點讀取返回的資料不能反映主節點上資料的狀態。

包含讀操作的多文件事務必須使用讀偏好 primary。在給定的事務中所有操作都必須路由至相同的成員節點。

為了解更多關於副本集讀的資訊,請參見讀偏好。

 

資料可見性 

根據讀關注點,客戶端可以在寫持久化前看到寫結果:

  • 不管寫的write concern級別是什麼,其他使用了讀關注點級別為  "local" 或  "available" 的客戶端,可以在發起寫操作的客戶端確認其寫成功之前檢視該客戶端寫的結果。
  • 使用了讀關注點級別為  "local" 或  "available" 的客戶端,能讀取在副本集故障轉移期間可能隨後被回滾掉的資料。

對於多文件事務中的操作,當事務提交時,在事務中所做的所有資料更改都會被儲存並在事務外部可見。也就是說,事務在回滾其他更改時不會提交某些更改。

在事務提交之前,事務中所做的資料更改在事務外部是不可見的。

然而,當一個事務寫入多個分片時,並不是所有外部的讀操作都需要等待提交的事務的結果在分片中可見。例如,如果提交了一個事務,並且在分片a上可以看到寫1,但是在分片B上還不能看到寫2,那麼外部讀關注點為  "local" 的讀可以在不看到寫2的情況下讀取寫1的結果。

更多請參見Read Isolation, Consistency, and Recency。

 

No 6 事務

 

從MongoDB 4.0開始,副本集支援多文件事務。

包含讀操作的多文件事務必須使用讀偏好  primary。給定事務中所有的操作都必須路由至相同的成員節點。

在事務提交之前,事務中所做的資料更改在事務外部是不可見的。

然而,當一個事務寫入多個分片時,並不是所有外部的讀操作都需要等待提交的事務的結果在分片中可見。例如,如果提交了一個事務,並且在分片a上可以看到寫1,但是在分片B上還不能看到寫2,那麼外部讀關注點為  "local" 的讀可以在不看到寫2的情況下讀取寫1的結果。

 

No7   變更流

從MongoDB 3.6開始,副本集和分片叢集支援變更流。變更流允許應用程式訪問實時資料更改,而不需要跟蹤oplog的複雜性和風險。應用程式可以使用變更流來訂閱一個或多個集合上的所有資料更改。

 

No8    附加功能

副本集提供了許多選項來支援應用程式的需求。例如,你可以使用多資料中心中的成員來部署一個副本集,或者通過調整一些成員的 members[n].priority 來控制選舉結果。副本集還支援用於報告、災難恢復或備份功能的專用成員。

更多有關資訊請參見優先順序0的副本整合員,隱藏副本整合員和延遲副本整合員 。

注意:

(1, 2) 在 某些場景下, 一個複製集中的兩個節點可能會認為它們是主節點,但最多,他們中的一個將能夠完成寫關注點為{ w: “majority” }寫操作。可以完成 { w: “majority” } 寫的節點是當前主節點,而另一個節點是原先的主節點,通常是由於網路分割槽導致它還沒有意識到自己的降級。當這種情況發生時,連線到原先主節點的客戶端儘管已經請求了讀偏好primary,但可能還會觀察到過時的資料,並且對原先主節點新寫的操作最終將回滾掉。

 

譯者:李正洋

MongoDB中文社群翻譯小組成員

目前在傳統金融行業從事DBA職務,5年+工作經驗,主要負責公司oracle/mongodb/es/redis各類資料庫及資料中心監控平臺運維工作,oracle ocp,MongoDB認證專家,RHCE,現階段對開源分散式資料庫、雲端計算等領域有很大興趣;平時喜歡打羽毛球、看電影等。

原文連結:

https://docs.mongodb.com/manual/replication/


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69961190/viewspace-2690970/,如需轉載,請註明出處,否則將追究法律責任。

相關文章