006.MongoDB副本集

木二發表於2019-06-06

一 MongoDB 複製(副本集)

1.1 複製概述

MongoDB複製是將資料同步在多個伺服器的過程。
複製提供了資料的冗餘備份,並在多個伺服器上儲存資料副本,提高了資料的可用性, 並可以保證資料的安全性。
複製還允許從硬體故障和服務中斷中恢復資料。

1.2 複製意義

  • 保障資料的安全性
  • 資料高可用性 (24*7)
  • 災難恢復
  • 無需停機維護(如備份,重建索引,壓縮)
  • 分散式讀取資料
注意:副本集不是為了提高讀效能存在的,在進行oplog的時候,讀操作是被阻塞的;
提高讀取效能應該使用分片和索引,它的存在更多是作為資料冗餘,備份;
尤其當主庫本來就面臨著大量的寫入壓力,對於副本集的節點,也同樣會面臨寫的壓力。

1.3 MongoDB複製原理

mongodb的複製至少需要兩個節點。其中一個是主節點,負責處理客戶端請求,其餘的都是從節點,負責複製主節點上的資料。
mongodb各個節點常見的搭配方式為:一主一從、一主多從。
主節點記錄在其上的所有操作oplog,從節點定期輪詢主節點獲取這些操作,然後對自己的資料副本執行這些操作,從而保證從節點的資料與主節點一致。
MongoDB複製結構圖如下所示:
002
新增Heartbeat監控副本之間的心跳架構:
003
設定一個仲裁節點架構:
004
說明:客戶端從主節點讀取資料,在客戶端寫入資料到主節點時, 主節點與從節點進行資料互動保障資料的一致性。

1.4 MongoDB複製過程

Primary節點寫入資料,Secondary通過讀取Primary的oplog得到複製資訊,開始複製資料並且將複製資訊寫入到自己的oplog。如果某個操作失敗,則備份節點停止從當前資料來源複製資料。如果某個備份節點由於某些原因掛掉了,當重新啟動後,就會自動從oplog的最後一個操作開始同步。同步完成後,將資訊寫入自己的oplog,由於複製操作是先複製資料,複製完成後再寫入oplog,有可能相同的操作會同步兩份,不過MongoDB在設計之初就考慮到這個問題,將oplog的同一個操作執行多次,與執行一次的效果是一樣的。
當Primary節點完成資料操作後,Secondary的資料同步過程如下:
  1. 檢查自己local庫的oplog.rs集合找出最近的時間戳。
  2. 檢查Primary節點local庫oplog.rs集合,找出大於此時間戳的記錄。
  3. 將找到的記錄插入到自己的oplog.rs集合中,並執行這些操作。
副本集的同步和主從同步一樣,都是非同步同步的過程,不同的是副本集有個自動故障轉移的功能。其原理是:slave端從primary端獲取日誌,然後在自己身上完全順序的執行日誌所記錄的各種操作(該日誌是不記錄查詢操作的),這個日誌就是local資料庫中的oplog.rs表,預設在64位機器上這個表是比較大的,佔磁碟大小的5%,oplog.rs的大小可以在啟動引數中設 定:--oplogSize 1000,單位是M。
注意:在副本集的環境中,要是所有的Secondary都當機了,只剩下Primary。最後Primary會變成Secondary,不能提供服務。

1.5 副本集

副本集特徵:
  • N 個節點的叢集;
  • 任何節點可作為主節點;
  • 所有寫入操作都在主節點上;
  • 自動故障轉移;
  • 自動恢復。
叢集中沒有特定的主庫,主庫是選舉產生,如果主庫down了,會再選舉出一臺主庫。
mongoDB也可以配置成主從模式,但官方已經不建議使用主從模式了,替代方案是採用副本集的模式。
005
副本集有以下特點:
  1. 最小構成是:primary,secondary,arbiter,一般部署是:primary,2 secondary。
  2. 成員數應該為奇數,如果為偶數的情況下新增arbiter,arbiter不儲存資料,只投票。
  3. 最大50 members,但是隻能有 7 voting members,其他是non-voting members。
注意:在副本集的環境中,如果所有的Secondary都當機了,只剩下Primary。最後Primary會變成Secondary,且不能提供服務。

二 前期準備

  • NTP同步;
  • 關閉SELinux;
  • 關閉防火牆或放通相應規則;
  • 所有節點安裝MongoDB,參考《002.MongoDB社群版安裝》;
節點規劃:
主機名
IP
型別
備註
mongodb01
172.24.8.71
primary
主節點
mongodb02
172.24.8.72
secondary
此節點
mongodb03
172.24.8.73
secondary
此節點
mongodb04
172.24.8.74
secondary
備節點(測試手動新增)
arbiter
172.24.8.75
arbiter
衝裁節點
追加解析:
  1 [root@mongodb01 ~]# vi /etc/hosts
  2 172.24.8.71  mongodb01
  3 172.24.8.72  mongodb02
  4 172.24.8.73  mongodb03
  5 172.24.8.74  mongodb04
  6 172.24.8.75  arbite

提示:所有節點均建議新增以上解析。

三 副本集正式部署

3.1 開啟遠端連線及副本集

  1 [root@mongodb01 ~]# vi /etc/mongod.conf
  2 ……
  3 net:
  4   port: 27017
  5   bindIp: 172.24.8.71				#根據不同節點配置
  6 ……
  7 replication:
  8   replSetName: my_rep				#開啟副本集,所有節點必須一致
  9 ……
 10 [root@mongodb01 ~]# systemctl start mongod.service
 11 [root@mongodb01 ~]# systemctl enable mongod.service

注意:在完成複製集初始化、新建使用者等操作之前必須保持security.authorization:enabled為註釋狀態。

3.2 配置複製級成員

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71
  2 > config = { _id: "my_rep", members: [
  3 {_id: 0, host: "172.24.8.71:27017"},
  4 {_id: 1, host: "172.24.8.72:27017"},
  5 {_id: 2, host: "172.24.8.73:27017"}]
  6 }

引數解釋:
"_id": 副本集的名稱
"members": 副本集的伺服器列表
"_id": 伺服器的唯一ID
"host": 伺服器主機
"priority": 是優先順序,預設為1,優先順序0為被動節點,不能成為活躍節點。優先順序不為0則按照有大到小選出活躍節點。
"arbiterOnly": 仲裁節點,只參與投票,不接收資料,也不能成為活躍節點。

3.3 初始化副本集

  1 > rs.initiate(config)
  2 my_rep1:PRIMARY> rs.status()		#檢視叢集狀態

3.4 建立管理員使用者

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71
  2 my_rep:PRIMARY> use admin				#進入admin資料庫
  3 my_rep:PRIMARY> db.createUser({ user: "admin", pwd: "admin", roles: [{ role: "userAdminAnyDatabase", db: "admin" }] })
  4 my_rep:PRIMARY> db.auth("admin", "admin")		#驗證建立結果
  5 1

提示:以上為建議項,建議建立一個管理員用於內部管理MongoDB。
mongodb中的使用者是基於身份role的,該管理員賬戶的 role是 userAdminAnyDatabase。 ‘userAdmin’代表使用者管理身份,’AnyDatabase’ 代表可以管理任何資料庫。
db.auth()可以驗證 使用者。
  1 my_rep:PRIMARY> db.getUsers()
  2 > db.system.users.find().pretty()		#檢視全域性所有賬戶

006
提示:mongo shell 可通過.pretty() 對輸出進行JSON格式化,以便提高輸出的可讀性。

3.5 建立叢集使用者

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u admin -p admin
  2 my_rep1:PRIMARY> use admin
  3 switched to db admin
  4 my_rep1:PRIMARY> db.createUser({user:"clusteradmin",pwd:"clusteradmin",roles:[{role:"clusterAdmin",db:"admin"}]})

提示:3.2——3.5僅需在叢集任何一臺節點操作即可。

3.6 確認驗證

  1 [root@mongodb01 ~]# mongo --host 172.24.8.72 -u clusteradmin -p clusteradmin
  2 my_rep:SECONDARY> rs.status()
  3 my_rep:SECONDARY> db.serverStatus().repl.primary	#檢視主節點
  4 172.24.8.73:27017

四 叢集開啟許可權

建議使用keyfile訪問控制的方式建立各個節點間的安全認證機制。

4.1 配置key

  1 [root@mongodb01 ~]# mkdir -p /usr/local/keyfile
  2 [root@mongodb01 ~]# openssl rand -base64 100 > /usr/local/keyfile/mongodb_keyfile
  3 [root@mongodb01 ~]# chmod 600 /usr/local/keyfile/mongodb_keyfile
  4 [root@mongodb01 ~]# chown -R mongod:mongod /usr/local/keyfile/
  5 [root@mongodb01 ~]# scp -rp /usr/local/keyfile/ root@mongodb02:/usr/local/
  6 [root@mongodb01 ~]# scp -rp /usr/local/keyfile/ root@mongodb03:/usr/local/
  7 [root@mongodb01 ~]# scp -rp /usr/local/keyfile/ root@mongodb04:/usr/local/
  8 [root@mongodb01 ~]# scp -rp /usr/local/keyfile/ root@arbiter:/usr/local/
  9 
 10 [root@mongodb02 ~]# chown -R mongod:mongod /usr/local/keyfile/
 11 [root@mongodb03 ~]# chown -R mongod:mongod /usr/local/keyfile/
 12 [root@mongodb04 ~]# chown -R mongod:mongod /usr/local/keyfile/
 13 [root@arbiter~]# chown -R mongod:mongod /usr/local/keyfile/

4.2 開啟許可權

  1 [root@mongodb01 ~]# vi /etc/mongod.conf
  2 ……
  3 security:					#取消註釋
  4   authorization: enabled			#開啟驗證
  5   keyFile: /usr/local/keyfile/mongodb_keyfile	#key檔案
  6 ……
  7 [root@mongodb01 ~]# systemctl restart mongod.service

提示:需要在所有節點進行開啟操作。

4.3 測試登陸

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u clusteradmin -p clusteradmin
  2 my_rep:PRIMARY> rs.status()
  3 my_rep:PRIMARY> db.serverStatus().repl.primary	#檢視主節點
  4 172.24.8.71:27017

五 成員管理

5.1 SECONDARY節點增加

  1 [root@mongodb01 ~]# scp -rp /etc/mongod.conf root@mongodb04:/etc/mongod.conf
  2 [root@mongodb04 ~]# vi /etc/mongod.conf			#修改IP即可
  3 net:
  4   port: 27017
  5   bindIp: 172.24.8.74
  6 [root@mongodb04 ~]# systemctl restart mongod.service
  7 [root@mongodb04 ~]# systemctl enable mongod.service
  8 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u clusteradmin -p clusteradmin
  9 my_rep:PRIMARY> rs.add("172.24.8.74:27017")

5.2 節點刪除

  1 my_rep:PRIMARY> rs.remove("172.24.8.74:27017")
提示:修改副本整合員配置時的限制:
  • 不能修改_id;
  • 不能將當前執行rs.reconfig命令的成員的優先順序設定為 0;
  • 不能將仲裁者成員變為非仲裁者成員,反正亦然;
  • 不能將buildIndexes由false改為 true。

5.3 Secondary開放臨時讀

預設情況下,Secondary是不提供服務的,即不能讀和寫。在特殊情況下需要讀的可執行rs.slaveOk() ,只對當前連線有效。

5.4 節點提權

預設所有的節點priority都為1,自動選舉primary,可通過以下方式手動在已執行的副本集中指定primary。
注意:以下方式更換主節點必須在當前primary節點操作。
  1 my_rep:SECONDARY> db.serverStatus().repl.primary	#檢視主節點
  2 172.24.8.72:27017
  3 [root@mongodb02 ~]# mongo --host 172.24.8.72 -u clusteradmin -p clusteradmin
  4 my_rep:PRIMARY> rs.status()			        #檢視當前副本集狀態

007
  1 my_rep:PRIMARY> rs.conf()
008

  1 my_rep:PRIMARY> newcfg=rs.conf()			#當前conf寫入變數
  2 my_rep:PRIMARY> newcfg.members[0].priority=2	#修改conf中members序號0,即172.24.8.71優先順序為2
  3 2
  4 my_rep:PRIMARY> rs.reconfig(newcfg			#重新載入conf
  5 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u clusteradmin -p clusteradmin
  6 my_rep:PRIMARY> db.serverStatus().repl.primary	#再次登入檢視primary節點
  7 172.24.8.71:27017

5.5 ARBITER節點新增

  1 [root@mongodb01 ~]# scp -rp /etc/mongod.conf root@arbiter:/etc/mongod.conf
  2 [root@mongodb04 ~]# vi /etc/mongod.conf	        #修改IP即可
  3 net:
  4   port: 27017
  5   bindIp: 172.24.8.75
  6 [root@mongodb04 ~]# systemctl restart mongod.service
  7 [root@mongodb04 ~]# systemctl enable mongod.service
  8 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u clusteradmin -p clusteradmin
  9 my_rep:PRIMARY> rs.addArb("172.24.8.75:27017")
 10 my_rep:PRIMARY> rs.status()

009
  1 my_rep:PRIMARY> rs.conf()
010
提示:副本集要求參與選舉投票(vote)的節點數為奇數,當我們實際環境中因為機器等原因限制只有兩個(或偶數)的節點,這時為了實現 Automatic Failover引入另一類節點:仲裁者(arbiter),仲裁者只參與投票不擁有實際的資料,並且不提供任何服務,因此它對物理資源要求不嚴格。

5.6 修改成員狀態

  1 my_rep:PRIMARY> rs.stepDown()
提示:rs.stepDown(60)表示讓主節點退化為備份節點,並維持60秒。如果60s內沒有新的主節點被選舉出來,那麼當前節點可以要求重新參與進行選舉。

5.7 鎖定主節點

將所有的備份節點的priority和votes都設定為0,這樣只有主節點有投票權所以無論備份節點是否存在都不會導致主節點的狀態由primary變成other。
  1 my_rep:PRIMARY> newconf=rs.config()
  2 my_rep:PRIMARY> newconf.members[1].priority=0
  3 my_rep:PRIMARY> newconf.members[1].votes=0
  4 my_rep:PRIMARY> rs.reconfig(newconf)

5.8 阻止成員選舉

如果需要對主節點進行維護操作,但是不希望這段時間內其它成員選舉為主節點,可以在每個備份節點上執行freeze命令,以強制它們始終處於備份節點的狀態。命令以秒為單位。
  1 my_rep:SECONDARY> rs.freeze(3600)			#保持1個小時處於備份節點狀態。
  2 my_rep:SECONDARY> rs.freeze(0)				#再次在備份節點執行且將時間指定為0就是“釋放”備份節點。

注意:如果在退位的備份節點上執行rs.freeze(0),可以讓退位的備份節點重新變為主節點。

六 副本集管理

6.1 檢視複製情況

  1 my_rep:PRIMARY> db.printSlaveReplicationInfo()
  2 source: 172.24.8.72:27017
  3         syncedTo: Tue May 28 2019 19:43:40 GMT+0800 (CST)
  4         0 secs (0 hrs) behind the primary
  5 source: 172.24.8.73:27017
  6         syncedTo: Tue May 28 2019 19:43:40 GMT+0800 (CST)
  7         0 secs (0 hrs) behind the primary

解釋:
source:從庫的ip和埠。
syncedTo:目前的同步情況,以及最後一次同步的時間。
在資料庫內容不變的情況下是不同步的,資料庫變動就會馬上同步。

6.2 副本集複製鏈配置

MongoDB根據ping時間選擇同步源,一個成員向另一個成員傳送心跳請求,獲取心跳請求所耗費的時間(rs.status()中的"pingMs"記錄了成員到達相關成員的所花費的平均時間)。
MongosDB維護著不同成員間請求的平均花費時間。選擇同步源時,會選擇一個離自己比較近而且資料比自己新的成員。但是同一資料中心的成員可能會從同一資料中心的其他成員處複製,而不是從位於另一個資料中心的主節點處複製(這樣可以減少網路流量),所以會出現複製鏈的情況,複製鏈越長會導致主節點的操作複製到所有的伺服器所花費的時間越長,從而影響一定的效能。
011
  1 [root@mongodb03 ~]# mongo --host 172.24.8.73 -u clusteradmin -p clusteradmin
  2 my_rep:SECONDARY> db.adminCommand({"replSetGetStatus":1})['syncingTo'];		#檢視備份節點的複製源
  3 172.24.8.71:27017
  4 my_rep:SECONDARY> db.adminCommand({"replSetSyncFrom":"172.24.8.72:27017"})	#配置複製源

6.3 檢視副本集狀態

  1 my_rep:PRIMARY> rs.status()

6.4 檢視副本集配置

  1 my_rep:PRIMARY> rs.conf()			#檢視節點配置

6.5 強制重新配置副本集

如果副本集無法選出新的主節點,這時需要重新配置副本集。可以在備份節點上呼叫rs.reconfig(conf,{"force":ture})強制重新配置副本集。
備份節點收到新的配置檔案之後,就會修改自身的配置,並且將新的配置傳送給副本集中的其他成員。副本集的其他成員收到新的配置檔案之後,會判斷配置檔案的傳送者是否是它們當前配置中的一個成員,如果是,才會用新的配置檔案對自己進行重新配置。
所以,如果新的配置修改了某些成員的主機名,則應該關閉被修改主機名的節點,並以單機模式啟動,手動修改locak.system.replset文件,然後以副本集的方式重新啟動。
注意:conf必須是正確、有效的配置。而且強制重新配置只允許在備份節點執行。

6.6 檢視副本集log狀態

  1 my_rep:PRIMARY> rs.printReplicationInfo()
  2 configured oplog size:   1194.595947265625MB
  3 log length start to end: 14027secs (3.9hrs)
  4 oplog first event time:  Tue May 28 2019 17:21:54 GMT+0800 (CST)
  5 oplog last event time:   Tue May 28 2019 21:15:41 GMT+0800 (CST)
  6 now:                     Tue May 28 2019 21:15:48 GMT+0800 (CST)

解釋:
configured oplog size:oplog配置的大小
log length start to end:oplog包含的操作時長。
oplog first event time:oplog第一條操作的時間。
oplog last event time:oplog最後一條操作的時間。
now:當前時間。
注意:oplog中第一條操作與最後一條操作的時間差就是操作日誌的長度。

6.7 檢視複製延時

  1 my_rep:PRIMARY> rs.printSlaveReplicationInfo()
  2 source: 172.24.8.72:27017
  3         syncedTo: Tue May 28 2019 21:17:40 GMT+0800 (CST)
  4         0 secs (0 hrs) behind the primary
  5 source: 172.24.8.73:27017
  6         syncedTo: Tue May 28 2019 21:17:40 GMT+0800 (CST)
  7         0 secs (0 hrs) behind the primary
  8 source: 172.24.8.74:27017
  9         syncedTo: Tue May 28 2019 21:17:40 GMT+0800 (CST)
 10         0 secs (0 hrs) behind the primary

6.8 副本集資訊檢視(監控)命令彙總

1.複製集狀態查詢:rs.status()
2.檢視當前副本集oplog狀態:rs.printReplicationInfo()
3.檢視複製延遲:rs.printSlaveReplicationInfo()
4.檢視服務狀態詳情:db.serverStatus()
5.查詢副本集配置:rs.conf()
6.主副本查詢:db.isMaster()

6.9 其他常見維護命令

通過rs.help()命令,可以檢視副本集相關操作命令:
  1 replSetHO:PRIMARY> rs.help()
  2 rs.status()                               #檢視副本集整體健康狀態
  3 rs.initiate()                             #使用預設配置初始化副本集
  4 rs.initiate(cfg)                          #使用指定配置,初始化副本集;這是我們使用的命令
  5 rs.conf()                                 #從local.system.replset獲取副本集當前配置資訊
  6 rs.reconfig(cfg)                          #指定配置資訊重置副本集;指定第二個引數{force:true},來強制更新
  7 rs.add(hostportstr)                       #使用預設配置,給副本集新增新成員
  8 rs.add(membercfgobj)                      #使用指定配置,給副本集新增新成員
  9 rs.addArb(hostportstr)                    #給副本集新增一個仲裁節點,只投票,不會成為資料節點
 10 rs.stepDown([stepdownSecs, catchUpSecs])  #給PRIMARY降權,使之在指定時間內成為SECONDARY,會恢復
 11 rs.syncFrom(hostportstr)                  #使SECONDARY從指定的伺服器同步資料
 12 rs.freeze(secs)                           #讓自己在指定秒數內不會成為PRIMARY
 13 rs.remove(hostportstr)                    #從副本集刪除指定節點
 14 rs.slaveOk()                              #SECONDARY節點預設是不能查詢的,需要執行該命令,使之可以查詢
 15 rs.printReplicationInfo()                 #檢視操作日誌以及日誌時間
 16 rs.printSlaveReplicationInfo()            #檢視所有SECONDARY延遲情況
 17 db.isMaster()                             #查詢當前PRIMARY資訊

提示:更多副本集選舉參考官方:https://docs.mongodb.com/manual/core/replica-set-elections/。

七 副本集複製功能測試

7.1 授權

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u admin -p admin
  2 my_rep:PRIMARY> use admin
  3 my_rep:PRIMARY> db.grantRolesToUser( "admin",[{ role: "dbOwner",db:"mydb" }])

7.2 插入資料

  1 my_rep:PRIMARY> use mydb
  2 my_rep:PRIMARY> db.age01.insert({name: 'zhangsan',
  3 age: '18',
  4 tel: '123456781',
  5 love: ['apple','banana']
  6 }

7.3 檢視同步

  1 [root@mongodb02 ~]# mongo --host 172.24.8.72 -u admin -p admin
  2 my_rep:SECONDARY> rs.slaveOk()
  3 my_rep:SECONDARY> use mydb
  4 my_rep:SECONDARY> db.age01.count()
  5 1

八 副本集故障轉移功能測試

8.1 關閉主節點

  1 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u clusteradmin -p clusteradmin
  2 my_rep:PRIMARY> rs.status()
  3 my_rep:PRIMARY> use admin
  4 switched to db admin
  5 my_rep:PRIMARY> db.shutdownServer()
  6 [root@mongodb02 ~]# mongo --host 172.24.8.72 -u clusteradmin -p clusteradmin	#登入任意非關閉節點
  7 my_rep:PRIMARY> rs.status()
  8 my_rep:PRIMARY> db.serverStatus().repl.primary			#檢視主節點
  9 172.24.8.72:27017

8.2 插入資料

  1 [root@mongodb02 ~]# mongo --host 172.24.8.72 -u admin -p admin
  2 my_rep:PRIMARY> use mydb
  3 db.age01.insertOne({name: 'wanger', age: '15', tel: '123456783', love: ['pear','orange']})

8.3 開啟關閉節點

  1 [root@mongodb01 ~]# systemctl restart mongod.service
  2 [root@mongodb01 ~]# mongo --host 172.24.8.71 -u admin -p admin
  3 my_rep:SECONDARY> use mydb
  4 switched to db mydb
  5 my_rep:SECONDARY> rs.slaveOk()
  6 my_rep:SECONDARY> db.age01.find().pretty()

012
提示:當關閉節點mongo服務重啟啟動後,能正常以SECONDARY加入副本集,並且自動同步相關資料。
注意:所有的Secondary都當機、或則副本集中只剩下一個節點,則該節點只能為Secondary節點,也就意味著整個叢集只能進行讀操作而不能進行寫操作,當其他節點恢復時,之前的primary節點仍然是primary節點。

當某個節點當機後重新啟動該節點會有一段的時間(時間長短視叢集的資料量和當機時間而定)導致整個叢集中所有節點都成為secondary而無法進行寫操作(如果應用程式沒有設定相應的ReadReference也可能不能進行讀取操作)。

官方推薦的最小的副本集也應該具備一個primary節點和兩個secondary節點。兩個節點的副本集不具備真正的故障轉移能力。

參考:https://www.cnblogs.com/zhoujinyi/p/3554010.html
https://www.cnblogs.com/chenmh/p/8681867.html
 

相關文章