1、MongDB啟動與關閉
1.1、命令列啟動
./mongod --fork --dbpath=/opt/mongodb/data ----logpath=/opt/mongodb/log/mongodb.log
1.2、配置檔案啟動
./mongod -f mongodb.cfg
mongoDB基本配置/opt/mongodb/mongodb.cfg
dbpath=/opt/mongodb/data
logpath=/opt/mongodb/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27017
環境變數配置
export PATH=/opt/mongodb/bin:$PATH
2、MongoDB主從搭建
Mongodb有三種叢集方式的搭建:Master-Slaver/Replica Set / Sharding。下面是最簡答的叢集搭建,不過準確說也不能算是叢集,只能說是主備。並且官方已經不推薦這種方式,所以在這裡只是簡單的介紹下吧,搭建方式也相對簡單。主機配置 /opt/mongodb/master-slave/master/mongodb.cfg
dbpath=/opt/mongodb/master-slave/master/data
logpath=/opt/mongodb/master-slave/master/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27001
master=true
source=192.168.209.128:27002
從機配置 /opt/mongodb/master-slave/slave/mongodb.cfg
dbpath=/opt/mongodb/master-slave/slave/data
logpath=/opt/mongodb/master-slave/slave/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27002
slave=true
source=192.168.209.128:27001
啟動服務
cd /opt/mongodb/master-slave/master/
mongod --config mongodb.cfg #主節點
cd /opt/mongodb/master-slave/slave/
mongod --config mongodb.cfg #從節點
連線測試
#客戶端連線主節點
mongo --host 192.168.209.128 --port 27001
#客戶端從節點
mongo --host 192.168.209.128 --port 27002
基本上只要在主節點和備節點上分別執行這兩條命令,Master-Slaver就算搭建完成了。我沒有試過主節點掛掉後備節點是否能變成主節點,不過既然已經不推薦了,大家就沒必要去使用了。
3、MongoDB副本集
中文翻譯叫做副本集,不過我並不喜歡把英文翻譯成中文,總是感覺怪怪的。其實簡單來說就是叢集當中包含了多份資料,保證主節點掛掉了,備節點能繼續提供資料服務,提供的前提就是資料需要和主節點一致。如下圖:
Mongodb(M)表示主節點,Mongodb(S)表示備節點,Mongodb(A)表示仲裁節點。主備節點儲存資料,仲裁節點不儲存資料。客戶端同時連線主節點與備節點,不連線仲裁節點。
預設設定下,主節點提供所有增刪查改服務,備節點不提供任何服務。但是可以通過設定使備節點提供查詢服務,這樣就可以減少主節點的壓力,當客戶端進行資料查詢時,請求自動轉到備節點上。這個設定叫做Read Preference Modes,同時Java客戶端提供了簡單的配置方式,可以不必直接對資料庫進行操作。
仲裁節點是一種特殊的節點,它本身並不儲存資料,主要的作用是決定哪一個備節點在主節點掛掉之後提升為主節點,所以客戶端不需要連線此節點。這裡雖然只有一個備節點,但是仍然需要一個仲裁節點來提升備節點級別。我開始也不相信必須要有仲裁節點,但是自己也試過沒仲裁節點的話,主節點掛了備節點還是備節點,所以我們們還是需要它的。
介紹完了叢集方案,那麼現在就開始搭建了。
3.1.建立資料資料夾
一般情況下不會把資料目錄建立在mongodb的解壓目錄下,不過這裡方便起見,就建在mongodb解壓目錄下吧。
#三個目錄分別對應主,備,仲裁節點
mkdir -p /opt/mongodb/replset/master
mkdir -p /opt/mongodb/replset/slaver
mkdir -p /opt/mongodb/replset/arbiter
3.2.建立配置檔案
由於配置比較多,所以我們將配置寫到檔案裡。
vi /opt/mongodb/replset/master/mongodb.cfg
dbpath=/opt/mongodb/replset/master/data
logpath=/opt/mongodb/replset/master/logs/mongodb.log
logappend=true
replSet=shard002
bind_ip=192.168.209.128
port=27017
fork=true
vi /opt/mongodb/replset/slave/mongodb.cfg
dbpath=/opt/mongodb/replset/slave/data
logpath=/opt/mongodb/replset/slave/logs/mongodb.log
logappend=true
replSet=shard002
bind_ip=192.168.209.129
port=27017
fork=true
vi /opt/mongodb/replset/arbiter/mongodb.cfg
dbpath=/opt/mongodb/replset/arbiter/data
logpath=/opt/mongodb/replset/arbiter/logs/mongodb.log
logappend=true
replSet=shard002
bind_ip=192.168.209.130
port=27017
fork=true
引數解釋:
dbpath:資料存放目錄
logpath:日誌存放路徑
logappend:以追加的方式記錄日誌
replSet:replica set的名字
bind_ip:mongodb所繫結的ip地址
port:mongodb程式所使用的埠號,預設為27017
fork:以後臺方式執行程式
3.3、分發到叢集下的其他機器
#將從節點配置傳送到192.168.209.129
scp -r /opt/mongodb/replset/slave root@192.168.209.129:/opt/mongodb/replset
#將仲裁節點配置傳送到192.168.209.130
scp -r /opt/mongodb/replset/arbiter root@192.168.209.130:/opt/mongodb/replset
3.4.啟動mongodb
進入每個mongodb節點的bin目錄下
#登入192.168.209.128 啟動主節點
monood -f /opt/mongodb/replset/master/mongodb.cfg
#登入192.168.209.129 啟動從節點
mongod -f /opt/mongodb/replset/slave/mongodb.cfg
#登入192.168.209.130 啟動仲裁節點
mongod -f /opt/mongodb/replset/arbiter/mongodb.cfg
注意配置檔案的路徑一定要保證正確,可以是相對路徑也可以是絕對路徑。
3.5.配置主,備,仲裁節點
可以通過客戶端連線mongodb,也可以直接在三個節點中選擇一個連線mongodb。
#ip和port是某個節點的地址
mongo 192.168.209.128:27017
use admin
cfg={_id:"shard002",members:[{_id:0,host:'192.168.209.128:27017',priority:9},{_id:1,host:'192.168.209.129:27017',priority:1},{_id:2,host:'192.168.209.130:27017',arbiterOnly:true}]};
#使配置生效
rs.initiate(cfg)
注意:cfg是相當於設定一個變數,可以是任意的名字,當然最好不要是mongodb的關鍵字,conf,config都可以。最外層的_id表示replica set的名字,members裡包含的是所有節點的地址以及優先順序。優先順序最高的即成為主節點,即這裡的192.168.209.128:27017。特別注意的是,對於仲裁節點,需要有個特別的配置——arbiterOnly:true。這個千萬不能少了,不然主備模式就不能生效。
配置的生效時間根據不同的機器配置會有長有短,配置不錯的話基本上十幾秒內就能生效,有的配置需要一兩分鐘。如果生效了,執行rs.status()命令會看到如下資訊:
{
"set" : "testrs",
"date" : ISODate("2013-01-05T02:44:43Z"),
"myState" : 1,
"members" : [
{
"_id" : 0,
"name" : "192.168.209.128:27004",
"health" : 1,
"state" : 1,
"stateStr" : "PRIMARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2017-12-22T07:46:05Z"),
"self" : true
},
{
"_id" : 1,
"name" : "192.168.209.128:27003",
"health" : 1,
"state" : 2,
"stateStr" : "SECONDARY",
"uptime" : 200,
"optime" : Timestamp(1357285565000, 1),
"optimeDate" : ISODate("2017-12-22T07:46:05Z"),
"lastHeartbeat" : ISODate("2017-12-22T02:44:42Z"),
"pingMs" : 0
},
{
"_id" : 2,
"name" : "192.168.209.128:27005",
"health" : 1,
"state" : 7,
"stateStr" : "ARBITER",
"uptime" : 200,
"lastHeartbeat" : ISODate("2017-12-22T02:44:42Z"),
"pingMs" : 0
}
],
"ok" : 1
}
如果配置正在生效,其中會包含如下資訊:
"stateStr" : "STARTUP"
同時可以檢視對應節點的日誌,發現正在等待別的節點生效或者正在分配資料檔案。
現在基本上已經完成了叢集的所有搭建工作。至於測試工作,可以留給大家自己試試。一個是往主節點插入資料,能從備節點查到之前插入的資料(查詢備節點可能會遇到某個問題,可以自己去網上查檢視)。二是停掉主節點,備節點能變成主節點提供服務。三是恢復主節點,備節點也能恢復其備的角色,而不是繼續充當主的角色。二和三都可以通過rs.status()命令實時檢視叢集的變化。
4、MongoDB資料分片
和Replica Set類似,都需要一個仲裁節點,但是Sharding還需要配置節點和路由節點。就三種叢集搭建方式來說,這種是最複雜的。
4.1、配置資料節點
mkdir -p /opt/mongodb/shard/replset/replica1/data
mkdir -p /opt/mongodb/shard/replset/replica1/logs
mkdir -p /opt/mongodb/shard/replset/replica2/data
mkdir -p /opt/mongodb/shard/replset/replica2/logs
mkdir -p /opt/mongodb/shard/replset/replica3/data
mkdir -p /opt/mongodb/shard/replset/replica3/logs
vi /opt/mongodb/shard/replset/replica1/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica1/data
logpath=/opt/mongodb/shard/replset/replica1/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27001
replSet=shard001
shardsvr=true
vi /opt/mongodb/shard/replset/replica2/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica2/data
logpath=/opt/mongodb/shard/replset/replica2/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27002
replSet=shard001
shardsvr=true
vi /opt/mongodb/shard/replset/replica3/mongodb.cfg
dbpath=/opt/mongodb/shard/replset/replica3/data
logpath=/opt/mongodb/shard/replset/replica3/logs/mongodb.log
logappend=true
fork=true
bind_ip=192.168.209.128
port=27003
replSet=shard001
shardsvr=true
4.2、啟動資料節點
mongod -f /opt/mongodb/shard/replset/replica1/mongodb.cfg #192.168.209.128:27001
mongod -f /opt/mongodb/shard/replset/replica2/mongodb.cfg #192.168.209.128:27002
mongod -f /opt/mongodb/shard/replset/replica3/mongodb.cfg #192.168.209.128:27003
4.3、使資料節點叢集生效
mongo 192.168.209.128:27001 #ip和port是某個節點的地址
cfg={_id:"shard001",members:[{_id:0,host:'192.168.209.128:27001'},{_id:1,host:'192.168.209.128:27002'},{_id:2,host:'192.168.209.128:27003'}]};
rs.initiate(cfg) #使配置生效
4.4、配置configsvr
mkdir -p /opt/mongodb/shard/configsvr/config1/data
mkdir -p /opt/mongodb/shard/configsvr/config1/logs
mkdir -p /opt/mongodb/shard/configsvr/config2/data
mkdir -p /opt/mongodb/shard/configsvr/config2/logs
mkdir -p /opt/mongodb/shard/configsvr/config3/data
mkdir -p /opt/mongodb/shard/configsvr/config3/logs
/opt/mongodb/shard/configsvr/config1/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config1/data
configsvr=true
port=28001
fork=true
logpath=/opt/mongodb/shard/configsvr/config1/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128
/opt/mongodb/shard/configsvr/config2/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config2/data
configsvr=true
port=28002
fork=true
logpath=/opt/mongodb/shard/configsvr/config2/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128
/opt/mongodb/shard/configsvr/config3/mongodb.cfg
dbpath=/opt/mongodb/shard/configsvr/config3/data
configsvr=true
port=28003
fork=true
logpath=/opt/mongodb/shard/configsvr/config3/logs/mongodb.log
replSet=configrs
logappend=true
bind_ip=192.168.209.128
4.5、啟動configsvr節點
mongod -f /opt/mongodb/shard/configsvr/config1/mongodb.cfg #192.168.209.128:28001
mongod -f /opt/mongodb/shard/configsvr/config2/mongodb.cfg #192.168.209.128:28002
mongod -f /opt/mongodb/shard/configsvr/config3/mongodb.cfg #192.168.209.128:28003
4.6、使configsvr節點叢集生效
mongo 192.168.209.128:28001 #ip和port是某個節點的地址
use admin #先切換到admin
cfg={_id:"configrs",members:[{_id:0,host:'192.168.209.128:28001'},{_id:1,host:'192.168.209.128:28002'},{_id:2,host:'192.168.209.128:28003'}]};
rs.initiate(cfg) #使配置生效
配置路由節點
mkdir -p /opt/mongodb/shard/routesvr/logs
#注意:路由節點沒有data資料夾
vi /opt/mongodb/shard/routesvr/mongodb.cfg
configdb=configrs/192.168.209.128:28001,192.168.209.128:28002,192.168.209.128:28003
port=30000
fork=true
logpath=/opt/mongodb/shard/routesvr/logs/mongodb.log
logappend=true
bind_ip=192.168.209.128
4.7.啟動路由節點
./mongos -f /opt/mongodb/shard/routesvr/mongodb.cfg #192.168.209.128:30000
這裡我們沒有用配置檔案的方式啟動,其中的引數意義大家應該都明白。一般來說一個資料節點對應一個配置節點,仲裁節點則不需要對應的配置節點。注意在啟動路由節點時,要將配置節點地址寫入到啟動命令裡。
4.8.配置Replica Set
這裡可能會有點奇怪為什麼Sharding會需要配置Replica Set。其實想想也能明白,多個節點的資料肯定是相關聯的,如果不配一個Replica Set,怎麼標識是同一個叢集的呢。這也是人家mongodb的規定,我們們還是遵守吧。配置方式和之前所說的一樣,定一個cfg,然後初始化配置。
4.9.配置Sharding
mongo 192.168.209.128:30000 #這裡必須連線路由節點
sh.addShard("shard001/192.168.209.128:27001");
sh.addShard("shard002/192.168.209.128:27017");
#shard001、shard002表示replica set的名字 當把主節點新增到shard以後,會自動找到set裡的主,備,決策節點
use testdb
sh.enableSharding("testdb") #testdb is database name
sh.shardCollection("testdb.testcon",{"name":”hashed”})
db.collection.status()
第一個命令很容易理解,第二個命令是對需要進行Sharding的資料庫進行配置,第三個命令是對需要進行Sharding的Collection進行配置,這裡的testcon即為Collection的名字。另外還有個key,這個是比較關鍵的東西,對於查詢效率會有很大的影響。
到這裡Sharding也已經搭建完成了,以上只是最簡單的搭建方式,其中某些配置仍然使用的是預設配置。如果設定不當,會導致效率異常低下,所以建議大家多看看官方文件再進行預設配置的修改。
以上三種叢集搭建方式首選Replica Set,只有真的是大資料,Sharding才能顯現威力,畢竟備節點同步資料是需要時間的。Sharding可以將多片資料集中到路由節點上進行一些對比,然後將資料返回給客戶端,但是效率還是比較低的說。
我自己有測試過,不過具體的機器配置已經不記得了。Replica Set的ips在資料達到1400W條時基本能達到1000左右,而Sharding在300W時已經下降到500 IPS,兩者的單位資料大小大概是10kb。大家在應用的時候還是多多做下效能測試,畢竟不像Redis有benchmark。
本文為“Tom彈架構”原創,轉載請註明出處。技術在於分享,我分享我快樂!
如果本文對您有幫助,歡迎關注和點贊;如果您有任何建議也可留言評論或私信,您的支援是我堅持創作的動力。
原創不易,堅持很酷,都看到這裡了,小夥伴記得點贊、收藏、在看,一鍵三連加關注!如果你覺得內容太乾,可以分享轉發給朋友滋潤滋潤!