環境：
CentOS 6.0 x64

md01: 10.0.0.11
md02: 10.0.0.12
md03: 10.0.0.14
md04: 10.0.0.15
md05: 10.0.0.16
md06: 10.0.0.17

設計思路：

md01、md02、md03 做一組複製集
md04、md05、md06 做一組複製集
再把這兩組複製集用分片做成 shard1、shard2 用LVS 呼叫

下載安裝mongodb

  1. cd /root/tools 
  2. wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.0.0.tgz 
  3. tar zxvf mongodb-linux-x86_64-2.0.0.tgz 
  4. mv mongodb-linux-x86_64-2.0.0 /elain/apps/mongodb-linux-x86_64-2.0.0 
  5. ln -s /elain/apps/mongodb-linux-x86_64-2.0.0 /elain/apps/mongodb 
  6. ln -s /elain/apps/mongodb/bin/*  /bin/ 

#新增使用者組 

  1. /usr/sbin/groupadd -g 690 mongodb 
  2. /usr/sbin/useradd -g mongodb mongodb -u 690 -s /sbin/nologin 

各節點hosts檔案 新增：

  1. true > /etc/hosts 
  2. echo -ne " 
  3. 10.0.0.11     md01 
  4. 10.0.0.12     md02 
  5. 10.0.0.14     md03 
  6. 10.0.0.15     md04 
  7. 10.0.0.16     md05 
  8. 10.0.0.17     md06 
  9. " >>/etc/hosts 

副本集配置：
啟動各節點：
md01

  1. mkdir -p /elain/logs/mongodb/ 
  2. mkdir -p /elain/data/mongodb/db 
  3. /elain/apps/mongodb/bin/mongod --rest --replSet elain/md01:27017 --fork --port 27017 --dbpath /elain/data/mongodb/db/ --logpath /elain/logs/mongodb/mongodb.log 

md02

  1. mkdir -p /elain/logs/mongodb/ 
  2. mkdir -p /elain/data/mongodb/db 
  3. /elain/apps/mongodb/bin/mongod --rest --replSet elain/md02:27017 --fork --port 27017 --dbpath /elain/data/mongodb/db/ --logpath /elain/logs/mongodb/mongodb.log 

md03

  1. mkdir -p /elain/logs/mongodb/ 
  2. mkdir -p /elain/data/mongodb/db 
  3. /elain/apps/mongodb/bin/mongod --rest --replSet elain/md03:27017 --fork --port 27017 --dbpath /elain/data/mongodb/db/ --logpath /elain/logs/mongodb/mongodb.log 

#啟動仲裁節點
在md02上

  1. mkdir /elain/data/mongodb/arb 
  2. /elain/apps/mongodb/bin/mongod --fork --rest --replSet elain --dbpath /elain/data/mongodb/arb --port 27015 --logpath /elain/logs/mongodb/mongodb.log 

初始化節點:
md01:(登入其中任何一個節點操作皆可)

  1. > rs.initiate({ 
  2.     _id : "elain", 
  3.     members : [ 
  4.     {_id : 1, host : "md01:27017"}, 
  5.     {_id : 2, host : "md02:27017"}, 
  6.     {_id : 3, host : "md03:27017"}, 
  7.     {_id : 4, host : "md02:27015", "arbiterOnly": true}, 
  8.     ] 
  9.     }); 

#驗證

  1. PRIMARY> rs.status() 

也可瀏覽：http://10.0.0.11:28017/_replSet  檢視狀態

檢視副本集狀態

  1. >rs.status() 
  2. >user local; 
  3. >rs.isMaster() 
  4. >db.system.replset.find() 

檢視當前主庫：

  1. >db.$cmd.findOne({ismaster:1}); 

另一組副本集同理操作即可;這裡為省篇幅就不再寫出,但切記兩複製集名稱不可以重複
啟動並配置三臺Config Server

#md01,03,05上執行

  1. mkdir -p /elain/data/mongodb/config/ 
  2. /elain/apps/mongodb/bin/mongod --configsvr --dbpath /elain/data/mongodb/config/ --port 20000 --logpath /elain/logs/mongodb/config.log --logappend --fork 

5、部署並配置三臺Routing Server

指定所有的config sever地址引數，chunkSize是分割資料時每塊(Chunk)的單位大小

#md02,md04,md06

  1. /elain/apps/mongodb/bin/mongos --configdb md01:20000,md03:20000,md05:20000 --port 30000 --chunkSize 100 --logpath /elain/logs/mongodb/mongos.log --logappend --fork 

6、命令列新增分片

連線到mongs伺服器，並切換到admin

  1. /elain/apps/mongodb/bin/mongo 10.0.0.11:30000/admin 


  1. db.runCommand( { 
  2.     addshard : "elain/md01:27017", 
  3.     name:"shard1", 
  4.     maxsize:2048, 
  5.     allowLocal:true } ); 
  6.  
  7. db.runCommand( { 
  8.     addshard : "chujq/md04:27017", 
  9.     name:"shard2", 
  10.     maxsize:2048, 
  11.     allowLocal:true } ); 

注：新增複製集elain，其中包含一個伺服器md01:27017(還餓別的伺服器，如md02、md03)，如果md01掛了，mongos會知道它所連線的是一個複製集，並會使用新的主節點（md02或md03）

  1. db.runCommand( { listshards : 1 } ); 

如果列出(sharding)了以上二個你加的shards，表示shards已經配置成功

匯入資料：

  1. mongoimport -d elain -c elain --type csv --headerline --file /root/bak/test.csv --host md02:30000 

注：資料自備，我這裡是從生產環境下MYSQL裡匯出的一些真實資料來做測試

#啟用資料庫分片

  1. db.runCommand( { enablesharding : "elain" } ); 
  2. mongos> db.runCommand( { enablesharding : "elain" } ); 
  3. { "ok" : 1 } 
  4.  
  5. mongos> show dbs 
  6. config  0.1875GB 
  7. elain   0.453125GB 
  8. test    (empty) 

#進入資料庫，建立索引，為分片做準備

  1. /elain/apps/mongodb/bin/mongo 10.0.0.12:30000/admin 
  2.  
  3. use elain; 
  4. db.elain.ensureIndex({"client_userid":1}); 

檢視索引：

  1. mongos> db.elain.find({"client_userid" : 151512}).explain(); 
  2. { 
  3.         "cursor" : "BtreeCursor client_userid_1", 
  4.         "nscanned" : 3, 
  5.         "nscannedObjects" : 3, 
  6.         "n" : 3, 
  7.         "millis" : 0, 
  8.         "nYields" : 0, 
  9.         "nChunkSkips" : 0, 
  10.         "isMultiKey" : false, 
  11.         "indexOnly" : false, 
  12.         "indexBounds" : { 
  13.                 "client_userid" : [ 
  14.                         [ 
  15.                                 151512, 
  16.                                 151512 
  17.                         ] 
  18.                 ] 
  19.         } 
  20. } 

#新增分片：

  1. use admin; 
  2. db.runCommand( { shardcollection : "elain.elain",key : {client_userid: 1} } ) 
  3.  
  4. mongos> db.runCommand( { shardcollection : "elain.elain",key : {client_userid: 1} } ) 
  5. { "collectionsharded" : "elain.elain", "ok" : 1 } 

#檢視分片狀態

  1. use elain; 
  2. db.elain.stats(); 
  3.  
  4. mongos> db.elain.stats(); 
  5. { 
  6.         "sharded" : true, 
  7.         "flags" : 1, 
  8.         "ns" : "elain.elain", 
  9.         "count" : 507372, 
  10.         "numExtents" : 10, 
  11.         "size" : 84375328, 
  12.         "storageSize" : 97849344, 
  13.         "totalIndexSize" : 29253728, 
  14.         "indexSizes" : { 
  15.                 "_id_" : 16474640, 
  16.                 "client_userid_1" : 12779088 
  17.         }, 
  18.         "avgObjSize" : 166.29874727024747, 
  19.         "nindexes" : 2, 
  20.         "nchunks" : 1, 
  21.         "shards" : { 
  22.                 "shard2" : { 
  23.                         "ns" : "elain.elain", 
  24.                         "count" : 507372, 
  25.                         "size" : 84375328, 
  26.                         "avgObjSize" : 166.29874727024747, 
  27.                         "storageSize" : 97849344, 
  28.                         "numExtents" : 10, 
  29.                         "nindexes" : 2, 
  30.                         "lastExtentSize" : 26099712, 
  31.                         "paddingFactor" : 1, 
  32.                         "flags" : 1, 
  33.                         "totalIndexSize" : 29253728, 
  34.                         "indexSizes" : { 
  35.                                 "_id_" : 16474640, 
  36.                                 "client_userid_1" : 12779088 
  37.                         }, 
  38.                         "ok" : 1 
  39.                 } 
  40.         }, 
  41.         "ok" : 1 
  42. } 

在分片後新寫資料第一次：

  1. mongos> db.elain.stats(); 
  2. { 
  3.         "sharded" : true, 
  4.         "flags" : 1, 
  5.         "ns" : "elain.elain", 
  6.         "count" : 676496, 
  7.         "numExtents" : 12, 
  8.         "size" : 112500436, 
  9.         "storageSize" : 129179648, 
  10.         "totalIndexSize" : 47551616, 
  11.         "indexSizes" : { 
  12.                 "_id_" : 21968912, 
  13.                 "client_userid_1" : 25582704 
  14.         }, 
  15.         "avgObjSize" : 166.29874529930703, 
  16.         "nindexes" : 2, 
  17.         "nchunks" : 8, 
  18.         "shards" : { 
  19.                 "shard1" : { 
  20.                         "ns" : "elain.elain", 
  21.                         "count" : 0, 
  22.                         "size" : 0, 
  23.                         "storageSize" : 8192, 
  24.                         "numExtents" : 1, 
  25.                         "nindexes" : 2, 
  26.                         "lastExtentSize" : 8192, 
  27.                         "paddingFactor" : 1, 
  28.                         "flags" : 1, 
  29.                         "totalIndexSize" : 16352, 
  30.                         "indexSizes" : { 
  31.                                 "_id_" : 8176, 
  32.                                 "client_userid_1" : 8176 
  33.                         }, 
  34.                         "ok" : 1 
  35.                 }, 
  36.                 "shard2" : { 
  37.                         "ns" : "elain.elain", 
  38.                         "count" : 676496, 
  39.                         "size" : 112500436, 
  40.                         "avgObjSize" : 166.29874529930703, 
  41.                         "storageSize" : 129171456, 
  42.                         "numExtents" : 11, 
  43.                         "nindexes" : 2, 
  44.                         "lastExtentSize" : 31322112, 
  45.                         "paddingFactor" : 1, 
  46.                         "flags" : 1, 
  47.                         "totalIndexSize" : 47535264, 
  48.                         "indexSizes" : { 
  49.                                 "_id_" : 21960736, 
  50.                                 "client_userid_1" : 25574528 
  51.                         }, 
  52.                         "ok" : 1 
  53.                 } 
  54.         }, 
  55.         "ok" : 1 
  56. } 

分片後新寫資料第二次：

  1. mongos> db.elain.stats(); 
  2. { 
  3.         "sharded" : true, 
  4.         "flags" : 1, 
  5.         "ns" : "elain.elain", 
  6.         "count" : 1189194, 
  7.         "numExtents" : 23, 
  8.         "size" : 194533928, 
  9.         "storageSize" : 252874752, 
  10.         "totalIndexSize" : 87262448, 
  11.         "indexSizes" : { 
  12.                 "_id_" : 43692544, 
  13.                 "client_userid_1" : 43569904 
  14.         }, 
  15.         "avgObjSize" : 163.58468677103988, 
  16.         "nindexes" : 2, 
  17.         "nchunks" : 8, 
  18.         "shards" : { 
  19.                 "shard1" : { 
  20.                         "ns" : "elain.elain", 
  21.                         "count" : 396370, 
  22.                         "size" : 62195348, 
  23.                         "avgObjSize" : 156.91234957236924, 
  24.                         "storageSize" : 86114304, 
  25.                         "numExtents" : 11, 
  26.                         "nindexes" : 2, 
  27.                         "lastExtentSize" : 20881408, 
  28.                         "paddingFactor" : 1, 
  29.                         "flags" : 1, 
  30.                         "totalIndexSize" : 35949872, 
  31.                         "indexSizes" : { 
  32.                                 "_id_" : 17954496, 
  33.                                 "client_userid_1" : 17995376 
  34.                         }, 
  35.                         "ok" : 1 
  36.                 }, 
  37.                 "shard2" : { 
  38.                         "ns" : "elain.elain", 
  39.                         "count" : 792824, 
  40.                         "size" : 132338580, 
  41.                         "avgObjSize" : 166.9205019020615, 
  42.                         "storageSize" : 166760448, 
  43.                         "numExtents" : 12, 
  44.                         "nindexes" : 2, 
  45.                         "lastExtentSize" : 37588992, 
  46.                         "paddingFactor" : 1, 
  47.                         "flags" : 1, 
  48.                         "totalIndexSize" : 51312576, 
  49.                         "indexSizes" : { 
  50.                                 "_id_" : 25738048, 
  51.                                 "client_userid_1" : 25574528 
  52.                         }, 
  53.                         "ok" : 1 
  54.                 } 
  55.         }, 
  56.         "ok" : 1 
  57. } 

分片後新寫資料第三次：

  1. mongos> db.elain.stats(); 
  2. { 
  3.         "sharded" : true, 
  4.         "flags" : 1, 
  5.         "ns" : "elain.elain", 
  6.         "count" : 1376876, 
  7.         "numExtents" : 23, 
  8.         "size" : 225576604, 
  9.         "storageSize" : 252874752, 
  10.         "totalIndexSize" : 100826432, 
  11.         "indexSizes" : { 
  12.                 "_id_" : 50249696, 
  13.                 "client_userid_1" : 50576736 
  14.         }, 
  15.         "avgObjSize" : 163.83218532387812, 
  16.         "nindexes" : 2, 
  17.         "nchunks" : 10, 
  18.         "shards" : { 
  19.                 "shard1" : { 
  20.                         "ns" : "elain.elain", 
  21.                         "count" : 494202, 
  22.                         "size" : 77551984, 
  23.                         "avgObjSize" : 156.92365469990003, 
  24.                         "storageSize" : 86114304, 
  25.                         "numExtents" : 11, 
  26.                         "nindexes" : 2, 
  27.                         "lastExtentSize" : 20881408, 
  28.                         "paddingFactor" : 1, 
  29.                         "flags" : 1, 
  30.                         "totalIndexSize" : 42057344, 
  31.                         "indexSizes" : { 
  32.                                 "_id_" : 21600992, 
  33.                                 "client_userid_1" : 20456352 
  34.                         }, 
  35.                         "ok" : 1 
  36.                 }, 
  37.                 "shard2" : { 
  38.                         "ns" : "elain.elain", 
  39.                         "count" : 882674, 
  40.                         "size" : 148024620, 
  41.                         "avgObjSize" : 167.70021548159343, 
  42.                         "storageSize" : 166760448, 
  43.                         "numExtents" : 12, 
  44.                         "nindexes" : 2, 
  45.                         "lastExtentSize" : 37588992, 
  46.                         "paddingFactor" : 1, 
  47.                         "flags" : 1, 
  48.                         "totalIndexSize" : 58769088, 
  49.                         "indexSizes" : { 
  50.                                 "_id_" : 28648704, 
  51.                                 "client_userid_1" : 30120384 
  52.                         }, 
  53.                         "ok" : 1 
  54.                 } 
  55.         }, 
  56.         "ok" : 1 
  57. } 

分片後新寫資料第四次（DOWN 掉md04的mongo服務）

  1. mongos> db.elain.stats(); 
  2. { 
  3.         "sharded" : true, 
  4.         "flags" : 1, 
  5.         "ns" : "elain.elain", 
  6.         "count" : 1686310, 
  7.         "numExtents" : 26, 
  8.         "size" : 275761376, 
  9.         "storageSize" : 353116160, 
  10.         "totalIndexSize" : 129033632, 
  11.         "indexSizes" : { 
  12.                 "_id_" : 63265888, 
  13.                 "client_userid_1" : 65767744 
  14.         }, 
  15.         "avgObjSize" : 163.52946729842083, 
  16.         "nindexes" : 2, 
  17.         "nchunks" : 10, 
  18.         "shards" : { 
  19.                 "shard1" : { 
  20.                         "ns" : "elain.elain", 
  21.                         "count" : 740264, 
  22.                         "size" : 116213588, 
  23.                         "avgObjSize" : 156.98938216636228, 
  24.                         "storageSize" : 141246464, 
  25.                         "numExtents" : 13, 
  26.                         "nindexes" : 2, 
  27.                         "lastExtentSize" : 30072832, 
  28.                         "paddingFactor" : 1, 
  29.                         "flags" : 1, 
  30.                         "totalIndexSize" : 61810560, 
  31.                         "indexSizes" : { 
  32.                                 "_id_" : 32556832, 
  33.                                 "client_userid_1" : 29253728 
  34.                         }, 
  35.                         "ok" : 1 
  36.                 }, 
  37.                 "shard2" : { 
  38.                         "ns" : "elain.elain", 
  39.                         "count" : 946046, 
  40.                         "size" : 159547788, 
  41.                         "avgObjSize" : 168.64696642657967, 
  42.                         "storageSize" : 211869696, 
  43.                         "numExtents" : 13, 
  44.                         "nindexes" : 2, 
  45.                         "lastExtentSize" : 45109248, 
  46.                         "paddingFactor" : 1, 
  47.                         "flags" : 1, 
  48.                         "totalIndexSize" : 67223072, 
  49.                         "indexSizes" : { 
  50.                                 "_id_" : 30709056, 
  51.                                 "client_userid_1" : 36514016 
  52.                         }, 
  53.                         "ok" : 1 
  54.                 } 
  55.         }, 
  56.         "ok" : 1 
  57. } 

總結：通過以上四次的寫資料測試，我們可以看到分片是成功的，每次寫資料,shard1、shard2都有資料寫入，且，在下面的複製集中DOWN 掉任意一臺，不影響整個架構的正常服務。

刪除片操作

  1. mongos> db.runCommand({"removeshard" : "10.0.0.11:27011"}); 
  2. { 
  3.         "msg" : "draining started successfully", 
  4.         "state" : "started", 
  5.         "shard" : "shard2", 
  6.         "ok" : 1 
  7. } 

再執行，可看到removeshard的挪動進度

  1. mongos> db.runCommand({"removeshard" : "10.0.0.11:27011"}); 
  2. { 
  3.         "msg" : "draining ongoing", 
  4.         "state" : "ongoing", 
  5.         "remaining" : { 
  6.                 "chunks" : NumberLong(3), 
  7.                 "dbs" : NumberLong(0) 
  8.         }, 
  9.         "ok" : 1 
  10. } 
  11.   

轉載請註明： 轉載自http://www.elain.org

本文連結地址:MongoDB實戰系列之六：mongodb的高可用叢集設計實戰