mongodb資料遷移2種方式比較
環境說明:bbs資料採集的資料越來越多,目前是50G,每天大概以200W的資料量增長。而當前伺服器1.2上面的空間不足,需要把資料遷移到空間足夠大的1.3上面去
嘗試了2種方式對資料進行遷移,一種是rsync,直接拉取資料;另一種是使用mongodump/mongorestore
1.rsync
操作步驟:
1.2:
[mongodb]
path = /data1/mongodb/data
hosts allow = 192.168.1.0/24
read only = no
write only = no
1.3:
rsync -avz root@192.168.1.2::mongodb/dbname /data/mongodb-linux-x86_64-1.8.1/data/
chown -R mongodb:mongodb /data/mongodb-linux-x86_64-1.8.1/data/
使用時間:50分鐘
到目標伺服器資料:50G
優點:使用時間短
缺點:需要配置rsync,資料佔用的空間大(資料原封不動的拉取過來,包括碎片)
2.mongodump/mongorestore
操作步驟:
mongodump:
/data/PRG/mongodb/bin/mongodump --host 192.168.1.2:27017 -d dbname -uuername -ppasswd -o /data/mongodb-linux-x86_64-1.8.1/data/ --directoryperdb
mongorestore:
/data/mongodb-linux-x86_64-1.8.1/bin/mongorestore --dbpath /data/mongodb-linux-x86_64-1.8.1/data/ --directoryperdb /data/dbname/
chown -R mongodb:mongodb /data/mongodb-linux-x86_64-1.8.1/data/
使用時間:35(mongodump)+90(mongorestore)
到目標伺服器資料:20G(需要的空間大大減小,拉取過程中相當於做了一次碎片整理)
優點:遷移到新伺服器的資料經過了整理,需要空間大大減小
缺點:需要時間長
資料遷移時需要停mongo進行操作,而2種方式各有優缺點,如果可以忽略操作時間內的資料的話,那麼使用第2種方式會比較好(已經有不少例子因為碎片帶來嚴重的後果)
©著作權歸作者所有:來自51CTO部落格作者lynnteng0的原創作品,如需轉載,請註明出處,否則將追究法律責任
空間資料採集mongodb
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/855/viewspace-2822150/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 遷移sqlserver資料到MongoDbSQLServerMongoDB
- MongoDB 資料遷移 備份 匯入(自用)MongoDB
- 77種資料建模工具比較
- mongodb資料庫備份與恢復(資料庫資料遷移)MongoDB資料庫
- 技術實操丨HBase 2.X版本的後設資料修復及一種資料遷移方式
- 利用offline datafile檔案方式遷移資料
- 用begin backup的方式遷移資料庫資料庫
- 資料遷移新技能,MongoDB輕鬆同步至ClickHouseMongoDB
- 【北亞資料恢復】MongoDB資料遷移檔案丟失的MongoDB資料恢復案例資料恢復MongoDB
- MongoDB遷移工具MongoshakeMongoDB
- JS嵌入html的方式及各種方式的比較JSHTML
- 6- ABC遷移大資料2大資料
- 你知道那幾種資料遷移工具?
- 1.0 ORACLE到MYSQL資料遷移方式選型OracleMySql
- Mongodb資料遷移步驟MongoDB
- Spring Boot中兩個資料庫遷移工具Liquibase和Flyway的比較 - 4lexSpring Boot資料庫UI
- Redis vs. MongoDB比較RedisMongoDB
- Oracle官方推薦的資料遷移方式評估Oracle
- 資料庫訪問幾種方式對比資料庫
- Kafka資料遷移Kafka
- Harbor資料遷移
- gitlab資料遷移Gitlab
- 資料庫遷移資料庫
- 支援多種資料庫型別的遷移工具資料庫型別
- 技術分享 | MySQL 的幾種資料遷移方案MySql
- 在Ubuntu 14.04上備份,還原和遷移MongoDB資料庫UbuntuMongoDB資料庫
- jmeter混合場景的多種實現方式比較JMeter
- 千億級資料遷移mongodb成本節省及效能優化實踐(附效能對比質疑解答)MongoDB優化
- ERP系統的三種遷移模式之對比模式
- 資料遷移(1)——通過資料泵表結構批量遷移
- db2匯出資料庫定義及遷移資料DB2資料庫
- Mysql資料遷移方法MySql
- 【Hive】hive資料遷移Hive
- 【Redis】 redis資料遷移Redis
- redis資料庫遷移Redis資料庫
- congregate遷移gitlab資料Gitlab
- 系統資料遷移
- 資料庫遷移 :理解資料庫