MongoDB日常運維操作命令小結

散盡浮華發表於2018-01-03

 

總所周知,MongoDB是一個NoSQL非資料庫系統,即一個資料庫可以包含多個集合(Collection),每個集合對應於關聯式資料庫中的表;而每個集合中可以儲存一組由列標識的記錄,列是可以自由定義的,非常靈活,由一組列標識的實體的集合對應於關聯式資料庫表中的行。下面通過熟悉MongoDB的基本管理命令,來了解MongoDB提供的DBMS的基本功能和行為。

0)MongoDB的安裝

[root@centos6-vm01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6.tgz    
[root@centos6-vm01 ~]# tar -zxvf mongodb-linux-x86_64-3.0.6.tgz                                   
[root@centos6-vm01 ~]# mv  mongodb-linux-x86_64-3.0.6/ /usr/local/mongodb   
[root@centos6-vm01 ~]# vim /etc/profile
......
export PATH=$PATH:/usr/local/mongodb/bin/
[root@centos6-vm01 ~]# source /etc/profile

啟動mongodb
[root@centos6-vm01 ~]# mkdir -p /data/db
[root@centos6-vm01 ~]# cd /usr/local/mongodb/bin/
[root@centos6-vm01 bin]# ./mongod &

[root@centos6-vm01 bin]# lsof -i:27017
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
mongod  24304 root    5u  IPv4 187360      0t0  TCP *:27017 (LISTEN)
mongod  24304 root   12u  IPv4 187456      0t0  TCP localhost:27017->localhost:48742 (ESTABLISHED)
mongo   24319 root    3u  IPv4 187455      0t0  TCP localhost:48742->localhost:27017 (ESTABLISHED)

-----------------------------------------------------
連線mongodb報錯:
Failed global initialization: BadValue Invalid or no user locale set. Please ensure LANG and/or LC_* environment variables are set correctly.

解決辦法:
[root@centos6-vm01 ~]# vim /etc/profile
......
export LC_ALL=C
[root@centos6-vm01 ~]# source /etc/profile
-----------------------------------------------------

1)MongoDB命令幫助系統
在安裝MongoDB後,啟動伺服器程式(mongod),可以通過在客戶端命令mongo實現對MongoDB的管理和監控。看一下MongoDB的命令幫助系統:

[root@centos6-vm01 ~]# mongo
MongoDB shell version: 3.0.6
connecting to: test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
    http://docs.mongodb.org/
Questions? Try the support group
    http://groups.google.com/group/mongodb-user
Server has startup warnings: 
2018-01-02T23:24:23.304+0000 I CONTROL  [initandlisten] ** WARNING: You are running this process as the root user, which is not recommended.
2018-01-02T23:24:23.304+0000 I CONTROL  [initandlisten] 
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] 
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] 
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2018-01-02T23:24:23.307+0000 I CONTROL  [initandlisten] 
> help
    db.help()                    help on db methods
    db.mycoll.help()             help on collection methods
    sh.help()                    sharding helpers
    rs.help()                    replica set helpers
    help admin                   administrative help
    help connect                 connecting to a db help
    help keys                    key shortcuts
    help misc                    misc things to know
    help mr                      mapreduce

    show dbs                     show database names
    show collections             show collections in current database
    show users                   show users in current database
    show profile                 show most recent system.profile entries with time >= 1ms
    show logs                    show the accessible logger names
    show log [name]              prints out the last segment of log in memory, 'global' is default
    use <db_name>                set current database
    db.foo.find()                list objects in collection foo
    db.foo.find( { a : 1 } )     list objects in foo where a == 1
    it                           result of the last line evaluated; use to further iterate
    DBQuery.shellBatchSize = x   set default number of items to display on shell
    exit                         quit the mongo shell
> 

這是MongoDB最頂層的命令列表,主要告訴我們管理資料庫相關的一些抽象的範疇:資料庫操作幫助、集合操作幫助、管理幫助。如果你想了解資料庫操作更詳細的幫助命令,可以直接使用db.help(),如下所示:

> db.help()  
DB methods:
	db.adminCommand(nameOrDocument) - switches to 'admin' db, and runs command [ just calls db.runCommand(...) ]
	db.auth(username, password)
	db.cloneDatabase(fromhost)
	db.commandHelp(name) returns the help for the command
	db.copyDatabase(fromdb, todb, fromhost)
	db.createCollection(name, { size : ..., capped : ..., max : ... } )
	db.createUser(userDocument)
	db.currentOp() displays currently executing operations in the db
	db.dropDatabase()
	db.eval() - deprecated
	db.fsyncLock() flush data to disk and lock server for backups
	db.fsyncUnlock() unlocks server following a db.fsyncLock()
	db.getCollection(cname) same as db['cname'] or db.cname
	db.getCollectionInfos()
	db.getCollectionNames()
	db.getLastError() - just returns the err msg string
	db.getLastErrorObj() - return full status object
	db.getLogComponents()
	db.getMongo() get the server connection object
	db.getMongo().setSlaveOk() allow queries on a replication slave server
	db.getName()
	db.getPrevError()
	db.getProfilingLevel() - deprecated
	db.getProfilingStatus() - returns if profiling is on and slow threshold
	db.getReplicationInfo()
	db.getSiblingDB(name) get the db at the same server as this one
	db.getWriteConcern() - returns the write concern used for any operations on this db, inherited from server object if set
	db.hostInfo() get details about the server's host
	db.isMaster() check replica primary status
	db.killOp(opid) kills the current operation in the db
	db.listCommands() lists all the db commands
	db.loadServerScripts() loads all the scripts in db.system.js
	db.logout()
	db.printCollectionStats()
	db.printReplicationInfo()
	db.printShardingStatus()
	db.printSlaveReplicationInfo()
	db.dropUser(username)
	db.repairDatabase()
	db.resetError()
	db.runCommand(cmdObj) run a database command.  if cmdObj is a string, turns it into { cmdObj : 1 }
	db.serverStatus()
	db.setLogLevel(level,<component>)
	db.setProfilingLevel(level,<slowms>) 0=off 1=slow 2=all
	db.setWriteConcern( <write concern doc> ) - sets the write concern for writes to the db
	db.unsetWriteConcern( <write concern doc> ) - unsets the write concern for writes to the db
	db.setVerboseShell(flag) display extra information in shell output
	db.shutdownServer()
	db.stats()
	db.version() current version of the server

對資料庫進行管理和操作的基本命令,可以從上面獲取到。如果想要得到更多,而且每個命令的詳細用法,可以使用上面列出的db.listCommands()查詢。
另一個比較基礎的是對指定資料庫的集合進行操作、管理和監控,可以通過查詢db.mycoll.help()獲取到:

> db.mycoll.help()  
DBCollection help
    db.mycoll.find().help() - show DBCursor help
    db.mycoll.count()
    db.mycoll.copyTo(newColl) - duplicates collection by copying all documents to newColl; no indexes are copied.
    db.mycoll.convertToCapped(maxBytes) - calls {convertToCapped:'mycoll', size:maxBytes}} command
    db.mycoll.dataSize()
    db.mycoll.distinct( key ) - e.g. db.mycoll.distinct( 'x' )
    db.mycoll.drop() drop the collection
    db.mycoll.dropIndex(index) - e.g. db.mycoll.dropIndex( "indexName" ) or db.mycoll.dropIndex( { "indexKey" : 1 } )
    db.mycoll.dropIndexes()
    db.mycoll.ensureIndex(keypattern[,options])
    db.mycoll.explain().help() - show explain help
    db.mycoll.reIndex()
    db.mycoll.find([query],[fields]) - query is an optional query filter. fields is optional set of fields to return.
                                                  e.g. db.mycoll.find( {x:77} , {name:1, x:1} )
    db.mycoll.find(...).count()
    db.mycoll.find(...).limit(n)
    db.mycoll.find(...).skip(n)
    db.mycoll.find(...).sort(...)
    db.mycoll.findOne([query])
    db.mycoll.findAndModify( { update : ... , remove : bool [, query: {}, sort: {}, 'new': false] } )
    db.mycoll.getDB() get DB object associated with collection
    db.mycoll.getPlanCache() get query plan cache associated with collection
    db.mycoll.getIndexes()
    db.mycoll.group( { key : ..., initial: ..., reduce : ...[, cond: ...] } )
    db.mycoll.insert(obj)
    db.mycoll.mapReduce( mapFunction , reduceFunction , <optional params> )
    db.mycoll.aggregate( [pipeline], <optional params> ) - performs an aggregation on a collection; returns a cursor
    db.mycoll.remove(query)
    db.mycoll.renameCollection( newName , <dropTarget> ) renames the collection.
    db.mycoll.runCommand( name , <options> ) runs a db command with the given name where the first param is the collection name
    db.mycoll.save(obj)
    db.mycoll.stats({scale: N, indexDetails: true/false, indexDetailsKey: <index key>, indexDetailsName: <index name>})
    db.mycoll.storageSize() - includes free space allocated to this collection
    db.mycoll.totalIndexSize() - size in bytes of all the indexes
    db.mycoll.totalSize() - storage allocated for all data and indexes
    db.mycoll.update(query, object[, upsert_bool, multi_bool]) - instead of two flags, you can pass an object with fields: upsert, multi
    db.mycoll.validate( <full> ) - SLOW
    db.mycoll.getShardVersion() - only for use with sharding
    db.mycoll.getShardDistribution() - prints statistics about data distribution in the cluster
    db.mycoll.getSplitKeysForChunks( <maxChunkSize> ) - calculates split points over all chunks and returns splitter function
    db.mycoll.getWriteConcern() - returns the write concern used for any operations on this collection, inherited from server/db if set
    db.mycoll.setWriteConcern( <write concern doc> ) - sets the write concern for writes to the collection
    db.mycoll.unsetWriteConcern( <write concern doc> ) - unsets the write concern for writes to the collection

有關資料庫和集合管理的相關命令,是最基礎和最常用的,如集合查詢、索引操作等。下面通過實際的例子來演示一些常見的命令:

一、基本命令
1)show dbs
顯示當前資料庫伺服器上的資料庫

2)use pagedb
切換到指定資料庫pagedb的上下文,可以在此上下文中管理pagedb資料庫以及其中的集合等

3)show collections
顯示資料庫中所有的集合(collection)

4)db.serverStatus()
檢視資料庫伺服器的狀態。
有時,通過檢視資料庫伺服器的狀態,可以判斷資料庫是否存在問題,如果有問題,如資料損壞,可以及時執行修復。

5)查詢指定資料庫統計資訊
use fragment
db.stats()
查詢結果示例如下所示:

> use fragment
switched to db fragment
> db.stats()
{
    "db" : "fragment",
    "collections" : 0,
    "objects" : 0,
    "avgObjSize" : 0,
    "dataSize" : 0,
    "storageSize" : 0,
    "numExtents" : 0,
    "indexes" : 0,
    "indexSize" : 0,
    "fileSize" : 0,
    "ok" : 1
}

6)查詢指定資料庫包含的集合名稱列表
db.getCollectionNames()
結果如下所示:

> db.getCollectionNames()  
[  
        "17u",  
        "baseSe",  
        "bytravel",  
        "daodao",  
        "go2eu",  
        "lotour",  
        "lvping",  
        "mafengwo",  
        "sina",  
        "sohu",  
        "system.indexes"  
]  

二、基本DDL和DML
1)建立資料庫
如果你習慣了關係型資料庫,你可能會尋找相關的建立資料庫的命令。在MongoDB中,你可以直接通過use dbname來切換到這個資料庫上下文下面,系統會自動延遲建立該資料庫,例如:

> show dbs  
local  0.078GB
> use LuceneIndexDB  
switched to db LuceneIndexDB
> show dbs 
local  0.078GB
> db 
LuceneIndexDB
> db.storeCollection.save({'version':'3.5', 'segment':'e3ol6'})
WriteResult({ "nInserted" : 1 })
> show dbs
LuceneIndexDB  0.078GB
local          0.078GB
> 

可見,在use指定資料庫後,並且向指定其中的一個集合並插入資料後,資料庫和集合都被建立了。

2)刪除資料庫
直接使用db.dropDatabase()即可刪除資料庫。

3)建立集合
可以使用命令db.createCollection(name, { size : ..., capped : ..., max : ... } )建立集合,示例如下所示:

> db.createCollection('replicationColletion', {'capped':true, 'size':10240, 'max':17855200}) 
{ "ok" : 1 }
> show collections  
replicationColletion
storeCollection
system.indexes

4)刪除集合
刪除集合,可以執行db.mycoll.drop()。

5)插入更新記錄
直接使用集合的save方法,如下所示:

> db.storeCollection.save({'version':'3.5', 'segment':'e3ol6'})
WriteResult({ "nInserted" : 1 })

更新記錄,使用save會將原來的記錄值進行覆蓋實現記錄更新。

6)查詢一條記錄
使用findOne()函式,引數為查詢條件,可選,系統會隨機查詢獲取到滿足條件的一條記錄(如果存在查詢結果數量大於等於1)示例如下所示:

> db.storeCollection.findOne({'version':'3.5'})  
{
	"_id" : ObjectId("5a4c1733f5c45f057ae82292"),
	"version" : "3.5",
	"segment" : "e3ol6"
}

7)查詢多條記錄
使用find()函式,引數指定查詢條件,不指定條件則查詢全部記錄。

8)刪除記錄
使用集合的remove()方法,引數指定為查詢條件,示例如下所示:

> db.storeCollection.remove({'version':'3.5'})  
WriteResult({ "nRemoved" : 2 })
> db.storeCollection.findOne()  
null

9)建立索引
可以使用集合的ensureIndex(keypattern[,options])方法,示例如下所示:

> use pagedb 
switched to db pagedb
> db.page.ensureIndex({'title':1, 'url':-1})  
{
    "createdCollectionAutomatically" : true,
    "numIndexesBefore" : 1,
    "numIndexesAfter" : 2,
    "ok" : 1
}
> db.system.indexes.find()  
{ "v" : 1, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "pagedb.page" }
{ "v" : 1, "key" : { "title" : 1, "url" : -1 }, "name" : "title_1_url_-1", "ns" : "pagedb.page" }

上述,ensureIndex方法引數中,數字1表示升序,-1表示降序。
使用db.system.indexes.find()可以查詢全部索引。

10)查詢索引
我們為集合建立的索引,那麼可以通過集合的getIndexes()方法實現查詢,示例如下所示:

> db.page.getIndexes()  
[
	{
		"v" : 1,
		"key" : {
			"_id" : 1
		},
		"name" : "_id_",
		"ns" : "pagedb.page"
	},
	{
		"v" : 1,
		"key" : {
			"title" : 1,
			"url" : -1
		},
		"name" : "title_1_url_-1",
		"ns" : "pagedb.page"
	}
]

當然,如果需要查詢系統中全部的索引,可以使用db.system.indexes.find()函式。

11)刪除索引
刪除索引給出了兩個方法:

> db.mycoll.dropIndex(name) 
2018-01-02T23:45:50.155+0000 E QUERY    ReferenceError: name is not defined
    at (shell):1:21
> db.mycoll.dropIndexes()  
{ "ok" : 0, "errmsg" : "ns not found" }
> 

第一個通過指定索引名稱,第二個刪除指定集合的全部索引。

12)索引重建
可以通過集合的reIndex()方法進行索引的重建,示例如下所示:

> db.page.reIndex()  
{
	"nIndexesWas" : 2,
	"nIndexes" : 2,
	"indexes" : [
		{
			"key" : {
				"_id" : 1
			},
			"name" : "_id_",
			"ns" : "pagedb.page"
		},
		{
			"key" : {
				"title" : 1,
				"url" : -1
			},
			"name" : "title_1_url_-1",
			"ns" : "pagedb.page"
		}
	],
	"ok" : 1
}

13)統計集合記錄數

> use fragment
switched to db fragment
> db.baseSe.count()
36749

 

上述統計了資料庫fragment的baseSe集合中記錄數。

14)查詢並統計結果記錄數

> use fragment
switched to db fragment
> db.baseSe.find().count()
36749

find()可以提供查詢引數,然後查詢並統計結果。上述執行先根據查詢條件查詢結果,然後統計了查詢資料庫fragment的baseSe結果記錄集合中記錄數。

15)查詢指定資料庫的集合當前可用的儲存空間

> use fragment
switched to db fragment
> db.baseSe.storageSize()
142564096

16)查詢指定資料庫的集合分配的儲存空間

> db.baseSe.totalSize()
144096000

上述查詢結果中,包括為集合(資料及其索引儲存)分配的儲存空間。

三、啟動與終止

1)正常啟動
[root@centos6-vm01 ~]# mongod --dbpath /data/db --logfile /var/mongo.log
說明:指定資料儲存目錄和日誌目錄

如果採用安全認證模式,需要加上--auth選項,如:
[root@centos6-vm01 ~]# mongod --auth --dbpath /data/db --logfile /var/mongo.log

2)以修復模式啟動
[root@centos6-vm01 ~]# mongod --repair
以修復模式啟動資料庫。

實際很可能資料庫資料損壞或資料狀態不一致,導致無法正常啟動MongoDB伺服器,根據啟動資訊可以看到需要進行修復。或者執行:
[root@centos6-vm01 ~]# mongod -f /etc/mongodb.conf --repair

3)終止伺服器程式
> db.shutdownServer()
終止資料庫伺服器程式。或者,可以直接kill掉mongod程式即可。

四、安全管理

1)以安全認證模式啟動
[root@centos6-vm01 ~]# mongod --auth --dbpath /usr/mongo/data --logfile /var/mongo.log
使用--auth選項啟動mongod程式即可啟用認證模式。
或者,也可以修改/etc/mongodb.conf,設定auth=true,重啟mongod程式。

2)新增使用者
> db.createUser({user: "admin",pwd: "1234!@#$qwer",roles: [ "readWrite", "dbAdmin" ]})
新增資料庫使用者,新增成功,則顯示結果如下所示:

> db.createUser({user: "admin",pwd: "1234!@#$qwer",roles: [ "readWrite", "dbAdmin" ]})
Successfully added user: { "user" : "admin", "roles" : [ "readWrite", "dbAdmin" ] }

3)安全認證
前提是必須進入該使用者對應的database才行,出現1代表成功
> db.auth("admin", "1234!@#$qwer")
資料庫安全認證。認證成功顯示結果:

> use admin
switched to db admin
> db.auth("admin", "1234!@#$qwer")
1

如果是認證使用者,執行某些命令,可以看到正確執行結果,如下所示:

> db.system.users.find()  
{ "_id" : "fragment.admin", "user" : "admin", "db" : "fragment", "credentials" : { "SCRAM-SHA-1" : { "iterationCount" : 10000, "salt" : "/QZtFAvcavqZIm15FmbToA==", "storedKey" : "t91XZuIrnUYtuN1bG+hNg58R+w0=", "serverKey" : "vZLGW0nVpGSKfUHsS2RABOXhOb4=" } }, "roles" : [ { "role" : "readWrite", "db" : "fragment" }, { "role" : "dbAdmin", "db" : "fragment" } ] }

4、為資料庫寫資料(同步到磁碟)加鎖
> db.runCommand({fsync:1,lock:1})
說明:該操作已經對資料庫上鎖,不允許執行寫資料操作,一般在執行資料庫備份時有用。執行命令,結果示例如下:

> db.runCommand({fsync:1,lock:1})
{
	"info" : "now locked against writes, use db.fsyncUnlock() to unlock",
	"seeAlso" : "http://dochub.mongodb.org/core/fsynccommand",
	"ok" : 1
}

5)檢視當前鎖狀態
> db.currentOp()
說明:查詢結果如下所示:

> db.currentOp()
{
	"inprog" : [ ],
	"fsyncLock" : true,
	"info" : "use db.fsyncUnlock() to terminate the fsync write/snapshot lock"
}

其中,fsyncLock為1表示MongoDB的fsync程式(負責將寫入改變同步到磁碟)不允許其他程式執行寫資料操作

6)解鎖
> use admin
> db.$cmd.sys.unlock.findOne()
說明:執行解鎖,結果如下所示:

> use admin
switched to db admin
> db.$cmd.sys.unlock.findOne()
{ "ok" : 1, "info" : "unlock completed" }

可以執行命令檢視鎖狀態:
db.currentOp()
狀態資訊如下:

> db.currentOp()
{ "inprog" : [ ] }

說明當前沒有鎖,可以執行寫資料操作。

五、據備份、恢復與遷移管理

1)備份全部資料庫
[root@centos6-vm01 ~]# mkdir testbak
[root@centos6-vm01 ~]# cd testbak
[root@centos6-vm01 ~]# mongodump
說明:預設備份目錄及資料檔案格式為./dump/[databasename]/[collectionname].bson

2)備份指定資料庫
[root@centos6-vm01 ~]# mongodump -d pagedb
說明:備份資料庫pagedb中的資料。

3)備份一個資料庫中的某個集合
[root@centos6-vm01 ~]# mongodump -d pagedb -c page
說明:備份資料庫pagedb的page集合。

4)恢復全部資料庫
[root@centos6-vm01 ~]# cd testbak
[root@centos6-vm01 ~]# mongorestore --drop
說明:將備份的所有資料庫恢復到資料庫,--drop指定恢復資料之前刪除原來資料庫資料,否則會造成回覆後的資料中資料重複。

5)恢復某個資料庫的資料
[root@centos6-vm01 ~]# cd testbak
[root@centos6-vm01 ~]# mongorestore -d pagedb --drop
說明:將備份的pagedb的資料恢復到資料庫。

6)恢復某個資料庫的某個集合的資料
[root@centos6-vm01 ~]# cd testbak
[root@centos6-vm01 ~]# mongorestore -d pagedb -c page --drop
說明:將備份的pagedb的的page集合的資料恢復到資料庫。

7)向MongoDB匯入資料
[root@centos6-vm01 ~]# mongoimport -d pagedb -c page --type csv --headerline --drop < csvORtsvFile.csv
說明:將檔案csvORtsvFile.csv的資料匯入到pagedb資料庫的page集合中,使用cvs或tsv檔案的列名作為集合的列名。

需要注意的是,使用--headerline選項時,只支援csv和tsv檔案。
--type支援的型別有三個:csv、tsv、json
其他各個選項的使用,可以檢視幫助:

[root@centos6-vm01 ~]# mongoimport --help  
Usage:
  mongoimport <options> <file>

Import CSV, TSV or JSON data into MongoDB. If no file is provided, mongoimport reads from stdin.

See http://docs.mongodb.org/manual/reference/program/mongoimport/ for more information.

general options:
      --help                     print usage
      --version                  print the tool version and exit

verbosity options:
  -v, --verbose                  more detailed log output (include multiple times for more verbosity, e.g. -vvvvv)
      --quiet                    hide all log output

connection options:
  -h, --host=                    mongodb host to connect to (setname/host1,host2 for replica sets)
      --port=                    server port (can also use --host hostname:port)

authentication options:
  -u, --username=                username for authentication
  -p, --password=                password for authentication
      --authenticationDatabase=  database that holds the user's credentials
      --authenticationMechanism= authentication mechanism to use

namespace options:
  -d, --db=                      database to use
  -c, --collection=              collection to use

input options:
  -f, --fields=                  comma separated list of field names, e.g. -f name,age
      --fieldFile=               file with field names - 1 per line
      --file=                    file to import from; if not specified, stdin is used
      --headerline               use first line in input source as the field list (CSV and TSV only)
      --jsonArray                treat input source as a JSON array
      --type=                    input format to import: json, csv, or tsv (defaults to 'json')

ingest options:
      --drop                     drop collection before inserting documents
      --ignoreBlanks             ignore fields with empty values in CSV and TSV
      --maintainInsertionOrder   insert documents in the order of their appearance in the input source
  -j, --numInsertionWorkers=     number of insert operations to run concurrently (defaults to 1)
      --stopOnError              stop importing at first insert/upsert error
      --upsert                   insert or update objects that already exist
      --upsertFields=            comma-separated fields for the query part of the upsert
      --writeConcern=            write concern options e.g. --writeConcern majority, --writeConcern '{w: 3, wtimeout: 500, fsync:
                                 true, j: true}' (defaults to 'majority')

8)從向MongoDB匯出資料
[root@centos6-vm01 ~]# mongoexport -d pagedb -c page -q {} -f _id,title,url,spiderName,pubDate --csv > pages.csv

說明:將pagedb資料庫中page集合的資料匯出到pages.csv檔案,其中各選項含義:
-f 指定cvs列名為_id,title,url,spiderName,pubDate
-q 指定查詢條件
其他各個選項的使用,可以檢視幫助:

[root@centos6-vm01 ~]# mongoexport --help  
Usage:
  mongoexport <options>

Export data from MongoDB in CSV or JSON format.

See http://docs.mongodb.org/manual/reference/program/mongoexport/ for more information.

general options:
      --help                     print usage
      --version                  print the tool version and exit

verbosity options:
  -v, --verbose                  more detailed log output (include multiple times for more verbosity, e.g. -vvvvv)
      --quiet                    hide all log output

connection options:
  -h, --host=                    mongodb host to connect to (setname/host1,host2 for replica sets)
      --port=                    server port (can also use --host hostname:port)

authentication options:
  -u, --username=                username for authentication
  -p, --password=                password for authentication
      --authenticationDatabase=  database that holds the user's credentials
      --authenticationMechanism= authentication mechanism to use

namespace options:
  -d, --db=                      database to use
  -c, --collection=              collection to use

output options:
  -f, --fields=                  comma separated list of field names (required for exporting CSV) e.g. -f "name,age"
      --fieldFile=               file with field names - 1 per line
      --type=                    the output format, either json or csv (defaults to 'json')
  -o, --out=                     output file; if not specified, stdout is used
      --jsonArray                output to a JSON array rather than one object per line
      --pretty                   output JSON formatted to be human-readable

querying options:
  -q, --query=                   query filter, as a JSON string, e.g., '{x:{$gt:1}}'
  -k, --slaveOk                  allow secondary reads if available (default true)
      --forceTableScan           force a table scan (do not use $snapshot)
      --skip=                    number of documents to skip
      --limit=                   limit the number of documents to export
      --sort=                    sort order, as a JSON string, e.g. '{x:1}'

注意:如果上面的選項-q指定一個查詢條件,需要使用單引號括起來,如下所示:

[root@centos6-vm01 ~]# mongoexport -d page -c Article -q '{"spiderName": "mafengwoSpider"}' -f _id,title,content,images,publishDate,spiderName,url --jsonArray > mafengwoArticle.txt  
2018-01-03T08:12:41.234+0800    connected to: localhost
2018-01-03T08:12:41.234+0800    exported 0 records

[root@centos6-vm01 ~]# ll mafengwoArticle.txt
-rw-r--r--. 1 root root 3 Jan  3 00:12 mafengwoArticle.txt

否則,就會出現下面的錯誤:

ERROR: too many positional options 

六、遠端連線管理

1)基於mongo實現遠端連線
[root@centos6-vm01 ~]# mongo 192.168.10.220:27017/pagedb
或者
[root@centos6-vm01 ~]# mongo 192.168.10.220:27017/pagedb -ukevin -p123456kevin

通過mongo實現連線,可以非常靈活的選擇引數選項,參看命令幫助,如下所示:

[root@centos6-vm01 ~]# mongo --help  
MongoDB shell version: 3.0.6
usage: mongo [options] [db address] [file names (ending in .js)]
db address can be:
  foo                   foo database on local machine
  192.169.0.5/foo       foo database on 192.168.0.5 machine
  192.169.0.5:9999/foo  foo database on 192.168.0.5 machine on port 9999
Options:
  --shell                            run the shell after executing files
  --nodb                             don't connect to mongod on startup - no 
                                     'db address' arg expected
  --norc                             will not run the ".mongorc.js" file on 
                                     start up
  --quiet                            be less chatty
  --port arg                         port to connect to
  --host arg                         server to connect to
  --eval arg                         evaluate javascript
  -h [ --help ]                      show this usage information
  --version                          show version information
  --verbose                          increase verbosity
  --ipv6                             enable IPv6 support (disabled by default)

Authentication Options:
  -u [ --username ] arg              username for authentication
  -p [ --password ] arg              password for authentication
  --authenticationDatabase arg       user source (defaults to dbname)
  --authenticationMechanism arg      authentication mechanism
  --gssapiServiceName arg (=mongodb) Service name to use when authenticating 
                                     using GSSAPI/Kerberos
  --gssapiHostName arg               Remote host name to use for purpose of 
                                     GSSAPI/Kerberos authentication

file names: a list of files to run. files have to end in .js and will exit after unless --shell is specified

2)基於MongoDB支援的javascript實現遠端連線
當你已經連線到一個遠端的MongoDB資料庫伺服器(例如,通過mongo連線到192.168.0.184),現在想要在這個會話中連線另一個遠端的資料庫伺服器(192.168.0.197),可以執行如下命令:

> var x = new Mongo('192.168.10.220:27017')  
> var ydb = x.getDB('pagedb');  
> use ydb  
switched to db ydb  
> db  
ydb  
> ydb.page.findOne()  
{  
        "_id" : ObjectId("4eded6a5bf3bfa0014000003"),  
        "content" : "巴黎是浪漫的城市,可是...",  
        "pubdate" : "2006-03-19",  
        "title" : "巴黎:從布魯塞爾趕到巴黎",  
        "url" : "http://france.bytravel.cn/Scenery/528/cblsegdbl.html"  
}  
上述通過MongoDB提供的JavaScript指令碼,實現對另一個遠端資料庫伺服器進行連線,操作指定資料庫pagedb的page集合。
如果啟用了安全認證模式,可以在獲取資料庫連線例項時,指定認證賬號,例如:
> var x = new Mongo('192.168.0.197:27017')  
> var ydb = x.getDB('pagedb', 'shirdrn', '(jkfFS$343$_\=\,.F@3');  
> use ydb  
switched to db ydb 

==========================擴充套件知識==========================
節點角色

MongoDB讀寫分離
MongoDB副本集對讀寫分離的支援是通過Read Preferences特性進行支援的,這個特性非常複雜和靈活。設定讀寫分離需要先在從節點SECONDARY設定setSlaveOk。應用程式驅動通過read reference來設定如何對副本集進行讀取操作,預設的,客戶端驅動所有的讀操作都是直接訪問primary節點的,從而保證了資料的嚴格一致性。有如下幾種模式:

mongo shell中複製相關方法

複製資料庫的命令

使用者管理和認證方法
官方詳細檔:https://docs.mongodb.com/master/reference/security/#security-methods-in-the-mongo-shell

角色管理方法
官方詳細檔:https://docs.mongodb.com/master/reference/security/#security-methods-in-the-mongo-shell

相關文章