一、NoSQL介紹
1、什麼是NoSQL
NoSQL(NoSQL = Not Only SQL ),意即"不僅僅是SQL"。
NoSQL,指的是非關係型的資料庫。NoSQL有時也稱作Not Only SQL的縮寫,是對不同於傳統的關係型資料庫的資料庫管理系統的統稱。
NoSQL用於超大規模資料的儲存。(例如谷歌或Facebook每天為他們的使用者收集萬億位元的資料)。這些型別的資料儲存不需要固定的模式,無需多餘操作就可以橫向擴充套件。
2、為什麼使用NoSQL ?
今天我們可以通過第三方平臺(如:Google,Facebook等)可以很容易的訪問和抓取資料。使用者的個人資訊,社交網路,地理位置,使用者生成的資料和使用者操作日誌已經成倍的增加。我們如果要對這些使用者資料進行挖掘,那SQL資料庫已經不適合這些應用了, NoSQL 資料庫的發展卻能很好的處理這些大的資料。
3、NoSQL的優點/缺點
優點:
- - 高可擴充套件性
- - 分散式計算
- - 低成本
- - 架構的靈活性,半結構化資料
- - 沒有複雜的關係
缺點:
- - 沒有標準化
- - 有限的查詢功能(到目前為止)
- - 最終一致是不直觀的程式
4、NoSQL 資料庫分類
二、MongoDB介紹
- MongoDB 是由C++語言編寫的,是一個基於分散式檔案儲存的開源資料庫系統。
- 在高負載的情況下,新增更多的節點,可以保證伺服器效能。
- MongoDB 旨在為WEB應用提供可擴充套件的高效能資料儲存解決方案。
- MongoDB 將資料儲存為一個文件,資料結構由鍵值(key=>value)對組成。MongoDB 文件類似於 JSON 物件。欄位值可以包含其他文件,陣列及文件陣列。
主要特點
- MongoDB 是一個面向文件儲存的資料庫,操作起來比較簡單和容易。
- 你可以在MongoDB記錄中設定任何屬性的索引 (如:FirstName="Sameer",Address="8 Gandhi Road")來實現更快的排序。
- 你可以通過本地或者網路建立資料映象,這使得MongoDB有更強的擴充套件性。
- 如果負載的增加(需要更多的儲存空間和更強的處理能力) ,它可以分佈在計算機網路中的其他節點上這就是所謂的分片。
- Mongo支援豐富的查詢表示式。查詢指令使用JSON形式的標記,可輕易查詢文件中內嵌的物件及陣列。
- MongoDb 使用update()命令可以實現替換完成的文件(資料)或者一些指定的資料欄位 。
- Mongodb中的Map/reduce主要是用來對資料進行批量處理和聚合操作。
- Map和Reduce。Map函式呼叫emit(key,value)遍歷集合中所有的記錄,將key與value傳給Reduce函式進行處理。
- Map函式和Reduce函式是使用Javascript編寫的,並可以通過db.runCommand或mapreduce命令來執行MapReduce操作。
- GridFS是MongoDB中的一個內建功能,可以用於存放大量小檔案。
- MongoDB允許在服務端執行指令碼,可以用Javascript編寫某個函式,直接在服務端執行,也可以把函式的定義儲存在服務端,下次直接呼叫即可。
- MongoDB支援各種程式語言:RUBY,PYTHON,JAVA,C++,PHP,C#等多種語言。
- MongoDB安裝簡單。
三、MongoDB下載安裝(ubuntu系統)
MongoDB 官網地址:https://www.mongodb.com/
MongoDB 官方英文文件:https://docs.mongodb.com/manual/
MongoDB 各平臺下載地址:https://www.mongodb.com/download-center#community
MongoDB的下載安裝,分為windows/mac/linux不同的平臺,但是操作大同小異,這裡我已linux平臺下給大家演示
1、下載好了之後,進入到下載的目錄裡面解壓
tar -zxvf mongodb-linux-x86_64-ubuntu1604-4.0.10.tgz
2、在系統資料夾/usr/local裡面新建一個資料夾mongodb,將解壓好的MongoDB資料夾移動到系統的/usr/local/mongodb裡面,也可以不用命令,直接拖拽一樣,只不過usr是系統資料夾,需要root使用者才能操作,所以使用sudo
houlei@ubuntu:~/Downloads$ sudo mv mongodb-linux-x86_64-ubuntu1604-4.0.10 /usr/local/mongodb
3、MongoDB 的可執行檔案位於 bin 目錄下,所以可以將其新增到 PATH 路徑中:
export PATH=/usr/local/mongodb/bin:$PATH
4、安裝MongoDB
houlei@ubuntu:/usr/local/mongodb/bin$ sudo apt install mongodb
四、MongoDB後臺管理shell
如果你需要進入MongoDB後臺管理,你需要先開啟mongodb裝目錄的下的bin目錄,然後執行mongo命令檔案。
MongoDB Shell是MongoDB自帶的互動式Javascript shell,用來對MongoDB進行操作和管理的互動式環境。
當你進入mongoDB後臺後,它預設會連結到 test 文件(資料庫):
houlei@ubuntu:/usr/local/mongodb/bin$ ./mongo
做一個簡單的插入和查詢的測試
> db.hero.insert({h_name:"李白"}) # 插入 WriteResult({ "nInserted" : 1 }) > db.hero.find() # 查詢 { "_id" : ObjectId("5d28a0aad9b981703296bede"), "h_name" : "李白" }
五、mongoDB建立使用者和刪除使用者
1、建立使用者
db.createUser ( { user:<name_string>, #字串 pwd:<password_string>, #字串 roles:[{role:<role_name>,db:<db_name>}] #陣列+物件 } )
user文件欄位介紹:
- user欄位,為新使用者的名字;
- pwd欄位,使用者的密碼;
- cusomData欄位,為任意內容,例如可以為使用者全名介紹;
- roles欄位,指定使用者的角色,可以用一個空陣列給新使用者設定空角色;
- 在roles欄位,可以指定內建角色和使用者定義的角色。
> db.createUser({user:"Se7eN_HOU",pwd:"123456",roles:[{role:"readWrite",db:"Hero"}]}) Successfully added user: { "user" : "Se7eN_HOU", "roles" : [ { "role" : "readWrite", "db" : "Hero" } ] } >
houlei@ubuntu:~$ mongo Hero -u "Se7eN_HOU" -p "123456"
2、刪除使用者
db.dropUser(<user_name>) 刪除某個使用者,接受字串引數
db.dropUser("Se7eN_HOU")
db.dropAllUser() 刪除當前庫的所有使用者
六,基於角色的訪問控制(Role-Based Access Control)
角色是授予User在指定資源上執行指定操作的許可權,MongoDB官方手冊對角色的定義是:
A role grants privileges to perform the specified actions on resource.
MongoDB為了方便管理員管理許可權,在DB級別上預先定義了內建角色;如果使用者需要對許可權進行更為細緻的管理,MongoDB允許使用者建立自定義的角色,能夠在集合級別上控制User能夠執行的操作。
MongoDB使用角色(Role)授予User訪問資源的許可權,Role決定User能夠訪問的資料庫資源和執行的操作。一個User能夠被授予一個或多個Role,如果User沒有被授予Role,那麼就沒有訪問MongoDB系統的許可權。
A user is granted one or more roles that determine the user’s access to database resources and operations. Outside of role assignments, the user has no access to the system.
1,內建角色(Built-In Roles)
內建角色是MongoDB預定義的角色,操作的資源是在DB級別上。MongoDB擁有一個SuperUser的角色:root,擁有最大許可權,能夠在系統的所有資源上執行任意操作。
資料庫使用者角色(Database User Roles):
- read:授予User只讀資料的許可權
- readWrite:授予User讀寫資料的許可權
資料庫管理角色(Database Administration Roles):
- dbAdmin:在當前dB中執行管理操作
- dbOwner:在當前DB中執行任意操作
- userAdmin:在當前DB中管理User
備份和還原角色(Backup and Restoration Roles):
- backup
- restore
跨庫角色(All-Database Roles):
- readAnyDatabase:授予在所有資料庫上讀取資料的許可權
- readWriteAnyDatabase:授予在所有資料庫上讀寫資料的許可權
- userAdminAnyDatabase:授予在所有資料庫上管理User的許可權
- dbAdminAnyDatabase:授予管理所有資料庫的許可權
叢集管理角色(Cluster Administration Roles):
- clusterAdmin:授予管理叢集的最高許可權
- clusterManager:授予管理和監控叢集的許可權,A user with this role can access the config and local databases, which are used in sharding and replication, respectively.
- clusterMonitor:授予監控叢集的許可權,對監控工具具有readonly的許可權
- hostManager:管理Server
七、mongoDB的刪除
1、ubuntu環境下下載mongoDB
1.1、解除安裝只是 mongodb,這將刪除只是 mongodb 包本身。
sudo apt-get remove mongodb
1.2、解除安裝 mongodb 和它的依賴項。這將刪除 mongodb 軟體包和不再需要的任何其依賴包
sudo apt-get remove --auto-remove mongodb
1.3、清除您的配置資料
如果你還想要刪除您的本地/config 檔案為 mongodb,那麼這將工作。
sudo apt-get purge mongodb
八、mongoDB安裝及連線遇到的問題及解決方案
說明:不同平臺下mongoDB同樣的問題解決方案不一樣,應為windows、linux、mac不同平臺下的命令是有差異的,所以大家在網上搜尋mongoDB安裝和連結的問題的時候最好說明是什麼平臺下的問題,不然你使用的mac系統,解決搜尋出來的是linux下的解決方案也不一樣能解決問題。
1、Failed to start mongod.service: Unit mongod.service not found.(ubuntu)
1.1、也就是說mongod.service檔案沒有找到,需要我們手動建立一個
[Unit] Description=High-performance, schema-free document-oriented database After=network.target Documentation=https://docs.mongodb.org/manual [Service] User=mongodb Group=mongodb ExecStart=/usr/bin/mongod --quiet --config /etc/mongod.conf [Install] WantedBy=multi-user.target
1.2、然後執行 (啟用mongod service)
sudo systemctl enable mongod
1.3、啟動、重啟和關閉命令
sudo service mongod start
sudo service mongod restart
sudo service mongod stop
2、Error: couldn't connect to server 127.0.0.1:27017 src/mongo/shell/mongo.js
2.1、先看服務啟動沒有,如果沒有啟動服務先啟動服務:sudo service mongod start
2.2如果服務已經啟動了,那有可能是上次不正常關閉mongo,導致存放資料的檔案被佔用了,被鎖住了
houlei@ubuntu:~$ /usr/local/mongodb/bin/mongod --repair #/usr/local/mongodb是mongo的安裝目錄
或者
houlei@ubuntu:~$ rm -f /usr/local/data/db/mongod.lock #/usr/locak/data/db 是mongo的資料庫檔案路徑
2.3、如果上一步解決不了,那麼就是路徑設定有問題,通過重新對路徑的設定解決此問題
houlei@ubuntu:~$ /usr/local/mongodb/bin/mongod --dbpath=/usr/local/data/db
3、找不到mongod或者mong命令(mac系統)
houleideMacPro:~ Se7eN_HOU$ mongod
-bash: mongod: command not found
解決方案:出現這個問題多數是應為,mongod或者mongo的路徑不做PATH裡面
export MONGO_PATH=/usr/local/mongodb
export PATH=$PATH:$MONGO_PATH/bin