使用hadoop mapreduce分析mongodb資料

雲數學院發表於2017-07-27

使用hadoop mapreduce分析mongodb資料

(現在很多網際網路爬蟲將資料存入mongdb中,所以研究了一下,寫此文件)

版權宣告:本文為yunshuxueyuan原創文章。
如需轉載請標明出處: http://www.cnblogs.com/sxt-zkys/
QQ技術交流群:299142667

一、 mongdb的安裝和使用

1、 官網下載mongodb-linux-x86_64-rhel70-3.2.9.tgz

 

2、 解壓 (可以配置一下環境變數)

3、 啟動服務端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(後臺啟動)

第一種:不帶auth認證的

 

第二種:需要帶auth認證的(即需要使用者名稱和密碼的)

 

當指定使用者名稱和密碼在檢視資料,發現就可以看得到了

 

4、 啟動客戶端

./mongo

 

5、客戶端shell命令

show dbs    顯示mongodb中有哪些資料庫

 

db    顯示當前正在用的資料庫

 

use db    你要使用的資料庫名

 

(注:若database不存在,則會建立一個,此時若不做任何操作直接退出,則MongoDB會刪除該資料庫)

db.auth(username,password)  username為使用者名稱,password為密碼 登陸你要使用的資料庫

db.getCollectionNames()  檢視當前資料庫有哪些表

 

db.[collectionName].insert({...})  給指定資料庫新增文件記錄

 

db.[collectionName].findOne()   查詢文件的第一條資料

db.[collectionName].find()   查詢文件的全部記錄

 

db.[collection].update({查詢條件},{$set:{更新內容}})   更新一條文件記錄

 

db.[collection].drop()   刪除資料庫中的集合

 

db.dropDatabase()   刪除資料庫

 

二、 Mapreduce 分析mongodb的資料例項

 

1、 編寫mapreduce的程式碼前,需要另外新增兩個jar包,還有需(jdk1.7以上)

  

2、 需求介紹與實現

原資料:

 

結果資料:

 

程式碼編寫:

Job:

 

Mapper:

 

Reduce:

 

最終的結果資料:

 

 

三、 最後給大家推薦一個mongodb資料庫的管理工具,挺好用的

    

版權宣告:本文為yunshuxueyuan原創文章。
如需轉載請標明出處: http://www.cnblogs.com/sxt-zkys/
QQ技術交流群:299142667

相關文章