使用hadoop mapreduce分析mongodb資料
(現在很多網際網路爬蟲將資料存入mongdb中,所以研究了一下,寫此文件)
版權宣告:本文為yunshuxueyuan原創文章。
如需轉載請標明出處: http://www.cnblogs.com/sxt-zkys/
QQ技術交流群:299142667
一、 mongdb的安裝和使用
1、 官網下載mongodb-linux-x86_64-rhel70-3.2.9.tgz
2、 解壓 (可以配置一下環境變數)
3、 啟動服務端
./mongod --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs --logappend --fork(後臺啟動)
第一種:不帶auth認證的
第二種:需要帶auth認證的(即需要使用者名稱和密碼的)
當指定使用者名稱和密碼在檢視資料,發現就可以看得到了
4、 啟動客戶端
./mongo
5、客戶端shell命令
show dbs 顯示mongodb中有哪些資料庫
db 顯示當前正在用的資料庫
use db 你要使用的資料庫名
(注:若database不存在,則會建立一個,此時若不做任何操作直接退出,則MongoDB會刪除該資料庫)
db.auth(username,password) username為使用者名稱,password為密碼 登陸你要使用的資料庫
db.getCollectionNames() 檢視當前資料庫有哪些表
db.[collectionName].insert({...}) 給指定資料庫新增文件記錄
db.[collectionName].findOne() 查詢文件的第一條資料
db.[collectionName].find() 查詢文件的全部記錄
db.[collection].update({查詢條件},{$set:{更新內容}}) 更新一條文件記錄
db.[collection].drop() 刪除資料庫中的集合
db.dropDatabase() 刪除資料庫
二、 Mapreduce 分析mongodb的資料例項
1、 編寫mapreduce的程式碼前,需要另外新增兩個jar包,還有需(jdk1.7以上)
2、 需求介紹與實現
原資料:
結果資料:
程式碼編寫:
Job:
Mapper:
Reduce:
最終的結果資料:
三、 最後給大家推薦一個mongodb資料庫的管理工具,挺好用的
版權宣告:本文為yunshuxueyuan原創文章。
如需轉載請標明出處: http://www.cnblogs.com/sxt-zkys/
QQ技術交流群:299142667