小白學習大資料測試之hadoop hdfs和MapReduce小實戰

大資料之hadoop單機環境搭建(超級詳細版)這個基礎上，我們來執行一個官網的MapReduce demo程式來看看效果和處理過程。大資料學習資料分享群：119599574  

大致步驟如下：

新建一個檔案test.txt，內容為

Hello Hadoop

Hello xiaoqiang

Hello testingbang

Hello http://xqtesting.sxl.cn

將test.txt上傳到hdfs的根目錄

/usr/lib/hadoop/hadoop-2.7.4/bin/hdfs dfs -put /root/install/test.txt /

然後瀏覽器訪問可以看到剛才上傳的檔案，如下圖

執行官方的一個wordcount程式來統計字元數量，命令如下：

/usr/lib/hadoop/hadoop-2.7.4/bin/hadoop jar /usr/lib/hadoop/hadoop-2.7.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount hdfs://localhost:9000/test.txt hdfs://localhost:9000/out

解釋下這個命令，大致意思是用hadoop執行一個叫hadoop-mapreduce-examples-2.7.4.jar的wordcount 方法，其中輸入引數為hdfs上根目錄的test.txt 檔案，而輸出路徑為hdfs跟目錄下的out目錄

PS：我這裡沒有把hadoop配置成環境變數，所以命令很長，你可以配置下，這樣命令就會短很多了，至於怎麼配置，自己悟~

執行過程如下：

執行完成之後再次重新整理瀏覽器可以看到out目錄和結果了

點選part-r-00000，在彈出的頁面點選download

這時候下載會出現404，我們只需要在URL裡的localhost改為你伺服器的ip地址就可以下載了。下載之後用編輯器開啟，內容如下：

PS：你也可以用命令檢視，如下圖

到這裡，我們既完成了hadoop環境的搭建，也完成一次MapReduce的執行。其實也算是對hadoop功能的測試。如果你都成功了，那麼恭喜你！如果你沒有成功，那麼也恭喜你，因為你發現了自己的不足！大資料學習資料分享群：119599574