2008年美國每月最低氣溫大資料分析

符智生發表於2018-01-08
大資料
2008年美國每個月最低氣溫分析
1.點選https://pan.baidu.com/s/1c1MPnSs下載2008.txt檔案（這裡是將2008.txt檔案放在E盤中，跟Hadoop檔案同處於一個盤）
2.在命令提示符下 Hadoop-2.7.3\sbin 中輸入 start-all.cmd 開啟Hadoop服務
3.準備輸入、輸出資料夾，在HDFS檔案系統中建立。
Hadoop中所有的資料都必須放在HDFS檔案系統中進行處理。
命令提示符中 Hadoop-2.7.3\sbin 下輸入 hadoop fs -mkdir hdfs://localhost:9000/test/2008input(建立資料夾，localhost:9000為hdfs的系統目錄，test和2008input是現在要建立的檔名，具體命名根據自己的需要)
輸入 hadoop fs -ls hdfs://localhost:9000/test/ 檢視檔案是否建立成功
4.上傳需要統計的 t1 檔案到 hdfs://localhost:9000/test/input1 上
hadoop fs -put E:\2008.txt hdfs://localhost:9000/test/2008input
5.下載https://pan.baidu.com/s/1o87RVXS中的mintemp.jar到E盤中。
mintemp.jar是Java編寫的一個MapReduce計算最低氣溫的程式

6. 在jar包所在的路徑，執行以下命令 hadoop jar mintemp.jar hdfs://localhost:9000/test/2008input hdfs://localhost:9000/test/2008output，執行命令之後，顯示如下
7.hadoop fs -ls hdfs://localhost:9000/test/2008output 檢視結果檔案
8.hadoop fs -cat hdfs://localhost:9000/test/2008output/patr-r-00000 檢視輸出結果
9.hadoop fs -get hdfs://localhost:9000/test/2008output/patr-r-00000 下載計算結果到本地


相關文章