Intellij idea開發Hadoop MapReduce程式

獵手家園發表於2016-08-26

1、首先下載一個Hadoop包,僅Hadoop即可。

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2、開啟Idea新建一個java專案。

3、專案配置 File ---- Project Structure

(1)首先注意SDK的配置

(2)加入Hadoop的jar包依賴

(3)打包配置

4、開發map-reduce程式碼

根據自己需求寫程式碼,下面附程式碼樣本。

(1)mapper程式碼:

(2)reduce程式碼片斷:

(3)run/main程式碼:

5、配置編譯器

右上角:

注意:第三個框裡只需添入輸入路徑和輸出路徑即可

6、將資料匯入到你的程式中

注意:不要建立output目錄,系統會自動建立。否則會報目錄已存在的錯。

7、執行

(1)執行成功:

(2)檢視結果

 

相關文章