1、首先下載一個Hadoop包,僅Hadoop即可。
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
2、開啟Idea新建一個java專案。
3、專案配置 File ---- Project Structure
(1)首先注意SDK的配置
(2)加入Hadoop的jar包依賴
(3)打包配置
4、開發map-reduce程式碼
根據自己需求寫程式碼,下面附程式碼樣本。
(1)mapper程式碼:
(2)reduce程式碼片斷:
(3)run/main程式碼:
5、配置編譯器
右上角:
注意:第三個框裡只需添入輸入路徑和輸出路徑即可
6、將資料匯入到你的程式中
注意:不要建立output目錄,系統會自動建立。否則會報目錄已存在的錯。
7、執行
(1)執行成功:
(2)檢視結果