前言
在先前的文章中,已經介紹瞭如何在Ubuntu Kylin作業系統下搭建Hadoop執行環境,而現在將在之前工作的基礎上搭建Eclipse開發環境。
配置
開發環境:Eclipse 4.2,其他同先前。
第一步 安裝Eclipse4.2
在Eclipse官網獲取到Eclipse然後解壓到使用者目錄即可。
第二步 編譯Hadoop的Eclipse外掛
這一步可以選擇使用別人編譯好了的外掛(需注意hadoop版本號 和編譯時的Eclipse版本號要一致),也可以自行編譯(較繁瑣)。
一開始我是自己嘗試編譯,但是發現專案指定了要使用的JDK版本,而且不是我自己正在用的1.8,於是我決定用別人編譯好的 (應該不會執行也指定了JRE版本吧)。
另外,下載外掛要看清楚hadoop,eclipse是什麼版本,要對應清楚。切記!
第三步 配置開發環境
1. 將hadoop配置檔案中所有用到localhost別名的地方替換為主機本來IP。
2. 啟動hadoop
3. 啟動Eclipse
4. 開啟Eclipse的Window->Preferences,可以在開啟對話方塊的左上角看到如下內容:
5. 在輸入框中輸入hadoop目錄地址後確定
6. 在Eclipse的Window-->Show View->Other中選擇如下並點選確定
7. 在Eclipse介面下方的Map/Reduce Locations視窗中點選右鍵->New Hadoop location:
8. 在開啟的對話方塊中,最上面的Location name可以是本次配置名稱,可根據自己偏好進行設定。而下面兩組Host和Port值則分別為mapred-site.xml及core-site.xml中指定的IP,埠值。
特別說明:所有用到IP地址的地方,不要用localhost這樣的別名,而是直接輸入IP。
9. 接下來點選上對話方塊上面的Advanced Parameters,將其中的hadoop.tmp.dir設定為hadoop目錄下的tmp子目錄(先檢查下有沒這個子目錄,沒有就新建一個),然後確定:
在core-site配置檔案中也增加此欄位的設定:
10. Eclipse左邊窗體出現類似下圖所示的內容表示配置成功:
小結
1. 如果提示拒絕連線,請格式化hdfs一次。(目前我還不知道為什麼要這麼做,但這裡也沒必要糾結以後自然會明白)
2. 配置中可以還會有些問題,歡迎一起交流探討。