第三篇:配置Hadoop的Eclipse開發環境

穆晨發表於2017-05-19

前言

       在先前的文章中,已經介紹瞭如何在Ubuntu Kylin作業系統下搭建Hadoop執行環境,而現在將在之前工作的基礎上搭建Eclipse開發環境。

配置

       開發環境:Eclipse 4.2,其他同先前。

第一步 安裝Eclipse4.2

       在Eclipse官網獲取到Eclipse然後解壓到使用者目錄即可。

第二步 編譯Hadoop的Eclipse外掛

       這一步可以選擇使用別人編譯好了的外掛(需注意hadoop版本號 和編譯時的Eclipse版本號要一致),也可以自行編譯(較繁瑣)。

       一開始我是自己嘗試編譯,但是發現專案指定了要使用的JDK版本,而且不是我自己正在用的1.8,於是我決定用別人編譯好的 (應該不會執行也指定了JRE版本吧)。

       另外,下載外掛要看清楚hadoop,eclipse是什麼版本,要對應清楚。切記!

第三步 配置開發環境

1. 將hadoop配置檔案中所有用到localhost別名的地方替換為主機本來IP。

2. 啟動hadoop

3. 啟動Eclipse

4. 開啟Eclipse的Window->Preferences,可以在開啟對話方塊的左上角看到如下內容:

       

5. 在輸入框中輸入hadoop目錄地址後確定

6. 在Eclipse的Window-->Show View->Other中選擇如下並點選確定

       

7. 在Eclipse介面下方的Map/Reduce Locations視窗中點選右鍵->New Hadoop location:

       

8. 在開啟的對話方塊中,最上面的Location name可以是本次配置名稱,可根據自己偏好進行設定。而下面兩組Host和Port值則分別為mapred-site.xml及core-site.xml中指定的IP,埠值。

特別說明:所有用到IP地址的地方,不要用localhost這樣的別名,而是直接輸入IP。

       

9. 接下來點選上對話方塊上面的Advanced Parameters,將其中的hadoop.tmp.dir設定為hadoop目錄下的tmp子目錄(先檢查下有沒這個子目錄,沒有就新建一個),然後確定:

       在core-site配置檔案中也增加此欄位的設定:

       

10. Eclipse左邊窗體出現類似下圖所示的內容表示配置成功:

       

小結

1. 如果提示拒絕連線,請格式化hdfs一次。(目前我還不知道為什麼要這麼做,但這裡也沒必要糾結以後自然會明白)

2. 配置中可以還會有些問題,歡迎一起交流探討。

相關文章