windows下使用Eclipse編譯執行MapReduce程式 Hadoop2.6.0/Ubuntu

Thinkgamer_gyt發表於2015-08-02

一、環境介紹

宿主機:windows8

虛擬機器:Ubuntu14.04

hadoop2.6偽分佈:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731

Eclipse:eclipse-jee-luna-SR2-win32-x86_64

二、準備階段

網上下載hadoop-eclipse-plugin-2.6.0.jar (點選下載)

也可以自行編譯(網上教程挺多的,可以自己百度 or Google)

三、begin

  • 複製編譯好的jar到eclipse外掛目錄(如果是從ubuntu自帶的軟體中心安裝elcipse的話,則安裝目錄為:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),進入eclipse目錄,執行sudo chmod 777 * -R,重啟eclipse           這一步特別重要網上好多資料都不是這樣寫的,所以配置一直不成功。
  • 配置 hadoop 安裝目錄

window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

  • 配置Map/Reduce 檢視

window ->Open Perspective -> other->Map/Reduce -> 點選“OK”

windows → show view → other->Map/Reduce Locations-> 點選“OK”

  • 控制檯會多出一個“Map/Reduce Locations”的Tab頁

在“Map/Reduce Locations” Tab頁 點選圖示<大象+>或者在空白的地方右鍵,選擇“New Hadoop location…”,彈出對話方塊“New hadoop location…”,配置如下內容:將ha1改為自己的hadoop使用者

接著再切換到 Advanced parameters 選項皮膚,這邊有詳細的配置,切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置檔案)一致,如我配置了 hadoop.tmp.dir ,就要進行修改。

網上幾乎所有的教程都是如此,的確按這個教程配置完成後會在eclipse左上角出現DFS Locations,如下圖


但其實還會碰見各種各樣的問題,小編只將本人遇到的和解決辦法呈現

(1)注意:將虛擬機器的hadoop下修改的配置檔案(core-site.xml   hdfs-site.xml log4j.properties複製到程式的src目錄下)

(2)DFS下一些檔案載入不出來,提示 permission denied錯誤

解決辦法:給HDFS目錄檔案新增許可權,hdfs dfs -chmod -R 777 /

附:推薦一篇不錯的文章http://www.aboutyun.com/thread-8780-1-1.html

參考:www.tuicool.com/articles/BRBzquj

            www.cnblogs.com/aijianiula/p/4546021.html

常見錯誤和解決辦法參考:http://blog.csdn.net/gamer_gyt/article/details/47252671

相關文章