windows下使用Eclipse編譯執行MapReduce程式 Hadoop2.6.0/Ubuntu

Thinkgamer_gyt發表於2015-08-02
WindowsEclipse編譯HadoopUbuntu

一、環境介紹

宿主機：windows8

虛擬機器：Ubuntu14.04

hadoop2.6偽分佈：搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731

Eclipse：eclipse-jee-luna-SR2-win32-x86_64

二、準備階段

網上下載hadoop-eclipse-plugin-2.6.0.jar (點選下載)

也可以自行編譯（網上教程挺多的，可以自己百度 or Google）

三、begin

  • 複製編譯好的jar到eclipse外掛目錄(如果是從ubuntu自帶的軟體中心安裝elcipse的話，則安裝目錄為：/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin)，進入eclipse目錄，執行sudo chmod 777 * -R，重啟eclipse           這一步特別重要網上好多資料都不是這樣寫的，所以配置一直不成功。
  • 配置 hadoop 安裝目錄

window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

  • 配置Map/Reduce 檢視

window ->Open Perspective -> other->Map/Reduce -> 點選“OK”

windows → show view → other->Map/Reduce Locations-> 點選“OK”

  • 控制檯會多出一個“Map/Reduce Locations”的Tab頁

在“Map/Reduce Locations” Tab頁 點選圖示<大象+>或者在空白的地方右鍵，選擇“New Hadoop location…”，彈出對話方塊“New hadoop location…”，配置如下內容：將ha1改為自己的hadoop使用者

接著再切換到 Advanced parameters 選項皮膚，這邊有詳細的配置，切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置檔案)一致，如我配置了 hadoop.tmp.dir ，就要進行修改。

網上幾乎所有的教程都是如此，的確按這個教程配置完成後會在eclipse左上角出現DFS Locations，如下圖


但其實還會碰見各種各樣的問題，小編只將本人遇到的和解決辦法呈現

(1)注意：將虛擬機器的hadoop下修改的配置檔案（core-site.xml   hdfs-site.xml log4j.properties複製到程式的src目錄下）

(2)DFS下一些檔案載入不出來，提示 permission denied錯誤

解決辦法：給HDFS目錄檔案新增許可權，hdfs dfs -chmod -R 777 /

附：推薦一篇不錯的文章http://www.aboutyun.com/thread-8780-1-1.html

參考：www.tuicool.com/articles/BRBzquj

            www.cnblogs.com/aijianiula/p/4546021.html

常見錯誤和解決辦法參考：http://blog.csdn.net/gamer_gyt/article/details/47252671

相關文章