windows下使用Eclipse編譯執行MapReduce程式 Hadoop2.6.0/Ubuntu
一、環境介紹
宿主機:windows8
虛擬機器:Ubuntu14.04
hadoop2.6偽分佈:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731
Eclipse:eclipse-jee-luna-SR2-win32-x86_64
二、準備階段
網上下載hadoop-eclipse-plugin-2.6.0.jar (點選下載)
也可以自行編譯(網上教程挺多的,可以自己百度 or Google)
三、begin
- 複製編譯好的jar到eclipse外掛目錄(如果是從ubuntu自帶的軟體中心安裝elcipse的話,則安裝目錄為:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),進入eclipse目錄,執行sudo chmod 777 * -R,重啟eclipse 這一步特別重要網上好多資料都不是這樣寫的,所以配置一直不成功。
- 配置 hadoop 安裝目錄
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
- 配置Map/Reduce 檢視
window ->Open Perspective -> other->Map/Reduce -> 點選“OK”
windows → show view → other->Map/Reduce Locations-> 點選“OK”
- 控制檯會多出一個“Map/Reduce Locations”的Tab頁
在“Map/Reduce Locations” Tab頁 點選圖示<大象+>或者在空白的地方右鍵,選擇“New Hadoop location…”,彈出對話方塊“New hadoop location…”,配置如下內容:將ha1改為自己的hadoop使用者
接著再切換到 Advanced parameters 選項皮膚,這邊有詳細的配置,切記需要與 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置檔案)一致,如我配置了 hadoop.tmp.dir ,就要進行修改。
網上幾乎所有的教程都是如此,的確按這個教程配置完成後會在eclipse左上角出現DFS Locations,如下圖
但其實還會碰見各種各樣的問題,小編只將本人遇到的和解決辦法呈現
(1)注意:將虛擬機器的hadoop下修改的配置檔案(core-site.xml hdfs-site.xml log4j.properties複製到程式的src目錄下)
(2)DFS下一些檔案載入不出來,提示 permission denied錯誤
解決辦法:給HDFS目錄檔案新增許可權,hdfs dfs -chmod -R 777 /
附:推薦一篇不錯的文章http://www.aboutyun.com/thread-8780-1-1.html
參考:www.tuicool.com/articles/BRBzquj
www.cnblogs.com/aijianiula/p/4546021.html
常見錯誤和解決辦法參考:http://blog.csdn.net/gamer_gyt/article/details/47252671
相關文章
- windows下使用Eclipse執行MapReduce程式出錯: Failed to set...WindowsEclipseAI
- ubuntu編譯執行xv6Ubuntu編譯
- 在Ubuntu環境下用gcc命令執行c程式以及Makefile編譯UbuntuGCC程式編譯
- Windows下編譯使用AliyunOSSCSDKWindows編譯
- Windows下編譯使用AliyunOSSPHPSDKWindows編譯PHP
- MapReduce程式執行流程
- (嵌入式)Windows與Ubantu下的C語言程式的編譯執行WindowsC語言編譯
- Ubuntu13.04 Eclipse下編譯安裝Hadoop外掛及使用小例UbuntuEclipse編譯Hadoop
- ubuntu下編譯交叉編譯工具鏈Ubuntu編譯
- 08 Windows批處理之執行編譯後的程式Windows編譯
- windows上使用clang編譯程式Windows編譯
- dos下編譯執行java程式遇到的問題編譯Java
- 使用MapReduce執行WordCount案例
- linux(ubuntu)下的64位編譯器編譯32位程式LinuxUbuntu編譯
- eclipse 執行MapReduce程式錯誤異常彙總(解決Map not fount)Eclipse
- C程式從編譯到執行C程式編譯
- 如何在Windows下使用make編譯MakefileWindows編譯
- Windows下編譯OpenOCDWindows編譯
- Windows下編譯VLCWindows編譯
- 從 Linux 終端編譯執行 Eclipse Java 專案Linux編譯EclipseJava
- ubuntu下 編譯安裝swftoolsUbuntu編譯
- hadoop 編譯程式碼及執行Hadoop編譯
- CentOS64位上編譯Hadoop2.6.0CentOS編譯Hadoop
- 在Windows下編譯WebRTCWindows編譯Web
- windows 下c++編譯WindowsC++編譯
- 【FFmpeg】Windows下FFmpeg編譯Windows編譯
- Windows下編譯fast rcnnWindows編譯ASTCNN
- Windows下編譯TriangleWindows編譯
- VLC在ubuntu環境下編譯編譯
- Windows下編譯Caffe並編譯Matlab介面Windows編譯Matlab
- MapReduce執行流程
- Ubuntu上使用QT creator執行cuda程式UbuntuQT
- .NET 編譯執行or解釋執行?編譯
- 編譯Android下可執行命令的FFmpeg編譯Android
- Linux下編譯生成SO並進行呼叫執行Linux編譯
- ubuntu下程式kidle_inject致使編譯軟體很慢Ubuntu編譯
- windows下編譯安裝thriftWindows編譯
- windows 下編譯c檔案Windows編譯