Ubuntu系統下eclipse配置mapreduce外掛常見錯誤和解決辦法彙總
在上篇文章中eclipse已經能訪問HDFS目錄(
blog.csdn.net/gamer_gyt/article/details/47209623),但並不能進行Mapreduce程式設計,在這裡小編將常見錯誤和處理辦法進行總結,希望對大家有所幫助
錯誤1:ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解決辦法:
eg:我解壓的目錄是D:\hadoop-2.6.0
在系統的環境變數介面新增HADOOP_HOME,並在系統變數PATH中新增如圖:
然後eclipse中選擇Windows->Prefenences設定如圖:
錯誤2:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
錯誤3:Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
上面兩個問題是缺少元件,解決辦法:
下載hadoop-common-2.2.0-bin-master
將裡邊bin 目錄替換 本地hadoop裡邊的bin目錄
錯誤:4:
15/08/03 10:15:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/08/03 10:15:43 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/08/03 10:15:55 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/08/03 10:15:57 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/08/03 10:15:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
解決辦法:
將叢集配置檔案中core-site.xml localhost改為你主節點IP
然後加入在yarn-site.xml中加入
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>127.0.0.1</value>
</property>
注意127.0.0.1改為你的ip
特別注意的是,修改後,叢集要重新啟動,且把裡邊的修改的檔案重新copy一份到程式的src目錄下,在eclipse中重新整理
錯誤5:
Exit code: 1
Exception message: /bin/bash: 第 0 行: fg: 無任務控制
Stack trace: ExitCodeException exitCode=1: /bin/bash: 第 0 行: fg: 無任務控制
解決辦法參考網上給的教程:http://www.aboutyun.com/thread-8498-1-1.html 並未解決
真正的辦法是:
在客戶端配置檔案中新增如下屬性:
<property> <name>mapreduce.app-submission.cross-platform</name> <value>true</value> </property>
錯誤6:
正確放置完jar外掛之後,eclipse中不能顯示mapreduce
解決辦法:檢查jar外掛的位置注意如果是從ubuntu自帶的軟體中心安裝elcipse的話,則安裝目錄為:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin,進入eclipse目錄,執行sudo chmod 777 * -R,重啟eclipse
這一步特別重要網上好多資料都不是這樣寫的,所以配置一直不成功。
推薦一篇不錯的部落格:http://www.aboutyun.com/thread-8311-1-1.html
相關文章
- Ubuntu下Linux配置核心各種常見錯誤和解決辦法UbuntuLinux
- SSL證書常見的錯誤和解決辦法是什麼?
- ubuntu下import matplotlib錯誤解決辦法UbuntuImport
- PHP編譯安裝時常見錯誤解決辦法,php編譯常見錯誤PHP編譯
- BlueHost SSH連線常見錯誤和解決方法
- uni-app開發 常見異常和解決辦法APP
- Ubuntu各種錯誤彙總Ubuntu
- 分享視訊直播常見問題與解決辦法彙總
- 伺服器出現500錯誤的原因和解決辦法伺服器
- Ubuntu 常見問題和解答Ubuntu
- MySQL 資料庫崩潰(crash)的常見原因和解決辦法MySql資料庫
- 【彙總】Python語言常見報錯及解決方案!Python
- Shell:常見錯誤總結(一)
- 解決ubuntu系統“XXX is not in the sudoers file”錯誤Ubuntu
- Windows作業系統常見故障問題和解決方案Windows作業系統
- PostgreSQL外掛彙總SQL
- Linux系統下無法解除安裝掛載的解決辦法Linux
- CentOS 常見異常及解決辦法CentOS
- Hadoop常見錯誤及解決方案Hadoop
- Eclipse除錯找不到源的解決辦法Eclipse除錯
- 【常見錯誤】--Nltk使用錯誤
- Python-安裝部分包報錯解決辦法彙總Python
- 前端常用外掛、工具類庫彙總(下)前端
- Git錯誤彙總Git
- Ubuntu 安裝包時提示錯誤E: Unable to locate package mysql-server錯誤 解決辦法UbuntuPackageMySqlServer
- Mac 上的 5 個常見錯誤程式碼以及修復辦法Mac
- PbootCMS網站常見錯誤提示總結boot網站
- SSH常見錯誤
- MySQL 常見錯誤MySql
- win7系統下谷歌瀏覽器無法安裝外掛出現CRX-INVALID-HEAD錯誤程式碼怎麼辦Win7谷歌瀏覽器
- vscode好用外掛彙總VSCode
- eclipse :報錯 ‘XXXX‘ does not name a type的解決辦法Eclipse
- Xlua常見API彙總API
- 【TUNE_ORACLE】Oracle資料庫與HugePages(三)HugePages常見問題和解決辦法Oracle資料庫
- 畢設之錯誤解決辦法
- Idea編譯錯誤解決辦法Idea編譯
- mac 下eclipse安裝lombok外掛MacEclipseLombok
- 普通raid常見故障解和決方案彙總AI
- Go常見錯誤集錦 | 字串底層原理及常見錯誤Go字串