Hadoop常見錯誤及解決方案

shkstart 發表於 2022-02-16
Hadoop

1)防火牆沒關閉、或者沒有啟動YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2)主機名稱配置錯誤

3)IP地址配置錯誤

4)ssh沒有配置好

5)root使用者和atguigu兩個使用者啟動叢集不統一

6)配置檔案修改不細心

7)未編譯原始碼

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

8)不識別主機名稱

java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415)

解決辦法:

(1)在/etc/hosts檔案中新增192.168.1.102 hadoop102

(2)主機名稱不要起hadoop hadoop000等特殊名稱

9)DataNode和NameNode程式同時只能工作一個。

10)執行命令不生效,貼上word中命令時,遇到-和長–沒區分開。導致命令失效

解決辦法:儘量不要貼上word中程式碼。

11)jps發現程式已經沒有,但是重新啟動叢集,提示程式已經開啟。原因是在linux的根目錄下/tmp目錄中存在啟動的程式臨時檔案,將叢集相關程式刪除掉,再重新啟動叢集。

12)jps不生效。

原因:全域性變數hadoop java沒有生效。解決辦法:需要source /etc/profile檔案。

13)8088埠連線不上

[[email protected] 桌面]$ cat /etc/hosts

註釋掉如下程式碼

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 #::1 hadoop102

版權宣告:轉載請附上原文出處連結及本宣告。下載相關視訊學習資料請到尚矽谷官方網站。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/27721058/viewspace-2855943/,如需轉載,請註明出處,否則將追究法律責任。