hadoop0.20.2下相關問題處理方法

Problem: NameNode is not formatted 

很明顯示namenode沒有format

將namenode的資料夾刪除，然後hadoop namenode -format

網上好多文件都只會告訴你 hadoop namenode -format 就行

namenode資料夾即dfs.name.dir指定的值

could only be replicated to 0 nodes

官方給出的解釋是，在啟動時上傳hdfs檔案時，datanode仍然在和namenode通訊

解決辦法是保證有足夠的datanode啟動，嘗試分別啟動hdfs和mapred不成功

檢視datanode的日誌報

java.io.IOException: Incompatible namespaceIDs in /home/iic/hadoop-0.20.2/hdfs-data: namenode namespaceID = 1444851414; datanode namespaceID = 620054427

清空叢集裡，所有目錄/home/iic/hadoop-0.20.2/hdfs-data下的東西，如果還不行就清空所有namenode,datanode資料夾，重新格式化，我就是這樣搞定的

FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence.

這是因為你的配置檔案中包括中文亂碼，刪除即可

Shuffle Error:Exceeded MAX_FAILED_UNIQUE_FETCHES;bailing-out

有兩種原因：hosts檔案加入所有節點的機器名（我的就是這個問題）

兩個原因就是系統允許開啟的最大檔案數有限制

vi /etc/security/limits.conf

增加* soft nofile 102400 * hard nofile 409600

$cd /etc/pam.d/ $sudo vi login新增 session    required     /lib/security/pam_limits.so

暫時就這兩個問題遇到，如有持續更新