學習四：jobtracker和tasktracker無法正常啟動

    按照前面的學習一和學習三的步驟進行配置，我們發現Namenode的MapReduce

jobtracker和DataNode的tasktracker無法正常啟動，具體表現如下：

masternode:
# jps
4210 Jps
4156 NameNode

slavenode
# jps
4028 DataNode
4106 TaskTracker

masternode無法啟動jobtracker，查詢mared-site.xml配置發現以下問題：
mapred.job.tracker
  masternode:54311
value值配置錯誤，應該新增hdfs://，修改後如下：
  hdfs://masternode:54311

啟動service hadoop-0.20-jobtracker start依然無法啟動，檢視錯誤日誌：
#vi /var/log/hadoop-0.20/hadoop-hadoop-jobtracker-masternode.log

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

其mapred.system.dir並沒有定位到/mapred/system目錄上，而是使用“/”目錄，在masternode節點上mapred-site.xml新增以下的配置：

 mapred.system.dir
 /mapred/system
 

啟動jobtracker正常。

總結：

在隨機文件CDH3_Installation_Guide-u3.pdf中，以上的配置沒有描述清楚，或者描述在不顯眼的地方，造成配置的錯誤，具體如下：
1、在P64頁中，描述mapred.job.tracker中對其配置解釋如下：
Specifies the hostname and port of the JobTracker's RPC server, in the form. :.
應該改為hdfs://:.

2、在P73頁中，建立mapred檔案目錄命令：
$ sudo -u hdfs hadoop fs -mkdir /mapred/system
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /mapred/system
給出了/(root directory)使用者屬主hdfs:hadoop
在註釋中，需要注意以下一行字：
Add the path for the mapred.system.dir directory to the conf/mapred-site.xml file.

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/354732/viewspace-721504/，如需轉載，請註明出處，否則將追究法律責任。