windows下使用eclipse向linux叢集提交hadoop job問題與解決方法

使用hadoop的版本為2.6.0，在windows的eclipse中向hadoop 叢集提交作業時會出現bash: bin/hadoop: Permission denied這是因為使用windows提交作業使用的使用者名稱預設為windows的主機名。假如你的主機名為snack

解決方法:

在伺服器主機上新增客戶端使用者以及hadoop預設組名：

• sudo /usr/sbin/groupadd supergroup

• sudo /usr/sbin/useradd -g supergroup -n -r snack

  修改hadoop叢集中hdfs檔案的組許可權使屬於supergroup組的所有使用者都有讀寫許可權

• hadoop fs -chmod 773 /

還會出現Exception message: /bin/bash: line 0: fg: no job control

解決方法為 在客戶端中的mapred-site.xml中新增

mapreduce.app-submission.cross-platform屬性 值設為true