配置MapReduce時遇到的問題記錄

我命傾塵發表於2018-11-18

1、左邊欄的Project Explorer裡一直不出現DFS Locations.

  發現在把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins資料夾下並且eclipse -clean之後依舊不顯示,後來找到問題所在。

  在Linux虛擬機器裡換了新的Eclipse,又重新配置MapReduce。

  這次再把hadoop-eclipse-plugin-2.6.0.jar放到eclipse下的pluins資料夾下並且eclipse -clean之後,DFS Locations出現了。

  究其原因是因為:eclipse的眾多版本里有的不適合配置Map/Reduce,個別版本功能簡單方便實用但也正是因此導致不好配置。

  

2、配置:

  在window-》preferences-》Hadoop Map/Reduce下配置hadoop路徑:

  

  配置完成,則可以在eclipse的開發模式裡看到這個小象圖示的Map/Reduce模式:

  

  在出現的服務右擊後的頁面裡,按照預設的常規和自己本地的配置檔案的路徑和內容填寫:

  

3、在配置好MapReduce的路徑和常規之後,將埠與hadoop配置的一致,之後能正常顯示hdfs下的檔案了。

  

 4、記錄一下dfs location連線的錯誤:

  

  這個是連線問題,配置裡出現了問題(沒有把那些引數的值和自己的hadoop配置時修改的值保持一致)

  

  還有一個是hadoop版本和hadoop-eclipse-plugin-2.6.0.jar這個外掛的版本不匹配,也會報一個錯

相關文章