Hadoop常見錯誤2

問題1：在程式的日誌中看到，在reduce階段出現了異常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程式裡需要開啟檔案，系統預設為1024，也可以透過ulimit -a檢視

編輯檔案/etc/security/limits.conf 在檔案後面新增：

# End of file * soft       nofile 102400 * hard       nofile 409600

遇到這種錯誤網上也有不同的可能解決方法和解釋，你們可以自己找找。

問題2： yarn日誌頁面出現異常：

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file: /tmp/hsperfdata_hdp/6676 Try using the -Djava.io.tmpdir= option to select an alternate temp location

原因是根目錄空間不足，解決問題的辦法之一是清理根目錄下不必要的檔案，解決辦法二就是，上面也就有提示了，不多說了。

/tmp/hsperfdata_username 目錄的作用是什麼呢？

jvm執行時在linux下預設在/tmp下生成上面的目錄，目錄下存放pid檔案，和一些jvm程式資訊，jmap、jstack等工具會讀取該目錄下的pid檔案獲取連結資訊

問題3： 當任務不能跑滿叢集的時，為什麼叢集的節點會出現幾個節點跑滿容器，而其他節點則非常空閒？

原因是叢集排程器預設處於批處理模式下，一個心跳會盡可能的分配任務，心跳先到達則會優先領取任務，我們可以透過引數yarn.scheduler.fair.max.assign引數設定為1，就可以大致的均衡任務到不同的節點

轉