spark 叢集啟動後，worker 節點worker 程式一段時間後自動結束

crystalnsd發表於2017-10-19
Spark

1 啟動環境：

  • 啟動hdfs: ./sbin/start-dfs.sh (hadoop 目錄)
  • 啟動spark叢集：./sbin/start-all.sh (在spark目錄下)
  • 檢查是否啟動：檢視各節點折datanode Worker 程式是否啟動了

2 遇到的問題：

各節點中的worker程式啟動，spark UI 管理介面顯示卻只有master 啟動，worker 節點都顯示，過一會兒，worker 節點會自動關閉

原因：

虛擬機器是複製的，各節點主機名一致，

解決：

修改主機名，並將叢集所有主機名,ip 對映加到/etc/hosts(每一個節點都要加)

附：修改linux 主機的方法
vim /etc/hostname

將內容修改為newname 然後重啟機器

相關文章