spark開發環境搭建intellij+Scala+sbt

zwc_cc發表於2017-06-15
Spark開發環境IntelliJ

作為一個新手，看了網上五花八門的配置教程，表示照著他們做，花了好幾天才弄好。所以現在寫個部落格，希望對新手有所幫助

1，Java jdk安裝

2，Scala安裝

3，intellij下載。我用的是community版

4，intellij安裝Scala外掛

5，建立一個Scala sbt工程，然後在file-》project structure-》libraries裡新增jdk庫，選擇spark目錄下的jars目錄即可，這裡網上都是說選擇一個spark-assembly-Hadoop.jar包，實際沒有。

要注意Scala版本與spark版本要匹配，否則後面提交程式後會報錯，具體版本對應關係，可去看spark目錄下的jars目錄裡的幾個Scala-xx.jar。如Scala-2.11.8，則安裝這個版本的Scala

這樣完成以上步驟就可以了

（未完待續）

相關文章