使用IntelliJ IDEA編寫Scala在Spark中執行

使用Scala寫一個測試程式碼：

object Test { 
def main(args: Array[String]): Unit = { 
println("hello world") 
     } 
}

就把這個Test視為類，專案組織結構如：

然後設定編譯選項：

然後在專案資料夾下面可以找到編譯好的Jar包：

複製到Spark指定的目錄下（自己建的）：

啟動Spark，然後提交任務：

spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar

從上面控制檯中已經能夠看到執行的輸出資訊，同樣，我們也可在web管理器中檢視任務資訊：

接下來的事情就只剩下編寫Scala程式實現自己的演算法了。