### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- Scala語言在函數語言程式設計方面的優勢適合Spark應用開發，IDEA是我們常用的IDE工具，今天就來實戰IDEA開發Scala版的Spark應用；

### 版本資訊
- 以下是開發環境：
1. 作業系統：win10；
2. JDK：1.8.0_191；
3. IntelliJ IDEA：2018.2.4 (Ultimate Edition)

- 以下是執行環境：
1. Spark：2.3.3；
2. Scala：2.11.12；
3. Hadoop：2.7.7；

- 如果您想在幾分鐘之內搭建好Spark叢集環境，請參考[《docker下，極速搭建spark叢集(含hdfs叢集)》](https://blog.51cto.com/u_13674465/5584009)；

### 下載Spark安裝包
- 去spark官網下載spark安裝包，裡面有開發時所需的庫，如下圖，地址是：http://spark.apache.org/downloads.html
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217083443762.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 將下載好的檔案解壓，例如我這裡解壓後所在目錄是：C:\software\spark-2.3.3-bin-hadoop2.7

### IDEA安裝scala外掛
- 開啟IDEA，選擇"Configure"->"Plugins"，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2019021708364014.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下圖，在紅框1輸入"scala"，點選紅框2，開始在中央倉庫說搜尋：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217083824497.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在搜尋結果中選中"scala"，再點選右側的"Install"，如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2019021708395760.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 等待線上安裝成功後，點選"Restart IntelliJ IDEA"，如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084059113.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### 新建scala工程
- 點選下圖紅框，建立一個新工程：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084212287.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在彈出視窗中選擇"Scala"->"IDEA"，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084335615.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下圖，在紅框1中輸入專案名稱，點選紅框2，選擇Scala SDK：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2019021708445567.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在彈出的視窗選擇"2.11.12"版本，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084518607.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 點選下圖紅中的"Finish"，完成工程建立：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084610329.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 工程建立成功了，接下來是新增spark庫，點選"File"->"Project Structure"，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217084902285.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在彈出視窗選擇新增一個jar庫，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217085150270.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在彈出視窗選擇前面安裝的**spark-2.3.3-bin-hadoop2.7**資料夾下面的jar資料夾，如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217085326359.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下圖，彈出的視窗用來選擇模組，就選工程目錄即可：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217085433520.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 至此，整個spark開發環境已經設定好了，現在寫一個demo試試，建立一個object，原始碼如下：
```java
package com.bolingcavalry.sparkscalademo.app

import org.apache.spark.{SparkConf, SparkContext}

/**
  * @Description: 第一個scala語言的spark應用
  * @author: willzhao E-mail: zq2599@gmail.com
  * @date: 2019/2/16 20:23
  */
object FirstDemo {
  def main(args: Array[String]): Unit={
    val conf = new SparkConf()
      .setAppName("first spark app(scala)")
      .setMaster("local[1]");

new SparkContext(conf)
      .parallelize(List(1,2,3,4,5,6))
      .map(x=>x*x)
      .filter(_>10)
      .collect()
      .foreach(println);
  }
}
```

- 以上程式碼的功能很簡單：建立用一個陣列，將每個元素做平方運算，再丟棄小於10的元素，然後逐個列印出來；
- 程式碼完成後，點選右鍵選擇"Run FirstDemo"，即可立即在本機執行，如下圖：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217090315760.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 由於windows環境並沒有做hadoop相關配置，因此控制檯上會有錯誤堆疊輸出，但這些資訊並不影響程式執行(本例沒有用到hadoop)，輸出如下，可見結果已經被列印出來(16、25、36)：

```shell
2019-02-17 09:04:21 INFO  TaskSchedulerImpl:54 - Removed TaskSet 0.0, whose tasks have all completed, from pool 
2019-02-17 09:04:21 INFO  DAGScheduler:54 - ResultStage 0 (collect at FirstDemo.scala:20) finished in 0.276 s
2019-02-17 09:04:21 INFO  DAGScheduler:54 - Job 0 finished: collect at FirstDemo.scala:20, took 0.328611 s
16
25
36
2019-02-17 09:04:21 INFO  SparkContext:54 - Invoking stop() from shutdown hook
2019-02-17 09:04:21 INFO  AbstractConnector:318 - Stopped Spark@452ba1db{HTTP/1.1,[http/1.1]}{0.0.0.0:4040}
2019-02-17 09:04:21 INFO  SparkUI:54 - Stopped Spark web UI at http://DESKTOP-82CCEBN:4040
2019-02-17 09:04:21 INFO  MapOutputTrackerMasterEndpoint:54 - MapOutputTrackerMasterEndpoint stopped!
2019-02-17 09:04:21 INFO  MemoryStore:54 - MemoryStore cleared
2019-02-17 09:04:21 INFO  BlockManager:54 - BlockManager stopped
2019-02-17 09:04:21 INFO  BlockManagerMaster:54 - BlockManagerMaster stopped
2019-02-17 09:04:21 INFO  OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:54 - OutputCommitCoordinator stopped!
2019-02-17 09:04:21 INFO  SparkContext:54 - Successfully stopped SparkContext
2019-02-17 09:04:21 INFO  ShutdownHookManager:54 - Shutdown hook called
2019-02-17 09:04:21 INFO  ShutdownHookManager:54 - Deleting directory C:\Users\12167\AppData\Local\Temp\spark-4bbb584a-c7c2-4dc8-9c7e-473de7f8c326

Process finished with exit code 0
```

### 構建打包，提交到spark環境執行
- 生產環境下一般是將應用構建打包成jar，放到spark叢集中執行，所以我們來操作構建打包；

- 在選單上選擇"File"->"Project Structure"，彈出視窗點選"Artifacts"，選擇新增jar，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217090806336.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如下圖，在彈出的視窗中，紅框1位置輸入要執行的class，紅框2選擇的是單選框的第二個"copy to the output ..."：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217090933471.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在選單上選擇"Build"->"Build Artifacts..."，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217091213416.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 在彈出的選單中選擇"sparkscalademo:jar"->"Rebuild"，如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217091532243.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 如果編譯成功，在專案的**out\artifacts**目錄下就會生成檔案sparkscalademo.jar，如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217091856730.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 將檔案上傳到spark伺服器上，執行提交命令：

```shell
spark-submit --class com.bolingcavalry.sparkscalademo.app.FirstDemo /root/jars/sparkscalademo.jar
```

- 控制檯會顯示執行資訊和結果，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190217092418241.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 至此，idea開發spark應用實戰就完成了，希望在您配置開發環境的時候本文能夠提供一些參考；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

IDEA開發Spark應用實戰(Scala)

相關文章