在IntelliJ IDEA中建立和執行java/scala/spark程式

泥瓦匠BYSocket發表於2020-05-18
IntelliJIdeaJavaSpark

本文將分兩部分來介紹如何在IntelliJ IDEA中執行Java/Scala/Spark程式：

  • 基本概念介紹
  • 在IntelliJ IDEA中建立和執行java/scala/spark程式

基本概念介紹

IntelliJ IDEA

本文使用版本為： ideaIC-2020.1

IDEA 全稱 IntelliJ IDEA，是java程式語言開發的整合環境。IntelliJ在業界被公認為最好的java開發工具，它的旗艦版本還支援HTML，CSS，PHP，MySQL，Python等，免費版只支援Java，Scala等少數語言。如果只開發Java和Scala，去官網下載社群版即可：https://www.jetbrains.com/idea/.

Java

本文使用版本為：java 8

程式語言，不解釋。在IDE之外執行Java程式的方式如下：

javac HelloWord.java // 先編譯原始碼 ---->java HelloWord.class
java.exe  HelloWord // 直接執行

實際開發中每個java程式都會依賴其他的包，也就是jar，這種情況你必須告訴java.exe 你的jar包都在哪裡，告訴java的方式就是通過classpath指定，通常我們都會在系統環境變數中建立一個CLASSPATH的環境變數，這樣java會在這裡尋找你程式依賴的包。當然也可以在執行時指定，這樣的話程式執行的方式就是下面的樣子：

java.exe  -classpath "D:\Program Files\java-se-8u41-ri\jre\lib\charsets.jar;..."  HelloWord
//  -classpath: Java程式以來包或包的路徑，Windows下用 ; 分開。

可以自己下載安裝Javaj的JDK，也可以直接從IDEA上下載和管理，建議使用後者。

File -> Project Structure -> Platform Setting -> SDKs -> + -> Download JDK

可以下載多個版本，對不同的程式使用不同的配置，很方便。

Scala

本文使用版本為：Scala 2.11.12

Scala是一門多正規化的程式語言，一種類似java的程式語言 ，設計初衷是實現可伸縮的語言 、並整合物件導向程式設計和函數語言程式設計的各種特性。它一方面吸收繼承了多種語言中的優秀特性，一方面又沒有拋棄Java這個強大的平臺，它執行在Java虛擬機器（JavaVirtualMachine）之上，輕鬆實現和豐富的Java類庫互聯互通。

基於Java的程式語言，支援多種執行方式：

  1. 像python一樣，互動式執行
// scala
scala> println("HelloWorld")
HelloWorld
// python
python> print("HelloWorld")
HelloWorld
  1. 像python一樣命令執行
// scala 
scala script.scala 
// python
python script.py
  1. 用scalac或fsc編譯為.class 或 jar 再用java命令執行，每次scalac編譯都需要啟動一個JVM

Scala可以自行安裝下載，也可以利用IDEA中的外掛自行下載，推薦後者，下載方式為：

File -> Project Structure -> Platform Setting -> Global Libraries -> + -> Download...

同時，也需要下載scala的外掛：

File -> Settings... -> Plugins -> Marketplace ... -> [ Search Scala ]

所以，Scala像是一門新的程式語言，又和Java有著密不可分的聯絡。

Maven

管理依賴，和構建Java專案的工具，不多介紹，可以自行下載也可以直接使用IDEA中自帶的版本，外掛下載方式：

File -> Settings... -> Plugins -> Marketplace ... -> [ Search Maven ]

Spark

本文使用版本為：spark 2.4.5

Apache Spark 是專為大規模資料處理而設計的快速通用的計算引擎。SparkSpark 是在 Scala 語言中實現的，它將 Scala 用作其應用程式框架。Spark既不是SDK也不是Global Libriaries，在IDEA中可以像使用普通的包一樣使用spark。如果想使用spark-shell，可以自行下載。

綜上可知：Spark用Scala實現，Scala又構建於JVM之上，和Java之間可以密切互通。所以要想開發Spark程式，必須對三者及其關係有一定的瞭解。

在IntelliJ IDEA中建立和執行java/scala/spark程式

建立並執行Java程式

  1. 新建專案
    選擇 Create Project 建立Java/Scala程式，這一步關鍵是要選擇你的JDK。如果你下載或安裝了多個版本的JDK且被IDEA識別，那麼你可以用下拉選單選擇合適的JDK的版本。

Java

JDK

  1. 新建Package

在 src目錄上右鍵，選擇新建Package，也就是你的程式碼所在的包名，這一步可以跳過。

新建Package

  1. 新建Class

在包所在的目錄上右鍵，新建Java/Scala Class

  1. 設定原始碼目錄

這一步也很重要，需要把src目錄設定成原始碼目錄，因為IDEA只會在原始碼目錄下找你的程式。

Sources Root

  1. 編寫程式碼

為了完整演示如何執行程式，程式碼中加入了對第三方庫的引用。

package com.example;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

public class HelloWord {
    static final Logger logger = LogManager.getLogger(HelloWord.class.getName());

    public static void main(String[] args) {
        logger.entry();
        logger.error("Inside Hello Logger!");
        logger.exit(false);
    }
}

那麼問題來了，如何告訴java你的第三方包在哪裡呢？如果建立的是Maven專案，可以在Maven專案中新增依賴，具體配置網上都有教程，可以直接參考，然後別忘了讓maven同步一下，把以來載入到本地：

Maven

如果你建立的不是Maven專案，那麼你需要自己管理你自己的依賴。我們通過如下方式將你引用的jar包手動新增進來：

File -> Project Structure -> Project Setting -> Libraries -> + -> Java..

新增完之後你的配置會長這個樣子：

Libraries

然後我們就可以通過Run命令執行這個HelloWord 程式了，執行的時候直接選擇預設配置：

config

IDEA命令列中實際執行的命令如下，可以看出也是用了 -classpath引數來指定依賴的。

D:\Program Files\java-se-8u41-ri\bin\java.exe
 -Djava.library.path=C:\Users\haipw\.m2\repository 
"-javaagent:D:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2020.1\lib\idea_rt.jar=59878:D:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2020.1\bin"
 -Dfile.encoding=UTF-8 -classpath 
"
D:\Program Files\java-se-8u41-ri\jre\lib\charsets.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\cldrdata.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\dnsns.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\localedata.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\nashorn.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\sunec.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\sunjce_provider.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\sunmscapi.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\sunpkcs11.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\ext\zipfs.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\jce.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\jsse.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\management-agent.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\resources.jar;
D:\Program Files\java-se-8u41-ri\jre\lib\rt.jar;
D:\Users\Java\TestJava\out\production\TestJava;
D:\OneDrive\apache-log4j-2.13.2-bin\log4j-api-2.13.2.jar;
D:\OneDrive\apache-log4j-2.13.2-bin\log4j-core-2.13.2.jar;
D:\OneDrive\apache-log4j-2.13.2-bin\log4j-core-2.13.2-tests.jar
"
com.example.HelloWord

當然，手動新增Libraries的方式並不推薦，此處演示也是為了說明其中的原理 。實際中也偶爾遇到載入不成功等bug，首選的方式依然是用maven管理，但是道理是一樣的。Maven管理的包會自動幫你生成相關配置，像下圖一樣：

maven

建立並執行Scala/Spark程式

知道如何建立和執行java，再執行scala就很簡單了。區別只是你建立專案的時候要選擇Scala，然後新建一個 example.scala的原始碼即可。在此略過。

總結

在IDEA中執行Java/Scala/Spark程式，推薦使用Maven進行依賴的管理，同時要注意如下事項：

  • 保證你Project Structure 中的SDK 和 Global Libiaries 的版本正確。
  • 在更新maven配置之後一定要重新載入一下，及時更新配置
  • 執行程式必須要先配置，一般系統會自動生產一個配置，有時候需要自己新增或修改一些引數，請在 Edit Configuration 選項下開啟並修改：

Edit Configuration

如果你覺得文章有幫助，可以在任何平臺搜尋”黑客悟理“ 並關注我。感謝支援！

文末福利

Java 資料大全 連結:https://pan.baidu.com/s/1pUCCPstPnlGDCljtBVUsXQ 密碼:b2xc
更多資料： 2020 年 精選阿里 Java、架構、微服務精選資料等，加 v ❤ ：qwerdd111

轉載，請保留原文地址，謝謝 ~

相關文章