本地windows搭建spark環境，安裝與詳細配置(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)

本地搭建spark環境，安裝與詳細配置

安裝包下載地址：

JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Hadoop2.6.5：http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/

Scala2.11.8：https://www.scala-lang.org/download/all.html

Spark2.2.0：http://archive.apache.org/dist/spark/spark-2.2.0/

1. jdk安裝與配置

   點開jdk安裝下載地址，下載windows版本即可，進行安裝。安裝後將安裝路徑新增至環境變數中，具體操作如下圖。

安裝測試

java -version

出現如下圖代表安裝成功。

其他環境變數設定：

PATH：C:\Program Files\Java\jdk1.8.0_191\bin；
CLASS_PATH :C:\Program Files\Java\jdk1.8.0_191\lib\dt.jar;C:\Program Files\Java\jdk1.8.0_191\lib\tools.jar;
JAVA_HOME ：C:\Program Files\Java\jdk1.8.0_191  #這裡後面不能有任何一個符號，我找錯找了一下午，重灌了 這幾個包 又重新配置環境變數 真的是心累！！！！！ hadoop會一直報JAVA_HOME不正確
JRE_HOME ：C:\Program Files\Java\jdk1.8.0_191\jre

2. scala安裝與配置

點開scala安裝下載地址，下載windows版本即可，進行解壓，將他放到 你自己的檔案路徑下。

環境變數設定

PATH : C:\Program Files\scala-2.12.0\bin;
SCALA_HOME :C:\Program Files\scala-2.12.0

安裝測試：

3. hadoop安裝與配置

點開spark安裝下載地址，下載需要版本即可，進行解壓，將他放到 你自己的檔案路徑下。

環境變數設定

HADOOP_PATH:C:\Program Files\hadoop-2.7.6  
PATH:C:\Program Files\hadoop-2.7.6\bin；

安裝測試

4. spark安裝與配置

點開spark安裝下載地址，下載需要版本即可，進行解壓，將他放到 你自己的檔案路徑下。

環境變數設定

SPARK_HOME:C:\Program Files\spark-2.4.0-bin-hadoop2.7
PATH:C:\Program Files\spark-2.4.0-bin-hadoop2.7\bin;

安裝測試

千萬注意環境變數中的逗號 要不要打 這個錯找了一天！！！！！
這裡報錯了，根據報錯顯示：我們去下載相應檔案。
那麼請找到你的hadoop\bin目錄找下里面有沒有winutils.exe檔案，如果沒有的話，我們需要去下載。

下載地址為：https://github.com/steveloughran/winutils

將下載的檔案放入到你的hadoop安裝路徑下的bin下即可，重新執行

這裡又報異常，我們還需要一個檔案，hadoop.dll檔案，就在前面的地址裡，跟winutils 在同一目錄下，下載相應版本的hadoop.dll.
再重新執行：

在你執行pyspark時。沒有任何錯誤 ，可是當你輸入指令碼執行的時候，就會報異常。如下所示：

這是因為pyspark的版本過高的問題，我們可以再去網站上重新下一個2.2或者2.3版本即可。