本地windows搭建spark環境,安裝與詳細配置(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)

luqin_發表於2018-12-28

本地搭建spark環境,安裝與詳細配置

安裝包下載地址:

JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Hadoop2.6.5:http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/

Scala2.11.8:https://www.scala-lang.org/download/all.html

Spark2.2.0:http://archive.apache.org/dist/spark/spark-2.2.0/

  1. jdk安裝與配置

    點開jdk安裝下載地址,下載windows版本即可,進行安裝。安裝後將安裝路徑新增至環境變數中,具體操作如下圖。

在這裡插入圖片描述

安裝測試

java -version

出現如下圖代表安裝成功。

在這裡插入圖片描述

其他環境變數設定:

PATH:C:\Program Files\Java\jdk1.8.0_191\bin;
CLASS_PATH :C:\Program Files\Java\jdk1.8.0_191\lib\dt.jar;C:\Program Files\Java\jdk1.8.0_191\lib\tools.jar;
JAVA_HOME :C:\Program Files\Java\jdk1.8.0_191  #這裡後面不能有任何一個符號,我找錯找了一下午,重灌了 這幾個包 又重新配置環境變數 真的是心累!!!!! hadoop會一直報JAVA_HOME不正確
JRE_HOME :C:\Program Files\Java\jdk1.8.0_191\jre
  1. scala安裝與配置

點開scala安裝下載地址,下載windows版本即可,進行解壓,將他放到 你自己的檔案路徑下。

環境變數設定

PATH : C:\Program Files\scala-2.12.0\bin;
SCALA_HOME :C:\Program Files\scala-2.12.0

安裝測試:

在這裡插入圖片描述

  1. hadoop安裝與配置

點開spark安裝下載地址,下載需要版本即可,進行解壓,將他放到 你自己的檔案路徑下。

環境變數設定

HADOOP_PATH:C:\Program Files\hadoop-2.7.6  
PATH:C:\Program Files\hadoop-2.7.6\bin;

安裝測試

在這裡插入圖片描述

  1. spark安裝與配置

點開spark安裝下載地址,下載需要版本即可,進行解壓,將他放到 你自己的檔案路徑下。

環境變數設定

SPARK_HOME:C:\Program Files\spark-2.4.0-bin-hadoop2.7
PATH:C:\Program Files\spark-2.4.0-bin-hadoop2.7\bin;

安裝測試

在這裡插入圖片描述

千萬注意環境變數中的逗號 要不要打 這個錯找了一天!!!!!
這裡報錯了,根據報錯顯示:我們去下載相應檔案。
那麼請找到你的hadoop\bin目錄找下里面有沒有winutils.exe檔案,如果沒有的話,我們需要去下載。

下載地址為:https://github.com/steveloughran/winutils

將下載的檔案放入到你的hadoop安裝路徑下的bin下即可,重新執行

在這裡插入圖片描述
這裡又報異常,我們還需要一個檔案,hadoop.dll檔案,就在前面的地址裡,跟winutils 在同一目錄下,下載相應版本的hadoop.dll.
再重新執行:
在這裡插入圖片描述
在你執行pyspark時。沒有任何錯誤 ,可是當你輸入指令碼執行的時候,就會報異常。如下所示:
在這裡插入圖片描述
這是因為pyspark的版本過高的問題,我們可以再去網站上重新下一個2.2或者2.3版本即可。

相關文章