本地windows搭建spark環境,安裝與詳細配置(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)
本地搭建spark環境,安裝與詳細配置
安裝包下載地址:
JDK: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Hadoop2.6.5:http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/
Scala2.11.8:https://www.scala-lang.org/download/all.html
Spark2.2.0:http://archive.apache.org/dist/spark/spark-2.2.0/
安裝測試
java -version
出現如下圖代表安裝成功。
其他環境變數設定:
PATH:C:\Program Files\Java\jdk1.8.0_191\bin;
CLASS_PATH :C:\Program Files\Java\jdk1.8.0_191\lib\dt.jar;C:\Program Files\Java\jdk1.8.0_191\lib\tools.jar;
JAVA_HOME :C:\Program Files\Java\jdk1.8.0_191 #這裡後面不能有任何一個符號,我找錯找了一下午,重灌了 這幾個包 又重新配置環境變數 真的是心累!!!!! hadoop會一直報JAVA_HOME不正確
JRE_HOME :C:\Program Files\Java\jdk1.8.0_191\jre
點開scala安裝下載地址,下載windows版本即可,進行解壓,將他放到 你自己的檔案路徑下。
環境變數設定
PATH : C:\Program Files\scala-2.12.0\bin;
SCALA_HOME :C:\Program Files\scala-2.12.0
安裝測試:
點開spark安裝下載地址,下載需要版本即可,進行解壓,將他放到 你自己的檔案路徑下。
環境變數設定
HADOOP_PATH:C:\Program Files\hadoop-2.7.6
PATH:C:\Program Files\hadoop-2.7.6\bin;
安裝測試
點開spark安裝下載地址,下載需要版本即可,進行解壓,將他放到 你自己的檔案路徑下。
環境變數設定
SPARK_HOME:C:\Program Files\spark-2.4.0-bin-hadoop2.7
PATH:C:\Program Files\spark-2.4.0-bin-hadoop2.7\bin;
安裝測試
千萬注意環境變數中的逗號 要不要打 這個錯找了一天!!!!!
這裡報錯了,根據報錯顯示:我們去下載相應檔案。
那麼請找到你的hadoop\bin目錄找下里面有沒有winutils.exe檔案,如果沒有的話,我們需要去下載。
下載地址為:https://github.com/steveloughran/winutils
將下載的檔案放入到你的hadoop安裝路徑下的bin下即可,重新執行
這裡又報異常,我們還需要一個檔案,hadoop.dll檔案,就在前面的地址裡,跟winutils 在同一目錄下,下載相應版本的hadoop.dll.
再重新執行:
在你執行pyspark時。沒有任何錯誤 ,可是當你輸入指令碼執行的時候,就會報異常。如下所示:
這是因為pyspark的版本過高的問題,我們可以再去網站上重新下一個2.2或者2.3版本即可。
相關文章
- centos7 (阿里雲、linux) 單機spark的安裝與配置詳解(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)CentOS阿里LinuxSparkJDKHadoop
- Spark安裝與配置Spark
- jdk安裝與配置JDK
- JAVA—JDK安裝與配置JavaJDK
- Git環境配置與安裝Git
- MacVim安裝與配置Mac
- [Redis] 安裝與配置Redis
- 【MongoDB】安裝與配置MongoDB
- 【Redis】安裝與配置Redis
- 【MySQL】安裝與配置MySql
- vim安裝與配置
- Rabbitmq安裝與配置MQ
- MySQL安裝與配置MySql
- Nginx安裝與配置Nginx
- Grafana 安裝與配置Grafana
- Redis安裝與配置Redis
- Mahout安裝與配置
- Nginx 安裝與配置Nginx
- 詳解:Flannel安裝與配置
- 安裝與配置Flutter開發環境Flutter開發環境
- CentOS 7 yum 安裝與配置 JDKCentOSJDK
- MySQL的安裝與配置——詳細教程MySql
- Kafka SSL安裝與配置Kafka
- Supervisor安裝與配置
- Mac Flutter安裝與配置MacFlutter
- macOS Java安裝與配置MacJava
- Centos安裝與配置RedisCentOSRedis
- Telnet安裝與配置
- Mac 安裝與配置mongodbMacMongoDB
- Tomcat安裝與配置Tomcat
- 【Jenskins】安裝與配置
- Hive的安裝與配置Hive
- PG的安裝與配置
- yum的安裝與配置
- NetBackup安裝與配置
- TortoiseGit安裝與配置(轉)Git
- Redis的安裝與配置Redis
- Vue的安裝與配置Vue