centos7 (阿里雲、linux) 單機spark的安裝與配置詳解(jdk安裝與配置,scala安裝與配置,hadoop安裝與配置,spark安裝與配置)

centos7 單機spark的安裝與配置詳解

1.yum進行更新

yum upgrade

saprk的安裝需要安裝jdk、scala、spark

2. jdk安裝與配置

安裝

 sudo yum install java-1.8.0-openjdk-devel.x86_64

配置

我們需找到jdk檔案路徑

命令：

rpm -ql java-1.8.0-openjdk-devel-1.8.0.191.b12-1.el7_6.x86_64

開啟配置檔案

vim /etc/profile

進行環境變數配置（檔案路徑要自己進行檢視 路徑是否正確）

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin

環境變數生效

source /etc/profile

3. scala安裝與配置

安裝

wget http://www.scala-lang.org/files/archive/scala-2.11.8.tgz

對下載檔案進行解壓

tar -zxf scala-2.11.8.tgz

將檔案移入lib檔案下

 mv scala-2.11.8 /usr/lib

配置

vim /etc/profile

export SCALA_HOME=/usr/lib/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

4. spark安裝與配置

安裝

  wget  http://d3kbcqa49mib13.cloudfront.net/spark-2.0.0-bin-hadoop2.7.tgz
  
  476  

解壓

tar -zxf spark-2.0.0-bin-hadoop2.7.tgz

配置

vim /etc/profile

export SPARK_HOME=$HOME/spark-2.0.0-bin-hadoop2.7
export PYTHONPATH=$PATH:$SPARK_HOME/python

source /etc/profile

5. 啟動spark

進入spark檔案

cd $SPARK_HOME

啟動spark自帶求π程式

./bin/run-example SparkPi

上面有π的輸出結果，Pi is roughly 3.144… 代表成功，如果報no command ，就是環境變數配置錯誤，可以進行環境變數測試，看環境變數是否正確。