Spark安裝與配置

以下是本文所用到的檔案包

spark-2.4.5-bin-hadoop2.7
https://incstallation-package.oss-cn-beijing.aliyuncs.com/spark-2.4.5-bin-hadoop2.7.tgz

一、 Spark安裝與配置

1、選擇spark2.4.5版，與之前hadoop-2.7.3與之相匹配。

如果沒有安裝過hadoop，可以檢視

https://www.cnblogs.com/XiMeeZhh/p/18238136

2、安裝

① 進入 /home目錄，將spark-2.4.5-bin-hadoop2.7.tgz上傳

cd /home

② 將spark安裝包複製到/usr/local目錄下

cp spark-2.4.5-bin-hadoop2.7.tgz /usr/local/

進入/usr/local/目錄並解壓

cd /usr/local

tar -xzf spark-2.4.5-bin-hadoop2.7.tgz

刪除多餘的安裝包

rm -f spark-2.4.5-bin-hadoop2.7.tgz

現在/usr/local/目錄下，生成spark-2.4.5-bin-hadoop2.7.tgz目錄

（3）配置Spark的環境變數

使用nano工具修改.bashrc檔案

nano ~/.bashrc

在檔案的最後新增如下的配置

# Set SPARK_HOME path

export SPARK_HOME=/usr/local/spark-2.4.5

# Add spark-* binaries to PATH

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

儲存並退出

Ctrl+X yes

（4）儲存並關閉檔案

source ~/.bashrc

（5）配置生效

spark-shell

如果出現可以scala的輸入行，說明Spark已經成功安裝。

二、 Spark測試

1、測試

輸入表示式計算測試

Scala> 8*7+5

測試計算結果。