Spark 叢集搭建從零開始之2 Spark單機偽分散式安裝與配置

1、下載並解壓spark-1.6.0-bin-hadoop2.6.tgz  我的在/chenjie下

2、vim /etc/profile增加環境變數

exprot SPARK_HOME=/chenjie/spark-1.6.0-bin-hadoop2.6

export PATH=${SPARK_HOME}/bin:${SPARK_HOME}/sbin:$PATH

3、使用scp /chenjie/spark-1.6.0-bin-hadoop2.6 root@pc2:/chenjie命令將目錄傳送到pc2 ，pc3同理

scp /etc/profile root@pc2:/etc/profile將環境變數檔案傳送的pc2 pc3同理

4.使用source /etc/profile使其生效

5、進入chenjie/spark-1.6.0-bin-hadoop2.6/conf

使用cp spark-env.sh.template spark-env.sh新建一個配置

配置spark-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export SCALA_HOME=/chenjie/scala-2.10.4
export HADOOP_HOME=/chenjie/hadoop-2.6.5
export HADOOP_CONF_DIR=/chenjie/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_IP=pc1
export SPARK_LOCAL_IP=pc1

儲存退出

6、切換到chenjie/spark-1.6.0-bin-hadoop2.6/sbin

7../start-all.sh啟動

8.輸入jps檢視程式

9.使用求圓周率例項測試是否成功