Spark開發-spark環境搭建

環境準備
master 192.168.18.140
slave1 192.168.18.141
slave2 192.168.18.142
slave3 192.168.18.143
hadoop 2.6
spark 1.6
scala 2.11
java 1.7

hadoop的安裝我就在這裡不介紹了，直接介紹spark的安裝。
1、先安裝Scala，這個和Java的安裝類似，需要配置好profile檔案

2、解壓spark安裝包，這裡我們直接進入spark的conf目錄裡面，將spark-env.sh.template檔案複製一份到spark-env.sh中， 使用命令是cp spark-env.sh.template spark-env.sh.修改spark-env.sh檔案
新增如下內容
export JAVA_HOME=/opt/jdk1.7.0_79
export SCALA_HOME=/opt/scala-2.11.4
export SPARK_MASTER_IP=192.168.18.140
export HADOOP_CONF_DIR=/opt/hadoop-2.6.5/etc/hadoop
export SPARK_WORKER_MEMORY=4g
export SPARK_EXECUTOR_MEMORY=1g
export SPARK_DRIVER_MEMORY=4G
export SPARK_WORKER_CORES=8

3、在conf目錄下面將spark-defaults.conf.template檔案複製一份到spark-defaults.conf。修改spark-defaults.conf中的內容，新增
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.18.140:9000/historySpark
spark.yarn.historyServer.address 192.168.18.140:18080
spark.history.fs.logDirectory hdfs://192.168.18.140:9000/historySpark
spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers=”one two three”

4、建立spark執行日誌的路徑 historySpark
hadoop fs -mkdir /historySpark

5、修改slaves檔案新增work節點
slave1
slave2
slave3

6、通過scp命令將spark的包拷貝到work節點上面

7、啟動Hadoop 這裡就不介紹了

8、啟動spark，進入spark的sbin目錄，用./start-all.sh命令啟動spark服務，在通過./start-history-server.sh啟動spark的檢視歷史日誌的服務
啟動以後我們可以通過瀏覽器來檢視spark的ui
http://192.168.18.140:8080/
http://192.168.18.140:18080/

9、測試spark叢集
進入bin目錄執行下面這個命令，計算圓周率的
[root@master bin]# ./spark-submit –class org.apache.spark.examples.SparkPi –master spark://192.168.18.140:7077 ../lib/spark-examples-1.6.3-hadoop2.6.0.jar 100

執行以後我們可以通過8080的埠檢視到執行的application

我們也可以從執行的日誌中看到計算出來的Pi

以上說明spark已經安裝成功了