HADOOP SPARK 叢集環境搭建

self_control發表於2016-08-24
HadoopSpark

目標：

在已經存在的4個節點的hadoop 2.6叢集上基礎上，搭建spark叢集。
4個機器分別為： master、slave1、slave2、slave3

1、資源下載


根據要求，SCALA要2.11.x。

下載完後的檔案：解壓到/usr/local/ 目錄下。
scala-2.11.8.tgz
spark-2.0.0-bin-hadoop2.6.tgz
tar -zxvf scala-2.11.8.tgz 
mv scala-2.11.8 /usr/local/
tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz
mv spark-2.0.0-bin-hadoop2.6  /usr/local/

3、SCALA、SPARK配置

scala官網配置介紹


spark官網配置介紹


配置清單：

1、profile增加環境變數 (/etc/profile)

export JAVA_HOME=/usr/local/jdk1.7.0_67
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

2、slave (/usr/local/spark-2.0.0-bin-hadoop2.6/conf/slave )

slave1
slave2
slave3

3、spark-env.sh (/usr/local/spark-2.0.0-bin-hadoop2.6/conf/spark-env.sh  )

export JAVA_HOME=/usr/local/jdk1.7.0_67
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=master
export SPARK_WORKER_MEMORY=512m

4、啟動叢集

sbin/start-all.sh

啟動後通過jps命令檢視程式有沒有啟動。
可以看到Master、Worker程式則啟動成功

5、測試叢集

cd 到example/jar目錄下。 執行樣例任務。
../../bin/spark-submit --class org.apache.spark.examples.SparkPi     --master yarn     --deploy-mode cluster       spark-examples*.jar     10

看能看到輸出了pi的值。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30066956/viewspace-2123915/，如需轉載，請註明出處，否則將追究法律責任。

相關文章