Spark on Yarn 環境搭建
本文記錄Spark on Yarn的叢集環境的搭建,並通過通過SparkPi例項程式來測試叢集。在搭建本叢集之前必須先搭建好Hadoop叢集,搭建Hadoop叢集請參考:Hadoop叢集環境搭建(三臺).
主要內容:
- 安裝Spark
- 執行SparkPi
1.安裝Spark
1.1.下載
這裡注意版本,我的hadoop版本是2.7.3,那我下載2.1.1,而Spark2.1.1依賴的Scala的2.11,所以後面用到Scala程式設計時注意Scala的版本。
1.2.解壓
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/soft
1.3.修改配置檔案
進入 spark-2.1.1-bin-hadoop2.7/conf下
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在spark-env.sh下加入如下配置
# Hadoop 的配置檔案目錄
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# YARN 的配置檔案目錄
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# SPARK 的目錄
export SPARK_HOME=/opt/soft/spark-2.1.1-bin-hadoop2.7
# SPARK 執行檔案目錄
export PATH=$SPARK_HOME/bin:$PATH
複製/opt/soft/spark-2.1.1-bin-hadoop2.7 到其它主機
scp -r /opt/soft/spark-2.1.1-bin-hadoop2.7/ hadoop2:/opt/soft
scp -r /opt/soft/spark-2.1.1-bin-hadoop2.7/ hadoop3:/opt/soft
將 /opt/soft/spark-2.1.1-bin-hadoop2.7/ 的許可權賦給hadoop使用者(三臺主機都要)
chown -R hadoop:cloud /opt/soft/spark-2.1.1-bin-hadoop2.7/
1.4.啟動hadoop叢集(hadoop使用者)
進入hadoop的目錄執行如下命令
./sbin/start-dfs.sh
./sbin/start-yarn.sh
可以看到hdfs和yarn的程式都已經啟動成功了。
2.執行SparkPi
進入/opt/soft/spark-2.1.1-bin-hadoop2.7/目錄下
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1G \
--num-executors 3 \
--executor-memory 1G \
--executor-cores 1 \
./examples/jars/spark-examples_2.11-2.1.1.jar 100
如果看到控制檯出現這個,說明執行成功。
我們可以根據圖中的tracking URL進入yarn的管理介面檢視執行日誌。
http://hadoop1:8088/proxy/application_1498145157994_0002/
執行結果如下:
Pi is roughly 3.1415423141542314
至此已經完成的Spark on Yarn 的環境搭建,並通過測試SparkPi的執行,說明我們的環境沒有問題了。
相關文章
- spark環境搭建Spark
- Spark開發-spark環境搭建Spark
- 搭建spark on yarn 叢集SparkYarn
- Spark學習進度-Spark環境搭建&Spark shellSpark
- Spark-2.3.0環境搭建安裝Spark
- HADOOP SPARK 叢集環境搭建HadoopSpark
- Spark開發-HA環境的搭建Spark
- Windows上搭建Standalone模式的Spark環境Windows模式Spark
- 搭建yarn(hadoop-2.2.0)環境詳細過程YarnHadoop
- Spark程式設計環境搭建及WordCount例項Spark程式設計
- Hadoop2.7.3+Hive2.1.1+Spark2.1.0環境搭建HadoopHiveSpark
- spark開發環境搭建intellij+Scala+sbtSpark開發環境IntelliJ
- IDEA使用Maven搭建spark開發環境(scala)IdeaMavenSpark開發環境
- Spark on Yarn 和Spark on MesosSparkYarn
- 12 Spark on YARNSparkYarn
- hive on spark on yarnHiveSparkYarn
- Hadoop 及Spark 分散式HA執行環境搭建HadoopSpark分散式
- Yarn生產環境核心引數Yarn
- Spark on Yarn 實踐SparkYarn
- Spark:Yarn-client與Yarn-clusterSparkYarnclient
- 環境搭建
- Yarn 生產環境多佇列配置Yarn佇列
- Spark2學習1之基本環境搭建(win)問題Spark
- 【實驗】Hadoop-2.7.2+zookeeper-3.4.6完全分散式環境搭建(HDFS、YARN HA)Hadoop分散式Yarn
- windows環境下Django環境搭建WindowsDjango
- spark 與 yarn 結合SparkYarn
- react環境搭建React
- LNMP 環境搭建LNMP
- 搭建Java環境Java
- Vagrant 環境搭建
- Flutter環境搭建Flutter
- swoft 環境搭建
- OpenGL 環境搭建
- 搭建gym環境
- 搭建lnmp環境LNMP
- Angular環境搭建Angular
- JDK環境搭建JDK
- keil環境搭建