搭建spark on yarn 叢集

兩臺用的都是ubuntu

IP	主機名
192.168.22.137	spark-master
192.168.22.150	spark-slave1

更改主機名

確定每個節點的主機名與它在叢集中所處的位置相同
如果不同，需要修改vi /etc/hostname
重啟生效

可能需要些安裝某些工具包

• 更換sources源

vi /etc/apt/sources.list

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse

• apt install net-tools

• apt-get install iputils-ping

修改各主機的hosts檔案

vi /etc/hosts
新增以下內容

192.168.22.137 spark-master
192.168.22.150 spark-slave1

SSH免密登入

我看了網上別人的說只需要安裝server，但是我沒有成功，我安裝了server和client才行

apt-get install openssh-client
apt-get install openssh-server

# 啟動ssh服務
etc/init.d/ssh start

*關於ssh服務可以參照這個連結
http://linux.it.net.cn/e/server/ssh/2015/0501/14838.html*

緊接著就是配置各主機的免密登入

• 所有的主機都需要生成私鑰和公鑰(直接回車)

ssh-keygen -t rsa

• 將所有主機的~/.ssh/id_rsa.pub都要放在master節點的~/.ssh/目錄下(最好更改用以區分)

我使用的lrzsz工具(有點笨)。之後再主機執行

你也可以使用scp ~/.ssh/id_rsa.pub root@<hostname|ip>:~/.ssh/id_rsa.pub.slave1

• 將所有公鑰加到用於認證的公鑰檔案authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

此時~/.ssh/再將~/.ssh/authorized_keys拷貝其他節點，到此個主機就完成了免密登入

驗證一下:

ssh spark-master
ssh spark-slave1

如果出現如下，就說明你成功了

所需環境配置

準備軟體

用的版本不是最新的，看個人需要，但要保證各軟體的版本要互相支援

.
├── hadoop-2.6.5.tar.gz
├── jdk-8u171-linux-x64.tar.gz
├── scala-2.10.4.tgz
└── spark-1.6.3-bin-hadoop2.6.tgz

可直接去各大官網下載，如果你想省事，直接從網盤裡下載也行

https://pan.baidu.com/s/1vSu-6OTMvkROCBsiJwbMWQ

統一配置環境

我將所有的軟體放在/spark/software/目錄下、解壓與修改檔名，然後統一配置環境變數

vi /etv/profile

假如如下內容

export JAVA_HOME=/spark/software/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export SCALA_HOME=/spark/software/scala
export PATH=$PATH:$SCALA_HOME/bin

export HADOOP_HOME=/spark/software/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_HOME=/spark/software/hadoop
export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop

然後執行source /etc/profile 另其生效
然後測試，出現如下說明成功了

當然你也可以吧hadoop和spark假如path中，這樣就可以隨時使用hdfs和spark-submit命令了

其他主機做同樣的操作

提示：各主機最好都統一路徑，這樣修改一個檔案，然後將檔案直接遠端拷貝到其他主機上就行了

HADOOP配置

在/spark/software/hadoop/etc/hadoop目錄下需要配置以下幾個檔案：

hadoop-env.sh，
yarn-env.sh，
slaves，
core-site.xml，
hdfs-site.xml，
maprd-site.xml，
yarn-site.xml

hadoop-env.sh

export JAVA_HOME=/spark/software/java

yarn-env.sh

export JAVA_HOME=/spark/software/java

slaves

spark-slave1

(這裡我只新增了一個slave，你也可以把master加上去)

core-site.xml

新增如下：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://spark-master:9000/</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/spark/software/hadoop/tmp</value>
</property>

hdfs-site.xml

新增如下：

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>spark-master:9001</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/spark/software/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/spark/software/hadoop/dfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

maprd-site.xml

新增如下

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- 下面的視情況而配置你可以先只配置上面的即可 -->
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1536</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx1024M</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx1024M</value>
</property>

yarn-site.xml

新增如下

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>spark-master:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>spark-master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>spark-master:8035</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>spark-master:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>spark-master:8088</value>
</property>
<!-- 下面是情況而定 具體可以參考這裡 http://blog.javachen.com/2015/06/05/yarn-memory-and-cpu-configuration.html-->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2000</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2000</value>
</property>

以上配置完畢之後，要同步到其他主機上,因為配置了免密，可以這樣操作

scp /spark/software/hadoop/etc/hadoop/ root@spark-slave1:/spark/software/hadoop/etc/hadoop/

HADOOP啟動

進入/spark/software/hadoop目錄下
- 格式化namenode
bin/hfds namenode -format

當出現“successful”的字樣，就說明成功了

• 啟動dfs
  sbin/start-dfs.sh

• 啟動yarn
  sbin/start-yarn.sh

接下來驗證，spark-master 執行jps，有以下幾個程式

27570 SecondaryNameNode
27720 ResourceManager
27356 NameNode
32476 Jps

每個slave上應該有以下幾個程式

18324 DataNode
18489 NodeManager
21055 Jps

可以在任意一臺主機上的瀏覽器輸入

http://spark-master:8088/cluster/nodes     yarn管理介面
http://spark-master:50070                  hdfs頁面

spark 環境

在/spark/software/spark/conf目錄下修改spark-env.sh(需先拷貝spark-env.sh.template)檔案

export SCALA_HOME=spark/software/scala
export JAVA_HOME=/spark/software/java
export HADOOP_HOME=/spark/software/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=spark-master
SPARK_LOCAL_DIRS=/spark/software/spark
SPARK_DRIVER_MEMORY=1G

同樣在slaves檔案中新增子節點

spark-slave1

同樣將這兩個檔案傳送到其他主機對應位置

然後在/spark/software/spark目錄下執行

sbin/start-all.sh

瀏覽器輸入

http://spark-master:8080/

到此就搭建好了

執行

spark提供了很多例子，我們直接執行即可

# 本地執行
bin/spark-submit examples/src/main/python/pi.py 10 --master local[4]

# Spark Standalone 叢集模式執行
bin/spark-submit examples/src/main/python/pi.py 10 --master spark://spark-master:7077

# Spark on YARN 叢集上 yarn-cluster 模式執行
bin/spark-submit \
    --class com.spark.WordCount \
    --master yarn-client \
    --driver-memory 1g \
    --executor-cores 1 \
    simple/word-count-1.0-SNAPSHOT.jar # 自己寫的單詞統計，檔案放在了hdfs上

這裡注意spark記憶體使用的配置

遇到的問題

Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

暫時未解決

叢集配置參考

• http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/
• https://www.jianshu.com/p/aa6f3a366727

可能用到的連結

• http://www.cnblogs.com/zlslch/p/6683814.html