### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 一起來實戰部署spark2.2叢集(standalone模式)

### 版本資訊
1. 作業系統 CentOS 7.5.1804
2. JDK：1.8.0_191
3. scala：2.12.8
4. spark：2.3.2

### 機器資訊
- 本次實戰用到了三臺機器，相關資訊如下：

| IP 地址 | 主機名 | 身份 |
|--|--|--|
| 192.168.150.130 | master | spark的master節點 |
| 192.168.150.131 | slave1 | spark的一號工作節點 |
| 192.168.150.132 | slave2 | spark的二號工作節點 |

- 接下來開始實戰；

### 關閉防火牆
- 執行以下命令永久關閉防火牆服務：

```shell
systemctl stop firewalld.service && systemctl disable firewalld.service
```

### 設定hostname（三臺電腦都做）
- 修改/etc/hostname檔案，將幾臺電腦的主機名分別修改為前面設定的master、slave0等；

### 設定/etc/hosts檔案（三臺電腦都做）
- 在/etc/hosts檔案尾部追加以下三行內容，三臺電腦追加的內容一模一樣，都是下面這些：

```shell
master 192.168.150.130
slave1 192.168.150.131
slave2 192.168.150.132
```

### 建立使用者（三臺電腦都做）

- 建立使用者和使用者組，並指定home目錄的位置：

```shell
groupadd spark && useradd -d /home/spark -g spark -m spark
```
- 設定spark使用者的密碼：

```shell
passwd spark
```

- 以spark賬號的身份登入；

### 檔案下載和解壓（三臺電腦都做）
- 分別去java、scala的官網下載以下兩個檔案：

```shell
jdk-8u191-linux-x64.tar.gz  scala-2.12.8.tgz
```

- 上述兩個檔案下載到目錄/home/spark下，依次解壓後，/home/spark下的內容如下所示：

```shell
[spark@localhost ~]$ ll
總用量 427836
drwxr-xr-x.  7 spark spark       245 10月  6 20:55 jdk1.8.0_191
-rw-r--r--.  1 spark spark 191753373 2月   2 08:49 jdk-8u191-linux-x64.tar.gz
drwxrwxr-x.  6 spark spark        50 12月  4 18:25 scala-2.12.8
-rw-r--r--.  1 spark spark  20467943 2月   2 08:49 scala-2.12.8.tgz
```

- 修改/home/spark資料夾下的.bash_profile檔案，在尾部增加以下內容（spark相關的是後面會用到的，這裡把配置先寫上）：

```shell
export JAVA_HOME=/home/spark/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export SCALA_HOME=/home/spark/scala-2.12.8
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_HOME=/home/spark/spark-2.3.2-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
```

- 執行以下命令，使得.bash_profile的修改生效：

```shell
source .bash_profile
```

- 分別執行**java -version**和**scala -version**命令，檢查上述設定是否生效：

```shell
[spark@localhost ~]$ java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
[spark@localhost ~]$ scala -version
Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.
```

### spark的設定(只在master機器操作)

- 登入master機器：
- 去spark的官網下載檔案**spark-2.3.2-bin-hadoop2.7.tgz**，下載到目錄/home/spark下，在此解壓；
- 進入目錄/home/spark/spark-2.3.2-bin-hadoop2.7/conf；
- 執行以下命令，將"spark-env.sh.template"更名為"spark-env.sh"：

```shell
mv spark-env.sh.template spark-env.sh
```

- 開啟檔案**spark-env.sh**，在尾部增加以下內容：

```shell
export SPARK_MASTER_IP=node0
export SPARK_MASTER_PORT=7077
export SPARK_EXECUTOR_INSTANCES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=256M
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_CONF_DIR=/home/spark/spark-2.3.2-bin-hadoop2.7/conf
export JAVA_HOME=/home/spark/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
```

- 進入目錄/home/spark/spark-2.3.2-bin-hadoop2.7/conf，執行以下命令，將slaves.template更名為slaves：

```shell
mv slaves.template slaves
```

- 開啟檔案**slaves**，將尾部的**localhost**刪除，再增加以下內容：

```shell
slave1
slave2
```
- 以上就是所有設定，接下來要將spark資料夾同步到其他機器上

### 將spark資料夾同步到其他機器
- 在master機器執行以下命令，即可將整個spark資料夾同步到slave1：

```shell
scp -r ~/spark-2.3.2-bin-hadoop2.7 spark@slave1:~
```

- 期間會要求輸入slave1的密碼，輸入密碼後即可開始同步；
- 在master機器執行以下命令，即可將整個spark資料夾同步到slave2：

```shell
scp -r ~/spark-2.3.2-bin-hadoop2.7 spark@slave2:~
```
- 期間會要求輸入slave2的密碼，輸入密碼後即可開始同步；

### 啟動spark
- 以spark賬號登入master機器，執行以下命令即可啟動spark叢集：

```shell
/home/spark/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh
```

- 啟動過程中，會要求輸入slave1、slave2的密碼，輸入即可；
- 為了避免每次啟動和停止都要輸入slave1和slave2的密碼，建議將三臺機器配置ssh免密碼登入，請參考《Docker下，實現多臺機器之間相互SSH免密碼登入》
- 啟動成功後，可以透過瀏覽器檢視啟動情況，如下圖，地址是：http://192.168.150.130:8080/

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190204095621653.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 至此，spark叢集部署成功，接下來的章節，我們會一起進行更多的spark實戰；

### 歡迎關注InfoQ：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](https://www.infoq.cn/profile/42B106DFEF790F/publish)

部署spark2.2叢集(standalone模式)

相關文章