### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 環境資訊
1. 作業系統：macOS Mojave 10.14.6
2. JDK：1.8.0_211 (安裝位置：/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home)
### 前提條件
- 請參考[《Mac部署hadoop3(偽分散式)》](https://blog.csdn.net/boling_cavalry/article/details/102538585)一文，在Mac上事先部署好hadoop3
### 部署步驟
- 安裝scala：
```shell
brew install scala
```
- 配置scala的環境變數，開啟檔案 **~/.bash_profile** ，增加以下配置內容：
```shell
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export PATH=$PATH:$SCALA_HOME/bin
```
- 執行命令 **source ~/.bash_profile** ，再驗證scala：
```shell
base) zhaoqindeMBP:~ zhaoqin$ scala -version
Scala code runner version 2.13.0 -- Copyright 2002-2019, LAMP/EPFL and Lightbend, Inc.
```
- 下載spark，地址是：http://spark.apache.org/downloads.html ，如下圖紅框：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20191027132145286.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)
- 將下載的檔案在 **/usr/local/** 目錄下解壓，並將資料夾名字從 **spark-2.4.4-bin-hadoop2.7** 改為 **spark**
- 配置spark的環境變數，開啟檔案 **~/.bash_profile** ，增加以下配置內容：
```shell
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
```
- 執行命令 **source ~/.bash_profile** 使配置生效；
- 開啟檔案 **spark/conf/spark-env.sh** ，在尾部增加以下三行：
```shell
export SCALA_HOME=/usr/local/Cellar/scala/2.13.0
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=2G
```
- 確保hdfs和yarn已經啟動，然後執行命令 **spark-shell** ，即可啟動spark服務：
```shell
To update your account to use zsh, please run `chsh -s /bin/zsh`.
For more details, please visit https://support.apple.com/kb/HT208050.
(base) zhaoqindeMBP:~ zhaoqin$ spark-shell
19/10/27 13:33:51 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://zhaoqindembp:4040
Spark context available as 'sc' (master = local[*], app id = local-1572154437623).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information.

scala>
```
- 至此，Mac機器上的hadoop和spark都執行起來了，希望本文能給您帶來一些參考。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

Mac部署spark2.4.4

相關文章