# Hive on Spark 和 Spark sql on Hive，你能分的清楚麼

結構上 Hive On Spark 和 SparkSQL 都是一個翻譯層，把一個 SQL 翻譯成分散式可執行的 Spark 程式。Hive 和 SparkSQL 都不負責計算。Hive 的預設執行引擎是 mr，還可以執行在 Spark 和 Tez。Spark 可以連線多種資料來源，然後使用 SparkSQL 來執行分散式計算。

## **Hive On Spark 配置**

（1）首先安裝包要選擇對，否則就沒有開始了。

Hive 版本:apache-hive-2.1.1-bin.tar

spark 版本:spark-1.6.3-bin-hadoop2.4-without-hive (不需要把 Hive 編譯進去)

（2）假設你已經安裝好 Hive（後設資料為 Derby）和 spark，那麼預設 Hive 走 mr，需要修改以下配置讓 Hive 走 spark

```text
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>
```

（3）配置環境變數及執行時引數

在 hive-site.xml 中配置 SPARK_HOME；

在 hive-site.xml 或者或者 spark-default.conf 或者 spark-env.conf 配置 spark 執行時引數，也可以在 Hive 執行環境中設定臨時引數：

```text
set spark.master=<spark master="" url="">
set spark.eventLog.enabled=true;
set spark.eventLog.dir=<spark event="" log="" folder="" exist="">
set spark.executor.memory=512m;            
set spark.serializer=org.apache.spark.serializer.KryoSerializer;
```

將編譯好的 Spark 安裝包中 lib 目錄下的 spark-assembly-*.jar 包新增至 HIVE_HOME/lib 中

（4）啟動 Hive

```text
/opt/hive/bin/hive --service metastore
```

（5）啟動 Hive 命令列視窗

```text
beeline -u jdbc:hive2://localhost:10000  或者  /opt/hive/bin/hive
```

（6）開啟你的 Hive on spark 之旅

```text
0: jdbc:hive2://localhost:10000> create table test (f1 string,f2 string) stored as orc;

No rows affected (2.018 seconds)

0: jdbc:hive2://localhost:10000> insert into test values(1,2);
```

## **Spark sql on Hive**

（1）獲取包

Hive 版本:apache-hive-2.1.1-bin.tar

spark 版本:spark-1.6.3-bin-hadoop2.4 (需要把 Hive 編譯進去)

（2）在 $SPARK_HOME/conf 目錄建立 hive-site.xml 檔案，內容如下：

```text
<configuration>  
<property>  
    <name>hive.metastore.uris</name>  
    <value>thrift://master1:9083</value>  
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>  
  </property>  
</configuration>
```

（3）如果你使用的後設資料庫是 mysql, 那麼請把 mysql 驅動放到 $SPARK_HOME/lib 下，否則跳過。

（4）啟動 Hive 後設資料服務，待 spark 執行時訪問。

（5）執行命令

```text
./bin/spark-shell --master spark://master:7077
scala> val hc = new org.apache.spark.sql.hive.HiveContext(sc);
scala> hc.sql("show tables").collect.foreach(println)
[sougou,false]
[t1,false]
```

## **Sparkthriftserver 啟**用

spark 提供了 spark-sql 命令可以直接操作 hive 或 impala，可以啟用 sparkthriftserver 服務，然後利用 beeline 遠端連線 spark，利用 spark sql。sparksql 的誕生其實就是為了代替 hsql。Sparksql 的後設資料也是使用 hive 的 metastore 進行管理，所以需要配置 hive.metastore.uris 引數(以上環境博主都是部署在[cnaaa伺服器](https://www.cnaaa.com/)上的，感興趣的朋友可以自己部署一套環境練習下)

這裡說下 sparkthriftserver 和 hivethriftserver 的區別，二者的埠一定要區分：

hivethriftserver：hive 服務端的服務，遠端透過 jdbc 或者 beeline 連線，使用 hsql 操作 hive。

sparkthriftserver：spark 的服務，遠端透過 jdbc 或者 beeline 連線 spark，使用 spark sql 操作 hive。

（1）在 $SPARK_HOME/conf 目錄建立 hive-site.xml 檔案，內容如下：

```text
<configuration>  
<property>  
    <name>hive.metastore.uris</name>  
    <value>thrift://master1:9083</value>  
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>  
  </property>  

   <property>
       <name>hive.server2.thrift.min.worker.threads</name>
       <value>5</value>
   </property>
   <property>
       <name>hive.server2.thrift.max.worker.threads</name>
       <value>500</value>
   </property>
   <property>
       <name>hive.server2.thrift.port</name>
       <value>10001</value>
   </property>
   <property>
       <name>hive.server2.thrift.bind.host</name>
       <value>master</value>
   </property>
</configuration>  
```

（2）啟動 sparkthriftserver

```text
./start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --master yarn --driver-class-path /data/spark-2.2.0-bin-hadoop2.7/jars/mysql-connector-java-5.1.43-bin.jar --executor-memory 5g --total-executor-cores 5
```

啟動 sparkthriftserver 後，後臺預設會執行 spark-sql 命令，實際上是用 spark-submit 向 yarn 提交一個任務。這樣就會在 yarn 的 8088 頁面工作列中起一個常駐任務，用來執行 spark sql。

（3）連線 spark

```text
./beeline -u jdbc:hive2://172.168.108.6:10001 -n root
```

（4）這裡的 sql 可以在 8088 頁面看到執行過程。</spark></spark>

Hive on Spark 和 Spark sql on Hive，你能分的清楚麼

相關文章