### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 關於hive
- Hive是種基於Hadoop的資料倉儲工具，將結構化的資料檔案對映為一張資料庫表，並提供類SQL查詢功能。
### 環境資訊
- 本文對應的環境資訊如下：
1. CentOS Linux release 7.5.1804
2. JDK：1.8.0_191
3. hadoop：2.7.7
4. hive：1.2.2

### hadoop的部署和啟動
- hadoop環境的部署和啟動請參考[《Linux部署hadoop2.7.7叢集》](https://blog.csdn.net/boling_cavalry/article/details/86774385)；
-  **注意：** 確保環境變數中有 **HADOOP_HOME** 的配置；

### 安裝和配置MySQL(5.7.27版本)
- MySQL用來儲存後設資料，我這裡為了簡化操作是在docker環境下部署的，一行命令即可：
```shell
docker run --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=888888 -idt mysql:5.7.27
```
- 進入mysql容器：
```shell
docker exec -it mysql /bin/bash
```
- 進入容器後連線mysql，密碼是 **888888** ：
```shell
mysql -h127.0.0.1 -uroot -p
```
- 新建名為 **hive** 的mysql賬號：
```sql
CREATE USER 'hive' IDENTIFIED BY '888888';
```
- 給hive賬號授權訪問（並且hvie賬號還有權給其他賬號授權）：
```shell
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
```
- 重新整理許可權資料：
```sql
flush privileges;
```
- 在宿主機的終端執行以下命令重啟mysql服務：
```shell
docker exec mysql service mysql restart
```
- 再次進入mysql容器，以hive賬號的身份登入mysql：
```shell
mysql -uhive -p
```
- 建立名為 **hive** 的資料庫：
```sql
CREATE DATABASE hive;
```
### 安裝hive
- 去hive官網下載，地址是：http://mirror.bit.edu.cn/apache/hive/ ，選擇合適的版本，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20191007155632411.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly94aW5jaGVuLmJsb2cuY3Nkbi5uZXQ=,size_16,color_FFFFFF,t_70)
 **注意** ：接下來的操作用的賬號都不是root，而是 **hadoop** 
- 在hadoop賬號的家目錄下解壓剛剛下載的 **apache-hive-1.2.2-bin.tar.gz** 檔案，是個名為 **apache-hive-1.2.2-bin** 的目錄；
- 編輯hadoop賬號的 **.bash_profile** 檔案，增加一個環境變數，就是將剛剛解壓出來的 **apache-hive-1.2.2-bin** 資料夾的完整路徑：
```properties
export HIVE_HOME=/home/hadoop/apache-hive-1.2.2-bin
```
- 修改完畢後，重新開啟一個ssh連線，或者執行 **source ~/.bash_profile** 讓環境變數立即生效；
- 進入目錄 **apache-hive-1.2.2-bin/conf/** ，用模板檔案複製一份配置檔案：
```shell
cp hive-default.xml.template hive-default.xml
```
- 在此目錄建立名為 **hive-site.xml** 的檔案，內容如下：
```xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?="">
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>888888</value>
  </property>
</configuration>
```
- 將mysql的JDBC包放在此目錄： **/home/hadoop/apache-hive-1.2.2-bin/lib/** ，我這裡用的是 **mysql-connector-java-5.1.47.jar** ，您可以在此下載：https://download.csdn.net/download/boling_cavalry/11834367

- 初始化和啟動已經完成，接下來驗證hive；
### 驗證
- 前面執行 **./hive** 之後，已進入了對話模式，輸入以下命令建立名為 **test001** 的資料庫：
```shell
CREATE database test001;
```
- 選擇該資料庫：
```shell
use test001;
```
- 建立一個名為test_table的表：
```sql
create table test_table(
id  INT,
word  STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY  '\t'
STORED AS TEXTFILE;
```
- 新建一個ssh連線，建立名為 **hive_test.txt** 的文字檔案，內容如下：
```shell
1	aaa
2	bbb
3	ccc
4	ddd
5	eee
6	fff
```
- 回到和hive對話模式的控制檯，輸入以下命令，將上述文字檔案的內容匯入到test001.test_table表中：
```shell
LOAD DATA LOCAL INPATH '/home/hadoop/hive_test.txt' INTO TABLE test001.test_table;
```
控制檯提示如下：
```shell
hive> LOAD DATA LOCAL INPATH '/home/hadoop/hive_test.txt' INTO TABLE test001.test_table;
Loading data to table test001.test_table
Table test001.test_table stats: [numFiles=1, totalSize=36]
OK
Time taken: 0.264 seconds
```
- 執行select操作，可以看到資料已經全部入庫：
```sql
hive> select * from test_table;
OK
1	aaa
2	bbb
3	ccc
4	ddd
5	eee
6	fff
Time taken: 0.453 seconds, Fetched: 6 row(s)
```
- 執行group by查詢：
```shell
select word,count(word) from test_table GROUP BY word;
```
- 此時會啟動一個job來完成上述查詢，控制檯輸出如下：
```shell
hive> select word,count(word) from test_table GROUP BY word;
Query ID = hadoop_20191007190528_3bd50401-267b-4d75-8b08-17ead5f0d790
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Starting Job = job_1570427946161_0002, Tracking URL = http://node0:8088/proxy/application_1570427946161_0002/
Kill Command = /home/hadoop/hadoop-2.7.7/bin/hadoop job  -kill job_1570427946161_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2019-10-07 19:05:34,812 Stage-1 map = 0%,  reduce = 0%
2019-10-07 19:05:39,991 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.29 sec
2019-10-07 19:05:46,201 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 3.23 sec
MapReduce Total cumulative CPU time: 3 seconds 230 msec
Ended Job = job_1570427946161_0002
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 3.23 sec   HDFS Read: 7000 HDFS Write: 36 SUCCESS
Total MapReduce CPU Time Spent: 3 seconds 230 msec
OK
aaa	1
bbb	1
ccc	1
ddd	1
eee	1
fff	1
Time taken: 18.614 seconds, Fetched: 6 row(s)
```
- 至此，hive的安裝和體驗實戰就完成了，希望本文能給一起學習hive的讀者們一些參考。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)</number></number></number></?xml-stylesheet>

安裝和體驗hive

相關文章