### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 本文是《CDH+Kylin三部曲》系列的終篇，先簡單回顧前面的內容：
1. [《CDH+Kylin三部曲之一：準備工作》](https://blog.csdn.net/boling_cavalry/article/details/105449630)：準備好機器、指令碼、安裝包；
2. [《CDH+Kylin三部曲之二：部署和設定》](https://blog.csdn.net/boling_cavalry/article/details/105449952)：完成CDH和Kylin部署，並在管理頁面做好相關的設定；

- 現在Hadoop、Kylin都就緒了，接下來實踐Kylin的官方demo；
### Yarn引數設定
- Yarn的記憶體引數設定之後一定要重啟Yarn使之生效，否則Kylin提交的任務是會由於資源限制而無法執行；
### 關於Kylin官方demo
- 下圖是官方demo的指令碼的一部分(create_sample_tables.sql)，基於HDFS資料建立Hive表：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141213896.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 透過指令碼可見 **KYLIN_SALES** 為事實表，其他是維度表，並且KYLIN_ACCOUNT和KYLIN_COUNTRY存在關聯，因此維度模型符合Snowflake Schema；
### 匯入樣例資料
- SSH登入CDH伺服器
- 切換到hdfs賬號： **su - hdfs**
- 執行匯入命令： **${KYLIN_HOME}/bin/sample.sh**
- 匯入成功，控制檯輸出如下：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141319974.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 檢查資料
- 檢查資料，執行 **beeline** 進入會話模式(hive官方推薦用 **beeline** 取代Hive CLI)：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141416347.png)
- 在beeline會話模式輸入連結URL： **!connect jdbc:hive2://localhost:10000** ，按照提示輸入賬號 **hdfs** ，密碼直接回車：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141457592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 用命令 **show tables** 檢視當前的hive表，已建好：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141515814.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 查出訂單的最早和最晚時間，後面構建Cube的時候會用到，執行SQL： **select min(PART_DT), max(PART_DT) from kylin_sales;**  ，可見最早 **2012-01-01** ，最晚 **2014-01-01** ，整個查詢耗時 **18.87秒** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141600766.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 構建Cube：
- 資料準備完成，可以構建Kylin Cube了：

- 登入Kylin網頁：http://192.168.50.134:7070/kylin
- 載入Meta資料，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141632550.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 如下圖紅框所示，資料載入成功：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141644243.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在Model頁面可以看到事實表和維度表，如下圖的操作可以建立一個MapReduce任務，計算維度表KYLIN_ACCOUNT每個列的基數(Cardinality)：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141706964.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 去Yarn頁面(CDH伺服器的8088埠)，如下圖，可見有個MapReduce型別的任務正在執行中：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141722247.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 上述任務很快就能完成(10多秒)，此時重新整理Kylin頁面，可見 **KYLIN_ACCOUNT** 表的Cardinality資料已經計算完成了（hive查詢得到ACCOUNT_ID數量是10000，但下圖的Cardinality值為10420，Kylin對Cardinality的計算採用的是HyperLogLog的近似演算法，與精確值有誤差，其他四個欄位的Cardinality與Hive查詢結果一致）：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141742632.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 接下來開始構建Cube：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141752908.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 日期範圍，剛才Hive查詢結果是 **2012-01-01** 到 **2014-01-01** ，注意截止日期要超過2014-01-01：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141815347.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在Monitor頁面可見進度：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141824443.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 去Yarn頁面(CDH伺服器的8088埠)，可以看到對應的任務和資源使用情況：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141841195.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- build完成後，會出現ready圖示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141854134.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 查詢
- 先嚐試查詢交易的最早和最晚時間，這個查詢在Hive上執行的耗時是 **18.87秒** ，如下圖，結果一致，耗時 **0.14秒** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411141926505.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 下面這個SQL是Kylin官方示例用來對比響應時間的，對訂單按日期聚合，再按日期排序，然後接下來分別用Kylin和Hive查詢：

```shell
select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;
```

- Kylin查詢耗時 **0.13秒** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020041114205154.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- Hive查詢，結果相同，耗時 **40.196秒** ：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411142110376.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 最後來看下資源使用情況，Cube構建過程中，18G記憶體被使用：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411142121868.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 至此，CDH+Kylin從部署到體驗就已完成，《CDH+Kylin三部曲》系列也結束了，如果您正在學習Kylin，希望本文能夠給您一些參考。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

CDH+Kylin三部曲之三：Kylin官方demo

相關文章