Kylin 3.1.0架構
Kylin 3.1.0架構
背景
- 在OLAP分析中經常會有如下概念
事實,維度(這其實說的是事實表和維度表)
度量,指標(這說的其實都是指表的列,維度就是從哪些角度對資料做分析,需要分析檢視的維度就是度量)
cube,顧名思義,就是一個立方體,不過由於實際OLAP中,不可能只有四個維度,所以實際上是指代多維立方體。本質就是一個多維資料集,包含維度和度量。
詳情可以看我關於OLAP的一篇部落格
下鑽:從更細粒度的維度值角度探索資料(如時間維度,按天粒度查詢銷售額)
上卷:從更粗粒度的維度值角度探索資料(如時間維度,按季粒度查詢銷售額)
切片:查詢某個維度等於某個指定值時的資料子集
切塊:查詢某個維度等於某幾個指定值時的資料子集
旋轉:變換維度展現順序
kylin 架構
- kylin本質並不會儲存資料,也不會計算資料,但kylin整合了資料分析引擎,整合了hbase做資料儲存。
- 架構
- 從上述架構可以看出
- kylin可以對外提供資料服務,可以rest api,也可以通過JDBC做資料訪問
- query engine則是做sql解析
- routing,這是路由層。如果是低延遲路徑,直接去cube取結果;中延遲路徑則去mapreduce.
這一層其實是因為kylin無法應對所有的資料計算任務,這時候就需要根據需求將資料提取任務分發到不同的地方。如果可以從現成資料中拿,則將資料提取動作分發到hbase去拿,如果無法計算,則需要使用mapreduce計算。
4.metadata,這一層是kylin自身的後設資料管理模組,因為計算結果都是儲存在hbase,為了能夠將模型跟hbase中資料關聯在一起,方便快速查詢,這時候就需要對後設資料做管理。- Cube Build Engine:cube構建引擎
相關文章
- Apache Kylin 入門 5 – 構建 CubeApache
- Apache Kylin 入門 4 - 構建 ModelApache
- Apache Kylin 入門 4 – 構建 ModelApache
- Apache Kylin 入門 5 - 構建 CubeApache
- Apache Kylin 入門 2 - 原理與架構Apache架構
- Apache Kylin1.5.2.1之訂單案例詳細構建流程Apache
- 【kylin】Failed to build cubeAIUI
- Hadoop - Kylin On OLAPHadoop
- 基於 ELKB 構建 Kylin 查詢時間監控頁面
- Kylin安裝與使用
- 安裝kylin遇到的問題
- 使用AWK規整KyLin日誌
- ubuntu kylin下寬頻撥號Ubuntu
- KIP-5:Apache Kylin深度整合HudiApache
- Apache Kylin 入門 6 - 優化 CubeApache優化
- Apache Kylin 入門 1 - 基本概念Apache
- 小米Kylin平滑遷移HBase實踐
- Kylin系統檢視firewalld狀態
- presto、druid、sparkSQL、kylin的對比分析,如效能、架構等,有什麼異同?RESTUISparkSQL架構
- kylin_異常_01_java.io.FileNotFoundException:/developer/apache-kylin-2.3.0-bin/tomcat/conf/.keystoreJavaExceptionDeveloperApacheTomcat
- 在KYLIN中執行查詢報錯
- Apache Kylin 入門 3 - 安裝與配置Apache
- 使用AWK規整KyLin日誌改進
- 記 Kylin 麒麟系統安全中心攔截導致 dotnet sdk 找不到 OpenSsl 構建失敗
- Kylin儲存和查詢的分片問題
- 國人之光:大資料分析神器Apache Kylin大資料Apache
- 去除UOS、KYLIN作業系統啟用提示作業系統
- kylin streaming原理介紹與特點淺析
- 新手入門必備:kylin安裝教程介紹!
- 實踐 | Kylin在滴滴OLAP引擎中的應用
- OLAP系統解析:Apache Kylin和Baidu Palo哪家強?ApacheAI
- hadoop基礎學習三十七(kylin的安裝)Hadoop
- 什麼是麒麟(kylin)?查資料賊快的喲
- 優麒麟Ubuntu Kylin 20.04 Pro SP1 上線Ubuntu
- CDH+Kylin三部曲之一:準備工作
- 在Ubuntu / Ubuntu Kylin下安裝和解除安裝 NodepadqqUbuntu
- CDH+Kylin三部曲之二:部署和設定
- 鯤鵬(ARM64)+麒麟(Kylin v10)離線部署 KubeSphere