Hive之 hive架構
Hive架構圖
主要分為以下幾個部分:
- 使用者介面,包括 命令列CLI,Client,Web介面WUI,JDBC/ODBC介面等
- 中介軟體:包括thrift介面和JDBC/ODBC的服務端,用於整合Hive和其他程式。
- 後設資料metadata儲存,通常是儲存在關聯式資料庫如 mysql, derby 中的系統引數
- 底層驅動:包括HiveQL直譯器、編譯器、優化器、執行器(引擎)。
- Hadoop:用 HDFS 進行儲存,利用 MapReduce 進行計算。
- 使用者介面主要有三個:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 啟動的時候,會同時啟動一個 Hive 副本。Client 是 Hive 的客戶端,使用者連線至 Hive Server。在啟動 Client 模式的時候,需要指出 Hive Server 所在節點,並且在該節點啟動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。
- Hive 將後設資料儲存在資料庫中,如 mysql、derby。Hive 中的後設資料包括表的名字,表的列和分割槽及其屬性,表的屬性(是否為外部表等),表的資料所在目錄等。
- 直譯器、編譯器、優化器完成 HQL 查詢語句從詞法分析、語法分析、編譯生成執行計劃、優化以及生成最佳執行計劃。生成的查詢計劃儲存在 HDFS 中,並在隨後有 MapReduce 呼叫執行。
- Hive 的資料儲存在 HDFS 中,大部分的查詢由 MapReduce 完成(包含 * 的查詢,比如 select * from tbl 不會生成 MapRedcue 任務)。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31383567/viewspace-2145125/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Hive架構Hive架構
- Flume和Hive整合之hive sinkHive
- Hive學習之Hive的安裝Hive
- Hive簡介、應用場景及架構原理Hive架構
- Hive --------- hive 的優化Hive優化
- [Hive]Hive排序優化Hive排序優化
- HIVE學習之(三)Hive
- 【Hive】hive資料遷移Hive
- HIVEHive
- Hive學習之基本操作Hive
- hive學習之四:hive檔案格式以及壓縮編碼Hive
- 23 大資料之hive(第四部 hive基礎)大資料Hive
- 【Hive一】Hive安裝及配置Hive
- Hive -------- hive常見查詢練習Hive
- HIVE基本語法以及HIVE分割槽Hive
- [Hive]Hive實現抽樣查詢Hive
- flink實戰--讀寫Hive(Flink on Hive)Hive
- hive匯出到csv hive匯出到excelHiveExcel
- Hive學習之JDBC訪問HiveJDBC
- Hive分桶之BUCKET詳解Hive
- spark with hiveSparkHive
- [hive]hive資料模型中四種表Hive模型
- [Hive]hive分割槽設定注意事項Hive
- Hive學習之常用互動命令Hive
- Hive學習之型別轉化Hive型別
- Hive之同比環比的計算Hive
- hive學習筆記之八:SqoopHive筆記OOP
- hive學習筆記之十一:UDTFHive筆記
- 【大資料開發】Hive——Hive函式大全大資料Hive函式
- hive on spark配置HiveSpark
- Hive學習Hive
- Hive 入門Hive
- Hive建立索引Hive索引
- hive 報錯Hive
- 初識HIVEHive
- Hive 常用操作Hive
- HBase vs HiveHive
- Hive shell 命令Hive
- hive去除空格Hive