Hive之 hive架構
Hive架構圖
主要分為以下幾個部分:
- 使用者介面,包括 命令列CLI,Client,Web介面WUI,JDBC/ODBC介面等
- 中介軟體:包括thrift介面和JDBC/ODBC的服務端,用於整合Hive和其他程式。
- 後設資料metadata儲存,通常是儲存在關聯式資料庫如 mysql, derby 中的系統引數
- 底層驅動:包括HiveQL直譯器、編譯器、最佳化器、執行器(引擎)。
- Hadoop:用 HDFS 進行儲存,利用 MapReduce 進行計算。
- 使用者介面主要有三個:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 啟動的時候,會同時啟動一個 Hive 副本。Client 是 Hive 的客戶端,使用者連線至 Hive Server。在啟動 Client 模式的時候,需要指出 Hive Server 所在節點,並且在該節點啟動 Hive Server。 WUI 是透過瀏覽器訪問 Hive。
- Hive 將後設資料儲存在資料庫中,如 mysql、derby。Hive 中的後設資料包括表的名字,表的列和分割槽及其屬性,表的屬性(是否為外部表等),表的資料所在目錄等。
- 直譯器、編譯器、最佳化器完成 HQL 查詢語句從詞法分析、語法分析、編譯生成執行計劃、最佳化以及生成最佳執行計劃。生成的查詢計劃儲存在 HDFS 中,並在隨後有 MapReduce 呼叫執行。
- Hive 的資料儲存在 HDFS 中,大部分的查詢由 MapReduce 完成(包含 * 的查詢,比如 select * from tbl 不會生成 MapRedcue 任務)。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31383567/viewspace-2145125/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Hive架構Hive架構
- Hive學習之六 《Hive進階— —hive jdbc》 詳解HiveJDBC
- 初識Hive:3張圖瞭解Hive的資料型別、架構圖!Hive資料型別架構
- Hive學習之Hive的安裝Hive
- Hive之 hive與hadoop的聯絡HiveHadoop
- HIVE隨手記——Hive命令(?$HIVE_HOME/bin/hive)Hive
- Hive之Hive快捷查詢(避免Mapruduce查詢)Hive
- Hive學習筆記 1 Hive體系結構Hive筆記
- Hive簡介、應用場景及架構原理Hive架構
- [Hive]Hive排序優化Hive排序優化
- Hive --------- hive 的優化Hive優化
- [hive] hive cli 命令列Hive命令列
- HIVE學習之(三)Hive
- Hive之儲存格式Hive
- hive之Error in metadataHiveError
- 【Hive】hive資料遷移Hive
- Hive篇--搭建Hive叢集Hive
- Hive篇---Hive使用優化Hive優化
- HIVE之 Sqoop 1.4.6 安裝、hive與oracle表互導HiveOOPOracle
- Hive學習之基本操作Hive
- Hive之 Hql語法解析Hive
- Hive之 資料儲存Hive
- Hive之 資料型別Hive資料型別
- 【Hive一】Hive安裝及配置Hive
- 23 大資料之hive(第四部 hive基礎)大資料Hive
- hive學習之四:hive檔案格式以及壓縮編碼Hive
- Hive學習之五 《Hive進階—UDF操作案例》 詳解Hive
- 使用 Hive 構建資料庫Hive資料庫
- [Hive]Hive實現抽樣查詢Hive
- Hive -------- hive常見查詢練習Hive
- HIVE基本語法以及HIVE分割槽Hive
- hive匯出到csv hive匯出到excelHiveExcel
- Hive的原理—— 深入淺出學HiveHive
- hive學習之一:認識hiveHive
- spark with hiveSparkHive
- hive partitionHive
- hive nullHiveNull
- Hive分桶之BUCKET詳解Hive