Hive:應用設計
理解Hive
① Hive類似於HDFS客戶端,Hive所有表資料均存放在HDFS中,後設資料資訊存放於Mysql。Hive表結構設計,實際設計的是對HDFS資料的訪問方式,或者資料組織方式。對Hive表資料的操作最終以MapReduce任務的形式提交到叢集,並返回任務執行的結果。
② Hive作為架構於HDFS之上的資料操作框架,其分散式特性來自於HDFS和MapReduce而並非自身,因此,Hive以單機形式執行於叢集即可(叢集外亦可)。通過在hive-env.sh中設定HADOOP_HOME,即可將Hive繫結到指定的HDFS叢集。
③ Hive對錶資料執行的計算工作交由MapReduce實際執行,從而使得Hive對資料的操作具有一定的延遲。因此,Hive的核心在於將簡單的類SQL語句轉化為MapReduce任務對HDFS中的資料進行操作。
④ Hive on spark將計算引擎修改為spark,能夠提高對批量資料的執行效率。但其應用場景不變,仍適用的是對儲存於HDFS中的海量歷史資料進行離線分析處理。
⑤ Hive自身的所有特性,均表達的是對HDFS中資料操作的解構,簡單來說是一個操作HDFS資料的工具。利用Hive提供給熟悉SQL語言但陌生於java MapReduce程式設計的人員以方便的介面進行HDFS資料訪問和操作。
Hive適用場景
由Hive的設計初衷,Hive提供對HDFS資料的便捷訪問和操作。同時Hive以表的形式組織HDFS資料,使得對資料的訪問和操作粒度更小,操作更便捷,而非由繁瑣的程式設計實現。因此,如果需要對HDFS中的資料完成一些簡單的操作(具體見Hive操作部分)且不用編寫複雜的Java程式碼,或者需要提供給外部人員對HDFS資料訪問的介面,Hive是合適的選項。
原文參考:https://blog.csdn.net/regan_hoo/article/details/78672118
相關文章
- hive應用例項1Hive
- Hive 高階程式設計——深入淺出學HiveHive程式設計
- 畢業設計應用
- PDM應用模組設計
- 設計複合應用程式:元件設計元件
- 設計複合應用程式:設計模式設計模式
- Hive 高階應用開發示例(一)Hive
- javascript設計模式與應用JavaScript設計模式
- 設計模式應用舉例設計模式
- IPSec應用方案設計
- Hive學習之三 《Hive的表的詳解和應用案例詳解》Hive
- SaaS架構:應用服務、應用結構設計架構
- Hbase和Hive的特點,和應用場景Hive
- Hive簡介、應用場景及架構原理Hive架構
- Hive 分析函式lead、lag例項應用Hive函式
- framebuffer應用程式設計實踐程式設計
- [譯] 設計大型 JavaScript 應用程式JavaScript
- 應用架構圖的設計應用架構
- API介面:原理、設計與應用API
- Java 超程式設計及其應用Java程式設計
- React應用架構設計指南React應用架構
- 求助:關於應用設計模式設計模式
- 對設計模式應用的疑惑設計模式
- ADO程式設計應用 (轉)程式設計
- hive後設資料和mysql表的對應HiveMySql
- 基於Hive進行數倉建設的資源後設資料資訊統計:Hive篇Hive
- hive時間日期函式及典型場景應用Hive函式
- [Hive]hive分割槽設定注意事項Hive
- 一文搞懂SaaS應用架構:應用服務、應用結構、應用互動設計應用架構
- Java程式設計——伺服器設計方案之應用限流Java程式設計伺服器
- Linkedlist的應用場景:設計佇列、設計棧佇列
- 八、【spring】web應用安全設計SpringWeb
- 遊戲設計裡的那些色彩應用遊戲設計
- 設計模式 | 策略模式及典型應用設計模式
- Web應用的快取設計模式Web快取設計模式
- spring AOP 程式設計式應用Spring程式設計
- React 應用設計之道 - curry 化妙用React
- 移動應用中的流設計