Hive:應用設計
理解Hive
① Hive類似於HDFS客戶端,Hive所有表資料均存放在HDFS中,後設資料資訊存放於Mysql。Hive表結構設計,實際設計的是對HDFS資料的訪問方式,或者資料組織方式。對Hive表資料的操作最終以MapReduce任務的形式提交到叢集,並返回任務執行的結果。
② Hive作為架構於HDFS之上的資料操作框架,其分散式特性來自於HDFS和MapReduce而並非自身,因此,Hive以單機形式執行於叢集即可(叢集外亦可)。通過在hive-env.sh中設定HADOOP_HOME,即可將Hive繫結到指定的HDFS叢集。
③ Hive對錶資料執行的計算工作交由MapReduce實際執行,從而使得Hive對資料的操作具有一定的延遲。因此,Hive的核心在於將簡單的類SQL語句轉化為MapReduce任務對HDFS中的資料進行操作。
④ Hive on spark將計算引擎修改為spark,能夠提高對批量資料的執行效率。但其應用場景不變,仍適用的是對儲存於HDFS中的海量歷史資料進行離線分析處理。
⑤ Hive自身的所有特性,均表達的是對HDFS中資料操作的解構,簡單來說是一個操作HDFS資料的工具。利用Hive提供給熟悉SQL語言但陌生於java MapReduce程式設計的人員以方便的介面進行HDFS資料訪問和操作。
Hive適用場景
由Hive的設計初衷,Hive提供對HDFS資料的便捷訪問和操作。同時Hive以表的形式組織HDFS資料,使得對資料的訪問和操作粒度更小,操作更便捷,而非由繁瑣的程式設計實現。因此,如果需要對HDFS中的資料完成一些簡單的操作(具體見Hive操作部分)且不用編寫複雜的Java程式碼,或者需要提供給外部人員對HDFS資料訪問的介面,Hive是合適的選項。
原文參考:https://blog.csdn.net/regan_hoo/article/details/78672118
相關文章
- 畢業設計應用
- Hive 高階應用開發示例(一)Hive
- 設計模式應用舉例設計模式
- PDM應用模組設計
- javascript設計模式與應用JavaScript設計模式
- Hive 分析函式lead、lag例項應用Hive函式
- SaaS架構:應用服務、應用結構設計架構
- spring AOP 程式設計式應用Spring程式設計
- API介面:原理、設計與應用API
- 應用架構圖的設計應用架構
- 八、【spring】web應用安全設計SpringWeb
- framebuffer應用程式設計實踐程式設計
- [譯] 設計大型 JavaScript 應用程式JavaScript
- Linkedlist的應用場景:設計佇列、設計棧佇列
- Hive簡介、應用場景及架構原理Hive架構
- Hbase和Hive的特點,和應用場景Hive
- Java程式設計——伺服器設計方案之應用限流Java程式設計伺服器
- 一文搞懂SaaS應用架構:應用服務、應用結構、應用互動設計應用架構
- 設計模式 | 策略模式及典型應用設計模式
- Web應用的快取設計模式Web快取設計模式
- C++高階應用_設計模式C++設計模式
- Android基礎及應用 介面設計Android
- React 應用設計之道 - curry 化妙用React
- hive時間日期函式及典型場景應用Hive函式
- [Hive]hive分割槽設定注意事項Hive
- 設計模式應用場景之Model設計中可以用到的設計模式設計模式
- [譯] 設計 QA 在應用程式設計中的重要性程式設計
- Angular應用架構設計-5:設計原則與總結Angular應用架構
- 基於Hive進行數倉建設的資源後設資料資訊統計:Hive篇Hive
- Unity應用架構設計(4)——設計可複用的SubView和SubViewModel(Part 1)Unity應用架構View
- Hive(統計分析)Hive
- 設計模式 | 中介者模式及典型應用設計模式
- mpvue在前端專案的應用設計Vue前端
- 設計模式在vue中的應用(一)設計模式Vue
- 設計模式在vue中的應用(七)設計模式Vue
- 設計模式在vue中的應用(六)設計模式Vue
- 設計模式在vue中的應用(三)設計模式Vue
- 設計模式在vue中的應用(二)設計模式Vue