hive中order by、distribute by、sort by和cluster by的區別和聯絡
order by
order by 會對資料進行全域性排序,和oracle和mysql等資料庫中的order by 效果一樣,它只在一個reduce中進行所以資料量特別大的時候效率非常低。
而且當設定 :set hive.mapred.mode=strict的時候不指定limit,執行select會報錯,如下:
LIMIT must also be specified。
sort by
sort by 是單獨在各自的reduce中進行排序,所以並不能保證全域性有序,一般和distribute by 一起執行,而且distribute by 要寫在sort by前面。
如果mapred.reduce.tasks=1和order by效果一樣,如果大於1會分成幾個檔案輸出每個檔案會按照指定的欄位排序,而不保證全域性有序。
sort by 不受 hive.mapred.mode 是否為strict ,nostrict 的影響。
distribute by
DISTRIBUTE BY 控制map 中的輸出在 reducer 中是如何進行劃分的。使用DISTRIBUTE BY 可以保證相同KEY的記錄被劃分到一個Reduce 中。
cluster by
distribute by 和 sort by 合用就相當於cluster by,但是cluster by 不能指定排序為asc或 desc 的規則,只能是升序排列。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31543790/viewspace-2657588/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- has、ohasd、crs、cluster區別和聯絡
- Oracle中User和Schema的區別和聯絡Oracle
- 中斷和異常,陷阱的區別和聯絡
- hive與hbase的聯絡與區別Hive
- javaSE中的==和equals的聯絡與區別Java
- tcp/ip和http的區別和聯絡TCPHTTP
- orcle pfile和spfile的區別和聯絡
- NET|Ref 和out 的區別和聯絡
- Instruction和Question的區別和聯絡Struct
- 詳解CALayer 和 UIView的區別和聯絡UIView
- ORACLE中的兩個概念:user和schema的區別和聯絡Oracle
- http、socket、tcp的區別和聯絡?HTTPTCP
- SCADA和PLC的區別聯絡
- Session和Cookie的聯絡與區別SessionCookie
- CGI與Servlet的區別和聯絡Servlet
- Session和Cookie的區別與聯絡SessionCookie
- 轉:IDOCBAPIRFC區別和聯絡API
- Vue中watch、computed與methods的聯絡和區別Vue
- Python中time和datetime的區別與聯絡Python
- php中$_REQUEST、$_POST、$_GET的區別和聯絡小結PHP
- java-介面和抽象類的聯絡和區別。Java抽象
- Jdk、Jre Jvm的區別和聯絡JDKJVM
- Linux和Ubuntu的區別與聯絡LinuxUbuntu
- 資料庫中varchar和Nvarchar區別與聯絡資料庫
- 【知識點】 gcc和g++的聯絡和區別GC
- Rxjs map, mergeMap 和 switchMap 的區別和聯絡JS
- Python中__new__和__init__的區別與聯絡Python
- 程式和執行緒的區別與聯絡執行緒
- HDFS 塊和 Input Splits 的區別與聯絡
- NUMA,MPP和HADOOP的區別與聯絡Hadoop
- 並行和併發的區別與聯絡並行
- volatile和synchronized的區別與聯絡[轉]synchronized
- malloc free與new delete的區別和聯絡delete
- C/C++引用和指標的聯絡和區別C++指標
- SAP UI5 和 OpenUI5 的區別和聯絡UI
- 程式、執行緒和協程之間的區別和聯絡執行緒
- 模電和數電在應用上的區別和聯絡
- 程序、執行緒和協程之間的區別和聯絡執行緒