好程式設計師大資料開發之掌握Hive的靜態分割槽與動態分割槽

　　分割槽是 hive 存放資料的一種方式。將列值作為目錄來存放資料，就是一個分割槽。這樣查詢時使用分割槽列進行過濾，只需根據列值直接掃描對應目錄下的資料，不掃描其他不關心的分割槽，快速定位，提高查詢效率。分動態和靜態分割槽兩種：

 

　　1. 靜態分割槽：若分割槽的值是確定的，那麼稱為靜態分割槽。新增分割槽或者是載入分割槽資料時，已經指定分割槽名。

 

　　createtableifnotexistsday_part1(

 

　　uidint,

 

　　unamestring

 

　　)

 

　　partitionedby(yearint,monthint)

 

　　rowformatdelimitedfieldsterminatedby''

 

　　;

 

　　## 載入資料指定分割槽

 

　　loaddatalocalinpath'/root/Desktop/student.txt'intotableday_part1partition(year=2017,month=04);

 

　　## 新增分割槽指定分割槽名

 

　　altertableday_part1addpartition(year=2017,month=1)partition(year=2016,month=12);

 

　　2. 動態分割槽：分割槽的值是非確定的，由輸入資料來確定

 

　　2.1 動態分割槽的相關屬性：

 

　　hive.exec.dynamic.partition=true: 是否允許動態分割槽

 

　　hive.exec.dynamic.partition.mode=strict ：分割槽模式設定

 

　　strict ：最少需要有一個是靜態分割槽

 

　　nostrict ：可以全部是動態分割槽

 

　　hive.exec.max.dynamic.partitions=1000 ：允許動態分割槽的最大數量

 

　　hive.exec.max.dynamic.partitions.pernode=100 ：單個節點上的 mapper/reducer 允許建立的最大分割槽

 

　　2.2 動態分割槽的操作

 

　　## 建立臨時表

 

　　createtableifnotexiststmp(

 

　　uidint,

 

　　commentidbigint,

 

　　recommentidbigint,

 

　　yearint,

 

　　monthint,

 

　　dayint

 

　　)

 

　　rowformatdelimitedfieldsterminatedby'';

 

　　## 載入資料

 

　　loaddatalocalinpath'/root/Desktop/comm'intotabletmp;

 

　　## 建立動態分割槽表

 

　　createtableifnotexistsdyp1(

 

　　uidint,

 

　　commentidbigint,

 

　　recommentidbigint

 

　　)

 

　　partitionedby(yearint,monthint,dayint)

 

　　rowformatdelimitedfieldsterminatedby''

 

　　;

 

　　## 嚴格模式

 

　　insertintotabledyp1partition(year=2016,month,day)

 

　　selectuid,commentid,recommentid,month,dayfromtmp;

 

　　## 非嚴格模式

 

　　## 設定非嚴格模式動態分割槽

 

　　sethive.exec.dynamic.partition.mode=nostrict;

 

　　## 建立動態分割槽表

 

　　createtableifnotexistsdyp2(

 

　　uidint,

 

　　commentidbigint,

 

　　recommentidbigint

 

　　)

 

　　partitionedby(yearint,monthint,dayint)

 

　　rowformatdelimitedfieldsterminatedby'';

 

　　## 為非嚴格模式動態分割槽載入資料

 

　　insertintotabledyp2partition(year,month,day)

 

　　selectuid,commentid,recommentid,year,month,dayfromtmp;

 

　　3. 分割槽注意細節

 

　　(1) 、儘量不要是用動態分割槽，因為動態分割槽的時候，將會為每一個分割槽分配 reducer 數量，當分割槽數量多的時候， reducer 數量將會增加，對伺服器是一種災難。

 

　　(2) 、動態分割槽和靜態分割槽的區別，靜態分割槽不管有沒有資料都將會建立該分割槽，動態分割槽是有結果集將建立，否則不建立。

 

　　(3) 、 hive 動態分割槽的嚴格模式和 hive 提供的 hive.mapred.mode 的嚴格模式。

 

　　hive 提供我們一個嚴格模式：為了阻止使用者不小心提交惡意 hql

 

　　hive.mapred.mode=nostrict:strict

 

　　如果該模式值為 strict ，將會阻止以下三種查詢：

 

　　(1) 、對分割槽表查詢， where 中過濾欄位不是分割槽欄位。

 

　　(2) 、笛卡爾積 join 查詢， join 查詢語句，不帶 on 條件或者 where 條件。

 

　　(3) 、對 orderby 查詢，有 orderby 的查詢不帶 limit 語句。