好程式設計師大資料培訓分享Hive的靜態分割槽與動態分割槽

　　 好程式設計師大資料培訓分享Hive 的靜態分割槽與動態分割槽 ： 分割槽是hive 存放資料的一種方式。將列值作為目錄來存放資料，就是一個分割槽。這樣查詢時使用分割槽列進行過濾，只需根據列值直接掃描對應目錄下的資料，不掃描其他不關心的分割槽，快速定位，提高查詢效率。分動態和靜態分割槽兩種：

　　1. 靜態分割槽：若分割槽的值是確定的，那麼稱為靜態分割槽。新增分割槽或者是載入分割槽資料時，已經指定分割槽名。

　　create table if not exists day_part1(

　　uid int,

　　uname string

　　)

　　partitioned by(year int,month int)

　　row format delimited fields terminated by '\t';

　　## 載入資料指定分割槽

　　load data local inpath '/root/Desktop/student.txt' into table day_part1

partition(year=2017,month=04);

　　## 新增分割槽指定分割槽名

　　alter table day_part1 add partition(year=2017,month=1)

partition(year=2016,month=12);

　　2. 動態分割槽：分割槽的值是非確定的，由輸入資料來確定

　　2.1 動態分割槽的相關屬性：

　　hive.exec.dynamic.partition=true : 是否允許動態分割槽

　　hive.exec.dynamic.partition.mode=strict ：分割槽模式設定

　　strict ：最少需要有一個是靜態分割槽

　　nostrict ：可以全部是動態分割槽

　　hive.exec.max.dynamic.partitions=1000 ：允許動態分割槽的最大數量

　　hive.exec.max.dynamic.partitions.pernode =100

：單個節點上的mapper/reducer 允許建立的最大分割槽

　　2.2 動態分割槽的操作

　　## 建立臨時表

　　create table if not exists tmp

　　(uid int,

　　commentid bigint,

　　recommentid bigint,

　　year int,

　　month int,

　　day int)

　　row format delimited fields terminated by '\t';

　　## 載入資料

　　load data local inpath '/root/Desktop/comm' into table tmp;

　　## 建立動態分割槽表

　　create table if not exists dyp1

　　(uid int,

　　commentid bigint,

　　recommentid bigint)

　　partitioned by(year int,month int,day int)

　　row format delimited fields terminated by '\t';

　　## 嚴格模式

　　insert into table dyp1 partition(year=2016,month,day)

　　select uid,commentid,recommentid,month,day from tmp;

　　## 非嚴格模式

　　## 設定非嚴格模式動態分割槽

　　set hive.exec.dynamic.partition.mode=nostrict;

　　## 建立動態分割槽表

　　create table if not exists dyp2

　　(uid int,

　　commentid bigint,

　　recommentid bigint)

　　partitioned by(year int,month int,day int)

　　row format delimited fields terminated by '\t';

　　## 為非嚴格模式動態分割槽載入資料

　　insert into table dyp2 partition(year,month,day)

　　select uid,commentid,recommentid,year,month,day from tmp;

　　3. 分割槽注意細節

　　(1) 、儘量不要用動態分割槽，因為動態分割槽的時候，將會為每一個分割槽分配 reducer 數量，當分割槽數量多的時候， reducer 數量將會增加，對伺服器是一種災難。

　　(2) 、動態分割槽和靜態分割槽的區別，靜態分割槽不管有沒有資料都將會建立該分割槽，動態分割槽是有結果集將建立，否則不建立。

　　(3) 、 hive 動態分割槽的嚴格模式和 hive 提供的 hive.mapred.mode 的嚴格模式。

　　hive 提供我們一個嚴格模式：為了阻止使用者不小心提交惡意 hql

　　hive.mapred.mode=nostrict : strict

　　如果該模式值為strict ，將會阻止以下三種查詢：

　　(1) 、對分割槽表查詢， where 中過濾欄位不是分割槽欄位。

　　(2) 、笛卡爾積 join 查詢， join 查詢語句，不帶 on 條件或者 where 條件。

　　(3) 、對 order by 查詢，有 order by 的查詢不帶 limit 語句。