分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是一個分割槽。這樣查詢時使用分割槽列進行過濾,只需根據列值直接掃描對應目錄下的資料,不掃描其他不關心的分割槽,快速定位,提高查詢效率。分動態和靜態分割槽兩種:
1. 靜態分割槽:若分割槽的值是確定的,那麼稱為靜態分割槽。新增分割槽或者是載入分割槽資料時,已經指定分割槽名。
create table if not exists day_part1(
uid int,
uname string
)
partitioned by(year int,month int)
row format delimited fields terminated by '\t';
##載入資料指定分割槽
load data local inpath '/root/Desktop/student.txt' into table day_part1 partition(year=2017,month=04);
##新增分割槽指定分割槽名
alter table day_part1 add partition(year=2017,month=1) partition(year=2016,month=12);
2. 動態分割槽:分割槽的值是非確定的,由輸入資料來確定
2.1 動態分割槽的相關屬性:
hive.exec.dynamic.partition=true :是否允許動態分割槽
hive.exec.dynamic.partition.mode=strict :分割槽模式設定
strict:最少需要有一個是靜態分割槽
nostrict:可以全部是動態分割槽
hive.exec.max.dynamic.partitions=1000 :允許動態分割槽的最大數量
hive.exec.max.dynamic.partitions.pernode =100 :單個節點上的mapper/reducer允許建立的最大分割槽
2.2 動態分割槽的操作
##建立臨時表
create table if not exists tmp
(uid int,
commentid bigint,
recommentid bigint,
year int,
month int,
day int)
row format delimited fields terminated by '\t';
##載入資料
load data local inpath '/root/Desktop/comm' into table tmp;
##建立動態分割槽表
create table if not exists dyp1
(uid int,
commentid bigint,
recommentid bigint)
partitioned by(year int,month int,day int)
row format delimited fields terminated by '\t';
##嚴格模式
insert into table dyp1 partition(year=2016,month,day)
select uid,commentid,recommentid,month,day from tmp;
##非嚴格模式
##設定非嚴格模式動態分割槽
set hive.exec.dynamic.partition.mode=nostrict;
##建立動態分割槽表
create table if not exists dyp2
(uid int,
commentid bigint,
recommentid bigint)
partitioned by(year int,month int,day int)
row format delimited fields terminated by '\t';
##為非嚴格模式動態分割槽載入資料
insert into table dyp2 partition(year,month,day)
select uid,commentid,recommentid,year,month,day from tmp;
3.分割槽注意細節
(1)、儘量不要用動態分割槽,因為動態分割槽的時候,將會為每一個分割槽分配reducer數量,當分割槽數量多的時候,reducer數量將會增加,對伺服器是一種災難。
(2)、動態分割槽和靜態分割槽的區別,靜態分割槽不管有沒有資料都將會建立該分割槽,動態分割槽是有結果集將建立,否則不建立。
(3)、hive動態分割槽的嚴格模式和hive提供的hive.mapred.mode的嚴格模式。
hive提供我們一個嚴格模式:為了阻止使用者不小心提交惡意hql
hive.mapred.mode=nostrict : strict
如果該模式值為strict,將會阻止以下三種查詢:
(1)、對分割槽表查詢,where中過濾欄位不是分割槽欄位。
(2)、笛卡爾積join查詢,join查詢語句,不帶on條件或者where條件。
(3)、對order by查詢,有order by的查詢不帶limit語句。