Hive的靜態分割槽與動態分割槽

QF董懂發表於2018-05-03

  分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是一個分割槽。這樣查詢時使用分割槽列進行過濾,只需根據列值直接掃描對應目錄下的資料,不掃描其他不關心的分割槽,快速定位,提高查詢效率。分動態和靜態分割槽兩種:

  1. 靜態分割槽:若分割槽的值是確定的,那麼稱為靜態分割槽。新增分割槽或者是載入分割槽資料時,已經指定分割槽名。

  create table if not exists day_part1(

  uid int,

  uname string

  )

  partitioned by(year int,month int)

  row format delimited fields terminated by '\t';

  ##載入資料指定分割槽

  load data local inpath '/root/Desktop/student.txt' into table day_part1 partition(year=2017,month=04);

  ##新增分割槽指定分割槽名

  alter table day_part1 add partition(year=2017,month=1) partition(year=2016,month=12);

  2. 動態分割槽:分割槽的值是非確定的,由輸入資料來確定

  2.1 動態分割槽的相關屬性:

  hive.exec.dynamic.partition=true :是否允許動態分割槽

  hive.exec.dynamic.partition.mode=strict :分割槽模式設定

  strict:最少需要有一個是靜態分割槽

  nostrict:可以全部是動態分割槽

  hive.exec.max.dynamic.partitions=1000 :允許動態分割槽的最大數量

  hive.exec.max.dynamic.partitions.pernode =100 :單個節點上的mapper/reducer允許建立的最大分割槽

  2.2 動態分割槽的操作

  ##建立臨時表

  create table if not exists tmp

  (uid int,

  commentid bigint,

  recommentid bigint,

  year int,

  month int,

  day int)

  row format delimited fields terminated by '\t';

  ##載入資料

  load data local inpath '/root/Desktop/comm' into table tmp;

  ##建立動態分割槽表

  create table if not exists dyp1

  (uid int,

  commentid bigint,

  recommentid bigint)

  partitioned by(year int,month int,day int)

  row format delimited fields terminated by '\t';

  ##嚴格模式

  insert into table dyp1 partition(year=2016,month,day)

  select uid,commentid,recommentid,month,day from tmp;

  ##非嚴格模式

  ##設定非嚴格模式動態分割槽

  set hive.exec.dynamic.partition.mode=nostrict;

  ##建立動態分割槽表

  create table if not exists dyp2

  (uid int,

  commentid bigint,

  recommentid bigint)

  partitioned by(year int,month int,day int)

  row format delimited fields terminated by '\t';

  ##為非嚴格模式動態分割槽載入資料

  insert into table dyp2 partition(year,month,day)

  select uid,commentid,recommentid,year,month,day from tmp;

  3.分割槽注意細節

  (1)、儘量不要用動態分割槽,因為動態分割槽的時候,將會為每一個分割槽分配reducer數量,當分割槽數量多的時候,reducer數量將會增加,對伺服器是一種災難。

  (2)、動態分割槽和靜態分割槽的區別,靜態分割槽不管有沒有資料都將會建立該分割槽,動態分割槽是有結果集將建立,否則不建立。

  (3)、hive動態分割槽的嚴格模式和hive提供的hive.mapred.mode的嚴格模式。

  hive提供我們一個嚴格模式:為了阻止使用者不小心提交惡意hql

  hive.mapred.mode=nostrict : strict

  如果該模式值為strict,將會阻止以下三種查詢:

  (1)、對分割槽表查詢,where中過濾欄位不是分割槽欄位。

  (2)、笛卡爾積join查詢,join查詢語句,不帶on條件或者where條件。

  (3)、對order by查詢,有order by的查詢不帶limit語句。

相關文章