hive學習筆記之四：分割槽表

程式設計師欣宸發表於2021-07-02
Hive筆記

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

《hive學習筆記》系列導航

  1. 基本資料型別
  2. 複雜資料型別
  3. 內部表和外部表
  4. 分割槽表
  5. 分桶
  6. HiveQL基礎
  7. 內建函式
  8. Sqoop
  9. 基礎UDF
  10. 使用者自定義聚合函式(UDAF)
  11. UDTF

本篇概覽

本文是《hive學習筆記》系列的第四篇，要學習的是hive的分割槽表，簡單來說hive的分割槽就是建立層級目錄的一種方式，處於同一分割槽的記錄其實就是資料在同一個子目錄下，分割槽一共有兩種：靜態和動態，接下來逐一嘗試；

靜態分割槽（單欄位分割槽）

先嚐試用單個欄位分割槽，t9表有三個欄位：名稱city、年齡age、城市city，以城市作為分割槽欄位：

  1. 建表：
create table t9 (name string, age int) 
partitioned by (city string)
row format delimited 
fields terminated by ',';
  1. 檢視：
hive> desc t9;
OK
name                	string              	                    
age                 	int                 	                    
city                	string              	                    
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
city                	string              	                    
Time taken: 0.159 seconds, Fetched: 8 row(s)
  1. 建立名為009.txt的文字檔案，內容如下，可見每行只有name和age兩個欄位，用來分割槽的city欄位不在這裡設定，而是在執行匯入命令的時候設定，稍後就會見到：
tom,11
jerry,12
  1. 匯入資料的命令如下，可見匯入命令中制定了city欄位，也就是說一次匯入的所有資料，city欄位值都是同一個：
load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t9 
partition(city='shenzhen');
  1. 再執行一次匯入操作，命令如下，city的值從前面的shenzhen改為guangzhou：
load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t9 
partition(city='guangzhou');
  1. 查詢資料，可見一共四條資料，city共有兩個值：
hive> select * from t9;
OK
t9.name	t9.age	t9.city
tom	11	guangzhou
jerry	12	guangzhou
tom	11	shenzhen
jerry	12	shenzhen
Time taken: 0.104 seconds, Fetched: 4 row(s)
  1. 前面曾提到分割槽實際上是不同的子目錄，來看一下是不是如此，如下圖，紅框是t9的檔案目錄，下面有兩個子目錄city=guangzhou和city=shenzhen：

在這裡插入圖片描述

  1. 檢視子目錄裡面檔案的內容，可見每條記錄只有name和age兩個欄位：
[hadoop@node0 bin]$ ./hadoop fs -ls /user/hive/warehouse/t9/city=guangzhou
Found 1 items
-rwxr-xr-x   3 hadoop supergroup         16 2020-10-31 16:47 /user/hive/warehouse/t9/city=guangzhou/009.txt
[hadoop@node0 bin]$ ./hadoop fs -cat /user/hive/warehouse/t9/city=guangzhou/009.txt
tom,11
jerry,12
[hadoop@node0 bin]$

以上就是以單個欄位做靜態分割槽的實踐，接下來嘗試多欄位分割槽；

靜態分割槽（多欄位分割槽）

  1. 新建名為t10的表，有兩個分割槽欄位：province和city，建表語句：
create table t10 (name string, age int) 
partitioned by (province string, city string)
row format delimited 
fields terminated by ',';
  1. 上述建表語句中，分割槽欄位province寫在了city前面，這就意味著第一級子目錄是province值，每個province子目錄，再按照city值建立二級子目錄，圖示如下：

在這裡插入圖片描述
3. 第一次匯入，province='shanxi', city='xian'：

load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t10 
partition(province='shanxi', city='xian');
  1. 第二次匯入，province='shanxi', city='xian'：
load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t10 
partition(province='shanxi', city='hanzhong');
  1. 第三次匯入，province='guangdong', city='guangzhou'：
load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t10 
partition(province='guangdong', city='guangzhou');
  1. 第四次匯入，province='guangdong', city='shenzhen'：
load data 
local inpath '/home/hadoop/temp/202010/25/009.txt' 
into table t10 
partition(province='guangdong', city='shenzhen');
  1. 全部資料如下：
hive> select * from t10;
OK
t10.name	t10.age	t10.province	t10.city
tom	11	guangdong	guangzhou
jerry	12	guangdong	guangzhou
tom	11	guangdong	shenzhen
jerry	12	guangdong	shenzhen
tom	11	shanxi	hanzhong
jerry	12	shanxi	hanzhong
tom	11	shanxi	xian
jerry	12	shanxi	xian
Time taken: 0.129 seconds, Fetched: 8 row(s)
  1. 檢視hdfs資料夾，如下圖，一級目錄是province欄位的值：

在這裡插入圖片描述

  1. 開啟一個一級目錄，如下圖，可見二級目錄是city的值：

在這裡插入圖片描述
10. 檢視資料：

[hadoop@node0 bin]$ ./hadoop fs -cat /user/hive/warehouse/t10/province=shanxi/city=hanzhong/009.txt
tom,11
jerry,12
  1. 以上就是靜態分割槽的基本操作，可見靜態分割槽有個不便之處：新增資料的時候要針對每一個分割槽單獨使用load命令去操作，這時候使用動態分割槽來解決這個麻煩；

動態分割槽

  1. 動態分割槽的特點就是不用指定分割槽目錄，由hive自己選擇；
  2. 執行以下命令開啟動態分割槽功能：
set hive.exec.dynamic.partition=true
  1. 名為hive.exec.dynamic.partition.mode的屬性，預設值是strict，意思是不允許分割槽列全部是動態的，這裡改為nostrict以取消此禁制，允許全部分割槽都是動態分割槽：
set hive.exec.dynamic.partition.mode=nostrict;
  1. 建一個外部表，名為t11，只有四個欄位：
create external table t11 (name string, age int, province string, city string) 
row format delimited 
fields terminated by ',' 
location '/data/external_t11';
  1. 建立名為011.txt的檔案，內容如下：
tom,11,guangdong,guangzhou
jerry,12,guangdong,shenzhen
tony,13,shanxi,xian
john,14,shanxi,hanzhong
  1. 將011.txt中的四條記錄載入表t11：
load data 
local inpath '/home/hadoop/temp/202010/25/011.txt' 
into table t11;
  1. 接下來要，先建立動態分割槽表t12，再把t11表的資料新增到t12中；
  2. t12的建表語句如下，按照province+city分割槽：
create table t12 (name string, age int) 
partitioned by (province string, city string)
row format delimited 
fields terminated by ',';
  1. 執行以下操作，即可將t11的所有資料寫入動態分割槽表t12，注意，要用overwrite：
insert overwrite table t12 
partition(province, city) 
select name, age, province, city from t11;
  1. 通過hdfs檢視資料夾，可見一級和二級子目錄都符合預期：

在這裡插入圖片描述
11. 最後檢查二級子目錄下的資料檔案，可以看到該分割槽下的記錄：

[hadoop@node0 bin]$ ./hadoop fs -cat /user/hive/warehouse/t12/province=guangdong/city=guangzhou/000000_0
tom,11

至此，分割槽表的學習就完成了，希望能給您一些參考；

你不孤單，欣宸原創一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 資料庫+中介軟體系列
  6. DevOps系列

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos

相關文章