HIVE資料匯入基礎

Hive的幾種常見的資料匯入方式

1- 從本地檔案系統中匯入資料到Hive表

hive> 
create table table01    
> (id int, name string,    
> age int, tel string)    
> ROW FORMAT DELIMITED    
> FIELDS TERMINATED BY 't'    
> STORED AS TEXTFILE;
load data local inpath 'table01.txt' into table table01;

2- HDFS上匯入資料到Hive表

從本地檔案系統中將資料匯入到Hive表的過程中，其實是先將資料臨時複製到HDFS的一個目錄下,

然後再將資料從那個臨時目錄下移動到對應的Hive表的資料目錄裡面.

load data inpath '/home/table01/add.txt' into table table01;

3- 從別的表中查詢出相應的資料並匯入到Hive表中

hive> 
create table test(    
> id int, name string    
> ,tel string)    
> partitioned by    
> (age int)    
> ROW FORMAT DELIMITED FIELDS TERMINATED BY 't' STORED AS TEXTFILE;	

執行匯入的操作

insert into table test   
 > partition (age='25')    
 > select id, name, tel    
 > from table01;	
 	
 insert overwrite table test    
 > PARTITION (age)    
 > select id, name, tel, age    
 > from table01;

4- 在建立表的時候透過從別的表中查詢出相應的記錄並插入到所建立的表中

create table test4    
> as    
> select id, name, tel    
> from table01;

5- 案例從txt格式匯入到orc格式:

textfile格式的hive表  insert into到orc格式的hive表

1-分別建立textfile和orc表
create table t_txt
(id int, name string,age int,tel string)
ROW FORMAT DELIMITEDFIELDS TERMINATED BY 't'STORED AS TEXTFILE;	
	
create table t_orc
(id int, name string,age int, tel string)
STORED AS orc;

2- 匯入資料到textfile1	
ccc 18	159516169092	
lich	88	14567890976
load data local inpath '/home/hadoop/data/t_txt.txt' into table t_txt;

3- 匯入到orc表
insert into table t_orc
select *from t_txt;