mysql 資料sqoop到hive 步驟

木子小僧發表於2016-08-09
MySqlOOPHive

1、hive建表

hive是支援分割槽的，但是這次建表沒有寫分割槽。

CREATE TABLE `cuoti_rpt` (
  `COURSE_ID` string,
  `NAME` string,
  `PERIOD` string,
  `USER_ID` string,
  `SUBJECT_ID` string
);

2、opt檔案

--connect   連線master節點的資料庫。
--username  資料庫使用者名稱
--password  資料庫密碼
--table     mysql資料庫中的表名
--columns   列名
--hive-overwrite overwrite方式
--hive-table  匯入hive的表（最好宣告在那個hive資料庫）
import
--connect
"jdbc:mysql://master:3306/test"
--username 
root 
--password
123456 
--table
tb_cuoti
--columns 
"COURSE_ID,NAME,PERIOD,USER_ID,SUBJECT_ID"
--hive-import
--hive-overwrite
--hive-table
cuoti.cuoti_rpt
--hive-drop-import-delims
-m
1

 3、執行opt檔案

 sqoop --options-file 目錄.opt

相關文章