Sqoop架構和常用命令介紹

Sqoop簡介
Sqoop是一個用來將Hadoop和關係型資料庫中的資料相互轉移的工具，可以將一個關係型資料庫（例如 ： MySQL ,Oracle 等）中的資料匯入到Hadoop的HDFS中，也可以將HDFS的資料匯入到關係型資料庫中。

Sqoop架構圖:


常用命令介紹
MySQL=> Hive (MySQL資料匯入進Hive)
1.將指定的mysql表遷移到Hive中
sqoop import --hive-import --connect jdbc:mysql://192.168.1.1/dbname --table ${tablename} --username ${username} --password ${password} --hive-database${dbname} -m 1 --as-parquetfile

例如:
sqoop import --hive-import --connect jdbc:mysql://172.16.16.15/test --table person --username mdba --password dsf0723 --hive-database test -m 1 --as-parquetfile

2.將mysql指定庫中的所有表遷移到Hive中
sqoop import-all-tables --hive-import --connect jdbc:mysql://192.168.1.1/dbname --username ${username} --password ${password} --hive-database ${dbname} -m 1  --hive-database anhui --as-parquetfile
-Oracle => Hbase  將上述命令中的jdbc:mysql:改為jdbc:oracle:thin
例如:
sqoop import --hive-import --connect jdbc:oracle:thin:@172.16.16.16:1523:orcl --table test --username cq2017 --password cq2017 --hive-database chongqing_2017 --hive-table test_20170505 -m 1 --as-parquetfile


從Hive(HDFS)=>MySQL  (從Hive匯入進MySQL)
sqoop export --connect jdbc:mysql://192.168.1.1:3306/dbname --username root
--password 123 --export-dir ‘hive表hdfs檔案檔案存放路徑’ --table mysqltablename  -m 1 --fields-termianted-by '\t'
--MysqlTableName 必須是提前建立好的，且資料欄位和欄位型別,分隔符的設定與Hive中一致
--Hive中沒有特殊的分隔符要求的話，預設分隔符是/u0001 不用加命令項 --fields-termianted-by ‘\t’ 
-- hive表hdfs檔案檔案存放路徑  /user/hive/warehouse/庫名/表名


其他命令:
第一類：資料庫中的資料匯入到HDFS上
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123
--table user --columns ‘id, name, incoam, expenses‘  指定mysql資料庫表中的某幾個欄位的資料遷移
這裡的列名 嚴格區分大小寫

指定輸出路徑、指定資料分隔符
sqoop import --connect jdbc:mysql://lishiyu06:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td' --fields-terminated-by '\t'

指定Map數量 -m 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2


增加where條件, 注意：條件必須用引號引起來====》用於追加匯入
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --where 'id>3' --target-dir '/sqoop/td2' 


增加query語句(使用 \ 將語句換行) 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123 \
--query 'SELECT * FROM user where id > 2 AND $CONDITIONS' --split-by user.id --target-dir '/sqoop/td3'

注意：如果使用--query這個命令的時候，需要注意的是where後面的引數，AND $CONDITIONS這個引數必須加上，
而且存在單引號與雙引號的區別，如果--query後面使用的是雙引號，那麼需要在$CONDITIONS前加上\即\$CONDITIONS
如果設定map數量為1個時即-m  1 ，不用加上--split-by ${tablename.column}