Sqoop可以在HDFS/Hive和關係型資料庫之間進行資料的匯入匯出，其中主要使用了import和export這兩個工具。這兩個工具非常強大，提供了很多選項幫助我們完成資料的遷移和同步。比如，下面兩個潛在的需求：
-
業務資料存放在關聯式資料庫中，如果資料量達到一定規模後需要對其進行分析或同統計，單純使用關聯式資料庫可能會成為瓶頸，這時可以將資料從業務資料庫資料匯入（import）到Hadoop平臺進行離線分析。
-
對大規模的資料在Hadoop平臺上進行分析以後，可能需要將結果同步到關聯式資料庫中作為業務的輔助資料，這時候需要將Hadoop平臺分析後的資料匯出（export）到關聯式資料庫。
這裡，我們介紹Sqoop完成上述基本應用場景所使用的import和export工具，通過一些簡單的例子來說明這兩個工具是如何做到的。
工具通用選項
import和export工具有些通用的選項，如下表所示：
|
選項 |
含義說明 |
--connect <jdbc-uri> |
指定JDBC連線字串 |
--connection-manager <class-name> |
指定要使用的連線管理器類 |
--driver <class-name> |
指定要使用的JDBC驅動類 |
--hadoop-mapred-home <dir> |
指定$HADOOP_MAPRED_HOME路徑 |
--help |
列印用法幫助資訊 |
--password-file |
設定用於存放認證的密碼資訊檔案的路徑 |
-P |
從控制檯讀取輸入的密碼 |
--password <password> |
設定認證密碼 |
--username <username> |
設定認證使用者名稱 |
--verbose |
列印詳細的執行資訊 |
--connection-param-file <filename> |
可選，指定儲存資料庫連線引數的屬性檔案 |
資料匯入工具import
import工具，是將HDFS平臺外部的結構化儲存系統中的資料匯入到Hadoop平臺，便於後續分析。我們先看一下import工具的基本選項及其含義，如下表所示：
|
選項 |
含義說明 |
--append |
將資料追加到HDFS上一個已存在的資料集上 |
--as-avrodatafile |
將資料匯入到Avro資料檔案 |
--as-sequencefile |
將資料匯入到SequenceFile |
--as-textfile |
將資料匯入到普通文字檔案（預設） |
--boundary-query <statement> |
邊界查詢，用於建立分片（InputSplit） |
--columns <col,col,col…> |
從表中匯出指定的一組列的資料 |
--delete-target-dir |
如果指定目錄存在，則先刪除掉 |
--direct |
使用直接匯入模式（優化匯入速度） |
--direct-split-size <n> |
分割輸入stream的位元組大小（在直接匯入模式下） |
--fetch-size <n> |
從資料庫中批量讀取記錄數 |
--inline-lob-limit <n> |
設定內聯的LOB物件的大小 |
-m,--num-mappers <n> |
使用n個map任務並行匯入資料 |
-e,--query <statement> |
匯入的查詢語句 |
--split-by <column-name> |
指定按照哪個列去分割資料 |
--table <table-name> |
匯入的源表表名 |
--target-dir <dir> |
匯入HDFS的目標路徑 |
--warehouse-dir <dir> |
HDFS存放表的根路徑 |
--where <where clause> |
指定匯出時所使用的查詢條件 |
-z,--compress |
啟用壓縮 |
--compression-codec <c> |
指定Hadoop的codec方式（預設gzip） |
--null-string <null-string> |
果指定列為字串型別，使用指定字串替換值為null的該類列的值 |
--null-non-string <null-string> |
如果指定列為非字串型別，使用指定字串替換值為null的該類列的值 |
下面，我們通過例項來說明，在實際中如何使用這些選項。
資料匯出工具export
export工具，是將HDFS平臺的資料，匯出到外部的結構化儲存系統中，可能會為一些應用系統提供資料支援。我們看一下export工具的基本選項及其含義，如下表所示：
|
選項 |
含義說明 |
--validate <class-name> |
啟用資料副本驗證功能，僅支援單表拷貝，可以指定驗證使用的實現類 |
--validation-threshold <class-name> |
指定驗證門限所使用的類 |
--direct |
使用直接匯出模式（優化速度） |
--export-dir <dir> |
匯出過程中HDFS源路徑 |
-m,--num-mappers <n> |
使用n個map任務並行匯出 |
--table <table-name> |
匯出的目的表名稱 |
--call <stored-proc-name> |
匯出資料呼叫的指定儲存過程名 |
--update-key <col-name> |
更新參考的列名稱，多個列名使用逗號分隔 |
--update-mode <mode> |
指定更新策略，包括：updateonly（預設）、allowinsert |
--input-null-string <null-string> |
使用指定字串，替換字串型別值為null的列 |
--input-null-non-string <null-string> |
使用指定字串，替換非字串型別值為null的列 |
--staging-table <staging-table-name> |
在資料匯出到資料庫之前，資料臨時存放的表名稱 |
--clear-staging-table |
清除工作區中臨時存放的資料 |
--batch |
使用批量模式匯出 |
下面，我們通過例項來說明，在實際中如何使用這些選項。這裡，我們主要結合一個例項，講解如何將Hive中的資料匯入到MySQL資料庫。
首先，我們準備幾個表，MySQL資料庫為tag_db，裡面有兩個表，定義如下所示：
01 |
CREATE TABLE tag_db.users
( |
02 |
id INT(11) NOT NULL AUTO_INCREMENT, |
03 |
name VARCHAR(100) NOT NULL, |
05 |
)
ENGINE=InnoDB DEFAULT CHARSET=utf8; |
07 |
CREATE TABLE tag_db.tags
( |
08 |
id INT(11) NOT NULL AUTO_INCREMENT, |
10 |
tag VARCHAR(100) NOT NULL, |
12 |
)
ENGINE=InnoDB DEFAULT CHARSET=utf8; |
這兩個表中儲存的是基礎資料，同時對應著Hive中如下兩個表：
我們首先在上述MySQL的兩個表中插入一些測試資料：
1 |
INSERT INTO tag_db.users(name) VALUES('jeffery'); |
2 |
INSERT INTO tag_db.users(name) VALUES('shirdrn'); |
3 |
INSERT INTO tag_db.users(name) VALUES('sulee'); |
5 |
INSERT INTO tag_db.tags(user_id,
tag) VALUES(1, 'Music'); |
6 |
INSERT INTO tag_db.tags(user_id,
tag) VALUES(1, 'Programming'); |
7 |
INSERT INTO tag_db.tags(user_id,
tag) VALUES(2, 'Travel'); |
8 |
INSERT INTO tag_db.tags(user_id,
tag) VALUES(3, 'Sport'); |
然後，使用Sqoop的import工具，將MySQL兩個表中的資料匯入到Hive表，執行如下命令列：
匯入成功以後，再在Hive中建立一個用來儲存users和tags關聯後資料的表：
1 |
CREATE TABLE user_tags
( |
執行如下HQL語句，將關聯資料插入user_tags表：
1 |
FROM users
u JOIN tags
t ON u.id=t.user_id INSERT INTO TABLE user_tags SELECT CONCAT(CAST(u.id AS STRING),CAST(t.id AS STRING)),
u.name,
t.tag; |
將users.id與tags.id拼接的字串，作為新表的唯一欄位id，name是使用者名稱，tag是標籤名稱。
再在MySQL中建立一個對應的user_tags表，如下所示：
1 |
CREATE TABLE tag_db.user_tags
( |
2 |
id varchar(200) NOT NULL, |
3 |
name varchar(100) NOT NULL, |
4 |
tag varchar(100) NOT NULL |
使用Sqoop的export工具，將Hive表user_tags的資料同步到MySQL表tag_db.user_tags中，執行如下命令列：
1 |
bin/sqoop export --connect
jdbc:mysql://10.95.3.49:3306/tag_db --username shirdrn --P --table user_tags --export-dir /hive/user_tags
--input-fields-terminated-by '\001' --
--default-character-set=utf-8 |
執行匯出成功後，可以在MySQL的tag_db.user_tags表中看到對應的資料。
如果在匯出的時候出現類似如下的錯誤：
01 |
14/02/27
17:59:06 INFO mapred.JobClient: Task Id : attempt_201402260008_0057_m_000001_0, Status : FAILED |
02 |
java.io.IOException:
Can't export data, please check task tracker logs |
03 |
at
org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112) |
04 |
at
org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39) |
05 |
at
org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) |
06 |
at
org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) |
07 |
at
org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764) |
08 |
at
org.apache.hadoop.mapred.MapTask.run(MapTask.java:364) |
09 |
at
org.apache.hadoop.mapred.Child$4.run(Child.java:255) |
10 |
at
java.security.AccessController.doPrivileged(Native Method) |
11 |
at
javax.security.auth.Subject.doAs(Subject.java:396) |
12 |
at
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) |
13 |
at
org.apache.hadoop.mapred.Child.main(Child.java:249) |
14 |
Caused
by: java.util.NoSuchElementException |
15 |
at
java.util.AbstractList$Itr.next(AbstractList.java:350) |
16 |
at
user_tags.__loadFromFields(user_tags.java:225) |
17 |
at
user_tags.parse(user_tags.java:174) |
18 |
at
org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:83) |
通過指定欄位分隔符選項--input-fields-terminated-by，指定Hive中表欄位之間使用的分隔符，供Sqoop讀取解析，就不會報錯了。
轉：http://shiyanjun.cn/archives/624.html