1.sqoop產生的原因：

A. 多數使用hadoop技術的處理大資料業務的企業，有大量的資料儲存在關係型資料中。

B. 由於沒有工具支援，對hadoop和關係型資料庫之間資料傳輸是一個很困難的事。

依據以上的原因sqoop產生的。

sqoop的介紹

sqoop是連線關係型資料庫和hadoop的橋樑，主要有兩個方面(匯入和匯出)：

A. 將關係型資料庫的資料匯入到Hadoop 及其相關的系統中，如 Hive和HBase

B. 將資料從Hadoop 系統裡抽取並匯出到關係型資料庫

目前用的是將hadoop 中的資料抽取出來搞成藉助hive 形成的SQL  insert 到關係DB中。

二。sqoop  export 的使用
sqoop export指令的作用就是，將叢集HDFS中資料匯出至關係型資料庫中。
現在hive 中操作，建立表結構和資料，關係DB中也建立對應的資料表。
3、在叢集中執行sqoop export 指令匯出叢集資料

sqoop export --connect 'jdbc:mysql://10.100.157.28:3306/demo' \
--username 'root' \
--password 'jfdev123' \
--table 'export_txt_demo' \
--export-dir  /user/hive/warehouse//dc_dev.db/export_txt_demo \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N'
 
引數說明:
--connect '資料庫連線' \
--username '資料庫賬號' \
--password '資料庫密碼' \
--table '資料庫表名' \
--export-dir  叢集hdfs中匯出的資料目錄 \
--input-fields-terminated-by '分隔符,textfile型別預設\001' \
--input-null-string '空值處理:\\N' \
--input-null-non-string '空值處理:\\N'
 
## “--export-dir” 引數是資料在hdfs中的路徑
## 可在hive中，透過 show create 表（即：show create dc_dev.export_txt_demo）
## 即可知道表資料在hdfs中的位置

eval是sqoop提供的連線資料庫的客戶端工具。
sqoop eval \
--connect jdbc:mysql://123.123.4.52:3306/linshi_1 \
--username root \
--password 1313134 \
--query "select * from e_board"

也可以進行使用eval來插入刪除資料

sqoop eval \
--connect jdbc:mysql://11.34.33.22:3306/linshi_1 \
--username root \
--password 12313 \
--e "INSERT INTO e_board (title,num,hide) VALUES('aa',15,30)"
 
 
sqoop eval \
--connect jdbc:mysql://12.34.55.66:3306/linshi_1 \
--username root \
--password 23424 \
--e "delete from e_board where id=22"
 
 
或者清空表：
 
sqoop eval \
--connect jdbc:mysql://12.34.55.66:3306/linshi_1 \
--username root \
--password 23424 \
--e "truncate table table_name;"

推薦閱讀：
https://blog.csdn.net/belialxing/article/details/109588272
https://blog.csdn.net/godlovedaniel/article/details/125042358

sqoop 架構分析

相關文章