【大資料】— sqoop ?

13545163656發表於2018-06-11
大資料OOP
介紹
    
sqoop(SQL to Hadoop),是一款開源工具,主要用於在Hadoop()與傳統的RDBMS(MySQL SQLServer Oracle)進行的資料傳遞,sqoop主要是封裝了Hadoop的匯入與匯出,底層透過MapReduce的MapTask把關係型資料庫的資料匯入到HDFS中,同樣也是用過MapTask把HDFS的資料匯入到關係型資料庫中,起著一個橋樑作用。

sqoop的版本

sqoop是Apache軟體基金會提供的開源框架。官方網站參考：

主要為sqoop1.x與sqoop2.x;目前主要主1.4.6為主 2.x變化大使用少;

基本使用

透過sqoop，你可以從關係型資料庫中匯出資料，匯入到hdfs中。輸入命令可能查詢資料庫的一個庫或者一張表查詢結果;輸出則是資料庫表或者結果的匯出檔案集合。匯入程式是並行的(預設4個mr)，因此輸出的結果可能是多個檔案（最終在hdfs中可能會得到多個檔案）。這些檔案可能是標準的文字檔案TextFile（比如,使用逗號或者/t做欄位間的分割 可以指定分割引數）。

sqoop的匯入程式是一個自動生成出來的java class，因此它的很多元件都可以自定義，比如匯入的格式壓縮、文字的格式、匯出的格式等等。

安裝部署方式及引數詳細使用參考下一篇部落格.............

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31441024/viewspace-2155940/，如需轉載，請註明出處，否則將追究法律責任。

相關文章