Sqoop安裝及驗證

 環境：

系統	Red hat linux 6.4
Hadoop版本	1.2.1
Sqoop版本	1.4.4
Mysql資料庫版本	5.6.15

 

獲取sqoop：

 

Step1. 下載sqoop及mysqlconnector並解壓

Step2. 將解壓後的connector中的jar包複製到sqoop的lib目錄下

 

修改bin目錄下 configure-sqoop 檔案：

註釋掉hbase和 zookeeper檢查，因為目前還沒有啟用hbase/zookeeper等hadoop上的元件

 

Step3. 設定環境變數

注意重新連線使環境變數生效！

Sqoop:

Hadoop_home:

 

測試執行下sqoop：

可以使用help命令檢視幫助：

 

Step4. 測試mysql匯入HDFS：

 

建立一張測試表並插入資料：

 

 

利用sqoop將測試表匯入到hdfs：

注意：可以用sqoop help import 檢視幫助資訊

 

登陸mysql建立使用者，授予從任何ip登陸mysql許可權

這裡建立使用者sqoopuser

GRANT ALL PRIVILEGES ON *.* TO 'sqoopuser'@'%' IDENTIFIED BY 'sqoopuser' WITH GRANT OPTION;

 

檢視資料庫列表：

sqoop list-databases --connect jdbc:mysql://10.55.15.89:3306/ --username sqoopuser --P

 

執行匯入命令將sqoop_test表匯入到hdfs：

sqoop import --connect jdbc:mysql://10.55.15.89:3306/sqoop_db --username sqoopuser --P --table sqoop_test -m 1

 

語法備註：

sqoop import --connect jdbc:mysql://mysqlserver_IP/database_name --username 資料庫使用者名稱 --P --table 表名 -m 1

最後一個-m表示併發數

 

結果查詢：

可以看到hdfs裡面多出了一個檔案

 

檢視裡面具體的內容：

可以看到sqoop_test 表內的資料已經匯入HDFS