通過Sqoop實現Mysql / Oracle 與HDFS / Hbase互導資料

鬆門一枝花發表於2016-07-05
OOPMySqlOracle
下文將重點說明通過Sqoop實現Mysql與HDFS互導資料，Mysql與Hbase,Oracle與Hbase的互導最後給出命令。
一、Mysql與HDFS互導資料

環境：

宿主機器作業系統為Win7，Mysql安裝在宿主機上，宿主機地址為192.168.66.96
3臺虛擬機器作業系統為Ubuntu-12.04.1-32位
三臺虛擬機器已成功安裝Hadoop，並實現免金鑰互訪，配hosts為：
192.168.66.91 masternode
192.168.66.92 slavenode1
192.168.66.93 slavenode2
/etc/profile已配置好必備環境變數HADOOP_HOME，JAVA_HOME
實驗在masternode上進行，已成功連線mysql
 
步驟一，下載安裝包：
我安裝的Hadoop版本是原生hadoop-0.20.203.0，SQOOP不支援此版本，可使用CDH3版本hadoop，也可以通過拷貝相應的包到sqoop-1.2.0-CDH3B4/lib下，依然可以使用。
下載相關檔案：
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz
http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz
sqoop-1.2.0-CDH3B4依賴hadoop-core-0.20.2-CDH3B4.jar，所以你需要下載hadoop- 0.20.2-CDH3B4.tar.gz，解壓縮後將hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2- CDH3B4.jar複製到sqoop-1.2.0-CDH3B4/lib中。
另外，sqoop匯入mysql資料執行過程中依賴mysql-connector-java-*.jar，所以你需要下載mysql-connector-java-*.jar並複製到sqoop-1.2.0-CDH3B4/lib中。
 
步驟二，相關配置：
修改SQOOP的檔案configure-sqoop，註釋掉hbase和zookeeper檢查（除非你準備使用HABASE等HADOOP上的元件） #if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi
 
修改/etc/profile環境變數檔案(su root之後,sudo gedit /etc/profile)：
新增 export SQOOP_HOME=/home/grid/sqoop
在原有PATH後新增 :$SQOOP_HOME/bin
 
步驟三，在mysql中建立測試使用者，測試表和資料，並測試sqoop連線mysql：
建立使用者sqoop並授權：
grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;
 
建立表空間（schema）sqoop，並建立測試表：
create table students (
id int not null primary key,
name varchar(20),
age int)
 
插入測試資料：
insert into students values('10001','liyang',29);
insert into students values('10002','lion',28);
insert into students values('10003','leon',26);
 
在masternode測試sqoop能否成功連線宿主機器上的mysql：
sqoop list-tables --connect jdbc:mysql://192.168.66.96:3306/sqoop --username sqoop --password sqoop
如果能正確顯示出sqoop表空間中的students表，就說明sqoop已經可以成功連線mysql！
 
步驟四，將mysql中sqoop表空間的students表的三行資料匯入HDFS:
啟動hadoop：
start-all.sh
用jps驗證啟動是否成功
顯示正在執行以下程式即為啟動成功：
2820 SecondaryNameNode
4539 Jps
2887 JobTracker
2595 NameNode
 
從mysql匯入資料，執行如下命令：
sqoop import --connect jdbc:mysql://192.168.66.96:3306/sqoop --username sqoop --password sqoop --table students -m 1
 
驗證匯入資料是否成功：
若匯入成功，執行 hadoop dfs -ls 將能看到根目錄/user/grid/下有以表名命名的資料夾students
執行 hadoop dfs -ls /user/grid/students 能看到該資料夾中包含檔案：/user/grid/students/part-m-00000
執行 hadoop dfs -cat /user/grid/students/part-m-00000 就能看到該檔案已經包含mysql中students表的三行資料：
10001,liyang,29
10002,lion,28
10003,leon,26
 
步驟五，將HDFS中的資料匯入Mysql的students表中:
首先將mysql的students表資料清空：
delete from students；
 
然後在masternode上執行匯出資料命令：
sqoop export --connect jdbc:mysql://192.168.66.96:3306/sqoop --username sqoop --password sqoop --table students --export-dir hdfs://masternode:9000/user/grid/students/part-m-00000
 
若成功，在mysql中會看到students表中的資料恢復了！
 
注意：過程中可能會因為slavenode的50010埠沒開啟而報錯，需用root使用者通過sudo ufw allow 50010命令開啟埠！
 
二、Mysql與Hbase互導資料
將mysql的資料匯入hbase的命令格式為：
sqoop import --connect jdbc:mysql://mysqlserver_IP/databaseName --username --password password --table datatable --hbase-create-table --hbase-table hbase_tablename --column-family col_fam_name --hbase-row-key key_col_name
其中 ，databaseName 和datatable 是mysql的資料庫和表名，hbase_tablename是要導成hbase的表名，key_col_name可以指定datatable中哪一列作為hbase新表的rowkey，col_fam_name是除rowkey之外的所有列的列族名
 
例如：可通過如下命令將Mysql中的students表匯入到Hbase中：
/home/grid/sqoop/bin/sqoop import --connect jdbc:mysql://192.168.66.96/sqoop --username sqoop --password liyang16 --table students --hbase-create-table --hbase-table students --column-family stuinfo --hbase-row-key id
成功執行後，可在hbase中用以下命令檢視結果：
hbase(main):011:0> scan 'students'
ROW COLUMN+CELL
10001 column=stuinfo:age, timestamp=1356759994058, value=29
10001 column=stuinfo:name, timestamp=1356759994058, value=liyang
10002 column=stuinfo:age, timestamp=1356760044478, value=28
10002 column=stuinfo:name, timestamp=1356760044478, value=lion
10003 column=stuinfo:age, timestamp=1356760044478, value=26
10003 column=stuinfo:name, timestamp=1356760044478, value=leon
3 row(s) in 0.0900 seconds
 
三、Oracle與Hbase互導資料
將Oracle中的dept表（列為id，name，addr）匯出至hbase中的dept表（行鍵為id，列族為deptinfo）
sqoop import --append --connect jdbc:oracle:thin:@192.168.66.90:1521:orcl --username test --password test --m 1 --table dept --columns id,name,addr --hbase-create-table --hbase-table dept --hbase-row-key id --column-family deptinfo
 
-------------------------------------------------------------------------------------
注：以上所有命令均實測通過，只需修改引數即可執行！

相關文章