Sqoop2安裝

dapan發表於2021-09-09

Sqoop2安裝,基於版本sqoop-1.99.7,
Sqoop2為單機安裝,沒有叢集概念。
Sqoop2安裝依賴Hadoop環境,可以理解為一個Hadoop客戶端,
不需要啟動Hadoop相關的服務。

1.安裝規劃

vi /etc/hosts
10.43.159.9 zdh-9

hdfs/zdh1234
/home/hdfs/hadoop-2.7.1

useradd -g hadoop -s /bin/bash -md /home/sqoop2 sqoop2
sqoop2/zdh1234

2.登陸sqoop2使用者,獲取並且解壓安裝包

scp root@zdh-11:/home/sqoop/sqoop2/sqoop-1.99.7-bin-hadoop200.tar.gz .
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz

3.配置環境變數

安裝jdk,修改.bashrc檔案,配置jdk目錄:
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

配置sqoop2的環境變數:
export SQOOP_HOME=/home/sqoop2/sqoop-1.99.7-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin

配置hadoop的環境變數:
export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.修改hadoop配置檔案

登陸hadoop使用者,修改core-site.xml檔案,增加sqoop2使用者的相關配置:

<property>
  <name>hadoop.proxyuser.sqoop2.hosts</name>
  <value>*</value></property><property>
  <name>hadoop.proxyuser.sqoop2.groups</name>
  <value>*</value></property>

5.修改sqoop2配置檔案

修改sqoop.properties:

# Hadoop configuration directoryorg.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hdfs/hadoop-2.7.1/etc/hadoop

全域性替換LOGDIR日誌儲存目錄:
%s:@LOGDIR@:/home/sqoop2/sqoop-1.99.7-bin-hadoop200/logs:g

全域性替換BASEDIR sqoo2安裝目錄:
%s:@BASEDIR@:/home/sqoop2/

配置檔案sqoop_bootstrap.properties使用預設值即可,無需修改。

6.初始化sqoop2後設資料

sqoop2-tool upgrade
執行成功:"Tool class org.apache.sqoop.tools.tool.UpgradeTool has finished correctly."

sqoop2-tool verify
執行成功:"Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly."

7.啟動sqoop2

sqoop2-server start

停止sqoop2:
sqoop2-server stop

8.驗證

jps檢視程式:
SqoopJettyServer

瀏覽器訪問URL,獲取所有的connector:

客戶端登陸:
sqoop2-shell
展示所有的connector:
show connector



作者:木木與呆呆
連結:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/758/viewspace-2818452/,如需轉載,請註明出處,否則將追究法律責任。

相關文章