Sqoop2安裝
Sqoop2安裝,基於版本sqoop-1.99.7,
Sqoop2為單機安裝,沒有叢集概念。
Sqoop2安裝依賴Hadoop環境,可以理解為一個Hadoop客戶端,
不需要啟動Hadoop相關的服務。
1.安裝規劃
vi /etc/hosts
10.43.159.9 zdh-9
hdfs/zdh1234
/home/hdfs/hadoop-2.7.1
useradd -g hadoop -s /bin/bash -md /home/sqoop2 sqoop2
sqoop2/zdh1234
2.登陸sqoop2使用者,獲取並且解壓安裝包
scp root@zdh-11:/home/sqoop/sqoop2/sqoop-1.99.7-bin-hadoop200.tar.gz .
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
3.配置環境變數
安裝jdk,修改.bashrc檔案,配置jdk目錄:
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
配置sqoop2的環境變數:
export SQOOP_HOME=/home/sqoop2/sqoop-1.99.7-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin
配置hadoop的環境變數:
export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.修改hadoop配置檔案
登陸hadoop使用者,修改core-site.xml檔案,增加sqoop2使用者的相關配置:
<property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value></property><property> <name>hadoop.proxyuser.sqoop2.groups</name> <value>*</value></property>
5.修改sqoop2配置檔案
修改sqoop.properties:
# Hadoop configuration directoryorg.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hdfs/hadoop-2.7.1/etc/hadoop
全域性替換LOGDIR日誌儲存目錄:
%s:@LOGDIR@:/home/sqoop2/sqoop-1.99.7-bin-hadoop200/logs:g
全域性替換BASEDIR sqoo2安裝目錄:
%s:@BASEDIR@:/home/sqoop2/
配置檔案sqoop_bootstrap.properties使用預設值即可,無需修改。
6.初始化sqoop2後設資料
sqoop2-tool upgrade
執行成功:"Tool class org.apache.sqoop.tools.tool.UpgradeTool has finished correctly."
sqoop2-tool verify
執行成功:"Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly."
7.啟動sqoop2
sqoop2-server start
停止sqoop2:
sqoop2-server stop
8.驗證
jps檢視程式:
SqoopJettyServer
瀏覽器訪問URL,獲取所有的connector:
客戶端登陸:
sqoop2-shell
展示所有的connector:
show connector
作者:木木與呆呆
連結:
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/758/viewspace-2818452/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 安裝npm 解除安裝npm 安裝apidocNPMAPI
- BiocManager安裝,devtools安裝dev
- Linux安裝解除安裝MySQLLinuxMySql
- linux 安裝yum 安裝phpLinuxPHP
- Ubuntu解除安裝和安裝Ubuntu
- 02 安裝git、安裝TortoiseGitGit
- cocoapods安裝/解除安裝/使用
- JDK安裝和解除安裝JDK
- ffmpeg安裝之mac安裝Mac
- docker安裝及解除安裝Docker
- [ 安裝 ] Zeppelin安裝步驟!
- win10安裝版怎麼安裝_安裝版win10安裝教程Win10
- ElasticSearch的安裝和使用,Postman的安裝,Kibana的安裝,EShead外掛的安裝ElasticsearchPostman
- Mac Redis安裝與解除安裝MacRedis
- 安裝了IDLE後安裝tensorflow
- kratos安裝及依賴安裝
- Linux 解除安裝openjdk 安裝oraclejdkLinuxJDKOracle
- debian安裝和解除安裝vmware
- JDK的安裝與解除安裝JDK
- linux 解除安裝jdk和安裝LinuxJDK
- 【推薦 - glibc安裝】MySQL - 安裝MySql
- linux下安裝snap安裝工具Linux
- [雲原生]Docker - 安裝&解除安裝Docker
- Ubuntu安裝和解除安裝mongodbUbuntuMongoDB
- window下安裝並使用nvm(含解除安裝node、解除安裝nvm、全域性安裝npm)NPM
- 安裝
- air安裝win10怎麼解除安裝_air安裝win10如何解除安裝AIWin10
- Centos Docker安裝、升級、解除安裝CentOSDocker
- Webpack學習 – Webpack安裝及安裝Web
- Linux-Ubuntu-mysql-安裝&解除安裝LinuxUbuntuMySql
- Centos7.9安裝解除安裝DockerCentOSDocker
- Centos7安裝安裝部署dockerCentOSDocker
- Linux系統安裝——Centos 7.6安裝LinuxCentOS
- PostgreSQL 10.12 安裝系列 - 原始碼安裝SQL原始碼
- PostgreSQL 10.12 安裝系列 - 本地RPM安裝SQL
- 【 Linux 軟體安裝 】- 1 JDK安裝LinuxJDK
- Python pip的安裝及解除安裝Python
- CentOS7安裝php、安裝MySqlCentOSPHPMySql