大資料技術之Hadoop（入門）第3章 Hadoop執行環境搭建

3.1 虛擬機器環境準備

1） 克隆虛擬機器

2） 修改克隆虛擬機器的靜態ip

3） 修改主機名

4） 關閉防火牆

5） 建立atguigu使用者

6） 配置atguigu使用者具有root許可權

以上6條內容詳見《尚矽谷大資料技術之Linux》文件。

7）在/opt目錄下建立資料夾

（1）在/opt目錄下建立module、software資料夾

[atguigu@hadoop101 opt]$ sudo mkdir module

[atguigu@hadoop101 opt]$ sudo mkdir software

（2）修改module、software資料夾的所有者

[atguigu@hadoop101 opt]$ sudo chown atguigu:atguigu module/ software/

[atguigu@hadoop101 opt]$ ll

總用量 8

drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:37 module

drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:38 software

3.2 安裝jdk

1）解除安裝現有jdk

（1）查詢是否安裝java軟體：

[atguigu@hadoop101 opt]$ rpm -qa | grep java

（2）如果安裝的版本低於1.7，解除安裝該jdk：

[atguigu@hadoop101 opt]$ sudo rpm -e 軟體包

2）用SecureCRT工具將jdk匯入到opt目錄下面的software資料夾下面

“alt+p”進入sftp模式

選擇jdk1.8拖入

3）在linux系統下的opt目錄中檢視軟體包是否匯入成功。

[atguigu@hadoop101 opt]$ cd software/

[atguigu@hadoop101 software]$ ls

hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4）解壓jdk到/opt/module目錄下

[atguigu@hadoop101 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5）配置jdk環境變數

（1）先獲取jdk路徑：

[atgui@hadoop101 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

（2）開啟/etc/profile檔案：

[atguigu@hadoop101 software]$ sudo vi /etc/profile

在profile檔案末尾新增jdk路徑：

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

（3）儲存後退出：

:wq

（4）讓修改後的檔案生效：

[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile

6）測試jdk是否安裝成功：

[atguigu@hadoop101 jdk1.8.0_144]# java -version

java version "1.8.0_144"

注意：重啟（如果java -version可以用就不用重啟）

[atguigu@hadoop101 jdk1.8.0_144]$ sync

[atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot

3.3 安裝Hadoop

0）Hadoop下載地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1. 用SecureCRT工具將hadoop-2.7.2.tar.gz匯入到opt目錄下面的software資料夾下面

切換到sftp連線頁面，選擇Linux下編譯的hadoop jar包拖入

2）進入到Hadoop安裝包路徑下：

[atguigu@hadoop101 ~]$ cd /opt/software/

3）解壓安裝檔案到/opt/module下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4）檢視是否解壓成功

[atguigu@hadoop101 software]$ ls /opt/module/

hadoop-2.7.2

5）將hadoop新增到環境變數

（1）獲取hadoop安裝路徑：

[atguigu@ hadoop101 hadoop-2.7.2]$ pwd

/opt/module/hadoop-2.7.2

（2）開啟/etc/profile檔案：

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profie檔案末尾新增jdk路徑：（shitf+g）

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

（3）儲存後退出：

:wq

（4）讓修改後的檔案生效：

[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6）測試是否安裝成功

[atguigu@hadoop102 ~]$ hadoop version

Hadoop 2.7.2

7）重啟(如果hadoop命令不能用再重啟)：

[atguigu@ hadoop101 hadoop-2.7.2]$ sync

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

 

本教程由尚矽谷教育大資料研究院出品，如需轉載請註明來源。