> 作者：幻好
>
> 來源：[恆生LIGHT雲社群](https://developer.hs.net/thread/1861)

## 概述

本文將透過虛擬機器搭建單機偽叢集的Hadoop服務，幫助更好的學習和理解Hadoop大資料平臺的執行原理。具體到每個細節，方便新手學習和理解。

![1.jpeg](https://developer.hs.net/storage/attachments/2021/12/31/zdzVUlnVyri7dJP6iUhDiERKexc7UW70JeU4lxiA.jpeg)

## 環境準備

- Linux centos 7（虛擬機器）
- JDK1.8
- Hadoop 2.5+

## JDK系統環境配置

首先檢查系統是否安裝JDK，如果安裝，確保系統安裝JDK版本在1.8+且不是OpenJDK，否則後續安裝Hadoop可能會報錯。
透過以下命令檢視JDK版本：`java -version`

> 如果安裝版本較低或者已經安裝了OpenJDK，可以透過命令進行解除安裝重灌：
> 檢視系統安裝的JDK包：`rpm -qa|grep java`
> 然後將查出的包進行逐個刪除：rpm -e --nodeps [包名]

安裝JDK時，首先建立一個資料夾用來存放JDK安裝包，如下命令：
`mkdir -p /opt/local/java/jdk`
進入以上建立目錄後，使用以下命令下載JDK包：
`weget [https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz](https://repo.huaweicloud.com/java/jdk/8u192-b12/jdk-8u192-linux-x64.tar.gz)`
下載完成後，對壓縮包進行解壓：
`tar -zxvf jdk-8u192-linux-x64.tar.gz`
解壓完成後，配置系統環境變數：
`vi /etc/profile`
向檔案末尾新增以下配置引數：

```
# jdk1.8
export JAVA_HOME=/opt/local/java/jdk/jdk1.8.0_192
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
```

配置完成後儲存，重新整理系統配置：
`source /etc/profile`
最後檢驗JDK是否生效：
`java -version`
列印以下日誌資訊即可。
![1640831159765-3d2d7921-9d7d-41ba-837c-4fde4afb8da9.png](https://developer.hs.net/storage/attachments/2021/12/31/9SWdbOww7ZFTHqh9CrDPRa7Ib8ATPZzw3QA6RPCa.png)

## 系統配置

1. 主機名配置

由於使用虛擬機器搭建，ip可能並不是固定的，為了更好的訪問和識別主機，我們需要先修改主機名配置，後面直接使用主機名訪問服務。
檢視主機目前的hostname：`hostname`
如果需要修改後的hostname能一直生效，則修改/etc/sysconfig/network檔案，向檔案新增以下引數：

```
NETWORKING=yes
HOSTNAME=centos001.com
```

修改後，需要重啟主機生效。
如果需要立即生效，可以直接使用命令：
`hostname centos001.com`

1. 防火牆配置

為了方便學習，先將防火牆關閉禁用，方便其他主機進行訪問。（當然也可以配置開放的埠）

- 使用命令檢視防火牆執行狀態：`systemctl status firewalld`
- 停止執行防火牆：`service firewalld stop`
- 永遠停用防火牆：`systemctl disable firewalld`

## Hadoop部署安裝

1. Hadoop安裝包準備
2. 首先建立存放Hadoop安裝包存放的目錄：
   - `mkdir -p /home/local/hadoop`
3. 然後進入建立目錄，下載Hadoop安裝包：
   - `wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz`
4. 解壓安裝包：
   - `tar -zxvf hadoop-2.10.1.tar.gz`
5. 配置Hadoop環境變數
6. 為了方便後續直接使用命令列啟動 Hadoop 相關服務，可以配置相關環境變數
7. 進入配置檔案 /etc/profile，向末尾追加以下配置

```
export HADOOP_HOME=/home/local/hadoop/hadoop-2.10.1/
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
```

1. core-site.xml配置
2. 向`configuration` 中新增以下配置引數：

```
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://centos001.com:8091</value>
    </property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/local/hadoop/hadoop-2.10.1/data/tmp</value>
    </property>
```

- 上述不使用ip訪問而改用主機名訪問，這裡配置HDFS的節點訪問。
- `hadoop.tmp.dir` 是 Hadoop 檔案系統依賴的基礎配置，很多路徑都依賴它。(如果hdfs-site.xml中不配置namenode和datanode的存放位置，預設就放在這個路徑中)。
- 需要提前儲存目錄建立好：`mkdir -p /home/local/hadoop/hadoop-2.10.1/data/tmp`
- hdfs-site.xml配置
- 配置 HDFS 的 DataNode 的備份數量（預設數量為3），只單機模擬執行，配置1

```
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
```

1. mapred-site.xml配置
2. 這裡配置Mapreduce的執行模式，常用的就是生產：`yarn`，測試：`local` 兩種模式。

```
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
```

1. yarn-site.xml配置
2. 配置資源服務的相關執行引數

```
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>centos001.com</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
```

1. slaves配置
2. 由於只演示單機模式，slaves檔案無需配置
3. 指令碼引數配置
4. hadoop-env.sh中需要配置JDK覺得路徑：`JAVA_HOME`，Hadoop配置路徑：`HADOOP_CONF_DIR`
5. yarn-env.sh中需要配置JDK覺得路徑：`JAVA_HOME`
6. mepre-env.sh中需要配置JDK覺得路徑：`JAVA_HOME`

## 測試啟動

### 首次啟動格式化

如果第一次啟動，需要先格式化 namenode

- 透過命令：`hdfs namenode -format`
- 如果看到列印以下日誌，則表示格式化成功

![1640847939947-70fdfa4b-66c4-483b-bbce-0769d1a848b1.png](https://developer.hs.net/storage/attachments/2021/12/31/agRUfwsZYHiKJQ02Le15gggXnA9ccJozVNavtJqN.png)

### 啟動Hadoop

透過以下命令啟動Hadoop相關服務節點：

- `hadoop-daemon.sh start namenode`
- `hadoop-daemon.sh start datanode`

啟動後，可以透過命令：`jps` 檢視服務是否成功啟動：
![1640848947970-ad497ba2-9264-40bf-a724-d2f7f85a5d3c.png](https://developer.hs.net/storage/attachments/2021/12/31/Z7Q09jmFKuz3GYoRHgK5TzFtWXQdyMeP5XtHsq1b.png)

### 啟動YARN

啟動 Hadoop 相關服務節點後，在啟動 Yarn 相關資源管理服務：

- `yarn-daemon.sh start resourcemanager`
- `yarn-daemon.sh start nodemanager`

啟動後，可以透過命令：`jps` 檢視服務是否成功啟動：
![1640849639914-637ec4de-2d87-42b7-8eed-2fe994cca0d0.png](https://developer.hs.net/storage/attachments/2021/12/31/pDygK9n0GDYiMN2bqlnDjyOhM4uipKxIKQqu47lX.png)

### 驗證頁面

服務啟動成功後，在我們的PC（windows）上，配置域名對映。開啟主機的hosts檔案，配置以下引數：

- `192.168.201.129 centos001.com`

配置儲存後，可以直接透過上述配置域名進行訪問Hadoop後臺監控頁面：[http://centos001.com:50070](http://centos001.com:50070/dfshealth.html#tab-overview)
![1640852047750-94d7d9b5-542c-4b69-9f68-4f8e4953fde6.png](https://developer.hs.net/storage/attachments/2021/12/31/LVC3WJ2ASRSOZo1P27qXrXJSxZPwGgKKYggB52qs.png)

![1640852061667-116bdd74-af1b-4ec3-a830-e8fbc018274d.png](https://developer.hs.net/storage/attachments/2021/12/31/OmRGz2qW10WZhFyXGlNsJ9TvAJcmjXfi50fs8sOr.png)

## 總結

以上為單機偽叢集的Hadoop搭建實踐過程，為了幫助新手更好的理解和學習 Hadoop ，實踐才能出真知。

有任何問題，歡迎一起討論交流。

***

想向技術大佬們多多取經？開發中遇到的問題何處探討？如何獲取金融科技海量資源？

[恆生LIGHT雲社群](https://developer.hs.net/)，由恆生電子搭建的金融科技專業社群平臺，分享實用技術乾貨、資源資料、金融科技行業趨勢，擁抱所有金融開發者。

掃描下方小程式二維碼，加入我們！

![](https://developer.hs.net/storage/attachments/2021/12/20/vzjJlveZdvxcz6rUjIBaPMbRK36iL8jCjtMU5h97.png)

【教程】手把手教你如何搭建Hadoop單機偽叢集

相關文章