## 體驗平臺簡介

面向開發者和中小企業打造的一站式、全雲端的開發平臺，開啟瀏覽器就可以開發、除錯、上線，所測即所得，並結合無伺服器的模式，重新定義雲原生時代的研發工作方法論。旨在降低開發者上手成本和中小企業的啟動成本、運營成本、以及突發流量帶來的運維風險。

## 教程介紹

本教程介紹如何在Linux例項上快速搭建一個Hadoop偽分散式環境。

## 場景體驗

場景內容選自 阿里雲體驗實驗室  
阿里雲體驗實驗室 提供一臺配置了**CentOS 7.7**的ECS例項（雲伺服器）。透過本教程的操作，您可以基於ECS例項搭建Hadoop偽分散式環境。

**阿里雲場景免費資源**：
[https://developer.aliyun.com/adc/scenario/cf48abdfe41e4187be079722b9dc15b6](https://developer.aliyun.com/adc/scenario/cf48abdfe41e4187be079722b9dc15b6)

## 背景知識
Apache Hadoop

Apache Hadoop軟體庫是一個框架，該框架允許使用簡單的程式設計模型跨計算機叢集對大型資料集進行分散式處理。它旨在從單個伺服器擴充套件到數千臺機器，每臺機器都提供本地計算和儲存。庫本身不是設計用來依靠硬體來提供高可用性，而是旨在檢測和處理應用程式層的故障，因此可以在計算機叢集的頂部提供高可用性的服務，而每臺計算機都容易出現故障。
## 步驟一：安裝JDK
1.執行以下命令，下載JDK1.8安裝包。

```
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
```
2.執行以下命令，解壓下載的JDK1.8安裝包。

```
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
```
3.執行以下命令，移動並重新命名JDK包。

```
mv java-se-8u41-ri/ /usr/java8
```
4.執行以下命令，配置Java環境變數。

```
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
```
5.執行以下命令，檢視Java是否成功安裝。

```
java -version
```
如果返回以下資訊，則表示安裝成功。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826150612105.png#pic_center)

## 步驟二：安裝Hadoop
1.執行以下命令，下載Hadoop安裝包。

```
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

```
2.執行以下命令，解壓Hadoop安裝包至/opt/hadoop。

```
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/
mv /opt/hadoop-2.9.2 /opt/hadoop
```
3.執行以下命令，配置Hadoop環境變數。

```
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile    
```
4.執行以下命令，修改配置檔案yarn-env.sh和hadoop-env.sh。

```
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
```
5.執行以下命令，測試Hadoop是否安裝成功。

```
hadoop version
```
如果返回以下資訊，則表示安裝成功。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826150742709.png#pic_center)

## 步驟三：配置Hadoop
1.修改Hadoop配置檔案core-site.xml。

- a.執行以下命令開始進入編輯頁面。

```
vim /opt/hadoop/etc/hadoop/core-site.xml

```

- b.輸入i進入編輯模式。 c.在<configuration></configuration>節點內插入如下內容。

```
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
```

- d.按Esc鍵退出編輯模式，輸入:wq儲存退出。
 
2.修改Hadoop配置檔案hdfs-site.xml。
a.執行以下命令開始進入編輯頁面。

```
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
```
b.輸入i進入編輯模式。
c.在<configuration></configuration>節點內插入如下內容。

```
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>
```
d.按Esc鍵退出編輯模式，輸入:wq儲存退出。

## 步驟四：配置SSH免密登入
1.執行以下命令，建立公鑰和私鑰。

```
ssh-keygen -t rsa

```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826151214383.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)

2.執行以下命令，將公鑰新增到authorized_keys檔案中。

```
cd .ssh
cat id_rsa.pub >> authorized_keys
```

## 步驟五：啟動Hadoop
1.執行以下命令，初始化namenode 。

```
hadoop namenode -format

```
2.依次執行以下命令，啟動Hadoop。

```
依次執行以下命令，啟動Hadoop。

```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826151352593.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)

```
start-yarn.sh

```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826151405772.png#pic_center)
3.啟動成功後，執行以下命令，檢視已成功啟動的程式。

```
jps
```
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826151424403.png#pic_center)
4.開啟瀏覽器訪問http://<ecs>:8088和http://<ecs>:50070，顯示如下介面則表示Hadoop偽分散式環境搭建完成。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200826151437237.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
以上就是【搭建Hadoop環境】 的所有教程了

更多體驗場景請至開發者實驗室：[https://developer.aliyun.com/adc/labs/](https://developer.aliyun.com/adc/labs/)</ecs></ecs>

阿里雲體驗實驗室教你如何《搭建Hadoop環境》

相關文章

阿里雲體驗實驗室 教你如何《搭建Hadoop環境》

相關文章

阿里雲體驗實驗室教你如何《搭建Hadoop環境》