### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 在CentOS7環境下，hadoop2.7.7叢集部署的實戰的步驟如下：
1. 機器規劃；
2. Linux設定；
3. 建立使用者和使用者組
4. SSH免密碼設定；
5. 檔案下載；
6. Java設定；
7. 建立hadoop要用到的資料夾；
8. hadoop設定；
9. 格式化hdfs；
10. 啟動hadoop；
11. 驗證hadoop；

- 接下來就逐步開始吧；

### 機器規劃
- 本次實戰用到了三臺CentOS7的機器，身份資訊如下所示：

| IP地址 | hostname(主機名) | 身份 |
|--|--|--|
| 192.168.119.163 | node0 | NameNode、ResourceManager、HistoryServer|
| 192.168.119.164 | node1 | DataNode、NodeManager |
| 192.168.119.165 | node2 | DataNode、NodeManager、SecondaryNameNode  |

###  Linux設定（三臺電腦都要做）
- 修改檔案**/etc/hostname**，將三臺電腦的內容分別改為node0、node1、node2；
- 修改檔案**/etc/hosts**，在尾部增加以下三行內容：

```shell
192.168.119.163 node0
192.168.119.164 node1
192.168.119.165 node2
```

- 關閉防火牆，並禁止啟動：

```shell
systemctl stop firewalld.service && systemctl disable firewalld.service
```

- 關閉SELINUX，開啟檔案**/etc/selinux/config**，找到SELINUX的配置，改為**SELINUX=disabled**；

### 建立使用者和使用者組
- 執行以下命令建立使用者和使用者組：

```shell
groupadd hadoop && useradd -d /home/hadoop -g hadoop -m hadoop
```

- 建立完賬號後記得用命令**passwd**初始化hadoop賬號的密碼；

### SSH免密碼設定
- node0、node1、node2三臺機器之間要設定SSH免密碼登入，詳細的設定步驟請參考[《Linux配置SSH免密碼登入(非root賬號)》](https://blog.csdn.net/boling_cavalry/article/details/86772345) ；

### 改用hadoop賬號登入
- 後面在三臺機器上的所有操作，都是用hadoop賬號進行的，不再使用root賬號；

### 檔案下載
- 將JDK安裝檔案jdk-8u191-linux-x64.tar.gz下載到hadoop賬號的家目錄下；
- 將hadoop安裝檔案hadoop-2.7.7.tar.gz下載到hadoop賬號的家目錄下；
- 下載完畢後，家目錄下的內容如下所示：

```shell
[hadoop@node0 ~]$ ls ~
hadoop-2.7.7.tar.gz  jdk-8u191-linux-x64.tar.gz
```

### JDK設定（三臺電腦都要做）
- 解壓jdk-8u191-linux-x64.tar.gz檔案：

```shell
tar -zxvf ~/jdk-8u191-linux-x64.tar.gz
```

- 開啟檔案**~/.bash_profile**，在尾部追加以下內容：

```shell
export JAVA_HOME=/home/hadoop/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
```

- 執行命令**source ~/.bash_profile**使得JDK設定生效；
v執行命令**java -version**確認設定成功：

```shell
[hadoop@node0 ~]$ java -version
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
```
### 建立hadoop要用到的資料夾（三臺電腦都要做）

- 建立資料夾，後面hadoop會用到：

```shell
mkdir -p ~/work/tmp/dfs/name && mkdir -p ~/work/tmp/dfs/data
```

### hadoop設定
- 以hadoop賬號登入node0；
- 解壓hadoop安裝包：

```shell
tar -zxvf hadoop-2.7.7.tar.gz
```

- 進入目錄**~/hadoop-2.7.7/etc/hadoop**；
- 依次編輯hadoop-env.sh、mapred-env.sh、yarn-env.sh這三個檔案，確保它們的內容中都有JAVA_HOME的正確配置，如下：

```shell
export JAVA_HOME=/home/hadoop/jdk1.8.0_191
```

- 編輯core-site.xml檔案，找到configuration節點，改成以下內容：

```xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node0:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/work/tmp</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>
</configuration>
```

- 編輯hdfs-site.xml檔案，找到configuration節點，改成以下內容，把node2配置成sendary namenode：

```xml
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:50090</value>
  </property>
</configuration>
```

- 編輯slaves檔案，刪除裡面的"localhost"，增加兩行內容：

```shell
node1
node2
```

- 編輯yarn-site.xml檔案，找到configuration節點，改成以下內容：

```xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node0</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
  </property>
</configuration>
```

- 將檔案mapred-site.xml.template改名為mapred-site.xml：

```shell
mv mapred-site.xml.template mapred-site.xml
```

- 編輯mapred-site.xml檔案，找到configuration節點，改成以下內容：

```xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node0:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node0:19888</value>
  </property>
</configuration>
```

- 將整個**hadoop-2.7.7**目錄同步到node1的家目錄：

```shell
scp -r ~/hadoop-2.7.7 hadoop@node1:~/
```

- 將整個**hadoop-2.7.7**目錄同步到node2的家目錄：

```shell
scp -r ~/hadoop-2.7.7 hadoop@node2:~/
```

### 格式化hdfs

- 在node0執行以下命令格式化hdfs：

```shell
~/hadoop-2.7.7/bin/hdfs namenode -format
```

### 啟動hadoop

- 在**node0**機器執行以下命令，啟動hdfs：

```shell
~/hadoop-2.7.7/sbin/start-dfs.sh
```

- 在**node0**機器執行以下命令，啟動yarn：

```shell
~/hadoop-2.7.7/sbin/start-yarn.sh
```

- 在**node0**機器執行以下命令，啟動ResourceManager：
```shell
~/hadoop-2.7.7/sbin/yarn-daemon.sh start resourcemanager
```

- 在**node0**機器執行以下命令，啟動日誌服務：
```shell
~/hadoop-2.7.7/sbin/mr-jobhistory-daemon.sh start historyserver
```

- 啟動成功後，在node0執行**jps**命令檢視java程式，如下：

```shell
[hadoop@node0 ~]$ jps
3253 JobHistoryServer
2647 NameNode
3449 Jps
2941 ResourceManager
```

- 在node1執行**jps**命令檢視java程式，如下：

```shell
[hadoop@node1 ~]$ jps
2176 DataNode
2292 NodeManager
2516 Jps
```

- 在node2執行**jps**命令檢視java程式，如下：

```shell
[hadoop@node2 ~]$ jps
1991 DataNode
2439 Jps
2090 SecondaryNameNode
2174 NodeManager
```
- 至此，hadoop啟動成功；
### 驗證hadoop
- 下面執行一次經典的WorkCount程式來檢查hadoop工作是否正常：
- 以hadoop賬號登入node0，在家目錄建立檔案test.txt，內容如下：

```shell
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
```

- 在hdfs上建立一個資料夾：

```shell
~/hadoop-2.7.7/bin/hdfs dfs -mkdir /input
```

- 將test.txt檔案上傳的hdfs的/input目錄下：

```shell
~/hadoop-2.7.7/bin/hdfs dfs -put ~/test.txt /input
```

- 直接執行hadoop安裝包中自帶的workcount程式：

```shell
~/hadoop-2.7.7/bin/yarn \
jar ~/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \
wordcount \
/input/test.txt \
/output
```

- 控制檯輸出如下：

```shell
[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/yarn \
> jar ~/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar \
> wordcount \
> /input/test.txt \
> /output
19/02/08 14:34:28 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.119.164:8032
19/02/08 14:34:29 INFO input.FileInputFormat: Total input paths to process : 1
19/02/08 14:34:29 INFO mapreduce.JobSubmitter: number of splits:1
19/02/08 14:34:29 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1549606965916_0001
19/02/08 14:34:30 INFO impl.YarnClientImpl: Submitted application application_1549606965916_0001
19/02/08 14:34:30 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1549606965916_0001/
19/02/08 14:34:30 INFO mapreduce.Job: Running job: job_1549606965916_0001
19/02/08 14:34:36 INFO mapreduce.Job: Job job_1549606965916_0001 running in uber mode : false
19/02/08 14:34:36 INFO mapreduce.Job:  map 0% reduce 0%
19/02/08 14:34:41 INFO mapreduce.Job:  map 100% reduce 0%
19/02/08 14:34:46 INFO mapreduce.Job:  map 100% reduce 100%
19/02/08 14:34:46 INFO mapreduce.Job: Job job_1549606965916_0001 completed successfully
19/02/08 14:34:46 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=94
		FILE: Number of bytes written=245525
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=168
		HDFS: Number of bytes written=60
		HDFS: Number of read operations=6
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=1
		Launched reduce tasks=1
		Data-local map tasks=1
		Total time spent by all maps in occupied slots (ms)=2958
		Total time spent by all reduces in occupied slots (ms)=1953
		Total time spent by all map tasks (ms)=2958
		Total time spent by all reduce tasks (ms)=1953
		Total vcore-milliseconds taken by all map tasks=2958
		Total vcore-milliseconds taken by all reduce tasks=1953
		Total megabyte-milliseconds taken by all map tasks=3028992
		Total megabyte-milliseconds taken by all reduce tasks=1999872
	Map-Reduce Framework
		Map input records=4
		Map output records=11
		Map output bytes=115
		Map output materialized bytes=94
		Input split bytes=97
		Combine input records=11
		Combine output records=7
		Reduce input groups=7
		Reduce shuffle bytes=94
		Reduce input records=7
		Reduce output records=7
		Spilled Records=14
		Shuffled Maps =1
		Failed Shuffles=0
		Merged Map outputs=1
		GC time elapsed (ms)=93
		CPU time spent (ms)=1060
		Physical memory (bytes) snapshot=430956544
		Virtual memory (bytes) snapshot=4203192320
		Total committed heap usage (bytes)=285212672
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=71
	File Output Format Counters 
		Bytes Written=60
```

- 檢視輸出結果：

```shell
~/hadoop-2.7.7/bin/hdfs dfs -ls /output
```

- 可見hdfs的/output目錄下，有兩個檔案：

```shell
[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2019-02-08 14:34 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2019-02-08 14:34 /output/part-r-00000
```

- 看一下檔案part-r-00000的內容：

```shell
[hadoop@node0 ~]$ ~/hadoop-2.7.7/bin/hdfs dfs -cat /output/part-r-00000
hadoop	3
hbase	1
hive	2
mapreduce	1
spark	2
sqoop	1
storm	1
```
- 可見WorkCount計算成功，結果符合預期；<br>

- hdfs網頁如下圖，可以看到檔案資訊，地址：http://192.168.119.163:50070
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190208144044570.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- yarn的網頁如下圖，可以看到任務資訊，地址：http://192.168.119.163:8088
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20190208144303515.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 至此，hadoop2.7.7叢集搭建和驗證完畢，希望在您搭建環境時能給您提供一些參考；

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

Linux部署hadoop2.7.7叢集

相關文章