（這篇部落格是本人csdn原創）
虛擬機器的建立（可以自行百度）
虛擬機器靜態網路的設定
1：首先更改虛擬機器的名字
hostnamectl set-hostname hadoop2
2：進入network配置資料夾中,配置你的虛擬網路卡
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
3:在系統原來的配置上，改
BOOTPROTO=static
ONBOOT=yes
4:新增配置（記得和你的相應配置相對應）
IPADDR=192.168.72.100
NETMASK=255.255.255.0
GATEWAY=192.168.72.2
DNS1=8.8.4.4
5：下面就有一些長得比較帥的小同學問了，上面這些東西我從哪裡來呢？，彆著急，這就一步一步告訴你
首先，開啟vmware,點選編輯，
點選虛擬網路編輯器
點選vMent8,再點選net設定即可
IPADDR 代表你的新的ip
NETMASK 代表子網掩碼
GATEWAY 你的閘道器
DNS1 你的 DNS（預設填寫8.8.8.8）
配置好網路之後，記得重啟網路服務
service network restart
嘗試ping百度
ping www.baidu.com
最後使用yum源安裝你的vim,讓你的字型擁有顏色
yum -y install vim
xshell連線你的虛擬機器，xftp傳入hadoop和java的安裝包
**xshell連線虛擬機器不再過多介紹，
開始解壓java和hadoop的安裝包
cd ~
在虛擬機器opt目錄下soft資料夾再在soft資料夾下建立java和hadoop資料夾
cd ~
解壓javaJDK到opt目錄的java目錄
tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/soft/java/
解壓hadoop到opt下的hadoop目錄下
tar -zxvf hadoop-2.7.7.tar.gz -C /opt/soft/hadoop/
檢視是否解壓成功
將Hadoop新增到環境變數
獲取 Hadoop 安裝路徑
開啟/etc/profile 檔案
在 profile 檔案末尾新增 JDK 路徑：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
將Java新增到環境變數
獲取java安裝環境
開啟/etc/profile 檔案
在 profile 檔案末尾新增 JDK 路徑
#JAVA_HOME
export JAVA_HOME=/opt/soft/jdk/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin
退出儲存後讓配置生效
source /etc/profile
測試Java環境和Hadoop環境
Java測試
hadoop測試
hadoop version
開始hadoop完全分散式的搭建
叢集規劃部署
配置叢集
首先進入hadoop的相關目錄（千萬別進錯目錄了 （0-0））
配置 core-site.xml
vim core-site.xml
在該檔案中編寫如下配置
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<!-- 指定 Hadoop 執行時產生檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop-2.7.7/data/tmp</value>
</property>
配置HDFS 配置檔案
配置 hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_261
配置 hdfs-site.xml
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定 Hadoop 輔助名稱節點主機配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop4:50090</value>
</property>
**配置 yarn-env.sh
vim yarn-env.sh**
export JAVA_HOME=/opt/java/jdk1.8.0_261
**配置 yarn-site.xml
vi yarn-site.xml**
在該檔案中增加如下配置
<!-- Reducer 獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌保留時間設定 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
**MapReduce 配置檔案
配置 mapred-env.sh**
vim mapred-env.sh
export JAVA_HOME=/opt/java/jdk1.8.0_261
**配置 mapred-site.xml**
從模板複製一份並改名為 mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
編輯 mapred-site.xml
vi mapred-site.xml
在該檔案中增加如下配置
<!-- 指定 MR 執行在 Yarn 上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property><!-- 歷史伺服器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<!-- 歷史伺服器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
將配置好的虛擬機器克隆為三臺（如何克隆？不會？別慌！這就來教你）
1：首先，關閉你建立好的虛擬機器
shutdown -h now
2 點選下一步
3 點選下一步
4：選擇完整克隆
配置另外兩臺虛擬機器的ip和主機名
把已經克隆的兩臺機子的主機名和ip新增在etc下面的hosts
vim /etc/hosts
新增另外兩臺的主機名和ip
最後三臺虛擬機器的hosts內容應當一致
配置相關的ssh免金鑰登入（為什麼要配置ssh免金鑰登入）
單節點啟動太麻煩！！！
生成公鑰和私鑰：
ssh-keygen -t rsa
然後敲（三個回車），就會生成兩個檔案 id_rsa（私鑰）、id_rsa.pub（公鑰）
將公鑰拷貝到要免密登入的目標機器上
ssh-copy-id hadoop2
ssh-copy-id hadoop3
ssh-copy-id hadoop4
群起節點最後的準備
配置 slaves
cd /opt/soft/hadoop-2.7.t/etc/hadoop/slaves
編輯salves
vim slaves
在該檔案中增加如下內容：(建立的三臺虛擬機器都要新增)
hadoop2
hadoop3
hadoop4
啟動叢集
如果叢集是第一次啟動，需要格式化 NameNode（注意格式化之前，一定要先停
止上次啟動的所有 namenode 和 datanode 程式，然後再刪除 data 和 log 資料）
bin/hdfs namenode -format
在你的主節點上啟動dfs（上面的檢視程式沒有啟動yarn）
start-dfs.sh
在你配置yarn的機子上啟動yarn
start-yarn.sh
開啟你的瀏覽器輸入ip+埠（埠是50070）可以看到hadoop對應的介面
