Ambari環境準備

美食江湖發表於2020-11-17

1 虛擬機器準備

克隆三臺虛擬機器(hadoop102、hadoop103、hadoop104),配置好對應主機的網路IP、主機名稱、關閉防火牆。

[root@hadoop102 ~]# chkconfig iptables off

[root@hadoop102 ~]# service iptables stop

[root@hadoop102 ~]# chkconfig –list iptables

iptables 0:關閉 1:關閉 2:關閉 3:關閉 4:關閉 5:關閉 6:關閉

大資料培訓Ambari環境準備

2 關閉SELINUX

[root@hadoop102 ~]# vim /etc/sysconfig/selinux
將SELINUX=enforcing改為SELINUX=disabled

執行該命令後重啟機器生效

大資料培訓Ambari環境準備

3 安裝JDK

1)在hadoop102的/opt目錄下建立module和software資料夾

[root@hadoop102 opt]# mkdir module

[root@hadoop102 opt]# mkdir software

2)用SecureCRT將jdk-8u144-linux-x64.tar.gz匯入到hadoop102的/opt/software目錄下

3)在Linux系統下的opt目錄中檢視軟體包是否匯入成功

[root@hadoop102 software]$ ls

jdk-8u144-linux-x64.tar.gz

4)解壓JDK到/opt/module目錄下

[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5)配置JDK環境變數

(1)先獲取JDK路徑

[root@hadoop102 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

(2)開啟/etc/profile檔案

[root@hadoop102 software]$ vi /etc/profile

在profile檔案末尾新增JDK路徑

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

(3)儲存後退出

:wq

(4)讓修改後的檔案生效

[root@hadoop102 jdk1.8.0_144]$ source /etc/profile

6)測試JDK是否安裝成功

[root@hadoop102 jdk1.8.0_144]# java -version

java version “1.8.0_144”

7)將hadoop102中的JDK和環境變數分發到hadoop103、hadoop104兩臺主機

[root@hadoop102 opt]# xsync /opt/module/

[root@hadoop102 opt]# xsync /etc/profile

分別在hadoop103、hadoop104上source一下

[root@hadoop103 ~]$ source /etc/profile

[root@hadoop104 ~]# source /etc/profile

大資料培訓Ambari環境準備

4 SSH免密登入

配置hadoop102對hadoop102、hadoop103、hadoop104三臺主機的免密登陸。

1)生成公鑰和私鑰:

[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然後敲(三個回車),就會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)

2)將公鑰拷貝到要免密登入的目標機器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102

[root@hadoop102 .ssh]$ ssh-copy-id hadoop103

[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

大資料培訓Ambari環境準備

5 修改yum源為阿里雲映象

[root@hadoop102 yum.repos.d]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk

[root@hadoop102 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

//把伺服器的包下載到本地快取

[root@hadoop102 yum.repos.d]# yum makecache

大資料培訓Ambari環境準備

6 安裝ntp

[root@hadoop102 ~]# yum install -y ntp

[root@hadoop102 ~]# chkconfig –list ntpd

[root@hadoop102 ~]# chkconfig ntpd on

[root@hadoop102 ~]# service ntpd start

大資料培訓Ambari環境準備

7 關閉Linux的THP服務

如果不關閉transparent_hugepage,HDFS會因為這個效能嚴重受影響。

關閉transparent_hugepage方法是:

[root@hadoop102 ~]# vim /etc/grub.conf

新增 transparent_hugepage=never

[root@hadoop102 ~]# vim /etc/rc.local

新增:

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

exit 0

重啟之後,用下面的命令檢查:

[root@hadoop102 yum.repos.d]#

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

always madvise [never]

有 [never]則表示THP被禁用

大資料培訓Ambari環境準備

8 配置UMASK

設定使用者所建立目錄的初始許可權

[root@hadoop102 ~]# umask 0022[root@hadoop102 ~]# umask 0022

9 禁止離線更新

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

修改:enabled=0

大資料培訓

相關文章