CDH5部署三部曲之一：準備工作

程式設計師欣宸發表於2022-11-27
H5

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類彙總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

系列介紹

《CDH5部署三部曲》共三篇文章，對CDH5.7.2版本的準備、部署、啟動、設定等環節進行實戰，內容如下：

第一篇：《準備工作》，即CDH叢集中每一臺機器都要做的操作；
第二篇：《部署和設定》，本章完成CDH叢集部署和啟動；
第三篇：《問題總結》，列出實戰中遇到的問題及解決辦法；

系列文章連結

  1. 《CDH5部署三部曲之一：準備工作》
  2. 《CDH5部署三部曲之二：部署和設定》
  3. 《CDH5部署三部曲之三：問題總結》

版本資訊

  1. CentOS：7.6.1810
  2. Python： 2.7.5（作業系統自帶）
  3. CM包：cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz

伺服器規劃

本次搭建的CDH叢集一共用到三臺機器，一臺master，另外兩臺是agent：

主機名 IP地址 記憶體 身份
master 192.168.133.152 雙核4G記憶體 管理節點
worker1 192.168.133.153 雙核8G記憶體 任務節點
worker2 192.168.133.154 雙核16G記憶體 任務節點

檔案下載

  1. cm下載地址：http://archive.cloudera.com/cm5/cm/5/ ，找到自己需要的cm包下載，本次實戰用的是cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz，如下圖紅框：
    在這裡插入圖片描述
  2. parcel下載地址：http://archive.cloudera.com/cdh5/parcels ，本次實戰用到的是CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel，請下載下圖紅框中的三個檔案，注意一共要下載三個檔案：
    在這裡插入圖片描述

所有機器都要做的相同操作

以下操作需要master、worker1、worker2各自做一遍：

  1. 本次實戰在所有機器上的操作，都使用root賬號；
  2. 確保所有機器都可以用SSH工具遠端登入；
  3. 安裝時間同步工具：
yum install -y ntpdate
  1. 時間同步：
ntpdate cn.ntp.org.cn
  1. 關閉和禁用防火牆：
systemctl stop firewalld && systemctl disable firewalld
  1. 關閉SELINUX：開啟檔案/etc/selinux/config，找到SELINUX=xxx那一行，改為SELINUX=disabled，如下圖紅框：
    在這裡插入圖片描述
  2. 關閉swap：開啟檔案/etc/fstab，找到帶有swap的那一行，註釋掉，如下圖紅框：
    在這裡插入圖片描述
  3. 重啟電腦；
  4. 新建資料夾/usr/lib/jvm
  5. 安裝JDK，我這裡下載的是jdk-8u191-linux-x64.tar.gz，解壓後是個名為jdk1.8.0_191的資料夾，將此資料夾放在/usr/lib/jvm目錄下；
  6. 開啟檔案/etc/profile，在尾部增加以下內容：
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
  1. 使配置生效：
source /etc/profile
  1. CDH預設的JDK目錄是 /usr/java/default，因此要建立軟連結，執行以下命令：
mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
  1. 檢查Python是否可用，如果沒有還請自行安裝，本次用到的是2.6或者2.7版本：
    在這裡插入圖片描述
  2. 安裝多個依賴包：
yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
  1. 建立目錄：
mkdir /opt/cloudera-manager
  1. 把前面準備好的檔案cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上傳到master，執行以下命令將該檔案解壓到/opt/cloudera-manager目錄：
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/
  1. 建立賬號cloudera-scm：
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
  1. 編輯檔案config.ini：
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
  1. 修改server_host的值，改為master，如下圖紅框所示：
    在這裡插入圖片描述
  2. 新建目錄 /usr/share/java/，將剛才下載的mysql-connector-java-5.1.34.jar放入該目錄，並改名為mysql-connector-java.jar

三臺電腦相互免密碼登入設定

  1. 三臺電腦的/etc/hosts檔案，都增加以下相同內容：
192.168.133.154 master
192.168.133.155 worker1
192.168.133.156 worker2
  1. 三臺電腦都執行命令：ssh-keygen 然後四個回車完成ssh公私鑰建立；
  2. 在master執行ssh-copy-id root@worker1、ssh-copy-id root@worker2
  3. 在worker1執行ssh-copy-id root@master、ssh-copy-id root@worker2
  4. 在worker2執行ssh-copy-id root@master、ssh-copy-id root@worker1

至此，準備工作全部完成，請確保所有機器都做了上述操作，下一篇會用這些機器來完成部署。

歡迎關注公眾號：程式設計師欣宸

微信搜尋「程式設計師欣宸」，我是欣宸，期待與您一同暢遊Java世界...

https://github.com/zq2599/blog_demos

相關文章