### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

### 系列介紹
- 《CDH5部署三部曲》共三篇文章，對CDH5.7.2版本的準備、部署、啟動、設定等環節進行實戰，內容如下：

- 第一篇：《準備工作》，即CDH叢集中每一臺機器都要做的操作；
- 第二篇：《部署和設定》，本章完成CDH叢集部署和啟動；
- 第三篇：《問題總結》，列出實戰中遇到的問題及解決辦法；
### 系列文章連結
1. [《CDH5部署三部曲之一：準備工作》](https://blog.csdn.net/boling_cavalry/article/details/105340968)
2. [《CDH5部署三部曲之二：部署和設定》](https://blog.csdn.net/boling_cavalry/article/details/105341713)
3. [《CDH5部署三部曲之三：問題總結》](https://blog.csdn.net/boling_cavalry/article/details//105342156)
### 版本資訊
1. CentOS：7.6.1810
2. Python： 2.7.5（作業系統自帶）
3. CM包：cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
### 伺服器規劃
- 本次搭建的CDH叢集一共用到三臺機器，一臺master，另外兩臺是agent：

| 主機名 | IP地址 | 記憶體 | 身份 |
|--|--|--|--|
| master | 192.168.133.152 | 雙核4G記憶體 | 管理節點 |
| worker1 | 192.168.133.153 | 雙核8G記憶體 | 任務節點 |
| worker2 | 192.168.133.154 | 雙核16G記憶體 | 任務節點 |
### 檔案下載
- cm下載地址： **http://archive.cloudera.com/cm5/cm/5/**  ，找到自己需要的cm包下載，本次實戰用的是 **cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz** ，如下圖紅框：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406114706399.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- parcel下載地址： **http://archive.cloudera.com/cdh5/parcels**  ，本次實戰用到的是 **CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel** ，請下載下圖紅框中的三個檔案，注意一共要下載三個檔案：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406114723729.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 所有機器都要做的相同操作
- 以下操作需要master、worker1、worker2各自做一遍：
- 本次實戰在所有機器上的操作，都使用root賬號；
- 確保所有機器都可以用SSH工具遠端登入；
- 安裝時間同步工具：
```shell
yum install -y ntpdate
```
- 時間同步：
```shell
ntpdate cn.ntp.org.cn
```
- 關閉和禁用防火牆：
```shell
systemctl stop firewalld && systemctl disable firewalld
```
- 關閉SELINUX：開啟檔案 **/etc/selinux/config** ，找到 **SELINUX=xxx** 那一行，改為 **SELINUX=disabled** ，如下圖紅框：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406115227211.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 關閉swap：開啟檔案 **/etc/fstab** ，找到帶有 **swap** 的那一行，註釋掉，如下圖紅框：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406115306139.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 重啟電腦；
- 新建資料夾 **/usr/lib/jvm**
- 安裝JDK，我這裡下載的是 **jdk-8u191-linux-x64.tar.gz** ，解壓後是個名為 **jdk1.8.0_191** 的資料夾，將此資料夾放在 **/usr/lib/jvm** 目錄下；
- 開啟檔案 **/etc/profile** ，在尾部增加以下內容：
```shell
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
```
- 使配置生效：
```shell
source /etc/profile
```
- CDH預設的JDK目錄是  **/usr/java/default** ，因此要建立軟連結，執行以下命令：
```shell
mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
```
- 檢查Python是否可用，如果沒有還請自行安裝，本次用到的是2.6或者2.7版本：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406115535673.png)
- 安裝多個依賴包：
```shell
yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
```
- 建立目錄：
```shell
mkdir /opt/cloudera-manager
```
- 把前面準備好的檔案 **cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz** 上傳到 **master** ，執行以下命令將該檔案解壓到 **/opt/cloudera-manager** 目錄：
```shell
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/
```
- 建立賬號 **cloudera-scm** ：
```shell
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
```
- 編輯檔案 **config.ini** ：
```shell
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
```
- 修改 **server_host** 的值，改為 **master** ，如下圖紅框所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406115903388.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 新建目錄  **/usr/share/java/** ，將剛才下載的 **mysql-connector-java-5.1.34.jar** 放入該目錄，並改名為 **mysql-connector-java.jar**
### 三臺電腦相互免密碼登入設定
- 三臺電腦的/etc/hosts檔案，都增加以下相同內容：

```shell
192.168.133.154 master
192.168.133.155 worker1
192.168.133.156 worker2
```
- 三臺電腦都執行命令： **ssh-keygen**  然後四個回車完成ssh公私鑰建立；
- 在master執行 **ssh-copy-id root@worker1** 、 **ssh-copy-id root@worker2**
- 在worker1執行 **ssh-copy-id root@master** 、 **ssh-copy-id root@worker2**
- 在worker2執行 **ssh-copy-id root@master** 、 **ssh-copy-id root@worker1**

- 至此，準備工作全部完成，請確保所有機器都做了上述操作，下一篇會用這些機器來完成部署。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

CDH5部署三部曲之一：準備工作

相關文章