### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 本文是《CDH+Kylin三部曲》的第一篇，整個系列由以下三篇組成：
1. 準備工作：搭建CDH+Kylin環境前，將所有硬體、軟體資源準備好
2. 部署和設定：部署CDH和Kylin，再做相關設定
3. Kylin實戰：在搭好的環境上執行Kylin官方demo

- 整個三部曲的實戰內容如下圖所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114013690.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 接下來，就從最基本的準備工作開始吧。
### 關於CDH與Kylin
- Kylin的執行需要Hadoop、Hive、HBase等服務，因此用CDH來集中部署這些應用更為方便，下圖來自Kylin官方，可見是支援CDH的：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114120834.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 官方說支援CDH6.0版本，但實際部署中發現Kylin2.6在CDH6.0.1環境啟動會有問題，經嘗試發現Kylin2.6+CDH5.16可以正常執行，本次實戰就用這樣的版本搭配；
### 部署方式
- ansible是常用的運維工具，可大幅度簡化整個部署過程，接下來會使用ansible來完成部署工作，如果您對ansible還不夠了解，請參考[《ansible2.4安裝和體驗》](https://blog.csdn.net/boling_cavalry/article/details/105342744)，部署操作如下圖所示，在一臺安裝了ansible的電腦上執行指令碼，由ansible遠端連線到一臺CentOS7.7的伺服器上，完成部署工作：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114224459.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 硬體準備
- 一部能執行ansible的電腦，我用的是MacBook Pro，也用CentOS驗證過，都能順利完成部署；
- 一臺CentOS7.7電腦，用於執行HDFS、Hive、HBase、Spark、Kylin等所有服務(後續文中的 **CDH伺服器** 就是指該電腦)， **用一臺機器部署所有服務僅適用於學習和開發階段** ，實測發現，此電腦 **CPU至少要雙核** ，記憶體不低於 **16G** ，如果您想用多臺電腦部署CDH，建議自行修改ansible指令碼來分別部署，指令碼地址後面會給出；
### CDH伺服器設定
- 需要登入CDH伺服器做以下設定：
- 檢查/etc/hostname檔案是否正確，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114439528.png)
- 修改 **/etc/hosts** 檔案，將自己的IP地址和hostname配置上去，如下圖紅框所示（ **事實證明這一步很重要** ，如果不做可能導致在部署時一直卡在"分配"階段，看agent日誌顯示agent下載parcel的進度一直是百分之零）：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114542166.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### 下載檔案(ansible電腦)
- 本次實戰一共要準備13個檔案，這裡用表格列舉如下：

| 編號 | 檔名 | 簡介 |
|--|--|--|--|
| 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安裝包 |
| 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驅動 |
| 3 | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cm的server安裝包 |
| 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cm的daemon安裝包 |
| 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cm的agent安裝包 |
| 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDH應用離線安裝包 |
| 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDH應用離線安裝包sha驗證碼 |
| 8 | apache-kylin-2.6.4-bin-cdh57.tar.gz | kylin安裝包(適配CDH版本) |
| 9 | hosts | ansible用到的遠端主機配置，裡面記錄了CDH6伺服器的資訊 |
| 10 | ansible.cfg | ansible用到的配置資訊 |
| 11 | cm6-cdh5-kylin264-single-install.yml | 部署CDH時用到的ansible指令碼 |
| 12 | cdh-single-start.yml | 初次啟動CDH時用到的ansible指令碼 |
| 13 | var.yml | 指令碼中用到的變數都在在此設值，<br>例如CDH包名、flink檔名等，便於維護 |

- 下面是每個檔案的下載地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下載完畢後，將副檔名從.sha1為.sha）

8. apache-kylin-2.6.4-bin-cdh57.tar.gz：https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz

9. hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml ：這五個檔案都儲存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這裡面有多個資料夾，上述檔案在名為 **ansible-cm6-cdh5-kylin264-single** 的資料夾中，如下圖紅框所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411114700591.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### 檔案擺放(ansible電腦)
- 如果您已經下載好了上述13個檔案，請按照如下位置擺放，這樣才能順利完成部署：
1. 在家目錄下新建名為playbooks的資料夾：mkdir ~/playbooks
2. 把這五個檔案放入playbooks資料夾：hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml
3. 在playbooks資料夾裡新建名為cdh6的子資料夾；
4. 把這八個檔案放入cdh6資料夾(即剩餘的八個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、apache-kylin-2.6.4-bin-cdh57.tar.gz
5. 擺放完畢後目錄和檔案情況如下圖，再次提醒： **資料夾playbooks一定要放在家目錄下** （即： **~/** ）：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200411115047864.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

### ansible引數設定(ansible電腦)
- ansible引數設定的操作設定很簡單：配置好CDH伺服器的訪問引數即可，包括IP地址、登入賬號、密碼等，修改 **~/playbooks/hosts** 檔案，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：
```shell
[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888
```
- 至此，所有準備工作已完成，下一篇文章我們將完成這些操作：
1. 部署CDH和Kylin
2. 啟動CDH
3. 設定CDH、線上安裝Yarn、HDFS等
4. 調整HDFS、Yarn引數
5. 修改Spark設定(否則Kylin啟動會失敗)
6. 啟動Kylin

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

CDH+Kylin三部曲之一：準備工作

相關文章