### 歡迎訪問我的GitHub
> 這裡分類和彙總了欣宸的全部原創(含配套原始碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos)

- 本文是《CDH5部署三部曲》的終篇，前面兩章完成了CDH5叢集的部署和啟動，本章將實戰中遇到的問題做個總結，如果碰巧您也遇到過這些問題，希望本文能給您一些參考；
### 系列文章連結
1. [《CDH5部署三部曲之一：準備工作》](https://blog.csdn.net/boling_cavalry/article/details/105340968)
2. [《CDH5部署三部曲之二：部署和設定》](https://blog.csdn.net/boling_cavalry/article/details/105341713)
3. [《CDH5部署三部曲之三：問題總結》](https://blog.csdn.net/boling_cavalry/article/details//105342156)
### 啟動叢集服務報錯
- 首次啟動叢集服務報錯，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130024403.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 上述錯誤一般是對應節點的 **/usr/java/default** 目錄下沒有JDK所致，假設已將JDK部署在 **/usr/lib/jvm/jdk1.8.0_191** ，那麼只需執行以下命令建立軟連結即可：
```shell
mkdir /usr/java &&ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
```
- 點選頁面上的重試按鈕；
### NFS Gateway啟動失敗
- 發現NFS Gateway服務有問題，檢查日誌：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130148856.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 日誌如下，在worker1節點上，portmap和rpcbind這兩個服務不存在導致的：
```shell
No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.
```

- 於是安裝所需服務：
```shell
yum install -y nfs-utils rpcbind
```

- 啟動服務：
```shell
systemctl start rpcbind
```

- 再次啟動：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130315955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 等待HDFS服務重啟完成後，如下圖，可見NFS Gateway問題已經消失：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130331354.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### HDFS副本不足的塊
- 問題如下圖綠框所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130355243.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 目前只有一個datanode，可以增加一個，如下圖，進入HDFS的例項頁面，點選"新增角色例項"：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130408869.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 點選下圖紅框位置，增加一個DataNode：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130420538.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 如下圖，確保worker1和worker2都選上：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130432302.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 勾選後，點選紅框2中的按鈕，在下拉選單中點選“啟動”：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130447907.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 現在有了兩個DataNode，所以副本數可以設定為2，如下圖紅框所示，按照順序找出引數進行設定，記得點選右下角的"儲存更改"按鈕：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406130505754.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 上述設定完成後，新寫入hdfs的檔案副本數為2，如果要將之前已經寫入的檔案的副本數也調整為2，請SSH登入worker1節點，執行以下命令切換到 **hdfs** 賬號：
```shell
su - hdfs
```

- 以hdfs賬號的身份執行以下命令，即可完成副本數設定：
```shell
hadoop fs -setrep -R 2 /
```

- 返回管理頁面，可見HDFS的狀態變成了健康：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132422539.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### Hive報錯
- 如下圖紅框所示，Hive啟動失敗，日誌中提示 **Version information not found in metastore**
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132531465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 從上圖可見Hive服務在worker2上，於是SSH登入worker2，將 **/usr/share/java** 目錄下的 **mysql-connector-java.jar** 檔案複製到這個目錄下： **/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive/lib/**
- 在Hive的配置頁面，搜尋"hive.metastore.schema.verification"，如下圖，確保紅框3中的核取方塊取消勾選：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020040613263515.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 修改配置 **datanucleus.autoCreateSchema** ，如下圖，確保紅框3中的核取方塊被選中：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132653393.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 重啟完成後，Hive狀態為健康：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132707442.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### spark-shell執行失敗
- 在worker1或者worker2上執行spark-shell命令進入spark控制檯時，會產生記憶體相關的錯誤，需要調整YARM相關的記憶體引數：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132745454.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 在YARN的配置頁面，調整 **yarn.scheduler.maximum-allocation-mb** 和 **yarn.nodemanager.resource.memory-mb** 這兩個引數的值，原有的值都是 **1G** ，現在都改成 **2G** ，如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132823465.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 重啟YARN；
- 重啟Spark；
- 執行spark-shell命令之前，先執行命令 **su - hdfs** 切換到hdfs賬號；
- 這次終於成功進入spark-shell互動模式：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132921679.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
### Hue啟動失敗
- Hue啟動失敗如下圖：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406132942976.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
- 上述失敗是由於資料夾、檔案、httpd服務沒有準備好導致的，執行以下命令修復此問題：
```shell
mkdir /var/log/hue-httpd/
chown hue:hue /var/log/hue-httpd/
cd /var/log/hue-httpd/
touch error_log
chown hue:hue /var/log/hue-httpd/error_log

yum install -y httpd mod_ssl cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
```

- 在網頁上重啟Hue服務，稍後可見服務已經正常：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20200406133017917.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)

- 以上就是本次實戰過程中遇到的所有問題和解決方法，至此《CDH5部署三部曲》全部完成，如果您正在部署CDH，希望此係列文章能給您一些參考。

### 歡迎關注ITpub：程式設計師欣宸
> [學習路上，你不孤單，欣宸原創一路相伴...](http://blog.itpub.net/70017844/)

CDH5部署三部曲之三：問題總結

相關文章