Cloudera Manager5之安裝部署CDH5.X

http://blog.csdn.net/freedomboy319/article/details/44804721

本文章介紹Cloudera Manager的安裝以及部署CDH5.X。主要分如下章節介紹。

1，安裝準備 
2，安裝Clouder Manager 
3，部署CDH5.X

1，安裝準備 
1.1 安裝物理部署圖 
 
物理機硬體資訊 
2臺HP ProLiant DL388 Gen9伺服器。每臺伺服器的配置資訊如下： 
- 伺服器型號：HP ProLiant DL388 Gen9 
- CPU：2個Xeon E5-2600 v3 CPU，每個CPU 8核心 
- 記憶體：DDR4 256GB 
- 磁碟：SAS盤，15個，每個900GB，10000轉/分鐘，其中1個熱備，14個可用，並做了RAID5，總容量大約：11700GB 
- 網路卡：4個千兆網路卡 
物理機軟體資訊 
- 作業系統： Centos6.6 64位 
- 虛擬化軟體：Virtualbox 4.3.26

1.2 IP與主機名對應關係表 

1.3 CDH元件分配表 
CDH安裝如下元件：HDFS，HBase，Hive，Hue，Impala，Oozie，Spark，Sqoop2，YARN，Zookeeper，元件對應VM分配情況如下表： 

2，安裝Clouder Manager 
2.1 Cloudera Manager安裝前執行 
在cdh-node1機器中執行如下命令： 
1， 關閉防火牆，service iptables stop 
2， 關閉Selinux，setenforce 0或修改/etc/selinux/config：SELINUX=disabled； 
3， 最好在/etc/yum.conf增加timeout時間，timeout=120。自己設定長點就行。

2.2 Cloudera Manager下載 
安裝包下載URL：http://www.cloudera.com/content/support/en/downloads.html 
或者執行如下命令下載Cloudera Manager5.3的安裝包。

<code class="hljs ruleslanguage has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-array" style="box-sizing: border-box;">#wget http</span>:<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">//archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li></ul>

2.3 執行Cloudera Manager Server安裝包

<code class="hljs lasso has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;">$ chmod u<span class="hljs-subst" style="color: rgb(0, 0, 0); box-sizing: border-box;">+</span>x cloudera<span class="hljs-attribute" style="box-sizing: border-box;">-manager</span><span class="hljs-attribute" style="box-sizing: border-box;">-installer</span><span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>bin
$<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>/cloudera<span class="hljs-attribute" style="box-sizing: border-box;">-manager</span><span class="hljs-attribute" style="box-sizing: border-box;">-installer</span><span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">.</span>bin</code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li></ul>

2.4 讀Cloudera Manager README 

2.5 Cloudera Express License 
 
 
選擇“Yes”，然後回車。

2.6 Oracle Binary Code License Agreement 
 
 
選擇“Yes”，然後回車。

2.7 Installing JDK 

2.8 Installing Cloudera Manager Server 

2.9 安裝結束 
 
選擇“OK”，然後回車。 
 
選擇“OK”，然後回車，成功結束安裝。

注：在安裝過程中，由於網路問題，報如下錯誤： 
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: [Errno 12] Timeout onhttp://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/cloudera-manager-daemons-5.3.2-1.cm532.p0.209.el6.x86_64.rpm: (28, ‘Operation too slow. Less than 1 bytes/sec transfered the last 30 seconds’) 
嘗試其他映象。 
解決方法：重新安裝Cloudera Manager。

3，部署CDH5.X 
3.1 登陸Cloudera Manager 管理控制檯 
在瀏覽器中輸入： 
http://cdh-node1:7180 

輸入使用者名稱和密碼，使用者名稱和密碼預設都是“admin”，然後點選“登入”按鈕。

3.2 選擇Cloudera Manager版本 

選擇“Cloudera Enterprise Data Hub Edition Trial”，點選“繼續”按鈕。

3.3 顯示Cloudera Manager和CDH的安裝包 

點選“繼續”按鈕。

3.4 為 CDH 群集安裝指定主機 

輸入“10.51.120.5[1-9]”和“10.51.120.6[0-2]”，然後點選“搜尋”按鈕。 

從搜尋的結果可以看出：發現12個主機，執行了SSH，當前的受管狀態都是“否”。

3.5 叢集安裝-選擇儲存庫 

點選“更多選項” 

點選“繼續”按鈕。

3.6 叢集安裝- JDK安裝選項 

點選“繼續”按鈕。

3.7 叢集安裝-提供 SSH 登入憑據 

點選“繼續”按鈕。

3.8 叢集安裝-正在安裝 

點選“詳細資訊” 

如果出現“安裝失敗”，則可以點選“重試失敗的主機”按鈕，重新安裝。 
安裝過程中，可能會有多次安裝失敗，這時點選“重試失敗的主機”按鈕，重新安裝。

安裝完成介面 

點選“繼續”按鈕。

3.9 叢集安裝-正在安裝選定Parcel 

此過程需要的時間比較長，我安裝時花了10個小時。此步驟，下載parcel，預設下載位置為：/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel 
/opt/cloudera/parcel-repo/CDH-5.3.2-1.cdh5.3.2.p0.10-el6.parcel.sha 

點選“繼續”按鈕。

3.10 叢集安裝-檢查主機正確性 
檢查的明細如下： 

CDH各個元件版本資訊如下： 

3.11 叢集設定-選擇要在叢集安裝的CDH5服務 

選擇“自定義服務”，點選“繼續”按鈕。

3.12 群集設定-自定義角色分配 

3.14 群集設定-資料庫設定 

點選“繼續”按鈕。

3.15 群集設定-稽核更改 
這裡修改了資料存放目錄。 

點選“繼續”按鈕。

3.16 群集設定-命令進度 

點選“繼續”按鈕。

3.17 群集設定-完成安裝 

點選“完成”按鈕，即可完成安裝。