好程式設計師大資料培訓分享之Ambari和ClouderaManager對比

　　好程式設計師大資料培訓分享之Ambari和ClouderaManager對比，1 、什麼是CDH，Ambari？

　　Apache Ambari是一種基於Web的工具，支援Apache Hadoop叢集的供應、管理和監控。Ambari已支援大多數Hadoop元件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

　　Apache Ambari 支援HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。Ambari能夠安裝安全的（基於Kerberos）Hadoop叢集，以此實現了對Hadoop 安全的支援，提供了基於角色的使用者認證、授權和審計功能，併為使用者管理整合了LDAP和Active Directory。

CDH簡介　

　　• Cloudera's Distribution, including Apache Hadoop
　　• 是Hadoop眾多分支中的一種，由Cloudera維護，基於穩定版本的Apache Hadoop構建
　　• 提供了Hadoop的核心
　　　　– 可擴充套件儲存
　　　　– 分散式計算
　　• 基於Web的使用者介面

CDH的優點　　

　　• 版本劃分清晰
　　• 版本更新速度快
　　• 支援Kerberos安全認證
　　• 文件清晰
　　• 支援多種安裝方式（Cloudera Manager方式

2 、為什麼需要他們

　　• 1000臺伺服器 的叢集，最少要花費多長時間來搭建好Hadoop叢集，包括Hive、Hbase、Flume、Kafka、Spark等等
　　• 只給你一天時間，完成以上工作？
　　• 對於以上叢集進行hadoop版本升級，你會選擇什麼升級方案，最少要花費多長時間？

　　• 新版本的Hadoop，與Hive、Hbase、Flume、Kafka、Spark等等相容？

大資料叢集管理方式分為 手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。

　   手工部署呢，需配置太多引數，但是，好理解其原理，建議初學這樣做，能學到很多。該方式啊，均得由使用者執行，細節太多，切當設計多個元件時，使用者須自己解決元件間版本相容問題。

　   工具部署呢 ，比如Ambari或Cloudera Manger。（當前兩大最主流的叢集管理工具，前者是Hortonworks公司，後者是Cloudera公司）使用工具來，可以說是一鍵操作，難點都在工具Ambari或Cloudera Manger本身部署上。

手工方式和工具方式比較：

比較點	手工方式	工具方式
難易度	難，幾乎不可能成功	簡單，易行
相容性	自己解決元件相容性問題	自動安裝相容元件
元件支援數	支援全部元件	支援常用元件
優點	對元件和叢集管理深刻	簡單、容易、可行
缺點	太複雜，不容易成功	遮蔽太多細節，妨礙對元件理解

 

工具比較：

 

詳細對比情況如下：

出版商:

hortonworks研發了Ambari和hdp的大資料分析整合平臺
cloudera研發了cloudera manger和cdh大資料分析整合平臺
穩定性:

cloudera相對來說比較穩定
ambari相對來說不穩定(頁面開啟速度慢)
資源消耗:

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor總共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G
叢集重啟:

cloudera支援滾動重啟(hdfs需要設計成ha,才能滾動重啟)
ambari支援滾動重啟(hdfs需要設計成ha,才能滾動重啟)
叢集升級(一般來講不要輕易升級叢集):

cloudera不支援滾動升級服務
ambari支援滾動升級服務(這個是ambari的優點,hdfs必須是ha)
二次開發:

cloudera不支援
ambari支援
服務版本:

cloudera較老
ambari較新
服務整合性:

cloudera較弱
ambari較強,支援es、redis、presto、kylin等
體驗效果:

cloudera好
ambari相對差
安裝過程:

cloudera複雜
ambari簡單
郵件報警:

cloudera支援不好
ambari支援很好
安裝包:

cloudera是parcel包
ambari是rpm包