從零自學Hadoop(05):Ambari

sinodzh發表於2015-09-30

閱讀目錄

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  這裡我們選擇Ambari作為HDP的生產管理工具,如果我們一個個去配置HDP,很浪費時間,也很沒有效率,成功率。生產環境也得儘量的自動化,讓工具幫我們做大部分重複的工作,解放雙手,解放時間,解放效率。

  下面我們就Ambari的線上安裝展開敘述,如果大家對離線安裝感興趣,到時候再加篇幅進行敘述。

引入背景

  雖然大資料越來越流行,但其學習的門檻卻一直阻礙著很多的分散式應用初學者或者大資料的業務應用開發者。多個產品之間的不相容問題,快速整合和維護也顯得比較困難。不管是 Hadoop V1 或者 V2 的安裝,又或者 Spark/YARN 等的整合,都不是幾行簡單的命令可以完成的,而是需要手工修改很多的叢集配置,這進一步增加了業務開發者的學習和使用難度。有了 Ambari,這些都不再是難題。

Ambari介紹

  Ambari 跟 Hadoop 等開源軟體一樣,也是 Apache Software Foundation 中的一個專案,並且是頂級專案。目前最新的釋出版本是 2.0.1,未來不久將釋出 2.1 版本。就 Ambari 的作用來說,就是建立、管理、監視 Hadoop 的叢集,但是這裡的 Hadoop 是廣義,指的是 Hadoop 整個生態圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而並不僅是特指 Hadoop。用一句話來說,Ambari 就是為了讓 Hadoop 以及相關的大資料軟體更容易使用的一個工具。

  說到這裡,大家就應該明白什麼人最需要 Ambari 了。那些苦苦花費好幾天去安裝、除錯 Hadoop 的初學者是最能體會到 Ambari 的方便之處的。而且,Ambari 現在所支援的平臺元件也越來越多,例如流行的 Spark,Storm 等計算框架,以及資源排程平臺 YARN 等,我們都能輕鬆地通過 Ambari 來進行部署。

  Ambari 自身也是一個分散式架構的軟體,主要由兩部分組成:Ambari Server 和 Ambari Agent。簡單來說,使用者通過 Ambari Server 通知 Ambari Agent 安裝對應的軟體;Agent 會定時地傳送各個機器每個軟體模組的狀態給 Ambari Server,最終這些狀態資訊會呈現在 Ambari 的 GUI,方便使用者瞭解到叢集的各種狀態,並進行相應的維護。詳細的操作和介紹會在後續章節介紹。

線上安裝

一:檢視官網

  官網上對ambari的介紹,安裝,使用,都做了闡述,所以儘量按官網的來。

  專案地址:http://ambari.apache.org/

二:下載Ambari的yum倉庫資源描述檔案

cd /etc/yum.repos.d/

wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.repo

  這裡我們使用最新的2.1.1這個版本。官網上有對應不用系統的資原始檔,大家注意下,免得下錯了。

三:開啟yum的線上安裝快取資源備份

  開啟後,線上安裝的資源就不用再下下來了,直接以後可以離線安裝了。

vim /etc/yum.conf 

  修改成:keepcache=1

  下載的地址:/var/cache/yum/

四:線上安裝

yum install ambari-server

  效果圖:

  下載失敗,多試幾次。

 

五:Ambari設定

  安裝ambari後需要設定,Ambari 會使用 Postgres 資料庫,預設會安裝並使用 Oracle 的 JDK。預設設定了 Ambari GUI 的登入使用者為 admin/admin。並且指定 Ambari Server 的執行使用者為 root。

ambari-server setup

  自定義賬號:

  選擇JDK:

  choose 2

  這裡又要下載,一般我們都有這樣的jdk包,那能不能從本地直接裝列?

  有了想法就行動,跟我來。

  分析圖中,是將JDK 下載到ambari-server/resources/下面,這就好辦了。我們把我們下好的放過去。

cd /var/lib/ambari-server/resources/
ls
rm jdk-7u67-linux-x64.tar.gz.tmpdownload

  拷貝檔案到對應目錄

 

   然後我們重新setup

  明顯看到,它發現了jdk的存在,就沒有去下了。

  資料庫配置

  我們選擇PostgreSQL (Embedded)

  Enter advanced database configuration [y/n] (n)? y

  Enter choice (1): 1

  輸入資料庫名稱:ambari

  等等,直接上圖

  這樣,我們的Ambari-server就設定完畢了。

六:啟動Ambari-server服務

ambari-server start

  檢查是否成功

 ps -ef|grep Ambari

  網頁登陸:http://192.168.1.30:8080

  登陸後我們可以看到:

  這樣,我們的ambar-server配置完畢。

 

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

相關文章