閱讀目錄
本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。
文章是哥(mephisto)寫的,SourceLink
序
上一篇,我們把Ambari的環境基本搭建好了,那麼我們趁熱打鐵,打造我們的第一個HDP叢集,這樣,離我們下一步就越來越近了,在安裝中還是會碰到很多想不到的情況的。所以,注意分析,找到解決方法很重要。
對了,這裡我們還是多搭建了一個機器H34,怕叢集機器不夠。大家按照原來的步驟在做一個吧。
叢集搭建
一:登陸
使用我們設定的Ambari伺服器登陸,還記得麼,在H30上面。
二:主介面
我們看到圈起來的地方就是我們要搭建叢集的地方。
三:新建叢集
這裡,我們使用MyCluster作為我們第一個叢集的名稱。
四:選擇HDP版本和源
我們當然選擇最新的HDP2.3,玩就玩最新的,要不老是在別人後面,多不好啊。
這裡我們得設定HDP和 HDP-UTILS的源,我們已經搭建好了倉庫,可以直接使用本地源了。
五:將SSH私有Key放到本機
由於是頁面登陸,當然如果H30開啟了GUI介面,是可以不用這個操作的。
目前我們使用的沒有GUI介面的Linux,所以,得在瀏覽器使用的機器上能使用的到ssh private key。
過程很簡單,就不上圖了。
六:選擇帶叢集的機器
這裡我們選擇了事前準備好的H31,H32,H33這3臺機器,由於本機的效能一般,很快記憶體,IO就佔滿了,所以沒有使用很多的機器做叢集。
七:修改ambari.repo檔案
vim /etc/yum.repos.d/ambari.repo
將線上庫改成本地的http資源。
八:Confirm Hosts
核實主機群。確保這裡待叢集主機有符合的執行環境。
九:選擇待安裝庫
我們根據自己的需要來選擇帶安裝的。
十:叢集結構搭建
我們選擇H31作為主NameNode,H32作為Second NameNode。
十一:叢集結構搭建2
選擇H31,H32作為NodeManager,H33,H34作為DataNode
十二:自定義服務群
這裡,一半NameNode需要比較大記憶體的,但是沒辦法,所以 這裡也不自定義修改了,就那麼多,全用了。
十三:Review
Review下我們的配置情況。
十四:Deploy
開始安裝等環節了。
十五:Deploy2
我們可以看到success了。
十六:Summary
安裝過程的總結。
監控
一:儀表盤
在這裡,我們可以全面,直觀的看到整個叢集的執行情況,可以大大的提高了運維的效率。
二:服務
在這裡,可以看到例如HDFS,Zookeeper,SparK這些服務的情況。
三:Hosts
我們可以看到,叢集中所有的主機資訊,狀態。
四:報警
如果叢集中出現了什麼問題,這裡是可以實時的監控的到的,很是方便。
到此,我們這章節的內容已經完畢,基本上環境搭建的部分告一段落,後面我們就是對HDP的應用了。
系列索引
本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。
文章是哥(mephisto)寫的,SourceLink