從零自學Hadoop(06):叢集搭建

sinodzh發表於2015-10-03

閱讀目錄

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  上一篇,我們把Ambari的環境基本搭建好了,那麼我們趁熱打鐵,打造我們的第一個HDP叢集,這樣,離我們下一步就越來越近了,在安裝中還是會碰到很多想不到的情況的。所以,注意分析,找到解決方法很重要。

  對了,這裡我們還是多搭建了一個機器H34,怕叢集機器不夠。大家按照原來的步驟在做一個吧。

叢集搭建

一:登陸

  使用我們設定的Ambari伺服器登陸,還記得麼,在H30上面。

二:主介面

  我們看到圈起來的地方就是我們要搭建叢集的地方。

 

三:新建叢集

  這裡,我們使用MyCluster作為我們第一個叢集的名稱。

四:選擇HDP版本和源

  我們當然選擇最新的HDP2.3,玩就玩最新的,要不老是在別人後面,多不好啊。

  這裡我們得設定HDP和 HDP-UTILS的源,我們已經搭建好了倉庫,可以直接使用本地源了。

五:將SSH私有Key放到本機

  由於是頁面登陸,當然如果H30開啟了GUI介面,是可以不用這個操作的。

  目前我們使用的沒有GUI介面的Linux,所以,得在瀏覽器使用的機器上能使用的到ssh private key。

  過程很簡單,就不上圖了。

六:選擇帶叢集的機器

  這裡我們選擇了事前準備好的H31,H32,H33這3臺機器,由於本機的效能一般,很快記憶體,IO就佔滿了,所以沒有使用很多的機器做叢集。

七:修改ambari.repo檔案

vim /etc/yum.repos.d/ambari.repo

  將線上庫改成本地的http資源。

八:Confirm Hosts

  核實主機群。確保這裡待叢集主機有符合的執行環境。

九:選擇待安裝庫

  我們根據自己的需要來選擇帶安裝的。

十:叢集結構搭建

  我們選擇H31作為主NameNode,H32作為Second NameNode。

十一:叢集結構搭建2

  選擇H31,H32作為NodeManager,H33,H34作為DataNode

十二:自定義服務群

  這裡,一半NameNode需要比較大記憶體的,但是沒辦法,所以 這裡也不自定義修改了,就那麼多,全用了。

 

十三:Review

  Review下我們的配置情況。

十四:Deploy

  開始安裝等環節了。

十五:Deploy2

  我們可以看到success了。

 

 

十六:Summary

  安裝過程的總結。

監控

一:儀表盤

  在這裡,我們可以全面,直觀的看到整個叢集的執行情況,可以大大的提高了運維的效率。

二:服務

  在這裡,可以看到例如HDFS,Zookeeper,SparK這些服務的情況。

 

三:Hosts

  我們可以看到,叢集中所有的主機資訊,狀態。

四:報警

  如果叢集中出現了什麼問題,這裡是可以實時的監控的到的,很是方便。

             到此,我們這章節的內容已經完畢,基本上環境搭建的部分告一段落,後面我們就是對HDP的應用了。

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和部落格園共有,歡迎轉載,但須保留此段宣告,並給出原文連結,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

相關文章