Ambari HDP叢集搭建全攻略

架構技術專欄發表於2020-12-08

世界上最快的捷徑，就是腳踏實地，本文已收錄【架構技術專欄】關注這個喜歡分享的地方。

最近因為工作上需要重新用Ambari搭了一套Hadoop叢集，就把搭建的過程記錄了下來，也希望給有同樣需求的小夥伴們一個參考，

作者：圖頭資料

Ambari Ubuntu14.04 最新版本 2.2.1

HDP Ubuntu14.04 最新版本 2.4.3.0

Ambari是什麼

Apache Ambari是一種基於Web的工具，支援Apache Hadoop叢集的供應、管理和監控。

Ambari已支援大多數Hadoop元件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。

Apache Ambari 支援HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。（就是一個開源的hadoop一鍵式安裝服務）

我們能用他幹什麼？我們為什麼要用它呢？

我們可以使用ambari快速的搭建和管理hadoop和經常使用的服務元件。

比如hdfs、yarn、hive、hbase、oozie、sqoop、flume、zookeeper、kafka等等。（說白了就是可以偷好多懶）

再說說我們為什麼要用它

  • 第一是ambari還算是一個早期的Hadoop管理叢集工具
  • 第二主要是現在Hadoop官網也在推薦使用Ambari。
  • 通過一步一步的安裝嚮導簡化了叢集供應。
  • 預先配置好關鍵的運維指標（metrics），可以直接檢視Hadoop Core（HDFS和MapReduce）及相關專案（如HBase、Hive和HCatalog）是否健康。
  • 支援作業與任務執行的視覺化與分析，能夠更好地檢視依賴和效能。
  • 通過一個完整的RESTful API把監控資訊暴露出來，整合了現有的運維工具。
  • 使用者介面非常直觀，使用者可以輕鬆有效地檢視資訊並控制叢集。

Ambari使用Ganglia收集度量指標，用Nagios支援系統報警，當需要引起管理員的關注時（比如，節點停機或磁碟剩餘空間不足等問題），系統將向其傳送郵件。

此外，Ambari能夠安裝安全的（基於Kerberos）Hadoop叢集，以此實現了對Hadoop 安全的支援，提供了基於角色的使用者認證、授權和審計功能，併為使用者管理整合了LDAP和Active Directory。

叢集搭建

1、讓我們先做一些安裝前的準備工作

## 先告訴伺服器們他們都是誰，小名都叫啥（修改配置hosts檔案）
vim /etc/hosts
10.1.10.1 master
10.1.10.2 slave1
10.1.10.3 slave2

## 然後讓我們拿著門禁卡自由的出入他們家 嗶咔進站（配置免密登入）
ssh-keygen -t rsa ##在所有的機器上執行
cat ~/.ssh/id_rsa.pub ## 檢視公鑰
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ## 將公鑰寫入authorized_keys檔案中
### 首先把所有的公鑰都寫入master伺服器
### 其次把master的公鑰別寫入slave1,slave2
### 最後使用scp命令把口令告訴別人 （我不會告訴你我的口令是“老狼老狼幾點了”）
scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys slave2:~/.ssh/authorized_keys

##更新時區和系統本地化的配置
apt-get install localepurge ## 一頓enter不要管 （解除安裝那些不被使用的local翻譯文件）
dpkg-reconfigure localepurge && locale-gen zh_CN.UTF-8 en_US.UTF-8 ## 一頓enter不要管
apt-get update && apt-get install -y tzdata 
echo "Asia/Shanghai" > /etc/timezone  ## 修改時區為上海
rm /etc/localtime
dpkg-reconfigure -f noninteractive tzdata
vi  /etc/ntp.conf
server 10.1.10.1

2、然後在做一些Ubuntu系統的優化

###1.1 關閉交換分割槽
swapoff -a
vim /etc/fstab ## 刪除註釋swap那一行 類似下面
# swap was on /dev/sda2 during installation
#UUID=8aba5009-d557-4a4a-8fd6-8e6e8c687714 none swap  sw   0   0

### 1.2 修改檔案描述符開啟數 在最後新增 ulimit
vi /etc/profile
ulimit -SHn 512000
vim /etc/security/limits.conf ## 調整大小都增大10倍
* soft nofile 600000
* hard nofile 655350
* soft nproc 600000
* hard nproc 655350
### 1.2 使用命令是修改生效
source /etc/profile

###1.3 修改核心配置
vi /etc/sysctl.conf
### 貼上去就行
fs.file-max = 65535000
net.core.somaxconn = 30000
vm.swappiness = 0
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 16384 16777216
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 1024 65000
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
net.ipv6.conf.lo.disable_ipv6=1
### 執行命令讓配置生效
sysctl -p

###1.4 配置核心關閉THP功能
echo never > /sys/kernel/mm/transparent_hugepage/enabled
##永久關閉。
vi /etc/rc.local   
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then  
   echo never > /sys/kernel/mm/transparent_hugepage/enabled  
fi  
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then  
   echo never > /sys/kernel/mm/transparent_hugepage/defrag  
fi

3、安裝部署ambari-server (環境：Ubuntu 14.04 + Ambari 2.2.1)

## 更新下載源
wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
## 在master節點安裝ambari-server 
apt-get install ambari-server -y
## 在所有節點安裝 ambari-agent 
apt-get install ambari-agent -y

4、修改ambari-agent配置指向ambari-server

vi /etc/ambari-agent/conf/ambari-agent.ini
## 修改hostname
[server] 
hostname=master
url_port=8440
secured_url_port=8441

## 初始化ambari-server配置ambari 服務 Database, JDK(預設1.7), LDAP 一般選預設  
ambari-server setup  ## 狂點enter

## 啟動ambari
ambari-server start
ambari-agent start

5、經過頭痛的Shell命令，開始連點人間的東西了。

使用你的瀏覽器訪問 http://10.1.10.1:8080/ 賬號密碼預設為amdin/admin 點選LAUNCH INSTALL WIZARD讓我們愉快的開始吧

6、給叢集起一個名字

7、這個裡要注意一點確定你的hdp版本不然後面會有麻煩

**8、我在這裡面配置的是HDP2.4.3 **

例子： http://public-repo-1.hortonworks.com/HDP/debian7/2.x/updates/2.4.3.0

點選next 會檢查資料來源是否正常，如果這裡報錯可以點選 "Skip Repository Base URL validation (Advanced) " 進行跳過檢查

9、填入hostname master slave1 slave2 因為在slave安裝ambari-agent 所以直接選擇不使用ssh

10、檢查伺服器狀態--這裡需要等待一下 如果等待時間過長可以重啟ambari-server

11、選擇我們需要的服務 HDFS YARN ZK

12、直接使用Ambari預設分配方式 點選下一步開始安裝

13、下面就是考慮網速的時候了

14、安裝完成之後一路Next重新整理主頁面就看到了我們的Hadoop叢集這裡預設都是啟動的

15、進入HDFS下 點選restart ALL 可以重啟所有元件

16、驗證一下是否安裝成功 點選NameNodeUI

17、基礎資訊頁

18、Hadoop已經搭建完成完成了不想跑一個任務試試嗎？

## 進入伺服器執行
### 建立hdfs目錄 可以再http://master:50070/explorer.html#/介面
hdfs dfs -mkdir -p /data/input 
### 從伺服器上傳檔案到hdfs上
hdfs dfs -put 檔案  /data/input/
### 使用官網提供的例子進行測試
hadoop jar hdfs://tesla-cluster/data/hadoop-mapreduce-examples-2.7.1.2.4.0.0-169.jar wordcount /data/input /data/output1

19、結果如下 生成_SUCCESS 和檔案

下面是不正經敘述

終於，通過上面的步驟我們搭建了一套hadoop叢集，但隨之而來的還有一些問題，NameNode 和ResouceManage 都是單點的模式，ambari支援HA(高可用) 因為篇幅有限，圖頭後面會單開一張來講。

相關文章