hortenworks hadoop 2.4 叢集安裝詳細步驟

1. 準備工作（所有叢集中的主機）

1.1相容性

使用此表，以確定是否你的ambari和HDP的版本相容。

ambari不安裝hue或Solr。

如果你計劃安裝和管理HDP 2.3.4（或之後版本），你必須使用ambari2.2.0（或

之後版本）。不要使用ambari2.1x 帶HDP 2.3.4（或之後版本）。

1.2作業系統檢查

以下是64位作業系統支援列表：

? Red Hat Enterprise Linux (RHEL) v7.x

? Red Hat Enterprise Linux (RHEL) v6.x

? CentOS v7.x

? CentOS v6.x

? Debian v7.x

? Oracle Linux v7.x

? Oracle Linux v6.x

? SUSE Linux Enterprise Server (SLES) v11 SP4 (HDP 2.2 and later)

? SUSE Linux Enterprise Server (SLES) v11 SP3

? SUSE Linux Enterprise Server (SLES) v11 SP1 (HDP 2.2 and HDP 2.1)

? Ubuntu Precise v12.04

? Ubuntu Trusty v14.04

1.3瀏覽器支援

? Windows (7, 8)

Internet Explorer 10

Firefox 18

Google Chrome 26

? Mac OS X (10.6 or later)

Firefox 18

Safari 5

Google Chrome 26

? Linux (CentOS, Debian, Oracle Linux, RHEL, SLES, Ubuntu)

Firefox 18

Google Chrome 26

1.4需要的軟體包

在每臺機器上要有如下軟體包：

? yum and rpm (RHEL/CentOS/Oracle Linux)

? zypper and php_curl (SLES)

? apt (Debian/Ubuntu)

? scp, curl, unzip, tar, and wget

? OpenSSL (v1.01, build 16 or later)

? python v2.6

1.5資料庫支援

1.6記憶體支援

在每臺機器使用free –m命令檢查，每臺機器的剩餘記憶體和硬碟應該滿足如下要求：

1.7最大開啟檔案數檢查

在每臺機器上使用如下命令檢查：

ulimit -Sn

ulimit -Hn

如果這兩個命令都小於10000，則使用如下命令來設定：

ulimit -n 10000

1.8空間需求

安裝HDP2.4的目錄需要大小至少需要2.5G

作業系統(後續安裝步驟以redhat6的版本進行)

支援以下作業系統:

64-bit CentOS 6 or 5 (Deprecated)

64-bit Red Hat Enterprise Linux (RHEL) 6 or 5 (Deprecated)

64-bit Oracle Linux 6 or 5 (Deprecated)

64-bit SUSE Linux Enterprise Server (SLES) 11, SP1 and SP3

64-bit Debian 6

64-bit Ambient Precise (12.04)

Windows Server 2008, 2012

Software Requirements

檢查linux作業系統版本命令：cat /etc/issue

1.9JDK檢查

JDK環境：HDP支援以下JDK版本：

? Oracle JDK 1.8 64-bit (minimum JDK 1.8_60) (default)

? Oracle JDK 1.7 64-bit (minimum JDK 1.7_67)

? OpenJDK 8 64-bit (not supported on SLES)

? OpenJDK 7 64-bit (not supported on SLES)

安裝jdk：

jdk安裝在目錄/usr/local 下，在當前使用者下配置.bash_profile檔案，設定如下：

#ambari

export JAVA_HOME=/usr/local/jdk1.7.0_79

export JAVA_BIN=$JAVA_HOME/bin

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

說明：儘量不要去修改全域性變數的配置檔案/etc/profile 和 /etc/bashrc ，建議修改當前使用者下的.bash_profile ,這樣隻影響當前使用者，不會影響到其它使用者的環境變數配置

1.10修改 /etc/hosts 檔案

將所有的節點都配置好，舉例：

127.0.0.1 localhost dsj-kj5

::1 localhost dsj-kj5

10.13.39.32 dsj-kj1

10.13.39.33 dsj-kj2

10.13.39.34 dsj-kj3

10.13.39.35 dsj-kj4

10.13.39.36 dsj-kj5

1.11為每臺主機關閉iptables、SELinux,啟動ntpd服務

1. 關閉iptables，可以直接執行如下命令：

立即關閉，並非永久關閉

[root@rac1 ~]# /etc/init.d/iptables stop

永久關閉

iptables -F 關閉防火牆功能

[root@rac1 ~]# chkconfig iptables off

檢視防火牆狀態：

service iptables status

2. 禁用selinux，也就是修改/etc/selinux/config檔案，修改後的內容為：

立即關閉selinux:

setenforce 0

永久關閉selinux:

SELINUX=disabled

SELINUXTYPE=targeted：

檢視selinux的狀態

/usr/sbin/sestatus -v ##如果SELinux status引數為enabled即為開啟狀態

3．開啟ntpd服務

service ntpd restart

chkconfig ntpd on

1.12配置各臺機器的無密碼登陸(SSH)

SSH無密登陸設定，只需設定管理節點（ambari安裝節點）到其他節點即可

在每臺機器上生成公鑰和私鑰
-------------
[root@master ~]$ mkdir ~/.ssh
[root@master ~]$ chmod 700 ~/.ssh
[root@master ~]$ ssh-keygen -t rsa
[root@master ~]$ ssh-keygen -t dsa

把每臺機器上的公鑰和私鑰合併後的檔案，再合併成一個authorized_keys檔案

[root@master ~]$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@master ~]$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[root@master ~]$chmod 600 ~/.ssh/authorized_keys
在第一臺機器(master)把其它機器的authorized_keys檔案內容追加到第一臺機器上
[root@master ~]$ ssh slave1 cat ~/.ssh/authorized_keys >> ~/.ssh/authorized_keys

最重要的是，不要忘記將我們剛剛在master上生成的authorized_keys檔案scp到其它機器
[root@master ~]$ scp ~/.ssh/authorized_keys slave1:~/.ssh/authorized_keys

測試連線成功的情況：
在每臺機器上機器上
ssh master date
ssh slave1 date

ssh slave2 date

1.12.1出現問題：在建立的ambari使用者下配置完後出現ssh不能訪問，讓輸入密碼

解決：是許可權問題。

.ssh目錄的許可權和authorized_keys的許可權都要看，許可權大了是不行的

.ssh的許可權700， authorized_keys的許可權600，就夠了，屬主要是登陸使用者自己（root是不行的），組無所謂

不管是什麼原因，查/var/log/secure就明白了

獲取安裝包地址：

1.13在主節點上安裝postgresql

1.Ambari資料庫需要用到postgresql，所以要安裝postgresql

在配置好系統光碟本地源後(參考2.4)，執行如下命令安裝：

2.安裝新版本的Postgresql

yum install postgresql* -y

3.初始化資料庫

/etc/init.d/postgresql initdb

4.啟動資料庫

/etc/init.d/postgresql start

注意：postgresql啟動後就可以利用service postgresql start/restart/stop來控制它了。

雖然打完service後，按p不提示postgresql,但是可以用手輸。

5.把postgresql加入自啟動列表

cd /etc/init.d

chkconfig --add postgresql

6.檢視一下自啟動列表

chkconfig --list

chkconfig postgresql on 設定開機啟動

在這裡可以看到postgresql已經在其中了。

解除安裝步驟：

先刪除安裝包

yum –y remove postgresql* 注意這步會關聯刪除ambari-server

rm -rf /var/lib/pgsql

安裝

yum –y install postgresql*

1.13.1初始化postgresql資料庫的時候出現/var/lib/pgsql/data is missing. Use "service postgresql initdb" to initialize the cluster first

檢視postgresql的日誌檔案/var/lib/pgsql/pgstartup.log，裡機的內容：

initdb: 語言環境 zh_CN.GB18030要求使用不支援的編碼GB18030

不允許將編碼GB18030作為伺服器端編碼.

使用一個不同的語言環境重新執行initdb .

屬於此資料庫系統的檔案宿主為使用者 "postgres".

此使用者也必須為伺服器程式的宿主.

資料庫簇將帶有 locale zh_CN.GB18030 初始化.

原來是變數LANG設定成了zh_CN.GB18030

在/etc/profile中加上export LANG=C

再初始化和啟動資料庫沒有問題

1.14安裝mysql

1.14.1使用yum安裝

如果安裝過，首先解除安裝：

yum -y remove mysql*

以下為安裝步驟：

1. 安裝mysql 伺服器端：

yum install mysql-server

yum install mysql-devel

2. 安裝mysql客戶端：

yum install mysql

3. 啟動mysql服務：

service mysqld start或者/etc/init.d/mysqld start

停止：

service mysqld stop

重啟：

service mysqld restart

4. 建立root管理員：

mysqladmin -u root password 123456

5.登陸

mysql -uroot -p123456

1.14.2使用軟體包安裝mysql

由於HIVE元件要用到mysql ，所以要安裝mysql

1、下載 http://dev.mysql.com/downloads/mysql/

http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.26-linux-glibc2.5-i686.tar.gz

迅雷下載後ftp傳到Linux下面/usr/local/soft/

2、解壓縮到/usr/local/下面，mysql的主目錄命名為mysql

[root@localhost local]# cd /usr/local/soft/

[root@localhost soft]# tar zvxf mysql-5.6.26-linux-glibc2.5-x86_64.tar.gz -C /usr/local

[root@localhost soft]# cd ..

[root@localhost local]# mv mysql-5.6.26-linux-glibc2.5-x86_64 mysql

3、在mysql下面建立data資料庫檔案目錄

[root@localhost local]# mkdir mysql/data

4、建立mysql的使用者組和使用者，並對mysql目錄設定使用者組和使用者

[root@localhost local]# groupadd mysql

[root@localhost local]# useradd mysql -g mysql

[root@localhost local]# cd mysql

[root@localhost mysql]# pwd

/usr/local/mysql

[root@localhost mysql]# chown -R mysql .

[root@localhost mysql]# chgrp -R mysql .

5、初始化mysql並啟動mysql服務

[root@localhost mysql]# cd /usr/local/mysql/scripts

[root@localhost scripts]# yum install libaio

設定安裝程式

Loading mirror speeds from cached hostfile

* base: mirrors.opencas.cn

* extras: mirrors.btte.net

* updates: mirrors.btte.net

包 libaio-0.3.107-10.el6.i686 已安裝並且是最新版本

無須任何處理

[root@localhost bin]# ./mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data

2016-01-09 12:00:28 [WARNING] mysql_install_db is deprecated. Please consider switching to mysqld --initialize

2016-01-09 12:00:33 [WARNING] The bootstrap log isn't empty:

2016-01-09 12:00:33 [WARNING] 2016-01-09T04:00:29.262989Z 0 [Warning] --bootstrap is deprecated. Please consider using --initialize instead

2016-01-09T04:00:29.264643Z 0 [Warning] Changed limits: max_open_files: 1024 (requested 5000)

2016-01-09T04:00:29.264653Z 0 [Warning] Changed limits: table_open_cache: 431 (requested 2000)

[root@localhost bin]# cd /usr/local/mysql/support-files

[root@localhost support-files]# ./mysql.server start

Starting MySQL. SUCCESS!

6、登入mysql，此版本最新版不許空密碼登入，實際上有個初始化密碼儲存在/root/.mysql_secret這個檔案裡面，用這個密碼第一次登入後，再修改密碼。因此先cat檢視下初始化密碼（隨機的，每次安裝看到的密碼都不一樣）：

[root@localhost ~]# cat /root/.mysql_secret

# Password set for user 'root@localhost' at 2016-01-09 12:00:28

:5ul#H6dmcwX

利用初始化密碼:5ul#H6dmcwX開始登入mysql：

[root@localhost ~]# cd /usr/local/mysql/bin

[root@localhost bin]# ./mysql -uroot -p:5ul#H6dmcwX

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 5

Server version: 5.7.10

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>

顯示登入成功，可以執行mysql命令操作了！

設定自動啟動mysql

4.配置檔案

cd /usr/local/mysql/support-files

cp my-default.cnf /etc/my.cnf

cp mysql.server /etc/init.d/mysql

vim /etc/init.d/mysql #若mysql的安裝目錄是/usr/local/mysql,則可省略此步

修改檔案中的兩個變更值

basedir=/usr/local/mysql
datadir=/usr/local/mysql/data

5.配置環境變數

vim /etc/profile

export MYSQL_HOME=/usr/local/mysql

export PATH=$PATH:$MYSQL_HOME/bin

儲存退出

. /etc/profile

6.新增自啟動服務

chkconfig --add mysql

chkconfig mysql on

7.啟動mysql

service mysql start

8.登入mysql及改密碼與配置遠端訪問

mysqladmin -u root password 'your_password'

忘記root密碼後，如何找回密碼

cd /usr/local/mysql

./bin/mysqld_safe --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --skip-grant-tables &

mysql -u root mysql

UPDATE user SET password=PASSWORD("root") WHERE user='root';

FLUSH PRIVILEGES;

7、改mysql的root密碼，新密碼在此為'root'

mysql> set password=password('root');

Query OK, 0 rows affected, 1 warning (0.00 sec)

8、設定遠端登入mysql。在Linux下為了安全，預設是不允許mysql本機以外的機器訪問mysql資料庫服務，因此需要重新授權root。方便遠端訪問。

mysql> use mysql;

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> select Host,User from user;

+-----------+-----------+

| Host | User |

+-----------+-----------+

| % | root |

| localhost | mysql.sys |

| localhost | root |

+-----------+-----------+

3 rows in set (0.00 sec)

mysql> GRANT ALL PRIVILEGES ON *.* TO root@'%' identified by 'leizm';

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

授權語句最後的‘leizm’是mysql資料庫root使用者的新密碼。

9、非必要的步驟，如果遠端連不上，估計是防火牆的問題，關閉試試：

[root@localhost mysql]# service iptables stop

setenforce 0iptables：將鏈設定為政策 ACCEPT：filter [確定]

iptables：清除防火牆規則： [確定]

iptables：正在解除安裝模組： [確定]

[root@localhost mysql]# setenforce 0

setenforce: SELinux is disabled

用SQLyog遠端登入訪問測試下：

安裝配置成功！

建立使用者和資料庫：

mysql -uroot -pxxxx 進入mysql命令列，建立以下使用者和資料庫：

#ambari for mysql 配置

CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';

CREATE USER 'ambari'@'a2master' IDENTIFIED BY 'ambari';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'a2master';

FLUSH PRIVILEGES;

說明：a2master Ambari Server 的機器名稱

CREATE DATABASE ambari;

use ambari;

source /root/Ambari-DDL-MySQL-CREATE.sql;

FLUSH PRIVILEGES;

#hive for mysql 配置

CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

CREATE USER 'hive'@'a2slave1'IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'a2slave1';

FLUSH PRIVILEGES;

CREATE DATABASE hive;

FLUSH PRIVILEGES;

說明：'a2slave1' 是Hive Metastore 安裝的機器名稱

#root設定

GRANT ALL PRIVILEGES ON *.* TO root@'%' identified by 'root';

FLUSH PRIVILEGES;

遇到問題：

第一次登陸mysql的時候出現

[root@master bin]# mysql -uroot -ppiJq0-uBGR:q

Warning: Using a password on the command line interface can be insecure.

ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)

使用網上介紹的方法修改root使用者的密碼：
# mysqladmin -uroot -p password 'newpassword'
Enter password:
mysqladmin: connect to server at 'localhost' failed
error: 'Access denied for user 'root'@'localhost' (using password: YES)'

現在終於被我找到了解決方法，如下（請先測試方法三，謝謝！）：
方法一：
# /etc/init.d/mysql stop
# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &
# mysql -u root mysql
mysql> UPDATE user SET Password=PASSWORD('newpassword') where USER='root';
mysql> FLUSH PRIVILEGES;
mysql> quit

# /etc/init.d/mysqld restart
# mysql -uroot -p
Enter password: <輸入新設的密碼newpassword>

mysql>

1.14.2.1在啟動mysql的時候出現錯誤Starting MySQL.The server quit without updating PID file (/[FAILED]

原來是在/etc/目錄下有一個my.cnf檔案，刪除掉再啟動問題解決

1.14.2.2在啟動mysql的時候出現錯誤The server quit without updating PID file [FAILED]cal/mysql/data/gslave1.pid).

檢視/usr/local/mysql/data目錄下的gslave1.err檔案中有如下內容：

2016-03-31T02:46:06.138942Z 0 [ERROR] SSL error: Unable to get certificate from 'server-cert.pem'

2016-03-31T02:46:06.138957Z 0 [Warning] Failed to set up SSL because of the following SSL library error: Unable to get certificate

2016-03-31T02:46:06.139056Z 0 [Note] Server hostname (bind-address): '*'; port: 3306

2016-03-31T02:46:06.139090Z 0 [Note] IPv6 is available.

2016-03-31T02:46:06.139095Z 0 [Note] - '::' resolves to '::';

2016-03-31T02:46:06.139098Z 0 [Note] Server socket created on IP: '::'.

2016-03-31T02:46:06.139119Z 0 [ERROR] Could not open unix socket lock file /tmp/mysql.sock.lock.

2016-03-31T02:46:06.139121Z 0 [ERROR] Unable to setup unix socket lock file.

2016-03-31T02:46:06.139123Z 0 [ERROR] Aborting

手工刪除/tmp/mysql.sock.lock這個檔案啟動成功

cd /tmp

rm -rf mysql.sock.lock

1.14.2.3在連線mysql的時候出現ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

自己分析了一下，提示說無法透過socket檔案/var/lib/mysql/mysql.sock連線到mysql伺服器，也就是說對於mysql程式來說，因為mysql預設會在建立在/tmp/mysql.sock，但是對於mysql還是會從預設的安裝目錄/var/lib/mysql/裡找這個mysql.sock檔案，找不著，就不知道從哪裡啟動了。

為了驗證我的想法，我首先從轉移後的路徑做了個軟連線指向到mysql的預設目錄裡，如果mysql程式能連上說明想法是正確的。

ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock

做完軟連線，重啟mysql服務，再次透過mysql程式連線，沒有問題，可以連上了。

2.製作ambari和hadoop本地源

2.1建立本地源目錄

選取一臺伺服器，安裝http服務，安裝完後會自動建立 /var/www/html 目錄

啟動httpd 命令： service httpd start

chkconfig httpd on

建立兩個目錄：

mkdir /var/www/html/ambari

mkdir /var/www/html/hdp

2.2ambari本地源建立

解壓HDP-UTILS-1.1.0.20-centos6.tar.gz 到目錄 /var/www/html/ambari

命令：tar zxvf HDP-UTILS-1.1.0.20-centos6.tar.tar -C /var/www/html/ambari

把Updates-ambari-2.2.1.0目錄複製到目錄 /var/www/html/ambary

進入/var/www/html/ambari 目錄，執行命令：createrepo ./

ambari本地源製作完成

2.3hadoop本地源建立

把HDP-2.4.0目錄複製到目錄 /var/www/html/hdp

進入/var/www/html/hdp 目錄，執行命令：createrepo ./

hadoop本地源製作完成

2.4系統光碟本地源建立

製作系統本地源（安裝ambari和hadoop時，可能會依賴些系統包，這時需要有系統的本地源來安裝）

2.4.1掛載ISO檔案方式

我在本機測試的是虛擬機器，所以可以透過虛擬機器掛載ISO的方式實現

1.mount DVD光碟到/mnt

mount /dev/sr0 /mnt

2. 在/etc/yum.repos.d目錄建立mnt.repo，並刪除其它的repo檔案，否則會互相影響

[root@localhost yum.repos.d]# cat mnt.repo

[MNT]

name=isofile

baseurl=file:///mnt

enabled=1

gpgcheck=0

gpgkey=file:///mnt/RPM-GPG-KEY-redhat-release

使用yum clean all刪除以前的快取

使用yum list進行測試

2.4.2複製檔案方式

1.在windows上解壓好，直接複製所有檔案到linux機器

如果是真實的生產環境機器，則要先把ISO檔案在本機解壓，然後把檔案都複製到/mnt目錄下(必須開啟這臺機器的httpd服務)，然後在/etc/yum.repos.d目錄下建立一個mnt.repo

[MNT]

name=isofile

baseurl=file:///mnt

enabled=1

gpgcheck=0

gpgkey=file:///mnt/RPM-GPG-KEY-redhat-release

使用yum clean all刪除以前的快取

使用yum list進行測試

2.複製ISO檔案到linux機器

也可以複製ISO檔案到linux機器

先把檔案複製到一個目錄(非/mnt下)，比如/usr/local

然後掛載到/mnt下

[root@ ~]# mount -o loop /usr/local/rhel-server-6.6-x86_64-dvd.iso /mnt

mount: warning: /mnt seems to be mounted read-only.

然後在/etc/yum.repos.d目錄下建立一個mnt.repo

[MNT]

name=isofile

baseurl=file:///mnt

enabled=1

gpgcheck=0

gpgkey=file:///mnt/RPM-GPG-KEY-redhat-release

使用yum clean all刪除以前的快取

使用yum list進行測試

3. 安裝與配置ambari服務

vim /etc/yum.repos.d/ambari.repo 新增以下內容

[ambari-2.2.1.]

name=Ambari 2.2.1

baseurl=

gpgcheck=0

enabled=1

[HDP-UTILS-1.1.0.20]

name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.20

baseurl=

gpgcheck=0

enabled=1

baseurl 中的node3為安裝ambari的節點, 根據自己安裝的實際節點配置

執行安裝ambari 命令：yum -y install ambari-server

開始配置ambari 服務：ambari-server setup

最好選擇3，Jdk提前自己安裝，只需要設定JAVA_HOME的路徑即可，否則選擇1、2的話，需要透過網路下載，速度很慢

啟動ambari服務：ambari-server start

Using python /usr/bin/python2.6

Starting ambari-server

Ambari Server running with 'root' privileges.

Server PID at: /var/run/ambari-server/ambari-server.pid

Server out at: /var/log/ambari-server/ambari-server.out

Server log at: /var/log/ambari-server/ambari-server.log

Ambari Server 'start' completed successfully.

到此ambari安裝好

重灌可以用此命令刪除本機的目錄find . -name ambari* | grep -v www | xargs rm -rf

4. 本地安裝hadoop，給ambari配置本地hadoo源地址

進入目錄：vim /var/lib/ambari-server/resources/stacks/HDP/2.4/repos/repoinfo.xml

修改中間的OS部分為

<repo>

</repo>

<repo>

<repoid>HDP-UTILS-1.1.0.20</repoid>

<reponame>HDP-UTILS</reponame>

</repo>

</os>

修改redhat6中的配置，node3為ambari安裝的節點，根據自己安裝的實際節點配置

這樣在ambari執行hadoop安裝時，會將本地源地址配置到所有主機上，在為所有主機安裝ambari-agent時，會將ambari節點下的/etc/yum.repo/ambari.repo檔案複製到所有主機

5. 登入ambari管理頁面，進行叢集和元件的配置安裝

賬戶：admin 密碼：admin，ip為ambari節點的實際IP

設定叢集的名稱：

選擇HDP版本

選擇HDP和HDP-UTILS的本地源路徑,我用的是linux redhat6 作業系統，HAZZ-ZHFX-HADOOP01是配置hadoop 本地源的主機

選擇叢集中的所有主機，一行一個主機，再填寫ssh私鑰(master機器的id_dsa)，用你設定ssh免密碼登陸時的使用者，我用的是root使用者（注意：hosts中配置的名稱需要小寫，大寫ambari匹配不上）

確認並且選擇主機，最好將下面的警告全都消除掉，可能會影響hadoop元件的安裝

選擇需要安裝的元件

分配好元件安裝的機器

選擇需要裝的元件

根據需要，具體配置元件各項引數

本次元件總體安裝資訊

開始安裝，直到成功

叢集總體安裝部署情況

當顯示如下頁面時，則表示hadoop安裝成功

注意事項：

1.如果不是用root使用者來安裝，只是用普通使用者來安裝的話，需要給這個使用者加上sudo許可權，具體配置只需要在 /etc/sudoers 檔案中新增一行配置即可，

hadoop ALL=(ALL) NOPASSWD:ALL

2./var/run/ganglia 這個資料夾的許可權需要是755，如果不是，修改成755

sudo chmod -R 755 /var/run/ganglia

3.如果在安裝hdp元件時發現存在openssl依賴情況，如下：

Error: Package: nagios-plugins-1.4.9-1.x86_64 (HDP-UTILS-1.1.0.20)

Requires: libssl.so.10(libssl.so.10)(64bit)

Error: Package: nagios-plugins-1.4.9-1.x86_64 (HDP-UTILS-1.1.0.20)

Requires: libcrypto.so.10(libcrypto.so.10)(64bit)

You could try using --skip-broken to work around the problem

You could try running: rpm -Va --nofiles --nodigest

此時需要升級openssl版本，即可解決這個問題，下面是測試可以正常使用的openssl版本

openssl-1.0.1e-30.el6.x86_64.rpm

openssl-devel-1.0.1e-30.el6.x86_64.rpm

openssl098e-0.9.8e-18.el6_5.2.x86_64.rpm

4.安裝時需要依賴很多的系統工具包，yum源是肯定需要的，如果叢集不能聯網，可以在內網配置一臺yum伺服器供叢集安裝時使用

RANGER安裝配置

ambari2.2.1 for redhat6.6安裝部署文件

1. 準備工作（所有叢集中的主機）

1.1相容性

1.2作業系統檢查

1.3瀏覽器支援

1.4需要的軟體包

1.5資料庫支援

1.6記憶體支援

1.7最大開啟檔案數檢查

1.8空間需求

1.9JDK檢查

1.10修改 /etc/hosts 檔案

1.11為每臺主機關閉iptables、SELinux,啟動ntpd服務

1.12配置各臺機器的無密碼登陸(SSH)

1.12.1出現問題：在建立的ambari使用者下配置完後出現ssh不能訪問，讓輸入密碼

1.13在主節點上安裝postgresql

1.13.1初始化postgresql資料庫的時候出現/var/lib/pgsql/data is missing. Use "service postgresql initdb" to initialize the cluster first

1.14安裝mysql

1.14.1使用yum安裝

1.14.2使用軟體包安裝mysql

1.14.2.1在啟動mysql的時候出現錯誤Starting MySQL.The server quit without updating PID file (/[FAILED]

1.14.2.2在啟動mysql的時候出現錯誤The server quit without updating PID file [FAILED]cal/mysql/data/gslave1.pid).

1.14.2.3在連線mysql的時候出現ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

2.製作ambari和hadoop本地源

2.1建立本地源目錄

2.2ambari本地源建立

2.3hadoop本地源建立

2.4系統光碟本地源建立

2.4.1掛載ISO檔案方式

2.4.2複製檔案方式

3. 安裝與配置ambari服務

4. 本地安裝hadoop，給ambari配置本地hadoo源地址

相關文章