CDH5大資料實驗平臺搭建筆記

本實驗環境4臺linux16.04 都是安裝在VMware Workstation的虛擬機器。
分別是 CDH01 CDH02 CDH03 CDH04 其中 CDH01是主伺服器 主伺服器25G+8G 其它20G+4G

以下四臺機器都需要
1.修改root密碼 一樣的密碼

1. apt-get install openssh-server openssh-client

apt-get install ntp

3.在主機 ssh-keygen -t rsa 生成 /root/.ssh/下 金鑰檔案和私鑰檔案 id_rsa,id_rsa.pub

1. 修改 vi /etc/ssh/sshd_config
   增加 PermitRootLogin yes 允許root遠端登入

/etc/init.d/ssh restart重啟服務

5.從CDH01複製id_rsa.pub到其他機器的 /root/.ssh/authorized_keys
在CDH02,CDH03,CDH04建立目錄 /root/.ssh
scp id_rsa.pub root@192.168.196.142L/root/.ssh/authorized_keys

1. 修改hosts檔案
2. /etc/hosts

vi /etc/hostname
192.168.196.145 CDH01
192.168.196.146 CDH02
192.168.196.147 CDH03
192.168.196.148 CDH04

1. 下載jdk1.8 到 /var/cache/apt
   網上下載oracle-j2sdk1.8_1.8.0+update20_amd64.deb

安裝下載的檔案

dpkg -i oracle-j2sdk1.8_1.8.0+update20_amd64.deb
輸入javac -version 測試 顯示版本 javac 1.8.0_20

8.在 CDH01 上安裝 mysql
sudo apt-get install mysql-server
apt-get isntall mysql-client
sudo apt-get install libmysqlclient-dev
sudo netstat -tap | grep mysql
mysql -u root -p

vi /etc/mysql/mysql.cnf.d/mysqld.cnf

bindaddress = 0.0.0.0 (允許遠端登入mysql)
grant all privileges on . to root@`%` identified by `密碼*` with grant option;
flush privileges;

1. cloudera-manager安裝

在CDH01目錄 /var/cache/apt/archives
cd /var/cache/apt/archives
設定 apt資料來源
curl “http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/cloudera.list” -o /etc/apt/sources.list.d/cloudera_xenial.list
curl -s http://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/archive.key | sudo apt-key add

確認：/etc/apt/sources.list.d/cloudera-manager.list檔案為以下內容：
deb [arch=amd64] https://archive.cloudera.com/cm5/ubuntu/xenial/amd64/cm/ xenial-cm5.13.1 contrib

apt-get update
apt-get install cloudera-manager-server cloudera-manager-agent

10、修改Cloudera-Manager-Server的配置檔案db.properties，設定MySql連線
　　修改Cloudera-Manager-Server的配置檔案db.properties,設定剛才我們在（4.7）Mysql中建立的cmf資料庫、使用者名稱、密碼（4臺機器都要執行）

root@m1:~# vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=CDH01
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm

2. https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz

tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd mysql-connector-java-5.1.45
mv mysql-connector-java-5.1.45.bin.jar /usr/share/cmf/lib

12.建立cm資料庫
/usr/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -pxxxx –scm-host localhost scm scm scm

13.建立使用者（這個好像也可以自動建立，無需手動建立使用者）
useradd –system –home=/opt/cm/run/cloudera-scm-server/ –no-create-home –shell=/bin/false -comment “Cloudera SCM User” cloudera-scm
也可以根據cloudera平臺執行後，上面提示CDH01未建立hive等…幾個使用者和使用者組，分別再建立

useradd Hive

….

1. ufw disable (關閉防火牆)

15.啟動主伺服器服務
service cloudera-scm-server start
service cloudera-scm-server status
netstat -ap | grep 7180
(要等一會 才能看到7180服務已啟動)

16.複製以下檔案到 /opt/cloudera/parcel-repo
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel
CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1
manifest.json
把CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha1 改名為 CDH-5.13.1-1.cdh5.13.1.p0.2-xenial.parcel.sha

17.複製cloudera-manager的安裝檔案到其它機器
cd /var/cache/apt/archives
scp cloudera* root@CDH02:/var/cache/apt/archives
scp cloudera* root@CDH03:/var/cache/apt/archives
scp cloudera* root@CDH04:/var/cache/apt/archives

1. http://192.168.196.145:7180 admin/admin

在瀏覽器開啟以上網址，賬號密碼是admin/admin,然後按嚮導開始安裝 cloudera 平臺及各元件。

以下是成功安裝後的執行介面：