大資料之CDH叢集搭建

注意：全程在root使用者下執行，其他使用者可能出現許可權問題導致安裝失敗或啟動失敗

一、配置主機名（每臺都要做）

vi /etc/sysconfig/network

二、配置主機地址（每臺都要做）

vi /etc/hosts

三、配置IP（每臺都要做）

vi /etc/udev/rules.d/70-persistent-net.rules	//把第一個配置去掉，拷貝第二個地址，然後把最後的eth1改為eth0
vi /etc/sysconfig/network-scripts/ifcfg-eth0	

四、關閉防火牆（每臺都要做）

1. 臨時關閉：

   service iptables stop
   

2. 永久關閉：

   chkconfig iptables off
   

五、關閉SELINUX（每臺都要做）

1. 臨時關閉：

   setenforce 0
   

2. 永久關閉：（重啟後生效）

   修改/etc/selinux/config檔案中的SELINUX的值為disabled
   

六、配置ssh免金鑰登陸（每臺都要做）

ssh-keygen -t rsa   //生成金鑰
ssh-copy-id hadoop101	//拷貝金鑰

七、安裝jdk（解壓，配置環境變數即可，每臺都要做）

八、第一臺hadoop101安裝mysql（一臺即可）

1. 檢視mysql是否安裝，如果安裝了，解除安裝mysql

   rpm -qa|grep mysql
   rpm -e --nodeps ‘rpm包名’
   

2. 安裝mysql服務端

   rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
   

3. 檢視產生的隨機密碼

   cat /root/.mysql_secret
   

4. 啟動mysql

   service mysql start
   

5. 安裝mysql客戶端

   rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
   

6. 連結mysql

   mysql -uroot -pOEXaQuS8IWkG19Xs
   

7. 修改密碼

   SET PASSWORD=PASSWORD('123456');
   

8. 退出mysql，重新以新密碼進入

   quit;
   mysql -uroot -p123456
   

9. 使用mysql資料庫

   use mysql;
   

10. 查詢user表

    select User, Host, Password from user;
    

11. 修改user表，把Host表內容修改為%

    update user set host='%' where host='localhost';
    

12. 刪除root使用者的其他host

    delete from user where Host='hadoop101';
    delete from user where Host='127.0.0.1';
    delete from user where Host='::1';
    

13. 重新整理

    flush privileges;
    

14. 退出

    quit;
    

九、下載第三方依賴（每臺都要做）

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

十、建立CM用的資料庫（進入mysql建立）

1. 叢集監控資料庫：

   create database amon default charset utf8 collate utf8_general_ci;
   

2. hive資料庫：（儲存hive後設資料的）

   create database hive default charset utf8 collate utf8_general_ci;
   

十一、建立cloudera-manager的儲存目錄，然後解壓cloudera-manager的壓縮包（每臺都要做）

mkdir -p /etc/module/cloudera-manager
tar -zvxf 壓縮包名 -C /etc/module/cloudera-manager

十二、建立使用者cloudera-scm（每臺都要做）

useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

​ --system 建立一個系統賬戶
​ --home 指定使用者登陸時的主目錄，替換系統預設值/home/<使用者名稱>
​ --no-create-home 不用建立使用者的主目錄
​ --shell 使用者的登入shell名
​ --comment 使用者的描述資訊
​ 注意：Cloudera Manager預設使用者為cloudera scm，建立具有此名稱的使用者是最簡單的方法，安裝完成後，將自動使用此使用者。

十三、配置CM Agent（每臺都要做）

修改檔案：

vi /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=hadoop101

十四、配置CM的資料庫（安裝Mysql那一臺即可）

1. 建立資料夾：

   mkdir /usr/share/java
   

2. 拷貝資料庫連線驅動：

   cp 驅動地址 /usr/share/java
   

3. 驅動改名：

   mv mysql-connector-java.5.7.1.bin.jar mysql-connector-java.jar
   

4. 在mysql資料庫中建立cm庫：

   /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop101 -uroot -p123456 --scm-host hadoop101 scm scm scm
   	-h：資料庫所在的機器名
   	-u：資料庫使用者名稱
   	-p：資料庫密碼
   	-scm-host：scm服務的主機名
   

十五、分發cloudera-manager

十六、在Server節點建立Parcel-repo目錄，並改變所有者和所有組（每臺都要做）

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

十七、檔案拷貝到/opt/cloudera/parcel-repo目錄下

​ manifest.json
​ CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
​ CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1
​ 注意：需要把CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1檔案改為CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

十八、在Agent三臺機器建立目錄/opt/cloudera/parcels，並改變所有者和所有組（每臺都要做）

//用來存放之後安裝的一些框架包；如hadoop、hive等
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

十九、啟動（啟動時間比較長，請耐心等待）

1. 啟動server（hadoop101上啟動）：

   /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
   

2. 啟動agent（三臺都啟動）：

   /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
   

二十、檢視埠被佔用則表示成功

netstat -anp | grep 7180

二十一、訪問web頁面

​ http://hadoop101:7180