cloudera 5 的安裝測試步驟

Clouder  Hadoop  叢集安裝步驟。

提示：   本來是寫到 文件裡的。    然後 就貼上到這裡， 

結果好像是 螢幕截圖， 無法自動上來。 

我也懶得再搞圖片上來了。就這樣吧。 

只要前面的幾個步驟 系統設定。   處理好。    一般過程不會出問題的。 

就是出問題了。 安裝提示都可以解決。 

 

一．  系統要求， 為了與線上的版本一致。    我們選用了對應的版本。

 

1.  Os  ： centeros 7.x  

2. 資料庫：  mysql 5.6   （ 關閉 5.6 特性：  密碼特性， gtid特性。）

 

2.1          從官方文件看， 對mysql 5.6 以上版本支援上有些問題，

          因為 gtid  對 insert   select 語法的不支援，

          因為測試環境， 對密碼沒那麼高要求， 我們也取消了新密碼功能。

2.2   根據官方文件， 資料庫會膨脹的比較快。 最好是單獨裝置。

2.3     支援  mysql ， postgresql， oracle 三種資料庫品牌。  

 

3. Jdk  1.8  版本，  點名要求  oracle jdk ， linux 系統自帶的open jdk 不支援。

4 .  記憶體:  越大越好,  最低要求 8g  記憶體, 要覺得順暢點, 要10G   這是官方文件的最低要求.

              後記:  剛開始設定 2g 記憶體, 安裝過程中,各種坑都出來了. 搞死. 

             然後記憶體改為 4G  ,我心裡想差不多了.  還是各種坑. 沒商量. 

              最後搞到10g  記憶體.  輕鬆愉快的就搞定. 

即便是 10 G 記憶體,  全部安裝起來後, 跑了幾個測試程式碼, 還是 各種報警,  

 看來  10G  也只是能順利 跑個work count 而已. 

 

二．  安裝

 

1.   我們採用了離線安裝方法，這種方法比較容易控制。便於以後的系統升級，  

 

   用 tar 包方式安裝

1.1   版本選擇：

  cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1

manifest.json

 

1.2   下載地址

 

2.  系統設定：

2.1  系統關閉 selinux 支援：

 

  setenforce   0   （臨時生效） 修改 /etc/selinux/ config  下的 SELINUX=disabled （重啟後永久生效）

2.2  修改 swap 交換設定。

 Cloudera 建議將 /proc/ sys /vm/ swappiness 設定為 0 

echo 0 > /proc/sys/vm/swappiness  

設定為開機執行 寫到 /etc/rd.d/rc.local 中.

 

2.3    關閉 big page 支援.

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

設定為開機執行 , 寫到rc.local .

 

2.4  設定時間伺服器同步 .  ntpdate . 時間不同步,會導致hbase 無法啟動.

 

2.5   設定各節點間 無密碼 ssh .

            我們設定的是 hadoop 使用者.

 

3.   安裝 mysql  5.6   

  採用我們自己定製的安裝包 ,安裝mysql 5.6  

   給 root 使用者授權.

  Create  database  cm;

  Grant all on  *.*  to ‘root’@’%’  identified by ‘root’ ;

   Flush privileges ;  

   

 

4.   安裝 jdk  :

   所有主機安裝 jdk :  jdk1.8.0_201  

   設定 java home  :  export JAVA_HOME=/usr/java/dk1.8.0_201

        下載 mysql 驅動:  mysql-connector-java-5.1.46-bin.jar

         放置一份 到 $JAVA_HOME/lib

 

5.   所有主機設在 /etc/hosts  

       把叢集所有的 hostname 補全.

 

6.  設定安裝目錄 :

 

      配置預設的安裝目錄為  /opt/cm-x.x.x     /opt/cloudera .

 

7.  安裝  cloudera  manager  .

 

7.1   解壓    cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

       到  /data/cm-5.15.1    

        Ln  -s   /data/cm-5.15.1   /opt/cm-5.15.1  

 

  7.2   copy 一份 mysql 驅動 到  /opt/cm-5.15.1/share/cmf/lib

 

 7.3   修改  /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini

[General]

# Hostname of the CM server.

server_host=db-test-vm13-38.ctc  

 

7.4 初始化   資料庫 :

/opt/ cm -5.15.1/share/ cmf /schema/ scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm 

 

注意 :  初始化程式碼要root 執行. 否則會報錯.

7.5  同步目錄 到所有的節點:

S cp  -rp  /data/ cm-5.15.1/*    root@x.x.x.x:/opt/cm-5.15.1  

 

7.6  所有節點 新增 daemon 使用者.

  useradd --system \

 --home= /opt/ cm -5.15.1/run/ cloudera-scm-server \

 --no-create-home \

 --shell=/ bin/ false \

 --comment "Cloudera SCM User" \

 cloudera-scm

 

 

 7.7  啟動 cloudera server :

 

        /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start

 

       /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start   

 

7.8  所有節點都啟動agent

  

/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start   

          這裡在其他節點啟動的時候 ,可能會報錯.

            Cd  /opt/cm-5.15.1/lib/cloudera-scm-agent  

            Rm -rf  *

            /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start  

            主要問題是因為從主節點   複製過來的時候 .

            Uuid  標示檔案重複.

 

 

8.  安裝  parcel .

8.1    在主節點 設定 :

Mkdir  -p  /opt/clouder/parcel-repo

將

CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel

  CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1

manifest.json

放置到   目錄中 .

 

8.2   修改   CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1  檔名

   CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha

 

 

8.3   安裝 parcel

 

          訪問  web 頁面 13.38:7180/cmf/login

  

              

 

預設的 使用者名稱密碼 admin/admin

 

     

8.4   版本選擇 :

 

8.5   選擇主機 :

 

 

  這裡正常情況括號裡會顯示所有的節點的數量

 

如果不對 , 那麼應該是有節點的 agent 啟動有問題  登陸對應節點,  

按照前面方法 重新啟動 agent .

 

 

 

 

 

 

8.6   安裝 :

 

 

      如果我們前面設定 parcel 目錄  修改  sha  檔案, 以及這些問題件的許可權沒問題的話, 這個下載 tab 應該是瞬間就完成了.

 

         如果很慢 , 那麼就要去 主節點 上看看   /opt/cm-5.15.1/log/cloudera-scm-server/  裡面日誌.

 

             多半是因為 sha 不對, 又去到  官方網站下載去了. 一般不會有問題.

 

如果有問題了 ,跟官網核對下sha 裡面的驗證碼, 或者配置 主機的 代理能去到 官網.

 

 

8.7   安裝過程中的問題 :

 

安裝過程中 ,可能會有提示,某個節點 執行狀況不良.

這個時候 ,多半是因為對應節點的資源不夠, 導致agent 執行狀態不好.

到對應節點 , 重啟 agent  服務就可以解決這個問題.

 

8.8   安裝過程 :

 

 

8.9  全部安裝完成 進入檢測頁面 :

 

 

 

 

8.10   系統檢測結果 :

 

 

 

  如果 這裡顯示 ,有檢測結果 錯誤, 可以點選進去後, 有提示問題的原因, 以及對應的解決方法,

 

   按照對應的解決方法 , 處理就可以了.

      

       到這裡  parcel 就安裝完成了.

 

 

 

9.   安裝服務 :

9.1    安裝服務 :

 

選擇全部服務 .

 

9.2  設定頁面 :

 

 

一般選擇預設設定就可以了 . 測試環境, 以後可以再修改.

 

9.3   資料庫庫選項 :

 

 

這裡需要   再資料庫中 建立對應的資料庫 以及對應的資料庫使用者密碼和授權 .

我們採用了簡單密碼方式 .

create  database  hive; 

grant all  on  hive.* to 'hive'@'%'  identified by 'hive'; 

create  database  hue ;

grant allon hue.* to 'hue'@'%'  identified by 'hue' ;

create  database  oozie ; 

grant all on oozie.* to 'oozie'@'%' identified by 'oozie'; 

 

9.4 hbase :

 

 

 

 

9.5  hive 安裝中的錯誤處理:

 

缺少  mysql 驅動，  把 mysql驅動放到  hive_home/lib

Hive_Home  引數:  可以從日誌找到 : /opt/cloudera/CDH/lib/hive/lib

 

  然後繼續執行或者重啟失敗的步驟:

 

 

安裝成功 .

 

9.6  oozie  的故障處理:

 

同樣的也是缺少  mysql 驅動導致的.

opy  mysql驅動到/var/lib/oozie   

 

然後重新執行失敗的步驟 .

問題解決 :

 

 

9.7   所有服務安裝完成 :

 

 

 

9.8   重新登入頁面後變成這樣了 :

 

 

裡面具體的專案可以如何設定 ,包括 hdfs .yarn 等的 ha 功能,都可以在web 上設定完成.相當方便.

 

 

 

各個專案 ,子系統都可以很好的檢測到.

 

 

到此 專案安裝完成 .