CDH5 快速入門手冊v1.0

hackeruncle發表於2016-02-20
H5

0. 體系架構

CDH5 快速入門手冊v1.0

CM分為Server與Agent兩部分及資料庫（自帶更改過的嵌入Postgresql）。它主要做三件事件：

1.       管理監控叢集主機。

2.       統一管理配置。

3.       管理維護Hadoop平臺系統。

實現採用C/S結構，Agent為客戶端負責執行服務端發來的命令，執行方式一般為使用python呼叫相應的服務shell指令碼。Server端為Java REST服務，提供REST API，Web管理端透過REST API呼叫Server端功能，Web介面使用富客戶端技術（Knockout）。

1.       Server端主體使用Java實現。

2.       Agent端主體使用Python, 服務的啟動透過呼叫相應的shell指令碼進行啟動，如果啟動失敗會重複4次呼叫啟動指令碼。

3.       Agent與Server保持心跳，使用Thrift RPC框架。


1. 相關目錄

·         /opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。

·         /opt/cloudera/parcel-repo/ : 下載的服務軟體包資料，資料格式為parcels。

·         /opt/cloudera/parcel-cache/ : 下載的服務軟體包快取資料。

·         /opt/cloudera/parcels/CDH/jars : 所有jar包所在目錄

·         /var/log/cloudera-scm-installer : 安裝日誌目錄

·         /var/log/cloudera-scm-* : 相關日誌檔案（相關服務的及CM的）

·         /usr/share/cmf/ : 程式安裝目錄

·         /usr/lib64/cmf/ : Agent程式程式碼

·         /var/lib/cloudera-scm-server-db/data : 內嵌postgresql資料庫目錄

·         /var/lib/cloudera-scm-server:服務端目錄

·         /usr/bin/postgres : 內嵌資料庫程式

·         /etc/cloudera-scm-agent/ : cm agent的配置目錄。

·         /etc/cloudera-scm-agent/config.ini ： 配置連線服務端的配置,如server_host

·         /etc/cloudera-scm-server/ : cm server的配置目錄。

·         /etc/cloudera-scm-server/db.properties ：database settings

·         /etc/hadoop/* ：hadoop客戶端配置目錄

·         /etc/hive/ ：hive 的配置目錄

2. 配置及環境變數

·        CDH4/5配置檔案之深度解析: http://blog.itpub.net/30089851/viewspace-2110288/

             CDH安裝完成後,服務啟動時,Hadoop各元件配置檔案會被放置於/var/run/cloudera-scm-agent/process/目錄下。

例如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置檔案是透過Cloudera Manager啟動相應服務（如HDFS）時生成的，內容從資料庫中獲得（即透過介面配置的引數）。

           在CM介面上更改配置是不會立即反映到配置檔案中，這些資訊會儲存於資料庫中，等下次重啟服務時才會生成配置檔案。且每次啟動時都會產生新的配置檔案。

          CM Server主要資料庫為scm/cmf中放置配置的資料表為configs。裡面包含了服務的配置資訊

每一次配置的更改會把當前頁面的所有配置內容新增到資料庫中，以此儲存配置修改歷史。

 

·         檢視配置內容

             a.直接查詢cmf資料庫的configs資料表的內容。

             b.訪問REST API：，返回JSON格 式部署配置資訊。

·         配置生成方式

CM為每個服務程式生成獨立的配置目錄（檔案）。所有配置統一在服務端查詢資料庫生成（因為scm/cmf資料庫只能在localhost下訪問）生成配置檔案，再由agent透過網路下載包含配置檔案的zip包到本地解壓到指定的目錄。

·         配置修改

CM對於需要修改的配置預先定義，對於沒有預先定義的配置,則透過在高階配置項中使用xml配置片段的方式進行配置。而對於/etc/hadoop/下的配置檔案是客戶端的配置，可以在CM透過部署客戶端生成客戶端配置。

·         環境變數指令碼:/opt/cloudera/parcels/CDH/meta/cdh_env.sh

   CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

   HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop

#CM 客戶端/服務端、Hadoop各個元件的配置檔案都在/etc目錄下

 HDFS  Active NameNode 資料目錄  dfs.name.dir  /dfs/nn
 Standby NameNode 資料目錄  dfs.name.dir  /dfs/nn
 Secondary NameNode HDFS 檢查點目錄fs.checkpoint.dir  /dfs/nn
 日誌目錄hadoop.log.dir  /var/log/hadoop-hdfs
 MapReduce  JobTracker 本地資料目錄mapred.local.dir  /mapred/jt
 TaskTracker 本地資料目錄列表mapred.local.dir  /mapred/local
 日誌目錄hadoop.log.dir  /var/log/hadoop-0.20-mapreduce 
 Hive  倉庫目錄hive.metastore.warehouse.dir  /user/hive/warehouse
 HiveServer2 日誌目錄  /var/log/hive
 Zookeeper  資料目錄dataDir  /var/lib/zookeeper
 事務日誌目錄dataLogDir  /var/lib/zookeeper

3. CM常用命令

       service cloudera-scm-server start|stop|restart|status

       service cloudera-scm-server-db start|stop|restart|status

       service cloudera-scm-agent start|stop|restart|status

       檢視程式:jps / jps -l

4. Hadoop Shell

     

     

      hadoop fs -ls /:列出hdfs檔案系統根目錄下的目錄和文件

      hadoop fs -ls -R /:列出hdfs檔案系統所有的目錄和文件

      hadoop dfsadmin –report : 檢視檔案系統的基本資訊和統計資訊

5. MapReduce

6. Yarn

7. Hive

8. Zookeeper

9. See

How Does Cloudera Manager Work?

Cloudera平臺參考部署架構

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/30089851/viewspace-1991862/，如需轉載，請註明出處，否則將追究法律責任。

相關文章