CDH4/5配置檔案之深度解析

一.目錄

二.實驗1.web 介面,直接修改MapReduce的mapreduce.job.counters.max引數,從120改為150,單擊【儲存更改】按鈕,直接修改到資料庫, 而不同步更新到/ect/hadoop/* 和 /var/run/cloudera-scm-agent/process/* 

A.這時介面會出現兩個按鈕:

1>.【過期配置:需要重啟】

2>.【過期配置:需要重新部署客戶端配置】

B.當我們單擊【過期配置:需要重啟】或者【過期配置:需要重新部署客戶端配置】功能預設是一樣的，都是a.重新部署客戶端配置(預設勾選) ;b.立即重啟叢集

然後叢集會做兩件事:

1>.會更新/etc/hadoop/*目錄

2>.同時也更新/var/run/cloudera-scm-agent/process/*目錄

三.實驗2.再次在web 介面,直接修改MapReduce的mapreduce.job.counters.max引數,從150改為180,單擊【儲存更改】按鈕,直接修改到資料庫

A.當我們單擊【部署客戶端配置】

1>.會更新/etc/hadoop/*目錄

2>.同時也更新/var/run/cloudera-scm-agent/process/*目錄,但只生成ccdeploy_*部署資料夾,但這時mapreduce 執行的mapreduce.job.counters.max值還是150，並沒有改變為180，故可以重啟mapreduce服務或者整個叢集，來重新生成配置檔案。

 

B.重啟MapReduce單個服務

只更新/var/run/cloudera-scm-agent/process/*目錄

#因為只重啟MapReduce服務，沒有重啟其他服務，如Hive,所以就只更新MapReduce

四.個人理解總結:

    cm web介面修改------>資料庫表configs表------->/etc/hadoop/*------->/var/run/cloudera-scm-agent/process/*

1.       a.web介面修改引數,儲存,到configs表

2.       b.重新部署客戶端,到/etc/hadoop/的某個目錄下,然後透過alternatives命令動態更新到conf資料夾;且會在/var/run/cloudera-scm-agent/process/目錄下生成deploy資料夾  

3.       c.重啟叢集或者重啟單個服務,會在/var/run/cloudera-scm-agent/process/目錄下生成各個元件的執行的配置資料夾(是有序號標識的)

http://blog.itpub.net/30089851/viewspace-1991862/