前言
以前部署hadoop叢集,一直使用cloudera提供的tarball部署安裝,今天嘗試使用CM在新機器部署hadoop,因為使用它使用起來簡單方便,並且提供了一系列的監控功能.但由於CM的安裝是要聯網的,而且cloudera還在中國沒有源,所以安裝過程非常的慢,而且失敗率很高(網路不好的同學相信很有體會).所以自己摸索著搭建一個本地源,用於CM的安裝.記錄如下
環境:
品牌機PC6臺,4核/11G記憶體/400G硬碟,Centos6.4.
一臺能聯網的PC,作用:下載資料包,搭建源環境.
機器host如下,其中232用作源伺服器,不作為叢集機使用.由於233機器出了問題,所以只能裝6臺,
準備:
1.CM的安裝必須使用root帳戶,並且要關閉SElinux和防火牆
關閉SELinux的方法：
修改/etc/selinux/config檔案中的SELINUX="" 為 disabled ，然後重啟。
關閉防火牆:
/sbin/service iptables stop
cloudera manager server 依賴的包 postgresql-server,postgresql,postgresql-libs
每個agent依賴的包fuse-libs,fuse,redhat-lsb
這些依賴必須先裝上.可使用rpm -qa 包名 檢視是否已安裝.
2.下載檔案
1.首先下載安裝CM的bin檔案,下載地址
http://archive.cloudera.com/cm4/installer/latest/cloudera-manager-installer.bin
2.下載cloudera-manager依賴的rpm檔案
不同的作業系統對應不同rpm檔案,Centos6對應的下載地址是
http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4.8.0/
建議使用linux 的wget下載,可以把以上整個目錄和目錄包含的檔案一次性下載.
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
-r表示遞迴下載, --no-parent表示不下載父目錄檔案
3.下載Hadoop叢集所需要的rpm包
CM4整個安裝過程,依賴4個元件,分別是manager,cdh4,impala和solr,所以需要把這4個元件所依賴的rpm包都下載,
不同的作業系統對應不同rpm檔案,所以需要根據自己的作業系統選擇對應的下載目錄.
cdh4對應的下載地址: http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/
impala對應的下載地址: http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/
solr對應的下載地址: http://archive.cloudera.com/search/redhat/6/x86_64/search/1/
(manager相關rpm包在上一步已下載)
建議以上檔案都使用wget方法下載(下載過程會比較漫長…)
下載方法:
如我下載的檔案放在/data1/CDH目錄下,對應先建立4個資料夾cdh4,impala,manager和solr
如下載manager,先進入manager目錄
cd manager
wget -r --no-parent http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/
下載後manager的目錄結構如下:
其它三個檔案元件使用同樣的下載方法
4.部署http服務.
在232機器上安裝http服務
yum install httpd (如不能使用yum,可使用安裝包安裝)
安裝完成後啟動httpd服務
/sbin/service httpd start
在瀏覽器訪問http:// 10.108.74.232 可看到帶有apache圖示的頁面則安裝成功
在/var/www/html 目錄上建立軟連線,分別連向下載好的rpm包目錄.
cd /var/www/html
mkdir cm4
ln –s /data1/CDH/manager/archive.cloudera.com/cm4/redhat/ ./cm4
mkdir cdh4
ln –s /data1/CDH/cdh4/archive.cloudera.com/cdh4/redhat/ ./cdh4
mkdir impala
ln –s /data1/CDH/impala/archive.cloudera.com/impala/redhat/ ./ impala
mkdir search
ln –s /data1/CDH/solr/archive.cloudera.com/search/redhat/ ./ search
這樣源伺服器就搭建好了.
開始安裝:
環境已經搭建完成.可以開始安裝
選擇叢集中其中一臺機器安裝manager server.我選擇了235
執行bin檔案安裝
./ cloudera-manager-installer.bin
一路Next,所有元件都是幾秒內安裝完成^ ^
至此,manager服務已經安裝成功.瀏覽器訪問http://10.108.74.235:7180,開啟登入頁面,使用者名稱密碼都是admin/admin
一路安裝至完成.^^