Cloudera CDH 、Impala本地透過Parcel安裝配置詳解

九天高遠發表於2013-06-19

一、Parcel本地源與Package本地源的區別

本地透過Parcel安裝過程與本地透過Package安裝過程完全一致,不同的是兩者的本地源的配置。

區別如下:

Package本地源:軟體包是.rpm格式的,數量通常較多,下載的時候比較麻煩。透過"createrepo ."的命令建立源,並要放到存放原始檔主機的web伺服器的根目錄下,詳見建立本地yum軟體源,為本地Package安裝Cloudera Manager、Cloudera Hadoop及Impala做準備

Parcel本地源:軟體包是以.parcel結尾,相當於壓縮包格式的,一個系統版本對應一個,下載的時候方便。如centos 6.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,而centos 5.x使用的CDH版本為CDH-4.3.0-1.cdh4.3.0.p0.22-el5.parcel

CDH的下載地址:http://archive.cloudera.com/cdh4/parcels/

IMPALA的下載地址:http://archive.cloudera.com/impala/parcels/

下載好相應的.parcel檔案後,複製到本地的parcel源目錄下(有Cloudera Manager Server指定,預設是/opt/cloudera/parcel-repo),然後開啟同目錄下的mainfest.json(也要複製到其中)檔案,找到與你下載的包一致的那部分,然後根據其建立一個sha檔案。例如我的作業系統是CentOS 6.4,下載的對應包為CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,那麼就應該找到相應的:

{
      "parcelName": "CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel",
      "components": [
        { "name":     "flume-ng",
          "version":  "1.3.0-cdh4.3.0",
          "pkg_version":  "1.3.0+159" 
        }
        ,{ "name":     "hadoop-0.20-mapreduce",
          "version":  "2.0.0-cdh4.3.0",
          "pkg_version":  "2.0.0+1357" 
        },         

. . . .  <snip> . . .

,{ "name": "zookeeper", "version": "3.4.5-cdh4.3.0", "pkg_version": "3.4.5+19" } ,{ "name": "hue", "version": "2.3.0-cdh4.3.0", "pkg_version": "2.3.0+136" } ], "hash": "df5cc61b2d257aaf625341f709a4f8e09754038a" },

然後建立一個字尾名為.sha的文字檔案,名字與下載的parcel同名,我下載的為CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel,所以sha檔案CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha。然後執行如下命令將hash碼寫到sha檔案中。

# cat > CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha
df5cc61b2d257aaf625341f709a4f8e09754038a

然後將sha檔案也複製到本地parcel源的目錄下。
總之,要確保/opt/cloudera/parcel-repo下面有三個檔案:

   CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel

   mainfest.json

   CDH-4.3.0-1.cdh4.3.0.p0.22-el6.parcel.sha

這些檔案放好之後,CM會獲取這個包,並出現在主機->包裹的頁面。出現的快慢跟你設定的包的重新整理頻率有關,預設是1小時。

可以在管理頁面的屬性標籤下的包裹種類裡修改。

 

相關文章