hadoop2.6.0-cdh5.7.0編譯,支援snappy、bzip2本地壓縮

loveheping發表於2018-03-01
hadoop2.6.0-cdh5.7.0編譯,支援snappy、bzip2本地壓縮

一、軟體包:snappy-1.1.3.tar.gz

下載地址:wget

二、安裝依賴包:
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev

三、bzip2壓縮支援:
yum install -y  bzip2-devel
rpm -qa bzip2-devel
注:bizip2的的本地壓縮支援無效,整個編譯過程,並沒有出現任何錯誤,或異常,而且去cenots下的lib64位目錄下,檢視libbz2的so檔案,發現也正常。安裝bzip2-devel庫支援,然後重新編譯我們的hadoop即可。

四、安裝snappy:

# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
檢視snappy是否安裝完成
# ll /usr/local/lib/ | grep snappy
五、編譯hadoop:mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

mvn clean package -DskipTests -Pdist,native -Dtar
注:必須在編譯時加入native

六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml

    io.compression.codecs
   
      org.apache.hadoop.io.compress.GzipCodec,
      org.apache.hadoop.io.compress.DefaultCodec,
      org.apache.hadoop.io.compress.BZip2Codec,
      org.apache.hadoop.io.compress.SnappyCodec
   



vi mapred-site.xml
 
    mapreduce.map.output.compress.codec 
    org.apache.hadoop.io.compress.SnappyCodec 
 

編譯完成後,將生成hadoop中的native目錄下檔案複製到對應hadoop安裝目錄下的native目錄中,並重啟hadoop。執行hadoop checknative驗證




來自@若澤大資料 

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31511218/viewspace-2151388/,如需轉載,請註明出處,否則將追究法律責任。

相關文章