hadoop2.6.0-cdh5.7.0編譯,支援snappy、bzip2本地壓縮
hadoop2.6.0-cdh5.7.0編譯,支援snappy、bzip2本地壓縮
一、軟體包:snappy-1.1.3.tar.gz
下載地址:wget
二、安裝依賴包:
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev
三、bzip2壓縮支援:
yum install -y bzip2-devel
rpm -qa bzip2-devel
注:bizip2的的本地壓縮支援無效,整個編譯過程,並沒有出現任何錯誤,或異常,而且去cenots下的lib64位目錄下,檢視libbz2的so檔案,發現也正常。安裝bzip2-devel庫支援,然後重新編譯我們的hadoop即可。
四、安裝snappy:
# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
檢視snappy是否安裝完成:
# ll /usr/local/lib/ | grep snappy
五、編譯hadoop:mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
或
mvn clean package -DskipTests -Pdist,native -Dtar
注:必須在編譯時加入native
六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
vi mapred-site.xml
mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.SnappyCodec
編譯完成後,將生成hadoop中的native目錄下檔案複製到對應hadoop安裝目錄下的native目錄中,並重啟hadoop。執行hadoop checknative驗證
來自@若澤大資料
一、軟體包:snappy-1.1.3.tar.gz
下載地址:wget
yum -y install snappy libsnappy-dev
yum -y install bzip2 libbz2-dev
yum -y install libjansson-dev
三、bzip2壓縮支援:
yum install -y bzip2-devel
rpm -qa bzip2-devel
注:bizip2的的本地壓縮支援無效,整個編譯過程,並沒有出現任何錯誤,或異常,而且去cenots下的lib64位目錄下,檢視libbz2的so檔案,發現也正常。安裝bzip2-devel庫支援,然後重新編譯我們的hadoop即可。
四、安裝snappy:
# tar xf snappy-1.1.3.tar.gz
# cd snappy-1.1.3
# ./configure
# make && make install
檢視snappy是否安裝完成:
# ll /usr/local/lib/ | grep snappy
五、編譯hadoop:mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy
或
mvn clean package -DskipTests -Pdist,native -Dtar
注:必須在編譯時加入native
六、配置hadoop的core-site.xml、mapred-site.xmlvi core-site.xml
io.compression.codecs
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
vi mapred-site.xml
mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.SnappyCodec
編譯完成後,將生成hadoop中的native目錄下檔案複製到對應hadoop安裝目錄下的native目錄中,並重啟hadoop。執行hadoop checknative驗證
來自@若澤大資料
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31511218/viewspace-2151388/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 重新編譯hadoop-2.7.2-src的native以支援Snappy解壓壓縮庫編譯HadoopAPP
- 解包 bzip2 壓縮的壓縮文件(轉)
- 配置Hadoop2.7.2和Hbase1.1.5支援Snappy解壓壓縮庫HadoopAPP
- 在EMR中使用snappy壓縮的時候快速檢視壓縮前文字的內容APP
- Hadoop上配置snappy壓縮格式(最簡單的做法)HadoopAPP
- Hbase無法建立帶有snappy壓縮屬性的表APP
- Linux精講——打包和壓縮tar、gzip、bzip2、xz、zipLinux
- Kafka - 支援壓縮種類Kafka
- Linux 編譯安裝、壓縮打包、定時任務Linux編譯
- 高效能圖片壓縮 —— libjpeg-turbo 的編譯與整合編譯
- Cloudera編譯好的各種hadoop,oozie等元件壓縮包URLCloud編譯Hadoop元件
- Nginx網路壓縮 CSS壓縮 圖片壓縮 JSON壓縮NginxCSSJSON
- centos 文件的壓縮和打包 gzip,bzip2,xz,zip,unzip,tar,tgz 第九節課CentOS
- JAVA壓縮和解壓縮Java
- zip壓縮和解壓縮
- openGauss 支援OLTP場景資料壓縮
- 如何在本地編譯Fabric Code編譯
- 11g plsql本地編譯SQL編譯
- linux壓縮解壓縮Linux
- 字串的壓縮和解壓縮字串
- 檔案壓縮和解壓縮
- PHP編譯器BPC 6.0釋出,支援namespace,支援closure,成功編譯 workermanPHP編譯namespace
- 清理微控制器編譯過程中產生的編譯檔案(壓縮以減少專案體積)編譯
- JS壓縮方法及批量壓縮JS
- aix 下壓縮與解壓縮AI
- linux壓縮和解壓縮命令Linux
- tar 分卷壓縮&解壓縮命令
- AIX 上壓縮與解壓縮AI
- CSP之壓縮編碼(動態規劃)動態規劃
- 高效的資料壓縮編碼方式 Protobuf
- 影像壓縮編碼碼matlab實現——行程編碼Matlab行程
- 影像壓縮編碼碼matlab實現——DM編碼Matlab
- linux下壓縮解壓縮命令Linux
- linux壓縮和解壓縮命令整理Linux
- 簡單的zip壓縮和解壓縮
- Linux壓縮及解壓縮命令Linux
- linux壓縮和解壓縮命令大全Linux
- Python實現壓縮和解壓縮Python