CentOS7中安裝LZO壓縮程式

loveheping發表於2018-03-17
一、準備工作:
yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool

二、安裝LZO
1、解壓編譯,並安裝
cd /opt/software
wget
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install

2、複製檔案
將/usr/local/hadoop/lzo/lib/* 複製到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/

3、修改配置環境變數(vi ~/.bash_profile),增加如下內容:
export PATH=/usr/local/hadoop/lzo/:$PATH

三、安裝LZOP
1、下載並解壓
cd /opt/software
wget
tar -zxvf lzop-1.04.tar.gz

2、在編譯前需要的環境變數(~/.bash_profile)中配置如下內容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變數,在編譯時會報:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.

3、進入解壓後目錄,並編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make  && make install

4、將lzop複製到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop

5、測試lzop
輸入:lzop nohup.out
產生:lzo字尾的壓縮檔案: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報錯:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
    解決辦法:增加環境變數(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64

四、安裝Hadoop-LZO
注:編譯時需要maven,自行配置好maven
1、下載介質:

2、解壓並編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true

3、編譯完成執行如下命令:
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh5.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/

如果為叢集環境,則接下來就是將/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh5.7.0/lib/native/同步到其它所有的hadoop節點。
注意,要保證目錄/app/hadoop-2.6.0-cdh5.7.0/lib/native/下的jar包,執行hadoop的使用者都有執行許可權。

五、產生index檔案
cd /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo檔案必須在hdfs檔案系統中。

至此完成CentOS7中安裝LZO壓縮程式

來自@若澤大資料

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31511218/viewspace-2151945/,如需轉載,請註明出處,否則將追究法律責任。

相關文章