CentOS7中安裝LZO壓縮程式
一、準備工作:
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
二、安裝LZO
1、解壓編譯,並安裝
cd /opt/software
wget
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install
2、複製檔案
將/usr/local/hadoop/lzo/lib/* 複製到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/
3、修改配置環境變數(vi ~/.bash_profile),增加如下內容:
export PATH=/usr/local/hadoop/lzo/:$PATH
三、安裝LZOP
1、下載並解壓
cd /opt/software
wget
tar -zxvf lzop-1.04.tar.gz
2、在編譯前需要的環境變數(~/.bash_profile)中配置如下內容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變數,在編譯時會報:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.
3、進入解壓後目錄,並編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make && make install
4、將lzop複製到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop
5、測試lzop
輸入:lzop nohup.out
產生:lzo字尾的壓縮檔案: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報錯:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
解決辦法:增加環境變數(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
四、安裝Hadoop-LZO
注:編譯時需要maven,自行配置好maven
1、下載介質:
2、解壓並編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true
3、編譯完成執行如下命令:
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh5.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/
如果為叢集環境,則接下來就是將/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh5.7.0/lib/native/同步到其它所有的hadoop節點。
注意,要保證目錄/app/hadoop-2.6.0-cdh5.7.0/lib/native/下的jar包,執行hadoop的使用者都有執行許可權。
五、產生index檔案
cd /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo檔案必須在hdfs檔案系統中。
至此完成CentOS7中安裝LZO壓縮程式
來自@若澤大資料
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
二、安裝LZO
1、解壓編譯,並安裝
cd /opt/software
wget
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install
2、複製檔案
將/usr/local/hadoop/lzo/lib/* 複製到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/
3、修改配置環境變數(vi ~/.bash_profile),增加如下內容:
export PATH=/usr/local/hadoop/lzo/:$PATH
三、安裝LZOP
1、下載並解壓
cd /opt/software
wget
tar -zxvf lzop-1.04.tar.gz
2、在編譯前需要的環境變數(~/.bash_profile)中配置如下內容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變數,在編譯時會報:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.
3、進入解壓後目錄,並編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make && make install
4、將lzop複製到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop
5、測試lzop
輸入:lzop nohup.out
產生:lzo字尾的壓縮檔案: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報錯:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
解決辦法:增加環境變數(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
注:編譯時需要maven,自行配置好maven
1、下載介質:
2、解壓並編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh5.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/
如果為叢集環境,則接下來就是將/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh5.7.0/lib/native/同步到其它所有的hadoop節點。
注意,要保證目錄/app/hadoop-2.6.0-cdh5.7.0/lib/native/下的jar包,執行hadoop的使用者都有執行許可權。
五、產生index檔案
cd /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo檔案必須在hdfs檔案系統中。
至此完成CentOS7中安裝LZO壓縮程式
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31511218/viewspace-2151945/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 配置Hadoop中啟用LZO壓縮Hadoop
- hadoop,hive啟用lzo壓縮和建立lzo索引薦HadoopHive索引
- spark中配置啟用LZO壓縮Spark
- hadoop中使用lzo的壓縮Hadoop
- centos7安裝mysql5.7解壓縮版CentOSMySql
- CentOS7中zip壓縮和unzip解壓縮命令詳解CentOS
- 如何下載安裝壓縮包
- Mac安裝壓縮版MySQL ServerMacMySqlServer
- Centos7中使用7zip壓縮工具CentOS
- linux 7z壓縮安裝Linux
- JDK安裝教程win10 jdk壓縮包安裝教程JDKWin10
- centos7中安裝mysqlCentOSMySql
- MySQL Linux壓縮版安裝方法(上)MySqlLinux
- MySQL Linux壓縮版安裝方法(下)MySqlLinux
- mysql5.7.x用壓縮包安裝MySql
- Mysql5.6壓縮包安裝到windows&& 解除安裝命令MySqlWindows
- centos7中使用yum安裝NGINX安裝CentOSNginx
- 解壓縮版mysql安裝及注意事項MySql
- mac上安裝unrar和rar解壓縮工具Mac
- MySQL綠色解壓縮版安裝與配置MySql
- Linux中檔案的壓縮和解壓縮Linux
- hadoop叢集內lzo的安裝與配置Hadoop
- Centos7系統---檔案壓縮與解壓命令詳解。CentOS
- phpmyadmin在centos7中安裝PHPCentOS
- CentOS中zip壓縮和unzip解壓縮命令詳解CentOS
- Nginx網路壓縮 CSS壓縮 圖片壓縮 JSON壓縮NginxCSSJSON
- Linux 編譯安裝、壓縮打包、定時任務Linux編譯
- JAVA壓縮和解壓縮Java
- zip壓縮和解壓縮
- 在CentOS7中,使用yum安裝NginxCentOSNginx
- centos7中使用yum安裝OpenJDKCentOSJDK
- centos7中aspera軟體的安裝CentOS
- Linux中檔案的壓縮與解壓縮(轉貼)Linux
- Centos7安裝安裝部署dockerCentOSDocker
- 用ASP實現線上壓縮與解壓縮功能程式碼
- linux壓縮解壓縮Linux
- 字串的壓縮和解壓縮字串
- 檔案壓縮和解壓縮