CentOS7中安裝LZO壓縮程式
一、準備工作:
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
二、安裝LZO
1、解壓編譯,並安裝
cd /opt/software
wget
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install
2、複製檔案
將/usr/local/hadoop/lzo/lib/* 複製到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/
3、修改配置環境變數(vi ~/.bash_profile),增加如下內容:
export PATH=/usr/local/hadoop/lzo/:$PATH
三、安裝LZOP
1、下載並解壓
cd /opt/software
wget
tar -zxvf lzop-1.04.tar.gz
2、在編譯前需要的環境變數(~/.bash_profile)中配置如下內容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變數,在編譯時會報:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.
3、進入解壓後目錄,並編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make && make install
4、將lzop複製到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop
5、測試lzop
輸入:lzop nohup.out
產生:lzo字尾的壓縮檔案: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報錯:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
解決辦法:增加環境變數(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
四、安裝Hadoop-LZO
注:編譯時需要maven,自行配置好maven
1、下載介質:
2、解壓並編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true
3、編譯完成執行如下命令:
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh5.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/
如果為叢集環境,則接下來就是將/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh5.7.0/lib/native/同步到其它所有的hadoop節點。
注意,要保證目錄/app/hadoop-2.6.0-cdh5.7.0/lib/native/下的jar包,執行hadoop的使用者都有執行許可權。
五、產生index檔案
cd /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo檔案必須在hdfs檔案系統中。
至此完成CentOS7中安裝LZO壓縮程式
來自@若澤大資料
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
二、安裝LZO
1、解壓編譯,並安裝
cd /opt/software
wget
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install
2、複製檔案
將/usr/local/hadoop/lzo/lib/* 複製到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/
3、修改配置環境變數(vi ~/.bash_profile),增加如下內容:
export PATH=/usr/local/hadoop/lzo/:$PATH
三、安裝LZOP
1、下載並解壓
cd /opt/software
wget
tar -zxvf lzop-1.04.tar.gz
2、在編譯前需要的環境變數(~/.bash_profile)中配置如下內容:
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注:如不配置變數,在編譯時會報:configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.
3、進入解壓後目錄,並編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make && make install
4、將lzop複製到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop
5、測試lzop
輸入:lzop nohup.out
產生:lzo字尾的壓縮檔案: /home/hadoop/data/access_20131219.log.lzo即表示成功
注:在測試中可能遇到報錯:lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
解決辦法:增加環境變數(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64
注:編譯時需要maven,自行配置好maven
1、下載介質:
2、解壓並編譯:
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh5.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/
如果為叢集環境,則接下來就是將/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh5.7.0/lib/native/同步到其它所有的hadoop節點。
注意,要保證目錄/app/hadoop-2.6.0-cdh5.7.0/lib/native/下的jar包,執行hadoop的使用者都有執行許可權。
五、產生index檔案
cd /app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注:lzo檔案必須在hdfs檔案系統中。
至此完成CentOS7中安裝LZO壓縮程式
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31511218/viewspace-2151945/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- spark中配置啟用LZO壓縮Spark
- 配置Hadoop中啟用LZO壓縮Hadoop
- Mac安裝壓縮版MySQL ServerMacMySqlServer
- linux 7z壓縮安裝Linux
- 如何下載安裝壓縮包
- Centos7中使用7zip壓縮工具CentOS
- JDK安裝教程win10 jdk壓縮包安裝教程JDKWin10
- mysql5.7.x用壓縮包安裝MySql
- 解壓縮版mysql安裝及注意事項MySql
- Linux中檔案的壓縮和解壓縮Linux
- centos7中使用yum安裝NGINX安裝CentOSNginx
- Linux 編譯安裝、壓縮打包、定時任務Linux編譯
- Centos7系統---檔案壓縮與解壓命令詳解。CentOS
- Nginx網路壓縮 CSS壓縮 圖片壓縮 JSON壓縮NginxCSSJSON
- CentOS中zip壓縮和unzip解壓縮命令詳解CentOS
- Linux下如何安裝、壓縮、解壓軟體包?常用命令彙總!Linux
- Centos7安裝安裝部署dockerCentOSDocker
- CentOS7安裝php、安裝MySqlCentOSPHPMySql
- centos7中aspera軟體的安裝CentOS
- 檔案壓縮和解壓縮
- Linux基礎入門:⑥Linux常見壓縮工具及程式包安裝及管理方式Linux
- 用ASP實現線上壓縮與解壓縮功能程式碼
- centos7 安裝pipCentOS
- CentOS7 安裝 MySQLCentOSMySql
- centos7安裝protobufCentOS
- 4.1 CentOS7安裝CentOS
- CentOS7安裝wpsCentOS
- VirtualBox安裝Centos7CentOS
- CentOS7 安裝NginxCentOSNginx
- CentOS7安裝OpenvswitchCentOS
- centos7 安裝rocketmqCentOSMQ
- CentOS7 安裝 dockerCentOSDocker
- centos7安裝dockerCentOSDocker
- CentOS7 安裝 memcacheCentOS
- CentOS7 安裝 libreofficeCentOS
- centos7 安裝 rcloneCentOS
- centos7安裝nginxCentOSNginx
- centos7安裝mysqlCentOSMySql