hadoop叢集內lzo的安裝與配置

科技小能手發表於2017-11-15
Hadoop
 最近我們部門在測試雲端計算平臺hadoop，我被lzo折騰了三四天，累了個夠嗆。在此總結一下，也給大家做個參考。   
  作業系統：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4
  安裝lzo所需要軟體包：gcc、ant、lzo、lzo編碼/解碼器，另外，還需要lzo-devel依賴
  配置lzo的檔案：core-site.xml、mapred-site.xml
 

大致步驟：


1）安裝和更新gcc、ant
2）在各個節點安裝lzo

3）安裝lzo編碼/解碼器

4）修改配置檔案，並同步各節點的配置檔案

注：沒有特別指出的話，所有操作都是在Namenode中進行的  
 
一、lzo安裝：
1、gcc的安裝：yum即可，記得同時更新lib*、glibc*、gcc*
2、ant的安裝：

  刪除舊版本：yum remove ant

  安裝新版本：


    

  1. wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz  
    2. 

  2. tar -jxvf apache-ant-1.8.2-bin.tar.bz2  
    3. 



  新增ant的環境變數：




    

  1. vi /etc/profile  
    2. 

  2. export ANT_HOME=/usr/local/apache-ant-1.8.2  
    3. 

  3. export PATH=$PATH:$ANT_HOME/bin 
    4. 

  4.  
    5. 

  5. source /etc/profile  使配置檔案生效
    6. 



3、lzo的安裝：




    

  1. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz  
    2. 

  2. tar -zxvf lzo-2.04.tar.gz
    3. 

  3. cd lzo-2.04  
    4. 

  4. ./configure –enable-shared  
    5. 

  5. make && make install  
    6. 



  庫檔案被預設安裝到了/usr/local/lib，我們需要進一步指定lzo庫檔案的路徑，兩個方法都可以：


  1)拷貝/usr/local/lib目錄下的lzo庫檔案到/usr/lib（32位平臺），或/usr/lib64（64位平臺）


  2)在/etc/ld.so.conf.d/目錄下新建lzo.conf檔案，寫入lzo庫檔案的路徑，然後執行/sbin/ldconfig -v，使配置生效


4、在各個節點安裝lzo：


  這句話本可以一筆帶過，但我把它單獨列出作為一步，就是要提醒大家：Namenode和Datanode都要安裝lzo！


  所需軟體包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm。


  注：兩個lzo rpm檔案是需要的，特別是lzop工具會需要這兩個檔案，後面會提到。注意32位系統和64位系統要下載相應的rpm版本！


  安裝過程：略


  調整庫檔案路徑：略


5、lzo編碼/解碼器的安裝：


  這裡必須要說明：如果hadoop是cloudera版的，那麼lzo編碼/解碼器就不要用google官方的那個！到這裡下載：https://github.com/kevinweil/hadoop-lzo。我曾經被官方那個東西鬱悶了很久，搜尋了大量資料，最後搞明白。 




    

  1. wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz  
    2. 

  2. tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz  
    3. 

  3. 
cd kevinweil-hadoop-lzo-2ad6654 

    4. 

  4. ant compile-native tar  
    5. 



   注意：若是64位系統，可能還需要在上面程式碼的最後一行的前面加上export CFLAGS=-m64！



  編譯失敗： 







    

  1. 

    make: *** [impl/lzo/LzoCompressor.lo] Error 1 
    

    2. 



  解決方法參考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1


  我這裡是由於缺少lzo-devel依賴的原因，lzo-devel有lzo- 2.04-1.el5.rf的依賴：




    

  1. wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm  
    2. 

  2. wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm  
    3. 

  3. rpm -ivh lzo-2.04-1.el5.rf.i386.rpm 
    4. 

  4. rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm 
    5. 



  注意：上面下載的是32位的lzo-devel，若系統為64位，則需要下載64位的lzo-devel。下載地址：http://packages.sw.be/lzo/


  重新ant compile-native tar，編譯成功！ 


  編譯成功後，還需要把編碼/解碼器以及native庫拷貝到$HADOOP_HOME/lib目錄下，拷貝操作請參考google的官方文件： 




    

  1. cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/  
    2. 

  2. 
tar -cBf – -C build/native . | tar -xBvf – -C /home/hadoop/hadoop-0.20.2-CDH3B4/lib/native  

    3. 

  3. cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/  
    4. 

  4. chown -R hdfs:hadoop native/ 
    5. 



  6、同步各節點的hadoop-lzo-0.4.10.jar和hadoop的native目錄


  這裡有一點要說明，由於某種原因，我把它們也拷貝到了hbase的相應目錄下，但我認為其實是不需要拷貝的。


  當初在叢集內測試lzo時，遇到了問題，我以為hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目錄，就把它們拷貝到了hbase。後來問題解決，發現不是hbase的原因，但我最終沒有在hbase裡刪除它們。所以，是否有必要把它們也拷貝到hbase，有待於大家親自測試。


二、配置lzo：


  1、主要是往hadoop目錄下conf目錄中的core-site.xml和mapred-site.xml檔案新增一些屬性：


vi core-site.xml： 




    

  1. <property>  
    2. 

  2. <name>io.compression.codecs</name>  
    3. 

  3. <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value> 
    4. 

  4. </property> 
    5. 

  5.  
    6. 

  6. <property>  
    7. 

  7. <name>io.compression.codec.lzo.class</name>  
    8. 

  8. <value>com.hadoop.compression.lzo.LzoCodec</value>  
    9. 

  9. </property>
    10. 





vi mapred-site.xml：




    

  1. <property>  
    2. 

  2. <name>mapreduce.map.output.compress</name>  
    3. 

  3. <value>true</value>  
    4. 

  4. </property> 
    5. 

  5.  
    6. 

  6. <property>  
    7. 

  7. <name>mapred.child.env</name>  
    8. 

  8. <value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value>  
    9. 

  9. </property> 
    10. 

  10.  
    11. 

  11. <property>  
    12. 

  12. <name>mapreduce.map.output.compress.codec</name>  
    13. 

  13. <value>com.hadoop.compression.lzo.LzoCodec</value>
    14. 

  14. </property>  
    15. 





  2、同步各節點的配置檔案！


 


三、hadoop叢集內測試lzo：


  首先，安裝lzop，生成一些lzo檔案，然後上傳到hdfs，供我們的開發人員在hive中直接呼叫。


  lzop所需要的兩個rpm檔案前面已經安裝，現在只要安裝lzop就可以了：




    

  1. wget http://www.lzop.org/download/lzop-1.03.tar.gz  
    2. 

  2. tar -zxvf lzop-1.03  
    3. 

  3. cd lzop-1.03  
    4. 

  4. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib  
    5. 

  5. ./configure  
    6. 

  6. make && make install  
    7. 




  要說明的是，在指定LD_LIBRARY_PATH時，我沒有使用官方幫助文件中的寫法，因為那個寫法在編譯時老出錯，不知什麼原因。 



  使用lzop壓縮文件並上傳到hdfs:




    

  1. lzop -U -9 66_22_2011-04-14.txt  
    2. 

  2. $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus 
    3. 



  開發人員在Hive中直接呼叫這個lzo檔案時出錯：






    

  1. 

    Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available 
    

    2. 





  這個錯誤，困住了我整整兩天！試了各種方法都不行，期間的辛苦自不必待言，直到我看到一個網頁：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。（注：訪問該網頁需要用代理。萬惡的網路管制！）



  頁面的最下方，有這樣一句話：So, I just deleted the hadoop-gpl-compression and everything started working.於是，我刪除了$HADOOP_HOME/lib目錄下的hadoop-gpl-compression-0.1.0.jar，終於，everything is OK！


  所以，如果你也像我一樣，做了所有該做的事情，但是呼叫lzo時還是會出現native-lzo library not available的錯誤，請檢查你的$HADOOP_HOME/lib目錄下是否有google官方的那個lzo編碼/解碼器！ 


—————————————————


   2011-05-16修訂：



   hbase中還是需要有lzo的native library的。



   我重新部署了一次Hadoop，在hive中直接呼叫lzo檔案，又出現native-lzo library not found的錯誤。於是我手動複製$KEVINWEIL_HOME/build/native/Linux-amd64-64/lib目錄下的所有檔案到hadoop的native/Linux-amd64-64目錄，以及hbase的native/Linux-amd64-64目錄，問題解決！



   這次複製檔案時，沒有使用官方文件提供的tar方式，直接cp：





    

  1. cd kevinweil-hadoop-lzo-2ad6654/build/native/Linux-amd64-64/lib 
    2. 

  2. cp * $HADOOP_HOME/lib/native/Linux-amd64-64 
    3. 

  3. cp * $HBASE_HOME/lib/native/Linux-amd64-64 
    4. 



   重啟hadoop即可！





本文轉自 li_qinshan 51CTO部落格，原文連結:http://blog.51cto.com/share/549393










相關文章