Hbase無法建立帶有snappy壓縮屬性的表

一、要求

在Hbase 資料庫中建立帶有snappy壓縮屬性的表。

二、登陸到hbase 資料庫執行建表操作

hbase(main):016:0> create `dcs:t_dev_history`,{NAME => `f`, DATA_BLOCK_ENCODING => `PREFIX_TREE`, BLOOMFILTER => `ROW`, REPLICATION_SCOPE => `0`, VERSIONS => `1`, COMPRESSION => `SNAPPY`, MIN_VERSIONS => `0`, TTL => `2678400`, KEEP_DELETED_CELLS => `FALSE`, BLOCKSIZE => `65536`, IN_MEMORY => `false`, BLOCKCACHE => `true`}

channel 6: open failed: administratively prohibited: open failed

之前建立的表都沒有使用snappy壓縮，懷疑是snappy沒有安裝

三、檢查所有hbase節點

Master1節點snappy安裝正確

[hadoop@hadoop-test-Master1 lib]$ cd $HBASE_HOME/lib/native/Linux-amd64-64/

[hadoop@hadoop-test-Master1 Linux-amd64-64]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so         libsnappy.so

Master2節點snappy安裝錯誤，猜測當時安裝的時候scp的路徑錯誤

[hadoop@hadoop-test-Master2 ~]$ cd /var/lib/hbase/lib/native/ –發現沒有Linux-amd64-64 目錄

[hadoop@hadoop-test-Master2 native]$ ls

libhadoop.a         libhadoopsnappy.so.0      libhadoop.so.1.0.0  libhdfs.so        libpython2.7.so      libsnappy.so.1

libhadooppipes.a    libhadoopsnappy.so.0.0.1  libhadooputils.a    libhdfs.so.0.0.0  libpython2.7.so.1.0  libsnappy.so.1.2.0

libhadoopsnappy.so  libhadoop.so              libhdfs.a           libjvm.so  

       libsnappy.so        

四、處理過程

1.把檔案傳輸到指定節點

 scp -rp Linux-amd64-64 hadoop-test-Master2:/var/lib/hbase/lib/native/

 scp -rp Linux-amd64-64 hadoop-test-Node1:/var/lib/hbase/lib/native/

 

2.然後重啟hbase叢集

 

./stop-hbase.sh 

./start-hbase.sh 

3.重新建立表成功。

五、小結

1. 作為一名dba，做完相關的操作一定要驗證，一定要驗證，要有嚴謹的態度。

2. 遇到很多問題根本不是技術問題，而是有些人從來都不用心，得過且過。

3. 壓縮在hadoop和hbase中是一個很好的節約空間的方式，值得提倡，尤其是在經費緊張的情況下。

4. snappy需要單獨安裝，並不是安裝hadoop自帶的，需要注意。
   

本文轉自 roidba 51CTO部落格，原文連結：http://blog.51cto.com/roidba/1915081，如需轉載請自行聯絡原作者