Hbase0.94之後版本 region分裂策略

破棉襖發表於2015-04-21

0.94版本之前 
分裂的策略採用的,在這個情況下只要將配置檔案中的hbase.hregion.max.filesize設定為一個超大值則可以將自動分裂關閉。
0.94版本之後 預設策略是,這個策略是當在一個RS中同一個表的region數量小於9時,如果storefile的最大大小大於Min (R^2 *“hbase.hregion.memstore.flush.size”, “hbase.hregion.max.filesize”)則將該region分裂,而當region數量到達了9後則採用策略。 使用這種新策略在前期會加快split的頻率,防止熱點。在後期當region個數到達30個時,30 * 30 * 128 = 107648M = 105.1G,即在此時,region的切分大小已經超過了我們原先在ConstantSizeRegionSplitPolicy策略中預設設定的100G大小,在後期會減少split頻率。好處顯而易見。

如果想手動分裂那該如何做呢?

1、將hbase.hregion.max.filesize配置的足夠大
2、在
hbase-site.xml配置檔案中,新增:

name為hbase.regionserver.region.split.policy

value為org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy


這樣我們就能夠按照0.94之前版本的分裂策略來控制region的分裂了。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/29754888/viewspace-1588896/,如需轉載,請註明出處,否則將追究法律責任。

相關文章