hbase大規模資料寫入的優化歷程

LuckyJiang-2019發表於2017-03-19
優化

業務背景：由於需要將ngix日誌過濾出來的1億+條使用者行為記錄存入Hbase資料庫，以此根據一定的條件來提供近實時查詢，比如根據使用者id及一定的時間段等條件來過濾符合要求的若干行為記錄，滿足這一場景的技術包括：Solr，Elasticsearch，hbase等，在此選用了Hbase來實踐。

step 1 :

直接hbase建表，然後讀取記錄檔案逐條寫入Hbase。由於hbase實際的寫入速度遠遠小於我的提交速度，在寫入了1700條記錄後，hbase出現了當機，提交後無響應。檢視hbase日誌，出現 out of memory異常。

step 2：

考慮在建表的時候沒有進行預分割槽，因此寫入的時候會存在熱點寫的問題，同時資料持續增長，需要不斷的對region進行split，實際上這一步相當消耗資源。因此對要寫入的Hbase表重新預分割槽。好在上一步驟中寫入的資料不多，因此直接刪除表和資料後重新建表並預分割槽：
create 'user_actions', {NAME => 'info', VERSIONS=> 3},{SPLITS => ['130','140','160','170','180']}

設計預分割槽的時候需要有個預判，rowkey的範圍及在各個區間的可能分佈情況，由於我這裡的rowkey是組合使用者的註冊電話/時間及其他欄位，因此上述的預分割槽，可以將記錄較好的雜湊在各個region上，對熱點寫有一定的減緩作用。
同時，針對out  of memory異常，修改hbase配置檔案/conf/hbase-site.xml，將hbase的堆記憶體增加到3GB(條件有限，如果硬體條件好的話，可以增加到4-8GB)。
繼續寫入，但是寫入速度很慢，維持在數百條/秒的樣子，同時寫入了20幾萬條後響應速度越來越慢。

STEP　３：

上述問題的根源在於高頻提交小資料，導致Hbase疲於建立執行緒並進行資源的回收，最終甚至會出現當機。
之後，將單條put到Hbase改為一次put多條記錄到hbase，即批量提交，同時限制一秒內提交的頻次。最後順利寫入。由於hbase叢集只有三臺機器(一臺master,2臺slave)，進過上述優化後，寫入速度基本維持在1w-2w條/秒的水平，基本滿足需要了。

總結：在hbase涉及一次性寫入大量資料時，有幾個地方可以考慮進行優化：(1)建表的同時進行預分割槽 (2)修改Hbase本身的配置(能夠優化寫入和讀取的配置項遠不止修改堆記憶體這一項，在此不表了)  (3)儘量使用批量寫入的方法，同樣的道理，讀取的時候，使用批量讀的方法 (4)網路IO/磁碟IO

除了批量Put外，Hbase還支援Hfiles方式匯入：

STEP 1:

將要匯入的資料預生成hfiles檔案。

STEP 2:

使用Hbase的BulkLoad方式將Hfile檔案批量匯入Hbase。

相關文章