MapReduce和Spark讀取HBase快照表

哥不是小蘿莉發表於2023-09-30
Spark

1.概述

隨著大資料技術的不斷髮展，處理海量資料的需求變得愈發迫切。MapReduce作為一種分散式計算模型，為處理大規模資料提供了有效的解決方案。在這篇部落格中，我們將探討如何使用MapReduce框架讀取快照表（Snapshot Table）的資料。快照表是一種記錄某一時刻系統狀態的表格，透過MapReduce讀取，可以有效地進行資料分析和處理。

2.內容

HBase的快照表提供了一種機制，允許使用者在不中斷正在進行的寫操作的情況下，對錶的狀態進行快照，並在之後的時間點恢復到這個快照狀態。快照表在以下方面發揮著關鍵的作用：

  • 備份和還原： 允許使用者建立表的快照，以應對資料誤刪除或損壞的情況。透過還原到先前的快照狀態，可以方便地進行資料修復。
  • 版本控制： 提供了一種歷史版本的管理機制，使得使用者可以在需要時回溯到先前的表狀態。這對於資料歷史記錄和分析非常有用。
  • 測試和開發： 在開發和測試環境中，快照表使得可以在不影響生產環境的情況下建立和還原測試資料。

2.1 建立快照表

HBase快照表的實現是建立在HBase的架構之上的，主要涉及以下幾個關鍵步驟：

1.建立快照

使用者可以透過HBase Shell或HBase API建立表的快照。建立快照時，HBase會記錄當前表的狀態，並生成一個識別符號。

hbase> snapshot 'mytable', 'snapshot1'

2.還原快照

使用者可以使用已建立的快照識別符號來還原表的狀態。在還原的過程中，HBase會回滾表的狀態到快照的時間點。

hbase> disable 'mytable'
hbase> restore_snapshot 'snapshot1'
hbase> enable 'mytable'

3.檢視和刪除快照

使用者可以檢視系統中存在的快照列表，並在不需要的時候刪除快照。

hbase> list_snapshots
hbase> delete_snapshot 'snapshot1'

4.快照的儲存

HBase會將快照儲存在HDFS上，確保永續性和可靠性。這意味著快照不會受到HBase的單點故障的影響。

5.分散式一致性

HBase快照的實現考慮到了分散式環境下的一致性和原子性。在建立和還原快照的過程中，HBase確保所有Region Server都能夠參與操作，以保證資料的一致性。

3.HBase Scan

HBase的Scan和Get操作在資料獲取方式上存在顯著的區別，前者是序列獲取資料，而後者則採用並行方式。這種不同的處理方式可能讓人感到有些出乎意料，讓我們深入瞭解這其中的原因。

Scan操作在HBase中有四種模式：scan、snapScan、scanMR和snapshotscanMR。前兩者採用序列方式，而後兩者則運用MapReduce機制，其中SnapshotScanMR效能最為出眾。

首先，我們需要理解什麼是快照（snapshot）。快照是HBase資料表後設資料的一個靜態快照，注意，這裡並不包括資料本身。在HBase中，資料的儲存由HDFS管理，和關係型資料庫類似，但不同之處在於一旦資料寫入，就不再修改。更新和刪除等操作並不是直接修改HFile，而是填充墓碑檔案。因此，快照具有很高的價值，例如，可以快速建立一個HBase表的副本，僅複製表結構，重用原始表的HDFS資料。

上述提到的快照在Scan操作中也有一定的應用場景，尤其是在SnapshotScan和SnapshotScanMR模式中。需要注意的是，在MapReduce中，Scan模式不再是最開始提到的序列查詢，而是採用並行查詢機制，底層是透過MapReduce實現的，因此效能更高，尤其是在多個Region的查詢場景下。

HBase Scan查詢實現步驟如下：

  • 業務透過HBase Client進行呼叫，首先檢查快取是否存在資料，如果有則直接返回資料。
  • 如果快取中沒有資料，將向RegionServer傳送請求，繼續獲取下一批記錄。
  • 伺服器端接收到next請求後，透過查詢BlockCache、HFile、Memstore的流程逐行返回資料。

這種API每次返回少量條（比如200條）的呼叫模式旨在減輕網路資源和HBase客戶端端記憶體的壓力。因此，從實現上來看，scanAPI更適合處理少量資料的場景。

對於處理海量資料的查詢，我們需要考慮使用上文提到的MapReduce（MR）框架。MR框架分為兩種主要型別：TableScanMR（對應的處理類：TableMapReduceUtil.initTableMapperJob）和SnapshotScanMR（對應處理類：TableMapReduceUtil.initSnapshotMapperJob）。下面的兩張圖展示了它們在架構上的差異：

  • TableScanMR： 該型別適用於對HBase表進行大規模的掃描和查詢。透過TableMapReduceUtil.initTableMapperJob初始化Mapper任務，可以在整個表上並行處理資料。
  • SnapshotScanMR： 與TableScanMR不同，SnapshotScanMR主要用於對HBase快照表的處理。透過TableMapReduceUtil.initSnapshotMapperJob初始化Mapper任務，能夠在HBase快照上並行執行查詢操作。

這兩種MR框架的選擇取決於具體的業務需求和資料規模。在處理海量資料時，MR框架的分散式計算和並行處理能力能夠充分發揮，提高處理效率。

 

可以觀察到，兩種模式都採用了在客戶端透過多執行緒方式進行並行處理的方法。然而，SnapshotScanMR與TableScanMR相比，不再直接與Region Server進行互動，而是直接在客戶端和HDFS之間進行互動。這樣的設計有一些優勢，例如減輕了Region Server的負擔。但值得注意的是，在使用SnapshotScanMR之前，需要在客戶端和Region Server之間進行一次互動，以獲取snapshot的資訊，即HBase的後設資料資訊，包括表結構和HDFS儲存資訊。這使得可以跳過Region Server，直接與HDFS地址進行互動。

然而，snapshot也有一些缺點。首先，實時性較差，可能最近的一些資料修改並未在snapshot中體現。這可能導致讀取到一些髒資料，即已被刪除或更新的資料仍然存在，只是在墓碑記錄中。當然，如果經過合併（merge）後，這些髒資料會被清理。其次，由於snapshot是一種靜態的快照，可能無法讀取到一些最新的資料。

總體而言，SnapshotScanMR的設計優勢在於減輕了Region Server的負擔，但需要在效能和實時性之間做出權衡。在選擇使用SnapshotScanMR時，必須充分了解資料的更新和刪除情況，以確保得到準確的查詢結果。

3.程式碼實現

在MapReduce中掃描HBase快照表的程式碼實現主要涉及Mapper的編寫，以及MapReduce作業的配置。以下是一個簡單的示例，演示瞭如何使用MapReduce掃描HBase快照表：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HConstants;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableSnapshotInputFormat;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

public class HBaseSnapshotScanMR extends Configured implements Tool {

    public static class HBaseSnapshotMapper extends Mapper<ImmutableBytesWritable, Result, NullWritable, Text> {

        @Override
        protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
            // 處理每一行的資料，這裡簡單地將每行資料輸出到MapReduce的輸出
            StringBuilder output = new StringBuilder();
            for (Cell cell : value.rawCells()) {
                output.append(Bytes.toString(CellUtil.cloneValue(cell))).append(",");
            }

            context.write(NullWritable.get(), new Text(output.toString()));
        }
    }

    @Override
    public int run(String[] args) throws Exception {
        Configuration conf = getConf();

        // HBase配置
        Configuration hbaseConf = HBaseConfiguration.create(conf);
        hbaseConf.set(TableInputFormat.SCAN, TableMapReduceUtil.convertScanToString(new Scan()));

        // MapReduce作業配置
        Job job = Job.getInstance(conf, "HBaseSnapshotScanMR");
        job.setJarByClass(getClass());

        // 設定HBase快照輸入格式
        TableMapReduceUtil.initTableSnapshotInput(job, args[0], new Path(args[1]), HConstants.HBASE_DIR);

        // Mapper和Reducer配置
        job.setMapperClass(HBaseSnapshotMapper.class);
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Text.class);

        // 提交作業
        return job.waitForCompletion(true) ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new HBaseSnapshotScanMR(), args);
        System.exit(exitCode);
    }
}

在這個例子中：

  • HBaseSnapshotMapper 類是 Mapper 的具體實現，負責處理每一行的資料，這裡簡單地將每行資料輸出為文字。
  • HBaseSnapshotScanMR 類實現了 Tool 介面，用於配置和執行 MapReduce 作業。
  • 在 run 方法中，配置了 HBase 快照的輸入格式，設定了 Mapper 類、輸出鍵值型別等資訊。
  • main 方法呼叫 ToolRunner.run 執行 MapReduce 作業。

執行這個作業時，需要提供兩個引數：HBase 表的名稱和快照的名稱。例如：

hadoop jar HBaseSnapshotScanMR.jar HBaseSnapshotScanMR tableName snapshotName outputDir

4.總結

1.注意事項

  • 確保HBase中的快照表存在，且其中包含所需的資料。
  • 對Mapper和Reducer進行適當的配置，以滿足具體的業務需求。
  • 在處理大規模資料時，調整Hadoop和MapReduce的配置引數以提高效能。

2.適用場景

  • 掃描HBase快照表適用於需要處理歷史資料、資料版本控制以及資料備份與還原的場景。
  • 使用MapReduce進行處理可以充分發揮Hadoop分散式計算的優勢，實現並行化和分散式處理。

總體而言，MapReduce掃描HBase快照表是一種強大的資料處理方法，能夠有效處理大規模資料集，提供了分散式計算的優勢，同時充分利用了HBase的快照功能來處理歷史資料。

5.結束語

這篇部落格就和大家分享到這裡，如果大家在研究學習的過程當中有什麼問題，可以加群進行討論或傳送郵件給我，我會盡我所能為您解答，與君共勉！

另外，博主出書了《Kafka並不難學》和《Hadoop大資料探勘從入門到進階實戰》，喜歡的朋友或同學， 可以在公告欄那裡點選購買連結購買博主的書進行學習，在此感謝大家的支援。關注下面公眾號，根據提示，可免費獲取書籍的教學影片。

相關文章