hbase權威指南閱讀隨手筆記二之過濾器

LESS  <
LESS_OR_EQUAL <=
EQUAL =
NOT_EQUAL <>
GREATER_OR_EQUAL >=
GREATER >
NO_OP no operation

BinaryComparator  按位元組索引順序比較指定位元組陣列，採用Bytes.compareTo(byte[])
BinaryPrefixComparator 跟前面相同，只是比較左端的資料是否相同
NullComparator 判斷給定的是否為空
BitComparator 按位比較 a BitwiseOp class 做異或，與，並操作
RegexStringComparator 提供一個正則的比較器，僅支援 EQUAL 和非EQUAL

SubstringComparator 判斷提供的子串是否出現在table的value中。

[java] view plaincopy

1. public class RowFilterExample {  
2.   
3.   public static void main(String[] args) throws IOException {  
4.     Configuration conf = HBaseConfiguration.create();  
5.   
6.     HBaseHelper helper = HBaseHelper.getHelper(conf);  
7.     helper.dropTable("testtable");  
8.     helper.createTable("testtable", "colfam1", "colfam2");  
9.     System.out.println("Adding rows to table...");  
10.     helper.fillTable("testtable", 1, 100, 100, "colfam1", "colfam2");  
11.   
12.     HTable table = new HTable(conf, "testtable");  
13.   
14.     // vv RowFilterExample  
15.     Scan scan = new Scan();  
16.     scan.addColumn(Bytes.toBytes("colfam1"), Bytes.toBytes("col-0"));  
17.   
18.     Filter filter1 = new RowFilter(CompareFilter.CompareOp.LESS_OR_EQUAL, // co RowFilterExample-1-Filter1 Create filter, while specifying the comparison operator and comparator. Here an exact match is needed.  
19.       new BinaryComparator(Bytes.toBytes("row-22")));  
20.     scan.setFilter(filter1);  
21.     ResultScanner scanner1 = table.getScanner(scan);  
22.     // ^^ RowFilterExample  
23.     System.out.println("Scanning table #1...");  
24.     // vv RowFilterExample  
25.     for (Result res : scanner1) {  
26.       System.out.println(res);  
27.     }  
28.     scanner1.close();  
29.   
30.     Filter filter2 = new RowFilter(CompareFilter.CompareOp.EQUAL, // co RowFilterExample-2-Filter2 Another filter, this time using a regular expression to match the row keys.  
31.       new RegexStringComparator(".*-.5"));  
32.     scan.setFilter(filter2);  
33.     ResultScanner scanner2 = table.getScanner(scan);  
34.     // ^^ RowFilterExample  
35.     System.out.println("Scanning table #2...");  
36.     // vv RowFilterExample  
37.     for (Result res : scanner2) {  
38.       System.out.println(res);  
39.     }  
40.     scanner2.close();  
41.   
42.     Filter filter3 = new RowFilter(CompareFilter.CompareOp.EQUAL, // co RowFilterExample-3-Filter3 The third filter uses a substring match approach.  
43.       new SubstringComparator("-5"));  
44.     scan.setFilter(filter3);  
45.     ResultScanner scanner3 = table.getScanner(scan);  
46.     // ^^ RowFilterExample  
47.     System.out.println("Scanning table #3...");  
48.     // vv RowFilterExample  
49.     for (Result res : scanner3) {  
50.       System.out.println(res);  
51.     }  
52.     scanner3.close();  
53.     // ^^ RowFilterExample  
54.   }  
55. }  

建構函式

[java] view plaincopy

1. public FamilyFilter(CompareOp familyCompareOp, WritableByteArrayComparable familyComparator) {}  

透過和列簇比較得到，返回結果為真的資料，示例：

[java] view plaincopy

1. public class FamilyFilterExample {  
2.   
3.   public static void main(String[] args) throws IOException {  
4.     Configuration conf = HBaseConfiguration.create();  
5.   
6.     HBaseHelper helper = HBaseHelper.getHelper(conf);  
7.     helper.dropTable("testtable");  
8.     helper.createTable("testtable", "colfam1", "colfam2", "colfam3", "colfam4");  
9.     System.out.println("Adding rows to table...");  
10.     helper.fillTable("testtable", 1, 10, 2, "colfam1", "colfam2", "colfam3", "colfam4");  
11.   
12.     HTable table = new HTable(conf, "testtable");  
13.   
14.     // vv FamilyFilterExample  
15.     Filter filter1 = new FamilyFilter(CompareFilter.CompareOp.LESS, // co FamilyFilterExample-1-Filter Create filter, while specifying the comparison operator and comparator.  
16.       new BinaryComparator(Bytes.toBytes("colfam3")));  
17.   
18.     Scan scan = new Scan();  
19.     scan.setFilter(filter1);  
20.     ResultScanner scanner = table.getScanner(scan); // co FamilyFilterExample-2-Scan Scan over table while applying the filter.  
21.     // ^^ FamilyFilterExample  
22.     System.out.println("Scanning table... ");  
23.     // vv FamilyFilterExample  
24.     for (Result result : scanner) {  
25.       System.out.println(result);  
26.     }  
27.     scanner.close();  
28.   
29.     Get get1 = new Get(Bytes.toBytes("row-5"));  
30.     get1.setFilter(filter1);  
31.     Result result1 = table.get(get1); // co FamilyFilterExample-3-Get Get a row while applying the same filter.  
32.     System.out.println("Result of get(): " + result1);  
33.   
34.     Filter filter2 = new FamilyFilter(CompareFilter.CompareOp.EQUAL,  
35.       new BinaryComparator(Bytes.toBytes("colfam3")));  
36.     Get get2 = new Get(Bytes.toBytes("row-5")); // co FamilyFilterExample-4-Mismatch Create a filter on one column family while trying to retrieve another.  
37.     get2.addFamily(Bytes.toBytes("colfam1"));  
38.     get2.setFilter(filter2);  
39.     Result result2 = table.get(get2); // co FamilyFilterExample-5-Get2 Get the same row while applying the new filter, this will return "NONE".  
40.     System.out.println("Result of get(): " + result2);  
41.     // ^^ FamilyFilterExample  
42.   }  
43. }  

建構函式

[java] view plaincopy

1. public QualifierFilter(CompareOp qualifierCompareOp, WritableByteArrayComparable qualifierComparator) {  }  

透過和列名比較，返回為真的資料，示例：

[java] view plaincopy

1. // vv QualifierFilterExample  
2.    Filter filter = new QualifierFilter(CompareFilter.CompareOp.LESS_OR_EQUAL,  
3.      new BinaryComparator(Bytes.toBytes("col-2")));  
4.   
5.    Scan scan = new Scan();  
6.    scan.setFilter(filter);  
7.    ResultScanner scanner = table.getScanner(scan);  
8.    // ^^ QualifierFilterExample  
9.    System.out.println("Scanning table... ");  
10.    // vv QualifierFilterExample  
11.    for (Result result : scanner) {  
12.      System.out.println(result);  
13.    }  
14.    scanner.close();  
15.   
16.    Get get = new Get(Bytes.toBytes("row-5"));  
17.    get.setFilter(filter);  
18.    Result result = table.get(get);  
19.    System.out.println("Result of get(): " + result);  

該過濾器有兩個引數 —— 列族和列修飾。 嘗試找到該列所在的每一行，並返回該行具有相同時間戳的全部鍵值對。如果某一行不包含指定的列，則該行的任何鍵值對都不返回。
該過濾器還可以有一個可選布林引數 —— dropDependentColumn. 如果為true, 從屬的列不返回。
該過濾器還可以有兩個可選引數 —— 一個比較運算子和一個值比較器，用於列族和修飾的進一步檢查。如果從屬的列找到，其值還必須透過值檢查，然後就是時間戳必須考慮。

[java] view plaincopy

1. package filters;  
2.   
3. // cc DependentColumnFilterExample Example using a filter to include only specific column families  
4. import org.apache.hadoop.conf.Configuration;  
5. import org.apache.hadoop.hbase.HBaseConfiguration;  
6. import org.apache.hadoop.hbase.KeyValue;  
7. import org.apache.hadoop.hbase.client.Get;  
8. import org.apache.hadoop.hbase.client.HTable;  
9. import org.apache.hadoop.hbase.client.Result;  
10. import org.apache.hadoop.hbase.client.ResultScanner;  
11. import org.apache.hadoop.hbase.client.Scan;  
12. import org.apache.hadoop.hbase.filter.BinaryPrefixComparator;  
13. import org.apache.hadoop.hbase.filter.CompareFilter;  
14. import org.apache.hadoop.hbase.filter.DependentColumnFilter;  
15. import org.apache.hadoop.hbase.filter.Filter;  
16. import org.apache.hadoop.hbase.filter.RegexStringComparator;  
17. import org.apache.hadoop.hbase.filter.WritableByteArrayComparable;  
18. import org.apache.hadoop.hbase.util.Bytes;  
19. import util.HBaseHelper;  
20.   
21. import java.io.IOException;  
22.   
23. public class DependentColumnFilterExample {  
24.   
25.   private static HTable table = null;  
26.   
27.   // vv DependentColumnFilterExample  
28.   private static void filter(boolean drop,  
29.       CompareFilter.CompareOp operator,  
30.       WritableByteArrayComparable comparator)  
31.   throws IOException {  
32.     Filter filter;  
33.     if (comparator != null) {  
34.       filter = new DependentColumnFilter(Bytes.toBytes("colfam1"), // co DependentColumnFilterExample-1-CreateFilter Create the filter with various options.  
35.         Bytes.toBytes("col-5"), drop, operator, comparator);  
36.     } else {  
37.       filter = new DependentColumnFilter(Bytes.toBytes("colfam1"),  
38.         Bytes.toBytes("col-5"), drop);  
39.   
40.     }  
41.   
42.     Scan scan = new Scan();  
43.     scan.setFilter(filter);  
44.     ResultScanner scanner = table.getScanner(scan);  
45.     // ^^ DependentColumnFilterExample  
46.     System.out.println("Results of scan:");  
47.     // vv DependentColumnFilterExample  
48.     for (Result result : scanner) {  
49.       for (KeyValue kv : result.raw()) {  
50.         System.out.println("KV: " + kv + ", Value: " +  
51.           Bytes.toString(kv.getValue()));  
52.       }  
53.     }  
54.     scanner.close();  
55.   
56.     Get get = new Get(Bytes.toBytes("row-5"));  
57.     get.setFilter(filter);  
58.     Result result = table.get(get);  
59.     // ^^ DependentColumnFilterExample  
60.     System.out.println("Result of get: ");  
61.     // vv DependentColumnFilterExample  
62.     for (KeyValue kv : result.raw()) {  
63.       System.out.println("KV: " + kv + ", Value: " +  
64.         Bytes.toString(kv.getValue()));  
65.     }  
66.     // ^^ DependentColumnFilterExample  
67.     System.out.println("");  
68.     // vv DependentColumnFilterExample  
69.   }  
70.   
71.   public static void main(String[] args) throws IOException {  
72.     // ^^ DependentColumnFilterExample  
73.     Configuration conf = HBaseConfiguration.create();  
74.   
75.     HBaseHelper helper = HBaseHelper.getHelper(conf);  
76.     helper.dropTable("testtable");  
77.     helper.createTable("testtable", "colfam1", "colfam2");  
78.     System.out.println("Adding rows to table...");  
79.     helper.fillTable("testtable", 1, 10, 10, true, "colfam1", "colfam2");  
80.   
81.     table = new HTable(conf, "testtable");  
82.   
83.     // vv DependentColumnFilterExample  
84.     filter(true, CompareFilter.CompareOp.NO_OP, null);  
85.     filter(false, CompareFilter.CompareOp.NO_OP, null); // co DependentColumnFilterExample-2-Filter Call filter method with various options.  
86.     filter(true, CompareFilter.CompareOp.EQUAL,  
87.       new BinaryPrefixComparator(Bytes.toBytes("val-5")));  
88.     filter(false, CompareFilter.CompareOp.EQUAL,  
89.       new BinaryPrefixComparator(Bytes.toBytes("val-5")));  
90.     filter(true, CompareFilter.CompareOp.EQUAL,  
91.       new RegexStringComparator(".*\\.5"));  
92.     filter(false, CompareFilter.CompareOp.EQUAL,  
93.       new RegexStringComparator(".*\\.5"));  
94.   }  
95.   // ^^ DependentColumnFilterExample}  

選定列簇和某一列，然後與列的value相比，正確的返回全部的row，注意如果某一行不含有該列，同樣返回，除非透過filterIfColumnMissing 設定成真。

建構函式

[java] view plaincopy

1. "code" class="java">SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, byte[] value)   

2. SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, WritableByteArrayComparable comparator)  

3.   
4. 第一個建構函式相當於構建了一個BinaryComparator的例項。其他的跟CompareFilter的引數含義一樣。  

5.   

6.   

7.   

該過濾器透過下面兩個引數 filterIfMissing,latestVersionOnly

[java] view plaincopy

1. boolean getFilterIfMissing()  
2. void setFilterIfMissing(boolean filterIfMissing)  
3. boolean getLatestVersionOnly()  
4. void setLatestVersionOnly(boolean latestVersionOnly)  

如果 filterIfColumnMissing 標誌設為真，如果該行沒有指定的列，那麼該行的所有列將不發出。預設值為假。
如果setLatestVersionOnly 標誌設為假，將檢查此前的版本。預設值為真。例項如下：

[java] view plaincopy

1. // vv SingleColumnValueFilterExample  
2.   SingleColumnValueFilter filter = new SingleColumnValueFilter(  
3.     Bytes.toBytes("colfam1"),  
4.     Bytes.toBytes("col-5"),  
5.     CompareFilter.CompareOp.NOT_EQUAL,  
6.     new SubstringComparator("val-5"));  
7.   filter.setFilterIfMissing(true);  
8.   
9.   Scan scan = new Scan();  
10.   scan.setFilter(filter);  
11.   ResultScanner scanner = table.getScanner(scan);  
12.   // ^^ SingleColumnValueFilterExample  
13.   System.out.println("Results of scan:");  
14.   // vv SingleColumnValueFilterExample  
15.   for (Result result : scanner) {  
16.     for (KeyValue kv : result.raw()) {  
17.       System.out.println("KV: " + kv + ", Value: " +  
18.         Bytes.toString(kv.getValue()));  
19.     }  
20.   }  
21.   scanner.close();  
22.   
23.   Get get = new Get(Bytes.toBytes("row-6"));  
24.   get.setFilter(filter);  
25.   Result result = table.get(get);  
26.   System.out.println("Result of get: ");  
27.   for (KeyValue kv : result.raw()) {  
28.     System.out.println("KV: " + kv + ", Value: " +  
29.       Bytes.toString(kv.getValue()));  
30.   }  

所有的row的例項匹配prefix的時候返回結果集合

[java] view plaincopy

1. Filter filter = new PrefixFilter(Bytes.toBytes("row1"));  
2. Scan scan = new Scan();  
3. scan.setFilter(filter);  
4. ResultScanner scanner = table.getScanner(scan);  
5.   
6.   
7. for(Result result: scanner){  
8.     for(KeyValue kv: result.raw()) {  
9.         System.out.println("KV:" + kv + ", Value:"  + Bytes.toString(kv.getValue()));  
10.     }  
11. }  
12. scanner.close();  
13.   
14.   
15. Get get = new Get(Bytes.toBytes("row-5"));  
16. get.setFilter(filter);  
17. Result result = table.get(get);  
18. for(KeyValue kv : result.raw()){  
19.     System.out.println("KV:" + kv + ", Value:"  + Bytes.toString(kv.getValue()));  
20. }  

頁過濾，透過設定pagesize引數可以返回每一頁page的數量。

客戶端需要記住上一次訪問的row的key值。

[java] view plaincopy

1. package hbaseTest;  
2.   
3. import org.apache.hadoop.conf.Configuration;  
4. import org.apache.hadoop.hbase.HBaseConfiguration;  
5. import org.apache.hadoop.hbase.client.HTable;  
6. import org.apache.hadoop.hbase.client.Result;  
7. import org.apache.hadoop.hbase.client.ResultScanner;  
8. import org.apache.hadoop.hbase.client.Scan;  
9. import org.apache.hadoop.hbase.filter.Filter;  
10. import org.apache.hadoop.hbase.filter.PageFilter;  
11. import org.apache.hadoop.hbase.util.Bytes;  
12.   
13. import java.io.IOException;  
14.   
15. /** 
16.  * Hello world! 
17.  */  
18. public class PageFilterExample {  
19.     public static void main(String[] args) throws IOException {  
20.         Configuration config = HBaseConfiguration.create();  
21.         config.set("hbase.zookeeper.quorum", "QT-H-0038");  
22.   
23.         String tableName = "testTable";  
24.         String cfName = "colfam1";  
25.         final byte[] POSTFIX = new byte[] { 0x00 };  
26.         HTable table = new HTable(config, tableName);  
27.         Filter filter = new PageFilter(15);  
28.         byte[] lastRow = null;  
29.         int totalRows = 0;  
30.         while (true) {  
31.             Scan scan = new Scan();  
32.             scan.setFilter(filter);  
33.             if(lastRow != null){  
34.                 //注意這裡新增了POSTFIX操作，不然死迴圈了  
35.                 byte[] startRow = Bytes.add(lastRow,POSTFIX);  
36.                 scan.setStartRow(startRow);  
37.             }  
38.             ResultScanner scanner = table.getScanner(scan);  
39.             int localRows = 0;  
40.             Result result;  
41.             while((result = scanner.next()) != null){  
42.                 System.out.println(localRows++ + ":" + result);  
43.                 totalRows ++;  
44.                 lastRow = result.getRow();  
45.             }  
46.             scanner.close();  
47.             if(localRows == 0) break;  
48.         }  
49.         System.out.println("total rows:" + totalRows);  
50.     }  
51.   
52. }  

因為hbase的row是字典序列排列的，因此上一次的lastrow需要新增額外的0表示新的開始。另外startKey的那一行是包含在scan裡面的。

因為一些應用只想獲取data資料，而不是真實的val，可以使用這個過濾器。該過濾器透過

[java] view plaincopy

1. KeyOnlyFilter(boolean lenAsVal)  

lenAsVal預設為假，表示不把val的長度作為val。否則 val的長度將作為val輸出。

[java] view plaincopy

1.         final byte[] POSTFIX = new byte[] { 0x00 };  
2.         HTable table = new HTable(config, tableName);  
3.         Filter filter = new KeyOnlyFilter(false);  
4.         byte[] lastRow = null;  
5.         int totalRows = 0;  
6.   
7.   
8.         Scan scan = new Scan();  
9.         scan.setFilter(filter);  
10.         ResultScanner scanner = table.getScanner(scan);  
11.         for(Result result: scanner){  
12.             for(KeyValue kv: result.raw()){  
13.                 System.out.println(kv + ":" + Bytes.toString(kv.getValue()));  
14.             }  
15.         }  

裝飾性過濾器

這個過濾器只作用到keyValueFilter上。KeyValueFilter會返回所有滿足條件的row及對應的列。

而加上SkipFilter以後。會發現如果某一行的某一列不符合條件，則這一行全部不返回了。

[java] view plaincopy

1. public static void main(String[] args) throws IOException {  
2.    Configuration conf = HBaseConfiguration.create();  
3.   
4.    HBaseHelper helper = HBaseHelper.getHelper(conf);  
5.    helper.dropTable("testtable");  
6.    helper.createTable("testtable", "colfam1");  
7.    System.out.println("Adding rows to table...");  
8.    helper.fillTable("testtable", 1, 30, 5, 2, true, true, "colfam1");  
9.   
10.    HTable table = new HTable(conf, "testtable");  
11.   
12.    // vv SkipFilterExample  
13.    Filter filter1 = new ValueFilter(CompareFilter.CompareOp.NOT_EQUAL,  
14.      new BinaryComparator(Bytes.toBytes("val-0")));  
15.   
16.    Scan scan = new Scan();  
17.    scan.setFilter(filter1); // co SkipFilterExample-1-AddFilter1 Only add the ValueFilter to the first scan.  
18.    ResultScanner scanner1 = table.getScanner(scan);  
19.    // ^^ SkipFilterExample  
20.    System.out.println("Results of scan #1:");  
21.    int n = 0;  
22.    // vv SkipFilterExample  
23.    for (Result result : scanner1) {  
24.      for (KeyValue kv : result.raw()) {  
25.        System.out.println("KV: " + kv + ", Value: " +  
26.          Bytes.toString(kv.getValue()));  
27.        // ^^ SkipFilterExample  
28.        n++;  
29.        // vv SkipFilterExample  
30.      }  
31.    }  
32.    scanner1.close();  
33.   
34.    Filter filter2 = new SkipFilter(filter1);  
35.   
36.    scan.setFilter(filter2); // co SkipFilterExample-2-AddFilter2 Add the decorating skip filter for the second scan.  
37.    ResultScanner scanner2 = table.getScanner(scan);  
38.    // ^^ SkipFilterExample  
39.    System.out.println("Total KeyValue count for scan #1: " + n);  
40.    n = 0;  
41.    System.out.println("Results of scan #2:");  
42.    // vv SkipFilterExample  
43.    for (Result result : scanner2) {  
44.      for (KeyValue kv : result.raw()) {  
45.        System.out.println("KV: " + kv + ", Value: " +  
46.          Bytes.toString(kv.getValue()));  
47.        // ^^ SkipFilterExample  
48.        n++;  
49.        // vv SkipFilterExample  
50.      }  
51.    }  
52.    scanner2.close();  
53.    // ^^ SkipFilterExample  
54.    System.out.println("Total KeyValue count for scan #2: " + n);  
55.  }