HBase基礎知識

獵手家園發表於2016-08-23

一、HBase中的表一般有這樣的特點:

1、大:一個表可以有上億行,上百萬列。

2、面向列:面向列(族)的儲存和許可權控制,列(族)獨立檢索。

3、稀疏:對於為空(null)的列,並不佔用儲存空間,因此,表可以設計的非常稀疏。

 

二、HBase以表的形式儲存資料。表有行和列組成。列劃分為若干個列族(row family)

Row Key

column-family1

column-family2

column-family3

column1

column1

column1

column1

column2

column3

key1

 

 

 

 

 

 

Key2

 

 

 

 

 

 

Key3

 

 

 

 

 

 


Row Key
 

與nosql資料庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式:

1、透過單個row key訪問

2、透過row key的range

3、全表掃描

 

Row key行鍵 (Row key)可以是任意字串(最大長度是 64KB,實際應用中長度一般為 10-100bytes),在hbase內部,row key儲存為位元組陣列。

儲存時,資料按照Row key的字典序(byte order)排序儲存。設計key時,要充分排序儲存這個特性,將經常一起讀取的行儲存放到一起。(位置相關性)

注意:

1、字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行鍵必須用0作左填充。

2、行的一次讀寫是原子操作 (不論一次讀寫多少列)。這個設計決策能夠使使用者很容易的理解程式在對同一個行進行併發更新操作時的行為。

 

列族

Hbase表中的每個列,都歸屬與某個列族。列族是表的chema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為字首。例如courses:history , courses:math 都屬於 courses 這個列族。

訪問控制、磁碟和記憶體的使用統計都是在列族層面進行的。實際應用中,列族上的控制許可權能 幫助我們管理不同型別的應用:我們允許一些應用可以新增新的基本資料、一些應用可以讀取基本資料並建立繼承的列族、一些應用則只允許瀏覽資料(甚至可能因 為隱私的原因不能瀏覽所有資料)。

 

時間戳

HBase中透過row和columns確定的為一個存貯單元稱為cell。每個 cell都儲存著同一份資料的多個版本。版本透過時間戳來索引。時間戳的型別是 64位整型。時間戳可以由hbase(在資料寫入時自動 )賦值,此時時間戳是精確到毫秒的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程式要避免資料版本衝突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的資料按照時間倒序排序,即最新的資料排在最前面。

為了避免資料存在過多版本造成的的管理 (包括存貯和索引)負擔,hbase提供了兩種資料版本回收方式。一是儲存資料的最後n個版本,二是儲存最近一段時間內的版本(比如最近七天)。使用者可以針對每個列族進行設定。

 

Cell

由{row key, column( =<family> + <label>), version} 唯一確定的單元。cell中的資料是沒有型別的,全部是位元組碼形式存貯。

 

三、Hbase region, store, storefile和列簇的關係

Hbase table中每個列簇都對應著region中的一個store,

1個region對應1個store

1個store對應多個storefile

在hdfs系統中則對應著一個目錄,如果列簇中尚無資料,怎該目錄為空,也就是該store下還沒有storefile。

 

四、設計

1、列簇的設計

l  列簇儘量少,最好不超過3個。因為每個列簇是存在一個獨立的HFile裡的,flush和compaction操作都是針對一個Region進行的,當一個列簇的資料很多需要flush的時候,其它列簇即使資料很少也需要flush,這樣就產生的大量不必要的io操作。

l  在多列簇的情況下,注意各列簇資料的數量級要一致。如果兩個列簇的數量級相差太大,會使數量級少的列簇的資料掃描效率低下。

l  將經常查詢和不經常查詢的資料放到不同的列簇。

l  因為列簇和列的名字會存在HBase的每個Cell中,所以他們的名字應該儘可能的短。比如,用f:q代替mycolumnfamily:mycolumnqualifier

 

2、rowkey的設計

l  避免使用遞增的數字或時間做為rowkey。

l  如果rowkey是整型,用二進位制的方式比用string來儲存更節約空間

l  合理的控制rowkey的長度,儘可能短,因為rowkey的資料也會存在每個Cell中。

l  如果需要將表預分裂為多個region是,最好自定義分裂的規則。