資料庫表分割技術淺析(水平分割/垂直分割/庫表雜湊)

Coding-lover發表於2015-09-24

一、資料庫表分割技術

資料庫表分割技術包含以下內容:

  • 水平分割
  • 垂直分割
  • 庫表雜湊

1.1、水平分割

什麼是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個視窗,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產生焦慮情緒,容易產生混 亂,這時一個管理者站出來,增加多個打飯視窗,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表。

水平分割根據某些條件將資料放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開儲存,每個子表的列數相同。水平切割將表分為多個表。每個表包含的列數相同,但是資料行更少。例如,可以將一個包含十億行的表水平分割槽成 12 個表,每個小表表示特定年份內一個月的資料。任何需要特定月份資料的查詢只需引用相應月份的表。

通常用來水平分割表的條件有:日期時間維度、地區維度等,當然還有更多的業務維度。

下面我舉幾個例子來解說一下

  • 案例1:某個公司銷售記錄資料量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
  • 案例2:某個集團在各個地區都有分公司,該集團的訂單資料表太大了,我們可以按分公司所在的地區進行水平切割。
  • 案例3:某電信公司的話單按日期、地市水平切割後,發現資料量太大,然後他們又按品牌、號碼段進行水平切割

水平分割通常在下面的情況下使用:
  (1)表資料量很大,分割後可以降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。
  (2)表中的資料本來就有獨立性,例如表中分別記錄各個地區的資料或不同時期的資料,特別是有些資料常用,而另外一些資料不常用。
  (3)需要把資料存放到多個介質上。
  (4)需要把歷史資料和當前的資料拆分開。

水平分割優點:
1:降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。

水平分割缺點:
1:水平分割會給應用增加複雜度,它通常在查詢時需要多個表名,查詢所有資料需要union操作。在許多資料庫應用中,這種複雜性會超過它帶來的優點,因為只要索引關鍵字不大,則在索引用於查詢時,表中增加兩到三倍資料量,查詢時也就增加讀一個索引層的磁碟次數。

1.2、垂直分割

什麼是垂直分割呢?打個形象的比喻,一個小公司通過短短几年發展變成了一個跨國大企業,以前的部門架構明顯不能滿足現在的業務發展,CEO噼裡啪啦的把公司分成了財務部、人事部、生產部、銷售部門…..,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵

垂直分割表(不破壞第三正規化),把主鍵列和一些列放到一個表,然後把主鍵列和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以採用垂直分割。

垂直分割優點:
1:垂直分割可以使得行資料變小,一個資料塊(Block)就能存放更多的資料,在查詢時就會減少I/O次數(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
垂直分割缺點:
1:表垂直分割後,主碼(主鍵)出現冗餘,需要管理冗餘列
2:會引起表連線JOIN操作(增加CPU開銷)需要從業務上規避

1.3、庫表雜湊

表雜湊與水平分割相似,但沒有水平分割那樣的明顯分割界限,採用Hash演算法把資料分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業務或者功能模組將資料庫進行分離,不同的模組對應不同的資料庫或者表,再按照一定的策略對某個頁面或者功能進行更小的資料庫雜湊,比如使用者表,按照使用者ID進行表雜湊,雜湊128張表,則應就能夠低成本的提升系統的效能並且有很好的擴充套件性

轉載自:資料庫表分割技術淺析(水平分割/垂直分割/庫表雜湊)

相關文章