資料庫表分割技術淺析(水平分割/垂直分割/庫表雜湊)
一、資料庫表分割技術
資料庫表分割技術包含以下內容:
- 水平分割
- 垂直分割
- 庫表雜湊
1.1、水平分割
什麼是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個視窗,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產生焦慮情緒,容易產生混 亂,這時一個管理者站出來,增加多個打飯視窗,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表。
水平分割根據某些條件將資料放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開儲存,每個子表的列數相同。水平切割將表分為多個表。每個表包含的列數相同,但是資料行更少。例如,可以將一個包含十億行的表水平分割槽成 12 個表,每個小表表示特定年份內一個月的資料。任何需要特定月份資料的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區維度等,當然還有更多的業務維度。
下面我舉幾個例子來解說一下
- 案例1:某個公司銷售記錄資料量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
- 案例2:某個集團在各個地區都有分公司,該集團的訂單資料表太大了,我們可以按分公司所在的地區進行水平切割。
- 案例3:某電信公司的話單按日期、地市水平切割後,發現資料量太大,然後他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
(1)表資料量很大,分割後可以降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。
(2)表中的資料本來就有獨立性,例如表中分別記錄各個地區的資料或不同時期的資料,特別是有些資料常用,而另外一些資料不常用。
(3)需要把資料存放到多個介質上。
(4)需要把歷史資料和當前的資料拆分開。
水平分割優點:
1:降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。
水平分割缺點:
1:水平分割會給應用增加複雜度,它通常在查詢時需要多個表名,查詢所有資料需要union操作。在許多資料庫應用中,這種複雜性會超過它帶來的優點,因為只要索引關鍵字不大,則在索引用於查詢時,表中增加兩到三倍資料量,查詢時也就增加讀一個索引層的磁碟次數。
1.2、垂直分割
什麼是垂直分割呢?打個形象的比喻,一個小公司通過短短几年發展變成了一個跨國大企業,以前的部門架構明顯不能滿足現在的業務發展,CEO噼裡啪啦的把公司分成了財務部、人事部、生產部、銷售部門…..,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
垂直分割表(不破壞第三正規化),把主鍵列和一些列放到一個表,然後把主鍵列和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以採用垂直分割。
垂直分割優點:
1:垂直分割可以使得行資料變小,一個資料塊(Block)就能存放更多的資料,在查詢時就會減少I/O次數(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
垂直分割缺點:
1:表垂直分割後,主碼(主鍵)出現冗餘,需要管理冗餘列
2:會引起表連線JOIN操作(增加CPU開銷)需要從業務上規避
1.3、庫表雜湊
表雜湊與水平分割相似,但沒有水平分割那樣的明顯分割界限,採用Hash演算法把資料分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業務或者功能模組將資料庫進行分離,不同的模組對應不同的資料庫或者表,再按照一定的策略對某個頁面或者功能進行更小的資料庫雜湊,比如使用者表,按照使用者ID進行表雜湊,雜湊128張表,則應就能夠低成本的提升系統的效能並且有很好的擴充套件性
相關文章
- 分割槽表入無分割槽的資料庫資料庫
- 分割槽表匯入資料庫資料庫
- 第41期:MySQL 雜湊分割槽表MySql
- mysql資料庫分割槽技術MySql資料庫
- 資料庫分割槽表 什麼情況下需要分割槽資料庫
- 詳解ORACLE資料庫的分割槽表Oracle資料庫
- leetcode 1525 字串的好分割數目(雜湊表,字串分割)LeetCode字串
- E6 資料庫分割槽技術資料庫
- Oracle表分割槽技術概述Oracle
- mysql表水平拆分和分割槽分表MySql
- zabbix上對mysql資料庫做分割槽表MySql資料庫
- Oracle資料庫開發——瞭解分割槽表Oracle資料庫
- 插入遠端資料庫資料遇到分割槽表bug資料庫
- Mysql資料分片技術(一)——初識表分割槽MySql
- 資料庫分割槽表分割槽未分配導致的一些問題資料庫
- 資料表分割槽分割與刪除歷史資料
- Oracle資料庫中分割槽表的操作方法Oracle資料庫
- 徹底搞清分庫分表(垂直分庫,垂直分表,水平分庫,水平分表)
- oracle分割槽表和分割槽表exchangeOracle
- Oracle 12cr2 資料庫之間傳輸表,分割槽或子分割槽Oracle資料庫
- 徹底搞清MySQL分庫分表(垂直分庫,垂直分表,水平分庫,水平分表)MySql
- Oracle資料庫中分割槽表的操作方法(轉)Oracle資料庫
- oracle分割槽表和非分割槽表exchangeOracle
- 自動備份、截斷分割槽表分割槽資料
- 全面學習分割槽表及分割槽索引(13)--分隔表分割槽索引
- MySql分表、分庫、分片和分割槽MySql
- postgresql分割槽表修改資料表欄位SQL
- 全面學習分割槽表及分割槽索引(9)--刪除表分割槽索引
- 全面學習分割槽表及分割槽索引(11)--合併表分割槽索引
- 全面學習分割槽表及分割槽索引(12)--修改list表分割槽索引
- 學習筆記】分割槽表和分割槽索引——新增表分割槽(二)筆記索引
- Oracle分割槽表及分割槽索引Oracle索引
- INTERVAL分割槽表鎖分割槽操作
- oracle hash partition雜湊分割槽(一)Oracle
- mysql表分割槽技術詳細介紹MySql
- Oracle資料庫表範圍分割槽策略測試過程Oracle資料庫
- Oracle資料庫中分割槽表的操作方法詳解Oracle資料庫
- Oracle查詢資料庫中所有表和分割槽表的記錄數Oracle資料庫