資料庫表分割技術淺析(水平分割/垂直分割/庫表雜湊)
一、資料庫表分割技術
資料庫表分割技術包含以下內容:
- 水平分割
- 垂直分割
- 庫表雜湊
1.1、水平分割
什麼是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個視窗,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產生焦慮情緒,容易產生混 亂,這時一個管理者站出來,增加多個打飯視窗,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表。
水平分割根據某些條件將資料放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開儲存,每個子表的列數相同。水平切割將表分為多個表。每個表包含的列數相同,但是資料行更少。例如,可以將一個包含十億行的表水平分割槽成 12 個表,每個小表表示特定年份內一個月的資料。任何需要特定月份資料的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區維度等,當然還有更多的業務維度。
下面我舉幾個例子來解說一下
- 案例1:某個公司銷售記錄資料量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
- 案例2:某個集團在各個地區都有分公司,該集團的訂單資料表太大了,我們可以按分公司所在的地區進行水平切割。
- 案例3:某電信公司的話單按日期、地市水平切割後,發現資料量太大,然後他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
(1)表資料量很大,分割後可以降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。
(2)表中的資料本來就有獨立性,例如表中分別記錄各個地區的資料或不同時期的資料,特別是有些資料常用,而另外一些資料不常用。
(3)需要把資料存放到多個介質上。
(4)需要把歷史資料和當前的資料拆分開。
水平分割優點:
1:降低在查詢時需要讀的資料和索引的頁數,同時也降低了索引的層數,加快了查詢速度。
水平分割缺點:
1:水平分割會給應用增加複雜度,它通常在查詢時需要多個表名,查詢所有資料需要union操作。在許多資料庫應用中,這種複雜性會超過它帶來的優點,因為只要索引關鍵字不大,則在索引用於查詢時,表中增加兩到三倍資料量,查詢時也就增加讀一個索引層的磁碟次數。
1.2、垂直分割
什麼是垂直分割呢?打個形象的比喻,一個小公司通過短短几年發展變成了一個跨國大企業,以前的部門架構明顯不能滿足現在的業務發展,CEO噼裡啪啦的把公司分成了財務部、人事部、生產部、銷售部門…..,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
垂直分割表(不破壞第三正規化),把主鍵列和一些列放到一個表,然後把主鍵列和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以採用垂直分割。
垂直分割優點:
1:垂直分割可以使得行資料變小,一個資料塊(Block)就能存放更多的資料,在查詢時就會減少I/O次數(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
垂直分割缺點:
1:表垂直分割後,主碼(主鍵)出現冗餘,需要管理冗餘列
2:會引起表連線JOIN操作(增加CPU開銷)需要從業務上規避
1.3、庫表雜湊
表雜湊與水平分割相似,但沒有水平分割那樣的明顯分割界限,採用Hash演算法把資料分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業務或者功能模組將資料庫進行分離,不同的模組對應不同的資料庫或者表,再按照一定的策略對某個頁面或者功能進行更小的資料庫雜湊,比如使用者表,按照使用者ID進行表雜湊,雜湊128張表,則應就能夠低成本的提升系統的效能並且有很好的擴充套件性
相關文章
- leetcode 1525 字串的好分割數目(雜湊表,字串分割)LeetCode字串
- 第41期:MySQL 雜湊分割槽表MySql
- E6 資料庫分割槽技術資料庫
- zabbix上對mysql資料庫做分割槽表MySql資料庫
- Mysql資料分片技術(一)——初識表分割槽MySql
- 徹底搞清分庫分表(垂直分庫,垂直分表,水平分庫,水平分表)
- oracle分割槽表和分割槽表exchangeOracle
- 徹底搞清MySQL分庫分表(垂直分庫,垂直分表,水平分庫,水平分表)MySql
- oracle分割槽表和非分割槽表exchangeOracle
- MySql分表、分庫、分片和分割槽MySql
- MySQL資料表分割槽手記MySql
- PG的非分割槽表線上轉分割槽表
- PostgreSQL/LightDB 分割槽表之分割槽裁剪SQL
- Oracle資料庫分割槽表SPLIT操作導致歸檔瘋漲Oracle資料庫
- 【MYSQL】 分割槽表MySql
- oracle 分割槽表move和包含分割槽表的lob moveOracle
- 移動分割槽表和分割槽索引的表空間索引
- Oracle分割槽表基礎運維-07增加分割槽(3列表分割槽)Oracle運維
- ORACLE刪除-表分割槽和資料Oracle
- hive 動態分割槽插入資料表Hive
- 非分割槽錶轉換成分割槽表
- [oracle] expdp 匯出分割槽表的分割槽Oracle
- freeswitch APR庫雜湊表
- Oracle分割槽表基礎運維-04列表分割槽Oracle運維
- 資料庫系統設計:分割槽資料庫
- MySQL 分割槽表探索MySql
- 分割槽表-實戰
- Oracle分割槽表基礎運維-06分割槽表索引Oracle運維索引
- oracle 更改分割槽表資料 ora-14402Oracle
- Zabbix系統MySQL資料庫分割槽表的設定--精簡說明MySql資料庫
- oracle 線上重新定義,普通表改變分割槽表,分割槽表可以更改型別、分割槽欄位等Oracle型別
- Oracle分割槽表基礎運維-07增加分割槽(2 HASH分割槽)Oracle運維
- 【Linux】MBR磁碟分割槽表只能有四個分割槽?Linux
- Oracle分割槽表基礎運維-01分割槽表分類Oracle運維
- oracle將表配置為分割槽表Oracle
- oracle 普通表-分割槽表改造流程Oracle
- PostgreSQL 原始碼解讀(98)- 分割槽表#4(資料查詢路由#1-“擴充套件”分割槽表)SQL原始碼路由套件
- SQL SERVER之分割槽表SQLServer
- ORACLE分割槽表梳理系列Oracle