MPP 資料庫
典型的分析工作量
線性可伸縮性
MPP分析架構
分散式架構
大規模並行處理(MPP)
批次載入/延遲
OLTP(OnLine Transaction
Processing
,聯機事務處理)系統
例如mysql。擅長事務處理,在資料操作中保持著很強的一致性和原子性 ,能夠很好的支援頻繁的資料插入和修改 ,但是,一旦資料量過大,OLTP便力不從心了。
OLAP(On-Line Analytical Processing,聯機分析處理)系統
例如Greenplum。不特別關心對資料進行輸入、修改等事務性處理,而是關心對已有 的大量資料進行多維度的、複雜的分析的一類資料系統
MPPDB架構
MPP 採用完全並行的MPP + Shared Nothing 的分散式扁平架構,這種架構中的每一個節點(node)都是獨立的、自給的、節點之間對等,而且整個系統中不存在單點瓶頸,具有非常強的擴充套件性。
MPPDB與Hadoop都是將運算分佈到節點中獨立運算後進行結果合併(分散式計算),但由於依據的理論和採用的技術路線不同而有各自的優缺點和適用範圍。兩種技術以及傳統資料庫技術的對比如下:
Hadoop在處理非結構化和半結構化資料上具備優勢,尤其適合海量資料批處理等應用要求。
MPP適合替代現有關係資料機構下的大資料處理,具有較高的效率。
MPP適合多維度資料自助分析、資料集市等;Hadoop適合海量資料儲存查詢、批次資料ETL、非機構化資料分析(日誌分析、文字分析)等
資料開發:
小表選擇Replication方式(例如表大小為5MB),會在每一個DataNode上儲存一份全量表資料
大表選擇Hash方式,會根據hash值把資料對映到對應的DataNode上
使用Hash分表策略時,需要選擇合理的分佈列(即欄位),選擇的列要具有隨機性,以保證資料均勻的分佈到各個DataNode上。檢查資料是否分佈均勻的SQL如下
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69949806/viewspace-2900590/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 騰訊雲資料庫伍鑫:MPP資料庫HTAP技術探索資料庫
- 如何更好的解讀QianBase MPP資料庫執行計劃資料庫
- mpp 資料庫greenplum官方商業版本與開源版本的差異資料庫
- QianBase MPP資料庫:如何基於圖形化OM服務快速部署資料庫
- 吉林銀行MPP資料庫採購專案中標結果公告發布資料庫
- 對話StarRocks葉謙:新一代MPP資料庫有啥不一樣?資料庫
- 南大通用GBase 8a中標吉林銀行MPP資料庫採購專案資料庫
- GBase 8a MPP CLuster資料庫2022年第8期培訓圓滿結束資料庫
- GBase 8a MPP CLuster資料庫2022年第3期培訓圓滿結束資料庫
- 新春開課 | 歡迎參加GBase 8a MPP CLuster資料庫2月訓練營資料庫
- OLAP MPP分散式關係型資料庫的雙活容災系統的設計分散式資料庫
- 十一 GBase 8a MPP Cluster後設資料查詢
- 安裝部署GBase 8a MPP資料庫對於伺服器作業系統的要求資料庫伺服器作業系統
- 認證培訓 | 歡迎參加GBase 8a MPP Cluster資料庫5月訓練營資料庫
- 認證培訓 | 歡迎參加GBase 8a MPP CLuster資料庫3月訓練營資料庫
- GBase 8a MPP助力澳門某銀行打造MPP架構的新一代資料平臺架構
- 達夢資料庫(DM8)大規模並行叢集MPP 2節點安裝部署資料庫並行
- MPP大資料系統架構,終於有人講明白了大資料架構
- 國產開源優秀新一代MPP資料庫StarRocks入門之旅-數倉新利器(上)資料庫
- 中標喜報!南大通用GBase 8a中標吉林銀行MPP資料庫採購專案資料庫
- 國產開源優秀新一代MPP資料庫StarRocks入門之旅-數倉新利器(中)資料庫
- 資料庫PostrageSQL-管理資料庫資料庫SQL
- 【資料庫資料恢復】SAP資料庫資料恢復案例資料庫資料恢復
- 攜手長亮資料打造資料底座 GBase 8a MPP助力承德銀行數字化轉型
- 【資料庫資料恢復】MS SQL資料庫附加資料庫出錯怎麼恢復資料?資料庫資料恢復SQL
- MPP與Hadoop,兩種主流大資料系統架構有啥區別?Hadoop大資料架構
- 資料庫介紹--初識資料庫資料庫
- 資料庫 資料庫的完整性資料庫
- 資料湖 vs 倉庫 vs 資料庫資料庫
- 資料庫概論 (一)資料庫概念資料庫
- 【Falsk 使用資料庫】---- 資料庫基本操作資料庫
- 【資料庫資料恢復】Sql Server資料庫資料恢復案例資料庫資料恢復SQLServer
- DataX將MySql資料庫資料同步到Oracle資料庫MySql資料庫Oracle
- 織夢資料庫_織夢還原資料庫_織夢資料庫很卡資料庫
- 生產資料庫、開發資料庫、測試資料庫中的資料的區分資料庫
- 資料庫資料庫
- L10資料庫——資料庫介紹資料庫
- Oracle資料庫-----資料庫的基本概念Oracle資料庫