存算一體 VS 存算分離 ，IT發展下的技術迭代

最早版本的資料庫 ， 即網狀資料庫管理系統（DBMS） ， 由通用電氣公司1961年開發成功，其IDS（Integrated DataStore，整合資料儲存）是世界上第一個網狀DBMS，也是第一個DBMS。 但是它只能執行於通用電氣的主機上，且資料庫只有一個檔案，所有的表必須透過手工編碼生成 、 儲存和計算是緊密耦合在一起的。

這一點從它的名字就可以看出來，整合資料儲存（IntegratedData Store，IDS）。

而之後的很長時間，資料庫都是屬於高階應用，和各種大型機 、 中型機緊密繫結在一起，典型的IBM大型機（ (MainFrame） ，老牌IT人都熟悉的System/360， 透過程式設計訪問內部的各種資料庫， 後來大家熟悉的DB2， 也是最早執行在這個平臺上， 藉助當時超強的計算能力， 在全球各種大型金融機構， 大型科研實驗室和大型企業獨領風騷， 佔據了領導地位。

IBM當時在計算機領域無愧它 “ 藍色巨人 ” 的稱號， 除了響噹噹的產品之外， 還有大量的精英在其中對最新科技進行研究， 對資料庫影響最大的幾位大神都在IBM供職， 包括提出關係型資料庫模型的Codd博士， 在此基礎上發揚光大的 C.J.Date和Jim Gray。 可以說DB2 在整個資料庫歷史上扮演了一個很重要的承上啟下的作用。

當然也不得不提另外一位傳奇人物， 就是Oracle的創始人之一，Larry Ellison， 自1977年創立SDL， 1982年更名為Oracle， 然後迅速藉助小型機的快速發展，迅速佔領了商用資料庫的第一把交椅， 直至今日， DB Engine上Oracle仍佔據榜首， 數十年未動搖。

因為小型機的快速發展，計算機市場出現群雄爭霸的局面， 而在Unix 系統開始大行其道之後， 市面上能夠提供unix主機的企業越來越多， 除了IBM， 還有HP 、 Compaq 、 富士通 、 Sun。而幾乎所有的Unix主機都會連線獨立的儲存伺服器，來實現第一次的儲存和計算的分離 。

在這次的存算分離當中，  最重要的支撐技術主要包括成熟的網路組網技術，以及成熟的儲存網路技術，當然Oracle自己的殺手級技術快取融合，也起到很大的作用。

那麼看一下使用者得到的好處在哪裡？

時間進入本世紀， 隨著使用者資料的快速膨脹， 使用者對海量資料的分析需求越來越明顯， 各行各業都在搭建自己的資料倉儲和商業智慧系統，   這時使用者面臨的最大挑戰第一是成本， 第二是效能。

因為傳統Unix主機和高階儲存價格高居不下， 所以想要搭建一個用於決策支援的資料倉儲系統， 在硬體和軟體license上就是一筆不小的投資。另外可能耗費巨資搭建的系統， 在做海量資料統計彙總的時候，比老黃牛還慢， 廠家分析過之後， 診斷結果：磁碟轉速不夠， 網路傳輸不夠，CPU處理能力不夠。總而言之， 系統需要擴容。

究其根本原因， 還是在IO ， 因為計算單元處理資料， 但是它不儲存資料， 所有的資料要從儲存中取， 而儲存在取資料的時候， 都是一個資料塊一個資料塊來取， 根本沒法判斷這個塊中哪些資料是計算單元需要的。在傳統行儲存的場景， 一個決策查詢可能只需要幾個欄位， 但是必須把所有資料都拿到計算單元， 由計算單元處理/判斷之後再丟棄。

浪費了大量的IO， 另外由於計算單元記憶體不夠， 再大表連線的時候， 出現大量的臨時資料， 這些臨時資料還需要在儲存中臨時存放， 需要的時候再拿出來， 這就又造成了大量的資源浪費。

所以這個時候就自然 催生出新的架構 ，  普遍的原理是OLTP系統中每次操作都是小資料量， 這種場景是移動資料到計算；而OLAP系統中，每次都會涉及大量資料處理， 所以要減少網路傳輸， 這時候應該是移動計算到資料。這個描述有點抽象， 但是大概意思就是 海量資料首先在本地進行初步加工， 減少資料量之後，再去參與後繼計算，這樣IO和算力都得到節省， 自然效能就上去了。

這個時候的玩家， 包括來自大廠的TD 和DB2， 也包括後來居上的開源MPP產品GreenPlum，還有國內的老牌資料庫廠商南大通用Gbase， 以GP為例， 示例如下：

此階段 技術核心關注 在減少網路間傳輸的IO， 一方面透過列式儲存， 來支援分析系統中按列統計的習慣， 每次查詢只需要取需要的列就可以， 減少無謂的IO， 同時利用各種索引技術， 加快資料定位和存取的效率。另外透過快閃記憶體技術的高速發展， 利用高速快閃記憶體還可以進一步提升系統的效能。

而之後盛行的Hadoop架構， 也是屬於利用本地磁碟透過搭建分散式檔案系統 ， 來實現海量資料的處理。開源的Hadoop架構發展迅猛， 不斷有新的技術加入，大大催生了資料倉儲領域的技術發展。衍生出很多非常亮眼的技術， 比如Hive、Impala、Presto、Spark等等。

不過MPP雖然讓更多的人能夠以較低的成本搭建海量資料倉儲， 隨著應用的深入，也暴露出幾個問題：

隨著公有云的快速發展， 按需付費的概念逐步深入人心，對大規模 資料 的 分析 也 要求能做到按需供給，那麼傳統MPP這種存算一體的緊耦合架構，就沒法滿足使用者的需求了。另外， 網路技術和儲存技術也飛速發展， 這時就自然帶來新一代的雲原生資料庫的存算分離架構， 把資料庫技術向前推進了一大步 。

以業界最有名的Snowflake公司為例，創立Snowflake之前，Benoit Dageville和Thierry Cruanes在甲骨文做了十多年資料工程師，後來他們決定在雲上建立數倉，聯合另外一位創始人Marcin Żukowski，  共同建立了 S nowflake 。

為了更好地利用雲上的資源，他們首先把儲存和計算再次分離，把資料以大量分割槽的方式儲存在共享的物件儲存中，儲存中的資料按列儲存，而中間的計算層， 也透過無狀態的虛擬資料倉儲來動態拉起和銷燬， 來實現使用者不同workload的靈活排程和計費。 目前已經成為雲原生數倉的標準範本 。

下面簡單看一看Snowflake的技術架構 ：

Snowflake核心元件從底向上可以分為三個層次：

在這個架構下， 不同的workload可以隨時透過建立不同的虛擬倉庫來實現計算的靈活調配， 而每次計算的時候， 計算層透過網路直接從儲存層獲得資料 ， 然後在虛擬資料倉儲中進行計算， 負載比較中的workload可以建立較大的虛擬倉庫， 而普通查詢可以建立較小的虛擬倉庫，使用者還可以透過調整虛擬倉庫中單節點CPU和節點個數來平衡計算複雜性和併發性 。

虛擬倉庫之間，透過佔用不同的硬體節點或者計算層中的資源排程來實現隔離。因為整個虛擬倉庫的無狀態， 所以使用者可以隨時建立和銷燬虛擬倉庫， 當然也意味著計算層的可以透過增加EC2的臺數，來實現計算層的橫向擴充套件。

同時， 由於儲存層也已經完成了與計算層的解耦， 所以儲存層也可以隨時按需進行橫向擴充套件， 而無需停機做資料分佈。

◆  技術最佳化手段

我們都知道， 存算分離架構，提高了系統的靈活性， 可以實現計算能力和儲存能力的動態擴縮容，無需按照業務峰值來搭建系統， 但是也帶來了大量資料需要在儲存層和計算層之間傳輸的問題。

好在，這麼多年的儲存，網路技術飛速發展， 能很好地滿足這些需求， 同時新一代雲數倉也從不同的地方做出最佳化，來提升效率。一般而言， 有兩個方向 ：

第一就是透過各種軟體的最佳化，減少網路傳輸；

第二，就是加大網路吞吐能力，實現網路提速。

目前的高速低延遲網路，比如ROCE等資料傳輸技術， 資料中心內部的高速網際網路路等技術， 可以大大加快儲存層到計算層的資料傳輸效率。

和 O racle的思路類似， 計算儲存分離架構中， 還有一個環節就是資料快取，如果每次資料訪問都必須訪問磁碟， 那麼系統效能就會大打折扣， 所以在snowflake的虛擬倉庫層， 也是會利用cache來進行資料的快取。

另外，在目前大多數的雲上數倉解決方案中， 都會更加強化Metadata的作用， 對於一些基本的sum 、 Max 、 min等操作， 可以直接從metadata中返回結果， 不需要產生磁碟IO。 此 外在儲存格式上， 類似ORC 、 Parquet等儲存模式，利用列存和SIMD技術， 實現一次IO，返回更多有效資料；同時啟用多種索引技術， 使得查詢定位更加快捷。