從本篇文章開始,筆者打算寫一個系列的《clickhouse專欄》,其全稱是Click Stream,Data WareHouse,簡稱ClickHouse。從其全稱中的“Data WareHouse”,我們可以看出clickhouse的定位是資料倉儲。那麼“資料倉儲”和“資料庫”有什麼區別呢?理解這點這很重要,理解了二者的區別,你就可以正確的將clickhouse用到其合適的應用場景。
一、OLTP與OLAP
在理解"資料倉儲"與“資料庫”的區別之前,我們需要先說明兩個術語,即:OLTP與OLAP。
- OLTP(on-line transaction processing)聯機事務處理:通常指的是面向傳統應用服務的關係型資料庫,使用者通過web介面操作實時“增刪改查”資料庫裡面的資料。包含核心的基本的事務處理邏輯,使用者對於效能的要求很高,使用者點選介面之後,響應時間最低要求在5秒之內(通常3秒以內),同時需要支援比較高的使用者併發度。OLTP的資料操作通常面向的是1條或幾條少量資料,比如:使用者下單操作該使用者的購物車、支付記錄、積分記錄等少量資料。
- OLAP(On-Line Analytical Processing)聯機分析處理:面向的應用主要是執行復雜的資料分析操作,側重於決策支撐,通過圖形報表展現直觀易動的資料分析結果。對於響應時間的要求相對寬鬆,資料分析過程通常不支援使用者高併發,但資料分析的結果支援使用者的高併發訪問。OLAP面向的通常是批量資料操作,資料按批次進行匯入、分析等操作,OLAP系統通常結合ETL(抽取(extract)、轉換(transform)、載入(load))系統進行使用。
理解上面的兩個資料,剩下的就簡單多了,資料庫通常面向OLTP操作,資料倉儲通常面向OLAP操作。OLTP側重於儲存及變更資料的當前狀態,而資料倉儲側重於儲存資料的歷史存檔。比如:使用者銀行轉賬,OLTP資料庫側重於管理使用者當前賬戶裡的剩餘金額,和轉賬過程對方賬戶金額入賬的資料一致性;而OLAP資料倉儲側重於記錄誰進行了轉賬、轉了多少錢、錢轉到了哪裡。歷史上該使用者習慣在什麼時間轉賬,月初還是月末?一個月轉賬幾次?
二、資料倉儲的特點
下面的是資料倉儲的幾個典型特點:
- 關注於記錄資料變化的過程,而不是資料當前的狀態。
- 讀多寫少
- 大寬表
- 資料批量操作,不更新或很少更新
- 不支援事務
有的工作經驗相對少的朋友看了這幾條會說:“這哪是什麼特點,這都是缺點啊!” 。不更新或很少更新,讀多寫少都是場景限制,大寬表破壞資料庫設計正規化,不支援事務那還叫什麼資料庫?其實不然,在OLAP的場景下,這些恰恰是它為了保障資料分析的效能所進行特殊設計的特點。我給大家舉幾個例子:
- 比如:某雲廠商按週期採集伺服器的執行指標,比如:記憶體使用率、CPU使用率等等。這些指標都是批量採集、批量入庫的,一旦入庫就不會再去修改。通常也不會將記憶體指標建立一張表、CPU使用率建一張表,而是對於同一機房的伺服器建一張表,這張表以時間維度包含各種指標。比如:查詢記憶體使用率>80,CPU使用率>70的伺服器的時候,就不會兩表關聯查詢了,查詢一張寬表就可以了,資料分析的效能飛躍式提升。不支援事務,通常OLAP系統不支援事務,因為事務會在一定程度上影響資料操作的效能。資料入庫之後,需要針對這些指標不斷地進行分析、挖掘,即:讀多寫少,基本上就批量寫一次後續都是讀資料操作。
- 又比如:股票實時交易資料,關注於記錄資料變化的過程,而不是資料當前的狀態。所有股票的所有歷史資料一旦進入資料倉儲之後,就不會發生修改。可以進行股票量化交易分析。
- 又比如:使用者商品點選量資料、使用者操作行為資料、使用者網頁瀏覽時長資料等等,這些資料都是對使用者進行分析所需要的資料,一旦入庫不會修改。可以進行使用者買賣意願行為分析。
其實還有很多這種型別的資料,這種資料的特點就是:資料量大、產生之後不會發生變化(那一個時間刻度的資料就不會發生變化)。因此,資料倉儲通常面向的是吞吐量大的歷史資料進行存檔、不會在做更新刪除操作的這種資料場景,資料存檔之後通常只面向資料查詢分析。
三、資料庫與資料倉儲結合使用
通常一個較大型的應用服務系統,既有資料庫,也有資料倉儲。資料庫面向使用者進行聯機事務處理,處理使用者介面的實時操作。資料倉儲的資料面向決策管理層,提供資料及圖形報表,提供變化多樣的資料分析決策。
上圖是一個典型的資料庫與資料倉儲同時存在的應用服務場景
- 網際網路使用者通過應用服務產生使用者行為,對資料庫進行OLTP操作
- 應用服務把使用者的操作的行為傳送給訊息佇列,訊息佇列將資料匯入資料倉儲
- 資料庫的資料可以通過ETL抽取、處理、轉換、整合到資料倉儲
- 決策分析系統主要面向資料倉儲進行資料分析,資料分析結果可以回饋到資料庫,通過應用服務面向網際網路使用者提供資料分析結果檢視能力
- 決策分析系統同時對應用服務的決策管理者,提供資料分析決策支撐能力
推薦閱讀
限於博文篇幅,更多精彩內容我就不一一列舉了,推薦閱讀
《原創精品視訊及配套文件:springboot-已錄製97節(免費)》
等等等等