每天會生成巨大的資料庫，請教系統設計方法？- Reddit

banq發表於2022-04-24
資料庫

我最近加入了一家仍處於成長階段的金融科技初創公司。我們管理的平臺基本上是投資組合管理。
我們考慮來自使用者銀行的賬戶交易、匯率、資產價格（來自路透社等第三方），並計算投資組合估值和業績。
所以流程可以概括為：
security transactions -> asset units -> prices -> exchange rates ->  portfolio value  

問題是關於這個平臺中具有 SOA 的舊的核心微服務。它有幾個效能問題，原因有幾個，但主要瓶頸是 DB。
目前生產中的資料庫大小為 400 GB。設計中使用的方法是，在處理的任何階段，服務都會計算每天的值並將它們儲存在資料庫中。

回答：
可以根據業務用例和客戶需求將資料分類為不同的類別，然後從儲存角度決定需要什麼策略。
例如：提到的用例可以分為以下幾類：
  • SoR 資料
  • 歷史資料
  • 計算資料（分析、趨勢等）

在此分類之後，您可以考慮將主資料庫用於 SoR，將只讀副本或 nosql 用於歷史資料，將時間序列資料庫 etx 用於計算資料。
總體思路是分而治之的資料管理方法。

大小真的不重要... 將事務資料保持在應用程式的正常形式中。如果您需要報告功能，請獨立解決。

 

相關文章