使用2-3法則設計分散式資料訪問層

衛向軍發表於2015-02-09
分散式

引言

如今移動網際網路行業呈爆發式發展，隨著業務使用者規模和業務邏輯趨向複雜，後端系統的開發和維護變得越來越困難，目前業界湧現出各種各樣的技術文章介紹分散式快取設計、分散式資料庫設計、負載均衡、HA策略等等，這些都是支撐分散式資料訪問層的基石，不過，本文將從另一個角度探討分散式資料訪問層 (Data Access Layer)的框架設計。

本文要介紹的是2-3法則（2個維度，3個原則）在分散式DAL框架設計中的指導作用，兩者共同完成DAL層封裝，主要分為兩點：1）從水平與垂直維度正交分析業務系統設計；2）定義3條必須遵守的設計原則，最重要的是DAL層從水平維度抽象資料訪問策略模型，即個3原則中的第3條。

本文最後一節，對分散式資料訪問框架做了探討，提出了兩種實現思路。

分散式DAL解決的問題

在分散式系統中，每一臺伺服器都需要訪問本地快取、分散式MC快取、分散式後臺資料庫，對於同一個業務模組，隨著業務變複雜，需要定義越來越多的資料Model，按照一定的規則儲存在本地快取、分散式快取以及後臺資料庫中。

目前，業界的資料訪問層定位於應用程式與持久化資料庫之間，比如淘寶的TDDL、IBatis Sharding等，主要完成資料的分庫分表、讀寫分離等，本文的資料儲存涵蓋快取、資料庫、檔案系統，現有的資料庫DAL中介軟體、Redis客戶端、MC客戶端將作為本文的水平維度的Adaptor，主要解決的問題：

  1. 資料訪問在水平資料儲存維度的一致性問題。
  2. 快速增加資料Model的能力。
  3. 優雅、清晰、模組化的資料訪問層程式碼。

兩個維度抽象設計

對於上節的問題，下面列舉了水平和垂直維度抽象思考的例子。

假設水平維度：

  1. 部分熱資料儲存在本地快取，本文使用Ehcache。
  2. 部分熱資料儲存在前端快取，本文使用MC。
  3. 全量資料儲存在資料庫快取，本文使用MySQL。

假設垂直維度：

  • 資料模型FileMeta，需要同時儲存在LocalCache、Redis和MySQL中。
  • 資料模型BlockMeta，需要儲存在LocalCache、MC中。
  • 資料模型Context，需要儲存在MC、MySQL中。

按照上面的分析，我們畫出系統兩個維度正交設計圖，如下：

Composition 而不是Inheritance

我們可以想到垂直維度定義N = 3個資料模型介面，水平維度定義N = 3個分層介面，但是水平維度和垂直維度是什麼關係呢？

在本文的設計中，對問題做了進一步思考，水平維度的介面全部由垂直維度的資料模型介面組合（Composition）而成，完成所有業務只需要定義N + M + 1個介面，而不是N * M + 1個介面，多餘的那個是DAL介面，完成資料訪問層封裝工作，第一節例子中的介面定義見下圖：

設計原則

上節主要介紹了介面設計，這裡說一下實現，資料模型類非常簡單，只要MC Client、TDDL、EhCache在不同層完成相應介面實現，最重要的是DAL實現類，需要完成水平各個維度的策略儲存，比如對一個Model，順序寫入MC和MySQL，根據業務實踐經驗，總結出3條設計原則：

  1. 每一個資料模型都有CRUD方法，即資料操作的增刪改查，對於MC或者LocalCache來說，增加操作和修改操作可能是一致的，這種情況也必須嚴格定義CRUD方法。
  2. DAL層封裝所有的資料訪問，保證資料的一致性儲存和可靠性，DAL層的實現呼叫ILocalCacheService、IMCService、IDAOService，根據不同資料模型的儲存策略，分別去呼叫快取和資料庫服務，資料模型如果僅存在MySQL或者MC，也需要在DAL層做封裝，這樣雖然對開發效率有一定影響，但是整體開發和維護成本降低很多。
  3. DAL實現抽象出一個DALContext和一個Executor，對於不同的資料模型，配置出不同的DALContext，比如順序儲存在MC和MySQL或者同步寫入MC非同步寫入MySQL，DAL也需要負責出錯處理、水平維度的容災切換等。

分散式資料訪問框架

對於網際網路後端應用來說，最主要的功能就是處理資料，對DAL層的探索與優化是非常有價值的，基於本文提出的2-3法則，感興趣的讀者可以構建一個DAL開源專案，有兩種思路。

第一種思路是：

  1. 定義資料模型以及儲存配置策略規範，可以使用類似protobuf的規範。
  2. 根據業務定義的資料模型和儲存配置策略，生成業務程式碼。
  3. 開發者在此基礎上擴充完善業務程式碼。

第二種思路是：

  1. 定義資料模型以及儲存配置策略規範，可以使用類似protobuf的規範。
  2. 開發DAL中介軟體（容器），根據業務定義的資料模型和儲存配置策略，執行時完成所有的資料訪問操作代理。

第一種相對容易，第二種比較複雜，讀者可以自己選擇其中一種。

相關文章