“中國跨境電商看華南，華南跨境電商看深圳”。2021 年，中國跨境電商市場規模創 14.2 萬億元新高，年度同比仍然保持兩位數的高速增長，達 13.6%。近 5 年來，中國跨境電商已經實現了近 10 倍的增長，**在我國跨境電商蓬勃發展的同時，深圳也出現了一匹跨境黑馬。**

深圳市易倉科技有限公司（以下簡稱“易倉科技”）於 2013 年成立，一直致力於研發高效可控的跨境管理模式，是跨境行業中第一家擁有完整中臺系統的服務商。2021  年 2 月 8 日，易倉科技獲得 B 輪 4000 萬美元融資，重新整理跨境電商 SaaS 領域的最高單筆融資記錄。**韜光養晦近 10 年，易倉科技目前已和國內外眾多跨境賣家、海外倉服務商和國際物流等跨境巨頭合作，其海外倉系統 WMS 的市場佔有率近 70%，處於行業絕對領先地位。**

我們有幸邀請到在易倉科技負責資料庫架構、資料庫最佳化的 **DBA 程涵**，結合易倉科技在跨境行業的領先實踐，分享跨境行業面臨海量資料時應該如何選型、如何運用資料庫，才能在企業側降低每租戶成本、提升運維效率，在客戶側提升產品體驗、助力客戶成功。

## 認識易倉科技

從 2014 年起跨境電商 SaaS 萌芽，開啟一輪浪潮增長至今，跨境電商 SaaS 經歷了品牌思維的孕育與起步、疫情下行業的發展，以及黑天鵝事件下的理性調整期。而易倉科技，則在 2013 年成立後就抓住了 SaaS 的發展機遇，經過多年內功修練，迅速成為行業領導者。

**很多人認為，易倉科技是跨境行業全生態鏈軟體服務供應商，但我更認可易倉科技是跨境行業全生態鏈的新零售 SaaS 服務商。**

![圖片](https://img.alicdn.com/imgextra/i4/O1CN01DfZaIi1GHvdihMN0N_!!6000000000598-0-tps-1080-548.jpg)

為什麼說是新零售 SaaS？因為易倉科技是利用網際網路+大資料在重構跨境生態，結合了各平臺海外的買家、國內的賣家、國內的物流商、承運商以及國內的工廠供應商等關係。目前，易倉科技主要有跨境電商 ERP、國際物流 TMS、海外倉 WMS 和跨境分銷 M2B 等產品，服務的租戶（即各產品的客戶）有上萬家，是跨境行業第一家上下游全鏈路打通的軟體服務商。

## SaaS的架構模式：天生多租戶

易倉科技是跨境電商 SaaS，說到 SaaS 這個概念，其實就離不開一個很重要的名詞——租戶。**相信跨境行業的同行都會遇到每租戶成本太高的挑戰，傳統架構中，有以下幾種方案來解決多租戶的問題：**

| 序號   | 具體方案                                                     | 優點                                           | 缺點                                 |
| ------ | ------------------------------------------------------------ | ---------------------------------------------- | ------------------------------------ |
| **1 ** | 共享資料庫例項中一個租戶一個schema                           | 一對多的模式，建立租戶快捷方便，對業務透明簡單 | 存在資源爭搶，相互影響               |
| **2 ** | 所有租戶都使用一套庫表，然後透過在所有表中增加一個欄位(tenant_id）來區分不同租戶 | 不需要建立多套庫表                             | 業務架構複雜，存在資源爭搶，相互影響 |
| **3 ** | 每個租戶建立一個單例項                                       | 資源隔離，對業務透明簡單                       | 嚴重存在資源碎片                     |

從以上的解決方案中每個解決方案各有利弊，在目前的大環境下，易倉科技要做的就是在保證給每個租戶提供好的服務的同時，還要儘可能把成本開銷，控制在最低的額度。易倉科技根據不同客戶的業務情況，適時地選擇 1，3 兩種方案。

## 多租戶概念不謀而合

我們可以看到 SaaS 中的租戶其實是與具體的某個客戶業務相關聯的，而這恰恰與 OceanBase 中的租戶概念及其設計理念不謀而合。易倉科技對租戶按規模、費用來劃分，頭部的客戶可能會獨享資源，腰部的客戶可能是混用的，尾部的客戶可能是更大資源的混用，還有一部分免費使用或試用客戶，我們會以更大的叢集資源去混用。

![圖片](https://img.alicdn.com/imgextra/i4/O1CN01nCJtVb1Utr3brCXcp_!!6000000002576-2-tps-958-441.png)

獨享資源是指從 Web 層到應用層到資料庫全部獨享，混用資源可能會分為 Web 層、應用層和資料庫的分開獨享。說到租戶的獨享與共享，在資料庫架構層面是如何實現的呢？我們不可能做成手動的一個個根據租戶去部署，而是根據租戶採購易倉科技的產品，然後整個上下游自動開通服務。例如，一個獨享的客戶，會直接啟動一個獨享的資料庫，如果是一個共享的客戶，會有資料庫池直接繫結新進來的客戶。

易倉科技原來所有的租戶，不管是免費、付費還是小客戶、大客戶，都是採用物理層面的隔離，也就是說資料庫級別的隔離，大的租戶有可能在例項上實行隔離。這樣的話，擁有大量租戶的我們，在面對上千甚至更多的伺服器、上萬甚至更多的資料庫、PB 級的儲存，以及流量洪峰等時，會遇到很多問題。

## 現有資料庫架構的特點

隨著跨境電商行業的整體高速發展，易倉科技的業務增長迅猛，客戶數量多、體量大，整體的資料量在 PB 級。面對如此大體量的資料與客戶，我們應該如何設計資料庫架構？

如下圖所示，易倉科技的資料庫主要使用主從架構，然後透過 ETL 將全鏈路打通，大資料可彙總至離線計算或實時計算供業務使用。因為是跨境業務，所以我們的伺服器在國內外都有部署。

![](https://img.alicdn.com/imgextra/i4/O1CN01Du98ZQ2ACXSmhPPr9_!!6000000008167-2-tps-958-473.png)

### ▋ 痛點一：海量的資料與表，運維效率低下，資料庫效能遇瓶頸

易倉科技已經有近 10 年的歷史，資料庫例項非常多，資料儲存量也非常大。特別地，易倉科技的表非常多，從最早期一個租戶 1000 多張表，到現在一個租戶可能近 3000 張表。

海量的資料與表，運維起來非常困難，我們需要一個資料庫運維平臺去做排程任務分發，所有的例項不僅要做監控、報警，還要做基礎運維，還要做服務自愈。如果是雲資料庫的運維還比較方便，但如果是線下自建的，還在不同美國、俄羅斯、歐洲等不同區域，搭監控做智慧化運維並非易事。

為儘可能利用提高資源使用率，我們會在一個資料庫例項上透過分等級儘量放更多的租戶。比如，腰部客戶可能是 10 個左右租戶放一個例項內，尾部客戶可能是 100 個租戶左右放一個例項內，免費客戶可能是 500 個甚至 1000 個租戶放一個例項內。這樣的話，如果我們把 1000 個客戶放在一個例項內，一個客戶 3000 張表，一個例項需要處理的表就是上百萬，這對任何一個資料庫來說挑戰都非常大。

易倉科技現有資料庫面臨最大的瓶頸就是表數量太多，不管是物理機房還是雲上的所有資源，全部都會被我們打破。因為百萬的表結構，對應的物理檔案可能就是上千個物理檔案，所有的物理機可能都受不了。隨著客戶使用的時間越長，資料庫的效能瓶頸也會越來越顯現。

我們選型了市面上的絕大部分資料庫都很難去實現，哪怕在功能層面實現了，在很多其他層面也無法實現，如備份會直接對作業系統提出挑戰。

### ▋ 痛點二：大資料同步鏈路複雜，無法保障 SLA

易倉科技的資料來源來自海外各平臺上的賣家，從平臺上來的資料會流到國內，而海外買家可能在北美、在歐洲、在東南亞等地，賣家的工廠在國內，發貨的物流可能又分為國內和國外。這就會導致我們的 ETL 鏈路非常多、非常長，其穩定性，可用性，實時性等在運維管理上也變更復雜。

我們要打通各個平臺的資料進行彙總，大資料鏈路同步的例項太多，對於資料庫的時效性要求和穩定性要求都非常高。如果你負責管理過上百臺 RDS 例項或者 MySQL 資料庫，當需要大資料同步時，你需要搭建和維護上百個同步鏈路，保障 SLA 就成了非常大的挑戰。

如果一個月只出現 1 次鏈路不穩定或者資料丟失的問題，我們的整個服務其實都是不穩定的。那麼當我們有上千臺例項，這個問題就更體現在我們面前，如何保證大資料服務是穩定的？如何實時同步資料不丟失？是易倉科技必須要解決的。

### ▋ 痛點三：客戶資料的儲存成本逐年遞增，資源浪費多

易倉科技是替客戶保管資料的，客戶的資料永遠是客戶的資料。隨著客戶使用的時間越來越久，三年、五年，哪怕客戶每年的單量平均在1000萬單，三年就是 3000 萬單的累積，理論上來說儲存是越來越高，對應的收費也要越來越高。但站在客戶的角度，自己每年的單量沒有太大變化，比如一年就是1000萬左右單，儲存為什麼會越來越高？因為我們是 SaaS 模式，按訂閱式的單量來付費，不可能讓客戶去付每年遞增的資料儲存費用。

但其實對易倉科技來說，隨著客戶越來越多，客戶的資料積累也越來越多，我們的儲存成本、伺服器成本是每年都在遞增的。

此外，還有資源浪費的問題。相信大家如果用過 MySQL 或者用過資料庫都知道，特別是雲上的資料庫，有很多資源不管你有沒有使用都已經付費了，也都會存在一定的浪費。例如，購買一個 8C16G 的 1TB 儲存的伺服器資源，可能 CPU 記憶體只用了 70%，儲存只用了 80%，這樣每一臺例項有可能都浪費了 20%-30% 的資源。這些浪費的費用，當你只有 5 臺、 10 臺時可能還不算多，但當你有上千臺時，如果資源浪費嚴重，那損失的費用就會相當明顯。

## 選擇原生分散式資料庫

我們一直在尋求一款可以儘量滿足，可以儘量解決我們這些痛點的資料庫。前期，我們也使用過一段時間 TiDB，也考察過很多雲原生資料庫、分散式資料庫等，最終選擇了 OceanBase 。**因為 OceanBase 對跨境電商 SaaS 中租戶的理解是最佳貼切的。**

跨境行業的小夥伴應該都知道，當促銷活動（國內的雙“11”、雙“12”，國外的聖誕節、黑色星期五）來臨時，可能經常會有一些中小客戶在一兩天內的單量直接拉爆，也就是俗稱的“爆單”。DBA 需要隨時人工準備處理這種特殊情況，保障流量洪峰時客戶依然能穩定執行。

我們需要一款集合資源，可以在租戶上資源隔離、共享例項，且可以彈性伸縮的資料庫。舉個例子，我們有100個租戶，每個租戶的物理資源是可以隨意排程的，正常來講每個租戶都有自己的水位線，當有流量在水位線之上，可以迅速擴充套件，當有流量在水位線之下，也可以迅速縮下來。OceanBase 就提供了這樣的能力。

以前，我們 100 個租戶放在一起可能需要 10-20 臺RDS，但現在只需要一個 OceanBase。這樣的話，以前我們在 10-20 臺 RDS 上浪費的資源，每一臺可能浪費 20%-30% 的資源，在 OceanBase 上只需浪費 1 次，可能還不到 20%。**OceanBase 的大叢集多租戶，不僅大幅提升了資料庫的資源利用率，也顯著提升了我們 DBA 的運維效率。**

**儲存節約**。OceanBase 極高的壓縮比是我們確實實踐過的，例如，易倉科技某資料庫 1.2TB 資料遷移至 OceanBase 僅需 140G，資料壓縮比高達88%，大幅降低我們的資料儲存成本。

![圖片](https://img.alicdn.com/imgextra/i3/O1CN01b4oqwC1qbv646E133_!!6000000005515-2-tps-475-402.png)

**大資料同步。**因為易倉科技在各地都有伺服器，以往，我們有 10-30 個同步任務鏈路，如果中間出現網路異常，需要全部拉回到國內做分析，所以我們對鏈路的要求非常高，對資料的實時性要求也非常高。現在，我們都在一個 OceanBase 大叢集裡面，只需要 1 個同步鏈路，只需要維護好這 1 個同步鏈路，其上所有租戶的同步鏈路都可以保障穩定性。

**HTAP 能力。**資料量大了之後，客戶有可能會跨季度跨年度查詢資料，我們有用一些大資料的方案去解決這一塊的需求，但是對於像這類簡單的、不是特別複雜的報表，我們希望不僅僅靠大資料，也希望用 HTAP 來解決，因為客戶有時候需要實時查詢。

目前來看，OceanBase 在 HTAP 這塊的能力應該算是做得非常好的。不管是 TiDB 還是 PolarDB，或是我們自建的 Click House，目前都需要做額外的資料同步。如果用 Click House，我們需要將資料實時同步到 Click House，如果用 TiDB，也一樣要搭建不一樣的元件，而且它的資料行列儲存在物理層面是分開的。但 OceanBase 不一樣，是行列混存的。**我們一張表建好之後，資料放進去，所有資料的列存混存就分開了，這樣的話我們就不需要做額外的資料處理，這是非常不一樣的全新概念。**

------

#### 架構師後記

**何志勇**
**OceanBase 解決方案架構師**

很榮幸能夠為易倉科技提供技術支援與服務，也正是藉助這個機會了解到跨境 SaaS 的欣欣向榮。而易倉科技就是其中的翹楚，經過多年的深耕，其服務過的客戶不計其數，透過不斷的產品迭代，最終成為國內跨境行業全生態鏈全棧服務提供商。

當下，跨境電商全球化，數字化服務，要求越來越高。為能最大程度幫助客戶最佳化成本，提升應用系統的健壯性、穩定性、高效性、安全性、可靠性，以實現提供持續優質的服務，同時確保在行業內的成本優勢。易倉科技基於當前現狀，不斷探索前沿技術，打破傳統架構壁壘。從今年上半年開始便對 OceanBase 開展一系列測試調研，最後經過全面的、充分的業務適配與驗證後，OceanBase 最終與易倉科技業務系統相融相生。

我相信，在有了 OceanBase 的加入後，易倉科技跨境生態鏈將會更加的完備，未來，定有更多的業務與客戶，和著春風，踩著祥雲，踏歌而來！

易倉科技×OceanBase：打造跨境行業全生態鏈的新零售SaaS

相關文章