作者丨張瓅玶（谷樸）阿里巴巴研究員

阿里巴巴核心系統作為全球最大規模、峰值效能要求最高的電商交易系統，在 2018 年之前只透過混合雲彈性上雲方式，為 雙11 節約大量成本。直到 2019 年，阿里巴巴實現了核心交易系統全面上雲並經歷了 雙11 峰值的考驗。

在今天由極客邦科技舉辦的 ArchSummit 全球架構師峰會 2019 北京站上，阿里巴巴研究員張瓅玶博士作了主題演講《阿里巴巴核心系統上雲：挑戰和架構演進的思考》，以下內容為演講整理。

# 核心系統上雲之路

工程師時常把我們的系統用飛機來做比喻，乘客則是上面承載的業務。雲也是一架這樣的載客飛機，作為基礎平臺承載著千萬家企業的業務。今年阿里巴巴實現了核心系統 100% 上雲，這個過程實際上走了幾年才達到今天的進展，而且這還不是結束，也只是阿里巴巴上雲的一個開始。

阿里巴巴集團自身業務體量巨大，支撐其的網際網路技術體系任務也非常繁重，再加上核心電商業務系統的複雜度，對技術帶來的挑戰可想而知。

用王堅博士的話說，核心系統上雲讓阿里巴巴和客戶真正坐上了同一架飛機。從 in-house 的基礎設施、定製化的平臺能力，到通用的雲平臺，從 cloud hosting 到 cloud native，這個過程面臨著巨大的挑戰，同時也是阿里巴巴自身和阿里雲的架構演進升級的歷程。

![1.png](https://ucc.alicdn.com/pic/developer-ecology/672059d9e1534985bc7ac80e105d243c.png)

阿里巴巴的核心交易系統涉及到包括天貓、淘寶、河馬、菜鳥、聚划算、鹹魚、飛豬等一系列業務，其背後的核心電商系統的架構演進經歷了單機房架構、同城雙機房架構再到目前的中心同城容災，三地多單元多活架構。軟體也分為應用、微服務/中介軟體和資料庫。

阿里巴巴的上雲步驟一共分為三個階段：

- **第一階段：在 2015 年之前未上雲，全部採用內部的基礎設施。**

![2.png](https://ucc.alicdn.com/pic/developer-ecology/42f1cdba17ce4c50ab9b9255450fe82e.png)

- **第二階段：2015 開始，雙11 期間單元化的交易應用開始透過彈性使用雲資源，實現成本節約的目標**（注: 圖中上雲單元規模和實際上雲規模不成比例）。

![3.png](https://ucc.alicdn.com/pic/developer-ecology/099418e3b4f04f69a871a593a4e6d663.png)

- **第三階段：2018 年的 12 月，CTO 行癲決定阿里巴巴啟動全面上雲，隨後組建了以畢玄為上雲總架構師的架構組，確定了上雲的方案和步驟。**

2019 年經過 1 年的努力，終於在 雙11 前實現了核心系統的全面上雲。這一年核心電商的中心和單元業務，包括資料庫、中介軟體等元件，實現了全面上雲和使用雲的服務。透過彈性運化，以及離線上混部（圖中未標識）等能力，使大促成本持續下降，到 2018 年，大促新增成本比前一年下降 17%，比早期方案下降 3/4。

這一年核心電商的中心和單元業務，包括資料庫、中介軟體等元件，實現了全面上雲和使用雲的服務。全面上雲也不只是將機器搬到雲上，更重要的是 replatforming，集團的技術棧和雲產品融合，應用透過神龍伺服器+容器和 K8s 上雲，資料庫接入 PolarDB，中介軟體採用雲中介軟體和訊息產品，負載均衡採用雲 SLB 產品等。

![4.png](https://ucc.alicdn.com/pic/developer-ecology/268200c6bc0b4016acd6ace633165d93.png)

雲已經成為了基礎設施，無論是電商公司還是其他行業，都可以用雲去做更多事情。

# 雲化架構

以全面上雲的 2019 年為例，2019 年 雙11 的實測，叢集的規模超過百萬容器，單容器叢集節點數量過萬，資料庫的峰值超過 54 萬筆每秒，對應 8700 萬查詢每秒，而實時計算每秒峰值處理訊息超過 25 億條，訊息系統 RocketMQ 峰值處理了超過每秒 1.5 億條訊息。

![5.png](https://ucc.alicdn.com/pic/developer-ecology/c82302d7952d4954a7b5b9f9011c4a72.png)

這些資料背後所代表的，就是上雲過程中形成的巨大挑戰。針對這些挑戰，阿里巴巴集團從伺服器、儲存、網路、資料中心等基礎設施方面做了針對性的應對。

## 1. 自研神龍伺服器

核心系統全面上雲決定採用了神龍伺服器。神龍伺服器自研了 HyperVisor 虛擬化卡來替代軟體虛擬化，從而實現無效能損耗的虛擬化架構。其特點在於：

- 高效能：去掉了虛擬化帶來的 8% 的效能損耗；
- 支援二次虛擬化：使多樣虛擬化技術 (Kata, Firecracker 等) 的探索和創新成為可能。

![6.png](https://ucc.alicdn.com/pic/developer-ecology/62b86c821520433a8b29351ec98bf805.png)

在阿里巴巴上雲過程中，雙11 期間壓力測試顯示，高負載壓力下的電商應用，實現 30% 的 QPS 上升，而 rt 也有明顯下降，長尾 rt 下降尤其明顯。同時，雲化的神龍伺服器，促進了運維管理的自動化和線上率水平的提升。阿里巴巴認為，神龍是容器的最佳載體，神龍+服務是無伺服器化基礎設施的最佳載體。

儲存方面，走向了全面雲化儲存，也即全面儲存計算分離。

![7.png](https://ucc.alicdn.com/pic/developer-ecology/0eb0f70909c04047bdc8c5a42ac5d475.png)

上雲也帶來了大規模使用雲端儲存產品：盤古（盤古 2.0），實現了集團業務的更大規模的儲存計算分離。儲存計算分離即業務邏輯執行在計算叢集上面，儲存部署在儲存叢集上面。計算和儲存叢集之間透過高速網路連線。

隨著資料處理對儲存需求和計算需求在規模、速度、容量和成本等維度的不斷變化，計算與儲存分離可以最大限度地解耦並使這兩類不同的關鍵資源相對獨立地擴充套件和演進，獲得更好的彈性、資源效率，同時可以讓應用更容易的獲得分散式儲存的可靠性。

上雲過程中，盤古 2.0 的升級也帶來更好的 io 長尾延遲的穩定性，透過慢盤黑名單、backup read、動態 timeout 等關鍵技術大幅度的改進了長尾延遲。

![8.png](https://ucc.alicdn.com/pic/developer-ecology/44380aee30db46e0a370edc291d3ddc6.png)

## 2. 網路：高速混合雲

原有的集團安全域，由現有的集團自建網路為主體逐漸轉變為以雲上集團的虛擬網路為主體，以 VPC 的方式實現網路隔離混合雲網路：為了實現集團網路與雲上 VPC 內業務單元的互通，採用了雲專線產品方案，組成了混合雲網路。雲專線方案中的虛擬網路閘道器（xGW 叢集），採用硬體化 HGW 叢集。

![9.png](https://ucc.alicdn.com/pic/developer-ecology/31f9e23da7614017b70ea179970f22be.png)

## 3. 資料中心：自建網路遷移上雲

資料中心自建網路遷移到 VPC，在上雲過程中，實現了雲 VPC 最大規模提升 4 倍。安全組效能大幅度最佳化，企業級安全組最大容量提升 25 倍。

在公司內部，各業務自建的網路之間是相互獨立的。隨著全站雲化，網路安全域的形態也隨之發生變化，TB 級別的雲上雲下網路流量對穿，從軟體實現的 XGW 升級到軟硬結合的 HGW，單節點效能提升 20 倍。

![10.png](https://ucc.alicdn.com/pic/developer-ecology/99c82b46d38e40d0bdd1910de227e339.png)

另外，值得指出的是，資源、賬號和許可權體系對接互通是上雲的重要環節。

# 上雲架構未來演進：雲原生

**上雲已成為趨勢，但是核心系統上雲只是下一個開始。**

企業上雲今天已經成為廣泛接受的必然趨勢，Rightscale state of the cloud report 2019 顯示，94% 企業已經在使用雲，其中公有云 91%，on prem 70%。

企業的數字化轉型的過程中，利用雲的能力的過程也分為不同的階段，一般來說也會是走過和阿里上雲類似的過程：首先是彈性使用雲的資源，實現部分業務上雲，Cloud-hosting。在此過程中，一般是非核心繫統使用雲資源。然後涉及到核心系統的雲化，這裡發生的變化不僅僅是上雲的應用的數量，更是底層基礎設施整體使用雲平臺的能力的過程。

在阿里巴巴看來，未來是雲原生化的。

![11.png](https://ucc.alicdn.com/pic/developer-ecology/7946b80d51864c11abf1af013f33dbfd.png)

什麼是雲原生？從技術角度講，雲原生技術是一系列的應用構建和運維最佳實踐的集合。雲原生技術的生命力在於它聚焦於給使用者帶來價值，這些價值分為幾個方面：

- 容器和資源的編排，如 K8s、Container，帶來的運維效率提升，和資源利用率的提升。中心化的編排可以很好的充分編排資源降低企業成本；

- 分散式系統的可以彈性擴充套件的能力 Scalability 以及可靠性。儘管網際網路技術發展了幾十年，到今天，分散式、可擴充套件、可靠的系統，仍然是很難構建的。也得益於雲原生領域開放技術和雲的快速發展，一切正在變得越來越容易；

- 開放治理和開放的技術，改變了雲廠商和使用者之間的信賴關係，越來越多的企業信賴開放標準的雲服務。同時雲原生也降低了遷雲的成本；

- 雲原生技術所倡導的持續交付，聚焦於企業真正關注的價值，即迭代創新的速度，time to market。

![12.png](https://ucc.alicdn.com/pic/developer-ecology/c8c3ee2d556c4b4aafcf395b420de408.png)

**從上雲視角看，雲原生（Cloud native）化是最大化使用雲的能力，使企業聚焦於業務的實踐。**

為什麼這麼說？我們以阿里核心系統演進為例說明雲原生化和使用雲的能力的關係。

阿里巴巴的應用上雲前仍然存在應用和基礎設施耦合問題，由於採用自建軟體基礎設施，配置管理、釋出升級、監控觀測、流量治理等與業務應用耦合在一起，對於運維效率、研發演進效率和穩定性都帶來了挑戰。

我們在上雲過程中看到，實現標準的雲基礎設施和業務應用的全面解耦，將會帶來全面的研發運維效率提升。

![13.png](https://ucc.alicdn.com/pic/developer-ecology/917144d84a084bb98a97d13dc445b1e7.png)

**那麼，****使用 in-house 自建基礎設施就一定不行嗎？**

阿里巴巴集團的基礎設施也是由專門的團隊維護的，也在一定意義上實現了基礎設施和應用的解耦。不是所有的 in-house 的基礎設施就不雲原生。事實上，雲原生技術的很多發源地，比如 Google 內部的基礎設施很好地實現了和應用的解耦並帶來了業界領先的研發運維效率。

但是一般來說，由於內部開發容易忽視基礎設施和應用的邊界而實現了過多的非標功能或者傾向於採用更快速落地的方案，這些容易帶來基礎設施和應用的更多耦合，不利於長期的演進和效率。

例如阿里的容器化雖然帶來了應用釋出的標準化的優勢，但是在容器化過程中我們採用了富容器方案加快容器化程式，使容器支援了很多虛擬機器使用模式（啟停、原地更新等），帶來了容器的可遷移性比較差，容器執行生命週期可變帶來運維成本等。因此運維效率、穩定性和業務的演進效率，在這種耦合中，都受到了不同程度損失。

**所以雲原生化的關鍵路徑，是實現應用和基礎設施的解耦，並且透過採用標準化的雲產品方式來支援。**

那麼基礎設施和業務的邊界應該在哪裡？

阿里巴巴認為邊界是在不斷的變化過程中，真正的判斷標準是業務關注的邊界而非架構邊界，基礎設施應無須業務持續關注和維護。例如，使用了容器服務，是否能讓業務無須關注底層資源？也未必，取決於資源的彈效能力是否有充分的支援（否則業務仍需時刻關注流量和資源壓力），也取決於可觀測性（否則問題的排查仍需關注底層環境）的能力。因此，能夠讓業務無須持續關注的基礎設施本身是一次重要技術演進。

無伺服器化的基礎設施，具有以下三個特點：

![14.png](https://ucc.alicdn.com/pic/developer-ecology/92d0aef401424d6a8443bf68a44c6249.png)

# 阿里核心系統的雲原生化演進

阿里巴巴集團的核心繫統的雲原生架構演進，將繼續朝著基礎設施解耦，業務研發運維效率提升，成本下降的整體目標推進。具體來說，圍繞幾個重點的方向工作正在展開：

## 1. 節點託管的 K8s 服務

實現節點執行環境全託管的標準 K8s 基礎設施，實現資源和節點執行環境解耦：透過全託管的節點計算資源，業務無須管理伺服器降低運維成本。今年 雙11 集團實現了上海單元的 ASI 升級，帶來發布擴容效率提升、執行時更穩定容器自愈率提升的效果。未來一年將實現核心系統整體 ASI 化。

![15.png](https://ucc.alicdn.com/pic/developer-ecology/30ba943e410a479585ff1f7221c2b5e6.png)

## 2. Service Mesh 化

實現網路、流量管理配置下沉基礎設施，與應用充分解耦。Mesh 化帶來的價值：

- 軟體基礎設施和業務解耦，各自獨立演進；
- 全鏈路精準流量控制和資源動態隔離；
- 提供對應用透明的雲安全特性（安全特性解耦）。

![16.png](https://ucc.alicdn.com/pic/developer-ecology/b694e4a0c0cd491596fd64795667856a.png)

## 3. 應用和基礎設施全面解耦

阿里巴巴集團核心系統透過雲原生化，實現應用基礎設施全面解耦，將有效解決此前存在的運維、研發效率及可遷移性、穩定性風險，這也是雲原生帶來的技術賦能。像下圖所表示的，應用的關注物件，從繁雜的基礎設施耦合元件，到只需要關於業務邏輯本身。

![17.png](https://ucc.alicdn.com/pic/developer-ecology/176256a17cf1427eb8af7d7eb35cd946.png)

## 4. 應用交付的標準化：OAM

今天應用的交付仍然面臨挑戰：目前雲上進行應用管理，需要面對的是差異性的雲基礎設施能力和多樣化的執行環境, 需要分別對接和管理，如 SLB、日誌、網路環境、後端依賴等。

今年，阿里雲和微軟雲 Azure 聯合釋出了一個全新的專案，叫做 Open Application Model OAM：開放應用模型。是業界第一個雲原生應用標準定義與架構模型。在這個模型下，應用的開發人員、運維人員和支援 OAM 模型的平臺層，就可以透過一個標準的 OAM 應用描述來進行協作。

![18.png](https://ucc.alicdn.com/pic/developer-ecology/e55aea21353140edab8b3b975847e0c9.png)

透過上雲，最大化的使阿里巴巴的業務使用雲的技術，透過技術架構的演進使業務更好的聚焦於自身的發展而無須關於通用底層技術，使業務研發效率提升，迭代速度更快是技術人的真正目標。正如阿里巴巴集團上雲專案的代號所說的，“雲創未來”，透過技術創造新的價值和機會，透過技術創新帶來更好的未來。

> “[阿里巴巴雲原生微信公眾號（ID：Alicloudnative）](https://mp.weixin.qq.com/s/Y2NnoSO0v0zcFnONeosdrA)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的技術公眾號。”

把阿里巴巴的核心繫統搬到雲上，架構上的挑戰與演進是什麼？

相關文章