*作者｜劉東陽、吳梓洋*

2018 年底，vivo AI 研究院為了解決統一高效能訓練環境、大規模分散式訓練、計算資源的高效利用排程等痛點，著手建設 AI 計算平臺。經過兩年多的持續迭代，平臺建設和落地取得了很大進展，成為 vivo AI 領域的核心基礎平臺。平臺從當初服務深度學習訓練為主，到現在演進成包含 VTraining、VServing、VContainer 三大模組，對外提供模型訓練、模型推理和容器化能力。平臺的容器叢集有數千個節點，擁有超過數百 PFLOPS 的 GPU 算力。叢集裡同時執行著數千個訓練任務和數百個線上服務。本文是vivo AI 計算平臺實戰系列文章之一，主要分享了平臺在混合雲建設方面的實踐。

# 背景

混合雲是近年來雲原生領域關注的新方向之一，它是指將私有云和公有云服務結合起來使用的解決方案。目前幾大公有云廠商都提供了各自的混合雲方案，如 AWS 的AWS Outpost、谷歌的 GEC Anthos 和阿里的 ACK 混合雲。大部分廠商都是透過使用 Kubernetes 和容器來遮蔽底層基礎設施的差異，對上提供統一的服務。AI 計算平臺選擇建設混合雲，主要是基於以下兩點原因。

### 公有云的彈性資源

平臺的叢集使用公司自建機房內的裸金屬伺服器，新增資源的採購流程複雜、週期長，無法及時響應業務臨時的大量的算力需求，如大規模引數模型的訓練和線上服務的節假日活動擴容。同時由於今年伺服器供應鏈形勢嚴峻，網路卡、硬碟、GPU 卡等硬體裝置都缺貨，伺服器採購交付存在較大風險。公有云的資源可以按需申請和釋放，透過混合雲使用公有云資源，能夠滿足業務的臨時算力需求，又能有效降低成本。

### 公有云的高階特性

公有云有一些高階的特性，比如 AI 高效能儲存 CPFS、高效能網路 RDMA、深度學習加速引擎 AIACC，這些方案或特性目前公司私有云尚不具備，而私有化落地的時間和金錢成本都很高，透過混合雲可以快速和低成本的使用這些特性。

# 方案

### 方案選型

透過前期調研，以下三種方案可以實現混合雲的需求：

![1.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5b37a50fce2a4789881fb904131169b7~tplv-k3u1fbpfcp-zoom-1.image)

方案一的實現成本低、不改變當前資源申請流程，可快速落地。業務可以接受小時級的擴容。因此我們選擇了方案一。

### 整體架構

混合雲的整體架構如下圖所示。K8s 叢集的管理平面部署在公司自建機房，工作平面包含了機房的物理機和阿里雲的雲主機。機房和阿里雲間透過專線打通了網路，物理機和雲主機可以相互訪問。方案對上層平臺透明，比如 VTraining 訓練平臺不需要改動即可使用雲主機的算力。

![2.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9b706a0ddc52415aac6c5cebac3413eb~tplv-k3u1fbpfcp-zoom-1.image)

# 落地實踐

### 註冊叢集

首先需要將自建的叢集註冊到阿里雲。注意使用的 VPC 的網段不能和叢集的 Service CIDR 衝突，否則無法註冊。VPC 的虛擬交換機和 Pod 虛擬交換機的 CIDR 也不能和機房內使用的網段重合，否則會有路由衝突。註冊成功後，需要部署 ACK Agent。它的作用是主動建立從機房到阿里雲的長連結，接收控制檯的請求並轉發給 apiserver。對於沒有專線的環境，此機制可以避免將 apiserver 暴露在公網。控制檯到 apiserver 的鏈路如下：

阿里雲 ACK 控制檯 <> ACK Stub（部署在阿里雲） <> ACK Agent（部署在 K8s） <> K8s apiserver

控制檯到叢集的請求是安全可控的。Agent 連線 Stub 時，會帶上配置的 token 和證書；連結採用了 TLS 1.2 協議，保證資料加密；可以透過 ClusterRole 來配置控制檯對 K8s 的訪問許可權。

### 容器網路配置

K8s 的容器網路要求 Pod 和 Pod、Pod 和宿主機之間通訊正常，平臺採用了 Calico + Terway 的網路方案。機房內的工作節點採用 Calico BGP，Route Reflector 會將 Pod 的路由資訊同步給交換機，物理機和雲主機都能正常訪問 Pod IP。阿里雲上的工作節點會採用 Terway 共享網路卡模式，Pod 會從 Pod 虛擬交換機配置的網段中分配到 IP，該 IP 在機房內可以訪問。平臺給雲主機打上標籤，配置 calico-node 元件的 nodeAffinity，不排程到雲主機上；同時配置 Terway 元件的 nodeAffinity，讓其只執行在雲主機上。這樣實現了物理機和雲主機使用不同的網路元件。在部署和使用 Terway 中，我們遇到並解決了以下三個問題：

1、terway 容器建立失敗，報/opt/cni/bin 目錄不存在。

透過修改 terway daemonset 中該路徑的 hostPath 的 type，從 Directory 改為 DirectoryOrCreate 可以解決上述問題。

2、業務容器建立失敗，報找不到 loopback 外掛。

terway 沒有像 calico-node 一樣在/opt/cni/bin/目錄下部署 loopback 外掛(建立迴環網路介面)。我們給 terway daemonset 新增了 InitContainer 來部署 loopback 外掛，解決了問題。

3、業務容器分配的 IP 是屬於主機交換機網段。

這是因為在使用中，我們新增了一個可用區，但是沒有把可用區的 Pod 虛擬互動機的資訊配置給 terway。透過在 terway 配置的 vswitches 欄位新增可用區的 Pod 虛擬交換機資訊，可以解決問題。

### 雲主機加入叢集

將雲主機加入叢集的流程和物理機基本一致。首先透過公司雲平臺申請雲主機，然後透過 VContainer 的自動化平臺將雲主機初始化並加到叢集中。最後給雲主機打上雲主機專有的標籤。關於自動化平臺的介紹，可以參見vivo AI 計算平臺雲原生自動化實踐。

### 降低專線壓力

機房到阿里雲的專線是公司所有業務共用的，如果平臺佔用過多專線頻寬，會影響到其他業務的穩定性。在落地時我們發現深度學習訓練任務從機房的儲存叢集拉取資料，確實對專線造成壓力，為此平臺採取了以下措施：

1、監控雲主機的網路使用情況，由網路組協助監控對專線的影響。
2、使用 tc 工具對雲主機 eth0 網路卡的下行頻寬進行限流。
3、支援業務使用雲主機的資料盤，將訓練資料進行預載入，避免反覆從機房拉取資料。

# 落地效果

數個業務方臨時需要大量的算力用於深度學習模型的訓練。透過混合雲的能力，平臺將數十臺 GPU 雲主機加入到叢集，提供給使用者在 VTraining 訓練平臺上使用，及時滿足了業務的算力需求。使用者的使用體驗和之前完全一致。這批資源根據不同業務的情況，使用週期在一個月到數個月。經過估算，使用費用大大低於自行採購物理機的費用，有效降低了成本。

# 未來展望

混合雲的建設和落地取得了階段性的成果，在未來我們會持續完善功能機制和探索新特性：

支援 AI 線上服務透過混合雲能力部署到雲主機，滿足線上業務臨時算力需求。
建立一套簡單有效的資源申請、釋放、續期的流程機制，提升跨團隊的溝通協作效率。
針對雲主機的成本、利用率進行度量和考核，促使業務方使用好資源。
將雲主機申請、加入叢集整個流程自動化，減少人工操作，提高效率。
探索雲上的高階特性，提升大規模分散式訓練的效能。

# 致謝

感謝阿里雲容器團隊的華相、建明、流生等和公司基礎平臺一部的楊鑫、黃海廷、王偉等對混合雲方案的設計和落地過程中提供的大力支援。

*作者介紹:*

*劉東陽，vivo AI 研究院計算平臺組的資深工程師，曾就職於金蝶、螞蟻金服等公司；關注 k8s、容器等雲原生技術。*

*吳梓洋，vivo AI 研究院計算平臺組的資深工程師，曾就職於 Oracle、Rancher 等公司；kube-batch, tf-operator 等專案的 contributor；關注雲原生、機器學習系統等領域。*

文內相關連結：

1）vivo AI 計算平臺實戰：
https://www.infoq.cn/theme/93

2）AWS Outpost：
https://aws.amazon.com/cn/outposts/

3）GEC Anthos：
https://cloud.google.com/anthos

4）ACK 混合雲：
https://help.aliyun.com/document_detail/121609.html?spm=a2c4g.11186623.6.1038.6bfe3fd39IEFEt

5）AI 高效能儲存CPFS：
https://www.alibabacloud.com/help/zh/doc-detail/111755.htm

6）深度學習加速引擎AIACC：
https://market.aliyun.com/products/57742013/cmjj032323.html

7）vivo AI 計算平臺雲原生自動化實踐：
https://www.infoq.cn/article/9vB93vFIa9qHVMYOj6lD

點選下方，深入瞭解阿里 ACK 混合雲！
https://help.aliyun.com/document_detail/121609.html?spm=a2c4g.11186623.6.1038.6bfe3fd39IEFEt

vivo AI 計算平臺的 ACK 混合雲實踐

相關文章