作者 | 湯志敏、謝瑤瑤

會議完整影片回顧：[https://www.bilibili.com/video/av88668762](https://www.bilibili.com/video/av88668762)

2 月 12 日，阿里雲和 CNCF 聯合舉辦了線上研討會，首次完整介紹了阿里雲對 Kubernetes 社群的佈局，包括了 10 個類別，20 多個開源專案，提供了完整的 Kubernetes 生命週期管理。本文彙集了此次會議完整影片回顧及資料下載，並整理了會議上未能及時回答的問題，希望能夠對大家有所幫助~

**關注“阿里巴巴雲原生”公眾號，後臺回覆 “會議” 即可下載 PPT。**

![講師.jpg](https://ucc.alicdn.com/pic/developer-ecology/ec009635592b4ee38953e18c6c56966b.jpg)

# 什麼是 SIG Cloud Provider
隨著時間的發展，越來越多的企業在生產環境使用 Kubernetes。Kubernetes 被廣為接受，離不開其良好的設計和繁榮的社群。目前圍繞著 Kubernetes 已經有 20 個左右的興趣小組（SIG），SIG Cloud Provider 則是 Kubernetes 的重要興趣小組之一，致力於推動所有云廠商以標準的能力提供 Kubernetes 服務。

**SIG-Cloud-Provider-Alibaba 是 SIG Cloud Provider 在國內唯一的子專案。**

Cloud Provider SIG 是 Kubernetes 的雲廠商興趣小組，致力於讓 Kubernetes 的生態系統往廠商中立的方向演進，他會負責協調不同廠商儘可能以統一的標準來滿足開發者的需求。目前加入 Cloud Provider SIG 包括了 7 家雲廠商，包括 AWS、GCP、阿里雲、IBMCloud 等。

# 為什麼阿里雲要加入 SIG Cloud Provider

## 1.和全球雲廠商共同推動多雲的標準，將阿里雲的優秀實踐反哺社群
在全面上雲的時代，雲已經重塑了企業IT架構。雲原生計算就是一組最佳實踐和方法論，如何在公共雲、專有云、多雲環境中，構建可伸縮、健壯、松耦合的應用，可以更快速的創新和低成本的試錯。

阿里雲作為國際有影響力的雲廠商，也希望能夠推動Kubernetes的進一步標準化，並進一步和橫向雲廠商如AWS、Google、Azure進行技術協同，最佳化雲和Kubernetes連線，並統一不同元件的模組化和標準化協議。

## 2.對阿里雲的 Kubernetes 開發者帶來透明可控、共建協同、平滑演進的能力
對於 Kubernetes 的開發者和使用者，我們希望基於阿里雲打造 Kubernetes 的最佳執行環境，並將圍繞在 Kubernetes 的阿里雲外掛開源出來。而阿里雲容器服務 ACK 也會盡量複用這些元件。

![1.png](https://ucc.alicdn.com/pic/developer-ecology/00095727bf7b427b803822b463c1f2b8.png)

- 透明可控：對於研究性質的開發者，可以基於這些外掛自行搭建 Kubernetes 叢集；對於容器服務 ACK 的使用者，也可以更加透明的瞭解相關實現；
- 共建協同：如果對阿里雲上使用 Kubernetes 的計算、網路、儲存等領域有需求的開發者，可以提 Issue 或參與到開源元件開發中一起貢獻，並參與 RoadMap 的制定；
- 平滑演進：阿里雲 Kubernetes 開源外掛提供了 Day 1 的部署能力，但是對企業的運維、升級、穩定性掌控等提出了更高的要求。如果需要 Day 2 的持續升級、高可用保障、糾錯推薦等專家服務，可以平滑演進到容器服務 ACK。

# SIG Cloud Provider Alibaba的運作機制

- [Slack](https://app.slack.com/client/T09NY5SBT/CRX9UN2DN/)
- 雙月度會議
- 會議內容紀要：
Google Docs、
YouTube
- 會議語言：中文、英文

# 阿里雲 Kubernetes 產品家族簡介

![2.png](https://ucc.alicdn.com/pic/developer-ecology/627ccc9636d741d1b7e484497b0ca273.png)

# 阿里雲 Kubernetes 開源套件 全家福

![3.png](https://ucc.alicdn.com/pic/developer-ecology/d3a83c9683094d6cab1936449cfccc72.png)

Kubernetes 作為雲原生時代的應用作業系統，已經成為事實上的標準。阿里雲在 Kubernetes 實踐的過程中開源了眾多的專案，如位於底層的計算、儲存、網路、安全等相關的 5 個大的類別和上層領域相關的 AI、應用管理、遷移、Serveless 等 5 個大的類別，為使用者應用提供全棧式生命週期管理。

SIG-Cloud-Provider-Alibaba 為 K8s 在阿里雲上的雲原生最佳實踐提供一個溝通的橋樑，透過興趣小組的方式讓所有參與的個人、組織理解 CloudProvider 的原理並運用到生產實踐中，實現其業務價值。

詳見下文。

## CloudController

- [Cloud-provider](https://github.com/kubernetes/cloud-provider-alibaba-cloud)
- [Cluster-api](https://github.com/AliyunContainerService/cluster-api-provider-alibabacloud)

## 網路

- [Terway（CNI）](https://github.com/AliyunContainerService/terway)
- [Flannel（CNI）](https://github.com/coreos/flannel/tree/master/backend/alivpc)
- [ingress](https://github.com/AliyunContainerService/ingress-nginx/tree/ack?spm=ata.13261165.0.0.4d804113B6am6H)
- [External-dns](https://github.com/kubernetes-sigs/external-dns/blob/master/provider/alibaba_cloud.go)

## 儲存

- [CSI](https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver)
- [FlexVolume](https://github.com/AliyunContainerService/flexvolume)
- [auto-provision](https://github.com/AliyunContainerService/alicloud-storage-provisioner)

## 彈性

- [Cron HPA](https://github.com/AliyunContainerService/kubernetes-cronhpa-controller/)
- [cluster-autoscaler](https://github.com/kubernetes/autoscaler/tree/master/cluster-autoscaler/cloudprovider/alicloud)

## 安全

- [KMS provider](https://github.com/AliyunContainerService/ack-kms-plugin)
- [Kube2ram](https://github.com/AliyunContainerService/kube2ram)
- [RAM Authenticator](https://github.com/AliyunContainerService/ack-ram-authenticator)
- [SGX device plugin](https://github.com/AliyunContainerService/sgx-device-plugin)

## 遷移

- [Derrick](https://github.com/alibaba/derrick)
- [Velero](https://github.com/AliyunContainerService/velero-plugin)
- [Image Builer](https://github.com/AliyunContainerService/ack-image-builder)

## AI

- [Arena](https://github.com/kubeflow/arena)
- [GPU share](https://github.com/AliyunContainerService/gpushare-device-plugin)

## ServiceBroker

- [ServiceBroker](https://github.com/AliyunContainerService/open-service-broker-alibabacloud)

## Serverless

- [Virtual-kubelet](https://github.com/virtual-kubelet/virtual-kubelet/tree/master/providers/alicloud)

## 應用管理

- [Kube-eventer](https://github.com/AliyunContainerService/kube-eventer)
- [metrics-adapter](https://github.com/AliyunContainerService/alibaba-cloud-metrics-adapter)
- [log-pilot](https://github.com/AliyunContainerService/log-pilot)
- [openKruise](https://github.com/openkruise/kruise)
- [OAM](https://github.com/oam-dev/spec)

# 部分開源元件簡介

## [CloudController](https://github.com/kubernetes/cloud-provider-alibaba-cloud)
CloudController 指 K8s 的 cloud-controller-manager 元件(簡稱 CCM)， 提供 Kubernetes 與各個雲廠商基礎服務的對接能力（包含網路負載均衡，VPC 路由，ECS，DNS 等)。主要由 NodeController、ServiceController、RouteController、PVLController 四大控制器實現。

**NodeController **實現了計算節點的管理，例如 ECS 節點生命週期管理，給節點打上可用區、Region、hostname 等標識，為編排系統在計算池上排程工作負載提供全方位的資訊。同時定期輪詢 ECS 的 IP 地址及檢測 ECS 資源狀態（是否被釋放）等，動態更新節點資訊，確保編排系統及時響應計算節點事件。

**ServiceController **實現了應用負載均衡管理，透過監視 Kubernetes Service 物件的變化，自動的為應用配置並管理雲上負載均衡服務（SLB 配置，監聽配置，虛擬伺服器組配置），根據應用副本變化動態的調整負載均衡的後端伺服器組，無需人工干預。在此基礎上，我們定義了一組豐富的 Annotation，用以自定義應用負載均衡的配置，同時我們同社群積極合作，共同推進配置的標準化，同時在 K8s 原因的服務發現模型上擴充套件了彈性網路卡直通模式，減少了服務發現的網路層級，整體提升了 10% 的應用網路效能。

![4.png](https://ucc.alicdn.com/pic/developer-ecology/b5c16c057c094efb867a3247162faf0c.png)

## [高效能網路元件 Terway](https://github.com/AliyunContainerService/terway)
Terway 實現了 Kubernetes CNI 規範，專為阿里雲環境最佳化，並支援豐富的企業特性，支援 VPC 路由模式，ENI 模式、ENI 多 IP 等多種模式等，效能優秀，ENI 模式相比原生 VPC 提升 10% 左右。

Terway 和阿里雲底層 IAAS 網路深度整合，讓 Pod 作為雲網路一等公民無縫使用 CEN、SLB 等網路產品，使用彈性網路卡讓網路效能 0 損失，使容器化的過程沒有體驗和效能的降級。同時支援 Kubernetes 網路策略，Qos 流控等高階功能。

![5.png](https://ucc.alicdn.com/pic/developer-ecology/50f6411cf4114d4b9c6e98b7212c8e59.png)

## [高效能容器儲存 CSI](https://github.com/kubernetes-sigs/alibaba-cloud-csi-driver)
阿里雲 CSI 外掛實現了在 Kubernetes 中對容器儲存卷的生命週期管理，支援動態建立、掛載、使用雲資料卷。 當前的 CSI 實現基於 K8S 1.14 以上的版本；支援的阿里雲端儲存：雲盤、NAS、CPFS、OSS、LVM 等。

![6.png](https://ucc.alicdn.com/pic/developer-ecology/b59ba41ae605444b9dbd025c6f96368f.png)

## [高效能日誌採集 LogPilot](https://github.com/AliyunContainerService/log-pilot)
Log-Pilot 是一個高效的智慧容器日誌採集工具，其不僅能夠便捷地採集容器的標準輸出日誌，同時還能夠動態地發現採集容器內部的日誌檔案；其完全採用宣告式的配置方式，能夠自動地感知叢集中容器的狀態來動態地配置容器日誌採集，同時其還具備很多高階特性，諸如日誌的自動 CheckPoint 及控制程式碼保持機制、支援自動日誌資料打標以及自定義 Tag 等機制，可靈活地將日誌資料採集到多種不同的日誌儲存後端，比如 ElasticSearch、Kafka、Logstash、Redis，Graylog 等。

![7.png](https://ucc.alicdn.com/pic/developer-ecology/cfb8d0397a7c4551a3c057971fc092f8.png)

## [機器學習輕量級解決方案 Arena](https://github.com/kubeflow/arena)
Arena 是基於 Kubernetes 的機器學習輕量級解決方案，支援資料準備，模型開發，模型訓練，模型預測的完整生命週期，提升資料科學家工作效率。方便資料科學家和演算法工程師快速開始利用阿里雲的資源（包括 ECS 雲伺服器、GPU 雲伺服器、分散式儲存 NAS、CPFS、 物件儲存 OSS、Elastic MapReduce、負載均衡等服務）執行資料準備、模型開發、模型訓練、評估和預測等任務。並能夠方便地將深度學習能力轉化為服務 API，加速與業務應用的整合。在提升資料科學家效率的同時，透過 GPU 資源的視覺化管理和裝置的共享排程提升叢集 GPU 資源的利用率。

![8.png](https://ucc.alicdn.com/pic/developer-ecology/d8ea5208b7ba46b6906ec753794c7b82.png)

## 歡迎大家參加 SIG Cloud Provider
本次線上研討會首次介紹了阿里雲在 Kubernetes 的社群佈局。受限於時間和篇幅，並不能介紹完所有開源元件的詳細資訊，而希望可以授之以漁，讓對 Kubernetes 感興趣的開發者找到對應的開源專案。我們歡迎更多的開發者一起來參與共建，無論是提 PR 或 Issue，還是對 Roadmap 提出建議。後續，SIG Cloug Provider Alibaba 也會針對具體的元件分享原理、最佳實踐。

# Q & A

Q1：阿里雲 K8s 的 Cloud Provider 能否針對每個功能點新增引數來開關嗎？

A1：可以透過配置annotation實現具體功能點，具體可以[參考文件](https://help.aliyun.com/document_detail/86531.html)。

Q2：如果我們要在阿里 CCM上的基礎上修改的話，是不是有 K8s 的版本問題，因為我們想用自己的 Kubernetes 特定版本。

A2：可以，CCM 不依賴於 K8s 版本。

Q3：阿里雲各個基於 Kubernetes 的容器服務是否直接使用的開源 CCM？ 如果是，內部在上線前做了哪些調整？另外，provider_id 格式具體是什麼？

A3：是的，完全基於開源版本的 CCM。provider_id 格式為 ${regionid}.${nodeid}。

Q4：CCM 必須要 K8s 的 nodename 和阿里雲的例項 id 一樣嗎？之前運維說必須一樣，但這樣沒有意義的 nodename 用起來很噁心。<br>A4：不需要。目前只需要配置 providerid 引數即可。

Q5：terway 底層如何加速？kernel level 還是 dpdk？

A5：terway 分為不同的網路模式，不同模式的網路配置不通。

- 獨佔 ENI 的模式直接使用 IAAS 層的網路卡作為 Pod 的網路卡，host 上不涉及虛擬化，使用者 Pod 中可以使用 DPDK來加速應用網路。節點外依賴於阿里雲自研的高效能 IAAS 網路；
- 共享 ENI 模式中使用 Ipvlan 的輕量級虛擬化方案作為節點內虛擬化的手段，效能相對 Host 網路效能損失極低。

Q6：POD 底層的核心引數允許 namespace 化麼？

A6：POD 底層的核心引數是否允許 namespace 化依賴於核心的支援情況，一般在較新的核心上比如 Aliyun Linux2 中的 4.19 的核心，大部分核心引數都允許在 Pod 上指定和修改的。

Q7：在安全容器方面，阿里現在有什麼產品？

A7：目前阿里雲的容器服務已經提供了安全沙箱作為使用者的可選容器引擎，並且部分阿里雲 Serverless 形態的產品如 SAE、ECI 也是構建在安全容器之上。

Q8：Arena 支援多租戶和虛擬 GPU 嗎？

A8：Arena 重用 Kubernetes 的現有使用者授權和多租戶工作機制，不同使用者可以分配不同的 kubeconfig，並利用其進行認證，同時透過 namespace 進行資源隔離和共享。而站在 Arena 的角度，使用者只能看到本 namespace 的訓練和推理任務，其他 namespace 下的任務並不可見。

這裡的虛擬 GPU，指的是英偉達的虛擬 GPU 技術，目前針對於阿里雲上已經支援 P4 的虛擬 GPU，並且已經和阿里雲容器服務 Kubernetes 完成了整合，在阿里雲的容器服務上就能體驗。而在 Arena 的角度來說虛擬 GPU 並不是特殊的 GPU 資源，是可以實現對於該資源的排程和編排的。

Q9：多容器共享 GPU 方案支援資源隔離嗎？能限制住視訊記憶體嗎？

A9：首先感謝您關注我們的 GPU 共享方案，阿里雲容器服務貢獻了業界目前唯一的開源 GPU 共享方案。目前我們的方案還是在排程層面實現多容器的 GPU 共享，並且可以和 TensorFlow 等框架相結合實現應用層面的 GPU 資源限制。可以透過我們的[文件](https://github.com/AliyunContainerService/gpushare-scheduler-extender/blob/master/docs/userguide.md)瞭解目前的使用方式。

但是我們也在和阿里雲的底層團隊研發安全和高效能的 GPU 隔離方案，相信在不久的未來，大家能夠體驗到從 GPU 共享排程到隔離的完整方案。

Q10：ExternalDNS 目前支援 alicloud 的 DNS 服務嗎，支援程度如何？

A10：目前是支援 alicloud 的 DNS 服務 privatezone 的，支援同步 K8s 叢集的服務 / Pod 等解析到 DNS 服務中，降低叢集內部署的 coredns 造成的損耗。

Q11：阿里版本的 nginx ingress 與社群官方版的主要區別是什麼呢？

A11：阿里雲在社群的基礎上實現了更加高階的功能，諸如 NGINX Server 配置的動態更新，支援基於 Header、Cookie 和請求引數以及權重的混合灰度釋出策略等。

Q12：阿里雲 Kubernetes 以及這些開發的套件的釋出週期是什麼樣的?

A12：對於 K8s 大版本的支援力度是半年更新一個穩定版本。同時會不定期做 Bugfix 和安全修復。

Q13：問問邊緣版 ACK@Edge 商用穩定版本已經發布了麼，有相關使用者在用麼

A13：ACK@Edge 已經可以用於生產環境，目前已經有線上教育、影片、IoT、CDN 等領域和行業的使用者在使用，商業版預計 2020.6 月前推出。

Q14：宿主 WORKER 節點是否遇到過 cGroup 記憶體洩漏， 導致 POD cannot allocatie memory 的問題？ 如果有如何解決的？

A15：容器服務採用的 cgroup driver 是 systemd cgroup driver，目前沒有遇到這個問題。

Q15：POD 的CPU 記憶體資源是否和宿主是隔離的？如何隔離的？

A15：可以透過 kubelet 為宿主機預留資源的方式，這樣 Pod 的資源就會被限制在剩餘的資源空間內來實現隔離。

Q16：aws 有 eckctl，aliyun 有對應的工具嗎？叫 ackctl ?

A16：可以參見[文件](https://github.com/aliyun/aliyun-cli)。

Q17：請問阿里雲對 Windows 容器的支援程度如何？

A17：目前支援 Window 1809，即將支援 1903。並支援 Linux 叢集新增 Windows 節點。

Q18：可以單獨使用某一個開放元件整合到現有的 K8s 叢集嗎？

A18： 可以。現有的 K8s 叢集完全是滿足 K8s Conformance 測試的。

![直播海報.png](https://ucc.alicdn.com/pic/developer-ecology/527b4b4418b5491e9bcd8879109f28d3.png)

> “[阿里巴巴雲原生](https://developer.aliyun.com/group/alisoftwaretech/)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的技術圈。”

回顧 | Kubernetes SIG-Cloud-Provider-Alibaba 首次網研會（含 PPT 下載）

相關文章