![頭圖.png](https://ucc.alicdn.com/pic/developer-ecology/64c4107fce614ee39923bfa171d0b892.png)

作者 | 匡大虎
來源 | [阿里巴巴雲原生公眾號](https://mp.weixin.qq.com/s/AA62sJRQlky3QQRzXveDTg)

# 雲原生程式中的容器安全挑戰

雲原生的火熱帶來了企業基礎設施和應用架構等技術層面的革新，在雲原生的大勢所趨下，越來越多的企業選擇擁抱雲原生，在 CNCF 2020 年度的調研報告中，已經有83% 的組織在生產環境中選擇 Kubernetes，容器已經成為應用交付的標準，也是雲原生時代計算資源和配套設施的交付單元。顯然，容器已經成為應用交付的標準，也是雲原生時代計算資源和配套設施的交付單元。

然而，由於在隔離和安全性方面存在的天然缺陷，安全一直是企業進行容器改造化程式中關注的核心問題之一。來到雲原生時代，企業又將面臨哪些容器安全新挑戰？

- 缺少體系化的容器安全能力建設：傳統的企業應用安全模型通常基於內部架構不同的信任域來劃分對應的安全邊界，在信任域內的東西向服務互動被認為是安全的。而上雲後企業應用需要在 IDC 和雲上部署和互動，在物理安全邊界消失後，如何在零信任的網路安全模型下構建企業級容器安全體系是雲服務商需要解決的重要問題。

- 更多的攻擊面：基於容器技術的應用部署依賴 Linux 核心 namespaces 和 cgroups 等特性，從攻擊者的角度出發，可以利用核心系統漏洞，容器執行時元件和容器應用部署配置等多個維度發起針對性的逃逸和越權攻擊。K8s、Docker、Istio 等開源社群近年來也相繼爆出不少的高危漏洞，這都給攻擊者提供了可乘之機。

- 缺少應用側全生命週期的安全防護手段：容器技術在為企業應用架構提供了彈性、敏捷和動態可擴充套件等特性的同時，也改變了應用的部署模式。首先應用自身的生命週期被大幅縮短，一個容器應用的生命週期通常是分鐘級；與此同時，隨著儲存網路和異構資源利用率等基礎設施能力上的提升，容器應用的部署密度也越來越高，傳統的面向虛機維度的安全防護策略和監控告警手段已經無法適應容器技術的需求。

- 缺少對雲上安全責任共擔模型的理解：企業應用上雲後的安全需要遵循責任共擔模型，在企業應用架構雲原生話的轉型過程中，需要企業應用管理者和安全運維人員理解企業自身和雲服務商之前的責任邊界。這個過程中也需要雲服務商面向企業應用側輸出更全面的容器安全最佳實踐並提升安全能力的易用性，降低使用門檻。

# 構建容器安全體系的基本原則

為了應對上述企業應用在容器化程式中的安全挑戰，雲服務商和企業應用安全管理運維人員需要攜手共建容器應用安全體系：

![1.jpg](https://ucc.alicdn.com/pic/developer-ecology/042c109f02b949098df60332524b7d58.jpg)

圖 1 - ACK 容器服務安全責任共擔模型

## 1. 雲服務供給側

對於**雲服務商**，首先需要依託於雲平臺自身的安全能力，構建安全穩定的容器基礎設施平臺，並且面向容器應用從構建，部署到執行時刻的全生命週期構建對應的安全防護手段。整個安全體系的構建需要遵循如下基本原則：

### 1）保證容器管控平臺基礎設施層的預設安全

容器平臺基礎設施層承載了企業應用的管控服務，是保障業務應用正常執行的關鍵，容器平臺的安全性是雲服務商應該格外關注的。

- 完備的平臺安全能力：首先雲服務商自身基礎設施的安全性是容器平臺是否安全的基礎，比如 VPC 的安全配置能力，SLB 的訪問控制，DDoS 能力和賬號系統對雲資源的訪問控制能力等都是平臺側面向企業應用需要提供的基礎安全能力。

- 版本更新和漏洞應急響應機制：虛機 OS 的版本更新和漏洞補丁的安裝能力也是保證基礎設施安全的基本防護措施，除此之外如 K8s 等容器相關開源社群的風險漏洞，都可能成為惡意攻擊者首選的攻擊路徑，需要廠商提供漏洞的分級響應機制並提供必要的版本升級能力。

- 平臺的安全合規性：這也是很多金融企業和政府部門應用上雲的硬性前提條件。雲服務商需要基於業界通用的安全合規標準，保證服務元件配置的預設安全性，同時面向平臺使用者和安全審計人員，提供完備的審計機制。

### 2）面向容器應用側提供縱深防禦能力

雲服務商不僅要在自身管控側建立完善的安全武裝，同時也需要面向業務應用負載，提供適合雲原生場景下容器應用的安全防護手段，幫助終端使用者在應用生命週期各階段都能有對應的安全治理方案。由於雲原生具有動態彈性的基礎設施，分散式的應用架構和創新的應用交付運維方式等特點，這就要求雲服務商能夠結合自身平臺的基礎安全能力，將雲原生能力特性賦能於傳統的安全模型中，構建面向雲原生的新安全體系架構。

## 2. 企業安全側

對於企業的安全管理和運維人員來說，首先需要理解雲上安全的責任共擔模型邊界，究竟企業自身需要承擔起哪些安全責任。雲原生微服務架構下企業應用在 IDC 和雲上進行部署和互動，傳統的網路安全邊界已經不復存在，企業應用側的網路安全架構需要遵循零信任安全模型，基於認證和授權重構訪問控制的信任基礎。對於企業安全管理人員來說可以參考關注如下方向加固企業應用生命週期中的生產安全：

- 保證應用製品的供應鏈安全

雲原生的發展使得越來越多的大規模容器應用開始在企業生產環境上部署，也大大豐富了雲原生應用製品的多樣性，像容器映象和 helm charts 都是常見的製品格式。對於企業來說製品供應鏈環節的安全性是企業應用生產安全的源頭，一方面需要在應用構建階段保證製品的安全性；另一方面需要在製品入庫，分發和部署時刻建立對應的訪問控制，安全掃描、審計和准入校驗機制，保證製品源頭的安全性。

- 許可權配置和憑證下發遵循許可權最小化原則

基於統一的身份標識體系進行認證授權是在零信任安全模型下構建訪問控制能力的基礎。對於企業安全管理人員來說，需要利用雲服務商提供的訪問控制能力，結合企業內部的許可權賬號體系，嚴格遵循許可權最小化原則配置對雲上資源和容器側應用資源的訪問控制策略；另外嚴格控制資源訪問憑證的下發，對於可能造成越權攻擊行為的已下發憑證要及時吊銷。另外要避免容器應用模板配置如特權容器這樣的過大許可權，確保最小化攻擊面。

- 關注應用資料和應用執行時刻安全

應用的成功部署上線並不意味著安全工作的結束。除了配置完備的資源請求審計外，安全管理運維人員還需要利用廠商提供的執行時刻監控告警和事件通知等機制，保持對容器應用執行時安全的關注，及時發現安全攻擊事件和可能的安全隱患。對於企業應用自身依賴的敏感資料（比如資料庫密碼，應用證書私鑰等）需要根據應用資料的安防等級採用對應的金鑰加密機制，利用雲上的金鑰管理方案和落盤加密，機密計算等能力，保證資料在傳輸和落盤鏈路上的資料安全性。

- 及時修復安全漏洞和進行版本更新

無論是虛機系統，容器映象或是容器平臺自身的安全漏洞，都有可能被惡意攻擊者利用成為入侵應用內部的跳板，企業安全管理運維人員需要根據雲服務商推薦的指導方案進行安全漏洞的修復和版本更新（比如 K8s 叢集版本，應用映象版本等）。此外企業要負責內部員工的安全培訓工作，居安思危，提升安全防護意識也是企業安全生產的基礎要務。

# 端到端的雲原生容器安全架構

阿里雲 ACK 容器服務面向廣大的企業級客戶，構建了完整的容器安全體系，提供了端到端的應用安全能力。**在今年 Forrester IaaS 安全評測中，阿里雲容器安全能力與谷歌並列滿分，領先其他廠商**。下圖為阿里雲容器服務的安全體系架構圖：

![2.jpg](https://ucc.alicdn.com/pic/developer-ecology/6a68f24990c14b8e94215ec0654377a2.jpg)
圖 2 - ACK 容器服務安全體系架構圖

首先整個容器安全體系依託於阿里雲強大的平臺安全能力，包括物理/硬體/虛擬化以及雲產品安全能力，構建了夯實的平臺安全底座。

在雲平臺安全層之上是容器基礎設施安全層，容器基礎設施承載了企業容器應用的管控能力，其預設安全性是應用能夠穩定執行的重要基礎。首先面向叢集 host 節點 OS 映象本身阿里雲作業系統團隊做了很多安全加固相關工作，[Alibaba Cloud Linux 2 (原 Aliyun Linux 2)](https://help.aliyun.com/document_detail/111881.html) 不僅是阿里雲官方作業系統映象，也是 ACK 的首選預設系統映象。Alibaba Cloud Linux 2 在 2019 年 8 月 16 日正式透過了 CIS 組織的全部認證流程併發布對應的 [CIS Aliyun Linux 2 Benchmark version 1.0.0](https://www.cisecurity.org/benchmark/Aliyun_Linux/)。ACK 正在支援對基於 Alibaba Cloud Linux 作業系統的叢集進行 CIS 安全加固來滿足簡單、快捷、穩定、安全的使用需求。除 CIS 合規外，2021 年 1 月，ACK 已經正式支援對基於 Alibaba Cloud Linux 作業系統的叢集進行[等保加固](https://developer.aliyun.com/article/782314)。

在容器管控側，阿里雲容器服務基於 CIS Kubernetes 等業界安全標準基線對容器管控面元件配置進行預設的安全加固，同時遵循許可權最小化原則收斂管控面系統元件和叢集節點的預設許可權，最小化攻擊面。**三月，阿里雲容器服務提交的 CIS Kubernetes benchmark for ACK 正式透過 CIS 社群組織的認證稽核，成為國內首家釋出 CIS Kubernetes 國際**[**安全標準基線**](https://www.cisecurity.org/cis-benchmarks/)**的雲服務商**。

統一的身份標識體系和訪問控制策略模型是在零信任安全模型下構建安全架構的核心，ACK 管控側和阿里雲 RAM 賬號系統打通，提供了基於統一身份模型和叢集證書訪問憑證的自動化運維體系，同時面對使用者憑證洩露的風險，創新的提出了使用者憑證吊銷的方案，幫助企業安全管理人員及時吊銷可能洩露的叢集訪問憑證，避免越權訪問攻擊事件。

針對金鑰管理、訪問控制、日誌審計這些企業應用互動訪問鏈路上關鍵的安全要素，ACK 容器服務也提供了對應的平臺側安全能力：

- 訪問控制：ACK 基於 K8s RBAC 策略模型提供叢集內應用資源的[訪問控制能力](https://help.aliyun.com/document_detail/87656.html)，在保證非主賬號或叢集建立者預設無許可權的安全前提下，叢集管理員可以透過控制檯或 OpenAPI 的方式對指定的子賬號或 RAM 角色進行叢集和賬號維度的批次 RBAC 授權，ACK 面向企業常見授權場景，提供了四種預置的許可權模板，進一步降低了使用者對 RBAC 及 K8s 資源模型的學習成本。對於應用容器中通常依賴的叢集訪問憑證 serviceaccount，ACK 叢集支援開啟針對 serviceaccount 的[令牌卷投影特性](https://help.aliyun.com/document_detail/160384.html)，支援對 sa token 配置繫結 audience 身份，並且支援過期時間的設定，進一步提升了應用對管控面 apiserver 的訪問控制能力。

- 金鑰管理：針對企業客戶對資料安全自主性和合規性的要求，ACK Pro 叢集支援對 K8s Secret 的[落盤加密能力](https://help.aliyun.com/document_detail/177372.html)，同時支援使用 BYOK 的[雲盤加密能力](https://developer.aliyun.com/article/717399)，保證企業核心資料安心上雲；同時 ACK 叢集支援將使用者託管在阿里雲 KMS 憑據管家中的敏感資訊[實時同步](https://github.com/AliyunContainerService/ack-secret-manager)到應用叢集中，使用者在 K8s 應用中直接掛載憑據同步的指定 secret 例項即可，進一步避免了對應用敏感資訊的硬編碼問題。

- 日誌審計：ACK 除了支援 K8s 叢集 [audit 審計](https://help.aliyun.com/document_detail/91406.html)，controlplane [管控面元件日誌](https://help.aliyun.com/document_detail/198268.html)等基本的管控面日誌採集外，還支援對 [Ingress 流量](https://help.aliyun.com/document_detail/195702.html)的日誌審計和基於 NPD 外掛的[異常事件告警](https://help.aliyun.com/document_detail/125679.html)。以上日誌審計能力均對接了阿里雲 SLS 日誌服務，透過 SLS 服務提供的快速檢索、日誌分析和豐富的 dashboard 展示能力，大大降低了對容器應用開發運維和安全審計的難度。

面向容器應用層在供應鏈和執行時刻的安全挑戰，阿里雲從容器應用的構建、部署到執行全生命週期，提供全方位覆蓋的安全能力：

![3.jpg](https://ucc.alicdn.com/pic/developer-ecology/646f4c5fa09944d18c72c670163507fa.jpg)
圖 3 - ACK 容器服務應用全生命週期安全能力

- **應用構建階段**

據 Prevasio 對於託管在 Docker Hub 上 400 萬個容器映象的[調查統計](https://prevasio.com/static/web/viewer.html?file=/static/Red_Kangaroo.pdf?ref=thechiefio)，有 51% 的映象存在高危漏洞；另外有 6432 個映象被檢測出包含惡意木馬或挖礦程式，而光這 6432 個惡意映象就已經被累計下載了 3 億次。

如何應對這些潛伏於映象製品中的安全挑戰，一方面要求企業應用開發者在構建應用映象時使用可信的基礎映象，規範化映象構建流程, 保證映象最小化；另一方面阿里雲 ACR 容器映象服務針對映象構建流程中的安全風險，提供了倉庫許可權的訪問控制，操作審計和映象安全掃描等基礎能力。其中映象安全掃描是使用者能夠主動發現安全漏洞的基礎手段，[ACR 容器映象服務](https://help.aliyun.com/document_detail/160146.html)和[阿里云云安全中心](https://help.aliyun.com/document_detail/174046.html)提供了不同版本的映象漏洞庫，在支援映象深度掃描的同時具備漏洞庫的實時更新能力，滿足企業安全合規需求。在阿里雲容器映象服務企業版中還可以透過[建立和管理交付鏈](https://help.aliyun.com/document_detail/155853.html)例項，將安全掃描和分發流程自由組合並內建到自動化任務中並且自動攔截包含漏洞的映象，確保分發到倉庫中映象的安全性。

在映象構建環節，除了及時發現映象漏洞，如何在保證映象在分發和部署時刻不被惡意篡改也是重要的安全防護手段，這就需要映象的完整性校驗。在阿里雲容器服務企業版例項中，企業安全管理人員可以[配置加簽規則](https://help.aliyun.com/document_detail/159642.html)用指定的 KMS 金鑰自動加簽推送到倉庫中的映象。

- **應用部署時刻**

K8s 原生的 admission 准入機制為應用部署時刻提供了天然的校驗機制。

濫用特權容器，敏感目錄掛載，以 root 使用者啟動容器，這些常見的應用模板配置都很可能成為容器逃逸攻擊的跳板。K8s 原生的 PSP 模型透過策略定義的方式約束應用容器執行時刻的安全行為。ACK 容器服務提供面向叢集的[策略管理](https://help.aliyun.com/document_detail/173620.html)功能，幫助企業安全運維人員根據不同的安全需求定製化 PSP 策略例項，同時繫結到指定的 ServiceAccount 上，對 PSP 特性的一鍵式開關也面向使用者遮蔽了其複雜的配置門檻。此外，ACK 容器服務還支援 gatekeeper 元件的安裝管理，使用者可以基於 OPA 策略引擎更為豐富的場景下定製安全策略。

針對應用映象在部署時刻的安全校驗需求，谷歌在 18 年率先提出了 [Binary Authorization](https://cloud.google.com/binary-authorization) 的產品化解決方案。ACK 容器服務也在去年初正式落地了應用部署時刻的映象簽名和驗籤能力。透過安裝定製化的 kritis 元件，企業安全運維人員可以透過定製化的驗籤策略保證應用部署映象的安全性，防止被篡改的惡意映象部署到企業生產環境中。

![4.jpg](https://ucc.alicdn.com/pic/developer-ecology/7644444e2e7d4906954cd741e9986dd3.jpg)
圖 4 -  一致性安全策略管理

- **應用執行時刻**

企業應用的穩定執行離不開執行時刻的安全防護手段。ACK 容器服務和雲安全中心團隊合作，面向容器內部入侵，容器逃逸，病毒和惡意程式，異常網路連線等常見的執行時刻攻擊行為進行[實時監控和告警](https://help.aliyun.com/document_detail/182305.html)，同時雲安全中心還提供了針對告警事件的溯源和攻擊分析能力。與此同時，ACK 容器服務基於業界安全基線和最佳實踐，面向叢集內執行應用提供了一鍵化的免費[安全巡檢](https://help.aliyun.com/document_detail/173303.html)能力，透過巡檢任務及時暴露執行中容器應用在健康檢查/資源限制/網路安全引數/安全引數等配置上不符合基線要求的危險配置，並提示使用者修復建議，避免可能發生的攻擊。

對於安全隔離程度要求較高的企業客戶可以選擇使用[安全沙箱容器叢集](https://help.aliyun.com/document_detail/142151.html)，安全沙箱容器基於輕量虛擬化技術實現，應用執行在獨立的核心中，具備更好的安全隔離能力，適用於不可信應用隔離、故障隔離、效能隔離、多使用者間負載隔離等多種場景。

對於金融支付，區塊鏈等對資料計算過程中的完全性，完整性和機密性有強安全訴求的場景，可以選擇部署使用 [ACK-TEE 機密計算託管叢集](https://help.aliyun.com/document_detail/164536.html)，其中機密計算基於 Intel SGX 技術，支援將重要的資料和程式碼防止在一個特殊的可信執行加密環境（Trusted Execution Environment，TEE）中，而不會暴露給系統其他部分。其他應用、BIOS、OS、Kernel、管理員、運維人員、雲服務商、甚至除了 CPU 以外的其他硬體均無法訪問機密計算平臺資料，極大減少敏感資料的洩露風險。

![5.jpg](https://ucc.alicdn.com/pic/developer-ecology/b49f04c16f3d4672af22d1788e60f4b7.jpg)
圖 5 - 容器應用安全配置巡檢

![6.jpg](https://ucc.alicdn.com/pic/developer-ecology/3f07a042a5eb4ac8be396b6772aaeb2f.jpg)
圖 6 - 容器應用執行時刻安全監控

# 安全是企業上雲的首要關切

安全是企業上雲的首要關切。隨著雲原生對計算基礎設施和企業應用架構的重定義，容器作為雲的新介面，也將緊跟雲原生的發展大潮，向更加安全、可信的方向發展。未來，阿里雲容器服務將始終以“讓企業放心上雲，安心用雲”為目標，在容器安全領域保持世界級的競爭力，在不斷夯實自身基礎設施安全的基礎上，為客戶的應用安全保駕護航。

## 參考資料

- [《RED KANGAROO》](https://prevasio.com/static/web/viewer.html?file=/static/Red_Kangaroo.pdf?ref=thechiefio)

- [《Binary Authorization》](https://cloud.google.com/binary-authorization?hl=zh-cn1)

雲原生時代下，容器安全的“四個挑戰”和“兩個關鍵”

相關文章