![頭圖.jpeg](https://ucc.alicdn.com/pic/developer-ecology/d7c0f624d2d64dfabdc374b889efeb2f.jpeg)

作者 | 賈之光（甲卓）  阿里巴巴高階開發工程師，專注於 Kubernetes 安全沙箱和機密計算領域，主要參與 Incalvare Containers 社群開發。

8 月 26 日，我們發起了第 6 期 SIG Cloud-Provider-Alibaba 網研會直播。本次直播主要介紹了機密計算的概況， InclavareContainers 開源專案架構、已支援的功能和迭代計劃，以及阿里雲 ACK-TEE 的發展現狀和規劃。

本文彙集了此次直播完整影片回顧及資料下載，並整理了直播過程中收集的問題和解答，希望能夠對大家有所幫助~阿里巴巴雲原生公眾號後臺回覆“826”即可下載相關 PPT。

直播影片回顧連結：[https://v.qq.com/x/page/z3143a6agsg.html](https://v.qq.com/x/page/z3143a6agsg.html)

# 機密計算簡介

## 1. 應用容器安全現狀

![1.png](https://ucc.alicdn.com/pic/developer-ecology/71d56834a3b44a7ca699bc685f30b476.png)

Portworx and Aqua Security 釋出的《2019 容器接受度調研》報告顯示，**安全性**成為了使用者使用容器技術和業務上雲面臨的最大挑戰，其中**資料安全**問題最為突出；根據 Risk Based Security 釋出的資料洩露報告顯示，2019 年資料洩露事件發生的數量和洩露的資料量與 2018 年相比均增加了 50%+。

## 2. 機密計算時代到來

![2.png](https://ucc.alicdn.com/pic/developer-ecology/c17dff0fd45f4fb09d2ebdb8248b0581.png)

資料在整個生命週期有三種狀態：At-Rest（靜態）、In-Transit（傳輸中）和 In-Use（使用中）。

- At-Rest 狀態下，一般會把資料存放在硬碟、快閃記憶體或其他的儲存裝置中。保護 At-Rest 狀態的資料有很多方法，比如對檔案加密後再存放或者對儲存裝置加密；

- In-Transit 是指透過公網或私網把資料從一個地方傳輸到其他地方，使用者可以在傳輸之前對檔案加密或者採用安全的傳輸協議保證資料在傳輸中的安全，比如 HTTPS, SSL, TLS, FTPS 等；

- 然而 In-Use 狀態的資料很長時間內都沒有很好的保護的方法，直到機密計算的出現。

機密計算聯盟給機密計算的定義是：機密計算是在一個基於硬體的**可信執行環境（TEE）**中保護資料執行計算。

機密計算的核心功能有：

- 保護 In-Use 資料的機密性：記憶體中的資料是被加密的，即便被攻擊者竊取到記憶體資料也不會洩露資料；
- 保護 In-Use 資料的完整性：度量值保證了資料和程式碼的完整性，使用中有任何資料或程式碼的改動都會引起度量值的變化；
- 保護 In-Use 資料的安全性：相比普通應用，機密計算應用有更小的 TCB（Trusted Compute Base），意味著更小的攻擊面，也意味著更安全。，以 Intel SGX 為例，除了 CPU 和可信應用自身以外，其他軟硬體的訪問都是被拒絕的，包括作業系統、Hypervisor 等。

在 2019 年 Gartner 的《計算基礎設施成熟度曲線》中把機密計算也列入其中，雖然還處在早起階段，這也說明機密計算開始逐步進入大家的視野並得到重視。

在 2020 年 Gartner的《雲廠商本地安全解決方案比較》中，阿里雲在 Trusted execution enviorments 中拿到一個 H，是因為 2020 年年初阿里雲容器服務釋出了機密計算產品 ACK-TEE，更多參考[連結](https://help.aliyun.com/document_detail/164536.html)。

## 3. 機密計算業務場景

![3.png](https://ucc.alicdn.com/pic/developer-ecology/84e6c1c26e3b4b1baa7844368c6aadf5.png)

機密計算旨在保護敏感的程式碼和資料。業務場景有：區塊鏈、秘鑰管理、金融、AI、多方計算、資料租賃、邊緣計算等。

以多方計算為例，不同使用者或廠商之間相互共享資料以便計算挖掘出更大的資料經濟價值，但不想把自己的資料洩露給對方。機密計算可以保護共享資料執行在受硬體保護的可信執行環境中，資料在記憶體中是加密的，從而保證資料不會被洩露。

## 4. 安全容器與機密計算的區別

![4.png](https://ucc.alicdn.com/pic/developer-ecology/2c048049ea7b44c584b7fc6c28ca4733.png)

除了機密計算外，還有一個與安全相關的概念-安全容器。阿里雲在安全容器和機密計算領域都有佈局，雖然二者都與安全相關，但它們的定位和應用場景是不同的。

安全容器的定位是隔離，把惡意應用隔離起來，防止它出去對其他應用搞破壞。主要的應用場景有三類：

- 不可信負載隔離
- 多租戶應用隔離
- 效能和故障隔離

機密計算的定位是保護，保護應用不會被其他惡意應用進來竊取資料和搞破壞。應用場景是保護敏感程式碼和資料。

## 5. TEE 硬體平臺

![5.png](https://ucc.alicdn.com/pic/developer-ecology/2b95b25a66654e348bfdfe176dce98d4.png)

支援 TEE 的硬體平臺主要有 3 個：Intel SGX、ARM TrustZone 和 AMD SEV，它們有不同的應用場景和實現方式：

- ARM TrustZone 把硬體資源分為安全世界和非安全世界兩部分，所有需要保密的操作在安全世界執行，其餘操作在非安全世界執行，安全世界和非安全世界透過一個名為 Monitor Mode 的模式進行轉換。典型的應用場景有移動支付、數字錢包等；
- AMD 利用 SEV（AMD Secure Encrypted Virtualizationn），SME（AMD Secure Memory Encryption）和SEV-ES（Secure Encrypted Virtualization-Encrypted State）等技術實現虛擬機器的 Guest 記憶體加密和安全隔離；
- Intel SGX 是 Intel 提供的一組指令，用於提高應用的程式碼和資料的安全性，使用者可以把敏感資料放入到 Encalve 中，Enclave 是一種受保護的可信執行環境。

阿里雲 ACK-TEE 和開源專案 Inclavare Containers 都是基於 Intel SGX 實現的機密計算。

## 6. Intel SGX 有更小的 TCB(Trusted Computing Base)

![6.png](https://ucc.alicdn.com/pic/developer-ecology/0a077fa3478640ba8eda2f363de72776.png)

按照普通方式部署敏感應用，應用會依賴作業系統、VMM、硬體甚至是雲廠商，TCB 非常大，面臨的攻擊面也非常大。只要 TCB 中只要有一處遭到攻擊，應用都有資料洩露和破壞的風險。

而把敏感應用部署在 Intel SGX 的 TEE 中，TCB 只有 CPU 和 TEE 本身。一方面攻擊面變得很小，另一方面 TEE 的安全機制也會使應用更安全。

## 7. 基於 Intel SGX 的可信應用開發和使用流程

![7.png](https://ucc.alicdn.com/pic/developer-ecology/23440ee6617f4dbbab6bc5dd36a5631e.png)

Intel SGX 把應用分成了可信區和不可信區。使用者可透過在 EDL（Enclave Definition Language）中定義可信區和不可信區以及用到的函式。這些函式使用者可信區和不可信區之間的通訊，分為 ECALL 和 OCALL。ECALL 用於不可信區訪問可信區的資料，OCALL 用於可信區訪問不可信區的資料。

基於 Intel SGX 的可信應用開發和使用流程如下：

- 申請秘鑰：向 Intel 申請 SGX 相關的商業簽名加密金鑰；
- 安裝環境：
   - 安裝 Intel SGX 驅動
   - 安裝 SGX SDK 和 PSW
   - 安裝 AESM 服務
- 開發應用：
   - 明確應用可信區中須保護的程式碼和資料； 
   - 編寫 EDL 檔案，明確 ECALL 和 OCALL 函式；
   - 編寫可信區程式碼和非可信區程式碼；
- 編譯構建
   - 使用 sgx_edger8r 基於 edl 檔案生產用於 ECALL 的不可信區的代理函式和用於 OCALL 的可信代理函式；
   - 編譯 Enclave動態連結庫檔案；
   - 簽名上一步驟的 Enclave 動態連結庫檔案；
   - 編譯應用，打包映象。
- 用 Docker 執行容器

# Inclavare Containers 保護敏感應用和資料

## 1. Inclavare Containers 的目標和價值

![8.png](https://ucc.alicdn.com/pic/developer-ecology/88e86ceafe094c51a253cabf786a05a7.png)

Inclavare，是 Enclave 一詞的拉丁語詞源，讀音是 [ˈinklɑveə]。Enclave 指的是一種受保護的執行環境，能為其中的敏感和機密資料提供基於金鑰學演算法的強安全隔離，阻止不可信的實體訪問使用者的數字資產。

Inclavare Containers 是由阿里雲作業系統安全團隊和阿里云云原生容器服務團隊主導，並聯合了阿里經濟體內多個研發團隊（螞蟻安全計算團隊、雲安全團隊、語言 runtime 團隊等）共同研發的面向機密計算場景的開源容器執行時技術棧。

當前機密計算在雲原生場景中提供的技術，有很多缺陷和不足：

- 使用和開發成本都比較高；
- 容器化和對接 Kubernetes 的成本和複雜度高;
- 服務提供商提供的技術解決方案也相對單一

由於以上原因，非常不利用機密計算技術的普及和應用。而 Inclavare Containers 目的就是為業界提供一款面向機密計算領域的開源容器執行時引擎和安全架構，其價值在於：

- 抹平機密計算的高使用門檻，為使用者提供與普通容器一致的使用體感；
- 基於處理器提供的多種硬體安全技術，為使用者的工作負載提供多種不同的 Enclave 形態，在安全和成本之間提供更多的選擇和靈活性。

## 2. Inclavare Containers 架構

![9.png](https://ucc.alicdn.com/pic/developer-ecology/ac117f35ec3b4a2891372348aca3e0c3.png)

在介紹 Inclavare Containers 架構之前，先介紹一下架構中各個元件的作用：

- kubelet：Kubernetes 叢集中每個 Node 節點上執行的主要“節點代理”，負責與 Apiserver 的通訊和管理節點上 Pod；
- Containerd：一個工業級標準的容器執行時，它強調簡單性、健壯性和可移植性，Containerd 可以在宿主機中管理完整的容器生命週期：容器映象的傳輸和儲存、容器的執行和管理、儲存和網路等；
- shim-rune：為容器執行時 rune 提供的 shim，主要負責管理容器的生命週期、把普通映象轉換成 TEE 映象；
- rune：rune 是一個命令列工具，用於根據 OCI 規範在容器中生成和執行 Enclave。 rune 是在 runc 程式碼基礎上開發的，既可以執行普通 runc 容器也可以執行 Enclave 容器；
- SGX LibOS：SGX LibOS 是為了讓普通應用在不做或做很少更改的情況下，就能夠在 Intel SGX 上執行起來。目前 Inclavare Containers 支援的 LibOS 有 Occlum，Graphene-SGX 正在對接中；
- 語言 Runtime：LibOS 對多語言的支援，比如 Occlum 中提供了 Golang 和 JDK 語言執行時；
- PAL-API：rune 和 LibOS 之間通訊的介面。比如 pal_init 用於初始化 Enclave，pal_create_process 用於建立 Encalve。
- liberpal.so：是實現了 PAL-API 的 Linux 動態庫，主要負責 rune 和 LibOS 的通訊。

Inclavare Containers 的工作流程如下：

1. kubelet 向 Containerd 發起 CRI（Container Runtime Interface） 請求，比如請求建立一個 Pod
2. Containerd 中有一個 cri-containerd 的外掛實現了 CRI 介面，Containerd 接收到請求後，把請求轉給 shim-rune
3. shim-rune 既可以建立 runc 容器也可以建立 rune 容器。在建立 runc 和 rune 容器的處理流程也有差異：
   1. 建立 runc 容器：與建立普通 runc 容器過程完全一樣，比如 Pod 的 pause 容器就是 runc 容器。
   2. 建立 rune 容器：利用 LibOS 把普通映象轉換成 TEE 映象，rune 會在容器內建立 Enclave 並把應用執行在 Enclave 中。
4. rune 載入 liberpal.so，用於 rune 與 LibOS 的通訊。
5. rune 把 Intel SGX 驅動載入容器內，並在容器內建立 1 號程式 init-runelet，再由 init-runelet 建立 Encalve。Enclave 是一個受 Intel SGX 保護的可信執行環境，Enclave 內包含：LibOS、語言 Runtime 和 應用本身。至此一個可信應用就執行起來了。

總結下來，Inclavare Containers 的特點有：

- 將 IntelSGX 與容器生態結合，相容 OCIRuntime 和 OCI 映象標準，實現 Enclave 容器形態；
- 與 Kubernetes 生態無縫整合；
- 基於 LibraryOS 技術，改善 IntelSGX 引入的約束條件所帶來的相容性問題；
- 提供對高階語言 Runtime 的支援，進一步提升相容性；
- 定義通用的 EnclaveRuntimePALAPI 規範，構建 EnclaveRuntime 生態。

## 3. shim-rune 工作流程

![10.png](https://ucc.alicdn.com/pic/developer-ecology/6dd47c263cec45d69589e3f31f0ddbb5.png)

shim-rune 包含兩部分 Core 和 Carrier，它們的作用分別是：

- 管理容器生命週期
- 利用 LibOS 把普通容器轉換為 TEE 映象

shim-rune 的工作流程為：

1. 以容器映象為輸入，利用 LibOS 生成未簽名的 Enclave 動態庫；
2. 從 Enclave 動態庫中匯出簽名材料；
3. 以簽名材料為輸入，請求籤名服務進行簽名，返回的內容有摘要檔案和公鑰；
4. 生成簽名的動態庫；
5. rune 載入簽名的動態庫，建立並啟動 Enclave。

## 4. 客戶端簽名與服務端簽名

![11.png](https://ucc.alicdn.com/pic/developer-ecology/b581a9980d864a4b88a845429b74723c.png)

Inclavare Containers 支援客戶端簽名和服務端簽名兩種工作方式，兩種工作方式的差異如下：

![11-12.jpg](https://ucc.alicdn.com/pic/developer-ecology/7659a976399e4907a4f8f8c653f51d6c.jpg)

相比客戶端簽名，服務端簽名優點如下：

- 降低了開發者使用門檻，開發者不需要掌握 Intel SGX 的技術，按照 LibOS 要求構建出普通映象即可；

> 注意：每種 LibOS 對普通映象也有一定要求，比如 Occlum 只支援 musl libc 而不支援 glibc，所以 glibc 應用需要改造為 musl libc 應用之後才能在 Inclavare Containers 中執行起來。

- 使用者不需要自己向 Intel 申請商業證照；
- 可執行在 Kubernetes 叢集中。

## 5. 多團隊共建合作

![12.png](https://ucc.alicdn.com/pic/developer-ecology/5743f3d1b4b948f09996eae1bc38ba15.png)

Inclavare Containers 專案是由多個團隊共建合作而成的，各元件作用和團隊分工如下：

- Occlum：由螞蟻安全計算團隊自研的基於 Intel SGX 技術並實現了記憶體安全的多程式 Library OS
- Graphene-SGX：基於 IntelSGX 技術並可以執行未經修改程式的開源 library OS
- Dragonwell：由阿里編譯器團隊定製的 LTS OpenJDK 發行版本
- sgx-device-plugin：由阿里雲容器服務團隊和螞蟻安全計算團隊針對 IntelSGX 聯合開發的 Kubernetes Device Plugin
- AliyunLinux：由阿里 BaseOS 團隊對 Inclavare Containers 提供全棧適配 aliyun linux 的支援

## 6. Inclavare Containers 開源專案

![13.png](https://ucc.alicdn.com/pic/developer-ecology/cc09ef9d1040468c9798c824946a15b6.png)

Inclavare Containers 是業界首個面向雲原生的機密計算場景下的開源容器執行時技術棧，被阿里巴巴開源委員會評為重點開源專案。並且已經加入到官方機密計算 OCIRuntime 參考實現列表。

目前支援的功能有：

- 支援透過 K8s 和 Docker 啟動 Enclave 容器
- 支援 Occlum 和 Graphene 兩個主流 LibOS
- 支援 Java 和 Golang 語言 Runtime

該專案每個月月底進行一次釋出，面向社群提供 CentOS 和 Ubuntu 的 binary release，並對內提供 AliyunLinux 發行版本。

## 7. Inclavare Containers 里程碑

![14.png](https://ucc.alicdn.com/pic/developer-ecology/0551b8c7e3414110bd19d60af96ab1fa.png)

![14-15.jpg](https://ucc.alicdn.com/pic/developer-ecology/75a5f39e10e2445f96548e557b6d3a2e.jpg)

## 8. 2020 年機密計算技術業產業

![15.png](https://ucc.alicdn.com/pic/developer-ecology/817620ba71e14b7dae92fc12997251b2.png)

# ACK-TEE

## 1. 簡介

![16.png](https://ucc.alicdn.com/pic/developer-ecology/73c34ffb09fe4baea688d78ac964db50.png)

ACK-TEE 於 2019 年 9 月立項

功能：

- 對數字資產（演算法、資料、程式碼）有強安全訴求的雲使用者提供基於硬體加密技術的可信執行環境(TEE)
- 降低機密計算技術的應用門檻
- 簡化可信/機密應用的開發、交付和管理成本。

合作團隊：阿里雲容器服務團隊、作業系統核心團隊、雲安全團隊、螞蟻安全團隊和執行時語言團隊

定位：雲原生機密計算容器平臺

使命：讓天下沒有難用的機密計算

產品原則：可信安全、易開發交付、標準開放、雲原生

## 2. ACK-TEE 1.0

![17.png](https://ucc.alicdn.com/pic/developer-ecology/1fa2e7b058344a9bb44209a01cc6fe3c.png)

ACK-TEE 1.0 於 2020 年 1 月份上線

目標使用者群體：原生 SGX 使用者

全新 K8s 託管叢集形態：機密計算專用叢集，支援 Intel SGX1。

複用 Managed K8s 已有能力，包括各種雲產品整合，K8s 叢集運維能力，降低 K8s 叢集的運維複雜度；

支援 EPC 加密記憶體的管理和排程，降低使用者使用 SGX 裝置的複雜度。

## 3. ACK-TEE 2.0

![18.png](https://ucc.alicdn.com/pic/developer-ecology/e270a44f95534cf2892108f12b33b7ed.png)

ACK-TEE2.0 計劃在 2020 下半年上線

功能：支援原生應用在 TEE 中執行起來

目標使用者：沒有掌握機密計算技術但有資料安全需求的使用者

方案

- 把普通映象轉換成 TEE 映象後執行在 TEE 中；
- 透過 controller 提供安全可信的服務元件，如 KMS-Enclave-Plugin 等。

# Q & A

**Q1：**這個依賴於 Intel 的晶片？為啥還需要單獨找 Intel 申請金鑰？
**A1：**Intel 晶片能保證應用執行在基於硬體的 Enclave （一種可信執行環境）中，保證應用的安全，但不能保證建立者一定是合法的。而在構建 Enclave 時我們會用 Intel 的秘鑰對其簽名，保證使用者是合法的。

**Q2：**Inclavare Containers 本質上是一個容器執行時實現嗎？它能完全替代 Docker 容器執行時的場景嗎？
**A2：**Inclavare Containers 是一個軟體棧，它包含了 rune、shim-rune、runelet 等多個工具。其中 rune 是一個容器執行時，它是在 runc 程式碼基礎上開發的。既可以執行普通 runc 容器，也可以跑有 Enclave 的容器。功能上說，可以替代 Docker 容器執行（runc）時，但最大的意義在於執行 Enclave 容器，保證程式碼和資料的安全。

**Q3：**應用的效能有多少影響，有做過類似的測試嗎？
**A3：**Inclavare Containers 的重點是解決資料安全問題的。底層是基於 Intel SGX 的技術，目前 Intel SGX1 的 ECP 只有 128 MB 記憶體，相比原生容器應用的效能肯定會差很多。

**Q4：**所以理解下來，只把它用在最核心的需要 in-use 加密的地方，對嗎？
**A4：**是的，保護 In-Use 程式碼和資料的安全是機密計算的最大價值。

**Q5：**ACK 現在有這個使用方法和 sample 嗎？
**A5：**ACK 裡有託管版“加密計算”，即分享裡講到的 ACK-TEE 1.0。但面向客戶是 SGX 原生客戶，需要客戶自己基於 SGX 做應用改造和構造映象。ACK-TEE 2.0 還在規劃中，計劃年底上線，會把 Inclavare Containers 的能力移植過來。我理解你是想要 ACK-TEE 2.0 的 sample 是嗎？如果有興趣，你可以按照 Inclavare Containers 0.3.0 的文件，搭建一個支援機密計算的 Kubernetes 叢集。

**關注阿里巴巴雲原生公眾號，後臺回覆 “826” 即可下載 PPT！**

> “[阿里巴巴雲原生](http://mp.weixin.qq.com/s?__biz=MzUzNzYxNjAzMg==&mid=2247493671&idx=1&sn=1fc75a024ab3b88b69681e66a5d51af4&chksm=fae6e3e8cd916afe4580ec004068b1c5ce75061de53869d0bf4a6d55e5449c35057f6c6343fe&token=203359040&lang=zh_CN#rd)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的公眾號。”

當 Kubernetes 遇到機密計算，阿里巴巴如何保護容器內資料的安全？

相關文章