一文解讀機密容器的崛起和發展 | 龍蜥技術
在 2022 雲棲大會龍蜥峰會雲原生專場上,來自阿里雲作業系統技術專家馮世舫和Intel 系統軟體工程部高階研發經理朱江雲分享了《機密容器的崛起和發展》技術演講,以下為本次演講內容:
機密容器是 CNCF 的 一個 Sandbox 專案,用於解決雲原生場景下的資料安全問題,滿足資料合規、資料隱私保護、演算法和模型等創新 IP 保護,資料可用但是不可見等使用需求,以及解決雲廠商的信任依賴問題。
機密容器具備以下幾個特性:
-
安全性。機密容器基於硬體可信執行環境來保護容器中資料安全,雲廠商以及具備高許可權的第三方均無法直接竊取和篡改容器中的資料。
-
易用性。使用者應用無需進行任何改造,即可從傳統容器環境中遷移到機密容器環境中。
-
能夠解決租戶和雲廠商之間的信任依賴問題。租戶資料對於雲廠商而言不再透明。
-
可自證性。使用者可以透過遠端證明等手段證實當前使用的容器環境是真實可信的。
機密容器的安全性很大程度上依賴於硬體的可信執行環境,基於硬體實現對於執行態資料機密性、完整性和安全性的保護。
近年來很多硬體廠商也推出了自己的 TEE 技術解決方案,比如英特爾® SGX 和 TDX 等,這意味著我們可以基於多種硬體平臺構建機密容器技術。
龍蜥社群理事單位之一的阿里雲是機密容器(Confidential Containers)專案的核心參與者,在參與開源專案開發的同時,也一直在推動機密容器的商用解決方案,目前已經完成了兩種機密容器的解決方案構建:
-
一種為 POD 級機密容器,指將容器 POD 中的內容放到 TEE 中進行保護。
-
一種為程式級機密容器,指將執行有敏感業務的容器程式放到 TEE 中進行保護。
在使用 CPU TEE 保護執行態資料安全的同時,我們也結合映象安全、儲存安全,遠端認證、網路安全等一系列安全技術,為使用者提供從應用部署到執行的全鏈路的安全保證。
同時,我們將機密容器引入到龍蜥社群,基於龍蜥開源生態構建開源的、開箱即用的解決方案。目前我們已經完成了 ANCK、KVM、Rund 安全容器等元件對於機密容器的適配工作。構建開源解決方案,是希望能夠藉助開源社群與合作伙伴達成更便捷深入的合作,為機密容器尋找更多落地場景。
英特爾和阿里雲都充分意識到,除了關注基礎軟體之外,為了促進機密容器的技術發展和普及,應用和生態也是非常關鍵的一環。機密計算的核心價值和能力在於能夠對於高價值業務或敏感資料提供保護,BigDL PPML 就是這樣一個典型應用。
BigDL 是英特爾開源的一款人工智慧解決方案平臺,能夠方便資料科學家和資料工程師便捷地開發出一套端到端的分散式人工智慧的應用。另外,BigDL 特別針對機密計算推出了 PPML (隱私保護機器學習),能夠對分散式人工智慧應用實現端到端的全鏈路保護。
PPML 架構如上圖所示。最底層在 K8s 叢集中提供的英特爾® TDX 和英特爾® SGX 可信執行環境。再透過一系列軟硬體底層安全技術加持,使得使用者能夠在不暴露隱私資料的前提下,使用標準的人工智慧和大資料處理軟體比如 Apache Spark、 Apache Flink、TensorFlow、PyTorch 等熟悉的工具開發自己的應用。
在此之上,PPML 還提供了 Orca 和 DLlib 兩個分散式流水線。Orca 是在 AI 框架 API 之上,增強了分散式大資料的處理能力,而 DLlib 則能夠幫助程式設計師將分散式深度學習應用轉化成 Spark 應用。另外,BigDL 還提供了可信大資料分析、可信機器學習、深度學習以及聯邦學習應用。
如上圖所示,BigDL PPML 基於可信的 Kubernetes 叢集環境,透過機密容器技術能夠構建出基於 TDX 的分散式可執行環境,從而確保業務、資料和模型在使用和計算過程中的安全性,包括不可見以及不可更改性。
從資料流角度,所有資料均以加密方式儲存在資料湖和資料倉儲中。BigDL PPML 載入這些機密資料,透過遠端證明以及金鑰管理系統獲取資料金鑰,置於可信執行環境中進行解密,再使用大資料和人工智慧的計算框架, 對資料進行分散式預處理,模型訓練以及模型推理等。最後,再把最終結果、資料或者模型,以安全或加密方式寫回到分散式儲存中。另外資料在節點之間, 容器之間的資料均以 TLS 方式進行傳輸,從而做到全鏈路的隱私保護和資料安全。
使用 TDX 機密容器執行 BigDL PPML workload 只需簡單兩步:
首先,構建 PPML 的映象並對其進行加密,然後把加密後的映象推送到映象倉庫之中。
其次,在 Kubernetes 中部署 PPML workload ,開發者只需在標準 YAML 檔案中指定所需機密容器執行時以及配置好的高效能儲存卷,然後使用標準 Kubernetes 命令拉起即可。
如果更深入一點看,Kubernetes 將 workload 排程到具有執行機密容器能力的目標主機:
首先,主機上的機密容器執行時啟動 TDX TEE。
其次,在 TDX 可信執行環境裡,執行遠端證明並獲取驗證/解密容器映象所需的金鑰,映象服務下載容器映象,使用金鑰驗證及解密容器映象;在資料方面,使用者使用標準的 K8s CSI driver 比如 open-local 為容器掛載高效能本地 LVM 卷,機密容器會自動進行透明的加密儲存來保護使用者輸入輸出資料。
最後,啟動 BigDL PPML workload 相關容器,一個 BigDL PPML Driver 和多個 Worker 以分散式的方式執行於 K8s 叢集之上,這樣可以基於 TDX 進行的可信的雲原生大資料分析和人工智慧應用了。
英特爾和阿里雲一直保持著緊密合作,兩家都是 CoCo 上游社群的發起人,共同定義、設計和實現了 CoCo 軟體棧的諸多關鍵特性,比如 TEE 內映象下載,映象的驗籤和解密,可信臨時儲存和可度量執行時環境,所有這一切都確保了 CoCo 這個專案的強安全屬性。
另外,我們在龍蜥社群也有緊密的合作,包括共同實現了基於 TDX 的機密容器端到端的解決方案,包括遠端證明以及參考應用。又比如我們選擇了龍蜥社群的 open-local driver ,第一個支援了可信儲存,一個支援了 kata 的 directvolume 新特性等等。歡迎感興趣的各位參與到雲原生機密計算 SIG(Special Interest Group )中來,一起推動雲原生場景下的機密計算技術的發展。
CNCC SIG 地址可移步龍蜥公眾號(OpenAnolis龍蜥)2022年12月7日相同推送檢視。
關於龍蜥峰會雲原生專場課件獲取方式:
【PPT 課件獲取】:關注微信公眾號(OpenAnolis),回覆“龍蜥課件” 即可獲取。有任何疑問請隨時諮詢龍蜥助手—小龍(微信:openanolis_assis)。
【影片回放】:影片回放可前往龍蜥官網檢視。
—— 完 ——
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70004278/viewspace-2927473/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 技術門檻高?來看 Intel 機密計算技術在龍蜥社群的實踐 | 龍蜥技術Intel
- 深入解讀雲場景下的網路抖動 | 龍蜥技術
- 容器技術的發展前景
- 揭祕遠端證明架構EAA:機密容器安全部署的最後一環 | 龍蜥技術架構
- 虛擬化解決方案 virtio 的技術趨勢與 DPU 實踐解讀 | 龍蜥技術
- 技術解讀:Dragonfly 基於 P2P 的智慧映象加速系統 | 龍蜥技術Go
- 深入解讀基礎軟體雲原生面臨的挑戰 | 龍蜥技術
- 助力Koordinator雲原生單機混部,龍蜥混部技術提升CPU利用率達60%|龍蜥技術
- 技術解讀倚天 ECS 例項——Arm 晶片的 Python-AI 算力最佳化 | 龍蜥技術晶片PythonAI
- 如何透過 open-local 玩轉容器本地儲存? | 龍蜥技術
- 一文讀懂螞蟻金服自研技術的發展和實踐
- 容器技術之發展簡史
- 技術解讀:現代化工具鏈在大規模 C++ 專案中的運用 | 龍蜥技術C++
- 從編譯到可執行,eBPF 加速容器網路的原理分析 | 龍蜥技術編譯eBPF
- 阿里雲技術專家解讀:2021 年六大容器技術發展趨勢阿里
- 系列解讀 SMC-R (二):融合 TCP 與 RDMA 的 SMC-R 通訊 | 龍蜥技術TCP
- 跨語言程式設計的探索 | 龍蜥技術程式設計
- 龍蜥利器:系統運維工具 SysAK的雲上應用效能診斷 | 龍蜥技術運維
- 利器解讀!Linux 核心調測中最最讓開發者頭疼的 bug 有解了|龍蜥技術Linux
- 容器技術和虛擬機器技術的對比虛擬機
- 萬里資料庫加入龍蜥社群,打造基於“龍蜥+GreatSQL”的開源技術底座資料庫SQL
- eBPF 雙子座:天使 or 惡魔?| 龍蜥技術eBPF
- 入門即享受!coolbpf 硬核提升 BPF 開發效率 | 龍蜥技術
- 多年錘鍊,邁向Kata 3.0 !走進開箱即用的安全容器體驗之旅| 龍蜥技術
- ATC'22頂會論文RunD:高密高併發的輕量級 Serverless 安全容器執行時 | 龍蜥技術Server
- 技術輕工行業內軟體應用發展崛起的時代行業
- 龍蜥開源核心追蹤利器 Surftrace:協議包解析效率提升 10 倍! | 龍蜥技術協議
- 龍蜥開源Plugsched:首次實現 Linux kernel 排程器熱升級 | 龍蜥技術Linux
- 開箱即用!Linux 核心首個原生支援,讓你的容器體驗飛起來!| 龍蜥技術Linux
- 深度解讀:數字技術適老化發展報告
- 龍蜥社群高效能儲存技術 SIG 11 月運營回顧 | 龍蜥 SIG
- 系列解讀SMC-R:透明無感提升雲上 TCP 應用網路效能(一)| 龍蜥技術TCP
- 龍蜥社群&龍蜥開發者獲CSDN2021年度技術影響力「年度開源專案」獎和「年度社群之星」
- 探討AIGC的崛起歷程,淺析其背後技術發展AIGC
- 基於 Coolbpf 的應用可觀測實踐 | 龍蜥技術
- SysOM 案例解析:消失的記憶體都去哪了 !| 龍蜥技術記憶體
- 一文讀懂 Serverless 的起源、發展和落地實踐Server
- 資料整合的未來:一文搞懂 EtLT 新技術的崛起