重磅 | Dragonfly 晉升成為 CNCF 孵化專案
今天,由雲原生計算基金會(CNCF)技術監督委員會投票,Dragonfly 正式晉升為 CNCF 孵化級別的託管專案。
Dragonfly 是一個由阿里巴巴開源的雲原生映象/檔案分發系統,主要解決雲原生領域以 Kubernetes 為核心的應用映象分發問題。2018 年 10 月 正式進入 CNCF,成為 CNCF 沙箱級別專案(Sandbox Level Project),開始雲原生探索之旅,幫助使用者改善 Kubernetes 中映象/檔案分發的體驗,從而讓企業工程師可以專注於應用程式本身而非基礎架構管理。
前往 GitHub 瞭解 Dragonfly 專案詳情:https://github.com/alibaba/Dragonfly。
阿里巴巴資深技術專家易立認為 “作為阿里巴巴生態系統中容器平臺的骨幹技術之一,Dragonfly 每年支撐了數十億次應用服務的部署交付,並被全球許多企業客戶使用。阿里巴巴期待不斷改進 Dragonfly,使其更加高效和易於使用。”
Dragonfly 的目標是解決雲原生場景中的分發問題。該專案由三個主要部分組成:SuperNode 扮演中央排程器角色,控制 peer 之間的所有分發過程; dfget 是 P2P 客戶端,主要負責 peer 之間分塊的互傳;dfdaemon 則扮演代理角色,攔截容器引擎的映象下載請求並重定向到 dfget 中。
“Dragonfly 通過利用 P2P 技術提升映象和檔案分發的效率,同時減輕映象倉庫的網路負載來改善使用者體驗,” TOC 成員和專案 Sponsor 樑勝博士說。“隨著世界各地的組織將工作負載遷移到容器堆疊上,我們預計 Dragonfly 的採用將繼續顯著增加。”
目前,Dragonfly 與其他 CNCF 專案進行了整合,包括 Prometheus,containerd,Harbor,Kubernetes 和 Helm。專案 Maintainer 來自阿里巴巴,ByteDance,eBay 和美圖,專案 Contributor 來自包括網易、京東、沃爾瑪、VMware、Shopee、中國移動、Qunar、中興、七牛、NVidia 等在內的 20 多家公司。
Dragonfly 主要特性
- 基於 P2P 的檔案分發:使用 P2P 技術進行檔案傳輸,Dragonfly 可以充分利用每個 peer 的頻寬資源來提高下載效率,節省了大量的 IDC 頻寬,尤其是昂貴的跨地區、跨國際頻寬;
- 對各種容器技術的無侵入支援:Dragonfly 可以無縫地支援各種容器來分發映象,如 Docker、containerd 等;
- 主機級別速度限制:很多下載工具(wget / curl)僅具有當前下載任務的速率限制,但是 Dragonfly 提供整個主機的速率限制;
- Passive CDN:被動式 CDN 機制可以避免重複的遠端下載。
重要里程碑
- Maintainer 來自 4 個組織的 7 個專案
- 67 位貢獻者
- 21 個貢獻組織
- 4.6k + GitHub Stars
- 10 萬 + Docker Hub 下載量
- 去年 commit 數量增加 120%
自加入 CNCF Sandbox 以來,Dragonfly 經歷了重要的旅程,變得更 “雲原生”。
- 為使開發人員更友好並更易於整合到 CNCF 中,Dragonfly 通過 Golang 進行了重構;
- Dragonfly 積極地與 Kubernetes,Harbor,containerd,Prometheus,Helm 等整合;
- 在 CNCF 的幫助下,Dragonfly 努力幫助整個行業採用雲原生分發。
CNCF CTO / COO Chris Aniszczyk 表示 “隨著雲原生應用的持續增長,在大規模生產環境中分發容器映象已成為要解決的重要挑戰,我們很高興 Dragonfly 分享了在阿里巴巴的實踐經驗,Dragonfly 專案最近在 Golang 中進行了完全改寫,取得了長足的進步,我們期待培養更多這樣專案和讓專案更具多樣性”。
最新版本 Dragonfly 1.0.0 已全部用 Golang 重寫,以提高與其他雲原生技術的易用性。現在,Dragonfly 帶來了更加靈活和可擴充套件的體系結構,更多的雲方案以及與 OCI(開放容器計劃)的潛在整合,以使映象分發更加高效。
阿里巴巴高階技術專家、 Dragonfly 專案 Maintainer 孫巨集亮表示:“我們很高興 Dragonfly 成為孵化專案,Maintainer 一直在努力推進專案各個方面的改善,我們期待看到 Dragonfly 的更多可能性。”
Dragonfly 的落地實踐
自加入 CNCF 沙箱以來,Dragonfly 在包括電子商務,電信,金融,網際網路等在內的各個行業中迅速發展。 使用者包括阿里巴巴,中國移動,Shopee,Bilibili,螞蟻金服,虎牙,滴滴,iFLYTEK 等組織。
中國移動浙江分公司在生產環境中採用 Dragonfly 已有 3 年以上的歷史,涉及超過 1000 臺物理計算機。目前在 Dragonfly 上執行 200 多個業務系統和 1,700 多個應用程式模組。
Shopee 是總部位於 Sea Group 下的新加坡電子商務平臺。由於將業務範圍擴充套件到馬來西亞,泰國,臺灣,印度尼西亞,越南和菲律賓,它為客戶提供了一種簡單,安全和快速的線上購物方式。 Shopee 在生產環境中採用 Dragonfly 已有 1 年以上的歷史,涉及 10K+ 臺物理機器。
國內視訊彈幕網站 Bilibili 已在超過 3900 臺機器的測試和生產環境中採用了 Dragonfly。來自 Bilibili 的工程師在登錄檔驗證,穩定性等方面與 Dragonfly 社群合作並做出了積極貢獻。
阿里雲容器映象服務企業版( ACR EE)是國內領先的雲原生應用資產管理平臺,支援 Docker/OCI 映象, Helm Chart 等製品的安全管理及高效分發,被眾多行業 Top 企業大規模使用。ACR EE 結合 Dragonfly 的大規模映象分發能力,保障客戶容器業務的快速擴充套件和極速部署。ACR 團隊也結合企業雲原生場景和雲端環境,和社群共同推動和促進 Dragonfly 持續優化。
未來可期
未來,Dragonfly 將鞏固檔案/映象分發,朝著更靈活和可擴充套件的體系結構方向發展;此外,Dragonfly 社群將深度與 Linux Foundation OCI(開放容器標準)展開合作,建設更高效的映象分發能力:
- 基於行業場景,積極探索技術創新:1. 基於機器學習演算法,支援更智慧 P2P 排程能力,進一步分發效率;2. 加強資料傳輸過程中的安全性、完整性以及傳輸效率;3. 基於雲原生基礎設施,外掛化與場景化,靈活適應裸金屬、雲伺服器、IoT 等多領域;
- 協同 OCI 社群,打造並制定映象/檔案在雲原生領域的分發標準,開放 “資料分發介面” 提供 “被整合” 能力。
雲原生網路研討會邀您參加
“阿里巴巴雲原生關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐,做最懂雲原生開發者的公眾號。”
- 加微信實戰群請加微信(註明:實戰群):gocnio
相關文章
- Dragonfly 成為 CNCF 孵化專案,我們與基金會首位華人 TOC 聊了聊Go
- Istio 正式成為 CNCF 孵化專案
- 在2020年晉升成為高階前端工程師的9個專案前端工程師
- 雲原生週刊:Artifact Hub 成為 CNCF 孵化專案|2024.9.23
- 雲原生愛好者週刊:Dapr 成為 CNCF 孵化專案
- CNCF 宣佈 Helm 成為基金會下一個重點孵化專案
- 雲原生混沌工程測試平臺 Chaos Mesh 升級成為 CNCF 孵化專案
- CNCF接納Harbor為沙箱專案
- CNCF 新增兩個孵化專案 | 雲原生生態週報 Vol. 58
- 華為雲開源專案Sermant正式成為CNCF官方專案
- Argo 專案加入 CNCF 孵化器 | 雲原生生態週報 Vol. 45Go
- 開源夜聊欄目開播:聊聊新晉 CNCF 專案 sealer 背後的故事
- 華為雲發起,openGemini正式成為CNCF官方專案!
- 雲原生週刊:Score 成為 CNCF 沙箱專案|2024.08.12
- 雲原生週刊:Score 成為 CNCF 沙箱專案|2024.7.15
- Radius 成為雲原生計算基金會(CNCF)的沙箱專案
- 重磅 | 騰訊雲服務網格開源專案 Aeraki Mesh 加入 CNCF 雲原生全景圖
- Harbor開源專案加入CNCF基金會!
- 谷歌云為 CNCF 提供 300 萬美元的捐款以支援其 Kubernetes 專案谷歌
- 官宣:恭喜 ChaosBlade 專案進入 CNCF Sandbox
- sealer 成為 CNCF Sandbox 專案,旨在構建分散式應用交付新標準分散式
- CNCF:中國已成為全球第二大開源貢獻國 CNCF專案的程式碼貢獻接近100萬
- CNCF 沙箱專案 OCM Placement 多叢集排程指南
- 阿里雲 OpenYurt 成為 CNCF 沙箱專案,加速原生 Kubernetes 邊緣場景全覆蓋阿里
- 分散式資本宣佈孵化成立Hashgard專案分散式
- 【晉升秘籍】高薪專案經理的成長指南高薪
- CNCF 宣佈首箇中國原創專案 Harbor 畢業
- 8 個用於 Kubernetes 持久化儲存的 CNCF 專案持久化
- 新晉總監生存指南四——專案執行指南,如何挽救混亂的專案
- Aeraki Mesh正式成為CNCF沙箱專案,騰訊雲攜夥伴加速服務網格成熟商用
- 百度 Doris 專案進入 Apache 基金會孵化器Apache
- IPP孵化Swap專案系統開發技術原始碼搭建原始碼
- CNCF 接受 Knative 專案,對雲原生生態意味著什麼?
- 阿里新晉 CNCF TOC 委員張磊:“雲原生”為什麼對雲端計算生態充滿吸引力?阿里
- CRI-O進入CNCF孵化階段,或將挑戰Docker在容器界的地位Docker
- LongHash孵化專案 everiToken 獲得EOS Hackathon 技術指導資格
- Falco 進入 CNCF Incubator 專案 | 雲原生生態週報 Vol. 35BAT
- OAM K8s 標準實現 Crossplane 專案進入 CNCF SandboxK8SROS