雲原生時代 容器持久化儲存的最佳方式是什麼?
雲妹導讀:
在儲存專題的上一篇文章
《送你4句口訣 雲端儲存選型不再犯難》中,雲妹為大家的雲端儲存選型提供了幾種方法,只需記住 4 句口訣,就能選到適合自己應用特點的雲端儲存服務。本篇文章我們將深入介紹雲端儲存產品體系中的檔案儲存服務,並看看它在容器環境下如何提供持久化的共享型儲存?
首先,我們來看一下雲端檔案儲存具有哪些特點?
雲檔案服務(Cloud File Service)是一個全託管的簡單、易用、高可靠的檔案共享儲存服務,具有自動彈縮的容量及效能管理等特點,完整支援POSIX語義介面,可平滑對接上雲企業內部各種應用系統,並滿足
容器共享儲存、AI訓練、大資料分析、影片渲染處理、動態網站以及線上教育等場景下的儲存服務需求。
雲原生、容器對儲存的需求
相比虛擬機器,容器的設計壽命更短,一旦容器銷燬,所有的臨時資料也將隨之消失。當然,如果沒法實現容器的持久化儲存,容器應用程式的使用將會十分受限。容器化的應用需將要保留的資料持久化到容器外部的Volume資料卷中,該儲存裝置不會隨著容器生命週期的終結而消失。持久化資料卷又分為共享和非共享兩種型別,非共享資料卷只能被某個節點掛載使用,共享資料卷則可以讓不同節點上的多個Pod同時使用。
為什麼是雲檔案儲存服務?
對有狀態的應用來說,共享型的卷儲存能夠很方便地支援容器在叢集各節點之間的遷移。由於以微服務架構為主的容器應用多為分散式系統,容器可能在多個節點中動態地啟動、停止、伸縮或遷移。因此,資料被不同節點共享訪問的檔案系統儲存,天生可以支援有狀態的容器應用的靈活擴容、遷移。
同時,容器是面向應用的執行環境,資料通常要儲存到檔案系統中,即儲存介面以檔案形式更適合應用訪問。雲檔案儲存服務天生具備共享訪問,支援POSIX語義介面,可以無縫支援共享容器資料卷。
雲檔案儲存線上教育場景下的最佳實踐
線上教育是基於影片直播的企業日常運營典型業務場景,往往依賴於眾多的IT系統聯合構建而成。在疫情因素的影響下,線上教育行業迎來一波上雲高峰。
依託於雲端計算的技術設施特性,能夠幫助企業避免業務側重複工作、快速擴容、提高資源利用率、降低開發和運維成本。對線上教育架構的雲原生最佳化,大大減少了運維和測試的工作量,方便對執行版本的控制,簡化了叢集規模管理排程,相比虛機降低了不少成本。
京東智聯云為線上教育平臺量身定製了多場景解決方案,憑藉強大的基礎設施服務能力和完善的儲存產品矩陣、以雲上檔案儲存服務為核心構建全流程生態,為線上教育企業在課程錄製、課程回看以及課程互動監控等場景提供完善的解決方案。透過
IO路徑最佳化、智慧監控、智慧彈縮資源解決熱點均衡問題,為多叢集,數千個課堂的互動、錄製及回看的影片直播平臺提供了完整的技術基礎,提升了使用者體驗。
如上圖所示,各類客戶終端透過網路負載均衡路由到Kubernetes叢集,根據課堂需要啟動錄製Pod,用以影片、音訊的錄製,增加課堂互動設定等,該類Pod會將錄製的影片流直接寫入雲檔案儲存中。
線上教育高峰期間會有數千個課堂,即數千個錄製Pod共享寫檔案儲存;錄製完成後,需要對錄製內容進行簡單的編輯處理,生成可回看的素材,該類任務錄製完成的數量動態拉起編輯Pod,對檔案儲存進行讀寫編輯,最後生成回看檔案;後期將回看檔案上傳到雲物件儲存中,供學生及家長回看課堂內容。
京東智聯雲解決方案帶來的優勢:
- 安全快速的彈性擴縮容能力:應對業務高峰時短時間內擴容,及低谷時的縮容;
- 多併發、高效能的共享檔案儲存:加速錄製內容的併發寫入能力、編輯內容的讀寫能力,為業務的流程流暢穩定提供基礎;
- 智慧感知熱點及故障,自動遷移Pod:透過智慧監控,自動遷移的能力,結合共享儲存的特點,重保線上業務的穩定;
- 完善的技術支援團隊:專業的團隊,及時的響應,為客戶減少運維投入及壓力,提供穩定可靠的技術保障。
京東智聯雲檔案儲存技術方案
如下圖所示,容器儲存控制面是透過標準的京東智聯雲CSI,規範的API介面建立、刪除、載入、解除安裝Volume:
- 首先,呼叫Kubelet啟動Pod,掛載京東智聯雲檔案服務;
- Kubelet根據配置檔案找到雲檔案服務掛載資訊,掛載到指定目錄下(/var/lib/kubelet/pods/*/volumes/jdcloud-cfs/nas-pv);
- Kubelet建立Pod,並將京東智聯雲檔案服務的掛載目錄對映到/workload目錄,完成控制面的掛載對映流程,接下來Pod即可讀寫Storage Class裡雲檔案服務的PV。
容器儲存在京東智聯雲檔案儲存上可實現
共享持久化資料儲存,支援
數千個Pod共享讀寫訪問,不但可降低容器儲存容量規劃管理的複雜度,還能提高儲存空間利用率,同時在Node、Pod出現訪問熱點、故障時可以快速切換恢復,保障業務連續性。
著名分析機構Gartner在最近釋出的
《在生產中執行容器和 Kubernetes 的最佳實踐》報告中,指出2022年將有75%的組織在生產中使用容器化應用。使用容器編排應用,一方面可以更好地統一排程CPU、記憶體,另一方面可統一管理容器中的持久化資料及狀態控制資訊。隨著容器被應用的越來越廣泛,雲原生成為助力企業全面擁抱雲端計算的最佳捷徑,同時對容器儲存提出了更高的要求,而京東智聯雲端儲存平臺提供
一貫的穩定性、極高的效能,嚴格的網路安全隔離性、無限制的橫向擴充套件能力以及智慧靈活的彈縮能力,完美滿足容器對儲存的各種需求。
推薦閱讀:
比MySQL快839倍!揭開分析型資料庫JCHDB的神秘面紗
點選【 京東智聯雲】 ,可瞭解更多儲存知識
更多精彩技術實踐與獨家乾貨解析
歡迎關注【京東智聯雲開發者】公眾號
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69912185/viewspace-2730405/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 杉巖:雲原生時代,容器持久化儲存方案選對了嗎?持久化
- 容器附加儲存(CAS)是雲原生儲存
- 容器雲對接持久化儲存並使用持久化
- 什麼是雲原生?為什麼是Portworx來解決雲原生儲存問題?
- 利用Kubernetes實現容器的持久化儲存持久化
- Portworx – 您的雲原生容器儲存解決方案
- AOF持久化(儲存的是操作redis命令)持久化Redis
- 雲原生儲存詳解:容器儲存與 K8s 儲存卷K8S
- 智算時代需要什麼樣的儲存?
- Longhorn 雲原生容器分散式儲存 - Python Client分散式Pythonclient
- 雲原生時代下的容器映象安全(上)
- 規模化執行容器時的最佳資料儲存路徑
- Redis持久化儲存Redis持久化
- 使用容器化塊儲存OpenEBS在K3s中實現持久化儲存持久化
- 最佳案例 | QQ 相簿雲原生容器化之路
- 雲原生時代,如何“玩轉”容器安全?
- 城商行容器雲平臺應用場景及持久化儲存實踐持久化
- Longhorn 雲原生容器分散式儲存 - 故障排除指南分散式
- 容器映象服務:雲原生時代的核心基石
- Docker容器中資料兩種持久化儲存方式:卷和掛載宿主目錄Docker持久化
- Flutter持久化儲存之檔案儲存Flutter持久化
- Longhorn 雲原生容器分散式儲存 - Air Gap 安裝分散式AI
- 什麼是物件儲存?物件
- Flutter持久化儲存之資料庫儲存Flutter持久化資料庫
- Flutter持久化儲存之key-value儲存Flutter持久化
- 什麼是雲原生?企業為什麼需要雲原生?
- scrapy框架持久化儲存框架持久化
- Redis 持久化儲存詳解Redis持久化
- Redis持久化儲存——>RDB & AOFRedis持久化
- (三)Kubernetes---持久化儲存持久化
- 什麼是YottaChain儲存,為什麼說是未來資料儲存的趨勢?AI
- Kubernetes的故事之持久化儲存(十)持久化
- 都在叨叨雲原生,到底什麼是雲原生?
- Docker最全教程——資料庫容器化之持久儲存資料(十一)Docker資料庫
- SRAM是什麼儲存器
- 雲原生時代的 APM
- 當容器拍了拍儲存,讓你“想用又敢用”雲原生
- 細述Kubernetes和Docker容器的儲存方式Docker