雲原生時代 容器持久化儲存的最佳方式是什麼?

京東科技開發者發表於2020-10-27

雲原生時代 容器持久化儲存的最佳方式是什麼?

雲妹導讀:
在儲存專題的上一篇文章 《送你4句口訣 雲端儲存選型不再犯難》中,雲妹為大家的雲端儲存選型提供了幾種方法,只需記住 4 句口訣,就能選到適合自己應用特點的雲端儲存服務。本篇文章我們將深入介紹雲端儲存產品體系中的檔案儲存服務,並看看它在容器環境下如何提供持久化的共享型儲存?

首先,我們來看一下雲端檔案儲存具有哪些特點?

雲檔案服務(Cloud File Service)是一個全託管的簡單、易用、高可靠的檔案共享儲存服務,具有自動彈縮的容量及效能管理等特點,完整支援POSIX語義介面,可平滑對接上雲企業內部各種應用系統,並滿足 容器共享儲存、AI訓練、大資料分析、影片渲染處理、動態網站以及線上教育等場景下的儲存服務需求。

雲原生、容器對儲存的需求


相比虛擬機器,容器的設計壽命更短,一旦容器銷燬,所有的臨時資料也將隨之消失。當然,如果沒法實現容器的持久化儲存,容器應用程式的使用將會十分受限。容器化的應用需將要保留的資料持久化到容器外部的Volume資料卷中,該儲存裝置不會隨著容器生命週期的終結而消失。持久化資料卷又分為共享和非共享兩種型別,非共享資料卷只能被某個節點掛載使用,共享資料卷則可以讓不同節點上的多個Pod同時使用。

為什麼是雲檔案儲存服務?

對有狀態的應用來說,共享型的卷儲存能夠很方便地支援容器在叢集各節點之間的遷移。由於以微服務架構為主的容器應用多為分散式系統,容器可能在多個節點中動態地啟動、停止、伸縮或遷移。因此,資料被不同節點共享訪問的檔案系統儲存,天生可以支援有狀態的容器應用的靈活擴容、遷移。

同時,容器是面向應用的執行環境,資料通常要儲存到檔案系統中,即儲存介面以檔案形式更適合應用訪問。雲檔案儲存服務天生具備共享訪問,支援POSIX語義介面,可以無縫支援共享容器資料卷。

雲檔案儲存線上教育場景下的最佳實踐


線上教育是基於影片直播的企業日常運營典型業務場景,往往依賴於眾多的IT系統聯合構建而成。在疫情因素的影響下,線上教育行業迎來一波上雲高峰。 依託於雲端計算的技術設施特性,能夠幫助企業避免業務側重複工作、快速擴容、提高資源利用率、降低開發和運維成本。對線上教育架構的雲原生最佳化,大大減少了運維和測試的工作量,方便對執行版本的控制,簡化了叢集規模管理排程,相比虛機降低了不少成本。

京東智聯云為線上教育平臺量身定製了多場景解決方案,憑藉強大的基礎設施服務能力和完善的儲存產品矩陣、以雲上檔案儲存服務為核心構建全流程生態,為線上教育企業在課程錄製、課程回看以及課程互動監控等場景提供完善的解決方案。透過  IO路徑最佳化、智慧監控、智慧彈縮資源解決熱點均衡問題,為多叢集,數千個課堂的互動、錄製及回看的影片直播平臺提供了完整的技術基礎,提升了使用者體驗。

雲原生時代 容器持久化儲存的最佳方式是什麼?


如上圖所示,各類客戶終端透過網路負載均衡路由到Kubernetes叢集,根據課堂需要啟動錄製Pod,用以影片、音訊的錄製,增加課堂互動設定等,該類Pod會將錄製的影片流直接寫入雲檔案儲存中。

線上教育高峰期間會有數千個課堂,即數千個錄製Pod共享寫檔案儲存;錄製完成後,需要對錄製內容進行簡單的編輯處理,生成可回看的素材,該類任務錄製完成的數量動態拉起編輯Pod,對檔案儲存進行讀寫編輯,最後生成回看檔案;後期將回看檔案上傳到雲物件儲存中,供學生及家長回看課堂內容。

京東智聯雲解決方案帶來的優勢:

  1. 安全快速的彈性擴縮容能力:應對業務高峰時短時間內擴容,及低谷時的縮容;
  2. 多併發、高效能的共享檔案儲存:加速錄製內容的併發寫入能力、編輯內容的讀寫能力,為業務的流程流暢穩定提供基礎;
  3. 智慧感知熱點及故障,自動遷移Pod:透過智慧監控,自動遷移的能力,結合共享儲存的特點,重保線上業務的穩定;
  4. 完善的技術支援團隊:專業的團隊,及時的響應,為客戶減少運維投入及壓力,提供穩定可靠的技術保障。


京東智聯雲檔案儲存技術方案


如下圖所示,容器儲存控制面是透過標準的京東智聯雲CSI,規範的API介面建立、刪除、載入、解除安裝Volume:

  • 首先,呼叫Kubelet啟動Pod,掛載京東智聯雲檔案服務;
  • Kubelet根據配置檔案找到雲檔案服務掛載資訊,掛載到指定目錄下(/var/lib/kubelet/pods/*/volumes/jdcloud-cfs/nas-pv);
  • Kubelet建立Pod,並將京東智聯雲檔案服務的掛載目錄對映到/workload目錄,完成控制面的掛載對映流程,接下來Pod即可讀寫Storage Class裡雲檔案服務的PV。
雲原生時代 容器持久化儲存的最佳方式是什麼?


容器儲存在京東智聯雲檔案儲存上可實現 共享持久化資料儲存,支援 數千個Pod共享讀寫訪問,不但可降低容器儲存容量規劃管理的複雜度,還能提高儲存空間利用率,同時在Node、Pod出現訪問熱點、故障時可以快速切換恢復,保障業務連續性。

著名分析機構Gartner在最近釋出的 《在生產中執行容器和 Kubernetes 的最佳實踐》報告中,指出2022年將有75%的組織在生產中使用容器化應用。使用容器編排應用,一方面可以更好地統一排程CPU、記憶體,另一方面可統一管理容器中的持久化資料及狀態控制資訊。隨著容器被應用的越來越廣泛,雲原生成為助力企業全面擁抱雲端計算的最佳捷徑,同時對容器儲存提出了更高的要求,而京東智聯雲端儲存平臺提供 一貫的穩定性、極高的效能,嚴格的網路安全隔離性、無限制的橫向擴充套件能力以及智慧靈活的彈縮能力,完美滿足容器對儲存的各種需求。

推薦閱讀:


送你四句口訣 雲端儲存選型不再犯難

京東智聯雲新一代分散式資料庫TIDB架構揭秘

比MySQL快839倍!揭開分析型資料庫JCHDB的神秘面紗


點選【 京東智聯雲 ,可瞭解更多儲存知識

更多精彩技術實踐與獨家乾貨解析

歡迎關注【京東智聯雲開發者】公眾號

雲原生時代 容器持久化儲存的最佳方式是什麼?





來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69912185/viewspace-2730405/,如需轉載,請註明出處,否則將追究法律責任。

相關文章