雲智融合浪潮之下,中國作業系統逆勢向上

雲科技時代發表於2023-12-13

自從2020年12月CentOS專案宣佈  CentOS 8於2021年12月31日停止維護和更新,CentOS 7也將於2024年6月30日停服,就掀起了中國作業系統的替換浪潮。作為基於Red Hat Enterprise Linux的開源作業系統,CentOS廣泛應用於企業級伺服器和雲端計算平臺。而2022年4月,Ubuntu開發商Canonical公告稱對某地停服。在大模型AI開發中,底層作業系統大多選擇Ubuntu。重要的國際Linux發行版部分停服,這激發了中國作業系統的蓬勃發展。

從2019年中國迎來第一個開源許可證(木蘭)開始,國內開源系統迎來了屬於自己的春天。信通院、開放原子開源基金會共同釋出《國產伺服器作業系統發展報告(2023)》指出,目前龍蜥、尤拉兩大開源作業系統根社群,對自主創新作業系統的發展和應用起到推動作用,中國伺服器作業系統的市場成熟度已經跨越了從嘗試到大規模落地的鴻溝,根據信通院面向使用者群體的調研顯示,龍蜥作業系統位列使用者意願遷移系統的首位。

(來源:《國產伺服器作業系統發展報告(2023)》)

報告稱國內已出現多個較為成熟的伺服器作業系統,產業步入2.0時代,面向雲端計算、智慧計算等方向進化。以相容性更好、產品效能和技術能力見長的龍蜥作業系統,產品效能優良在實際應用中得到了使用者的廣泛認可,是國產作業系統的代表性產品,目前基於龍蜥作業系統發行了超過12款針對下游的衍生版。

向大模型AI前沿挺進

Anolis OS龍蜥作業系統最初是由阿里雲伺服器作業系統(Alibaba Cloud Linux,簡稱Alinux)開源貢獻而來,Alinux歷經十餘年發展,在阿里自用場景實現CentOS 全替代,並支撐阿里雲的市場規模。在開源之後,基於Anolis OS龍蜥作業系統的Alinux更進一步支撐了阿里雲在AI特別是大模型AI方面的需求,浪潮資訊等整機廠商以及英偉達、英特爾、AMD等AI硬體廠商也廣泛參與到龍蜥作業系統的AI 能力研發中,頭部雲廠商和軟硬體廠商的AI技術方案與實踐都沉澱到了龍蜥作業系統。

2023年,龍蜥社群將智算場景列為第九大技術方向。今天,資料中心內的AI智算伺服器正在快速增長,這要求龍蜥作業系統在完成了CentOS替換後,必須要面向未來承擔起通用計算場景和智算場景的技術演進任務。而在AI大模型爆發的前提下,龍蜥作業系統不僅要積極支援AI大模型,甚至可能考慮在未來更激進地用AI將整個作業系統重新演進一遍。當然,在AI大模型時代,也有機會對底層基礎設施和作業系統進行重構,因此龍蜥作業系統從多方面進行了相關佈局,龍蜥社群的所有SIG和產品都將支撐AI原生應用的技術演進。

面向大模型AI場景,龍蜥作業系統在技術上整體考慮軟硬一體的協同最佳化,包括對DPU、GPU等AI硬體的支援,以及AI硬體發展驅動的作業系統軟體迭代,探索透過Copilot將OS與AI結合,以及繼續圍繞雲原生對AI進行演進。在軟體棧支援方面,補充作業系統選型時的AI軟體棧缺失,包括支援並最佳化TensorFlow、PyTorch和ONNX等主流框架,過去幾個月龍蜥作業系統已經引入了超過150款AI生態軟體包。面向AI部署,龍蜥作業系統提供了多種基於硬體最佳化的基礎AI框架容器映象,支援ModelScope SDK,對接大模型生態。值得一提的是,龍蜥作業系統已經獲得英特爾、AMD、英偉達等廠商的原廠支援並形成解決方案,覆蓋主流AI加速庫和框架,無需預配置即可上手基於Anolis OS 23的大模型映象。

龍蜥作業系統已經在2023年第二季度Anolis OS 23 GA版本實現了南北向基礎覆蓋、實現了Linux發行版的基礎選型;在2024年上半年Anolis OS 23.1釋出的階段將引入Hygon平臺和增強安全性、實現對ModelScope生態的支援與最佳化等;在2024年下半年Anolis OS 23.2釋出的階段將進一步支援RISC-V架構,實現更廣泛的軟硬體協同智算生態方案等;在2025年將實現多維度領先的智算生態,進一步完善CVE安全保障能力等。

不斷加深雲原生布局

隨著雲原生技術快速發展,雲原生的微服務架構、容器化部署等特點對傳統伺服器作業系統提出新的挑戰。雲原生是龍蜥作業系統的重要技術方向之一,作為源自公有云大廠的作業系統,龍蜥作業系統自誕生之初就天然具有云原生技術優勢。而大模型的推出,更進一步強化了雲原生的重要性,同時也對雲原生技術提出了更高的要求,包括自動化部署、管理、叢集自愈等,都在推進雲原生技術的前沿。

龍蜥作業系統面向雲原生推出了容器專屬的OS,即Lifsea OS。Lifsea OS解決了傳統OS在雲原生場景下的問題。LifseaOS基於Anolis OS並針對容器場景進行垂直最佳化,系統中僅保留容器執行所需的必要軟體包與系統服務,系統以映象為粒度進行升級回滾,提供只讀根檔案系統避免系統被惡意篡改。LifseaOS已經在雲服務商雲原生服務業務上大規模部署,叢集千節點擴容時間小於一分鐘。

龍蜥作業系統在Lifsea OS的基礎上,持續推進雲原生技術的演進。智算浪潮下,Kubernetes 叢集在規模和數量上快速增長,使得大規模叢集中的節點管理重要性日益突出。雲原生節點管理是基於雲原生理念,使用ContainerOS和配套基礎設施,提供的一種有效的節點管理方案。龍蜥社群推出了雲原生節點管理實踐白皮書,探索和總結了雲原生節點管理的新正規化。

雲原生資源混部隔離技術進一步提升了計算資源利用率。龍蜥作業系統核心在資源隔離技術上深耕多年,主要涉及核心中的排程、記憶體和IO三大子系統並根據雲原生混部場景進行了深入改造和最佳化。目前,龍蜥作業系統的資源隔離技術已經在手機制造企業、大型國企、網際網路企業以及阿里雲和螞蟻集團內部大規模應用。龍蜥社群還推出了AnolisBox雲原生節點資源管理解決方案,提供了單機資源混部能力的標準化、歸一化、簡單化解決方案。

在雲原生和AI場景下,容器檔案和AI資料儲存都是小檔案、高併發、多IO型,EROFS是為高效能只讀場景量身打造的核心檔案系統,之前主要為作為安卓和嵌入式裝置的檔案系統用於各大終端廠商中,在龍蜥社群的推動下不斷突破應用邊界,透過技術演進而越來越服務於容器、叢集OS甚至是機器學習場景。龍蜥ANCK核心已支援EROFS檔案系統,並針對下一代容器映象專案Nydus做了大量最佳化,未來會輻射到更多雲邊端場景,包括用EROFS提高機器學習資料集的訪問效能。

從技術研發到產品落地的高效迴圈

龍蜥社群已經建成了從標準共建到生態合作的開放生態以及全產業鏈共享的開源社群,硬體廠商、基礎軟體廠商、應用軟體廠商、系統開發商、開發者、使用者之間形成產業正迴圈,打造商業可閉環的良性生態系統。浪潮資訊作為龍蜥社群的理事會成員,主導成立了浪潮資訊龍蜥聯合實驗室,整合晶片、整機、板卡、資料庫、中介軟體、ISV等上下游生態力量,打通社群技術創新和產業應用之間的通路,以行業實踐反哺技術研發,形成從技術研發到產品落地的高效迴圈。

為了推動從技術研發到產品落地的高效迴圈,龍蜥社群提出並實踐“分層分類”科學理論,與產業鏈夥伴共同打造下一代作業系統。例如,龍蜥廣泛聯合國內外主流晶片廠商,釋出了多款同源異構晶片版本,同時確保這些社群衍生版具有良好的相容性,從而提高使用者體驗、降低使用成本。與此同時,浪潮資訊等更多理事單位加大在社群的投入,當前已經實現主流晶片協同研發機制、主流中介軟體/資料庫、主流整機OEM廠商等的更廣覆蓋。

為了進一步拉通從社群到市場的通路,浪潮資訊發揮整機廠商影響力,邀請了約50家合作伙伴加入龍蜥社群,覆蓋硬碟、網路卡、記憶體、 Raid 卡、資料庫、中介軟體、安全、高校、 ISV 等領域;建立了適配認證體系,完成98項硬體與319項軟體的相容認證,覆蓋主流CPU、GP、FPGA、網路卡、伺服器、儲存、網路裝置等硬體及主流資料庫、中介軟體、虛擬化、容器、雲平臺、辦公軟體等軟體;還主導龍蜥社群驅動基線建設,推動“一測多證”落地龍蜥社群,提升龍蜥作業系統南北向生態相容性等。這些舉措,都積極促進了從社群到市場的正迴圈。

如今,龍蜥社群已經成為引導伺服器作業系統產業發展的事實領導者——現有24家理事單位,超過600家生態夥伴,基於社群作業系統發行了超過12款針對下游的衍生版。例如浪潮資訊KeyarchOS作為龍蜥衍生版之一,面向智算時代需求,具備穩定可靠、高效軟硬協同、全天候智慧化運維、全棧安全可信四大特性,涵蓋業內最全的硬體和伺服器部件,透過軟硬協同最佳化釋放多元算力。目前,龍蜥作業系統裝機量現已超過500萬,服務了金融、通訊、政務、能源、交通等眾多行業超過80多萬使用者。

在協助使用者完成CentOS遷移的同時,浪潮資訊也深入到社群技術創新中,透過參與技術創新而加強對於新技術的感知並第一時間將技術創新成果轉化到商用產品中。例如,浪潮資訊主導成立伺服器無感知計算、可信計算等專業技術SIG,牽頭編寫併發布龍蜥作業系統可信計算實踐白皮書、《eBPF技術實踐白皮書》,推動Serverless、eBPF、可信計算技術發展;參與Anolis遷移SIG、Cloud Kernel、KeenTune(輕豚)、硬體相容性等10多個SIG的工作和討論;提交了300餘個技術PR,聚焦伺服器穩定性、伺服器整機相容性等領域等。

在雲智融合的技術前沿,以龍蜥作業系統為代表的中國作業系統,從替換方案到主導全球創新的向上浪潮。以雲智融合的前沿實踐和中國數字經濟的豐富度及體量,在國內最大的伺服器供應商浪潮資訊,與最大的伺服器單體使用者阿里雲的加持下,龍蜥將打造中國作業系統的黃金時代。

為了進一步推動生態建設,為來自全球的國際組織、產業領軍企業、行業協會、學術機構等提供一個充分交流的舞臺,共同探討伺服器作業系統在新趨勢下的發展,2023年12月17-18日,以開放原子開放基金會為指導單位,由龍蜥社群主辦,阿里雲、浪潮資訊、統信軟體、Intel、Arm等24家理事單位共同承辦的2023龍蜥作業系統大會·OpenAnolis Conference(簡稱“OAC”),將在北京嘉瑞文化中心隆重舉行,屆時將邀請超300家企業和逾千位開發者,集聚政、產、學、研等各方力量,打造聚焦產業升級的年末盛典。 讀者可到龍蜥作業系統開源社群官網報名。 (文/寧川)


來自 “ ITPUB部落格 ” ,連結:https://blog.itpub.net/70025587/viewspace-3000029/,如需轉載,請註明出處,否則將追究法律責任。

相關文章