EMAS 移動 DevOps 解決方案 —— Mobile DevOps

阿里雲 雲原生應用研發平臺EMAS 彭釗（州牧）

一、Mobile DevOps 介紹

1. 什麼是移動 DevOps

1）大家所熟知的DevOps

在2020年這個時間節點上，DevOps已經不再是什麼新鮮概念，相信大家或多或少都有些自己的理解，但當要我們去準確描述什麼是DevOps時，好像又很難講的清楚。實際上DevOps至今業界也沒有可以讓大家一致認可的定義，之所以很難被準確定義，是因為DevOps其實是一種理念甚至是一組理念的集合，很難被具象化。“DevOps”這個詞本身從字面可以理解為軟體從Dev（Development，開發）到Ops（Operations，運營）的全生命週期，但DevOps的準確定義到底是什麼？在眾多的DevOps定義中，個人認為Azure DevOps的定義[1]較為精確和具體：

DevOps 是開發 (Dev) 和運營 (Ops) 的複合詞，它將人、流程和技術結合起來，不斷地為客戶提供價值。
DevOps 對團隊意味著什麼？DevOps 使以前孤立的角色（開發、IT 運營、質量工程和安全）可以協調和協作，以生產更好、更可靠的產品。
通過採用 DevOps 文化、做法和工具，團隊能夠更好地響應客戶需求，增強對所構建應用程式的信心，更快地實現業務目標。

這個定義裡有幾個關鍵資訊總結一下：
① 人、流程、技術的結合
② DevOps使讓以前孤立的角色可以協調和協作
③ DevOps是一種理念，既要樹立文化，也要有自動化工具的支援
④ 目的是更快的生產更好、更可靠的產品

2）從DevOps到移動DevOps

對於DevOps大家平時討論比較多的其實是服務端DevOps，既然DevOps是一種優秀的軟體交付理念，為什麼不把DevOps也應用到移動端交付呢？這也就是我們今天要介紹的移動DevOps。
因為移動端和服務端場景的差異，移動DevOps跟服務端DevOps會有很大的不同。主要體現在以下幾個方面：

移動端應用自動化構建更為複雜

• 構建環境碎片化

Android、iOS兩個平臺需要基於不同的作業系統和構建工具鏈搭建構建環境，即便是同一平臺構建工具鏈也存在版本碎片化現象，比如Android構建依賴的Android SDK、Gradle需要多個版本同時支援，iOS構建依賴的Xcode、Ruby版本需要多個版本同時支援

• 移動端構建涉及到證書託管等資料安全問題

• iOS構建依賴的Mac裝置為機房非標裝置

Mac裝置不屬於標準伺服器無法部署在標準機房，通常需要自建Mac機房，對於可運維性和穩定性也是一個挑戰。

自動化構建是DevOps中必不可少的能力，這就要求移動DevOps通過技術手段很好的解決上述客戶端自動化構建、一鍵出包的問題。

移動端碎片化嚴重，應用交付相容性是巨大的挑戰

不同於服務端部署環境的一致性，移動端應用執行環境碎片化非常嚴重，相容性測試覆蓋難度遠大於服務端。移動端碎片化現象以Android系統尤為嚴重，主要體現在以下幾個方面：

• 手機機型碎片化

Android市場有眾多的手機廠商和茫茫多的機型，不同廠商都會對系統做底層“優化”，理論上任何覆蓋不到的機型測試都可能會面臨相容性問題，下圖是2020.10月份最新的百度統計流量研究院[2]的Android Top機型分佈，Top 10的機型市場佔用率都不足15%，可見機型碎片化之嚴重

• 作業系統版本碎片化

作業系統的差異對應用執行的影響更為直接，系統大版本升級導致應用不相容的情況屢見不鮮，每次作業系統大版本釋出都是對應用相容性的一次考驗；在考慮相容新系統的同時，還不能放棄老系統的使用者。
下圖是2020.10月份最新的百度流量研究院的Android版本分佈資料，可以看到已經發布一年多的Android 10.0，市場佔用率還不足50%，2年以前的作業系統依然佔主流

由於端裝置的碎片化問題，就需要移動DevOps具備移動測試能力，自動化完成大量的真機相容性測試。

移動端應用釋出更新週期長

應用新版本可能釋出2周更新比例都不會超過50%，不像服務端可以在很短的時間內完成所有伺服器的軟體釋出。釋出週期長意味著犯錯成本更高，一個有Bug的版本發出去，可能需要很長的時間才能通過更新升級消化完。

這就需要移動DevOps一方面具備完善的灰度釋出機制，避免將有問題的應用一次性發布到使用者側；另一方面一旦有Bug的版本已經發出，需要移動DevOps具備熱修復能力，可以通過增量補丁包的釋出方式更輕量、快速的修復Bug。

移動應用執行在海量移動端裝置

不像服務端服務執行在特定的叢集內，可以統一管控和運維，移動應用的執行環境在使用者的手機上，而且對於手淘這類超級App來講是億級海量裝置。

這就需要移動監控類產品通過大資料技術來實現移動端運維監控，甚至需要遠端日誌功能來拉取指定裝置上的錯誤日誌來定位排查錯誤。

基於以上幾點，並參考DevOps對軟體交付生命週期的定義，總結移動DevOps應用生命週期及各階段能力要求如下：

2. 什麼是Mobile DevOps

1）Mobile DevOps 是EMAS移動DevOps理念的具象化實現

首先介紹一下EMAS（Enterprise Mobile Application Studio），EMAS是來自阿里雲的國內領先雲原生應用研發平臺（移動App、H5應用、小程式、Web應用等），基於廣泛的雲原生技術（Backend as a Service、Serverless、DevOps、低程式碼等），致力於為企業、開發者提供一站式的應用研發管理服務，涵蓋開發、測試、運維、運營等應用全生命週期。更多關於EMAS的介紹詳見阿里雲官網EMAS詳情頁。
Mobile DevOps是EMAS移動DevOps理念的具象化產品輸出，是EMAS的中軸型產品，它聯動EMAS所有產品共同實現上述移動DevOps理念。Mobile DevOps將EMAS原本孤立在應用各個生命週期的產品像上圖一樣實現了聯動和完整閉環，實現了EMAS從移動中介軟體平臺向移動研發平臺的升級。Mobile DevOps結合以下EMAS產品共同形成EMAS的移動DevOps：
研發域：Mobile DevOps
測試域：移動測試
釋出域：Mobile DevOps
運維域：移動監控，移動熱修復
運營域：移動推送，移動使用者反饋

2）Mobile DevOps的歷史

Mobile DevOps是集團內部移動研發平臺的商業化輸出版本，最早於2017年由阿里雲和手淘團隊一起研發出輸出第一版專有云輸出版本，2020年04月上線第一個公共雲版本。
下面這張圖是Mobile DevOps的發展史，可以說Mobile DevOps的發展史其實就是阿里集團移動研發技術發展史，是阿里巴巴近十年移動技術、工程研發理念沉澱。

3）Mobile DevOps的現狀

專有云已初具規模
Mobile DevOps專有云主要面向大客戶，尤其是正在做數字化轉型的大客戶，這部分客戶對安全有很高的要求，基本只能接受專有云部署的模式，同時也願意為提升研發效能投入成本。
2018年Mobile DevOps以專有云場景正式落地輸出，目前已經為多個行業數十家大客戶創造價值，賦能企業研發流程數字化轉型。
公共雲免費公測中
相對於專有云，Mobile DevOps公共雲更多的是面向中小微企業，這部分客戶對研發效能提升有訴求，但是又對價格敏感，公共雲是很好的承接形式；同時阿里集團內部有些對外輸出的業務（例如專屬釘釘）無法基於集團內部研發平臺去做移動DevOps的，Mobile DevOps公共雲也是很好的選擇。
Mobile DevOps公共雲自2020.07開始正式對外免費公測，目前已服務以及眾多中小微客戶，以及阿里集團內部專屬釘釘、政務釘釘、唱鴨等客戶。

二、雲原生的Mobile DevOps

相對於專有云，公共雲場景下建設雲原生形態的Mobile DevOps面臨更多的技術挑戰，本章會跟大家分享我們在建設雲原生Mobile DevOps過程中的思考、遇到的挑戰以及我們的解法。

1. 為什麼需要公共雲的 Mobile DevOps

1）面向中小微客戶提供普惠型Mobile DevOps服務

雖然專有云部署具有獨享、內網安全隔離等優勢，但專有云交付的高成本註定只有行業高階玩家才有能力接受。專有云Mobile DevOps成本投入評估如下：
• 一次性投入：百萬級一性採購費用
• 持續投入：至少30 W/年伺服器成本 + 20 W/年人力維護成本
基於上述成本計算，專有云第一年、第二年、第三年的的投入成本分別為：150W ，50W，50W 累計200W，這對於中小微客戶是無法接受的。
阿里雲作為新時代的基礎設施，新時代的水電煤，有必要為更多大客戶以外的中小微企業提供普惠型雲服務。而公共雲形態的Mobile DevOps恰好符合這樣的理念，基於雲原生彈性擴縮容、按量計費的優勢，可以極大降低中小微客戶使用Mobile DevOps的成本。同時公共雲場景下針對中小微客戶的特點提供更適合目標客戶的DevOps研發流程。

2）聯動EMAS產品線為開發者提供一站式移動研發平臺

公共雲Mobile DevOps的上線，可以有效聯動EMAS現有移動測試、移動監控、移動熱修復等產品，讓EMAS覆蓋應用全生命週期，完成EMAS從移動中介軟體到移動研發平臺的升級，提升使用者體驗和粘性。
EMAS一站式移動研發平臺較傳統基於開源方案Jekins、Gitlab Runner等自建CI/CD平臺，在成本、高可用性、技術支援力度等方面都有明顯優勢，而且可以一站式覆蓋應用構建、測試、釋出、運維、運營全生命週期管理，較傳統自建CI/CD“煙囪式”的一個個獨立開源系統，研發協同效率上也有明顯優勢。

2. 公共雲 Mobile DevOps面臨的挑戰

相比專有云內網部署、內部員工使用的場景，公共雲形態下的Mobile DevOps會面臨更多的技術挑戰，主要體現在一下幾個方面：

1）安全性

• 租戶隔離
公共雲面臨的第一個問題就是租戶隔離，不同客戶既要同時使用共享資源，又不能互相看到對方的資料。對於構建這種場景，除了不同客戶的構建任務可能會互相影響，構建環境還涉及到使用者的程式碼、證書等私密資訊，必須要有完善的方案保證使用者構建環境的隔離
• 程式碼、證書、祕鑰等私密資料安全
有構建就必然涉及使用者程式碼、證書、祕鑰，這些資料都是極其隱私的資料，公共雲端儲存、傳輸、使用任何環節出問題都可能會導致使用者重大損失。
• 外部攻擊
公共雲由於暴露在公網任何人都可以使用，還面臨惡意黑客攻擊的風險，尤其構建場景涉及大量的自定義執行命令，必須要有完善的機制防止黑客執行惡意自定義命令在構建環境內留下後門。

2）高可用性

• 必須支援彈性擴縮容
公共雲業務規模增長時，需要業務要能快速擴縮容適應業務增長，否則就會導致服務異常。這就要求雲產品在技術實現上符合分散式的架構，尤其是構建叢集要支援無狀態快速擴容。
• 構建環境的穩定性
構建環境要穩定，避免因攻擊或異常使用導致的構建環境被破壞的情況，比如環境變數、構建工具鏈等。
• 高標準的SLA，實時線上，永不當機
高標準SLA既是對客戶的承諾，也是對阿里雲品牌的敬畏。

3）可擴充套件性

• 應用架構多樣化導致的構建流程差異大
專有云客戶數量有限，而且有完善的KA客戶技術支援服務，所以應用的差異有限且有專人支援接入。但公共雲環境下客戶眾多，應用架構多樣性對系統的通用性、擴充套件性提出了更高的要求。
• 研發流程多樣化
公共雲不同客戶研發團隊規模、研發文化、研發流程都有差異，也對Mobile DevOps研發流程擴充套件性提出了更高的要求。

3. 我們的解法

針對以上公共雲Mobile DevOps面臨的挑戰，我們從以下兩個方面通過技術手段去解決：

1）基於流水線的通用構建架構

流水線架構將構建做到通用化，基於流水線自定義編排構建流程，基於任務外掛擴充套件流水線業務能力，很好的解決了上述的可擴充套件性問題。此架構具有以下特色：
• 通用構建架構，支援全平臺構建能力
• 基於YAML自定義編排構建流程
• 流水線視覺化編排
• 流水線支援任務外掛無限擴充套件

2）基於容器化/虛擬化構建叢集

使用容器化（Linux）/虛擬化（Mac Os）方案可以徹底解決各種因資源共享帶來的安全性和穩定性問題，每個構建任務起全新的容器/虛擬機器執行，構建任務完成後容器/虛擬機器立即被銷燬，不僅可以有效隔離任務間執行環境，構建環境也“常用常新”，可以有效避免構建環境被破壞的問題；另外搭建穩定的無狀態 容器化/虛擬化 構建叢集，可以保證構建服務的高可用性。
下面第三、四章節，我們會對這兩個點分別展開詳述，解密其設計架構和技術細節。

三、基於流水線的通用構建架構

1. 技術預研

業界基於流水線設計的友商產品其實並不少，尤其是國外同類產品較多，比如 Azure DevOps Pipeline 和 Github Actions 兩款優秀的流水線產品，這兩款產品在功能豐富度、易用性、文件、使用者規模幾個方面綜合考慮較其他產品具有不少優勢。
Azure DevOps前身是Visual Studio Team Services（VSTS），是一款已經有十幾年歷史的軟體研發協作平臺了，其Azure Pipeline產品在2018年4月釋出[3]；Github Actions產品在2019年8月釋出[4]，是微軟收購Github後釋出的一個重量級產品。總體來說兩者都屬於比較新的平臺，Azure Pipeline也不過2年多的時間。
預研中發現一個有意思的現象，由於Github已經是微軟子公司，兩個流水線產品不僅設計概念上相似，技術預研中發現二者的Mac虛擬化方案也是彼此技術共享的，甚至Mac虛擬化叢集機房也是共享的。差異上Github Actions相對Azure Pipeline更為精簡優雅一些，另外Github Actions依舊延續Github開源的風格，其流水線外掛都是開源的，雖然上線僅1年多，已經有5000+開源外掛。從外掛的角度這是一座金礦，如果這批外掛都能直接在Mobile DevOps用起來，基本流水線的功能外掛就跟開源社群對齊了。考慮到未來支援這批開源外掛的可能性，最終Mobile DevOps設計架構上也更加擁抱開源社群的Github Actions。

2. 流水線的核心概念

• Trigger
觸發器，主動觸發一次流水線執行
• Pipeline
流水線，被觸發執行的最小單位。一個流水線可以包含1個或多個Job
• Job
Job是被排程的最小單位，按Job被排程到的執行環境不同可分為Agent（構建叢集）和Agentless（服務端）兩種Job；
多個Job之間有可以無依賴並行執行，也可以有依賴順序執行。多個Job之前的關係可以用一張DAG圖表示；
每個Job可以包含1個或多個Step
• Step
Step 是被執行的最小單位。每個Job由多個順序執行的Step組成
• Task
Task是預定義規格和功能的任務外掛，可以在Step中被宣告引用執行，一個Step只包含一個Task

3. 流水線的技術架構

流水線由以下幾個核心系統組成：

1) Pipeline流程引擎

負責流水線的觸發、編排、狀態流轉執行，以及流水線後設資料資訊維護。
流水線觸發器模組
觸發器模組負責觸發一條流水線的執行，支援手動、定時器、事件（git event，webhook回撥等）三種觸發方式。觸發器是流水線執行的唯一入口，在這一層可以做呼叫方的校驗和檢查，同時支援傳入不同的觸發引數控制流水線的執行和排程過程。
流水線編排模組
流水線編排定義了一套用於描述一條流水線的DSL語言，基於這套DSL語言可以準確定義一條可被排程和執行的流水線。
流水線執行模組

流水線執行模組主要確保流水線中所有Job都被按正確的依賴關係被並行或順序執行，並實時更新流水線流轉實時狀態。

2）Job排程引擎

Job是流水線中被排程的最小單位，Job排程引擎主要負責每一個從流水線流程引擎產生的Job被排程到正確的構建叢集機器上。

3）整合引擎

流水線中的任務外掛有兩大類，一類是Agent任務，比如Android、iOS構建，這類任務需要特定的構建環境，所以很自然的想到會被Job排程引擎排程到構建機上；還有一類任務是Agentless任務，比如審批、通知、外部系統呼叫等，這類任務只要在普通server端即可完成，無需佔用寶貴的構建資源，就會被Job排程引擎排程到整合引擎上執行。大部分Agentless任務都跟外部服務整合有關。

4）Channel通道服務

Channel通道主要負責構建叢集跟服務端的通訊鏈路和協議實現。主要實現如下功能：
• 構建叢集請求統一鑑權
出於安全性的考慮，構建叢集跟其他微服務處於不同的VPC，通過網路完全隔離確保構建叢集無法直接訪問到服務端內網。基於這個背景，上述“流水線技術架構圖”中的構建叢集訪問服務端走的是公網HTTPS請求，這就要對構建機請求做鑑權，Channel通道就是鑑權服務端收口
• 構建叢集請求統一收口
構建叢集需要跟服務端實時保持心跳、狀態上報、拉取任務、上報任務執行狀態，Channel是這些請求的收口，負責將不同業務的請求分配到不同的微服務上。

5）構建叢集

構建叢集主要負責拉取並執行Agent類構建任務，構建叢集中執行的服務負責啟動跟任務型別匹配的隔離構建環境：
• Linux平臺下啟動Docker容器
Android構建基於Linux平臺，Linux平臺下Docker容器化方案是環境隔離的不二之選，基於ACK serverless（阿里雲公共雲K8S類產品）啟動serverless Docker容器，執行完自動銷燬回收。基於雲原生的ACK serverless實現了構建叢集的彈性最大化，不構建幾乎不佔用任何計算資源，極大的控制了構建成本。
• Mac OS平臺下啟動虛擬機器
由於蘋果生態限制，iOS、Mac App構建只能在Mac OS系統下進行，而當前Mac OS沒有成熟的類似Docker類容器方案可以使用，最終我們基於虛擬化方案來實現環境隔離。我們自建了基於雲架構的Mac虛擬化叢集，將Mac物理資源徹底池化，可以快速完成叢集彈性擴縮容，完全符合雲原生的理念。每次構建都從虛擬化叢集中動態建立一臺虛機，構建完立即銷燬。
值得一提的是，Mac虛擬化叢集是我們的技術優勢，下面第五章我們將詳細Mobile DevOps在Mac虛擬化叢集方向的實踐。

四、Mac虛擬化構建叢集

目前Mobile DevOps的Mac虛擬化叢集構建方案在國內處於絕對的領先地位，我們“也許”是國內第一家基於Mac虛擬機器化技術實現iOS構建的DevOps平臺，國內支援iOS構建的廠商幾乎沒有，其本質原因其實是Mac虛擬化技術限制：傳統的Mac物理裸機構建只能在內部環境使用，根本不具備公共雲開放服務的條件。Mac虛擬化構建叢集方案是Mobile DevOps的技術優勢。

1. 虛擬化方案選型

受Mac OS平臺本身的核心限制，目前Mac OS平臺容器化方案極其不成熟，Mac OS平臺的環境隔離基本只剩下虛擬化這一條路可以走。
虛擬化型別的選擇
兩種型別的虛擬化方案如下圖所示，兩種方案都基於Hypervisor實現，兩個方案對比如下：

虛擬化方案1：
• 無宿主OS直接基於Hypervisor虛擬化VM，資源利用率高，更適合雲服務的虛擬化方案
• 對硬體相容性有更高的要求
虛擬化方案2：
• 在宿主機的OS上再基於Hypervisor虛擬化VM，更適合桌面使用者的虛擬化方案
• 由於有宿主機OS，硬體相容性更好
基於我們Mobile DevOps提供公共雲服務的考慮，選擇方案1可以更有效的提高資源利用率，硬體相容性只要選擇合適的硬體產品就能規避。
蘋果生態安全合規問題
蘋果生態封閉且有諸多安全合規限制，Mac平臺有如下法務合規限制：

1.MacOS必須執行Apple硬體之上
2.在商業用途下，一個Apple硬體只允許執行一個macOS例項

從上述4種虛擬化方案對比，只有方案4是兼具蘋果生態合規性和相容性的，而且方案4其實也是上節我們選擇的虛擬化方案1。基於上述虛擬化型別和蘋果生態安全合規性及相容性考慮，我們最終選定上述方案4。
##2. 雲架構的虛擬化叢集
要在雲上提供公共的構建服務，僅有虛擬化方案還是不夠的，還要有一套符合雲架構的虛擬化叢集方案，來滿足Mobile DevOps對構建叢集的訴求：
① Mac硬體資源池化 - 叢集中的各個Mac資源應該是無狀態的，所有Mac硬體資源共同組成一個資源池，可以被叢集統一分配和排程。
② 彈性擴縮容 - 公共雲業務規模存在一定的彈性，這就要求虛擬化叢集也可以適應業務場景，可以快速彈性擴縮容，跟上業務的增長速度。
③ 高可用 - 在個別Mac硬體裝置損壞的情況下，叢集可以快速自動響應將任務分配到新的虛機上，提高任務執行成功率。
從單虛機到虛擬機器叢集，除了上述的Mac硬體資源池化，還要解決硬體資源叢集化後新引入的分散式儲存和分散式網路問題，從虛擬化單機到虛擬化叢集如下圖所示：

五、未來展望

未來展望

目前公共雲Mobile DevOps還在公測階段，還有很多方向需要努力：
• 增加構建錯誤智慧分析、提示的能力。公共雲使用者眾多的情況下，構建錯誤答疑是巨大的人力成本，後續需要基於關鍵字匹配，大資料分析，甚至是AI自動錯誤歸類等技術手段直接提示構建錯誤原因，減少人工答疑成本
• 跟EMAS其他產品加強更多的聯動，讓Mobile DevOps串聯完整的應用研發生命週期
• 跟社群保持更好的親和性。支援Github Actions、Azure Pipeline等其他平臺流水線遷移到Mobile DevOps；任務外掛直接支援Github Actions 5000+開源外掛，享受開源社群紅利
• 加強被整合能力，讓Mobile DevOps移動研發平臺可以更好的整合到客戶現有的研發流程中
• 深度優化應用編譯構建效率，減少應用構建時長。終極目標是要雲上的應用構建時長大幅短於本地構建，讓開發者直觀感受到雲上構建的優勢
如果你對移動構建編譯技術、移動研發技術、或者雲原生的方向感興趣，並且你是一個喜歡技術挑戰的人，歡迎加入我們，我們的目標是“做國際領先的移動DevOps品牌”。➡️ 點選這裡，檢視崗位資訊。

阿里雲移動研發平臺EMAS https://www.aliyun.com/product/emas
阿里雲移動DevOps https://www.aliyun.com/product/emascrash/mobile_devops
釘釘公測群：30144463

引用文獻：

[1]Azure DevOps：什麼是DevOps？
[2]百度統計流量研究院
[3]微軟釋出Azure Pipelines，開源專案可無限制使用CI/CD
[4]所有開源專案免費使用，GitHub 內建 CI/CD終於來了！