作者：呂莫、新鈺

## 前情介紹

大家好，我是“交付哪裡有問題就錘哪裡”的王小錘。不知道大家是否還記得我們交付鐵三角（專注軟體交付的我、頭髮略顯稀疏的開發老哥鐵子以及售前大佬強哥）去年被各種交付問題折磨的故事。好在去年我們驚喜的發現一本“獨家交付秘籍“。透過一段時間的招式學習與瞭解，我們發現：

- 整體交付流程變得格外清晰，交付效率大幅提升。

- 減輕繁重的複雜環境適配、自搭元件運維平臺等研發工作，交付流程縮短。

- 透過模擬線下環境演練使交付質量得到改善。

- 交付後的問題排查和運維工作也變得格外輕鬆。

交付的提速以及交付質量的提高，也著實驚豔到了客戶，第一次讓我在客戶面前挺直了腰板。

雖說鐵子的研發團隊著眼於業務自身發展，但秉持著技術人員的嚴謹與探索欲，鐵子對這些招式為何能以一敵十，輕鬆提效到小時級交付，產生了強烈的好奇心。帶著這樣的疑問，我們透過雲原生應用交付平臺 ADP（簡稱 ADP）的產品交流群（釘釘群號：35138456），聯絡上 ADP 團隊的技術小哥阿莫。下面帶大家一起回顧下那天的場景，看看阿莫是如何為我們拆解秘籍中的招式，以及如何把不勝其煩的軟體交付難題逐個擊破的吧！

## 與 ADP 團隊的第一次握手

那時已是寒冬臘月，不過再冷的天也抵攔不住我們交付鐵三角對於知識的渴望，所以我們趁著年前不是那麼忙的時候（絕不是藉機划水/滑稽臉）來到了阿里雲進行拜訪。抱著就具體的軟體交付難題進行深入探討，以及瞭解更多技術細節（絕不是藉機偷學招式）的目的，我們一行人與阿莫相遇了。
 
見面那天，我一個箭步上前，握住了阿莫的手。以這次握手為開端，我們一行人與 ADP 結下了不解之緣。握手後我連忙介紹道：“阿莫您好，我是王小錘，主要負責軟體應用交付工作，旁邊這兩位是負責研發的鐵子，和我們的售前強哥，之前用 ADP 產品的時候我們們線上溝透過。今天，我們主要是抱著學習的心態，想請您更為全面地介紹下 ADP 交付秘籍中的招式。另外，我們還想請教些實際碰到的交付問題。接下來先向您先介紹下我們的公司情況吧！”
 
鐵子介紹道：“我們是一家大資料產品的軟體應用供應商。因為我們的資料產品可用於各行各業，所以我們現在交付的環境五花八門。而且從開始成單到軟體交付部署完成，再到最後的運維保障，在這些階段我們各個角色均會遇到些煩心事。”

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/32fb55aabd6645398518fb62daa077ab.png#pic_center)

### 煩心事 一：產品適配成本高

- 一些金融行業的客戶出於資料安全性的考慮，會要求將我們的產品部署在他們本地執行。

- 一些企業進行 IT 轉型時甚至還會提出信創要求。

- 一些客戶出於節約成本的考慮，需要我們用他們本身已有資料庫、雲服務。

這些情況導致整個研發團隊需要投入大量精力，基於不同的執行環境、OS 以及 CPU 架構去做適配。在業務應用改造的同時還需適配應用所依賴的繁多的中介軟體。這些中介軟體在不同環境中執行是否能夠滿足業務，如果出了問題該如何運維，這些問題在我們進行產品改造時深深的困擾著我們。”

### 煩心事 二：部署環境極複雜

我補充道：“對於我們交付團隊亦是如此，交付環境、資源配置各異，產品非標準化等都可能導致產品交付易出錯、效率低、週期長，每次去交付都提心吊膽。如果產品還沒成單，售前強哥還需到客戶現場先進行 POC，他出差耗時耗力，這些都花了公司很多錢，好在他是售前大佬，這些成本老闆才沒有和他格外計較。

### 煩心事 三：運維低效且門檻高

“而且客戶環境存在較多的不確定性，比如硬體故障，機房突然停電等都可能造成應用無法重啟、中介軟體無法自動恢復、資料丟失等不可逆影響。如何提前發現、快速恢復、高效運維等問題令我們頭疼已久。好在 ADP 改變了我們的交付方式，這些問題有了很大的改善。”

### 重大改變

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/d164d4b5d06c4ea5945c2f69b4e5a973.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

簡要描述完我們的改變後，我繼續道：“對於我們現有軟體交付問題 ADP 基本均可涵蓋，但根據強哥現在在談的一些專案情況來看，今年我們可能會遇到更為複雜的軟體交付場景，就這些交付痛點我們們看下如何應對可好？”。

## 軟體交付秘籍介紹

阿莫聽完，面露喜色，激動得說道：“聽到 ADP 真正切切的幫助你們解決了難題，真替你們高興。我們的秘籍招式就是為了解決這些問題而生的，接下來先和大家聊聊什麼是 ADP。對於這次的碰面我特地準備了很多幹貨，這也是我們服務客戶的態度，定讓你們滿載而歸！

### ADP 簡介

ADP 是一套完整的“軟體產品”私有化交付秘籍，幫助大家解決軟體在私有化部署交付時存在的**異構適配難、部署環境雜、雲服務依賴重和運維效率低**等諸如此類的交付難題。

先和大家解釋幾個名稱，我們們統一口徑便於理解：

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/fee03092720a4cabbf4e6795d6e8f317.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

一張圖帶你們看懂 ADP，? ADP 分為線上化平臺和本地執行平臺兩個模組。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/336c042344b64313a06a76e2fd256cf2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

線上化平臺：由 ADP-online 和服務目錄兩部分組成。為軟體產品、服務元件提供從接入、整合驗證、私有化軟體交付的全棧線上化服務。

本地執行平臺：由叢集映象 Sealer、應用管控、ADP 底座三部分組成。為保證軟體交付一致性和實現異構 IaaS 交付負責。

介紹到這裡時，不知是為了讓我們消化下，還是看到了鐵子欲言又止的表情。阿莫頓了頓繼續道：“我們們有了基本的認知之後，看看接下來你們有什麼想要具體瞭解的模組和問題呀？”

## 招式一 ：全棧式線上化服務

藉著這個機會，鐵子急忙問道：“我們公司現在有個資料產品，進行改造時發現需要依賴較多中介軟體。我看過你們服務目錄中的服務元件，很豐富也滿足我們產品要求，但我們仍然擔心中介軟體的穩定性。因為之前我們用的開源軟體，其穩定性讓我們很是頭疼，這個部分你們是怎麼保障的呢？”

### 中介軟體適配

阿莫解釋道：“中介軟體的穩定對業務正常執行以及後續運維都至關重要，這點我們有做深度的保障，均可線上化實現。

首先，我們服務目錄中所提供的中介軟體、資料庫等服務元件是由阿里雲一方和我們的合作伙伴提供的，均經過大規模驗證，驗證過程如下，經過這一系列驗證後，滿足條件的服務元件才可以上架服務目錄。

- 將服務元件透過二進位制工具 zlink 上傳到 ADP 線上化平臺。

- 元件驗證平臺會對元件進行規範校驗、映象校驗、映象安全掃描、可安裝性校驗、監控告警支援校驗等一系列操作，全方位對元件可靠性進行驗證。

- 將元件部署到驗證環境中利用通用能力中心的能力對元件進行一系列故障注入演練來驗證服務元件的穩定性，如：主機斷電、磁碟打滿、副本重啟等。

- 最後還會透過幾種代表性配置的環境壓力測試給出效能報告。

不僅如此，我們們企業的軟體產品上傳到線上平臺後也是走同樣的流程來保證質量的。對了，聽完上面的介紹是不是放心些了呢？”
 
這時看到鐵子不住的點頭，我與強哥對視一眼表示詫異，作為邏輯縝密問題度極多的鐵子居然還有頻頻點頭表示認可的時候？平時討論技術方案他總是會站出來提出質疑的呀？今天怕是不好意思問？果然還是那個他，他發問了，不愧是鐵子！鐵子問道：”你剛才提到說服務元件和我們的軟體產品都是走一樣的流程進行穩定性保障，那這兩者是否有差異？“

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/876c6df39c6446cb81b1eec9306f17df.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

阿莫解釋道：“ 從整個線上化平臺的角度來看，對軟體產品和服務元件提供的這部分驗證能力確實是一致的。但是主要差異在於：

- 服務元件提供商的目標是元件上架到服務目錄被其他產品被複用。比如我們們企業，或者其他企業。

- 自身軟體產品走這個流程更多的是為軟體應用提供更充分的驗證方式，能夠快速的在從私有化環境交付到客戶環境。”

強哥站了起來問道：“**你看 POC 環境現在透過 ADP 我自己點一點就可以快速搭建好，可以看出你們為軟體交付變得高效、簡單做了不少努力。不僅如此，我看鐵子他們交付的速度也變快了。請問 ADP 是如何做到讓軟體交付變得高效、簡單的呢**？”

### 簡化交付流程

阿莫輕輕一笑，身體微微後仰，喝了口水說道：“什麼是軟體交付秘訣？這就是軟體交付秘訣中絕學所在，也是我們最具創新的部分。

1、ADP 平臺利用的公有云彈效能力、Sealer 叢集打包以及建立 K8s 叢集的高效性，配合工作流引擎的合理排程和驅動，已實現 15 分鐘就能拉起一套驗證環境。

2、為了讓客戶儘量全面的驗證，我們同時還支援信創環境的拉起。確保交付出門前都得到重複驗證的。

3、通用能力中心提供壓測能力、安全能力以及故障演練等確保產品的穩定性和魯棒性，確保產品適配各種複雜場景。容量規劃能力還 100% 模擬了 K8s 排程器邏輯，結合客戶提供的資源資訊能夠分鐘級得出是否可以實現交付。

4、對於部分可以用公網或者提供了遠端登入方式的環境，還可以利用遠端交付能力實現快速交付。”

一口氣說完這些，阿莫又喝了口水，好似意猶未盡，準備繼續持續輸出。nice～

## 招式二：異構環境全覆蓋

趁著訪談氣氛的持續升溫，我們立馬丟擲更多交付問題，我提出：“**你講的太好了，ADP 平臺上面提供的功能我們用了，確實效果也和你描述的一致。但是很多時候交付到不同的環境，我明明看平臺上利用的是公共雲的環境，但當我拿著包去客戶現場交付的時候也沒什麼問題。我們還有個客戶讓我們交付到阿里雲容器服務 ACK 叢集上，也是成功的。甚至 MySQL 我想用公有云的 RDS 切換也很方便，這些你們都是怎麼做到的**？”
 
阿莫繼續介紹道：“太優秀了你們，發現了我們產品很多用心打造之處。我們在異構交付上面也下了較多的功夫。比如軟體交付效率提升和軟體交付一致性的問題，ADP 主要是利用叢集映象技術從叢集的維度將ADP底座和客戶軟體產品統一封裝來解決的。”

- 叢集映象技術（Sealer）實現異構 IaaS 交付。Sealer以叢集的維度保證軟體交付一致性的同時負責異構 IaaS 軟體交付。

- 應用管控元件實現異構 K8s 交付。應用管控元件負責軟體產品的安裝、執行、銷燬生命週期管理，以及負責無 ADP 底座的場景下，軟體產品的異構 K8s 軟體交付。

- 服務元件的 BaaS 化實現元件基本的異構交付。

### 異構 IaaS 交付之叢集映象（Sealer）
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/594c296ac8a1429abf6f63a8fd3c1f12.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

1、Docker 可以透過 Dockerfile 構建一個 Docker 映象，使用 compose 就可以執行容器。

2、而 Sealer 是透過 Kubefile 構建一個 CloudImage，使用 Clusterfile 啟動整個叢集。

透過與 Docker 的類比，可以一目瞭然的看到叢集映象是叢集維度的 Build Share Run，ADP 則是利用 Sealer 的叢集建立高效性和叢集維度的打包能力將 ADP 底座和軟體產品Build為叢集映象，以解決交付效率和交付一致性問題。

Sealer 作為 ADP 對外開源的專案，已有眾多企業深入使用並輸出成功案例，這裡就不過多介紹。你們感興趣可以進一步瞭解：
https://github.com/alibaba/Sealer

### 異構 K8s 交付之應用管控元件

接下來我們來聊聊透過應用管控元件是如何實現異構 K8s 交付的？

ADP 的應用模型其實是 ADP 軟體產品的頂層抽象，基礎資訊包括後設資料、設施依賴、元件（服務元件與使用者元件）等。

- 線上平臺圍繞該模型經歷編排、整合驗證、演練、資源規劃等不斷完善軟體產品的模型資訊，最終成為可交付產品。

- 本地執行平臺則透過申明式 API 來描述該模型，應用管控元件的軟體交付工作流會精細化管控軟體產品的交付、升級流程，同時，時時回吐產品的元件狀態、產品狀態、異常資訊等，但需要注意的是 ADP 的元件主要透過 helm chart 進行包裝。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/8b3df37823834fc6a242427f991ffcbf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

應用管控主要由兩部分組成。

1、operator 核心為 K8s controller + 軟體交付工作流引擎，分析處理元件間的依賴關係有序完成產品軟體交付、升級、運維等操作。

2、利用 K8s 作為公共抽象層可實現應用的高度一致，但不同 Kubernetes 環境不免會存在儲存配置、網路外掛、映象倉庫等等一系列微小差異，而 webhook 利用 mutate webhook 機制來抹平這部分差異，實現異構 K8s的軟體交付。

### 面向開放生態

看了上面的架構可能會聯想到目前社群很火的 OAM+kubevela 。以更加開放的體系，更方便的服務更多使用者，我們確實也認可這個趨勢，目前已經和 Kubevela 的同學積極交流合作，架構上慢慢會往 kubevela core + kyverno 方向演進。

另外，Backing Service 一直是雲原生領域的熱門話題，ADP在私有化交付領域可以實現使用者只需宣告一份服務元件定義即可實現到處交付，在不同場景下可由不同的provider提供一致的服務，就離不開Backing Service這項技術的功勞。具體怎麼實現的你們可以猜一猜，下次來再給你們揭秘哦～

## 招式三 ：穩定可運維底座

看著越聊越起勁的阿莫，我們沒有打斷他。他繼續介紹道，近日你們可能也關注到阿里雲容器服務向 ACK Anywhere 升級，針對異構 IaaS 推出了阿里雲容器服務發行版（以下簡稱 ACK Distro）。

這裡我們們就不具體介紹 ACK Distro 了，如果感興趣的話連結我發給你們

1、產品官網：
https://www.aliyun.com/product/aliware/ackdistro

2、Github 地址：
https://github.com/AliyunContainerService/ackdistro

而 ADP 底座則是針對產品私有化交付領域的商業化版本，在 ACK Distro 基礎上做了諸多增強。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/13d9e43cac54475c823f31a582f6eb5e.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6Zi_6YeM5be05be05LqR5Y6f55Sf,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)

阿莫這時終於停了下來，準備緩一緩再講，但是鐵子聽到這麼多幹貨，一時沒忍住。望向阿莫脫口而出道：“那麼 ADP 底座針對私有化交付領域具體做了哪些增強呢？”

阿莫快速的把手中的水一飲而盡解釋道，不急，你聽我慢慢道來。

基於阿里開源的叢集應用打包軟體交付工具 Sealer，一定程度上已經非常好的解決了軟體交付效率和軟體交付一致性問題，但如何讓應用執行得更好，資源規劃更合理，都是需要大量的軟體交付經驗才能積累起來的。ADP 透過 Sealer 的外掛能力將阿里雲多年的交付經驗結合到了 Sealer 中，包括環境網路儲存等預檢、機器時鐘同步、OS 引數調優以及儲存裝置的智慧分割槽等。
 
前面提到的環境不確定性可能導致不可逆影響，那這時資料備份恢復能力就變得尤為重要。ADP 底座中的運維能力中心 ADP - Local （以下簡稱ADP - Local）利用Kubernetes 的卷快照能力（儲存外掛 Open Local 實現）、Velero 的卷快照 K8s 資源備份能力、restic 的檔案快照備份及恢復能力結合 S3、NSA 等遠端儲存或本地硬碟再加上統一排程引擎的配合實現了元件、軟體產品、K8s 叢集等維度的備份及恢復能力。
 
ADP- Local 則是私有化環境統一的監控、運維、故障診斷入口。

- 它結合 Prometheus、Loki、Grafana 等成熟的雲原生方案實現監控、告警能力。

- 同時結合輕量化 FaaS 框架可插拔式的實現元件、叢集的運維及故障診斷能力。

- 且基於故障診斷結果實現智慧運維。

ACK Distro 的安全可靠性、敏捷易用性、體驗一致性、多樣相容性再結合環境調優、穩定性、可監控、可診斷、可運維等方面的增強很好的解決了私有化軟體交付領域異構環境支援難、運維難的問題。
 
講到這裡，阿莫帶著略顯沙啞的嗓音說道，如果這部分如果你感興趣，我們們下次再聊。

我扭頭看向鐵子，之前鐵子緊皺的眉口已經舒展開來，好似壓在心頭的不解已煙消雲散。再聽阿莫從清脆響亮的嗓音跟我們聊到了略帶沙啞，我心中暗想這次乾貨不整理下來幫他們好好宣傳宣傳怎麼行。於是我將這個想法和阿莫進行了溝通，並與他約定下次拜訪再來請教運維那些事，就這樣我們帶著滿滿的乾貨心滿意足的離開了。

對了，聽到我們說想幫助 ADP 團隊宣傳，阿莫無比認真的說，認真聽課的孩子有驚喜哦～

**下面是阿莫的廣告時間**：

如果您看懂上面所描述的招式。那麼恭喜您，您掌握了全新且先進的軟體交付理念，快去拿著這份武林秘籍去與軟體交付難題過招吧！

透過 ADP 平臺，您將獲得

- 軟體交付提效，客戶誇讚的眼神多次。

- 節約人力與軟體交付成本，老闆讚許的肯定多次（也許存在升職加薪可能喲～）。

- 減少加班次數，更多的時間陪伴家人，得到老婆愛的抱抱多次。

驚喜大禮：

1、您已清晰的瞭解並可快速上手透過 ADP 產品實現軟體交付啦。

2、現 ADP 為了更好的助力客戶成功，將持續開放試用活動至3月底。上次試用活動沒有趕上的小夥伴們這次可不要在錯過了哦，同時也歡迎大家向小錘團隊學習，來找我們瞭解更多技術細節呀～

大家可以點選下方[此處](https://www.aliyun.com/activity/middleware/adptryout)進行試用活動報名。
 
關於小錘他們之前遇到過哪些軟體交付難題，點選下方連結檢視，我堅信小錘與我們 ADP 之間的故事仍將繼續，讓我們一起期待下次的第二次握手吧，未完待續，敬請期待。。。

（本文純屬虛構，如有雷同純屬巧合）

獨家交付秘籍之招式拆解（第一回）

相關文章