Swift在GAIA平臺雲端一體化的探索

阿里巴巴淘系技術發表於2019-11-28

S1 階段在使用 SwiftUI 編寫集團內部使用的 SOT APP 時,有幸參與到 GAIA (FaaS)平臺雲端一體化的探索,從頭到尾實現了一套基於 Swift 語言實現的遵守 GAIA Funtion 標準的 Runtime Framework,並完成了從客戶端到後端使用統一的語言棧完成一體化鏈路的探索。

作為一個純 iOS Native 端開發者,對於後端的技術體感,大部分還遺留在上學期間做的論壇管理系統,加之 FaaS Serverless 等都是一些後端領域較前沿的技術點,尤其是在後端還算是初生牛犢的 Swift 語言,期間走過無數的彎路,但也學到了很多新的知識。

本文是對 Swift On GAIA 的階段性總結和思考。由於此次技術探索有較多跨端知識,作為一個移動端工程師的視角理解可能非常片面和有誤,如讀者發現對概念有解釋不對,歡迎大家留言區多多指正。由於在技術棧上前端生態已有較多探索, Native 端上的探索和技術儲備落後與前端,有些實現會隨著雲端一體化得探索而改變,並不是一個已經完備的解決方案,歡迎各位開發愛好者積極討論,造福生態。

PS:文末附郵箱,感興趣者可進行深入交流。

概念性介紹

Serverless

Serverless 起始是一個比較早的名詞,早到 2012年,彼時的我才剛背起小書包走進大學裡,但是早期的理論基礎已經被提出。

隨著 2014年 AWS 的 Lambda 產品出現, Serverless 為雲中的應用提供了一種全新的架構體系, Serverless 開始大火,之後各大雲端計算廠商的加入,Google Cloud Functions, Azure Funcions, IBM OpenWhisk Aliyun 以及其他國內的雲端計算廠商,如 華為雲,騰訊雲,百度雲,短短數年時間 Serverless產品已遍地開花。

隨著容器技術,IoT,5G,技術的快速發展, 技術上對去中心化,輕量虛擬化,細粒度計算等技術需求愈發強烈,而 Serverless 必將借勢迅速發展,對將來的富客戶端的研發模式的改變,則需要我們這些技術人持續的去探索和創造了。

我們在理解 Serverless 的過程中先來看一看雲服務的進化史,雲端計算經歷了物理機房 -> IaaS -> PaaS -> SaaS -> FaaS/BaaS 。

▐  IaaS

IaaS(Infrastructure as a Service)基礎設施即服務。指把 IT 基礎設施作為一種服務通過網路對外提供。在這種服務模型中,使用者不用自己構建一個資料中心,而是通過租用的方式來使用基礎設施服務,包括伺服器、儲存和網路等。在這層公司通常購買的是儲存,網路的基礎服務。

▐  PaaS

PaaS(Platform as a Service) 平臺即服務,服務商提供基礎設施底層服務,提供作業系統(Windows,Linux)、資料庫伺服器、Web伺服器、負載均衡器和其他中介軟體,相對於 Iaas 客戶僅僅需要自己控制上層的應用程式部署與應用託管的環境。通常在這層使用者一般購買的是作業系統

▐  SaaS

SaaS(Software as a Service) 軟體即服務,SaaS 是一種通過 Internet 提供軟體的模式,使用者不用再購買軟體,而改用向提供商租用基於 Web 的軟體,來管理企業經營活動,且無需對軟體進行維護,服務提供商會全權管理和維護軟體,通常這些常用的軟體有 資料庫,網路服務,等。

可以通過 Microsoft Azure 服務的一張圖來直觀感受下

Swift在GAIA平臺雲端一體化的探索

▐  FaaS

FaaS(Function as a service) 函式即服務,服務商提供一個平臺,允許客戶開發、執行和管理應用程式功能,而無需構建和維護基礎架構。按照此模型構建應用程式是實現“無伺服器”體系結構的一種方式,通常在構建微服務應用程式時使用。

使用 FaaS 構建的軟體服務,開發者對底層的硬體平臺,作業系統平臺,軟體平臺,越發的透明,開發者只需關注核心的函式(功能實現)即可完成自己所需要的事,內部的部署,運維,彈性,都不需要開發者關心。

FaaS 主要有以下的優點:

  1. 低成本

  1. 快速擴容

  1. 更簡單的管理:

  1. 綠色計算

目前國內外雲端計算廠家基本都支援了 FaaS 的服務。

GAIA

GAIA是什麼?

按照官方文件 空濛 團隊的介紹 GAIA是淘寶新一代雲端一體化輕量級研發平臺 詳細的可參考 ☞ “一次編碼、到處執行”,淘寶雲端一體化探索

GAIA解決的問題:

  1. 應用”承載多業務服務,並與基礎設施依賴緊密耦合,“應用”負重前行。

  1. 應用的交付流程成本高。

以上的介紹考慮的是後端技術棧的問題,下面來看一下客戶端的視角。

作為 iOS Native 開發者看到更有體感的切入點是所見即所得(What You See Is What You Get ),function版本化交付執行。

Swift在GAIA平臺雲端一體化的探索

GAIA 平臺大大縮短了後端的研發鏈路,提高了交付成本,遮蔽了運維細節,這對於一個跨棧的開發者也能簡單理解。

GAIA容器架構

看過 GAIA 的概念,有必要簡單的瞭解一下 GAIA 容器架構。

Swift在GAIA平臺雲端一體化的探索圖中右側部分,紅色的 Function是真正的業務程式碼,可以以一個非常輕量,以函式級別交付,被 Function Framework 載入,並按照規範的生命週期管理函式的生命週期、健康檢查、業務呼叫等,通過RPC 與 SideCar 通訊,SideCar Container 負責服務發現,流量管控,Function Event,這部分可以理解為規範,與語言無關,實現一套即可。

  • GAIA 容器定義

GAIA 作為一個 FaaS 架構,有很多事情需要考慮,如服務發現,日誌監控,運維管理,通訊規則等,但這些都是內部實現的細節,是不需要業務方來了解的,這裡也就不做多贅述。

Swift On GAIA

Swift在GAIA平臺雲端一體化的探索

作為一個端上開發者,恰逢使用 SwiftUI 構建 SOT APP 移動版,在滿足需求的同時,有探索新技術。

但是作為一款資料大盤的 APP,資料從哪裡來?從後端資料庫,由於之前從未有過移動端APP,後端同學並未對外提供 MTOP 的介面供移動端使用,瞭解到可以在 FaaS 平臺呼叫已有的 HSF 服務,返回領域內的模型,GAIA 平臺可以對外發布為 MTOP 介面,剛好滿足需求。

前期的調研中,發現 GAIA 的平臺語言棧選擇了後端的王牌語言 Java,Function Runtime Framework 最早版本只支援Java,後期隨著前端棧的探索和 閒魚團隊的 Flutter 探索,目前平臺已經支援 Dart Runtime, Node.js Runtime。

作為一個 iOS Native 開發者,沒有自己熟悉的語言怎麼辦?Swift 於 2019年 WWDC 宣佈 釋出 5.x 版本,Swift5.x 版本 ABI 穩定,標誌著 Swift 正式進入成熟語言行列,加上 Swift 誕生之初就是一門跨平臺的語言,並且也有開源的 Server side workgroup推進著 Swift 在後端領域的探索,也湧現出一些 知名的庫 Kitura  Vapor Perfect Zewo。

Swift在GAIA平臺雲端一體化的探索

於是我們嘗試用 Swift 構建一套 Function Runtime Framework,先來了解下 Runtime Framework 是為了完成什麼?

Swift Runtime Framework 需要完成如下操作

  1. Swift 執行時初始化。

  1. 日誌監控

  1. 通訊協議

  1. 集團已有中介軟體呼叫

  1. Function 排程

  1. 釋出系統構建

在後端部署的服務都是可彈性的,GAIA 也不例外,Swift Function Runtime, Swift Function 交付都是製作成 Docker Image 統一交付。簡化如圖所示。

Swift在GAIA平臺雲端一體化的探索

  • Swift 執行時構建

Swift 語言是跨平臺的,包括 Apple‘s OS, Linux Windows Android,RespibarryPi,但是官方放出的 ToolChain 只有 Ubuntu,其他都需要從原始碼手動構建, 集團提供的雲 Server 是 CentOS,需要手動構建並製作 Docker Image。

  • 日誌監控

作為一個後端系統,不可能像移動端程式次次通過斷點除錯,排查線上問題時,日誌規範非常重要,這裡按照 GAIA 的 Function 規範實現即可。

  • 通訊協議

由於業務 Function 都是通過容器交付,業務方實現的部分都是一個簡單的函式,這個函式被呼叫時是通過 SideCar 程式通過 RPC 呼叫而來的,因此需要實現GRPC 通訊,這裡使用的是 Google 開源的 Protobuffer 和 GRPC 的 Swift 版本實現。

由於 Swift 語言通常的開發者都是 Apple 平臺的開發者,使用的開發工具都是 Xcode,但是為了交付到後端,只能使用 Swift Package Manager 交付,開發使用 Xcode 或者 Visual Studio Code Remote 開發。

  • 集團已有服務通訊

任何新平臺,新架構的出現都需要一個漸進式遷移舊技術的能力,GAIA 也不例外,GAIA 背後遮蔽了很多集團已有中介軟體的能力和生態,在阿里的語言棧是 Java ,但是對於一個新的語言棧則是困擾,因為原有的的語言棧並不是語言中立,平臺中立的,如 HSF Tair EagleEye 等。

但幸好的是目前這些中介軟體生態還有一套 CPP 版本的 SDK 維護,Swift 天然就是和 C 混編的,C 可以呼叫 CPP,目前呼叫其他中介軟體服務通過 Swift 和 CPP 混編實現。

一個典型的業務互動時序圖如下:

Swift在GAIA平臺雲端一體化的探索

正式上線

Funtion Runtime Framework 完成後,就可以通過 GAIA 的釋出平臺建立函式,編寫自己的業務程式碼裡,這裡就不分享如何操作了,直接上示例程式碼和效果圖。

//
//  File.swift
//
//
//  Created by nero on 2019/9/12.
//

import GAIA
import HSF
import Foundation

struct EventResult: GAIA.EventResult {

    var isSuccess: Bool  = true
  
    var code: String = "200"
    
    var message: String = "SOT Test"
    
    var payLoad: TestContent
    init(payLoad: String) {
        self.payLoad = TestContent(content: payLoad)
    }
}

struct MtopUserQuery: Codable {
    let pageNo: String 
    let pageSize: String
    let appName: String
}

struct PageQuery: HSFModel {
    let javaClassName = "com.xx.PageQuery"
    let request: PageQueryRequest
    let pageNo: Int
    let pageSize: Int
    init(pageNo: Int, pageSize: Int, appName: String) {
        self.pageNo = pageNo
        self.pageSize = pageSize
        self.request = PageQueryRequest(appName: appName)
    }
    let apiConsumer = PageQueryAPIConsumer()
}

struct PageQueryAPIConsumer: HSFModel {
    let javaClassName = "com.xx.ApiConsumer"
    let clientName = "SOT-APP"
    let token = "xxx"
    
}

struct PageQueryRequest: HSFModel {
    let javaClassName = "com.xx.AppQueryRequest"
    let appName: String
}

class Handler: GAIA.FunctionHandler {
    
    init(){}
    var consume: ConsumerService
    func handle(when event: Event, context: FunctionContext) throws -> AnyEventResult {
        switch event.payLoad {
        case .mtop(body: let mtopRequest):
            do {
                let query = try JSONDecoder().decode(MtopUserQuery.self, from: mtopRequest.data)
                let sotQuery = PageQuery(pageNo: query.pageNo, pageSize: query.pageSize, appName: query.appName)
                let jsonStr = try consume.invoke(methodName: "queryApp", args: [sotQuery])
   
                return EventResult(payLoad: jsonStr).erasedEventResult
            } catch {
                
            }
        default:
            break;
        }
        return EmptyEventResult().erasedEventResult
    }
 
    func active(when context: FunctionContext) {
    }
    
    func destroy(when context: FunctionContext) {
        
    }
    
    func isHealth(when context: FunctionContext) -> Bool {
        return true
    }
}

Swift在GAIA平臺雲端一體化的探索

GAIA 雲端一體化的思考

Swift On GAIA 在雲端一體化的探索一期圓滿結束,一個 iOSer 也可以同時開發前後端程式,這對研發模式也創造了一些新的可能,最近也多次聽大佬們的一些分享,如閒魚團隊使用 Dart+flutter 在雲端一體化研發模式的探索,有一些不成熟的視角,暫且記錄一下。
  • 技術棧日常研發除錯的困難?

在研發模式交流和一些實際探索的體驗中發現,端上的研發風格和後端的研發風格差異較大,端上的同學傾向於打斷除錯,實時預覽效果,背後的原力是因為端上要更快的交付,端上的環境更容易構建,但是後端的同學更傾向於日誌系統,鏈路追蹤。但其實無論是斷點除錯還是日誌系統,本質上需要一個有效排查問題的系統,不然在實際開發中,由於跨技術棧會讓除錯的成本變大, 系統一旦複雜起來反而會拖慢效率。

  • 工程結構的升級

在 Swift On GAIA 的實際體驗中,使用的開發工具,應用交付方式,都不統一,各個語言棧都有自己的研發風格,工具鏈支撐,研發模式和工具鏈體系也需要對應的升級,避免鏈路過長,工具鏈割裂。

  • 領域的邊界是什麼?

目前閒魚的大佬在 GAIA 完成了 Dart Function 環境的支援,可以讓客戶端同學向前更進一步,自己完成後端的能力,實現無上下游依賴的業務閉環,並且遮蔽後端的細節。

不過在一些細節上的分析,發現不同的業務場景碰見的挑戰還是不同,如果一個 Function 只使用已有的基礎設施,如介面聚合,簡單的邏輯處理是比較合適的,但如果這個業務連資料的生產者也由客戶端的同學來寫複雜度就變大了,因為跨端的思維方式不同,大前端同學可能不會思考更多儲存的設計,未來在業務擴大時就可能不容易擴充套件。

那麼在實現業務的的時候,如何界定一些領域的邊界是一個值得思考的點,需要一些方法論或者指導原則,來幫助 Function 同學決策這款技術選型的可擴充套件性。

  • 人員組織架構升級

如果研發模式大升級,傳統的後端 API 釋出,各端接入的人員上下游關係勢必會發聲比較大的變化,如何找到人員組織的方式也是需要重新定義和調整的。往小了說乾的活分配不一樣了,往大了說 組織架構也需要適應時代調整。

  • 中介軟體語言中立,平臺中立

目前後端大部分的語言棧都是 Java ,其中集團部分團隊使用 CPP,湧現了多個 CPP 版本的 SDK 用來呼叫 Java 的生態框架,如 HSF CPP 版本 Tail CPP 版本 ,隨著 GAIA 平臺接入語言棧的變多,加上富客戶端 Swift/Kotlin/Java/Javascript,要不要做一些類似 Protobuffer 這種通過中立的 DSL 定義解決語言差異性。

這裡作者是不太認可一套語言解決所有環境的,一是目前手淘的生態分為 Native+Weex+H5+小程式,本身就難以聚合,二是單拿 iOS 端,在蘋果限制下的跨平臺總是有部分取捨的,不能解決全部問題。

  • 領域特定/通用

未來 Swift 在 FaaS 平臺上是朝著解決通用能力去前進還是構建領域模型,構建領域特徵可以構建領域生態的 API,定義業務的模式,類似星環的風格,如果構建的是通用能力,解法可能是另外一種。

One More Thing

淘寶基礎平臺團隊正在進行社招招聘,崗位有 iOS Android 客戶端開發工程師、Java 研發工程師、C/C++ 研發工程師、前端開發工程師、演算法工程師。

歡迎投遞簡歷至 :junzhan.yzw@taobao.com

參考
1、當我們聊Serverless時你應該知道這些
3、What is Azure
4、基礎設施即服務wiki百科
5、IaaS,PaaS,SaaS 的區別
6、平臺即服務wiki百科
7、FaaS
8、Kitura
9、Vapor
10、Perfect
11、Zewo
15、Knative:重新定義 serverless

相關文章