Serverless 在構建應用上為我們節省了大量的運維與開發人力，在基本沒投入基建人力的情況下，直接把我們非常原始的基建，或者說是資源管理水平拉到了業界相對前沿的標準。最直觀的資料是，我們組僅投入了個位數的人力，就可以為TapTap整個搜廣推相關的所有業務提供全套AI和大資料方面的支援。————陳欣昊

## 心動介紹

心動創立於 2003年，是一家全球遊戲開發和發行商，擁有豐富的研發、發行和代理運營經驗。截至 2022 年中，心動運營 38 款免費和付費遊戲，在全世界擁有 5,000 萬月活躍使用者，主要分佈在大中華地區、東南亞、北美和南美。2016 年，心動推出手機遊戲社群和應用商店 TapTap，玩家可以透過官方渠道免費或付費購買下載手機遊戲，亦可在社群中與其他玩家交流，截至2022年6月，TapTap 在全球已擁有超過5,000萬月活躍使用者。
## 
業務背景

TapTap不同於傳統的應用商店的分成模式，至今一直堅持做渠道零分成，這也決定了，TapTap目前的商業化，主要由廣告驅動。TapTap的廣告屬於站內的原生廣告，與其他非商業化在內容上形態保持高度一致，給使用者更好的體驗。比如首頁的遊戲推薦，發現頁的內容推薦，搜尋引導頁的底紋詞，以及搜尋輸入時會出現的搜尋建議詞，還有搜尋最後的落地頁等等，廣告的部分就穿插在這些戰略內容之間。

我們的serverless實踐也是基於這幾個業務場景的實際需求來進行推進的。例如，目前搜廣推都依賴的深度學習模型自動化更新/部署，以及組內演算法同學都需要依賴的模型實驗記錄平臺，還有站內新內容的一些NLP分析處理等。

早期，我們絕大部分的後端服務都是部署在ECS，透過Rundeck來進行管理和部署，在效率和管理上並不是那麼理想。在基建升級方案的需求上，我總結了4點：

●能大幅提升開發運維效率
●以較低的人力成本來滿足業務需求
●服務足夠可靠，能夠具備良好的效能
●因為我們工程目前主要是以Go語言為主，所以在後續基建升級上需要對Go有良好的支援。

## 方案對比

我們考慮了兩種主流的方案架構，一個是雲主機+自建K8s全套的解決方案， 還有一種就是Serverless架構，使用 Serveless 應用引擎（SAE）和函式計算 FC。

經過對比後，我們選擇了後者。一方面是 Serverless 可以免去機器的購買流程，不需要提前購買 ECS。而且本身也自帶了一些可選的預設環境，如果沒有特殊需求的話，可以基本免去環境搭建的繁瑣；另一方面是 Serverless 已經整合了很多基礎元件，基本上可以說是做到免運維直接上線的程度。

然後在後續維護上，Serverless 產品在計費精度上相比 ECS 有更高的精度，可以做到分鐘級，甚至秒級的計費，做到真正業務使用資源時才進行付費，相比K8s+ECS的模式，在早期開發和後續運維上, 都能節省較大的人力成本。

![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668417110757-90224997-a683-4345-ba0f-76c3e6a2961a.png?x-oss-process=image%2Fresize%2Cw_703%2Climit_0#crop=0&crop=0&crop=1&crop=1&from=url&id=q6oaf&margin=%5Bobject%20Object%5D&originHeight=265&originWidth=703&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

從我們自己實際實驗的體驗來理解Serverless的兩個產品的話。

函式計算 FC 把業務的排程和觸發邏輯與業務邏輯本身解耦，開發、演算法同學可以先在函式計算控制檯控制整個業務邏輯的觸發與排程邏輯，就不需要再額外地開發，可以更加專注業務邏輯本身的設計，這也決定了函式計算更加適用於有業務驅動的場景，在事件真正發生時去申請資源進行業務邏輯的執行。

而 Serverless 應用引擎 SAE 在我們看來類似於功能更豐富的、提供了全套微服務能力的增強版K8s，可以極大降低維護成本，並做到真正的開箱即用。這個就比較適合做微服務改造，把原先在 ECS 上的舊服務直接遷移上來，可以在不投入運維人力的情況下獲得一套完整的容器化運維方案。

基本上透過兩者結合，可以覆蓋掉我們絕大多數的業務場景，實現所有應用服務All On Serverless。
## 
業務實踐
### 
函式計算 FC

1）透過 OSS 觸發的全自動模型部署/小時級更新服務。

![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668420698797-16d5be7f-188e-4e29-bc7c-ad27430254f6.png#crop=0&crop=0&crop=1&crop=1&from=url&id=XH6Ig&margin=%5Bobject%20Object%5D&originHeight=167&originWidth=751&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

我們有一個透過 OSS 觸發的模型自動部署與更新服務，實現模型匯出及部署。演算法同學在訓練完自己的模型，無論是TensorFlow還是PyTorch以及其他格式的機器學習模型，只需要匯出到指定的OSS B儲存空間ucket，就會觸發模型的更新與部署服務，實現完整的匯出即部署。這樣演算法同學哪怕在不依賴其他工程人力的情況下也能自行進行模型的部署、更新以及後續的彈性縮擴容。

2）透過 HTTP 觸發的模型實驗管理平臺（WEB 服務）

![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668421516632-387fc6bf-29e6-447f-8947-1ce8eea502f9.png#crop=0&crop=0&crop=1&crop=1&from=url&id=TgwYe&margin=%5Bobject%20Object%5D&originHeight=159&originWidth=744&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

演算法同學透過HTTP觸發器實現的內部模型實驗管理與引數平臺提交模型訓練任務之後，我們會自動地將它訓練的引數以及日誌地址、日誌例項記錄下來，實現所有的實驗可追溯、可管理，這本身是一個Web服務，它是有前端的，但又是一個對內的服務，對QPS和效能要求不是很高，於是就放到函式計算上，在管理成本上相當有優勢，尤其是近期函式計算有免費額度，所以基本沒花錢。

3）透過 Kafka 觸發新內容 NLP 處理/解析服務

![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668422043578-2ab06c65-61ec-4068-bbf5-fbe07730dd94.png#crop=0&crop=0&crop=1&crop=1&from=url&id=xcCDK&margin=%5Bobject%20Object%5D&originHeight=143&originWidth=357&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

當我們站內的使用者發了一個新的帖子，我們會透過Kafka推送到NLP分析服務商進行NLP的處理與解析，存下來用於之後的搜尋，這可以實現使用者發一條內容調一次服務，精確地控制成本。

4）每週/每日定時統計資源消費

![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668421791900-0959f8ca-9d50-4830-a665-dfd50e72490d.png#crop=0&crop=0&crop=1&crop=1&from=url&id=qD67S&margin=%5Bobject%20Object%5D&originHeight=146&originWidth=390&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

每週/每日定時觸發的 MaxCompute、EAS 資源消費統計，我們會自動拉取阿里雲後臺的非結構化消費賬單，然後將它聚合到每一位同學，每個任務以及每個模型上，推送給組內的同學，協助組內同學提升自己的成本意識，也幫助各個業務線更好地做成本管理。
### 
Serverless 應用引擎 SAE
### 
![](https://intranetproxy.alipay.com/skylark/lark/0/2022/png/20857269/1668425421804-b36bc9d6-d8a7-4383-bf54-35087a14a771.png?x-oss-process=image%2Fresize%2Cw_703%2Climit_0#crop=0&crop=0&crop=1&crop=1&from=url&id=nKUKD&margin=%5Bobject%20Object%5D&originHeight=355&originWidth=703&originalType=binary&ratio=1&rotation=0&showTitle=false&status=done&style=none&title=)

在 SAE 的落地上，我們選擇了組內的預估服務，這個服務本身整合了搜尋、推薦、廣告都需要的模型推理、特徵開發以及樣本回傳的能力，本身是一箇中臺型微服務，所有業務線都可以非常低成本的接入目前組內最成熟的線上預估服務。例如現在的搜尋頁的推薦詞的點選率預估，國際版的遊戲點選率預估等。

透過SAE，我們的服務快速具備了 Serverless 的能力，因為 SAE 本身遮蔽了很多資源管理、環境管理以及基礎運維元件管理工作，使得我們可以快速地為國內國外的新場景、新業務上線一套獨立的預估服務。

與此同時，我們也整合了 SAE 的告警平臺，事件中心以及日誌服務，我們透過釘釘告警就可以實時感知線上業務的狀態，例如是否發生了 OOM 還是重啟、錯誤日誌之類的。

另外，本身這個服務也是接入了 Dubbo Go 框架使服務直接具備了服務註冊發現，IP直連，優雅上下線等微服務能力。相比之前使用 ECS 的模式，這套方案在運維管理以及開發上線和後續的成本管控上都有較大的優勢，基本可以覆蓋從開發上線後續運維的全流程，大大節省的組內的開發成本。
## 
業務價值

簡單運維，省心省力：開發可以輕鬆搞定應用開發、部署、管理全流程，讓自己更專注於業務，也大大節省了運維的投入和成本。

不停機發布 +分鐘級上線：SAE支援灰度釋出、滾動釋出的能力，還提供了較為完善的Open API，可以整合到Git中快速部署，使我們的服務具備了分鐘級發版的能力，這個對於新業務尤其具有吸引力。

秒級彈性縮擴容：SAE支援配置像CPU、記憶體、QPS、RT、定時等不同維度指標的擴縮策略，可以幫助提升資源利用率。尤其是業務規模大了之後，透過配置更加精細的彈性策略，可以顯著降低機器成本。

多語言微服務能力：SAE提供了PHP、Python、GO等多種執行時，並且基於K8s Service多語言服務註冊發現，實現了Go 語言低成本微服務化。

TapTap演算法平臺的 Serverless 探索之路

相關文章