目前深度學習應用廣發， 其中 AI 推理的線上服務是其中一個重要的可落地的應用場景。本文將為大家介紹使用函式計算部署深度學習 AI 推理的最佳實踐,  其中包括使用 FUN 工具一鍵部署安裝第三方依賴、一鍵部署、本地除錯以及壓測評估， 全方位展現函式計算的開發敏捷特性、自動彈性伸縮能力、免運維和完善的監控設施。

## 1.1 DEMO 概述

![1.png](https://ucc.alicdn.com/pic/developer-ecology/325a41f1799a40fe9b0146c6cf951608.png)

透過上傳一個貓或者狗的照片， 識別出這個照片裡面的動物是貓還是狗

- DEMO 示例效果入口： [http://sz.mofangdegisn.cn](http://sz.mofangdegisn.cn)
- DEMO 示例工程地址： [https://github.com/awesome-fc/cat-dog-classify](https://github.com/awesome-fc/cat-dog-classify)

**開通服務**

[免費開通函式計算](https://statistics.functioncompute.com/?title=ServerlessAI&theme=ServerlessAI&author=rsong&src=article&url=http://fc.console.aliyun.com)， 按量付費，函式計算有很大的免費額度。

[免費開通檔案儲存服務NAS](https://nas.console.aliyun.com/)， 按量付費

## 1.2 解決方案

![2.png](https://ucc.alicdn.com/pic/developer-ecology/2f7a27255e434ab48e64298fe28ddb4e.png)

如上圖所示， 當多個使用者透過對外提供的 url 訪問推理服務時候，每秒的請求幾百上千都沒有關係， 函式計算平臺會自動伸縮， 提供足夠的執行例項來響應使用者的請求， 同時函式計算提供了完善的監控設施來監控您的函式執行情況。

## 1.3.	Serverless 方案與傳統自建服務方案對比

### 1.3.1 卓越的工程效率
|  | 自建服務 | 函式計算 Serverless |
| --- | --- | --- |
| 基礎設施 | 需要使用者採購和管理 | 無 |
| 開發效率 | 除了必要的業務邏輯開發,需要自己建立相同線上執行環境， 包括相關軟體的安裝、服務配置、安全更新等一系列問題 | 只需要專注業務邏輯的開發, 配合 FUN 工具一鍵資源編排和部署 |
| 學習上手成本 | 可能使用 K8S 或彈性伸縮( ESS )，需要了解更多的產品、名詞和引數的意義 | 會編寫對應的語言的函式程式碼即可 |

### 1.3.2 彈性伸縮免運維
|  | 自建服務 | 函式計算 Serverless |
| --- | --- | --- |
| 彈性高可用 | 需要自建負載均衡 (SLB)，彈性伸縮，擴容縮容速度較 FC 慢 | FC系統固有毫秒級別彈性伸縮，快速實現底層擴容以應對峰值壓力，免運維 |
| 監控報警查詢 | ECS 級別的 metrics | 提供更細粒度的函式執行情況，每次訪問函式執行的 latency 和日誌等， 更加完善的報警監控機制 |

### 1.3.3 更低的成本

- 函式計算 (FC) 固有自動伸縮和負載均衡功能，使用者不需要購買負載均衡 (SLB) 和彈性伸縮。
- 具有明顯波峰波谷的使用者訪問場景(比如只有部分時間段有請求，其他時間甚至沒有請求)，選擇按需付費，只需為實際使用的計算資源付費。

> 對於明顯波峰波谷或者稀疏呼叫具有低成本優勢， 同時還保持了彈效能力，以後業務規模做大以後並沒有技術切換成本，同時財務成本增長配合預付費也能保持平滑。

- 部分請求持續平穩的場景下,可以配合預付費解決按需付費較高單價問題。[函式計算成本最佳化最佳實踐文件](https://help.aliyun.com/document_detail/138831.html)。

假設有一個線上計算服務，由於是CPU 密集型計算， 因此在這裡我們將平均 CPU 利用率作為核心參考指標對成本，以一個月為週期，10臺 C5 ECS 的總計算力為例，總的計算量約為 30% 場景下， 各解決方案 CPU 資源利用率使用情況示意圖大致如下:

![3.png](https://ucc.alicdn.com/pic/developer-ecology/dfc8eb08c6894adbb4b191d4b3b45516.png)

由上圖預估出如下計費模型：

- 函式計算預付費 3CU 一個月: 246.27 元， 計算能力等價於 ECS 計算型 C5
- ECS 計算型 C5 (2vCPU,4GB)+雲盤: 包月219 元，按量: 446.4 元
- 包月10 Mbps 的 SLB: 526.52 元(這裡做了一定的流量假設)， 彈性伸縮免費
- 飽和使用下，函式計算按量付費的一臺機器成本約為按量付費 C5 ECS 的2 倍

|  | 平均CPU利用率 | 計算費用 | SLB | 總計 |
| --- | --- | --- | --- | --- |
| 函式計算組合付費 | >=80% | 738+X（246.27*3+X） | 無 | <= 738+X |
| 按峰值預留ECS | <=30% | 2190（10*219） | 526.52 | >=2716.52 |
| 彈性伸縮延遲敏感 | <=50% | 1314（102193/5） | 526.52 | >= 1840.52 |
| 彈性伸縮成本敏感 | <=70% | 938.57 (102193/7) | 526.52 | >= 1465.09 |

> 注：

> 1. 這裡假設函式邏輯沒有公網公網下行流量費用， 即使有也是一致的， 這裡成本比較暫不參與

> 2. 延時敏感，當 CPU 利用率大於等於 50% 就需要開始進行擴容，不然更來不及應對峰值

> 3. 成本敏感，當 CPU 利用率大約 80% 即開始進行擴容， 能容受一定機率的超時或者5XX

上表中， 其中函式計算組合付費中的 X 為按需付費的成本價，假設按需付費的計算量佔整個計算量的 10%，假設 CPU 利用率為100%,  對應上表，那麼需要 3 臺 ECS 的計算能力即可。因此 FC 按量付費的成本 X = 3 ️*446.4* ️ 10% ️ 2 =  267.84 （ FC 按量付費是按量 ECS 的2倍），這個時候函式計算組合付費總計  1005.8 元。 在這個模型預估裡面， 只要 FC 按量付費佔整個計算量小於 20%， 即使不考慮 SLB, 單純考慮計算成本， 都是有一定優勢的。

### 1.3.4.	小結

基於函式計算進行 AI 推理等 CPU 密集型的主要優勢：

1. 上手簡單， 只專注業務邏輯開發， 極大提高工程開發效率。
  - 自建方案有太多學習和配置成本，如針對不同場景，ESS 需要做各種不同的引數配置
  - 系統環境的維護升級等
2. 免運維，函式執行級別粒度的監控和告警。
2. 毫秒級彈性擴容，保證彈性高可用，同時能覆蓋延遲敏感和成本敏感型別。
2. 在 CPU 密集型的計算場景下， 透過設定合理的組合計費模式， 在如下場景中具有成本優勢：
  - 請求訪問具有明顯波峰波谷， 其他時間甚至沒有請求
  - 有一定穩定的負載請求， 但是有部分時間段請求量突變劇烈

# 打包程式碼ZIP包和部署函式

[FUN 操作簡明影片教程](https://fc-hz-demo.oss-cn-hangzhou.aliyuncs.com/video/fun.mp4)

## 開通服務

[免費開通函式計算](https://statistics.functioncompute.com/?title=ServerlessAI&theme=ServerlessAI&author=rsong&src=article&url=http://fc.console.aliyun.com)， 按量付費，函式計算有很大的免費額度。

[免費開通檔案儲存服務NAS](https://nas.console.aliyun.com/)， 按量付費

## 2.1 安裝第三方包到本地並上傳到NAS

### 2.1.1	安裝最新的Fun

- 安裝版本為8.x 最新版或者10.x 、12.x [nodejs](https://nodejs.org/en/download/package-manager/#debian-and-ubuntu-based-linux-distributions-enterprise-linux-fedora-and-snap-packages)
- 安裝 [funcraf](https://github.com/alibaba/funcraft/blob/master/docs/usage/installation-zh.md)

### 2.1.2 Clone 工程 & Fun 一鍵安裝第三方庫到本地

- `git clone https://github.com/awesome-fc/cat-dog-classify.git`
- 複製 .env_example 檔案為 .env, 並且修改 .env 中的資訊為自己的資訊
- 執行 `fun install -v`,  fun 會根據 Funfile 中定義的邏輯安裝相關的依賴包

![4.png](https://ucc.alicdn.com/pic/developer-ecology/9bda1feae01f479ba28413d046489623.png)

```bash
root@66fb3ad27a4c: ls .fun/nas/auto-default/classify
model  python
root@66fb3ad27a4c: du -sm .fun
697     .fun
```

根據 Funfile 的定義：

- 將第三方庫下載到 `.fun/nas/auto-default/classify/python` 目錄下
- 本地 model 目錄移到 `.fun/nas/auto-default/model` 目錄下

安裝完成後，從這裡我們看出， 函式計算引用的程式碼包解壓之後已經達到了 670 M, 遠超過 50M 程式碼包限制, 解決方案是 NAS 詳情可以參考:  掛載NAS訪問，幸運的是 FUN 工具一鍵解決了 nas 的配置和檔案上傳問題。

### 2.1.3.	將下載的依賴的第三方程式碼包上傳到 NAS

```bash
fun nas init
fun nas info
fun nas sync
fun nas ls nas://classify:/mnt/auto/
```

依次執行這些命令，就將本地中的 .fun/nas/auto-default 中的第三方程式碼包和模型檔案傳到 NAS 中, 依次看下這幾個命令的做了什麼事情:

- `fun nas init`: 初始化 NAS, 基於您的 .env 中的資訊獲取(已有滿足條件的nas)或建立一個同region可用的nas
- `fun nas info`: 可以檢視本地 NAS 的目錄位置, 對於此工程是 $(pwd)/.fun/nas/auto-default/classify
- `fun nas sync`: 將本地 NAS 中的內容（.fun/nas/auto-default/classify）上傳到 NAS 中的 classify 目錄
- `fun nas ls nas:///mnt/auto/`: 檢視我們是否已經正確將檔案上傳到了 NAS

登入 NAS 控制檯 [https://nas.console.aliyun.com](https://nas.console.aliyun.com) 和 VPC 控制檯 [https://vpc.console.aliyun.com](https://vpc.console.aliyun.com)<br>可以觀察到在指定的 region 上有 NAS 和 相應的 vpc 建立成功

## 2.2 本地除錯函式

在 template.yml 中， 指定了這個函式是 http 型別的函式， 所以根據 fun 的提示:

```
Tips for next step
======================
* Invoke Event Function: fun local invoke
* Invoke Http Function: fun local start
* Build Http Function: fun build
* Deploy Resources: fun deploy
```

執行 `fun local start`,  本地就會啟動一個 http server 來模擬函式的執行， 然後我們 client 端可以使用 postman， curl 或者瀏覽器， 比如對於本例：

![5.png](https://ucc.alicdn.com/pic/developer-ecology/38b59cd2e99a487f9667b7466a76467a.png)

![6.png](https://ucc.alicdn.com/pic/developer-ecology/57f3102160e64cdb84706b83dd49e0de.png)

## 2.3 部署函式到FC平臺

本地除錯OK 後，我們接下來將函式部署到雲平臺：

修改 template.yml LogConfig 中的 Project, 任意取一個不會重複的名字即可，有兩處地方需要更改，然後執行

`fun deploy`

注意:  template.yml 註釋的部分為自定義域名的配置, 如果想在 fun deploy 中完成這個部署工作:

- 先去域名解析, 比如在示例中, 將域名 sz.mofangdegisn.cn 解析到 123456.cn-hangzhou.fc.aliyuncs.com, 對應的域名、accountId 和 region 修改成自己的
- 去掉 template.yml 中的註釋, 修改成自己的域名
- 執行 `fun deploy`

這個時候如果沒有自定義域名， 直接透過瀏覽器訪問訪問http trigger 的url， 比如 `https://123456.cn-shenzhen.fc.aliyuncs.com/2016-08-15/proxy/classify/cat-dog/` 會被強制下載.

原因:`https://help.aliyun.com/knowledge_detail/56103.html#HTTP-Trigger-compulsory-header`

![7.png](https://ucc.alicdn.com/pic/developer-ecology/07dce5770e0a4ac6b9e7e9509e152b3e.png)

登入控制檯[https://fc.console.aliyun.com](https://fc.console.aliyun.com)，可以看到service 和 函式已經建立成功， 並且 service 也已經正確配置。

![8.png](https://ucc.alicdn.com/pic/developer-ecology/5d6cb52a1de542a29be52f0fc8bd2a6a.png)

在這裡，我們發現第一次開啟頁面訪問函式的時候，執行環境例項冷啟動時間非常長， 如果是一個線上AI推理服務，對響應時間非常敏感，冷啟動引起的毛刺對於這種型別的服務是不可接受的，接下來，本文講解如何利用函式計算的預留模式來消除冷啟動帶來的負面影響。

# 使用預留模式消除冷啟動毛刺

函式計算具有動態伸縮的特性， 根據併發請求量，自動彈性擴容出執行環境來執行環境，在這個典型的深度學習示例中，import keras 消耗的時間很長 ， 在我們設定的 1 G 規格的函式中， 併發訪問的時候耗時10s左右， 有時甚至20s+

```python
start = time.time()
from keras.models import model_from_json
print("import keras time = ", time.time()-start)
```

## 3.1 函式計算設定預留

[預留操作簡明影片教程](https://fc-hz-demo.oss-cn-hangzhou.aliyuncs.com/video/provision.mp4)

- 在 [FC 控制檯](https://fc.console.aliyun.com)，釋出版本，並且基於該版本建立別名 prod，並且基於別名 prod 設定預留, 操作過程請參考：[https://help.aliyun.com/document_detail/138103.html](https://help.aliyun.com/document_detail/138103.html)
- 將該函式的 http trigger 和 自定義域名的設定執行 prod 版本
![9.png](https://ucc.alicdn.com/pic/developer-ecology/30e1729754164cc195e11b0853335199.png)

![10.png](https://ucc.alicdn.com/pic/developer-ecology/d69c2f9f5119418da32ce16b43ff51c2.png)

### 一次壓測結果

![11.png](https://ucc.alicdn.com/pic/developer-ecology/f02a02d2a27749fb87f76cf7e84cf4ef.png)
![12.png](https://ucc.alicdn.com/pic/developer-ecology/9d39dbd26dc149999612615fc2cd437c.png)

從上面圖中我們可以看出，當函式執行的請求到來時，優先被排程到預留的例項中被執行， 這個時候是沒有冷啟動的，所以請求是沒有毛刺的， 後面隨著測試的壓力不斷增大(峰值TPS 達到 1184), 預留的例項不能滿足呼叫函式的請求， 這個時候函式計算就自動進行按需擴容例項供函式執行，此時的呼叫就有冷啟動的過程， 從上面我們可以看出，函式的最大 latency 時間甚至達到了 32s，如果這個web AP是延時敏感的，這個 latency 是不可接受的。

# 總結

- 函式計算具有快速自動伸縮擴容能力
- 預留模式很好地解決了冷啟動中的毛刺問題
- 開發簡單易上手，只需要關注具體的程式碼邏輯， Fun 工具助您一鍵式部署運用
- 函式計算具有很好監控設施, 您可以視覺化觀察您函式執行情況， 執行時間、記憶體等資訊

有任何問題歡迎進掃碼進釘釘群溝通

![13.jpeg](https://ucc.alicdn.com/pic/developer-ecology/3d0501bf310e4d63a4675c1bbceb57e1.jpeg)

>“[阿里巴巴雲原生](https://developer.aliyun.com/group/alisoftwaretech/)關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的技術圈。”

使用函式計算三步實現深度學習 AI 推理線上服務

相關文章