## 場景介紹
基於阿里雲函式計算建立一個TensorFlow Serverless AI推理平臺。。

## 背景知識
函式計算 Function Compute 是事件驅動的全託管計算服務。使用函式計算，您無需採購與管理伺服器等基礎設施，只需編寫並上傳程式碼。函式計算為您準備好計算資源，彈性地可靠地執行任務，並提供日誌查詢、效能監控和報警等功能。函式計算幫助您無需管理伺服器（Serverless），僅專注於函式程式碼就能快速搭建應用。函式計算能夠彈性地伸縮，您只需要按使用量付費。
優勢總結：基於函式計算進行 AI 推理等 CPU 密集型的主要優勢
1.上手簡單， 只專注業務邏輯開發， 極大提高工程開發效率。

自建方案有太多學習和配置成本，如針對不同場景，ESS 需要做各種不同的引數配置
系統環境的維護升級等。
2. 免運維，函式執行級別粒度的監控和告警。

3.毫秒級彈性擴容，保證彈性高可用，同時能覆蓋延遲敏感和成本敏感型別。

4.在 CPU 密集型的計算場景下， 透過設定合理的組合計費模式， 在如下場景中具有成本優勢：

請求訪問具有明顯波峰波谷， 其他時間甚至沒有請求
有一定穩定的負載請求， 但是有部分時間段請求量突變劇烈

## 場景體驗
場景將介紹使用函式計算產品部署深度學習 AI 推理平臺的最佳實踐，基於函式計算 Function Compute。

讓人工智慧領域開發者可以更專注於演算法模型的訓練與業務邏輯的開發，將計算叢集的運維工作交給函式計算，提高工作效率。

最終效果：
透過上傳一個貓或狗的照片， 識別出這個照片裡面的動物是貓還是狗。DEMO 示例效果入口： http://sz.mofangdegisn.cn。

## 步驟一：連線ECS伺服器
ECS資源地址：https://developer.aliyun.com/adc/scenario/35a73acbb9cb477e8a4a5b22021f23a9
參考文章步驟連結ECS

## 步驟二：開通函式計算服務

在使用函式計算前，您需要在阿里雲[產品詳情頁](https://www.aliyun.com/product/fc)開通服務。

## 步驟三：安裝Fun工具
Fun 是一個用於支援Serverless應用部署的工具，能幫助您便捷地管理函式計算、API 閘道器和日誌服務等資源。它透過一個資源配置檔案（template.yml），協助您進行開發、構建和部署操作。
1.將Fun的安裝包下載到本地。請將下面的FUN_VERSION變數的值設定為最新版本號，最新版本號請參見Releases。以下操作將在ECS伺服器上安裝和配置Fun。

```
FUN_VERSION="v3.6.1" 
curl -o fun-linux.zip https://gosspublic.alicdn.com/fun/fun-$FUN_VERSION-linux.zip
```
2.安裝解壓工具unzip，並使用unzip將下載的Fun安裝包解壓到當前目錄。

```
yum -y install unzip 
unzip fun-linux.zip
```
3.將解壓出來的可執行檔案移動到系統路徑。

```
mv fun-*-linux /usr/local/bin/fun

```
4.配置Fun關聯的阿里雲賬號和呼叫SDK的超時時間等資訊。

```
fun config

```
請參考以下資訊輸入您的阿里雲賬號ID、AccessKeyID和AccessKey金鑰等資訊。

- Aliyun Account
   ID：子使用者名稱稱中@符號後面部分就是給您分配的主賬號ID，例如u-zftb79nc@105997185439****中包含的賬號ID為105997185439****。
 - Aliyun Access Key ID和Aliyun Access Key Secret：請使用平臺提供給您的子賬號AK ID和AK
   Secret。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029110655203.png#pic_center)
 - The timeout in seconds for each SDK client
   invoking：建議將超時時間設定長一點（例如10000），防止在上傳部署包時發生超時中斷。
正確設定如下所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029110711517.png#pic_center)

## 步驟四：安裝Docker
1.安裝Docker的依賴庫。

```
yum install -y yum-utils device-mapper-persistent-data lvm2

```
2.新增docker-ce的軟體源資訊。

```
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
```
3.安裝docker-ce。

```
yum makecache fast
yum -y install docker-ce
```
4.啟動Docker服務。

```
systemctl start docker

```

## 步驟五：建立NAS檔案系統掛載點
1.登入[NAS控制檯](https://nasnext.console.aliyun.com/introduction)。
2.選擇檔案系統 > 檔案系統列表。
3.在左上角選擇雲資源所在地域。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111039421.png#pic_center)
4.找到體驗頁面左側資源資訊欄中的NAS檔案系統ID對應的檔案系統，單擊更多 > 新增掛載點。
5.在新增掛載點頁面，配置如下引數。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/2020102911140853.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
6.檢視掛載點地址，如下圖。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111417920.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)

## 步驟六：下載專案程式碼
1.安裝Git工具並使用Git克隆專案程式碼到本地。

```
yum -y install git
git clone https://github.com/awesome-fc/cat-dog-classify.git
```
2.編輯專案中FUN的部署模板檔案template.yml，修改日誌服務專案名稱和NAS儲存掛載配置。
a.使用vim開啟模板檔案。

```
cd cat-dog-classify
vim template.yml
```
b.輸入以下命令全域性替換日誌服務專案名稱。

```
:%s/log-ai-pro/log-ai-test/g

```
命令中log-ai-test為修改後的專案名稱，您可以替換為您的自定義專案名稱。

c.修改NAS掛載配置。預設auto方式將會自動建立NAS檔案系統，這裡我們修改填寫為平臺預建立好的NAS檔案系統的資訊。

```
      VpcConfig:
        VpcId: 'vpc-uf6u8*****zf1r4'
        VSwitchIds: [ 'vsw-uf6******038fy' ]
        SecurityGroupId: 'sg-uf6e******w6qz'
      NasConfig:
        UserId: 10003
        GroupId: 10003
        MountPoints:
          - ServerAddr: '33****u83.cn-shanghai.nas.aliyuncs.com:/'
            MountDir: '/mnt/auto'
```
修改的引數說明如下：

- VpcConfig中的VpcId、VSwitchId和SecurityGroupId資訊請到ECS控制檯的例項詳情頁檢視。
 - ServerAddr的值修改為步驟三中的掛載點地址。
修改後如下圖所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111605832.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)

## 步驟七：將依賴檔案上傳到NAS
1.執行以下命令初始化NAS。

```
fun nas init

```
2.檢視本地NAS的目錄位置。

```
fun nas info

```
命令輸出如下所示：
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111656846.png#pic_center)

3.執行以下命令安裝相關依賴。

```
fun install -v

```
命令執行成功結果如下所示。

![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111713981.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
該命令將根據Funfile檔案中的定義：

- 將依賴下載到.fun/nas/auto-default/classify/python目錄中。
 - 將model中的模型檔案複製到.fun/nas/auto-default/classify/model/目錄中。
4.將本地NAS目錄同步到阿里雲NAS儲存中。

```
fun nas sync

```
命令執行結果如下所示。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111753598.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
*說明 同步的檔案有700M左右，內容較多，同步時間約40分鐘左右，請耐心等待。*

5.檢視檔案是否上傳到遠端NAS目錄。

```
fun nas ls nas://classify:/mnt/auto/

```

## 步驟九：部署到函式計算平臺
執行以下操作將函式部署到函式計算平臺：

```
fun deploy -y

```
執行結果如下圖所示，圖中19176540-18576685985*****.test.functioncompute.com為函式計算平臺分配的臨時域名，有效期10天，每天有1000次的呼叫限制。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111843907.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
如果部署時出現如下錯誤資訊。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111851893.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
問題原因：模板配置檔案中定義的日誌專案名稱已存在。
解決方法：請修改template.yml檔案中日誌專案名稱。

## 步驟九：測試預測服務
1.部署完成後，等待30秒鐘左右，在瀏覽器開啟臨時域名，如下圖所示。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111919724.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
如果訪問頁面時出現類似下面引入模組錯誤。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111928495.png#pic_center)
問題原因：由於網路問題，NAS同步內容不完整。
解決方法：請重新執行命令fun nas sync。

2.上傳一張貓或狗的圖片。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111943796.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
3.單擊Predict按鈕，檢視預測識別結果。
![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20201029111954227.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhbmd5aWtlamk=,size_16,color_FFFFFF,t_70#pic_center)
函式計算具有動態伸縮的特性， 根據併發請求量，自動彈性擴容出執行環境來執行環境。當預留的例項不能滿足呼叫函式的請求時， 函式計算就自動進行按需擴容例項供函式執行，此時的呼叫就有冷啟動的過程。使用預留模式可以消除冷啟動毛刺問題，詳情請參見預留例項。

基於阿里雲函式計算實現AI推理

相關文章