本文分享自華為雲社群，作者：

摘要：送小夥伴們一份新鮮出爐的ModelArts AI市場演算法（以下簡稱為本演算法）使用秘籍，保證輕鬆上手。

雙十一到了，秋風瑟瑟，不能光顧著剁手是不是，是時候貼貼秋膘，嚐嚐鮮了，特意送來新鮮出爐的ModelArts AI市場演算法（以下簡稱為本演算法），附上使用秘籍，保證輕鬆上手。

本演算法使用Cityscapes高質量標註資料集中的train集和val集，使用train集訓練，在val集上測試達到了mIOU=68.668的準確率。

1. 準備資料集

本演算法支援的資料集格式為Cityscapes資料集。

Cityscapes資料集包含來自50個不同城市的街道場景中記錄的各種立體聲影片序列集，以及較大的20000個弱註釋幀集和5000個幀的高質量畫素級註釋。因此，該資料集比已有的類似資料集大一個數量級。有關帶註釋的類的詳細資訊和註釋示例可在上找到。

Cityscapes 資料集旨在用於:
(1) 評估視覺演算法在語義城市場景理解的主要任務上的效能：畫素級，例項級和全景語義標記；
(2) 支援旨在利用大量（弱）註釋資料的研究，例如用於訓練深度神經網路。

1.1 下載資料集

可下載gtFine_trainvaltest.zip 和 leftImg8bit_trainvaltest.zip 兩個檔案，如下圖所示：

gtFine_trainvaltest.zip解壓後的目錄結構如下（本演算法訓練不需自行解壓，可直接使用壓縮包）：

└─gtFine
├─test
├─train
└─val

leftImg8bit_trainvaltest.zip解壓後的目錄結構如下（本演算法訓練不需自行解壓，可直接使用壓縮包）：

└─leftImg8bit
├─test
├─train
└─val
如果您需要使用自己的資料集進行訓練，則需要將資料目錄整理成和上面一樣的形式。更詳細的資料集說明請檢視Cityscapes上的描述。

1.2 安裝OBS Browser+並上傳資料集

ModelArts使用物件儲存服務（OBS）來儲存資料，實現安全、高可靠和低成本的儲存需求。OBS Browser+是一款用於訪問和管理物件儲存服務（Object Storage Service，OBS）的圖形化工具，支援完善的桶管理和物件管理操作。OBS Browser+的圖形化介面可以非常方便地讓使用者在本地對OBS進行管理，例如：建立桶、上傳下載檔案、瀏覽檔案等。

具體操作步驟如下：
（1）OBS Browser+，下載完成後解壓縮，雙擊exe進行安裝，安裝完成後執行；

（2）登入介面如下圖所示，需要您填寫賬號名、Access Key ID（AK）和Secret Accsee Key（SK），參考，獲取AK和SK，華為雲上的許多產品都需要用到訪問金鑰，請妥善儲存該金鑰檔案，然後參考下圖填寫您的華為雲賬號名及剛獲取的AK和SK，點選登入；

（3）參考下圖，點選“建立桶”，輸入桶名稱，注意：區域要選擇華北-北京四、標準儲存、私有、關閉多AZ，桶名需自定義，OBS桶名要全域性唯一，如提示桶名已存在，則需要您修改為其他名稱，比如本文設定桶名為fast-scnn。您設定的桶名必須與此不同，如在下文的操作指導中看到fast-scnn，請主動將桶名替換為您自己的桶名，下文將不再進行提示；

（4）點選桶名稱，進入到桶中，點選“新建資料夾”，輸入資料夾名稱，如“train_input”，點選進入資料夾，再新建“datasets”，點選“上傳”->“新增檔案”-> 選擇本地下載好的資料集壓縮包（之所以選壓縮包格式是因為如果資料集比較大，上傳壓縮包比上傳資料夾快很多） –> 確定，如下圖所示；

（5）點選OBS Browser+左側的“任務管理”，可檢視資料上傳進度。如下圖所示，點選設定，在基礎設定中，設定最大併發數為最大值50，可以加快資料上傳速度

2. 訂閱本演算法

點選本頁面右上方的【訂閱】按鈕。然後點選頁面下方的【下一步】按鈕，再點選【確認付款】按鈕，最後點選【確定】按鈕進入我的訂閱頁面，可以看到剛剛訂閱的演算法。點選【應用控制檯】超連結，選擇華北-北京四區域，進入演算法管理頁面。

如下圖所示，點選“同步”按鈕，同步演算法，可以點選重新整理按鈕，重新整理狀態。當狀態變成就緒時，表示同步成功，注意請使用最新版的，目前應該是6.0.0版本，基本版本以訂閱情況。

3. 建立訓練作業

點選上圖中的“建立訓練作業”，按照下表填寫訓練作業引數：

點選下一步，提交，訓練作業的狀態會經歷“初始化”、“部署中”、“執行中”和“執行成功”四個狀態。訓練作業執行成功後，在上表中指定的“模型輸出”路徑下會自動生成model目錄，該目錄下有模型檔案、ModelArts平臺推理指令碼（config.json、customize_service.py）和其他執行模型必備的檔案。

4. 模型匯入

準備好模型及相關的必備檔案後，您可以將生成的模型匯入至ModelArts模型管理。具體操作如下：

（1）在ModelArts控制檯的左側導航欄點選“模型管理” -> “模型”，點選右側頁面中的“匯入”。在匯入模型頁面填寫名稱，選擇元模型來源，可以直接從訓練中選擇(推薦使用這種方法，簡單方便，與訓練無縫銜接)，也可以從OBS中選擇。如果是從OBS中選擇，則需要選擇到model目錄的上一級目錄；例如，本次可選擇的目錄為obs://fast-scnn/algorithms/train_output，如下圖所示：

注意：選擇好元模型路徑後，“AI引擎”會自動填充。如未能自動填充，請檢查元模型路徑是否是model目錄的上一級目錄，或者model目錄下是否包含模型配置檔案config.json。

（2）點選“立即建立”，需要一點時間來等待模型匯入和構建，當模型版本狀態為“正常”後，即表示模型匯入成功。

5. 建立線上服務

在ModelArts上，可以將模型部署為線上服務，然後上傳圖片進行預測，直接在網頁端觀察預測結果，本演算法支援CPU和GPU部署。

部署為線上服務具體步驟如下：

（1）在ModelArts左側導航欄中選擇“部署上線 -> 線上服務”，然後點選頁面中的“部署”；

（2）在部署頁面填寫引數，其中在“模型列表”選擇要匯入的模型及版本，計算節點規格選擇CPU即可；

（3）點選“下一步”，引數確認無誤後，點選“提交”。

提交後，您可以在線上服務列表中檢視部署進度，當狀態變為“執行中”後，點選服務名稱，進入詳情頁面，點選“預測”，上傳圖片進行測試。測試結果如下圖所示，右側為得到的預測結果，不同的數字表示不同的類別。

6. 建立批次服務

在ModelArts上，還可以將模型部署為批次服務，從OBS載入測試集圖片進行預測，然後將預測結果輸出到OBS，本演算法支援CPU和GPU部署。

部署為批次服務具體步驟如下：

（1）在ModelArts左側導航欄中選擇“部署上線 -> 批次服務”，然後點選頁面中的“部署”；

（2）在部署頁面填寫引數，其中在“模型列表”選擇要匯入的模型及版本，填寫輸入資料目錄和輸出資料目錄，計算節點規格選擇“CPU 2核 8GB”，計算節點個數設為1；

這裡的輸入資料目錄位置為存放待預測影像的位置，注意該位置下僅能存放待預測圖片，而輸出資料目錄位置為空資料夾即可，可自行定義。

（3）點選“下一步”，引數確認無誤後，點選“提交”。

提交後，您可以在批次服務列表中檢視部署進度，當狀態變為“執行中”後，表示正在預測中，當狀態變為“執行完成”，表示這批圖片已經預測結束，預測結果是一批txt檔案，儲存在上圖指定的OBS輸出資料目錄位置中，可以前往該目錄檢視結果。

7. 模型評估

參考本文第2節中的步驟，建立“訓練作業”，按照下表設定訓練引數：

點選下一步，提交，訓練作業的狀態會經歷“初始化”、“部署中”、“執行中”和“執行成功”四個狀態。訓練作業執行成功後，在上表中指定的“模型輸出”路徑下會自動生成_result目錄，其中包含推理後的.png圖片和推理結果_results.txt檔案。其中_results.txt檔案包含驗證結果，如圖所示。

好了，到此即將結束了，這次嚐鮮大家感覺怎麼樣呢？期待大家的分享使用體驗和感受。

秋風到，ModelArts“ AI市場演算法Fast-SCNN指南”秋膘貼起來