Sophon AutoCV Q&A大放送：如何加速視覺模型生產和落地（下篇）

本期是Sophon AutoCV的第二期Q&A大放送，繼上篇對資料標註、模型訓練、上架及結果評估等模型生產流程進行解答後，本期將聚焦模型與實際生產業務相結合的業務場景搭建、模型釋出、告警等後續流程。

客戶Q1:在模型訓練完後，如何應用到實際的業務中去呢？

星小環：相較於大多數廠商將模型訓練完之後，直接釋出API或封裝SDK部署的方式不同的是：我們發現，在很多業務邏輯沒辦法透過這個方式實現，以及模型的前後處理工作。舉個例子來說，當實際業務需要一個人流密度預警的功能，基礎模型訓練的是行人檢測，但是行人檢測需要配合業務邏輯，即超過多少人產生告警、什麼時候告警，這個需要定製化寫程式碼實現。

客戶Q2：直接釋出模型API或者SDK後，還是需要定製化開發來滿足業務需求。那你們怎麼解決呢？

星小環：我們平臺把模型的業務化適配過程叫做搭建場景，一個場景實現一個或多個業務功能，下面進行演示：

您可以透過搭建DAG圖的方式來串聯你的業務邏輯，比如多個模型分支怎麼處理，有類似上面的業務定製邏輯的時候，也可以使用函式運算元來自定義函式邏輯。當搭建好靜態的場景，需要給這個場景注入資料，就需要把監控裝置對接到平臺，當前我們平臺支援主流的影片裝置協議一鍵加入平臺，來建立具體的應用產生訊息通知。我們平臺初始化預置了一些標準的場景可以直接使用。

客戶Q3：例項產生的告警資料怎麼對外展示呢？

星小環：有兩種方式可以展示，一是在構建場景的時候可以自定義一個儀表盤來檢視，二是可以選擇將告警資料對接到業務系統當中，以比如MQTT推送等方式，都是支援的。

此外，當前我們也正在開發一個面向安全生產領域的業務應用系統，我們會把預置的場景打包成AI能力，您在這個系統就可以直接使用，不需要關注底層的場景怎麼搭建，模型怎麼訓練了。底層這個系統也是和Sophon AutoCV打通的，預計9月份會和大家見面。

幾個案例

客戶Q4：Sophon AutoCV平臺當前的落地案例有哪些呢？

星小環：我們目前客戶主要集中在金融、製造業、研究機構以及傳統安防等領域，比如給某壽險公司做的死豬估重，透過我們平臺在2周內就完成了一個模型的生產和落地上線。另外，某個製造業的客戶基於我們平臺完成鋼材表面缺陷的質檢模型訓練和應用，透過標註缺陷的資料來訓練缺陷檢測的模型。其他的比如我們還會和高校、硬體夥伴進行合作，比如最近和惠普合作形成了一個AI教育聯合解決方案，提供了一個面向高校的科研教學的工具平臺。

客戶Q5：目前市面上有比較多類似這樣的模型生產應用的平臺產品，你們的差異點在哪呢？

星小環：差異點我們總結起來有3點：1-是我們針對模型的管理部分，提供模型倉庫統一納管模型，包括模型的評測，支援模型的一鍵部署應用，幫您遮蔽了底層的異構硬體；2-是我們的應用構建的部分，透過低程式碼視覺化拖拽的方式來搭建業務流程，方便您管理您的業務邏輯和快速遷移複製。3-是對於整體流程而言，覆蓋了模型生產應用的全生命週期，並且可以完成結構化資料的迴流，支撐模型的長期迭代。

客戶Q6：你們平臺是如何完成資料閉環的？

星小環：資料有兩個方面：一是原始的影片資料的採集，在我們的模型應用模組，有裝置管理功能，可對接入到平臺的資料進行定時定期錄製儲存，然後您可以把這部分資料迴流到生產的樣本管理，支撐模型訓練。二是迭代資料的迴流，對於模型推理後的資料包括圖片以及對應的meta都會在平臺儲存，您可以直接拿這部分資料匯入回樣本集裡面，在標註詳情來稽核這些資料，稽核完成後再次進入訓練應用的流程。

客戶Q7：對於平臺部署的硬體有什麼樣的要求呢？

星小環：對於模型訓練部分，建議您使用帶GPU的環境來加速訓練；對於模型應用的部分，我們還進行了國產化適配，可以在市面上主流的硬體平臺上進行模型推理。具體的資源大小還得根據您訓練的需求以及要處理的影片路數來定。

上下篇小結

Sophon AutoCV平臺提供建模應用的全流程的功能，可基於平臺完成資料的標註（包括智慧標註）、模型的引導式訓練和場景應用的視覺化建立部署。同時，平臺也會初始化一部分通用的場景模板，比如工業安全生產的人員、車輛、環境等智慧檢測識別功能，使用者僅需繫結上裝置，即可完成一個智慧應用的生成，並且可快速遷移複用，後期模型迭代只需要替換一下模型即可，省去了從0-1搭建的成本。