近日，QCon全球軟體開發大會在廣州舉辦。QCon全球軟體開發大會是由極客邦科技旗下 InfoQ 中國主辦的綜合性技術盛會，大會舉辦至今，已經有阿里巴巴、Google等來自國內外頭部知名科技公司數萬名資深工程師進行過技術分享。深信服工程技術部AI研發平臺負責人孟賓賓受邀參加大會，並在現場帶來《數算工程一體化機器學習開發平臺助力AI演算法敏捷開發》的主題演講。本次演講重點分享了深信服AI平臺團隊多年AI研發的實戰經驗。以下是他的演講內容摘要。
 
![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/32c2e93ca96942d1a8a781714d445f82~tplv-k3u1fbpfcp-watermark.image?)

**機器學習平臺建設背景介紹**

深信服的AI技術主要是應用在網路安全和雲端計算兩大業務中。在網路安全方面，AI能力會應用在病毒檔案檢測和家族分類、Web對抗攻擊、威脅情報、資料分級分類等產品中。在雲端計算方面，像桌面雲影片畫面的增強、託管雲平臺故障智慧預測和效能診斷與最佳化、邊緣雲的安全生產影片監控分析等場景也會用到AI。

![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/31ad7fe590de4c67908a52ab0303af20~tplv-k3u1fbpfcp-watermark.image?)

針對不同的安全資料分析任務，並結合不同的模型部署場景，機器學習平臺會涉及到非常複雜的特徵工程和AI演算法工程化開發。
 
深信服AI演算法研發的過程，可以抽象成這樣一個典型研發正規化，業務上從網路安全和雲端計算兩個維度來看，都會涉及到對接海量業務資料，比如說網路流量、系統日誌、各種惡意檔案以及雲平臺的運維日誌。中間要經過業務強相關的特徵提取，或者基於自動編碼器、Graph Embedding、Word2Vec等技術自動的特徵提取。最後考慮基於雲端、PC端或者邊緣計算裝置端，高效地將演算法部署執行起來。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fc1897ed72f74336bdb72a0838ea18cd~tplv-k3u1fbpfcp-zoom-1.image)

深信服AI技術研發，主要面臨資料、演算法、算力這三大核心挑戰。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4067ce2a9c3547bfbe4d73f7615380ec~tplv-k3u1fbpfcp-zoom-1.image)

**第一個挑戰是AI資料層面。** 深信服AI研發面臨首要問題是業務資料孤島比較多，不同的細分的業務，會有自己獨立的資料儲存系統。演算法工程師想獲取這些研發的資料，面臨的阻礙會比較大，獲取研發資料的時間長。其次，演算法工程師取到的這些資料，因為要做精細化的特徵工程，但是現在企業內部缺少比較高效地能夠去管理這些中間特徵以及一些高價值資料的支撐工具，導致它的資料很難被演算法工程師二次使用以及被相關性比較高的任務複用起來。
 
**第二個挑戰是AI演算法層面。** 首先表現在AI演算法針對業務人員，有一定的開發門檻，並且專業演算法工程師的數量是有限的，這樣就無法擴大AI賦能業務的覆蓋面。其次是從業務規劃想法產生到AI演算法原型產出，再到AI模型的最終上線，整體流程時間比較長，跟不上企業內部業務創新發展的速度。
 
**第三個挑戰是AI算力層面。** 針對安全服務SaaS化趨勢，演算法工程師基於機器學習平臺有海量的安全資料可以消費使用，如果提供分散式CPU和GPU算力管理能力，可以支撐分散式AI建模；針對新業務或者小規模實驗場景，現在主流基於整張物理卡分配或者GRID vGPU方式靜態分配都無法實現資源的動態共享，使得高昂貴的GPU算力利用率十分低。

**數算工程一體機器學習平臺設計方案**

基於敏捷開發理念，透過DevOps、DataOps、ModelOps、ServiceOps四個行動，來實現演算法開發流程可自動化、AI實驗可重現以及AI模型可迭代。當前機器學習平臺的重點是實現異構資料的統一治理、異構計算任務的統一排程、多樣使用者的統一賦能。
 
![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e2627c42f88149db8d882f81fe6c3ab1~tplv-k3u1fbpfcp-watermark.image?)

**異構資料的統一治理**是指結構化資料和非結構化基於統一的物件儲存服務和統一的後設資料管理服務。
 
**異構計算任務的統一排程**是指對資料分析型的特徵提取任務和AI模型訓練任務，針對這兩個異構任務，實現一個任務排程和叢集管理方案，同時實現異構計算框架之間的資料高效交換。
 
**多樣使用者統一賦能**是指標對專業的演算法工程師和業務人員可以統一使用這個機器平臺開發AI能力。
深信服的機器學習平臺共計分為五個抽象層：

![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7043240be599449e9ce1203f2f6c018a~tplv-k3u1fbpfcp-watermark.image?)

**最底層是基礎平臺層。** 基於公司的託管雲和EDS服務，實現異構AI算力管理，高效能儲存以及網路資源的統一排程和管理。
 
**基礎平臺層上面是資料層。** 資料層實現海量的結構化、非結構化資料的統一接入和儲存服務以及這兩類異構資料的後設資料的統一管理，同時還實現中間研發資料管理。此外，還提供了基於後設資料的資料集資料目錄管理功能，方便工程師透過資料schema欄位、安全產品型別(AF、SIP、EDR等)、日誌型別（http、dns等）、使用者名稱等多維度實現AI研發資料的搜尋、詳情檢視服務。
 
**資料層上面是框架層。** 包括機器學習或大資料的一些典型計算&訓練框架。再往上層是核心計算層，支援自動化機器學習、分散式訓練、一鍵部署，灰度釋出等等的機制，以及透過AI Flow進行模型的二次的開發、低程式碼開發等。
 
在框架層上面，會持續去沉澱出一些典型場景或者業務中能夠更廣泛使用的演算法能力，最終實現AI能力的二次開發複用，比如說，網路安全領域的網頁篡改、病毒檢測分析等。
 
接下來介紹AI研發資料治理模組：

![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c397134b763a4deeaaa44a847661d036~tplv-k3u1fbpfcp-watermark.image?)
針對外部異構的資料，深信服提出了AI Data Store，一種繼承湖倉一體設計理念的多樣性AI研發資料統一儲存和消費的資料系統，實現了外部資料的統一接入和儲存管理。比如資料庫類的結構化資料、檔案類的結構資料以及檔案類的非結構化資料這三類資料，可以統一儲存管理。
 
深信服開發了data store SDK工具或CLI命令列工具，基於CLI命令列，演算法工程師就可以像提交程式碼一樣或者程式碼管理的方式一樣去管理自己的資料集，包括支援以push或pull的方式管理AI資料集。
 
同時也支援向海量的資料操作，即直接記憶體的方式讀取分散式到計算節點，這種方式是可以避免透過notebook本地儲存空間的限制，這樣會更方便進行大資料或者分散式的計算。
 
![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0d7556890b904349b94cb36f6eac7772~tplv-k3u1fbpfcp-watermark.image?)

對於data store的實現來說，深信服採用資料抽象分層的設計方案，主要分為三層。
 
第一層也就是最底層的原始資料層Raw Data Layer, 負責對海量的接入或上傳的檔案資料進行統一儲存管理，演算法工程師基於這一層原始資料進行資料清洗以及做一些精細化的特徵提取。
 
提取後的資料存放在Feature Data Layer，這一層的資料還可以進一步轉換成用於訓練的機器學習訓練。
 
在離線AI演算法訓練的過程當中，就可以消費ML DataSet Layer的資料，實際上每一層的資料都可以被AI框架直接載入消費。
 
除了上面的離線消費場景，還有線上消費場景。可以直接從Feature Data Layer這一層實現線上消費。同時，會在Raw Data Layer加一個Slidding Window ，支援Latest-K方式的熱資料消費使用，線上消費或者模型灰度測試的時候，可以實現這種相對最新資料的接入，來實現演算法的效果驗證。

![image.png](https://p9-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/7d6b8ba113e14d89b7c6d3e5458cf7af~tplv-k3u1fbpfcp-watermark.image?)

此外，還會透過統一後設資料的管理來實現AI資料集CRUD操作。缺少後設資料管理的資料湖，本質就是一個資料沼澤，演算法工程師或者AI研發人員沒有辦法高效使用海量資料，即使有海量的業務資料也難以高效率的價值變現。
 
針對結構化資料和非結構化資料，機器學習平臺設計了一個統一的後設資料層，支援使用者自定義資料集的後設資料，由其對於非結構化資料集的管理帶來很大的方便，因為非結構化資料本身缺少豐富的後設資料，自然也就無法供演算法工程師高效和靈活地對檔案資料進行CRUD操作。

針對多樣性AI任務導致異構計算引擎排程管理難的問題，深信服AI研發團隊把AI計算引擎分為兩大類，一類是大資料分析型的，主要用於資料清洗、特徵提取，比如Spark，Flink；另一類是AI演算法計算型的，主要用於ML&DL演算法訓練，甚至包括圖分析、計算框架dgl、graphscope、以及強化學習menger等。

此外，深信服AI研發平臺實現了異構計算框架的統一排程和資料的高效通訊。
 
在泛AI領域，大資料分析平臺和AI計算平臺一直存在兩種對接方式：
 
一種是以大資料資產或特徵處理等為中心的資料工程為主，其特點是：資料需要顯式落盤儲存，以此來實現資料複用、降低計算開銷、資料debug。
 
一種是以以AI計算效能（訓練和推理）等為中心的演算法工程為主，其特點是：資料不需要落盤儲存，以此來實現加速特徵提取與模型訓練異構任務的資料傳遞（尤其在大規模、生產環境）、加速CPU和GPU之間的資料傳遞（尤其在大規模DL模型訓練和推理環境）。
 
這兩種異構任務的“分”與“合”，在不同的場景，有其存在的必要性，而深信服機器學習平臺建設的目標就是基於一套任務排程框架，實現大資料分析任務和AI計算任務的統一管理。
 
深信服的解決方式是基於Ray實現異構資料分析和AI計算框架統一排程，避免多套排程引擎，同時基於ML DataSet可以實現框架之間的資料高效傳輸，有效解決異構分散式任務對接問題。
 
針對GPU訓練資料，深信服透過對dataloader 層面的最佳化，降低GPU訓練任務本身的忙等時間，端到端實現GPU訓練任務的最佳化和加速。具體來說該平臺透過兩個維度來最佳化：
 
**維度一：縮短分散式儲存系統與分散式計算系統之前的資料傳輸時間；** 由於機器學習平臺是典型的計算和儲存分離架構, 導致AI研發資料訪問時延問題，業界做法是在開始模型訓練之前：將訓練資料複製到本地的磁碟儲存中，如普通機械硬碟或者 NVMe、SSD等高速儲存裝置；將資料提前複製到部署在計算節點上的分散式儲存系統中，如Ceph、GlusterFS。

這種額外的AI訓練資料遷移過程會面臨如下問題：

（1）把訓練資料複製到AI計算節點的方式低效且難以管理。手動複製容易出錯。像基於notebook的Local FS的方式提供本地計算的手動資料拉去就更加會出現此類資料遷移管理問題；

（2）深度學習訓練數量很大且可能持續增加，分散式AI計算節點配置的磁碟容量有限，極容易出現無法存放全量訓練資料的情況；

（3）將訓練資料存放在多個GPU計算節點上的分散式儲存系統內，可以解決資料容量問題，但分散式儲存系統自身的運維成本和難度都很大；並且儲存系統與計算節點耦合，本身也會產生計算、網路、I/O 等本地資源的爭搶和干擾問題。

**維度二：基於GPU加速和資料pipeline並行最佳化資料集預處理的時間；** 像計算機視覺類任務（釣魚網頁檢測、桌面雲影片幀超分最佳化、資料防洩密檢測、邊緣AI影片分析等）的演算法訓練會涉及大規模資料集的讀取，這些任務都會存在資料集載入效率低導致GPU任務忙等，使得GPU利用率低問題。原生的pytorch&tensorflow框架的data loader是基於CPU實現資料的載入和資料的預處理，這勢必會佔用worker節點CPU大量的資源。然後將預處理之後的資料從CPU記憶體交換到GPU視訊記憶體， 這也會增加IO的開銷，降低端到端訓練工作流的整體效率。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/57bd0e5abc5e499b980105e0d6274595~tplv-k3u1fbpfcp-zoom-1.image)

由於CV類任務的大量操作，比如Resize、Crop、Normlize等都非常適合GPU並行加速，所以深信服選擇利用DALI將預處理任務遷移到GPU計算，這樣既降低了CPU負載，又提高了GPU的利用率。
 
針對AI訓練任務而言，還有一個特點是資料並非一次性載入到記憶體或視訊記憶體，而是以batch迭代的方式載入，這裡面就存在CPU 負責載入資料和GPU平行計算兩個任務交叉進行的任務。由於這兩個子任務的服務和計算特點差異很大，而如果僅以序列的方式執行這兩個任務，勢必會有一個任務大機率會出現負載相對低的現象。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/aecc7f35bc514e0b82e6009128a9d1c9~tplv-k3u1fbpfcp-zoom-1.image)

透過將這兩個子任務流水線化，可以實現兩個子任務執行時間的重疊，最終資料載入和演算法訓練都可以高負載執行，從端到端加速AI訓練速度。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d0129b0e0c624a41aa664c196a435c55~tplv-k3u1fbpfcp-zoom-1.image)

**賦能AI研發實踐效果**

藉助於低程式碼開發演算法平臺，可以使得各個角色高效協作。針對端到端的AI研發人員來講，如果是任務比較小，演算法工程師可以獨自完成這些工作。但當AI的任務業務變得比較大的時候，資料特徵的提取、模型的調參、演算法的測試，包括整合到產品線、產品當中去，就可以利用該平臺，實現多角色任務協作。

![]()

在資料規模層面，已經實現支援TB級的異構資料的統一管理。在叢集規模上，支援10+CPU節點。在研發效率上，大規模病毒檔案特徵提取時間由45天縮短到15天。

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c1430e18e5cd491ea7526e17c9e66064~tplv-k3u1fbpfcp-zoom-1.image)

孟賓賓認為，AI的價值落地是圍繞實際業務資料、產品系統架構而深度結合和持續最佳化的AI系統工程。為了產品高價效比，企業需要結合AI硬體做深度的演算法、軟體、硬體協同最佳化；為了產品實時性體驗，企業甚至要犧牲AI演算法一定精度，以減小延遲或提高併發；為了維持產品效果，企業要設計複雜的AI閉環系統，透過ML-Ops實現演算法的快速迭代。

以下幾點是圍繞具體的AI工程化落地，深信服在機器學習平臺層面可以探索和持續打磨的方向：

![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/465991eb41f7486cb42274306b721d56~tplv-k3u1fbpfcp-zoom-1.image)

線上（on-line learning）、無監督學習可以降低網路安全標註資料標註門檻、成本。
 
Al使用門檻可以進一步降低，除了基於AI Flow演算法模板和Auto-ML，業界的新興方案，如可以考慮結餘MLSQL進行AI平民化探索。
 
透過模型漂移、資料漂移檢測與持續學習(continue learning)，可以持續自動捕捉到安全AI模型的效果漂移問題，持續更新訓練模型。
 
透過資料並行、模型並行、流水線並行的策略進行協同最佳化基於深度學習和海量資料的複雜模型訓練和推理，讓業界更復雜、效果更好的AI模型遷移並應用到到公司的網路安全和雲端計算業務中。
 
以上就是關於《數算工程一體化機器學習開發平臺助力AI演算法敏捷開發》的分享，關注“深信服科技”公眾號，持續獲取更多技術乾貨內容。

深信服的AI平臺瞭解一下？看它如何助力AI演算法敏捷開發

相關文章