摘要:AI技術發展,正由應用落地階段向效率化生產階段演進,AI工程化能力將會不斷深入業務,釋放企業生產力。
本文分享自華為雲社群《【雲享·人物】華為雲AI高階專家白小龍:AI如何釋放應用生產力,向AI工程化前行?》,作者: 華為雲社群精選。
在新科技革命和產業變革的大環境中,人工智慧技術迭代和商業化程式不斷提速,正在加快與千行百業深度融合。
如果說,簡單的AI能力呼叫是新手入門,AI開發是登堂入室,深入行業應用就是真正的大師了。然而,AI開發過程中如果沒有使用開發平臺,開發過程就會比較繁瑣,對於開發者和企業來說更是耗時耗力,所以找到一個合適的AI開發平臺十分關鍵。
作為華為雲機器學習和深度學習技術專家、ModelArts產品架構師,白小龍在10餘年AI領域的工作中,也見證了近幾年業界AI發展的歷程。本期的《雲享人物·大咖面對面》,華為雲開發者社群將和這位AI行業的深耕者聊一聊AI技術開發的世界。
AI開發平臺讓開發者走出程式碼泥沼,低門檻高效率完成AI開發
隨著技術發展和應用,AI開發的元件數量和模型演算法的複雜度都在增加,AI開發流程太多,前期準備工作複雜。最典型的就是在做機器學習專案的過程中,通常需要花費大量的時間去做資料收集和資料預處理,這些前期準備的工作非常耗費人力和時間。AI開發涉及的因素眾多,作為AI演算法人員,為了將專案落地需要則需要做非常多的工程化工作,以雲平臺為依託進行AI開發,則可以大幅提升開發效率。
“對於開發者來說,好的AI開發平臺能夠很好的承載完整的AI開發過程,如具備資料採集、資料預處理、演算法開發、模型訓練、模型打包和部署等功能,幫助開發者把所有苦活累活都幹完,讓開發者聚焦在最核心的問題建模。” 白小龍談到。
為此,華為雲推出了AI開發生產線ModelArts。自2018年ModelArts釋出以來,從1.0版本迭代到5.0版本,一直圍繞著開發者的需求與痛點,在AI全生命週期各環節不斷豐富產品功能,打造 AI開發運維的DevOps全流程。作為國內率先支援MLOps的AI開發平臺,ModelArts在資料處理、演算法開發、訓練、推理和全流程MLOps上不斷創新,在AI開發方面提供平臺能力、開發流程、開發工具等,幫助開發者提升AI生產效率。
華為雲AI開發生產線ModelArts流程示意圖
資料處理作為AI開發的第一步,通常需要大量人力對各種原始資料進行標註,業內甚至有說法是“有多少人工,就有多少智慧”。為了緩解這種情況,ModelArts採用基於主動學習的智慧標註技術,讓人工標註資料量降到最小。ModelArts的智慧標註功能,可節省70%以上的標註時間。
- “基於‘AI for AI’的思想,ModelArts把很多AI演算法應用於人工智慧平臺中。”白小龍進一步解釋道,機器學習演算法是有很多的冗餘性,這些更多的是來自於資料的冗餘,冗餘的資料又進一步導致了資料準備時間的增加。為此,ModelArts提供一些資料處理的內建演算法,能夠自動的去獲取到資料裡邊的冗餘,從而把它提取出來,讓資料的準備過程變得更加高效。
- 在演算法層面,ModelArts已經在影像分類、目標檢測、視覺分類、姿態預估等多個領域提供預置演算法。目前已提供了60+官方演算法,比如說ResNet50、YOLOV5等等。基於預置演算法降低AI開發難度,ModelArts可以很好的幫助初級開發者快速地找到合適且具備實際應用的演算法,從而低門檻完成多種場景的AI演算法開發與應用。以“ResNet50”演算法、花卉識別資料集為例,開發者只需下載資料集和訂閱演算法(免費),然後使用演算法建立訓練模型,將所得的模型部署為線上服務即可完成。
- 在開發環境和工具方面,ModelArts針對資料分析提供了雲原生Notebook,可支援互動式程式設計和視覺化體驗以及分享、重現。同時,ModelArts還提供VSCode等IDE外掛,支援使用者遠端開發除錯,針對已經執行中的作業,也可以透過webshell方式進入容器內部做除錯。
在此基礎上,華為雲將傳統軟體工程的CI/CD技術引入到AI開發過程中,將ModelArts的一些能力串聯在一起,以開發流水線的方式進行AI開發。“升級之後的ModelArts可從從跨專案和跨時間兩個維度來提升開發效率。” 白小龍講到。
Workflow流程示意圖
白小龍進一步解釋到,對於相似的專案需求而言,可以僅做簡單的資料準備,就可以複用已有的WorkFlow。從華為內部做專案的經驗來看,複用模型和開發過程能將整個專案的效率提升一倍以上。此外,在時間維度方面,一個已經上線的AI模型在推理服務期間會不斷地接受新的推理資料,基於這些新資料可以觸發WorkFlow的持續迭代,加速模型更新的效率。
面向多樣化的雲邊端場景,行業開發者平均需要花費1~2個月來完成AI應用對多種執行裝置和系統的開發適配,耗時耗力。為此,ModelArts升級服務,推出了可用於端邊雲場景的AI應用開發框架ModelBox。透過遮蔽掉AI開發過程中常遇到的底層軟硬體的差異難題,實現AI應用一次開發、全場景部署,將跨平臺開發適配週期縮短80%,將推理效能提升2~10倍。白小龍表示,目前ModelBox希望能適配市面上的更多型別的硬體設施,華為為此將其開源,希望吸納更多開發者和企業的力量,讓AI開發更加的簡單便捷。
ModelArts“AI工程化”能力,打通AI落地千行百業最後一公里
當下,AI技術應用的增長速度非常快,非常多的細分行業已經開始應用AI技術。企業在不同的場景,都存在AI應用的需求。從技術上看,AI開發正呈現工程化趨勢加速AI應用落地。
一站式高效AI開發生產線ModelArts
AI工程化意味著AI技術的成熟和良好的使用體驗,對希望藉助人工智慧實現智慧化的企業而言,能顯著降低技術投入和快捷組建開發團隊。華為雲將AI工程化能力深入到企業業務中,用AI釋放生產力。ModelArts透過端到端的連結,把核心演算法包裝成流水線,使用者在遇到類似場景可以直接複用,透過預置演算法、預訓練模型、Workflow,打通AI落地最後一公里。“基於已經完成的某個業務場景的經驗,使用WorkFlow SDK或者圖形化介面將資料處理、模型訓練、模型部署等能力編排起來,然後把流水線釋出給業務應用人員。對於應用者來說不一定需要了解整個開發實現細節,他們只需要瞭解流水線的機制,以及需要存在變化的內容即可。”白小龍進一步解釋到。
- 在加速AI的行業落地方面,AI Gallery沉澱了9大行業場景Usecase供開發者呼叫。包括出行排程、銷量預測、生產排程、貨架識別、工業質檢等,覆蓋生產、銷售、服務、運營等企業運作全場景。開發者和夥伴,可以在AI Gallery上學習AI、開發AI、分享AI資產,基於AI Usecase進行商業實踐。
例如零售領域,華為雲聯合夥伴打造貨架識別Usecase,發揮AI智慧巡店的價值。這套行業Usecase可以實現巡店翻拍檢測、查重識別、競品識別、貨架佔比等。在實際應用中,客戶貨架管理效率綜合提升30%以上,預計每年可減少巡店成本超過100萬。
ModelArts打造9大行業場景Usecase
- 在AI資產重用方面,AI開發助手ModelArts Pilot可以實現AI行業應用零程式碼開發。隨著AI資產庫越來越豐富,甚至面向整個業務問題的解決方案都可以透過AI資產庫獲得。基於此背景,一種基於AI資產重用的AI開發新正規化:ModelArts AI開發助手ModelArts Pilot釋出了。
ModelArts Pilot透過引導客戶直接輸入需求,透過語義理解將行業或業務問題轉換為AI問題,並基於已有模型庫進行查搜、推薦和調優,實現AI應用自動生成和解決方案的遷移複用。ModelArts Pilot具備“零程式碼開發”“豐富的模型資源”“自動化”和“持續進化”四項優勢。
AI開發助手ModelArts Pilot
華為雲AI全鏈路賦能開發者和夥伴,實現生態共發展
不得不說,當同時集齊便捷的開發平臺、大模型架構,以及開發框架,華為云為使用者構建出了一個較為完整的軟硬體生態系統,能夠為開發和企業帶來開發效率和開發體驗的多維度提升。
在企業服務方面,為了深度打通企業AI開發需求,實現定製化AI能力的準確對接,華為雲釋出了D-PLAN生態夥伴計劃。D-PlAN AI 生態夥伴計劃是圍繞華為雲一站式AI開發平臺ModelArts推出的一項合作伙伴計劃,旨在與合作伙伴一起構建合作共贏的AI生態體系,加速AI應用落地,華為雲向夥伴提供培訓、技術、營銷和銷售的全面支援。白小龍表示,這一計劃透過與合作伙伴共建AI生態體系的方式,全方位打通AI開發中的堵點、難點,以並肩協作的方式加速AI應用落地。面向企業AI開發體量大、需求複雜,定製化程度高的客觀情況,華為雲D-PLAN以更合理、直接的方式進行賦能。幫助企業快速從AI能力中獲取價值回報。
為了更好的幫助到AI開發愛好者,華為雲還推出了“知識”+“實訓”的AI開發社群——AI Gallery,這裡有:演算法、模型、資料、Notebook案例、課程、論文、實踐等10餘種、50000餘個AI資產。AI Gallery透過聯接AI市場的供、需、學三方,既能解決開發者需求,同時也滿足AI生態中各角色的共享、交易需求,加速AI資產的開發與落地,保障AI開發生態鏈上各參與方高效地實現各自的商業價值。
白小龍講到,除了外部提供的支援和幫助,開發者自身也需要從行業應用出發,能夠做好將行業問題到AI技術問題的轉換,增強自己的在AI工程化方面的能力,結合工程化能力的優勢,將其與行業結合,這樣能為行業帶來非常大的價值。
從這一刻,寫下AI未來
人工智慧正在從高深莫測的黑科技,變身為輔助工作、生活不可或缺的重要組成部分,持續提供創造力和生產力。
隨著AI由技術落地應用階段向效率化生產階段轉變,AI的後半場以場景驅動,AI工程化能力突顯價值。將AI開發趨向於生產線模式的ModelArts,會繼續在MLOps方面深耕。
ModelArts接下來會有一些更好的新特性上線,如靈活的資源管理和資源排程能力,更易用的除錯環境,讓企業和開發者能夠用到更便捷、更順暢的AI開發平臺。這也是白小龍眼中ModelArts未來的樣子:“讓AI開發變得更簡單,更順暢!”
華為雲EI開發者支援團隊將為合作伙伴提供AI、大資料相關的技術支援,幫助夥伴上手華為雲EI的開發平臺或整合原子化AI服務,並將提供商業化落地的支援,誠邀夥伴參與共建AI開發者生態。如有AI合作需求請聯絡cloud.ai.partner@huawei.com,(我們將在1個工作日之內為您反饋)