細數從Al演算法到產品化落地的八大鴻溝

陶然陶然發表於2021-02-09

  如今,人工智慧技術持續快速發展,在影像識別、語音識別、語義理解等諸多特定領域已超過人類能力。

  要滿足AI的巨大需求,讓AI成功的應用到千行百業,AI產業需要提供用得起、用得好、用得放心的軟硬體系統和解決方案。由於AI的強行業賦能屬性,AI產業要能夠和行業知識結合,促進真正的產業發展和生產力提升。當然,AI產業要真正產生價值,推動社會發展,面臨著很多的挑戰。

   從AI演算法到產品化落地存在巨大的挑戰,可以總結為八大鴻溝:

   1,模型獲取

  AI演算法層出不窮,同一領域甚至同一主題都有大量演算法產生,然而演算法是否能夠適應或者如何適應具體的應用場景?

  首先,不同的行業資料導致模型的表現不同。訓練資料的不同會導致模型表現出現很大的差異。其次,模型對於不同場景也有適配性問題。那麼,如何在層出不窮的模型裡面選擇合適的模型,是很多開發者面臨的第一個挑戰。

  而進行大規模的模型測試篩選,則需要巨大的時間和算力成本。如何在大量個性化和碎片化的場景下快速獲得實際表現良好的模型,工作量巨大。若針對場景沉澱針對性的資料和演算法,進行最優的積累,形成行業最佳實踐,則可以在一定程度上緩解相關壓力。

   2,資料準備

  準備場景化行業資料存在比較大的挑戰,需要進行資料的採集、清洗、標註、增強等工作依據準確度需求的不同,資料量也不同。如何有針對性的設計資料處理流程,快速獲得高質量的訓練資料,加速適配業務場景,是AI演算法面向場景訓練需要解決的問題。

  最理想的資料集,不一定是最大的,而是能夠真實反映實際業務的資料分佈,但覆蓋所有情況的資料集是不現實的,採集的樣本或多或少都有一定的侷限性。如何避免人為的侷限和錯誤,是AI資料準備必須要解決的問題。

   3,模型訓練

  在確保資料質量之後,還要進行復雜的模型訓練,而對於模型引數的調整,經常出現困難。複雜的訓練過程和調優過程,將大量的傳統行業開發者擋在門外。同時,演算法在業務場景內的適應性測試和調整是複雜的。

   4,準確度驗證

  訓練好的模型在業務場景中的表現,需要在完整的業務體系中完成驗證。模型的泛化能力,通常在實際場景裡會受到極大的挑戰。由於測試環境和實際環境的不同,感測器資料會受到環境影響產生不同的分佈,進而可能影響模型的表現能力。針對複雜環境進行適應性的精調,是阻礙演算法快速落地的因素之一。尤其是某些難例,在訓練集沒有出現的情況,同樣會導致模型的泛化問題。

   5,行業應用開發

  AI演算法具有強的行業屬性,必須作為行業應用的一部分,和行業知識結合,才能更好的發揮價值。AI演算法所對應的模型需要接收各種輸入資料,並且由AI計算系統提供的各種形式的軟硬體環境來承載。不同的輸入資料型別、格式、速率、協議、介面形態等,都會對AI的應用開發系統產生整合要求。而面對多樣化資料所需要的多種處理架構,也會帶來異構算力整合的問題。

  開發效率是影響AI在行業場景落地的重要因素之一。AI計算產業要能夠給開發者提供高效的開發體系和工具,提供完善的生態環境以及豐富的資源支援,尤其針對傳統行業的開發者,要能夠將複雜的AI開發過程簡單化,從而使開發者更關注行業場景的問題解決,從而快速推進行業對AI系統的適配。

   6,NPU效能最佳化

  應用效能是影響行業發展的重要問題。AI算力需要能夠真正的轉化為生產力,其實際的執行效能將決定系統最終的價效比和業務執行能力。複雜的異構最佳化體系,是計算系統所需要客服的挑戰。

   7,業務流程監控

  如何確保AI系統在業務環境的持續準確高效執行,是行業應用所需要關注的問題。隨著業務場景和環境的變化,感測器資料和環境資料會產生偏移,這些偏移對於行業AI應用的準確度會產生不可忽視的影響,尤其是高精度的場景。AI業務系統要求能夠及時發現這些準確度影響的問題和場景,並且能夠提供持續演算法更新和增量學習等能力。

   8,適配開發

  面對不同的業務場景,通常需要以服務化和API的形式來封裝AI業務,為上層應用提供較好的介面。但是,由於場景的複雜性,開發和維護對應的API和服務是現實的挑戰。

  如何構建統一的服務架構和API封裝,以適配不同場景的實際業務化執行需求,同樣存在困難。部署AI計算系統到實際的業務系統中,也面臨著挑戰。不同的行業,所採用的作業系統、基礎軟體、通訊系統、儲存系統等,都會出現差異,隨之帶來碎片化的解決方案,嚴重影響到應用開發的效率和成本。

  在差異化的軟硬體體系中,使用統一的應用開發體系,水平整合技術棧,增強對於底層系統的抽象能力,建立標準和統一的平臺及介面體系,也是AI行業應用開發的關鍵。所以,在設計具體場景的AI業務軟體系統時,所需要考慮的適應性、可裁剪性、可伸縮性等細節特性要成倍增加。同時在設計硬體方案時,需要考慮到各種嚴苛條件下,系統的可靠性、可服務性以及對整體軟硬體系統的效能影響。

  因此不難看出,當AI技術進階到行業深水區,需要使能更多場景和裝置時,AI開發者面臨的將是一個規模化的系統性設計問題,而不再僅僅是單純的模型和業務軟體開發。

來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/28285180/viewspace-2756900/,如需轉載,請註明出處,否則將追究法律責任。

相關文章