細數從Al演算法到產品化落地的八大鴻溝
如今,人工智慧技術持續快速發展,在影像識別、語音識別、語義理解等諸多特定領域已超過人類能力。
要滿足AI的巨大需求,讓AI成功的應用到千行百業,AI產業需要提供用得起、用得好、用得放心的軟硬體系統和解決方案。由於AI的強行業賦能屬性,AI產業要能夠和行業知識結合,促進真正的產業發展和生產力提升。當然,AI產業要真正產生價值,推動社會發展,面臨著很多的挑戰。
從AI演算法到產品化落地存在巨大的挑戰,可以總結為八大鴻溝:
1,模型獲取
AI演算法層出不窮,同一領域甚至同一主題都有大量演算法產生,然而演算法是否能夠適應或者如何適應具體的應用場景?
首先,不同的行業資料導致模型的表現不同。訓練資料的不同會導致模型表現出現很大的差異。其次,模型對於不同場景也有適配性問題。那麼,如何在層出不窮的模型裡面選擇合適的模型,是很多開發者面臨的第一個挑戰。
而進行大規模的模型測試篩選,則需要巨大的時間和算力成本。如何在大量個性化和碎片化的場景下快速獲得實際表現良好的模型,工作量巨大。若針對場景沉澱針對性的資料和演算法,進行最優的積累,形成行業最佳實踐,則可以在一定程度上緩解相關壓力。
2,資料準備
準備場景化行業資料存在比較大的挑戰,需要進行資料的採集、清洗、標註、增強等工作依據準確度需求的不同,資料量也不同。如何有針對性的設計資料處理流程,快速獲得高質量的訓練資料,加速適配業務場景,是AI演算法面向場景訓練需要解決的問題。
最理想的資料集,不一定是最大的,而是能夠真實反映實際業務的資料分佈,但覆蓋所有情況的資料集是不現實的,採集的樣本或多或少都有一定的侷限性。如何避免人為的侷限和錯誤,是AI資料準備必須要解決的問題。
3,模型訓練
在確保資料質量之後,還要進行復雜的模型訓練,而對於模型引數的調整,經常出現困難。複雜的訓練過程和調優過程,將大量的傳統行業開發者擋在門外。同時,演算法在業務場景內的適應性測試和調整是複雜的。
4,準確度驗證
訓練好的模型在業務場景中的表現,需要在完整的業務體系中完成驗證。模型的泛化能力,通常在實際場景裡會受到極大的挑戰。由於測試環境和實際環境的不同,感測器資料會受到環境影響產生不同的分佈,進而可能影響模型的表現能力。針對複雜環境進行適應性的精調,是阻礙演算法快速落地的因素之一。尤其是某些難例,在訓練集沒有出現的情況,同樣會導致模型的泛化問題。
5,行業應用開發
AI演算法具有強的行業屬性,必須作為行業應用的一部分,和行業知識結合,才能更好的發揮價值。AI演算法所對應的模型需要接收各種輸入資料,並且由AI計算系統提供的各種形式的軟硬體環境來承載。不同的輸入資料型別、格式、速率、協議、介面形態等,都會對AI的應用開發系統產生整合要求。而面對多樣化資料所需要的多種處理架構,也會帶來異構算力整合的問題。
開發效率是影響AI在行業場景落地的重要因素之一。AI計算產業要能夠給開發者提供高效的開發體系和工具,提供完善的生態環境以及豐富的資源支援,尤其針對傳統行業的開發者,要能夠將複雜的AI開發過程簡單化,從而使開發者更關注行業場景的問題解決,從而快速推進行業對AI系統的適配。
6,NPU效能最佳化
應用效能是影響行業發展的重要問題。AI算力需要能夠真正的轉化為生產力,其實際的執行效能將決定系統最終的價效比和業務執行能力。複雜的異構最佳化體系,是計算系統所需要客服的挑戰。
7,業務流程監控
如何確保AI系統在業務環境的持續準確高效執行,是行業應用所需要關注的問題。隨著業務場景和環境的變化,感測器資料和環境資料會產生偏移,這些偏移對於行業AI應用的準確度會產生不可忽視的影響,尤其是高精度的場景。AI業務系統要求能夠及時發現這些準確度影響的問題和場景,並且能夠提供持續演算法更新和增量學習等能力。
8,適配開發
面對不同的業務場景,通常需要以服務化和API的形式來封裝AI業務,為上層應用提供較好的介面。但是,由於場景的複雜性,開發和維護對應的API和服務是現實的挑戰。
如何構建統一的服務架構和API封裝,以適配不同場景的實際業務化執行需求,同樣存在困難。部署AI計算系統到實際的業務系統中,也面臨著挑戰。不同的行業,所採用的作業系統、基礎軟體、通訊系統、儲存系統等,都會出現差異,隨之帶來碎片化的解決方案,嚴重影響到應用開發的效率和成本。
在差異化的軟硬體體系中,使用統一的應用開發體系,水平整合技術棧,增強對於底層系統的抽象能力,建立標準和統一的平臺及介面體系,也是AI行業應用開發的關鍵。所以,在設計具體場景的AI業務軟體系統時,所需要考慮的適應性、可裁剪性、可伸縮性等細節特性要成倍增加。同時在設計硬體方案時,需要考慮到各種嚴苛條件下,系統的可靠性、可服務性以及對整體軟硬體系統的效能影響。
因此不難看出,當AI技術進階到行業深水區,需要使能更多場景和裝置時,AI開發者面臨的將是一個規模化的系統性設計問題,而不再僅僅是單純的模型和業務軟體開發。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/28285180/viewspace-2756900/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 跨越DDD從理論到工程落地的鴻溝
- 人工智慧落地之路:從概念驗證到產品人工智慧
- 從研發到落地,細數微軟與ROOBO這場AI合作!微軟AI
- 產品經理需求溝通的藝術
- 從GrowingIO產品到平臺的進化看資料分析的演變
- 從專案到產品:生產線類比的終結
- 做產品,選擇從0到1還是從1到N?
- GSMA:縮小中亞和南高加索地區的數字鴻溝
- 強填EM演算法在理論與工程之間的鴻溝(上)演算法
- 5.17電信日 | 融雲積極消除數字鴻溝 助力打造數字化新基建
- 從產業數字化到數字產業化 PaaS平臺賦能大型企業數字化創新產業
- 從情感羈絆到精細化運營 《家庭教師》如何深挖漫改手產品深層痛點
- 從idea到網站產品的五個環節Idea網站
- Python 細聊從暴力(BF)字串匹配演算法到 KMP 演算法之間的精妙變化Python字串匹配演算法KMP
- 從甲方到乙方,如何做好混沌工程的行業化落地行業
- 從程式碼到產品,我的IT職業成長之路
- 從捕捉創意到產品落地,獨立遊戲團隊可遵循的成功路徑到底有什麼?遊戲
- 從誤解到理解:非暴力溝通的藝術
- 從混沌到體系化——DevSecOps在騰訊雲的落地實踐dev
- AI是如何彌補技術鴻溝的?AI
- 從戰略到產品的六大步驟 - johncutlefish
- 從產品到平臺 PingCAP的堅持與探索|魚論PingCAP
- Ofcom:新冠流行推動英國數字鴻溝縮小
- Common Sense:2021年美國青少年數字鴻溝調查
- 去庫存|快產品|數字化
- 【行行AI公開課】AIGC從模型到落地:促進技術落地與產業變革AIGC模型產業
- 如何從1到99做好產品 | 得物技術
- OMS遷移服務釋出,產品化加速OceanBase商業落地!
- 從SLG到女性向產品,IGG是如何探索品類融合和混合變現的?
- 從試驗品到產品:AutoML是如何一步步貼近產業應用的?TOML產業
- “鎖”,程式設計師不可逾越的鴻溝程式設計師
- 科普專項行動讓老年人跨越數字鴻溝OQGOGo
- 巫師改編劇《獵魔人》口碑跳水,遊戲到影視的鴻溝有多深?遊戲
- 為什麼說打破溝通壁壘是精益生產落地的關鍵?
- 產品負責人必修的四堂課:從設計到運營,打通產品創新的全鏈路
- MaxCompute產品最新進展 -- 從馬力到計算力
- 谷歌年度回顧:從軟體到硬體,從打造產品到重構影響力谷歌
- 從軟到硬,2017 我 GET 到的 15 條產品心得總結——Jinkey 原創