AI降成本利器!阿里雲彈性加速計算例項來了,最高節省50%推理成本

程式碼派就是我發表於2020-10-14

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

人工智慧推理場景下,EAIS.EI讓使用者可以自定義GPU算力規模。據介紹,該產品可節省最高達50%的推理業務成本,目前EAIS.EI例項支援Tensorflow、Pytorch等主流深度學習框架,最高支援FP32 19.5 TFlops、FP16 混合精度312 TFlops的運算。

釋出會傳送門

產品詳情

無論你是在逛淘寶還是刷抖音,人工智慧都在背後瘋狂計算,短影片推薦、拍照AI美顏,就連點外賣,人工智慧都在幫外賣小哥最佳化路線。

人工智慧崛起的燃料之一,就是跟通用處理器CPU有著不同專長的GPU異構加速器。在計算能力方面,如果說CPU是通才,GPU就是專才,非常擅長深度學習和影像處理,因此在人工智慧、直播和短影片火熱的今天大放異彩。

然而,不同的深度學習應用所需要的CPU、GPU和記憶體等計算資源的比例並非完全一樣,雲伺服器受限於規格,往往只有特定數個比例。在某些情況下,就會造成資源閒置,尤其在推理場景中尤為明顯。深度學習應用分為訓練和推理兩個過程,推理計算需求由於跟業務量緊密相關,往往是總運營成本的大頭,最高佔到90%成本。

EAIS為客戶提供了一個異構算力池,使用者可以將需要的GPU資源附加到任何一款阿里雲ECS伺服器中,根據不同應用需求靈活最佳化CPU/記憶體與GPU之間的比例,匹配適合的資源組合,有效提升資源利用率。

另外,AI推理計算業務通常伴隨著業務的週期性的峰谷變化,EAIS.EI例項配合彈性伸縮ESS快速感知業務變化,實現高效的業務運維,提升業務彈性。資源的精準組合加上雲服務的彈性,將大大降低成本。

阿里雲異構計算產品負責人透露,除了推理場景之外,未來,彈性加速計算例項還將覆蓋圖形影像與多媒體計算編碼場景,甚至實現含光800與CPU/記憶體的解耦。

彈性加速計算例項,將與神龍AI加速器和cGPU容器技術,一起組成阿里雲異構計算的三大特色優勢,為使用者提供靈活高效、效能超群的異構計算基礎設施。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2726757/,如需轉載,請註明出處,否則將追究法律責任。

相關文章