AI降成本利器!阿里雲彈性加速計算例項來了,最高節省50%推理成本
人工智慧推理場景下,EAIS.EI讓使用者可以自定義GPU算力規模。據介紹,該產品可節省最高達50%的推理業務成本,目前EAIS.EI例項支援Tensorflow、Pytorch等主流深度學習框架,最高支援FP32 19.5 TFlops、FP16 混合精度312 TFlops的運算。
無論你是在逛淘寶還是刷抖音,人工智慧都在背後瘋狂計算,短影片推薦、拍照AI美顏,就連點外賣,人工智慧都在幫外賣小哥最佳化路線。
人工智慧崛起的燃料之一,就是跟通用處理器CPU有著不同專長的GPU異構加速器。在計算能力方面,如果說CPU是通才,GPU就是專才,非常擅長深度學習和影像處理,因此在人工智慧、直播和短影片火熱的今天大放異彩。
然而,不同的深度學習應用所需要的CPU、GPU和記憶體等計算資源的比例並非完全一樣,雲伺服器受限於規格,往往只有特定數個比例。在某些情況下,就會造成資源閒置,尤其在推理場景中尤為明顯。深度學習應用分為訓練和推理兩個過程,推理計算需求由於跟業務量緊密相關,往往是總運營成本的大頭,最高佔到90%成本。
EAIS為客戶提供了一個異構算力池,使用者可以將需要的GPU資源附加到任何一款阿里雲ECS伺服器中,根據不同應用需求靈活最佳化CPU/記憶體與GPU之間的比例,匹配適合的資源組合,有效提升資源利用率。
另外,AI推理計算業務通常伴隨著業務的週期性的峰谷變化,EAIS.EI例項配合彈性伸縮ESS快速感知業務變化,實現高效的業務運維,提升業務彈性。資源的精準組合加上雲服務的彈性,將大大降低成本。
阿里雲異構計算產品負責人透露,除了推理場景之外,未來,彈性加速計算例項還將覆蓋圖形影像與多媒體計算編碼場景,甚至實現含光800與CPU/記憶體的解耦。
彈性加速計算例項,將與神龍AI加速器和cGPU容器技術,一起組成阿里雲異構計算的三大特色優勢,為使用者提供靈活高效、效能超群的異構計算基礎設施。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31550522/viewspace-2726757/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- RDS for MySQL Serverless公測上線:彈性伸縮,最高可降成本超80%MySqlServer
- 基於阿里雲函式計算實現AI推理阿里函式AI
- 節省50%成本!京東雲自研計算架構京剛+雲海輕鬆應對11.11萬億級流量架構
- 成本節省 50%,10 人團隊使用函式計算開發 wolai 線上文件應用函式AI
- 成本節省 50%,9人團隊使用函式計算開發 wolai 線上文件應用函式AI
- 如何將離線計算業務的成本降低65%——彈性容器服務EKS「競價例項」上線
- 雲端計算如何避免隱性成本
- 日常節省 30%計算資源:阿里雲實時計算 Flink 自動調優實踐阿里
- 阿里雲函式計算 x NVIDIA 加速企業 AI 應用落地阿里函式AI
- 節省50%成本!京東雲重磅釋出新一代混合CDN產品
- 一文回顧阿里雲彈性計算雲棲大會精彩看點阿里
- 【省頻寬、壓成本專題】從產品架構來看,PCDN如何節流50%架構
- 阿里雲Elasticsearch Severless 如何做到成本降低50%阿里Elasticsearch
- OpenCV 例項解讀:深度學習的計算與加速OpenCV深度學習
- IATA:過去50年航空實際單位成本節省4倍
- flex彈性佈局程式碼例項Flex
- 資料成本:雲端儲存成本高嗎如何節省資料儲存成本
- 擁抱雲原生,Fluid 結合 JindoFS:阿里雲 OSS 加速利器UI阿里
- 降低雲成本的 N 種方法:終極節省指南
- 阿里雲伺服器計算網路增強型例項和通用網路增強型例項區別?阿里伺服器
- TiDB x 阿里雲丨最長 30 天,最高節省 ¥33,000,免費試用雲資料庫 TiDB 的機會來啦!TiDB阿里資料庫
- 容器化之後如何節省雲端成本?(二十六)
- 費用節省 50%,函式計算 FC 助力分眾傳媒降本增效函式
- AI之旅-開篇:從雲端計算之路到AI之旅,從搬上阿里雲到留在阿里雲AI阿里
- 阿里雲慢下來了?阿里
- 華為雲全新計算例項C6、S6商用,智慧加速“引擎”再度開啟
- 單顆GPU計算能力太多、太貴?阿里雲釋出雲上首個輕量級GPU例項GPU阿里
- 阿里雲異構計算髮布:輕量級GPU雲伺服器例項VGN5i阿里GPU伺服器
- 冷啟動延時縮短50%-80%,阿里雲函式計算釋出冷啟動加速技術阿里函式
- 七牛雲WordPress外掛-節省頻寬,加速網站網站
- 阿里雲邊緣容器雲幫助AI推理應用快速落地阿里AI
- 14.7倍推理加速、18.9倍儲存節省!北航、商湯、UCSD提出首個點雲二值網路 | ICLR 2021ICLR
- 降低彈性雲伺服器成本,聊聊宿主機管理伺服器
- 微信小程式的全域性彈窗以及全域性例項微信小程式
- 阿里云云計算ACP認證重點梳理3—彈性伸縮阿里
- 節省 58% IT 成本,呼叫函式計算超過 30 億次,石墨文件的 Serverless 實踐函式Server
- 人力節省 50%,研發效能提升 40%,阿里 Serverless 架構落地實踐阿里Server架構
- 伺服器租用能節省哪些成本伺服器